Slides marco de_marco

Universita degli Studi di Trieste

Dipartimento di Ingegneria ed Architettura

Valutazione comparativa sperimentale di algoritmi di rilevazione volti perapplicazione di assistenza ai non vedenti

Corso di Laurea in Ingegneria InformaticaTesi di Laurea Specialistica

Laureando:Marco De Marco

Relatore:Prof. Eric Medvet

Marco De Marco Dissertazione tesi October 3, 2016 1 / 26

Introduzione Descrizione progetto

Obiettivo

Sviluppare un dispositivo indossabile.

Migliori le interazioni sociali dei non vedenti.

Utilizzi tecniche di computer vision.

Informazioni ricercate

Numero dei soggetti nel campo visivo della videocamera.

Identita dei soggetti famigliari al non vedente.

Espressioni del volto dei soggetti inquadrati.


Introduzione Descrizione progetto

Vincoli dell’implementazione

EfficienteEsecuzione in real time su un dispositivo dalla ridotta capacita a dicalcolo.

Non inficiare sull’autonomia operativa.

EfficaceMassimizzare il numero di facce individuate.

Minimizzare gli errori di rilevamento.


Introduzione Considerazioni iniziali

Propedeuticita algoritmo rilevamento facciale

Riconoscimento dell’identita del volto.Analisi delle espressioni facciali.

Scelta algoritmi rilevamento facciale

Sviluppo nuovo algoritmo e fuori portata.Ricerca in letteratura dei possibili candidati.

Valutazione prestazioni algoritmi

Utilizzare video adatti al contesto applicativo.Individuare criteri di valutazione coerenti agli obiettivi.


Introduzione Algoritmi selezionati

Viola-Jones - (VJ)

Ben conosciuto e studiato in letteratura.

Si basa su Integral Image, Ada Boost ed Attentional Cascade.

Utilizza feature di tipo Haar-like.

Si e utilizzata l’implementazione di OpenCV.



Google Vision - (GMS)

Framework di object detection sviluppato da Google.

Integrato nei Google Mobile Services su dispositivi Android.

Utilizzo di emulatore Android a causa di vincoli di licenza.

Utilizzo del frame grabber di OpenCV per estrazione frame dai video.



Normalized Pixel Difference - (NPD)

Non usa Haar-like featrue ma differenza normalizzata dei pixel.

Garantisce invarianza di scala, ridotta complessita di calcolo ed erobusto alle brusche variazioni di luminosita.

Utilizza alberi decisionali per l’apprendimento.

Gli autori forniscono implementazione Matlab.



Pixel Intensity Comparison - (PICO)

Si basa sulla comparazione dell’intensita dei pixel.

Utilizza una cascata di classificatori binari.

Scansiona immagine in ogni posizione ragionevole e ad ogni scala.

Il codice sorgente e messo a disposizione dagli autori.



Face Id - (Face-Id)

Prototipo di framework di rilevamento facciale basato su deep learing.

Sviluppato utilizzando C++, Lua ed Torch Tensor framework.

Incompatibilita con Windows 7: implementato in ambiente Linux.

Utilizzo del frame grabber di OpenCV per estrazione dei frame daivideo.



Visage SDK - (Visage)

Software commerciale di rilevamento facce sviluppato da VisageTechnologies.

Fornisce rappresentazione 2D e 3D per ogni faccia rilevata.

Individua i punti di interesse (punta del mento, punta del naso, angolidelle labbra, ecc).

Utilizzo del frame grabber di OpenCV per estrazione dei frame daivideo.


Introduzione Dataset Video

Condizioni operative

Connesse all’utilizzo di dispositivi indossabili.

Distorsioni dovute al movimento.Forti ed improvvise variazioni di luce.Distorsioni dovute alle lenti grandangolari.Possibili occlusioni nel campo visivo della videocamera.

Connesse al soggetto non vedente.

Mancanza di riscontro visivo sulla qualita dei filmati.Deambulazione soggetta a scuotimenti e movimenti anomali.Tendenza a tenere la testa bassa.

Influenze culturali.

Tendenza a non guardare direttamente la videocamera.



ProblemaMancanza di dataset specifici per il nostro contesto applicativo.

Soluzione

Utilizzare due dispositivi commerciali per creare un dataset apposito.

Polaroid CubeRisoluzione 1920px × 1080px

Angolo visuale 124◦

SportXtreme GX9Risoluzione 1280px × 720px

Angolo visuale 135◦

Girare le scene con l’aiuto di due soggetti non vedenti volontari.



Risultato

Original name Mnemonic name

2015 10 15 GX9 ISA 2 k 11to23s Coffee-shop2015 11 12 GX9 MLA 1 b 12s LibraryC06Isa 5 5 OfficeCUBE ISA 5 1 14s Bus-stop

Caratteristiche principali

Name Resolution Camera Location # frames # faces

Coffee-shop 1280 × 720 GX9 Indoor 361 809Library 1280 × 720 GX9 Indoor 361 1074Office 1920 × 1080 CUBE Indoor 558 206Bus-stop 1920 × 1080 CUBE Outdoor 448 1610



Bus-stop

Coffee-shop

Library

Office


Introduzione Annotazioni

Annotazioni

Sono parte integrante del dataset.I criteri di annotazione sono rigorosamente specificati.Vengono fate a mano tramite un software specifico.

Coordinate bounding box.

Coordinate occhio destro.

Coordinate occhio sinistro.

Coordinate bocca.

Flag laterale booleano.

Flag occluso booleano.


Analisi risultati Accenno classificazione binaria

Possibili esiti classificatore binario

True Positive: identificazionepositiva corretta (faccia trovatacorrettamente).

False Positive: identificazionepositiva non corretta (trovataarea senza facce).

False Negative: identificazionenegativa non corretta (faccianon trovata).

True Negative: identificazionenegativa corretta (arearimanente immagine).


Analisi risultati Protocollo di analisi

Per ogni frame k di un video, dati:l’annotazione gj con j = 1 . . . n di k.l’output di un detector di con i = 1 . . .m di k.

Calcolare IUAR(di , gj) = area(di ∩gj )area(di ∪gj )

Miglior assegnamento possibile tra gj e di con algoritmo Ungherese.

Regole di assegnamento:True Positive se miglior assegnamento tra gj e di ha IUAR > 0.5.False Positive se miglior assegnamento tra gj e di ha IUAR ≤ 0.5.False Negative se gj non ha nessun assegnamento.

Sommare True Positive, False Positive e False Negative del frame aquelli del video.


Analisi risultati Precision, Recall e FPPF

Precision: identificazioni positive corrette su tutte le identificazionipositive.

TPTP + FP

Recall: identificazioni positive corrette su tutte le vere positive.

TPTP + FN

False Positive Per Frame: errore di rilevazione per frame medio.

FPnf

nf numero frame video.



Method Sequence Precision Recall FPPF

Viola-Jones

Coffee-shop 0.129 0.367 5.543Library 0.140 0.267 4.867Office 0.031 0.709 8.197Bus-stop 0.222 0.725 9.158Average 0.132 0.513 7.196

GMS


NPD



PICO


Face-Id

Coffee-shop 0.143 0.001 0.017Library 0.889 0.007 0.003Office − 0.0 0.0Bus-stop 1.000 0.001 0.000Average 0.611 0.003 0.004

Visage


Precision, Recall e False Positive Per Frame per i sei algoritmi scelti e suogni video.




Viola-Jones


GMS


NPD



PICO


Face-Id


Visage


Il miglior risultato e ottenuto da NPD nella sequenza Bus-stop, con valori diprecision e recall > 0.5. E interessante notare che e l’unica sequenza girataall’esterno.




Viola-Jones


GMS


NPD



PICO


Face-Id


Visage


Escluso il caso precedente, tutti gli algoritmi hanno prestazioni basse, maicon valori di precision e recall entrambi > 0.5.




Viola-Jones


GMS


NPD



PICO


Face-Id


Visage


GMS e Face-Id sono configurati per evitare i falsi positivi, ottenendo altaprecision e bassa recall.




Viola-Jones


GMS


NPD



PICO


Face-Id


Visage


VJ e configurato per evitare i falsi negativi, portando ad alti FPPF.




Viola-Jones


GMS


NPD



PICO


Face-Id


Visage


VJ ottiene il miglior recall medio ma il peggior FPPF medio.




Viola-Jones


GMS


NPD



PICO


Face-Id


Visage


Face-Id ha la miglior precision media ma la peggiore recall media.




Viola-Jones


GMS


NPD



PICO


Face-Id


Visage


Gli algoritmi con una configurazione a meta strada, come NPD, comunquenon ottengono valori soddisfacenti di precision e recall medi.



Problema

Prestazioni scadenti degli algoritmi in precision, recall e FPPF.

Individuare quali fattori influenzino negativamente le prestazioni.

Approfondimenti di analisi

Disegnare le curve ROC per capire punto di lavoro algoritmo.

Svolgere analisi di sensibilita su un insieme selezionato di feature.


Analisi risultati Curve ROC

Solo PICO ed NPD offrono un parametro di confidenza necessario pertracciare curve ROC.


Analisi risultati Definizioni feature

Normalized Bounding Box Area - (NBBA): rapporto tra areabounding box e area totale frame.

Normalized Distance of the bounding box From the Center ofthe image - (NDFC): distanza tra centro bounding box e centroframe, diviso raggio circonferenza circoscritta.

Lateral, Not Lateral flag - (L/NL): laterale se occhio piu lontanonon e chiaramente visibile.

Occluded, Not Occluded flag - (O/NO): occlusa se e parzialmentecoperta da corpi estranei.


Analisi risultati Definizioni feature

Roll angle - (Roll): l’angolo di rollio (stimato con posizione occhi).

Root Mean Square Contrast within the bounding box - (RMSC)√√√√ 1#B

∑B

(Iij − I

)2

Iij intensita del i-esimo j-esimo pixel del bounding box B

I media dell’intensita del bounding box#B numero di pixel all’interno del bounding box


Analisi risultati Soglie feature

Scelta soglieNumeriche: osservando distribuzione feature.Categoriche: valore ideale (non laterale e non occluse).

NBBA NDFC Roll RMSC L/NL O/NO

Threshold τ 0.01 0.33 15 0.15 − −

Coffee-shop 80.34 26.94 86.47 72.93 47.23 76.14Library 98.13 14.71 67.26 17.51 77.23 98.17Office 37.86 20.87 95.32 43.69 91.26 92.23Bus-stop 88.50 52.98 96.58 75.53 94.04 95.71

All sequences 86.70 34.39 87.01 56.34 78.7 92.06

Esempio distribuzione feature NBBA.

Coffee-shop Library Office Bus-stop


Analisi risultati Risultati analisi sensibilita

Recall media degli algoritmi calcolata sulle facce con valore di feature:

sotto e sopra la soglia di riferimento (feature numeriche).uguale al valore (feature categoriche).

NBBA NDFC Roll RMSC L/NL O/NOMetodo ≤ τ > τ ≤ τ > τ ≤ τ > τ ≤ τ > τ NL L NO O

Face-Id 0.001 0.001 0.001 0.002 0.001 0.000 0.000 0.002 0.001 0.001 0.002 0.000GMS 0.006 0.039 0.004 0.041 0.041 0.002 0.006 0.039 0.044 0.001 0.043 0.002NPD 0.304 0.160 0.122 0.342 0.443 0.009 0.277 0.188 0.441 0.024 0.441 0.023PICO 0.054 0.143 0.046 0.151 0.190 0.005 0.093 0.104 0.196 0.001 0.187 0.010VJ 0.364 0.149 0.148 0.366 0.491 0.004 0.325 0.189 0.486 0.027 0.475 0.038Visage 0.002 0.018 0.002 0.018 0.019 0.000 0.003 0.017 0.019 0.001 0.020 0.000

NBBA: alcuni algoritmi ottengono risultati migliori con facce grandi, al-tri con piccole. Puo essere spiegato con le configurazioni di default deglialgoritmi.







L/NL: tutti algoritmi ottengo risultati migliori con facce non laterali (risul-tato atteso).







O/NO: tutti algoritmi ottengo risultati migliori con facce non occluse (risul-tato atteso).







Roll: tutti algoritmi ottengo risultati migliori con facce aventi scarso angolodi rollio (risultato atteso).







RMSC: NPD, PICO e VJ dimostrano minore sensibilita al contrasto, mentrerimanenti algoritmi ottengono risultati peggiori con basso contrasto. Possi-bile spiegazione: dovuto a meccanismo di insensibilita incorporato a livellodi feature. Non conosciamo i dettagli dei rimanenti algoritmi.







RMSC: tutti algoritmi ottengono risultati migliori con facce in posizionenon centrale (risultato inatteso).Effetti distorsioni piu marcate dovute alle lenti grandangolari per le facce inposizioni piu periferiche.







RMSC: possibile spiegazione dovuta a dimensioni maggiori facce in po-sizione centrale, ma risultati feature NBBA smentiscono tale ipotesi.Future analisi richieste.


Analisi risultati Conclusioni

Riflessioni finaliTutti gli algoritmi hanno ottenuto pessime prestazioni nel nostrocontesto applicativo.

Il loro utilizzo per rilevare la quasi totalita di facce contenute in unfotogramma e impraticabile.

Si suggeriscono degli utilizzi alternativi:Rilevamento facciale di persone che stanno per approcciare il soggettonon vedente.

Rilevamento facciale di persone con cui il soggetto non vedente staattivamente interagendo come preludio dell’analisi delle espressionifacciali.


Date post:	21-Mar-2017
Category:	Education
Upload:	marco-de-marco
View:	24 times
Download:	0 times

Slides marco de_marco

Education