INTERFACCE A CONTROLLO OCULARE: INTERFACCE A CONTROLLO OCULARE: CARATTERISTICHE, APPLICAZIONI E SCENARI CARATTERISTICHE, APPLICAZIONI E SCENARI

FUTURIFUTURI

Relatore: Prof. Marco PortaRelatore: Prof. Marco PortaCorrelatore: Prof.ssa Lidia FalomoCorrelatore: Prof.ssa Lidia Falomo

Tesi di laurea diTesi di laurea di

Federico DellafioreFederico Dellafiore

Anno accademico 2010/2011Anno accademico 2010/2011

Università degli Studi di Pavia

Facoltà di Economia, Giurisprudenza,Ingegneria,

Lettere e Filosofia, Scienze Politiche

Corso di Laurea Interfacoltà in

Comunicazione Interculturale e Multimediale

EYE TRACKING EYE TRACKING

Metodo di analisi oculareMetodo di analisi oculare Metodo di puntamento oculareMetodo di puntamento oculare Eye Tracker: il mezzo che permette Eye Tracker: il mezzo che permette

di effettuare la misurazione dei di effettuare la misurazione dei movimenti dell’occhiomovimenti dell’occhio

I 4 METODI DI EYE TRACKINGI 4 METODI DI EYE TRACKING

Electro-OculoGraphy (EOG)Electro-OculoGraphy (EOG) Scleral contact lens/search coilScleral contact lens/search coil Photo-OculoGraphyPhoto-OculoGraphy

Video-OculoGraphyVideo-OculoGraphy Video-Based Combined Pupil/Corneal Video-Based Combined Pupil/Corneal

Reflection (PCCR)Reflection (PCCR)

ELECTRO-OCULOGRAPHY ELECTRO-OCULOGRAPHY (EOG)(EOG)

Gli elettrodi attorno agli occhi rilevano la Gli elettrodi attorno agli occhi rilevano la differenza di potenziale elettrico tra la pelle e differenza di potenziale elettrico tra la pelle e la cavità ocularela cavità oculare

SCLERAL CONTACT SCLERAL CONTACT LENS/SEARCH COILLENS/SEARCH COIL

Speciale lente a contatto che permette la Speciale lente a contatto che permette la misurazione del campo magnetico generato misurazione del campo magnetico generato dal movimento dell’occhiodal movimento dell’occhio

PHOTO-OCULOGRAPHYPHOTO-OCULOGRAPHYVIDEO-OCULOGRAPHYVIDEO-OCULOGRAPHY

Utilizzano una fotocamera o una videocameraUtilizzano una fotocamera o una videocamera Fotodiodi ad infrarossi emettono luce invisibileFotodiodi ad infrarossi emettono luce invisibile

VIDEO-BASED COMBINED VIDEO-BASED COMBINED PUPIL/CORNEAL REFLECTIONPUPIL/CORNEAL REFLECTION

Uno o più LED a infrarossi illuminano l’occhioUno o più LED a infrarossi illuminano l’occhio Un software calcola il punto fissato basandosiUn software calcola il punto fissato basandosi

sulla posizione del centro della pupilla e sulla sulla posizione del centro della pupilla e sulla riflessione corneale riflessione corneale

APPLICAZIONIAPPLICAZIONI

DISABILITÀ E ACCESSIBILITÀDISABILITÀ E ACCESSIBILITÀ

Disabilità visiva: Disabilità visiva: screen readerscreen reader Disabilità uditiva: testo o immagini che Disabilità uditiva: testo o immagini che

sostituiscono i suonisostituiscono i suoni Disabilità cognitiva: linguaggi che Disabilità cognitiva: linguaggi che

associano rappresentazioni grafiche ai associano rappresentazioni grafiche ai diversi terminidiversi termini

Disabilità fisica: sistemi di puntamento Disabilità fisica: sistemi di puntamento oculareoculare

A CHI SONO RIVOLTI I SISTEMI A CHI SONO RIVOLTI I SISTEMI DI PUNTAMENTO OCULARE?DI PUNTAMENTO OCULARE?

Ad esempio, ai malati di:Ad esempio, ai malati di: Sclerosi multiplaSclerosi multipla Distrofia muscolareDistrofia muscolare Sclerosi Laterale Amiotrofica (SLA)Sclerosi Laterale Amiotrofica (SLA)

SISTEMI DI PUNTAMENTO SISTEMI DI PUNTAMENTO OCULAREOCULARE

Sistema mono-oculareSistema mono-oculare Click del mouse tramite metodo di fissazione Click del mouse tramite metodo di fissazione

((dwell timedwell time)) Applicativo 2PCApplicativo 2PC The GridThe Grid

EyeGaze System (U.S.A.)EyeGaze System (U.S.A.)

Quick Glance 3 (U.S.A.)Quick Glance 3 (U.S.A.)

Sistema binoculareSistema binoculare Click del mouse tramite battito di ciglia (Click del mouse tramite battito di ciglia (eye winkeye wink) )

o fissazione (o fissazione (dwell timedwell time)) Software base per Internet ed e-mailSoftware base per Internet ed e-mail The Grid in opzione per Word The Grid in opzione per Word

ERICA (U.S.A.)ERICA (U.S.A.)

Sistema mono-oculareSistema mono-oculare Click del mouse tramite fissazione, battito di Click del mouse tramite fissazione, battito di

ciglia oppure switch esternociglia oppure switch esterno Software Life Mate 3.0Software Life Mate 3.0

TM4 (U.S.A.)TM4 (U.S.A.)

Sistema binoculareSistema binoculare Click del mouse tramite fissazione, battito di Click del mouse tramite fissazione, battito di

ciglia o switch esternociglia o switch esterno The GridThe Grid Domotica (controllo dell’ambiente esterno)Domotica (controllo dell’ambiente esterno)

MyTobii (Svezia)MyTobii (Svezia)

Sistema binoculareSistema binoculare Click del mouse tramite battito di ciglia, fissazione o Click del mouse tramite battito di ciglia, fissazione o

switch esternoswitch esterno Software iAbleSoftware iAble Algoritmi e calcoli compensativi: permettono l’uso del Algoritmi e calcoli compensativi: permettono l’uso del

sistema a persone che non riescono a tener fermo il sistema a persone che non riescono a tener fermo il capocapo

SOFTWARE DI SCRITTURA SOFTWARE DI SCRITTURA OCULAREOCULARE

Diverse tecniche di input:Diverse tecniche di input:

Switch oculareSwitch oculare Eye typingEye typing Eye writingEye writing

SWITCH OCULARESWITCH OCULARE

Scanning sequenziale riga-colonnaScanning sequenziale riga-colonna

EYE TYPING VS. EYE WRITINGEYE TYPING VS. EYE WRITINGTastiera a schermo (eye typing), EyeWrite (eye Tastiera a schermo (eye typing), EyeWrite (eye writing), Eye-S (eye writing)writing), Eye-S (eye writing)

GazeTalk (eye typing)GazeTalk (eye typing)

ALTRI METODI DI INPUT ALTRI METODI DI INPUT OCULAREOCULARE

VisionKeyVisionKey Sistema posizionato sulla montaturaSistema posizionato sulla montatura Richiede due movimenti distinti:Richiede due movimenti distinti:

1.1. Guardare l’angolo al bordo del graficoGuardare l’angolo al bordo del grafico

2.2. Fissare la casella dove è inserita la letteraFissare la casella dove è inserita la lettera

QuickwritingQuickwriting Lo sguardo parte dal centro dell’area di selezioneLo sguardo parte dal centro dell’area di selezione L’utente sceglie uno dei gruppi che contiene la L’utente sceglie uno dei gruppi che contiene la

letteralettera Le sezioni adiacenti mostrano ciascuna lettera del Le sezioni adiacenti mostrano ciascuna lettera del

gruppogruppo

DasherDasher Interfaccia di zoom che opera con gesti di Interfaccia di zoom che opera con gesti di

puntamento continuipuntamento continui L’utente sposta lo sguardo verso l’area che L’utente sposta lo sguardo verso l’area che

raggruppa le lettereraggruppa le lettere Il sistema inizia a zoomare verso la regione di Il sistema inizia a zoomare verso la regione di

spazio che contiene la lettera desiderataspazio che contiene la lettera desiderata

StargazerStargazer Caratterizzato dalla funzione di zoomCaratterizzato dalla funzione di zoom I caratteri sono disposti circolarmente attorno I caratteri sono disposti circolarmente attorno

all’area centraleall’area centrale L’utente sposta il cursore verso la lettera L’utente sposta il cursore verso la lettera

desiderata che inizia ad ingrandirsi per facilitarne desiderata che inizia ad ingrandirsi per facilitarne la selezionela selezione

PERCHÈ L’EYE TRACKING E LA PERCHÈ L’EYE TRACKING E LA DISABILITÀ?DISABILITÀ?

““L’uomo è un animale sociale”L’uomo è un animale sociale”

Eye tracker = canale di comunicazioneEye tracker = canale di comunicazione

La tecnologia diventa “amica” dell’uomoLa tecnologia diventa “amica” dell’uomo

Il fine è il raggiungimento della libertà personaleIl fine è il raggiungimento della libertà personale

CONCLUDENDO: CONCLUDENDO: EYE TRACKING COME SOLUZIONE EYE TRACKING COME SOLUZIONE

PER IL FUTURO? PER IL FUTURO? Interazione classica col Interazione classica col mousemouse::

Spostamento della mano per posizionarla sul Spostamento della mano per posizionarla sul mousemouse

Movimento dell’occhio per scegliere l’oggettoMovimento dell’occhio per scegliere l’oggetto Movimento del mouse per spostare il cursore Movimento del mouse per spostare il cursore

verso l’oggetto desideratoverso l’oggetto desiderato Pressione del tasto del mousePressione del tasto del mouse Risposta del sistemaRisposta del sistema

Interazione con Interazione con eye trackingeye tracking::

Spostamento dello sguardo sull’oggetto di Spostamento dello sguardo sull’oggetto di interesseinteresse

Esecuzione dell’“azione oculare” sull’oggettoEsecuzione dell’“azione oculare” sull’oggetto Risposta del sistemaRisposta del sistema

Il tempo per eseguire delle azioni con un eye Il tempo per eseguire delle azioni con un eye tracker dovrebbe essere tracker dovrebbe essere minoreminore rispetto rispetto all’interazione ordinaria col mouseall’interazione ordinaria col mouse