Il progetto Myself:
una ricerca su una futura
frontiera dell’eLearning
Myself Project Overview
il Consorzio Myself
gli obiettivi del progetto
Esempio del prototipo di Myself:
Simulazioni con Automatic Coaching e Virtual Tutor
Ambiente collaborativo
Riconoscimento vocale (interfaccia grafica multimodale)
Affective computing
Funzionalità per il mobile learning
Ag
en
da
Myself è l’acronimo di “Multimodal eLearning System based
on Simulations, Role Playing, Automatic coaching and Voice
recognition interaction for affective Profiling”
Si tratta di un progetto finanziato dalla Commissione
Europea nell’ambito del Sesto Programma Quadro (first call)
È un progetto Craft project- Cooperative research Project –
che riunisce aziende e enti di ricerca provenienti da sei
Paesi europei (italia, Spagna, Romania, Svizzera, Polonia e
Paesi Bassi)
Il progetto è iniziato nel Settembre 2004 e finirà a Dicembre
2006.
Overvie
w
Overvie
w –
Il
Co
nso
rzio
Overvie
w
Il progetto MYSELF vuole enfatizzare l’uso dell’apprendimento
esperienziale sviluppando una piattaforma multimodale basata su:
riconoscimento vocale
role playing via web
apprendimento collaborativo.
L’obiettivo principale è arricchire le metodologie basate su
simulazioni e affective computing che vengono tradizionalmente
impiegate nelle aule con modalità di riconoscimento delle
emozioni del partecipante attraverso percorsi didattici strutturati
su modelli online.
I target del progetto sono due:
Social (ambito medico, disabili)
Profit (ambito bancario, economia)
Ob
iett
ivi
del
prog
ett
o
All’interno del progetto verranno sviluppati due Target Profile con l’obiettivo di trasferire competenze relative alla comunicazione.
L’innovazione del prodotto si basa su alcuni elementi scientifici, metodologici e tecnici: Affective Computing, gestione delle emozioni e dell’apprendimento (riconoscimento delle stato emozionale) Apprendimento collaborativo, role playing e Agenti di supporto alla formazioneMetodologia cognitivaRiconoscimento vocale
Gli obiettivi sociali sono legati a:1.migliorare le capacità comunicative, quindi migliorare anche le capacità del partecipante nella gestione delle proprie azioni. In particolare, Myself è indirizzato al miglioramento della propria percezione e della propria capacità di apprendere. 2.favorire il dialogo interculturale, soprattutto in relazione all’ambito medico
Ob
iett
ivi
del
prog
ett
o
Questi sono i principali moduli SW che compongono la
piattaforma di MYSELF.
Da un punto di vista strutturale, l’innovatività della
piattaforma è data dall’alto grado di integrazione di diverse
tecnologie:
1.SW .Net Microsoft,
2.Elementi di Adobe Flash Components
3.Protocollo Internet per Web e VOIP (Voice Over IP)
4.Integrazione di moduli per il riconoscimento vocale
Tecn
olo
gia
Multimodalità: il prototipo della piattaforma è gestibile da
comandi vocali
1.L’integrazione fra il motore di SDC-Voice e la
piattaforma Myself consente l’utilizzo di comandi vocali
via voice e via internet. La piattaforma può essere usata
anche da disabili.
2.I comandi vocali permettono di interagire direttamente
con gli oggetti grafici presenti nelle simulazioni: ad
esempio, i partecipanti possono, attraverso al voce,
attivare e richiamare il tutor virtuale oppure operare una
scelta durante la simulazione.
Multim
odalità
Il Meccanismo di Coaching Automatico e l’Affective Module sono il vero
cuore della piattaforma di Myself, questo perché sono due elementi in
grado di supportare e gestire l’interazione fra Uomo e Macchina,
rappresentata dal Virtual Tutor che accompagna il partecipante durante la
formazione.
Il Virtual Tutor è una rappresentazione 3D che può apparire sullo schermo
per fornire informazioni all’utente durante alcuni passaggi del percorso
formativo (simulazioni).
Au
tom
ati
c c
oach
ing
Prima di eseguire una
simulazione, ogni utente
deve completare una fase
di pre-assessment con la
quale viene attribuito alle
sue competenze un
punteggio iniziale.
Il Pre-Assessment calcola
il punteggio relativo alle
competenze sulle
principali softskill, in
modo da attivare solo le
simulazioni atte a
migliorare le performance
dell’utente.
Pre A
ssessm
en
t
Scenario0,0
k0,0
Scenario1,1 K1,1
Scenario1,2 k1,2
Scenario1,3 k1,3
Scenario1,4 k1,4
Scenario2,a k2,a
Scenario2,a
+1 k2,a+1 Scenario2,a+2
k2,a+2
Scenario3,b+1 k3,b+1
Scenario3,b+2 k3,b+2
Scenario3,b k3,b
Scenario3,b+3 K3,b+3
Automatic Coaching Engine nelle simulazioni
Affrontando la prima simulazione (X) relativa a una specifica soft skill, l’utente –
in base alle scelte fatte - avrà accesso a differenti scenari.
Ogni scenario è collegato a un punteggio che va a sommarsi ai punteggi ottenuti
in precedenza dall’utente.
Una volta terminata la simulazione X, l’Automatic Coaching Module darà all’utente
accesso alla fase di Post Assessment che ha lo scopo di certificare il Total Score
ottenuto durante le simulazioni.
In questa fase, il meccanismo di coaching
automatico confronta il Total Score ottenuto
dall’utente con il punteggio ideale della
simulazione X.
In base al risultato del post assessment, il
modulo automatico deciderà se è il caso
che l’utente ripeta il modulo formativo prima
di accedere a una nuova simulazione Y.
Sim
ula
zio
ni
PreAssessment
h Initial Real
Profile phinitial
Improve with
Simulation h
Final Real Profile ph
RealFinal PostAssessment
hf Filanl Profile
phfinal
Sim
ula
zio
ni
La piattaforma di Myself è
in grado di riproporre la
simulazione per il debrief,
mostrando il percorso
ideale della simulazione.
Alla fine della simulazione,
l’utente potrà così rivedere
le scelte fatte
precedentemente (path
rosso) e confrontarle con
il percorso ottimale (path
verde), avendo per ogni
step un feedback del tutor
virtuale.
E G I J K
L M N O
B
1(2) 2(4)
C
1(1) 2(5) 3(3)
A
1(3) 2(5) 3(2)
D
1(2) 2(5)
F
1(2) 2(5)
H
1(3) 2(5)
Student choices: RED
Best choices within the path: GREEN
Note: if the student’s choice corresponds to the
best choice, only the GREEN color is seen
Deb
rie
f
Dopo aver visto il
proprio percorso
all’utente verrà chiesto
di rifare la simulazione o
di vedere il percorso
ideale che avrebbe
potuto fare.
Il percorso ideale è la
sequenza di scelte che
avrebbe permesso
all’utente di ottenere il
miglior punteggio
possibile.
E G I J K
L M N O
B
1(2) 2(4)
C
1(1) 2(5) 3(3)
A
1(3) 2(5) 3(2)
D
1(2) 2(5)
F
1(2) 2(5)
H
1(3) 2(5)
Deb
rie
f –
Best
practi
ce
Per realizzare animazioni
realistiche, Myself usa la
grafica 3D.
I software utilizzati per
costruire gli elementi 3D che
vanno a definire le
animazioni sono:
1.Chief Architect (di
Advanced Relational
Technology) per lo sviluppo
della realtà virtuale 3D.
2.Poser (di Curious Labs )
per costruire i personaggi, i
loro movimenti e le loro
emozioni.
In
terfa
cce 3
D
3. Partecipanti che non giocano ma assistono al
gioco degli altri.
Tutti gli utenti possono interagire tramite
l’audio chat o la web conference. Non ci sono
limiti di numero per accedere all’ambiente
collaborativo.
Approccio multilingua
Ogni studente può assistere o partecipare al
role game nella sua lingua.
Ad esempio, un partecipante italiano vedrà I
video e le animazioni in italiano, mentre un
partecipante inglese potrà fruire dei contenuti
in inglese.
I partecipanti – all’interno dell’ambiente collaborativo - possono giocare insieme a
role playing che mettano alla prova le loro capacità.
I Role playing prevedono differenti tipi di partecipanti:
1. Partecipanti che giocano assumendo un ruolo specifico
2. un tutor che può giocare o può assistere i partecipanti durante il gioco
Am
bie
nte
co
llab
orati
vo
Nel progetto Myself a ogni target corrisponde un ambiente collaborativo.
A ogni ambiente collaborativo corrispondono più “stanze” (room), ciascuna per
ogni sessione o lezione.
Gli strumenti collaborativi di Myself sono:
Lista utenti – Profilo Utente
Web conference – Chat
Whiteboard – Forum
Slideshow
Am
bie
nte
co
llab
orati
vo
Si definisce Affective Computing qualsiasi tecnologia che permette un’interazione emozionale fra macchina e utenti, permettendo l’espressione, il riconoscimento o l’origine di emozioni.
L’Affective Computing si associa perfettamente agli scenari aperti dall’eLearning, nei quali la componente affettiva gioca un ruolo chiave nei mementi della scelta e lungo tutto il percorso formativo.
Inoltre, l’Affective Computing permette una considerevole flessibilità: il sistema di supporto all’apprendimento può essere adattato e personalizzato in base alle risposte cognitive e emozionali da parte degli utenti.
LHCI 2005 Rome 13 September 2005LHCI 2005 Rome 13 September 2005INTERACT2005 Rome 13 September 2005
Aff
ecti
ve C
om
pu
tin
g
Il sistema di Myself può:
1. esprimere emozioni (affective 3D virtual tutor)
2. riconoscere gli stati emotivi degli utenti e adattarsi a
questi (sistema multimodale di riconoscimento delle
emozioni e personalizzazione del percorso formativo)
3. insegnare l’uso della comunicazione interpersonale
(simulazioni interattive)
LHCI 2005 Rome 13 September 2005LHCI 2005 Rome 13 September 2005INTERACT2005 Rome 13 September 2005
Aff
ecti
ve C
om
pu
tin
g
Progettazione e implementazione di un tutor virtuale (LINDA) che può
esprimere emozioni
Riferimenti:
Ricerca su agenti pedagogici con fattezze umane (Lester et al.,
1997; Baylor et al., 2000, 2003)
Embodied Conversational Agents (Cassell, 2000; deRosis et al., 2003)
Le animazioni del tutor si basano sui risultati dello studio preliminare della mimica
facciale di tutor umani codificate usando FACS (Facial Action Coding System) (Ekman &
Friesen, 1978, 2002).
Un’attenzione speciale verrà indirizzata verso la multimodalità e alla sincronia dei tempi
nell’espressione delle emozioni.
ATTUALMENTE stiamo testando l’efficacia dell’espressività di Linda e le implicazioni del
suo supporto emotivo nel percorso formativo.
PRESTO progetteremo delle strategie relazioni e di interazione con l’utente, che
permettano un rinforzo dell’apprendimento sul lungo termine.
LHCI 2005 Rome 13 September 2005LHCI 2005 Rome 13 September 2005INTERACT2005 Rome 13 September 2005
Esp
rim
ere
Sviluppare un modulo multimodale di riconoscimento emotivo in grado di
fornire alla piattaforma informazioni sullo stato del partecipante
Nell’ambito dell’Affective Compunting è stato fatto molto lavoro sulla rilevazione e
l’inferenza dello stato emotivo tramite supporti fisiologici (Prendinger et al., 2004;
Scheirer et al., 2002), espressioni facciali (Chen et al., 1998; Kapoor et al., 2004), dati
vocali non verbali come F0, intensità, ecc…) (Oudeyer, 2003; Batliner et al., 2003),
contenuto dei dialoghi, questionari e autorilevazioni investigative.
ATTUALMENTE il lavoro è concentrato su:
Costruire un database multimodale che stabilisca gli algoritmi alla base della
formazione, della valutazione e dei percorsi di scelta.
Valutare la fattibilità di implementazione di differenti canali/modalità che si affianchino a
applicazioni eLearning e che risultino performanti in termini di fattibilità tecnica, costi,…
Affiancare al sistema un’architettura cognitiva che posa personalizzare il percorso in
base al profilo dell’utente e fornisca un feedback dell’evoluzione dello stato emozionale e
affettivo del partecipante durante il percorso didattico (ad esempio adattando il percorso
didattico, prevedendo diversi livelli di difficoltà, facendo intervenire il tutor virtuale,…).
LHCI 2005 Rome 13 September 2005LHCI 2005 Rome 13 September 2005INTERACT2005 Rome 13 September 2005
Ric
on
oscim
en
to
LHCI 2005 Rome 13 September 2005LHCI 2005 Rome 13 September 2005INTERACT2005 Rome 13 September 2005
Ric
on
oscim
en
to m
ult
imo
dale
Autovalutazione
Informazioni sulle attività
Architettura cognitiva
e user modelling
Inferenza sullo stato emotivo
Profilo iniziale dell’utente
Supporti fisiologici
Mimica facciale/gesti
Dati vocali non verbali
Contenuto dei contributi audio
NOOOIOSO… BELLO!
Un primo modo per comprendere cosa una persona sta provando è
ricevere, processare e interpretare le chiavi espressive dello stato
emotivo stesso:
facciali
vocali
gestuali
comportamentali
Un sistema è in grado di comprendere le emozioni se può ricevere e
riconoscere le emozioni espresse in diverse modalità: devo quindi
saperle ricevere attraverso processi audio-visivi e riconoscimento di
suoni e immagini e poi elaborarle grazie a un lessico di espressioni
emotive.
Bisogna stare attenti affinché il processo di elaborazione di questi
parametri non sia troppo intrusivo, per evitare che il sistema stesso alteri
lo stato emotivo dell’utente.
Aff
ecti
ve C
om
pu
tin
g
In Myself il riconoscimento affettivo dell’utente viene
realizzato su più livelli
Autovalutazione del proprio stato emotivo
Dialogo diretto fra utente e tutor umano
Utilizzo di un set di algoritmi vocali in grado di estrarre
parametri vocali (tempo, intensità, frequenza, F0) necessari
per comprendere lo stato emotivo dell’utente. Il modulo
SW, in grado di misurare questi parametri vocali, è
attualmente in fase di test.
Aff
ecti
ve C
om
pu
tin
g
Un modo meno rischioso (ma pur sempre ad alto rischio) è il
riconoscimento delle emozioni tramite la voce.
Sono diversi i parametri che vengono modificati dalle emozioni
e che possono quindi essere controllati e misurati:
• Tempo
• Pause
• Intensità/energia
• Frequenza
• F0
Allo scopo di estrarre i
diagrammi dei parametri vocali
è stato costruito un software
specifico (spettrografo) per il
progetto Myself
Ric
on
oscim
en
to v
ocale
Weka, acronimo di Waikato Environment for Knowledge Analysis, è un
sistema che riunisce algoritmi di apprendimento automatico per attività
di data mining, sviluppato della University of Waikato of New Zealand
(http://www.cs.waikato.ac.nz/ml/weka/).
Un modo per usare Weka è registrare le emozioni tramite il processo di
Classificazione, che consiste nel creare modelli che possono essere
utilizzati per estrarre informazioni sui dataset (le nostre emozioni) o per
classificare o prevedere futuri dataset.
L’Università Bicocca di Milano in collaborazione con ACSE ha realizzato
una serie di registrazioni vocali di emozioni facilmente riconoscibili per
registrare i principali parametri e costruire un dataset di riferimento.
Lavorare su questo dataset permetterà di analizzare e confrontare
successivi dataset, ottenendo così risultati sugli stati emotivi.
Ric
on
oscim
en
to v
ocale
Le osservazione del dataset sono organizzate in un file ARFF file (WEKA
file format) in cui appare la lista dei campi (MeanF0, MeanF1, MeanF2,
MeanNrgDB, Length, Noise, Pause, F0Start, F0End, F0Delta, Emotion) e
tutte le osservazioni identificate con le relative emozioni.
Ogni linea del file
raccoglie i set di
parametri di una
emozione definita.
Ric
on
oscim
en
to v
ocale
Per testare molti algoritmi
di classificazione e
costruire un modello
basato su un algoritmo
realistico, è stato
sviluppato un ambiente
Weka Training-Test
environment.
Ric
on
oscim
en
to v
ocale
L’ambiente Weka Training-Test
di Myself permette di iniziare la
registrazione della voce
dell’utente, estrarre lo schema
vocale e inviarlo al server che
procederà con l’elaborazione.
Ric
on
oscim
en
to v
ocale
Uno dei 3D Affective virtual tutor è LINDA (Learning
INtelligent Dynamic Agent); l’altro è FABIO.
L’intervento del tutor è strettamente collegato allo
storyboard di riferimento e il suo compito sarà enfatizzare
le capacità e le emozioni dell’utente.
Ecco alcuni screenshot di come Linda esprime le emozioni:
Sono stati sviluppati due tutor virtuali che
accompagneranno l’utente durante
l’apprendimento e il percorso formativo. Nella loro
realizzazione è stata data particolare importanza
alla comunicazione delle emozioni.
Vir
tual
tuto
rin
g
Il consorzio è consapevole che le future implementazioni
tecnologiche riguarderanno l’ambito PDA e wireless. La probabile
sfida del futuro dell’eLearning riguarderà questi ambiti ed è
quindi necessario intraprendere questa strada il prima possibile.
L’integrazione fra mobile e Myself possono vertere su tre aspetti
principali:
Guidelines per il porting di una simulazione su PDA e/o Smart
Phone
Analisi per lo sviluppo dell’Automatic Speech Recognition
System su PDA
Analisi per un’architettura di sistema che permette il
riconoscimento delle emozioni dell’utente anche su periferiche
wireless.
Mo
bile L
earn
ing
Mo
bile L
earn
ing
Mo
bile L
earn
ing