Gaze, gesture, pointing: segnali dal corpo per la comprensione di un video online.

Gisella Paoletti

In corso di pubblicazione su: P. Quazzolo (A cura di) Rappresentazioni dell’Umano nell’epoca dell’Intelligenza Artificiale.

Fig. 1 Il corpo nella DAD: l’avanzata degli agenti pedagogici

Abstract

La recente e improvvisa diffusione di Weblesson e Webconference in seguito all’emergenza dovuta al Covid-19 ha provocato un’entusiastica adesione. E’ stato repentinamente possibile produrre e partecipare a incontri e conferenze e lezioni, in luoghi mai prima raggiunti e con una frequenza anche giornaliera.Questa democratizzazione della partecipazione online ha sfruttato soprattutto le piattaforme interattive (Zoom, Meet, ecc.) e un particolare formato video (fig. 2). In questo formato il mezzo busto del parlante (Talking Head) è ospitato su uno schermo, che contiene anche un riquadro dedicato a informazioni visive (una scaletta, un grafico, un programma, ecc.).

1

Fig.2 Un Talking Head accanto a una slide ppt (F. Bruni al convegno Sirem, 8 luglio 2020)

Osservando questi video si nota in alcuni casi una scarsa consapevolezza del proprio agire nel ruolo di conferenzieri, che porta a una carente scenografia degli elementi sullo schermo, e priva l’audience di suggerimenti/cue utili per capire i messaggi trasmessi. Negli screenshot di una video-conferenza le mani, i gesti, gli sguardi del parlante non si vedono più (Fig. 3 in cui ciascun conferenziere guarda il proprio schermo e mancano informazioni sulla direzione dello sguardo, sull’indicazione delle mani). Questa assenza rende difficile trovare un accordo, segnalare e quindi condividere informazioni sull’oggetto sotto focus, far capire cosa è importante e infine piacere all’audience.

Fig 3 Uno screenshot di una web-conference: la conferenza stampa sui risultati della DAD in Italia

Ma l’assenza non è inevitabile.

Non a caso la speaker della figura 4 (Eleonora Napolitano, che lavora per il GARR, esperta di comunicazione efficace) trova modo di utilizzare le mani e lo sguardo anche nel formato ridotto che mostriamo.

2

Fig. 4 Screenshot del corso Garr tenuto da Elenonora Napolitano https://learning.garr.it/course/view.php?id=118

Obiettivo di questo saggio è individuare i cue utili superstiti o nuovi arrivati e, nelle lezioni online, trovare candidati alternativi a quelli “persi”. Faremo riferimento a due dei campi di ricerca che si occupano dell’argomento in una prospettiva educativa: la ricerca sul Multimedia Learning e quella sull’uso di Robot educativi e Agenti animati. Entrambe ci informano, in modo complementare, su quale è l’agire ottimale del parlante online, prendendo in considerazione elementi della postura, dell’intonazione, dell’indicazione che vogliamo valorizzare e recuperare.

Nelle quattro parti dell’articolo esamineremo 1) i fattori che hanno portato alla diffusione del video determinandone i formati prevalenti, 2) la ricerca sugli aiuti all’elaborazione deol testo e del messaggio, in particolare quelli che si basano sulla gestualità del docente, 3) cosa accade se la gestualità è impedita, occlusa, 4) come possiamo trovare aiuto dalla ricerca sul Multimedia Learning e gli Agenti Pedagogici.

1. Introduzione

Aveva ragione Tom Clancy1, Vice presidente della EMC Corporation, quando sosteneva che nel 2021 il video sarebbe stato utilizzato più dell’e-mail, soprattutto nella formazione e nell’insegnamento, per i vantaggi che presenta la sua forma multimediale, la sua economicità, perché consente l’autogestione dei tempi e dei luoghi dell’apprendimento, il self-paced learning. Con il diffondersi dei Mooc, delle Weblesson, dei Webinar, per la crescente richiesta di risorse per l’istruzione e per la divulgazione, e per la sopraggiunta facilità tecnica di realizzazione di un webinar, è difficile trovare oggi un’agenda in cui non sia segnata la data di un appuntamento online, di una webconference.Molte organizzazioni educative e università producono lezioni video come principali risorse online per la formazione asincrona. Coursera, Futurelearn, Ted, YoutubeEdu sono solo alcuni dei data

1 https://elearningindustry.com/free-ebook-transform-video-learning-strategy

3

provider che si basano sistematicamente su sequenze video-testo-quiz come format per l’insegnamento. Il video è quasi sempre indispensabile inoltre nelle lezioni capovolte (flipped classroom) come fonte di informazioni da utilizzare poi in classe. Youtube pare essere divenuta una delle fonti di informazione più consultate (Smith et al. Pew ric., 2018). Associazioni, Università e Centri di ricerca analizzano e confrontano i dati dell’emergenza e forniscono suggerimenti su come produrre lezioni online confrontando esperienze nazionali e internazionali. Sempre per mezzo di video e webconcerence.

E’ stato affermato che docenti e insegnanti avrebbero utilizzato le tecnologie solo quando, attraverso un aiuto continuo e competente, sarebbero stati in grado di padroneggiare il loro uso. In altre parole, i principali modelli teorici che studiano la diffusione delle TIC elencano come aspetti importanti per la diffusione delle tecnologie il senso di auto-efficacia, la percezione di utilità e di carico relativamente ridotto della tecnologia, l’influenza delle aspettative degli altri (i dirigenti, gli alunni, il ministero, nel nostro caso) il potere far conto su un supporto tecnico esperto (Venkatesh et al. 2003; Teo, 2011). Questi fattori hanno avuto un peso preponderante sulle modalità di uso delle TIC fino al 2020.

Poi alla prudenza si è sostituita l’emergenza. Con l’arrivo della pandemia tutti si sono trovati costretti ad agire. Come scrive Fini, la Didattica a Distanza è stata soprattutto una manifestazione di resilienza: del sistema, dei docenti, delle istituzioni scolastiche e dei loro dirigenti, delle famiglie (Fini, 2020). E dunque i docenti italiani (e non solo loro) hanno mostrato un atteggiamento resiliente, di chi si adatta alle situazioni, opera senza indugio e trova anche compiacimento nel riconoscere le proprie capacità, la creatività delle soluzioni, l’autonomia conquistata. E dunque l’uso del video si è esteso e democratizzato. E’ stato la soluzione a molte situazioni di difficoltà (ne ha anche create, purtroppo).

E’ impossibile esaminare tutti i video prodotti allo scopo di studiarne le caratteristiche. In campo educativo e divulgativo, tuttavia, il format al momento più diffuso sembra essere quello più economico, autarchico: il conferenziere viene presentato accanto a uno schermo (vedi fig. 2). In questo format una rappresentazione visiva del materiale da apprendere (una scaletta, trascrizione, grafico, formula, foto, ecc.) viene commentata da un conferenziere anch’egli presente su parte dello schermo.

Secondo una recente survey dei tipi di video istruzionali reperibili (Chorianopoulos, 2018) lo stile di produzione video utilizzato nelle videolezioni si basa spesso sulle preferenze del docente o sulle linee guida della piattaforma, e solo raramente su una teoria strutturata di instructional design. Il format più popolare sembra essere la video-registrazione della lezione nell’ufficio del docente, dove un mezzo busto affianca uno schermo che presenta scalette, diagrammi, formule (vedi fig. 2, 5).In questo format le due (o più fonti) vengono mostrate per favorire la comprensione. È il principio del Multimedia teaching. E’ stato ampiamente dimostrato l’effetto positivo della doppia presentazione testo e immagine. Gli studi sull’effetto di multimedialità hanno stabilito che una doppia presentazione verbale e visiva ha effetti sulla capacità di comprendere e di apprendere dell’utente (Mayer, 2001; Schnotz, 2005), rispetto al solo testo. L’utente inoltre preferisce e trova più agevole elaborare una rappresentazione che mostra l’informazione tramite la figura del docente o relatore (Li, Kizilcec, Bailenson e Ju, 2015; Mayer, Fiorella e Stull, 2020).

4

Il problema che pone questo tipo di presentazione riguarda l’eventuale eccesso di impegno, di fatica, e quindi il carico cognitivo legato alla necessità di dividere l’attenzione tra due fonti (split attention/ divisione dell’attenzione) per esaminarle entrambe. Un problema riscontrabile anche nella lezione in presenza, tanto che se ne è occupata tutta una generazione di studiosi, che ha cercato di capire come è possibile ridurre gli effetti di divisione dell’attenzione nell’elaborazione del materiale multimediale (Mayer, 2001, 2005; van Gog et al. 2014; Moon e Ryu, 2020). Una delle condizioni che aumentano l’efficacia di un multimedia è la contiguità spaziale dei suoi elementi (Moreno & Meyer, 1999). La richiesta di divisione dell’attenzione può essere ridotta quando le fonti sono vicine, contigue spazialmente e temporalmente. Vengono così ridotte le difficoltà di search and match, di appaiamento e integrazione. E’ quanto avviene quando il parlante inserisce delle segnalazioni per indicare quale parte della presentazione scritta sta commentando.Non è quello che accade in tante recenti webconference (vedi fig. 3, 5) dove la gestualità del parlante è nascosta, lo sguardo non è indirizzato verso la parte corrispondente del testo, lo sguardo non è analizzabile.

Fig. 5 Conferenziera che distoglie l’attenzione del pubblico dal ppt che sta commentando

2. Aiuti all’ascolto - Seguire una lezione è difficile

L’ascolto di una lezione può richiedere un considerevole impegno da parte dello studente. Oltre a svolgere le attività implicate durante un normale ascolto (percepire e prestare attenzione a quanto sente, elaborare i dati linguistici, far ricorso alle conoscenze di background per capire il contenuto e così via), deve anche formarsi una rappresentazione del testo udito ricostruendone la struttura sequenziale e gerarchica, riconoscendo le relazioni tra argomenti e sotto-argomenti e le relazioni semantiche, come per esempio le cause-conseguenze, i collegamenti tra informazioni separate ma combinabili. E’ possibile svolgere l’impegnativa elaborazione descritta, ma sostenendo degli sforzi e registrando costi cognitivi notevoli. Particolarmente laborioso sarà il primo ascolto dell’argomento esposto,

5

quando le conoscenze di background sono scarse e non è ancora possibile far riferimento a schemi di conoscenza consolidati, che consentano un’elaborazione top-down (Rumelhart, 1980). La complessità del processo di ascolto ed elaborazione della lezione è riconosciuta e ampiamente studiata, così come sono stati studiati svariati sostegni all’elaborazione (Anderson e Crawford, 1980; Kiewra et al., 1991).Chi fa lezione, chi produce una video lezione, quasi sempre introduce dei suggerimenti per aiutare il processo di elaborazione e comprensione degli utenti: per esempio nel testo il sommario, dei titoli, una suddivisione in paragrafi, nel video una premessa, dei titoli, una presentazione che scandisce gli argomenti, suddivisioni e pause.I suggerimenti hanno lo scopo di evidenziare le informazioni più importanti e di dirigere l’attenzione verso di loro. Talvolta aiutano a identificare la struttura del messaggio e aiutano a comprendere quando un argomento si conclude e ne inizia un altro. Talvolta mostrano come le informazioni si legano tra loro; altre volte hanno il compito di stabilire un’attenzione condivisa tra conferenziere e ascoltatore.L’analisi degli strumenti che potrebbero aiutare l’utente a processare il testo, le lezioni, i multimedia pone problemi di ricerca studiati da tempo (Lorch e Lorch, 1993). Sono stati studiati adjunct aid (come scalette, mappe, sottolineature, evidenziazioni di parte dello scritto) che possono venire presentati sullo schermo che accompagna la lezione, con lo scopo di stimolare l’elaborazione del testo e la sua comprensione.Altri suggerimenti sono trasmessi tramite la voce. Thompson ad esempio studia come l’organizzazione del testo viene segnalata all’ascoltatore tramite elementi di meta-discorso (quelle parti del messaggio che non veicolano contenuto, ma parlano del testo). In questo caso il conferenziere segnala come è organizzato il testo (Dicendo per concludere, primo, secondo…) e tramite la paragrafazione fonologica (l’equivalente orale della separazione in paragrafi). Si è dimostrato che il nuovo argomento inizia con un picco alto nella voce e tende a finire con un pitch basso e un abbassamento del volume.L’intonazione enfatizza le informazioni importanti e l’organizzazione del testo (Ferreira et al, 2012; Lorch, 1989). I suggerimenti nell’intonazione, che dividono il testo in paragrafi/topic e segnalano l’inizio di un nuovo argomento o la continuazione di quello sotto elaborazione (Thompson, 2003) aiutano nel riconoscimento delle parti del testo. Un aiuto prezioso, perché si tratta di una elaborazione difficile da compiere per alcuni lettori che archiviano frequentemente piccole parti del testo e non riescono a formarsi una rappresentazione globale (Gernschbaker, 2013). Inoltre il docente usa i gesti. Oltre che con il materiale scritto, con l’intonazione, la segnalazione si può fare con i gesti – altro elemento della lezione video che a volte non è considerato abbastanza. Quando parliamo di “gesti” ci riferiamo a molti tipi di movimento, delle mani, delle braccia, ad aggiustamenti nella postura, al toccarsi i capelli, gli occhiali, i tic, al giocherellare con gli oggetti. Ma non sono questi movimenti a interessare la ricerca educativa. Il concetto di “body language” stesso non è molto utile. Per esempio non lo è l’esame di certi aspetti della postura, come l’accavallare le gambe, il tipo di sorriso, che sembrerebbero dirci se una persona è affidabile, è credibile, come ci è stato spiegato nei telefilm “Lie to me” o nei corsi sul Public Speaking. … Parliamo invece dei gesti che sottolineano la struttura, danno enfasi ad alcune delle parti del testo/messaggio, collegano le diverse fonti permettendo di integrare le informazioni che provengono da fonti diverse (per esempio il discorso orale, lo scritto su schermo) (Fattorini e Paoletti, 2017).

6

Fig. 6 Docente che segnala con il gesto della mano le parti del discorso che sta pronunciando

Con i gesti il parlante può segnalare elementi della struttura, può indicare, collegare. I gesti “deittici”, con i quali il parlante indica il referente o la sua posizione nello spazio o nel tempo (per es. il gesto con cui si indica un oggetto preciso, mentre si dice “dammi quello!” o “guarda qui”); sono usati puntando il dito verso l’oggetto di cui si sta parlando, spesso accompagnati da termini deittici: qui, questo, io. E’ uno dei modi fondamentali per comunicare, dirige l’attenzione verso un target presente, ma può essere diretto verso uno spazio vuoto, in una indicazione astratta, verso una parte del discorso, un referente di cui si è parlato, un’informazione già incontrata, e può avere un ruolo nella produzione e comprensione del discorso.

I gesti “batonici”, che accompagnano il parlato in modo quasi del tutto involontario, danno enfasi agli elementi sotto focus nel discorso, accompagnano, segnalano la struttura del discorso, in parallelo a frasi che contengono termini come “primo”, “secondo”; danno una struttura temporale o enfatica alla comunicazione (per esempio muovo la mano dall’alto in basso in corrispondenza del cambio di argomento, contando le parti dell’argomentazione, come nella Fig. 6).

Anche le espressioni facciali e lo sguardo contribuiscono alla segnalazione (Thawai et al. 2017). Lo sguardo è un importante cue sociale che può migliorare l’attenzione condivisa (JA o joint attention, vedi Mastrogiuseppe, in questo testo). Lo sguardo può indurre lo spostamento dell’attenzione verso la scena visiva a cui si fa riferimento.

Lo studente che ascolta/vede la lezione e la lezione su web può dunque essere aiutato a trovare la struttura del testo e le informazioni importanti attraverso questi strumenti e device. La mancanza di suggerimenti, come sperimentato da Jung, riduce la possibilità di comprendere informazioni a livello di frase e di testo (Jung, 2003). Anche Mautone e Mayer dimostrano che l’assenza di segnalazioni ha un effetto negativo. In 3 esperimenti da loro condotti gli studenti che partecipano alla loro ricerca ricevono una lezione di scienze su come prendono il volo gli aereoplani, ricevendo delle segnalazioni (un paragrafo che anticipa i tre punti principali, titoletti e pointer words: perché, come risultato), in forma orale, scritta o attraverso una animazione. In ogni condizione chi riceve i segnali ottiene dei risultati migliori nel transfer, mentre chi non ha ricevuto segnalazioni ha avuto risultati peggiori (Mautone e Mayer, 2001).Come sottolineato altrove (Fattorini e Paoletti, 2017), mostrare il volto e la figura del docente che parla e spiega può avere vantaggi e svantaggi. Ci dovrebbero essere dei vantaggi nella percezione di aver appreso e nella soddisfazione dell’utente (Kizilcec, Bailenson & Gomez, 2015). Dovrebbe migliorare l’apprendimento e la motivazione perché le lezioni sono maggiormente personalizzate e coinvolgenti. Sappiamo che gli studenti preferiscono le lezioni in cui viene presentata la faccia del docente. D’altro canto la presenza costante del Talking Head potrebbe distrarre l’utente. Il TH provoca

7

spostamenti frequenti verso la figura, che potrebbe diventare lo stimolo primario anche quando l’informazione principale è contenuta nell’altra porzione dello schermo (Kizilcec, Papadopoulos & Sritanyaratana, 2014). Il Talking Head richiede di dividere l’attenzione tra due fonti, non sempre congruenti, e di alternare l’elaborazione dell’una e dell’altra. La tendenza a prestare attenzione al talking head anche in momenti inopportuni potrebbe causare un carico cognitivo non necessario. Non sempre inoltre i gesti prodotti dal parlante sono utili alla comprensione. I gesti poco significativi, come ruotare le mani, non hanno un effetto positivo sul ricordo (Feyereisen, 2006), quelli non coerenti distraggono e aumentano il carico cognitivo e nondimeno vengono elaborati (Thawai et al 2017; Gunter, et al. 2015 ).

3. Un cambiamento di rappresentazione – verso una società digitale più umana?

Nel marzo 2020 Scuola e Università sono state chiuse e sono stati proposti nuove tecnologie con cui fare lezioni e video lezioni (Teams, Zoom, Meet…). Sono state condivise moltissime risorse aperte, documentari, programmi per la condivisione, repository. Altre sono state prodotte ad hoc.Lo strumento che qui ci interessa, la videolezione o videoconferenza, sembra essere diventata la risorsa più usata, la più facile da produrre e condividere.Le weblesson vengono però accusate di essere lacunose, faticose e difficili da seguire rispetto alla comunicazione faccia a faccia. Ne parla Mancuso citando Gianpiero Petriglieri e Marissa Shuffler, che studiano il benessere sul posto di lavoro e l’efficacia del lavoro di squadra (Mancuso, 2020). Ma perché sarebbero più difficili? E cosa resta e cosa manca alla weblesson rispetto alla lezione in presenza? Ebbene nella weblesson alcuni suggerimenti sono meno visibili, altri non sono presenti.Alcuni strumenti della lezione o conferenza in presenza restano: la voce, le informazioni di contenuto sullo schermo, gli adjunct, le segnalazioni con il mouse. Ma l’elemento su cui ci soffermeremo è un altro, è l’assenza.Le videolezioni possono essere più difficili da ascoltare ed elaborare rispetto alle lezioni tradizionali per la minore presenza di linguaggio non verbale: la mancanza dei gesti, l’assenza di informazioni sulla posizione del corpo, dei movimenti delle mani, e ancora l’assente condivisione dello sguardo. Indizi che non si vedono e dunque non ci aiutano più. I segnali non verbali come le espressioni facciali, il linguaggio del corpo mancano in parte o del tutto (vedi fig. 2, 5). I risultati della ricerca pubblicata da Kizilcec et al. (2014) mostrano che il destinatario di una videolezione preferisce la versione in cui è ospitato un Talking Head. Il destinatario guarda il Talking Head con frequenza e ritiene anche di aver appreso di più, con questo tipo di presentazione.Cosa succede però se il Talking Head non trasmette informazioni significative? In altre parole la preferenza per il Talking Head potrebbe essere critica quando si riferisce a un conferenziere (vedi fig. 5) che non fornisce informazioni utili o addirittura distoglie l’attenzione dalla fonte visiva, grafica, più importante

Perché gli agenti?Cosa dovrebbe fare un Talking Head per conservare una funzione positiva, sociale, ma nel contempo essere utile informazionalmente, e non portare via immeritatamente attenzione al testo e al contenuto? Una serie di ricerche ha dimostrato l’utilità del dirigere correttamente l’attenzione dello studente mediante lo sguardo e il gesto del Talking Head. Alcune ricerche hanno studiato l’effetto ottenuto

8

quando il docente guida lo sguardo (Instructor’s gaze guidance) dello studente, in base all’ipotesi che tale guida aiuti l’attenzione, ma non solo, fornisca anche un senso di connessione sociale (Mayer, Fiorella e Stull, 2020; Wang, Pi e Hu, 2018).

Fig. 7 Instructor’s gaze guidance – a sguardo neutro,b sguardo compatibile, c incompatibile

Nella figura 7 si mettono a confronto varie presentazioni (analoghe a quelle presentate in Thawai et al. 2017; Wang, Pi e Hu, 2018; Li, Wang, Mayer, Liu, 2019). Nelle prime 2 figure (figure a e b), il docente guarda davanti a sé oppure guida l’attenzione verso lo schermo con la dimostrazione guardando a sua volta la presentazione.Risulta che quando l’istruttore suggerisce di esaminare il contenuto sullo schermo attraverso la gaze guidance, gli studenti percepiscono una maggiore presenza sociale e apprendono di più. Thawai et al. (2017), aggiungono a quelle già descritte altre due condizioni: una lavagna senza conferenziere e la figura 7 c, in cui un conferenziere guarda in una direzione non compatibile con la lettura del testo sullo schermo. Trovano che i destinatari utilizzano meno il testo/dimostrazione quando c’è anche il volto, rilevando un effetto distraente. Tuttavia se la direzione dello sguardo è compatibile con il compito da svolgere (cioè il Talking Head guarda verso il testo), l’esame del materiale scritto è maggiore rispetto a quando il TH guarda in una direzione incompatibile o neutrale. Quindi anche solo la direzione del gaze può essere considerata un suggerimento visivo importante importante e sufficiente.Una conferma di questi risultati si ha anche nella ricerca di Li et al. (2019). Anche qui si analizza l’effetto dello sguardo del docente su attenzione e apprendimento. Guidare lo sguardo verso il materiale da analizzare porta gli studenti a prestare più attenzione al materiale e anche ad apprendere di più, rispetto a quando lo sguardo è neutrale o distolto dal materiale (Li, Wang, Mayer, Liu, 2019).

L’indicazione di dove e quando guardare può essere più o meno precisa. Li, Wang, Mayer e Liu (2019) confrontano quattro tipi di presentazione (Fig. 8) in cui un agente animato che svolge la funzione del docente guida l’attenzione non solo attraverso lo sguardo, anche con azioni di puntamento, con gesti specifici (fig 8 d) o generali (fig. 8 e). Gli studenti nel gruppo in cui il docente utilizza un gesto di puntamento specifico prestano maggiore attenzione agli elementi collegati con il compito e hanno anche una migliore performance.

9

Fig. 8 Riproduzione del materiale della ricerca di Li et al. 2019): Sguardo e Puntamento preciso (d) o generale (e)

Cosa suggeriscono questi risultati a chi insegna? Che anche nella presentazione a distanza si dovrebbe guidare con lo sguardo lo studente, invitandolo a prestare attenzione al materiale da apprendere. Più in generale, la ricerca su animazioni e agenti pedagogici sembra poterci dare degli elementi su cui riflettere, per definire il problema e comprendere quali sono le variabili in causa. A cominciare da quelle che riguardano la direzione dello sguardo. Mayer, Fiorella e Stull (2020) propongono un gaze guidance principle:

people learn better from a video lecture when the on screen instructor shifts gaze between the audience and the board while lecturing rather than looking only at the board or only at the audience (Mayer, Fiorella e Stull, 2020, p. 842 ).

L’analisi di queste ricerche può costituire uno stimolo per il docente che desideri imparare e autodisciplinarsi durante il far lezione, per recuperare il corpo e togliere il controllo della presentazione alla macchina, per ibridarsi in modo positivo. Come rilevano Stull, Fiorella e Mayer occorrerà condurre ricerche per capire come progettare lezioni video che migliorino l’apprendimento.

Concludiamo con la ricerca di Li, Kizilcec, Bailenson e Ju (2016) che si occupano della confrontabilità tra vari tipi di Talking Head. Utilizzano un istruttore umano, uno robot, uno animato e infine uno di tipo digitale. Il loro presupposto è che gli studenti preferiscano i video alla lettura/studio di testi, ma che il costo della produzione di video con Talking Head possa essere alto.

Fig. 9 Confronto tra un agenti virtuali e non virtuali (Li, Kizilcec, Bailenson e Ju, 2016)

I partecipanti alle loro ricerche vedono una lezione condotta da (a) un docente umano, (b) un docente animato, (c) un robot, (d) un robot animato. Ogni video includeva movimenti della bocca e movimenti gestuali modellati sul docente umano. Le condizioni a e b includevano movimenti della bocca e una voce umana naturale, mentre le condizioni c e d impiegavano una voce robotica senza

10

movimenti della bocca. Risulta che le alternative proposte non sono altrettanto efficienti del docente umano: con il Talking Head umano i risultati di apprendimento sono migliori. (fig. 9).

Meglio il docente o un agente? Usare agenti virtuali invece che registrazioni live consentirebbe di tenere maggiormente sotto controllo la presentazione, e forse mostrerebbe una presentazione meno distraente che quella con un docente umano. Ma anche senza utilizzare un agente animato, che non sempre si dimostra altrettanto efficace (vedi i risultati di Li, Kizilcec, Bailenson e Ju, 2016, fig. 9) si potrebbero utilizzare i suggerimenti ricavabili da questo campo di ricerca alla lezione umana. I risultati sembrano misti, a volte la guida con lo sguardo dà risultati notevolmente migliori, ma non sempre (Wang et a., 2019). Ma oltre all’apprendimento conta ma anche la partecipazione, l’immersione nell’ambiente. Nelle condizioni in cui c’è una guida dello sguardo lo studente si sente maggiormente immerso, sperimenta una maggiore presenza sociale.

Aggiungiamo infine il suggerimento di considerare una struttura video modificata rispetto al format-base. Nella ricerca svolta da noi come progetto pilota per la valutazione dell’utilità dei gesti, il piano Americano, che comprende sguardo, mani e braccia, nonché la posizione e direzione del corpo, si era rivelato promettente (vedi fig. 6 anche in Paoletti e Fattorini, 2017).

Nella valutazione degli studenti delle tre risorse fornite (messaggio orale, testo sullo schermo, gesti accompagnatori del Talking Head) veniva preferito l’orale, seguito dai gesti e dal testo. Quest’ultimo veniva considerato la risorsa più impegnativa e faticosa da elaborare. Il messaggio orale veniva ritenuto utile, facile, indispensabile in video, più del testo e dei gesti.

Purtroppo è una soluzione che richiede una strumentazione più impegnativa e che non è prevista delle piattaforme interattive più diffuse. Quindi bisognerà impegnarsi per trovare delle soluzioni alternative a quelle base, naturalmente verificando empiricamente la loro utilità, così come quella del gesto che guida l’attenzione e la direzione del volto e dello sguardo.

Conclusioni

Il Sole 24 ore, citando un’indagine di Ipsos-Federica Weblearning su un campione di 1.200 studenti, mette in luce dei risultati che mostrano 2 studenti su 3 promuovere pur con riserva l’esperienza che abbiamo alle spalle e chiedono di miscelare le lezioni in aula con quelle online (Eugenio Bruno e Valentina Reda, 15.6.202). Lo chiedevano già da tempo (Henderson et al. 2015), ma ora è avvenuto. La Dad ha raggiunto l’80% degli universitari; è stato erogato online il 94% dei corsi (rilevazione Crui del maggio 2020).Si è dimostrato che è evidentemente possibile farlo: prima della pandemia quasi la metà degli studenti non aveva avuto alcuna esperienza di didattica digitale, adesso l’88% dichiara di aver seguito fino a 5 corsi online negli ultimi mesi. I fronte all’emergenza i docenti hanno reagito con una rapidità insospettabile. In due giorni hanno progettato, realizzato e trasmesso uno più tipi di oggetto multimediale: la lezione in streaming, audio o video- registrata, in studio o più spesso a casa, utilizzando uno strumento in precedenza sconosciuto a molti di loro. Seguendo brevi icastiche istruzioni hanno prodotto delle lezioni fruibili a distanza, forse usando esempi passati, la propria esperienza. 2 Eugenio Bruno e Valentina Reda, 15.6.20

11

Da quando l’emergenza sanitaria ha reso difficile utilizzare la lezione e la conferenza in presenza si sono diffuse risorse educative, lezioni online e webconference che utilizzano un formato in una certa misura meno informativo, perché non consente di utilizzare gesti e sguardi. In questo saggio si è cercato di evidenziare l’importanza delle segnalazioni nella comprensione e il contributo che può essere dato dalla ricerca sul multimedia learning e sugli agenti pedagogici.La prima denuncia le conseguenze in termini di Carico Cognitivo dell’eliminazione delle segnalazioni. Quando la gestualità del parlante è nascosta, lo sguardo non guida l’attenzione, aumenta l’impegno di chi ascolta e deve identificare la parte di testo che viene commentata in un preciso momento.La seconda ci da elementi per capire come progettare lezioni video, recuperare il corpo, prendendo consapevolezza della nostra fisicità e di tutti i suggerimenti che possiamo inviare quando poniamo attenzione alle nostre azioni e movimenti.

Bibliografia

Anderson, J. R., & Crawford, J. (1980). Cognitive psychology and its implications (pp. 453-464). San Francisco: Freeman.

Bruni, F. (2020). Visi e corpi al tempo della pandemia. Il selfie in una esperienza di didattica universitaria. Convegno Sirem 2020: Media, educazione e terzi spazi. 8 luglio 2020. https://us02web.zoom.us/j/82151372242

Fattorini, R., & Paoletti, G. (2017). Mettiamoci la faccia. L'uso dei Talking Head nelle lezioni online. Form@ re, 17(1).

Ferreira, C., Rodicio, H. G., & Sanchez, E. (2012). Signals in Expository Prose: Is the Ability to Recognize and Interpret them Specific of Reading Comprehension?. Staging knowledge and experience: how to take advantage of representational technologies in education and training?, 67.

Feyereisen, P. (2006). How could gesture facilitate lexical access? Advances in Speech Language Pathology, 8(2), 128–133.

Fini, A. (2020). Didattica aperta al tempo delle scuole chiuse. Bricks, 2 . http://www.rivistabricks.it/wp-content/uploads/2020/06/2020_02_01_Fini.pdf

Gernsbacher, M. A. (2013). Language comprehension as structure building. Psychology Press.Gunter, T., Weinbrenner, J. e Holle, H. (2015). Inconsistent use of gesture space during abstract

pointing impairs language comprehension. Frontiers in Psychology, 6, 1-10.Henderson, M. Selwyn, N. & Aston, R. (2015). What works and why? Student perceptions of

“useful” digital technology in University teaching and learning, Studies in Higher education, 42, 1567-1579. doi.org/10.1080/03075 079.2015.1007946

Jung, E. (2003). The role of discourse signaling cues in second language listening comprehension. The modern language Journalo, 87, 562-577

Kiewra, K. A., DuBois, N. F., Christian, D., McShane, A., Meyerhoffer, M., & Roskelley, D. (1991). Note-taking functions and techniques. Journal of educational psychology, 83(2), 240.

Kizilcec, R.F., Bailenson, J.N., & Gomez, C.J. (2015). The instructor’s face in video instruction: evidence from two large-scale field studies. Journal of Educational Psychology, 107(3), 724.

12

Kizilcec, R.F., Papadopoulos, K., & Sritanyaratana, L. (2014). Showing face in video instruction: effects on information retention, visual attention, and affect. Proceedings of the 32nd annual ACM conference on Human factors in computing systems (pp. 2095-2102). ACM.

Li, J., Kizilcec, R., Bailenson, J., & Ju, W. (2016). Social robots and virtual agents as lecturers for video instruction. Computers in Human Behavior, 55, 1222–1230.

Li, W., Wang, F., Mayer, R. E., & Liu, H. (2019). Getting the point: Which kinds of gestures by pedagogical agents improve multimedia learning?. Journal of Educational Psychology, 111(8), 1382.

Lorch, R. F. (1989). Text signaling devices and their effects on reading and memory processes. Educational Psychology Review, 1, 209-234.

Lorch, R. F., Lorch, E. P., & Inman, W. E. (1993). Effects of signaling topic structure on text recall. Journal of Educational Psychology, 85(2), 281-290.

Mayer, R. E., Fiorella, L., & Stull, A. (2020). Five ways to increase the effectiveness of instructional video. Educational Technology Research and Development, 1-16.

Mayer, R.E. (2001). Multimedia Learning, Cambridge, MA: Cambridge University Press. Mayer, R.E. (2005), The Cambridge handbook of multimedia learning. Cambridge, MA:

Cambridge University Press. Mancuso, F. (2020). “Zoom fatigue”: perché le videochiamate ci stancano psicologicamente.

GreenMe, https://www.greenme.it/vivere/salute-e-benessere/zoom-fatigue-videochiamate-stancano-cervello/

Mastrogiuseppe, M. (in corso di stampa). Il “linguaggio silente” rilevato dai gesti: la nascita e lo sviluppo della comunicazione gestuale. In P. Quazzolo (ed).

Moon, J., & Ryu, J. (2020). The effects of social and cognitive cues on learning comprehension, eye-gaze pattern, and cognitive load in video instruction. Journal of Computing in Higher Education, 1-25.

Moreno, R., & Mayer, R. E. (1999). Cognitive principles of multimedia learning: The role of modality and contiguity. Journal of educational psychology, 91(2), 358.

Moutone, P. e Mayer, R. (2001). Signaling as a cognitive guide in multimedia learning. Journal of Educational Psychology, 93, 2, 377-389.

Paoletti, G., Fattorini, R. (2017). Il Ruolo Dei Gesti Significativi Del Docente Nei Video Multimediali per L’educazione. Atti EMEMITALIA 2017 | Progress to Work - Contesti, processi educativi e mediazioni tecnologiche.

Smith et al. Pew Res. (2018) https://www.pewresearch.org/internet/2018/11/07/many-turn-to-youtube-for-childrens-content-news-how-to-lessons/. Many Turn to YouTube for Children’s Content, News, How-To Lessons, Luglio 2018.

Schnotz, W. (2005). An integrated model of text and picture comprehension.  The Cambridge handbook of multimedia learning, 49, 69.

Teo, T. [2011], Factors influencing teachers’ intention to use technology: Model development and test, in «Computers & Education», 57, 4, pp. 2432-2440.

Thawai, T., Teeravarunyou, S., & Itthipuripat, S. (2017). Instructors’ gaze automatically enhances information encoding during video-based learning. . Proceedings of the 3rd VInternational Conference on Innovation in Education. Thailand.

 Thompson SE 2003Text-structuring metadiscourse, intonation and the signalling of organisation in academic lectures- Journal of English for academic purposes, 

13

Van Gog, T., Verveer, I. e Verveer, L. (2014). Learning from video modeling examples: effects of seeing the human model’s face. Computer and Education, 72, 323-327.

Chorianopoulos, K. (2018). A Taxonomy of Asynchronous Instructional Video Styles. International Review of Research in Open and Distributed Learning, 1.

Venkatesh, V., Morris, M.G., Davis, G.B. e Davis, F.D. [2003], User acceptance of information technology: Toward a unified view, in «MIS Quarterly», 27, pp. 425-478.

Wang, H., Pi, Z., & Hu, W. (2019). The instructor's gaze guidance in video lectures improves learning. Journal of Computer Assisted Learning, 35(1), 42-50.

14