La prosodia audiovisiva: la teoria
Diane Brentari
Purdue University10 aprile, 2008
Oggi, ci poniamo queste domande: Quali sono i tratti visivi usati per realizzare la
prosodia? Qual è il rapporto temporale fra i tratti
prosodici visivi e quelli orali? Come si sviluppano i tratti visivi? Qual è il rapporto fra i tratti prosodici visivi
nelle lingue orali e nelle lingue dei segni? Quali sono le applicazioni di questa ricerca
nel campo della realtà virtuale?
Le dimensioni dei gesti: icona metaforica deittica battuta (“beat”): la dimensione più
importante per la prosodia
la dimensione battuta (“beat”)
l’uso del corpo o della mano come una bacchetta che segue il ritmo del discorso.
le dimensioni significativi iconica: la forma del gesto rappresenta
tratti visivi e significanti. metaforica: la forma del gesto
rappresenta un’immagine astratta deittica: la forma o il movimento del
gesto è usata per la localizzazione degli oggetti nello spazio
“lexical affiliate” vs. “parola co-segmentale” “lexical affiliate”: la parola o le parole che
sono più vicine al gesto in significato. “parola co-segmentale”: la parola prodotta
simultaneamente con il gesto.
Il mio punto qui è che non è obbligatorio che questi 2 concetti corrispondano alle stesse parole.
i gesti non sono soltanto delle mani le guance le sopracciglia gli occhi la testa intera le spalle il busto
i gesti servono ai parlanti
per ricordare e per esprimere le parole, per sostenere la catena di discorso, e
agli ascoltanti per decidere dov’è la cesura fra le frasi; per decidere la prominenza della frase
Kramer & Swerts (di prossima pubblicazione)
Tratti visivi e prominenza: C’è un effetto dei tratti visivi sulla prominenza
delle parole?
Ipotesi: Un gesto + un accento ha un effetto sulla
prominenza, cioè la prominenza aumenta su quella parola e diminuisce sulle altre parole
3 esperimenti sulle battute1. “fare” le battute: Che cosa fanno i
partecipanti con la voce quando usano anche i gesti?
2. “ascoltare” le battute: Quando i partecipanti ascoltano a loro frasi, sono in grado di percepire che cosa fanno con la voce quando usano anche i gesti?
3. “vedere” le battute: Quando i partecipanti guardano e ascoltano le loro frasi, che giudizio danno sulla prominenza?
tutti gli esperimenti Amanda va a Malta (in olandese)
“Amanda gaat naar Malta.” L’accento può essere su “Amanda” o su
“Malta” o può anche non esserci. I partecipanti: 10 (E1-E2), 20 (E3).
Esperimento 1: ‘fare’ battute 18 condizioni; 2 x 3 x 3
Parola (2 valori): ‘Amanda’ (W1) o ‘Malta’ (W2)
Battuta (3 valori): le sopracciglia, la testa, le mani
Effetto acustico (3 valori): accento W1, accento W2, Ø
Risultati (E1): effetti acustici gli effetti acustici sono ‘normali’
frequenza: accento su W1 o W2 è correlato a un F0, F1 più alta ; meno effetto su F2, poco effetto su F3.
durata: l’accento su W1 è correlato a una vocale più lunga;
energia: l’accento su W1 o W2 è correlato a più energia (più forte) sulla vocale.
Risultati (E1): gli effetti della battuta sul segnale
effetto della battuta accento + battuta su W1 o W2 è correlato
a un F2 più basso. accento + battuta su W2 è correlato a una
vocale più lunga.
Quindi, ci sono effetti del gesto sull’ accento, ma sono percepibili?
Esperimento 2: ‘ascoltare’ battute 10 persone hanno dato giudizi
sull’accento delle vocali: 0 (nessun accento) 1 (accento minore) 2 (accento chiaro)
Misura di “prominence difference”: ∑ W1 prominenza - ∑ W2 prominenza
Risultato (E2) C’è un effetto della battuta sulla prominenza
percepita. Cioè una parola + battuta è correlata a una prominenza aumentata. Invece, la prominenza relativa all’altra parola sembra essere diminuita. Tutti i tre tipi di battuta avevano questo effetto (le sopracciglia, cenno del capo, battute manuali).
Quindi, gli effetti del primo esperimento sono percepibili quando i partecipanti ascoltano, ma vorremmo sapere se c'è un effetto dei gesti sulla percezione.
Esperimento 3: ‘vedere’ battute Qual’è la differenza fra la condizione
audio e la condizione audiovisiva? C’è una differenza fra che cosa si percepisce quando si ascolta soltanto e che cosa si percepisce quando si ascoltano e si vedono le frasi contemporaneamente?
Analisi dei tratti accento: W1, W2, Ø tipo di battuta: le sopracciglia, le battute
manuali; cenno del capo è stato tolto)
Dov’è la battuta: W1, W2 Parlante: (primo, secondo, terzo)
soltanto 3 delle 10 sono stati usati
Risultati (E3)
+ accento: Quando si vede una battuta manuale sulla prima parola, la prominenza di questa è aumentata, mentre è diminuita sulla seconda parola. Vice versa quando la battuta è sulla seconda parola.
- accento: Quando una battuta è sulla parola senza accento la prominenza della parola + accento è diminuita.
L’effetto è lo stesso (ma meno forte) quando la battuta è realizzata dalle sopracciglia.
Effetto della battuta sulla prominenza percepita
prima parola seconda parola
La conclusione
Le battute hanno un effetto forte sulla percezione di prominenza, quindi l’ipotesi è stata confermata.
Brentari, González & Seidl (di prossima pubblicazione) Senza nessuna esperienza di segnato, gli udenti
hanno intuizioni su come usare i tratti prosodici di una lingua dei segni per decidere dove sono i confini fra le frasi segnate? La risposta prevista è: ‘si’
Quali sono le differenze fra segnanti e nonsegnanti nella percezione di questi tratti prosodici? È vero che i segnanti e i nonsegnanti usano i tratti prosodici in modi diversi? La risposta prevista è: ‘si’
Tratti prosodici nella Lingua dei Segni Americana (ASL) Movimenti delle sopracciglia (Wilbur 1994, Liddell
1980) [non ne parliamo qui]
Il prolungamento del segno intero, sopratutto tratti di movimento (Wilbur 1999, Tang, et al. in press)
Il prolungamento dell’ultimo segmento (Perlmutter 1992, Brentari 1998)
Quando le mani si abbassano (Nicodemus, 2006)
Il battito delle ciglia (Wilbur 1994, Liddell 1980) Le pause (Brentari & Poizner, 1994)
La struttura dell’esperimento
Questo esperimento è focalizzato sul confine delle frasi intonazionali (“I-Phrase”).
Gli stimoli sono stati costruiti come piccoli discorsi. Hanno esattamente gli stessi segni, le stesse sillabe, ma confini diversi delle frasi intonazionali.
la procedura
Fase “Familiarizzazione” (passaggi lunghi) Fase “Test”(passaggi brevi) Modulo di risposta su carta. Due domande:
Fra i 2 segni, c’è una cesura? (si/no), Quanto è sicuro della Sua risposta?
(10:molto - 0:niente affatto).
Nessun limite di tempo.
il metodo i partecipanti:
8 segnanti (20+anni d’esperienza); 8 non-segnanti udenti
Stimoli: 10 passaggi lunghi
fase ‘familiarizzazione’ 2 paia di segni a ciascun passaggio breve (20)
fase ‘test’ 20 paia x 2 segnanti diversi = 40 paia 3 volte ogni passaggio breve(60 stimoli con 2 pezzi di frasi diversi, 60 stimoli di una frase
intera)
esempio di un paio dei passaggi lunghi (sono segnati tutti come se fossero segnati a un bambino)
A. ANIMALE TEND THEIR STRANGE. SNAKE BIG STILL MOVE FAST CAN. ALWAYS HAVE PLENTY EAT.
A. Gli animali hanno le caratteristiche strane. I serpenti grandi si possono comunque muovere velocemente. Sempre se hanno abbastanza da mangiare.]
B. YESTERDAY MORNING MY GARAGE SAW SNAKE BIG. STILL MOVE FAST CAN ALWAYS. CHASE. ‘
A. Ieri mattina nel mio garage ho visto un serpente grande. Si può comunque muovere velocemente. L’ho cacciato!
passaggio lungo “A”:ANIMAL TEND THEIR STRANGE. SNAKE BIG STILL MOVE
FAST CAN. ALWAYS HAVE PLENTY EAT. [Gli animali hanno caratteristiche strane. I serpenti grandi si possono comunque muovere velocemente. Sempre se hanno abbastanza da mangiare.]
QuickTime™ and aSorenson Video 3 decompressorare needed to see this picture.
passaggio lungo “B”:YESTERDAY MORNING MY GARAGE I SAW SNAKE BIG. STILL MOVE FAST CAN ALWAYS. CHASE.
[Ieri mattina nel mio garage ho visto un serpente grande. Si può comunque muovere velocemente. L’ho cacciato!]
QuickTime™ and aSorenson Video 3 decompressorare needed to see this picture.
I tratti previsti e quelli presenti:
battito ciglia
pause
mani abb.
nellafrase
fra le frasi
ø
ø
ø
ø
ø
forte
forte
si
si
si
previstiprevisti
ø
forte
previsti
ø
ø
si
si
si
prol.segno
prol.seg.
I tratti previsti e quelli presenti:
battito ciglia
pause
mani abb.
si
si
nella frase
BIG STILL CAN. ALWAYSPassaggio A
nellafrase
fra le frasi
fra le frasi
ø
ø
ø
ø
ø
ø
ø
ø
forte
forte
si
si
si
previsti
forte
forte
si
ø
previsti
ø
forte
previsti
ø
ø
si
si
si
BIG STILLPassaggio A
si
si
nella frase
BIG STILLPassaggio A
ø
ø si
si
ø
ø
ø
prol.segno
prol.seg.
I tratti previsti e quelli presenti:
battito ciglia
pause
mani abb.
forte
forte
fra le
frasinellafrase
fra le frasi
nella frase
ø
ø
ø
ø
ø
ø ø
forte
forte
si
si
si
previsti
ø
si
øø
si ø
Passaggio B BIG.STILL CAN ALWAYSprevisti
ø
forte
previsti
battito ciglia
pause
mani abb. ø
ø
si
si
si
CAN ALWAYSPassaggio B BIG.STILLCAN. ALWAYS
fra le frasi
ø
forte
fortesi
si
nella frase
BIG STILLPassaggio A
si
si
ø
ø
ø
prol.segno
prol.seg.
questo è stato tagliato questo del passaggio “A”: SNAKE BIG STILL MOVE FAST CAN. ALWAYS[I serpenti grandi si possono comunque muovere velocemente. Sempre]
questo è stato tagliato del passaggio “B”: SNAKE BIG. STILL MOVE FAST CAN ALWAYS[Un serpente grande. Si può comunque muovere velocemente.]
Modulo di risposta (un pagina)
Between the two signs shown is there a sentence break? yes ___no ___ [Fra i 2 segni, c’è una cesura? (si/no)]
How confident are you in your answer? 10 9 8 7 6 5 4 3 2 1 0[Quanto sicuro è della Sua risposta?]
very not at all [molto] [niente affato]
BIG STILL CAN ALWAYS
i risultati sono stati analizzati secondo queste categorie
2 pezzi dei frasi diversi
1 frase
si corretto + spaglio +
no spaglio - corretto -
La accuratezza
La prova statistica d’ dimostra che non c’era un effetto del gruppo sulla accuratezza. I segnanti sono stati più accurati nella categoria di
“corretti +”: 86% segnanti; 76% nonsegnanti
I nonsegnanti sono stati più accurati nella categoria di
“corretti -”: 76.5% segnanti; 85% nonsegnanti I segnanti mostrano meno variabilità.
Analisi degli stimoli costituiti da pezzi delle 2 frasi (Logical Regression)
Effetto DF p-value
Pause 1 0.0111
Bat.occhi 1 0.1266
Prol.(segno) 1 0.3256
mani cadute 1 0.4322
Prol.(segmento) 1 0.6556
Effetto DF p-value
Pause 1 <.0001
Bat.occhi 1 0.0444
mani cadute 1 0.0674
Prol.(segmento) 1 0.1248
Prol.(segno) 1 0.1471
Segnanti Non-segnanti
Analisi degli stimoli costituiti da 1 frase intera (Logical Regression)
Effetto DF p-value
Prol.(seg) 1 <.0001
Bat.occhi 1 0.0938
mani cadute 1 0.1031
Pause 1 0.1327
Prol.(segno) 1 0.5203
Effetto DF p-value
Prol.(seg) 1 < 0.0001
mani cadute 1 0.0052
Bat.occhi 1 0.1033
Prol.(segno) 1 0.1719
Pause 1 0.7413
Non-segnantiSegnanti
Conclusioni Segnanti e nonsegnanti possono entrambi identificare
quando c’è uno spazio fra 2 frasi. Quindi la prima ipotesi è stata confermata.
I segnanti mostrano meno variazione I segnanti focalizzano su un tratto solo, mentre
nonsegnanti focalizzano su due tratti (almeno). I segnanti e i nonsegnanti sono sensibili a tratti simili:
La pausa è il tratto più importante quando c’è una cesura nell stimolo.
Il prolungamento segmentale è il tratto più importante negli stimoli costituiti da una frase intera (senza una cesura).
Quindi anche la seconda ipotesi è stata confermata.
Alcune domande sulla prosodia (sono solo esempi)
Quando un gesto e l'accento sono simultanei, quante volte il gesto è soltanto una battuta, e quante volte c'è un altra dimensione di significato.
Quando c'è un altra dimensione di significato, quale è la dimensione?
Qual'è il rapporto fra i gesti emblematici e la prominenza? Gesti emblematici hanno uno significato di per sé; e.g., ‘non me ne frega nulla di q.c’, ‘cosa/perché’, ‘perfetto’). Di solito succedono senza parole, ma qual’è il rapporto fra il gesto e le parole prima o dopo il gesto?
la distribuzione delle dimensioni dei
gesti (McNeill 1992)
tipo di frase iconica battuta metaforica deittica nessuno totale narrativa 41% 25% 2% 5% 27% 543 extra-narrativa 14% 54% 13 1% 18% 247 totale 261 263 43 28 190 790
Vi invito a scegliere 1 minuto dei 2 video diversi, fare una paragone di qualche tipo, e preparare una piccola
presentazione per la prossima volta.
IT narrativo <-> ING narrativo IT extra-narrativo <-> ING extra-narrativo IT narrativo <-> IT extra-narrativo ING narrativo <-> ING extra-narrativo
--presentazione di10 minuti