Costruzione dei test e valutazione delle competenze linguistico-comunicative
Mantova 22 gennaio 2013
Anna Maria Arruffoli
NEL QCER
la valutazione e il L.T. assumono un ruolo decisivo
sia all'interno del processo educativo sia nella misurazione delle competenze
linguistiche in un dato momento del loro sviluppo
IL TEST
serve a una più oggettiva valutazione di quello che un apprendente sa e sa fare
Significa anche
Accettare trasparenza e chiarezza di contenuti Rinunciare alla completa soggettività del
giudizio
COMPETENZE LINGUISTICO-COMUNICATIVE
CONOSCENZE lessicali, morfosintattiche. ABILITÀ di riconoscerle, organizzarle,
gestirle
CONOSCENZA delle convenzioni sociali (regole di cortesia, rapporti tra
generazioni, sessi, classi, gruppi sociali)
USO funzionale della lingua
DIMENSIONI DELL’APPRENDIMENTO DELLA L2 SECONDO IL QCER
• DIMENSIONE VERTICALE: la scala ascendente di livelli che segnano il continuum della competenza
• DIMENSIONE ORIZZONTALE: parametri di gestione dell’attività comunicativa (ambiti e domini d’uso della L2, contesti di comunicazione, abilità, testi)
locutore/ apprendente COMPETENTE
C2 Comprende con facilità praticamente tutto ciò che sente o legge. Sa riassumere informazioni provenienti da diverse fonti sia parlate che scritte, ristrutturando gli argomenti in una presentazione coerente. Sa esprimersi spontaneamente, in modo molto scorrevole e preciso, individuando le più sottili sfumature di significato in situazioni complesse.
C1
Comprende un'ampia gamma di testi complessi e lunghi e ne sa riconoscere il significato implicito. Si esprime con scioltezza e naturalezza. Usa la lingua in modo flessibile ed efficace per scopi sociali, professionali e accademici. Riesce a produrre testi chiari, ben costruiti, dettagliati su argomenti complessi, mostrando un sicuro controllo della struttura testuale, dei connettori e degli elementi di coesione.
locutore/ apprendente AUTONOMO
B2
Comprende le idee principali di testi complessi su argomenti sia concreti che astratti, comprese le discussioni tecniche nel suo campo di specializzazione. È in grado di interagire con una certa scioltezza e spontaneità che rendono possibile un'interazione naturale con i parlanti nativi senza sforzo per l'interlocutore. Sa produrre un testo chiaro e dettagliato su un'ampia gamma di argomenti e spiegare un punto di vista su un argomento fornendo i pro e i contro delle varie opzioni.
B1
Comprende i punti chiave di argomenti familiari che riguardano la scuola, il tempo libero, ecc. Sa muoversi nella maggioranza delle situazioni che possono verificarsi mentre viaggia nel Paese in cui si parla la lingua. È in grado di produrre un testo semplice relativo ad argomenti che siano familiari o di interesse personale. È in grado di descrivere esperienze ed avvenimenti, sogni, speranze ed ambizioni e spiegare brevemente le ragioni delle sue opinioni e dei suoi progetti.
A2
Comprende frasi ed espressioni usate frequentemente relative ad ambiti di immediata rilevanza (es. informazioni personali e familiari di base, fare la spesa, la geografia locale, l'occupazione). Comunica in attività semplici e di routine che richiedono un semplice scambio di informazioni su argomenti familiari e comuni. Sa descrivere in termini semplici aspetti del suo background, dell'ambiente circostante. Sa esprimere bisogni immediati.
A1
Comprende e utilizza espressioni di uso quotidiano e frasi basilari tese a soddisfare bisogni di tipo concreto. Sa presentare se stesso/a e gli altri ed è in grado di fare domande e rispondere su particolari personali come dove abita, le persone che conosce e le cose che possiede. Interagisce in modo semplice purché l'altra persona parli lentamente e chiaramente e sia disposta a collaborare.
TEST COME STRUMENTO DI MISURA
Test: procedura elaborata per elicitare comportamenti dai quali poter fare
inferenze su determinate caratteristiche/competenze di un individuo
I limiti della misurazione della competenza linguistico–comunicativa
metrologico (non è possibile utilizzare procedimenti di misura in cui si parta da 0 come assenza assoluta e si proceda attraverso un’articolazione di unità uguali e costanti)
la misurazione è quasi sempre incompleta la misurazione è pressoché indiretta la misurazione avviene in situazioni artificiali
rispetto ai comportamenti che vengono sollecitati per essere sottoposti a controllo
VALUTAZIONE
DEL PROFITTO: accerta se è stato appreso ciò che è stato insegnato. Rappresenta un punto di vista interno alla disciplina
DELLA COMPETENZA: riguarda ciò che un individuo sa fare/conosce con riferimento al mondo reale. Rappresenta un punto di vista esterno
TIPI DI TEST
Placement test – test di ingresso funzione diagnostica
Achievement test – test di profitto funzione formativa e sommativa
Proficiency test – test di competenza funzione prognostica
MISURAZIONE E VALUTAZIONE DELLA COMPETENZA
Requisiti fondamentali dei test: validità
affidabilità
economicità
impatto
VALIDITÀ
un test è valido se misura quello che si propone di misurare Validità del test per il costrutto (construct validity)��� il contenuto (content validity) = PERTINENZA l'apparenza esterna (face validity) = ACCETTABILITÀ
VALIDITÀ DELL’UTILIZZO DI UN TEST DOPO UNA PRIMA SOMMINISTRAZIONE
la validità concorrente (concurrent validity) = COMPARABILITÀ
la validità predittiva (predictive validity)
AFFIDABILITÀ
Per affidabilità di un test si intende la sua STABILITÀ:
un test è affidabile quando è in grado di fornire risultati uguali se somministrato o valutato in tempi differenti e da persone differenti
è una qualità necessaria, ma non sufficiente
mentre la validità è teorica, la affidabilità è sperimentale
FATTIBILITÀ, ECONOMICITÀ
RAPPORTO costi/risorse - qualità/prezzo/risultati (prove oggettive/soggettive, ore, sperimentazione, modalità di somministrazione, numero valutatori ecc.)���
IMPATTO
a livello individuale
formativo, lavorativo a livello collettivo
diritti di cittadinanza
effetto washback ricadute sull'insegnamento/apprendimento
ETICA
Trasparenza e formalizzazione delle scelte e delle procedure
Consapevolezza delle responsabilità sociali insite nel lavoro di costruttore dei test
LE FASI DEL PROCESSO DI VALUTAZIONE
Determinare lo scopo
Definire il contenuto
Preparare il test
Stabilire i criteri di correzione e assegnazione del punteggio
Somministrare il test
Interpretare i risultati
LE FASI DEL PROCESSO DI VALUTAZIONE
1ª Fase:
Il COSTRUTTO gli aspetti delle conoscenze/competenze che si intende testare (costruiamo un test per verificare che cosa? Per quale utente?)
LE FASI DEL PROCESSO DI VALUTAZIONE
2ª Fase:
IL CONTENUTO ciò che un test contiene in termini di testi, compiti, tipi e numero di item, attività, tempo a disposizione
LE FASI DEL PROCESSO DI VALUTAZIONE
Fare un inventario accurato degli elementi di conoscenza e/o competenza che devono essere oggetto di valutazione
Stabilire la lunghezza massima del test
Stabilire le tipologie di prova più adatte agli scopi della verifica
LE FASI DEL PROCESSO DI VALUTAZIONE
Scegliere il TESTO più adatto
Scegliere il LESSICO in base all'obiettivo e al livello
TESTI PARLATI E SCRITTI PER ABILITÀ RICETTIVE Devono essere gestibili dall'apprendente.
Nella costruzione delle prove si devono selezionare i testi per: TIPOLOGIA LUNGHEZZA LESSICO TIPO DI PUBBLICO E LIVELLO al quale può essere
destinato TIPO DI TEST per il quale il testo è più adeguato
•
TIPOLOGIE TESTUALI
• DESCRIZIONE disposizione nello spazio
• NARRAZIONE seriazione, collocazione temporale
• ARGOMENTAZIONE gestione articolata di concetti astratti
• ESPOSIZIONE - REGOLAZIONE
IL CRITERIO DELL’IMPORTANZA PER L’APPRENDENTE
Un fattore che può ostacolare la comprensione è la presenza di unità lessicali di bassa frequenza (termini tecnici o nomi propri), che può essere annullato dalla familiarità con un determinato contenuto
motivazione interesse personale a entrare nel contenuto di un testo
sostiene gli sforzi di comprensione dell’apprendente
Il criterio della struttura del discorso
Regole strutturali interne di un testo che riducono la complessità nella gestione dell’informazione, in considerazione di diversi fattori:
" la coerenza testuale sul piano del contenuto e la chiara organizzazione tematico-strutturale (sequenze temporali e punti principali chiaramente segnalati e presentati prima della loro illustrazione) " la coesione, determinata dai legami formali fra le diverse parti " la natura implicita o esplicita dell’informazione " l’assenza di contraddizioni
La leggibilità
• Indica la probabilità che le caratteristiche lessicali e morfosintattiche di un testo ne influenzino la comprensibilità
• Tanto più un testo è leggibile e tanto più si attua con facilità la cooperazione testo-fruitore
La leggibilità
• Per misurare la leggibilità ci sono molte formule. Per l’italiano le più usate sono
FORMULA DI FLESCH-VACCA F=206 – (0,6 X S) – P
FORMULA GULPEASE F=89 – (LP:10)+(FRX3)
Quali sono i ‘contro’ dei testi ad alta leggibilità? • Problemi di tipo linguistico:
“mancanza di stile” dei testi Esempio (da Amulfi M., Nuovo binario realtà, Sussidiario per la classe IV, Il Capitello)
A La presenza dei grandi laghi riesce a modificare il clima circostante; la massa d'acqua rende la temperatura sempre mite e le cittadine che sorgono sulle loro rive sono rinomate località turistiche estive ed invernali. (testo originale)
B L'acqua dei grandi laghi scalda la terra intorno a loro; per questo tanti turisti vanno in vacanza nelle città vicino ai laghi, in estate e in inverno. (testo riscritto)
SEMPLIFICAZIONE TESTUALE
• Lessico • Senso logico e
cronologico • Frasi brevi • Ridondanza • S – V – O • Modi verbali finiti • Forma attiva
No forme impersonali
No negazioni multiple
No ambiguità di scopo
Titolo
Immagini
Accorgimenti grafici
LE FASI DEL PROCESSO DI VALUTAZIONE
3° Fase: COSTRUZIONE DEL TEST
CREARE il test, definire le chiavi e i criteri
Decidere i TEMPI di somministrazione del test e somministrarlo
I TEST: SCELTA DEL METODO
tecniche per la verifica delle abilità ricettive: scelta multipla, vero/falso, individuazione di informazioni, domande semistrutturate (test paper and pencil, McNamara 2000)���
compiti per la verifica delle abilità produttive: composizioni guidate, brevi saggi (performance test, McNamara 2000)���
CLASSIFICAZIONE DEI TEST DAL PUNTO DI VISTA COGNITIVO test a punti discreti
si focalizzano su un singolo elemento della lingua alla volta, o una abilità alla volta
test integrati cercano di misurare la capacità di usare più elementi insieme
TIPOLOGIE DI PROVE/TEST
PROVE OGGETTIVE scelta multipla vero/falso individuazione
informazioni cloze test abbinamento ricostruzione
PROVE SOGGETTIVE
produzione scritta
produzione orale
CLASSIFICAZIONE DEI TEST DAL PUNTO DI VISTA DELL’ATTRIBUZIONE DEI PUNTEGGI OGGETTIVI La correttezza della risposta è già determinata al momento della stesura del test. NON è richiesto il giudizio del valutatore
SOGGETTIVI È necessaria la presenza di un VALUTATORE che si esprime sulla correttezza della risposta, basandosi su criteri e scale di valutazione
VANTAGGI E LIMITI DELLE PROVE OGGETTIVE Oggettività Risparmio di tempo per la
valutazione Rapidità e facilità di uso Simultaneità delle
misurazioni
Si limita la libertà di espressione degli studenti
Necessità di molto tempo per la costruzione
Casualità delle risposte
Misurazione solo di alcuni aspetti dell’apprendimento
CRITERI GENERALI per le PROVE OGGETTIVE Linguaggio adeguato ai destinatari
Stimoli brevi ed essenziali
Non fare tranelli
Non chiedere cose banali o sciocche
Non fare domande risolvibili in base al buon senso o alla cultura generale
Le risposte sbagliate non devono essere né ingenue né raffinate, ma adeguate alla preparazione degli apprendenti
TIPOLOGIE DI PROVE scelta multipla E’ il tipo di test più adeguato per la verifica
della comprensione scritta e orale.
La scelta multipla può essere usata per testare un solo elemento come nella verifica del lessico
test a punti discreti o testare più elementi insieme come nella verifica della
comprensione scritta o orale test integrato
TIPOLOGIE DI PROVE scelta multipla Domanda o frase da completare (stem/quesito) contrassegnato da un numero
3 o 4 risposte o affermazioni contrassegnate da una lettera
2 o 3 distrattori risposte o alternative non esatte ma plausibili 1 sola risposta esatta
REGOLE per la costruzione di test a scelta multipla
La domanda/affermazione deve focalizzare con precisione un SOLO nodo informativo o concetto
Usare DISTRATTORI PLAUSIBILI. Ogni distrattore deve, per contenuto e natura, risultare in qualche modo collegato alle domande
REGOLE per la costruzione di test a scelta multipla Fare in modo che i quesiti siano tra loro
INDIPENDENTI
Non usare ALCUNA risposta precedente come distrattore o come risposta corretta in altri quesiti
Non collocare la risposta corretta di ogni item nella stessa posizione
Evitare che elementi grammaticali o la struttura delle frasi favoriscano la scelta
TIPOLOGIE DI PROVE individuazione di informazioni
Test che consiste nel presentare all’apprendente una serie di AFFERMAZIONI/FRASI su un testo letto o ascoltato.
Chi fa il test deve indicare se queste informazioni sono o NON sono presenti nel testo.
Si usa nella comprensione scritta e orale.
E’una forma più elaborata del Vero/falso.
TIPOLOGIE DI PROVE ricostruzione o riordino Il testo originale viene spezzettato in varie
sequenze che poi sono mescolate
Chi fa il test deve riordinare le sequenze e ricostruire il testo
Il test a riordino si basa sull’analisi e l’individuazione di legami testuali. Mette in gioco più conoscenze e competenze nello stesso tempo: si deve infatti ricostruire il testo in base al contenuto e alla sequenza logica, al lessico, ai connettivi temporali, spaziali e causali
Somministrazione
AMBIENTE Le prove si devono svolgere in un luogo
adeguato per spazi e attrezzature
Si dovrebbero eliminare tutti gli elementi di disturbo (distrazioni, rumori, interferenze, interruzioni ecc.)���
Più rilassato è il candidato, più potrà dare una prova migliore della sua competenza
Somministrazione
Chiarezza e pertinenza delle istruzioni
Tempo adeguato allo svolgimento del compito
Somministrazione della prova orale L'esaminatore deve stare attento al tono che usa
nell'interazione. Può essere
Troppo professorale
Scostante
Incoraggiante
Accondiscendente
Troppo accondiscendente
Somministrazione della prova orale Dovrebbe cercare di
Fare poche domande chiuse
Fare domande di rilancio
Non fare domande complesse o poco comprensibili
Non fare domande troppo lunghe
VALUTAZIONE
MISURARE: Calcolare la misura di qualcosa in rapporto ad un determinato strumento di misura
VALUTARE: attribuire un valore a una misurazione
VALUTAZIONE DELLE PROVE SOGGETTIVE
Valutazione globale
Valutazione con griglie che limitano la soggettività del valutatore
VALUTAZIONE
Per ridurre al minimo l’intervento di variabili soggettive nella valutazione delle prestazioni i valutatori cils hanno previsto:
in fase di costruzione del test, una griglia di valutazione che esplicita i criteri di riferimento relativi al compito e al livello di competenza, in base a descrittori della competenza richiesta
CRITERI DI VALUTAZIONE DELLA PRODUZIONE SCRITTA Efficacia comunicativa
registro/adeguatezza stilistica
adeguatezza di contenuto
correttezza morfosintattica
capacità di trasmettere il messaggio, l'informazione. Nei livelli C1 e C2 comprende prevalentemente la coerenza e la coesione del testo uso del registro secondo le regole pragmatiche e l'adeguatezza alla tipologia testuale adeguatezza e coerenza allo stimolo dato
uso adeguato delle strutture e forme previste dal livello
CRITERI DI VALUTAZIONE DELLA PRODUZIONE SCRITTA Adeguatezza e ricchezza
lessicale
ortografia e punteggiature
Uso di lessico adeguato al contesto di comunicazione
rispetto delle convenzioni ortografiche
GRIGLIA DI VALUTAZIONE DELLA PRODUZIONE ORALE INDICATORI
Efficacia comunicativa
adeguatezza di registro e di varietà linguistica
SOTTOINDICATORI
capacità di comprendere l'interlocutore, mantenere il flusso del discorso, interagire rispettando i turni della conversazione, mettere in atto strategie comunicative efficaci
uso del registro formale/informale secondo le regole pragmatiche e l'adeguatezza alla tipologia testuale richiesta
GRIGLIA DI VALUTAZIONE della produzione orale INDICATORI
correttezza morfosintattica
adeguatezza e ricchezza lessicale
pronuncia e intonazione
SOTTOINDICATORI
uso adeguato delle forme e delle strutture previste dal livello di competenza
uso del lessico adeguato al contesto di comunicazione
padronanza del sistema fonologico della lingua italiana
Attribuzione dei punteggi
Stabilire il livello di abilità o dominio
Stabilire il punto di taglio il punteggio minimo che attesta se è stato
raggiunto un dato livello di abilità o la competenza stabilita nel criterio
Attribuzione dei punteggi
Per le prove chiuse si attribuisce un punteggio prestabilito per ogni risposta esatta e un punteggio 0 per ogni risposta sbagliata o omessa
La penalizzazione per le risposte sbagliate deve essere introdotta nel caso dei test di individuazione di informazioni, per evitare che un apprendente ottenga il punteggio massimo segnando tutte le risposte
Attribuzione dei punteggi
Scegliere la scala di valutazione in base ai descrittori della competenza
La CERTIFICAZIONE CILS
nei livelli di base ha un forte peso l'efficacia comunicativa
nei livelli competenti ha un peso maggiore la correttezza formale
ANALISI DEI RISULTATI
Un test è tanto più affidabile quanto più minimizza errori di misura
La misura deve corrispondere alla competenza reale di chi fa il test
ANALISI DEI RISULTATI
GLI ERRORI DI MISURA possono essere dovuti a
Caratteristiche del test
Caratteristiche di chi fa il test
Fattori imprevedibili *La misurazione è sempre incompleta e imprecisa perché non è possibile partire da uno 0 assoluto e procedere per unità uguali e costanti
ANALISI DEI RISULTATI
Possibili errori del valutatore nelle prove orali
Effetto “Pigmalione”
Effetto “alone”
Errore di contrasto (dopo una prova scadente)���
Errore di assuefazione
Tendenza a raggruppare i voti nella parte centrale della scala
Variabilità dell'umore (stanchezza, fastidio ecc.)���
ANALISI DEI RISULTATI
Difetti degli item Ambigui, troppo difficili o troppo facili
Se il test è troppo lungo Le prestazioni saranno migliori nella prima parte e
peggiori nell'ultima
Coerenza dei valutatori
Meglio dare test diversi per misurare la stessa abilità
BIBLIOGRAFIA
BACHMAN, L. F., 1990, Fundamental considerations in language testing, Oxford, Oxford University Press.
BACHMAN, L. F / PALMER, A. S., 1996, Language testing in practice,Oxford, Oxford Press.
BROWN, A. D., 2004, Interviewer variability in oral proficiency interviews, Melbourne, Department of Linguistic and Applied Linguistic, School of Languages, University of Melbourne.
DAVIES A., 1990, Principles of Language Testing, Oxford-Cambridge, Basil Blackwell.
DE MAURO, T., 1980, Guida all’uso delle parole, Roma, Editori Riuniti.
MCNAMARA, T., 2000, Language Testing, Oxford, Oxford University Press.
VEDOVELLI, M., 2002, Guida all'italiano per stranieri, La prospettiva del Quadro comune europeo per le lingue, Roma, Carocci.
VEDOVELLI M., a cura di, 2005, Manuale della certificazione dell’italiano L2, Roma, Carocci.