Pedagogia sperimentale &Tecniche di valutazione
Cristiano Corsini
la valutazione finale: metodi e criteri
1) Processuale. In base ai lavori di gruppo (3/6 persone). Corsiste e corsisti saranno valutate/i in base al lavoro di validazione degli strumenti di valutazione educativa scelti.
2) Finale. Rilevazione e valutazione delleconoscenze acquisite tramite prova scritta ecolloquio orale.
2
«Valutare e misurare»
• Lezioni frontali (18 ore)
«Unione» dei due corsi.
I contenuti: funzioni, approcci, forme, strumenti, limiti, miti, luoghi comuni e potenzialità della valutazione educativa
• Laboratori (18 ore)
Scelta e validazione di strumenti / percorsi di valutazione educativa
3
Concetti & Strumenti
RicercaMisurazione
Valore Aggiunto
Efficacia
ValutazioneAuto
DocimologiaValidità
Affidabilità
4
Oggettività
Equità
Invalsi
CompetenzeProcessi
ProdottiConoscenze
I numeri sono una cosa. I giudizi sono una cosa diversa. I numeri sono una cosa precisa, i giudizi sono spesso confusi. Ci sarà del resto una
ragione perché tutti i fenomeni significativi sono misurati con i numeri. Un terremoto è misurato con i numeri della scala Mercalli o Richter. Il moto marino è misurato in base alla scala numerica della
«forza», la pendenza di una parete di montagna in base ai «gradi», la temperatura del corpo umano ancora in base ai «gradi». La mente
umana è semplice e risponde a stimoli semplici. I numeri sono insieme precisi e semplici. Il messaggio che trasmettono è un
messaggio diretto. Se gli stessi fenomeni – terremoto, moto marino, pendenza, temperatura corporea – fossero espressi non con i numeri
ma attraverso frasi complesse con finalità descrittive, il messaggio resterebbe impreciso.
5
G. Tremonti, Il passato e il buon senso“Corriere della Sera”, 22 agosto 2008
Qualche anno prima, invece…
6
1955
7
John Dewey
c’è sempre qualche osservazione del risultato ottenuto in paragone e in contrasto con quello atteso, in modo che il paragone getti luce sulla effettiva adeguatezza delle cose adoperate come mezzi
Teoria della valutazione, 1939
Nella valutazione…
8
Jaap Scheerens
Giudizio del valore di oggetti educativi emesso sulla base di una raccolta sistematica di informazioni, al fine di sostenere i processi decisionali e l’apprendimento
Autovalutazione e uso delle informazioni nella scuola
orientata ai risultati, 2000
La valutazione
in educazione
9
Egle Becchi, Vega ScaleraAccertamento intersoggettivo di più dimensioni formative e organizzative di un contesto educativo e indicazione della loro misurabile distanza da espliciti livelli considerati ottimali da un gruppo di riferimento, in vista di un’incidenza concreta sull’esperienza educativa
Cit. in Bondioli, Verso un modello di
valutazione formativa, 2004
10
NA
SC
ITA
E S
VIL
UP
PI D
EL
LA
DO
CIM
OL
OG
IA
Scarti
Medi
Scarti più
frequenti
Scarti
massimi
Vero voto
N. minimo
Valutatori
Composizione francese 3,3 6 e 7 13 78
Versione dal latino 3,0 5 12 19
Inglese 2,2 4 9 28
Matematica 2,0 4 9 13
Filosofia 3,4 5 e 7 12 127
Fisica 1,9 4 8 16
Analisi dello scarto dei voti (scala da 1 a 20) assegnati da 30 docenti suddivisi in 6
gruppi alle prove finali del Baccalauréat (Piéron 1963)
NA
SC
ITA
E S
VIL
UP
PI D
EL
LA
DO
CIM
OL
OG
IA
11
Scarto = differenza tra due voti
assegnati alla stessa prova
• Legare concetti astratti a indicatori empirici
• Costruire il rapporto tra il concetto astratto e la risposta che dovrebbe rappresentarlo
es. Comprensione della lettura
1. Costruire un modello delle relazioni tra i concetti alla base della Comprensione della lettura
2. Ricercare le relazioni tra concetti e indicatori
3. Misurare gli indicatori
Esempio. Un Modello del concetto “Comprensione della lettura”
misurare
Caratteristiche di uno strumento di misura
Validità. Uno strumento è valido se misura quello che, attraverso il suo impiego, si intende misurare.
Affidabilità. Uno strumento è affidabile se, sottoposto allo stesso stimolo, fornisce la stessa misura.
Nella misurazione, attribuiamo dei valori
numerici a oggetti o ad eventi secondo regole
che permettono di rappresentare caratteri
degli oggetti o eventi n questione con
proprietà del sistema numerico.
In teoria, alle variabili di tipo qualitativo
possiamo assegnare solo nomi e non numeri,
tuttavia nella pratica è comune etichettare
variabili qualitative con numeri.
E' necessario ricordare però che in questi casi
i numeri non hanno le proprietà del sistema
numerico.
Una distinzione comunemente adottata è
quella che divide le scale di misura in quattro
categorie.
NOMINALI
ORDINALI
DI RAPPORTI
A INTERVALLI
la validità di una misura
La validità è la capacità di una misura di misurare proprio quel che intende
misurare
Ciò che è possibile validare non è mai uno strumento in sé, ma uno
strumento in relazione allo scopoper il quale viene costruito
Ciò che a noi interessa che abbia validità non è tanto lo strumento
quanto una particolare interpretazione dei dati ricavati dal
suo utilizzo
è possibile che uno strumento sia valido per misurare un fenomeno
diverso da quello che vogliamo misurare
la validità di contenuto
Il contenuto della prova è appropriato agli intenti di misura della prova?
es. per la misurazione del concetto “comprensione della lettura”, si deve
1 Definire in maniera operativa il concetto
(“tradurlo in comportamenti osservabili”)
... le domande che possono aiutarci in queste fasi:
a) la nostra definizione include tutti gli aspetti importanti del concetto?
b) la nostra definizione esclude qualcuno tra gli aspetti importanti del concetto?
2 Scegliere i testi in modo che siano adatti allo scopo
3 Scegliere gli indicatori per rappresentare il concetto
c) la scelta degli indici ha escluso aspetti importanti della nostra definizione?
4 SARÀ NECESSARIO CHE CIASCUNA
ABILITÀ VENGA RILEVATA DA MOLTI ITEM
verifica della validità di un test confrontando i suoi risultati con altre misure della stessa abilitàrilevate in modo indipendentesi tratta dunque di utilizzare un’altra misura come CRITERIO pervalidare la primaun modo molto semplice per validare secondo criterio è quello di prendere i punteggi di un test e verificare se sono correlaticon punteggi che l’insegnante ha attribuito in modo autonomo ai suoi studenti
la validità del criterio
si riferisce alla bontà di un test giudicata sulla base di quanto i punteggi ricavati dalla prova hanno senso in relazione alle nostre teorie
Come la validità di contenuto, anche la validità di costrutto può essere verificata solo in relazione a un modello teorico
Le operazioni necessarie per verificare la validità del costrutto prevedono la costruzione di una teoria (definizione di concetti e dei loro rapporti), la scelta di indicatori per ciascun concetto, la misurazione dei concetti, il calcolo delle correlazioni tra gli indici dei concetti misurati e il confronto tra queste correlazioni empiriche e quelle ipotizzate teoricamente tra i concetti
la validità di costrutto
si riferisce alla bontà di un test
valutata in base
al suo ASPETTO
da parte di persone che
non hanno esperienza di testing
L’aspetto condiziona l’accettazione,
l’uso e la circolazione di un test.
In una prova che propone
domande irrilevanti o inutili
agli occhi della popolazione
cui è destinata,
l’aspetto finisce con il condizionare
la validità delle misure,
generando resistenze o
superficialità nelle risposte
la validità di aspetto
Indicazioni per costruire prove «oggettive»Avvertenze Motivazioni
Il linguaggio (termini e struttura delle proposizioni) non sia inutilmente complicato ma sia adeguato ai destinatari (V)
La misurazione degli obiettivi sarebbe accompagnata o filtrata dalla misurazione delle abilità linguistiche riguardanti tali complicazioni
Gli stimoli siano brevi ed essenziali, nella misura del possibile. (V)
Si perde meno tempo, si provoca minore stanchezza.
Non fare tranelli (V) Si misurerebbe l’abilità di sfuggire ai tranelli.
Non chiedere cose banali o sciocche (V). Si misurerebbero conoscenze inutili.
Non fare domande alle quali si possa rispondere solo in base al buon senso o alla cultura generale (V).
Si misurerebbe il buon senso e la cultura generale.
Le risposte sbagliate non siano ingenue né raffinate,
ma adeguate alla preparazione dei destinatari (V) (A).
Si misurerebbero acquisizioni estranee agli obiettivi perseguiti. Taluni soggetti potrebbero trovarsi in difficoltà.
Citare un autore, se si fanno riferimenti a quanto egli abbia detto o scritto (A).
Non si saprebbe altrimenti riconoscere come vere o false le asserzioni riportate.
La collocazione delle risposte esatte non deve essere preordinata (ad esempio VFVFVFVFVF, oppure VVFFVVFFVVFF) (AS).
Qualcuno potrebbe scoprirla
Non utilizzare mai ‘pezzi’presi tali e quali da libri usati per lo studio (AS).
Qualcuno li potrebbe avere memorizzati o ritrovarvi più facilmente la risposta esatta.
Ciascuna domanda sia indipendente dalle altre (AS)Chi scoprisse i collegamenti potrebbe essere facilitato.
Adattate da Gattullo, Giovannini, Misurare e valutare l’apprendimento nella
scuola media, 1989, Milano
Posizione e soluzione del problema1. La domanda deve focalizzare un solo problema o concetto, esprimendolo con precisione per
evitare incertezze e confusioni nella scelta della risposta.2. I distrattori devono essere plausibili rispetto al problema considerato. Ogni distrattore deve,
per contenuto e natura, risultare in qualche modo collegato alla domanda.Formulazione linguistica3. La domanda deve essere formulata in forma semplice ed esplicita. Il corpo della domanda
dovrebbe essere formulato da una frase in forma interrogativa o affermativa.4. Nei quesiti relativi alla comprensione di testi, usare un linguaggio simile (per difficoltà e in
relazione ai destinatari) a quello del testo a cui si riferisce.5. I distrattori e la risposta esatta devono essere formulati in modo omogeneo, per struttura
sintattica e per lunghezza.6. Le risposte esatte e i distrattori non dovrebbero ripetere termini usati nella domanda o, nel
caso di prove di comprensione della lettura, nel testo.7. Le alternative di risposta non dovrebbero contenere avverbi quali sempre, tutti, ogni,
dappertutto che inducono a credere nell’inesattezza delle risposte che li contengono.8. Allo stesso modo è bene evitare l’uso di termini come quasi sempre, spesso, qualche volta, che
inducono a credere nell’esattezza delle alternative. Unica eccezione il caso in cui queste espressioni siano usate in una scala graduata:sempre, quasi sempre, talvolta, quasi mai, mai.
9. Le domande dovrebbero evitare di contenere negazioni semplici o doppie. Se è proprio indispensabile, è consigliabile evidenziare la negazione in neretto, con sottolineatura o scrivendola in maiuscolo.
10. Le risposte contenenti cifre o quantità disporle in ordine crescente o decrescente.11. Le alternative di risposta: nessuna di queste, sia a che b, tutte le precedenti sono da evitare12. Le alternative di risposta devono accordarsi grammaticalmente con la domanda posta13. Le parole comuni usate nella alternative di risposta devono essere spostate nel corpo della
domanda.
Organizzazione dei quesiti14. I quesiti devono essere tra loro indipendenti per evitare che l’uno suggerisca la
risposta all’altro.15. Le risposte date in precedenti quesiti non devono essere usate come distrattori o
come risposte esatte in altri quesiti.16. La collocazione della risposta esatta deve variare all’interno di una prova, in modo
che nel complesso le risposte esatta non corrispondano tutte alla stessa lettera.Convenzioni grafiche17. Le alternative di risposta dei quesiti che terminano con il punto interrogativo devono
cominciare con la maiuscola18. Le alternative dei quesiti a completamento devono iniziare con la minuscola.19. Alla fine di ogni alternativa di risposta si usa per convenzione il punto20. Il corpo della domanda, nelle forme a completamento, non termina con i due punti o
con i puntini sospensivi, tranne nel caso in cui si riportano nelle risposte degli elenchi.
21. Le alternative di risposta vanno elencate e non disposte una di seguito all’altra.
Validazione di uno strumento sulla base del contenuto. Un esempio: le prove Invalsi di Italiano
23
ASPETTI
1 Riconoscere e comprendere il significato letterale e figurato di parole ed espressioni; riconoscere le relazioni tra parole.
2 Individuare informazioni date esplicitamente nel testo.
3 Fare un’inferenza diretta, ricavando un’informazione implicita da una o più informazioni date nel testo e/o tratte dall’enciclopedia personale del lettore.
4 Cogliere le relazioni di coesione (organizzazione logica entro e oltre la frase)
e coerenza testuale.
5a Ricostruire il significato di una parte più o meno estesa del testo, integrando più informazioni e concetti, anche formulando inferenze complesse.
5b Ricostruire il significato globale del testo, integrando più informazioni e concetti, anche formulando inferenze complesse.
6 Sviluppare un’interpretazione del testo, a partire dal suo contenuto e/o dalla
sua forma, andando al di là di una comprensione letterale.
7 Valutare il contenuto e/o la forma del testo alla luce delle conoscenze ed esperienze personali (riflettendo sulla plausibilità delle informazioni, sulla validità delle argomentazioni, sulla efficacia comunicativa del testo, ecc.)
Tabella 1. Aspetti della comprensione della lettura che le prove Invalsi sono
chiamate a testare secondo il Quadro di riferimento
Rappresentazione del contenuto nella prova
24
anno classe item
Aspetti (cfr. tabella 2) Total
e 1 2 3 4 5a 5b 6 7
2012
II primaria va 0 4 5 1 7 2 0 0 19
% 0,0 21,1 26,3 5,3 36,8 10,5 0,0 0,0 100,0
V primaria va 3 7 1 3 14 3 1 0 32
% 9,4 21,9 3,1 9,4 43,8 9,4 3,1 0,0 100,0
I secondaria I gr. va 6 6 1 6 12 3 2 0 36
% 16,7 16,7 2,8 16,7 33,3 8,3 5,6 0,0 100,0
III secondaria I gr. va 6 9 6 4 7 3 3 0 38
% 15,8 23,7 15,8 10,5 18,4 7,9 7,9 0,0 100,0
II secondaria II gr. va 7 14 5 3 9 5 5 0 48
% 14,6 29,2 10,4 6,3 18,8 10,4 10,4 0,0 100,0
Totale va 22 40 18 17 49 16 11 0 173
% 12,7 23,1 10,4 9,8 28,3 9,2 6,4 0,0 100,0
2013
II primaria va 1 4 4 3 7 1 1 0 21
% 4,8 19,0 19,0 14,3 33,3 4,8 4,8 0,0 100,0
V primaria va 3 7 4 5 6 5 2 0 32
% 9,4 21,9 12,5 15,6 18,8 15,6 6,3 0,0 100,0
I secondaria I gr. va 3 3 7 6 12 1 3 1 36
% 8,3 8,3 19,4 16,7 33,3 2,8 8,3 2,8 100,0
III secondaria I gr. va 6 3 2 2 10 6 1 3 33
% 18,2 9,1 6,1 6,1 30,3 18,2 3,0 9,1 100,0
II secondaria II gr. va 4 13 7 4 12 6 7 0 53
% 7,5 24,5 13,2 7,5 22,6 11,3 13,2 0,0 100,0
Totale va 17 30 24 20 47 19 14 4 175
% 9,7 17,1 13,7 11,4 26,9 10,9 8,0 2,3 100,0
25
PROCESSI
2012
ASPETTI PROCESSI
2013
Individuare informazioni
2 Individuare informazioni date esplicitamente nel testo.
Individuare informazioni
Ricostruire il significato del testo
1 Riconoscere e comprendere il significato letterale e figurato di parole ed espressioni; riconoscere le
relazioni tra parole.
Comprendere e ricostruire
3 Fare un’inferenza diretta, ricavando un’informazione implicita da una o più informazioni date nel testo e/o tratte dall’enciclopedia personale del lettore.
4 Cogliere le relazioni di coesione (organizzazione logica entro e oltre la frase) e coerenza testuale.
5a Ricostruire il significato di una parte più o meno estesa del testo, integrando più informazioni e concetti, anche formulando inferenze complesse.
5b Ricostruire il significato globale del testo, integrando più informazioni e concetti, anche formulando inferenze complesse.
Rielaborare il testo
Interpretare e valutare
6 Sviluppare un’interpretazione del testo, a partire dal suo contenuto e/o dalla sua forma, andando al di là di una comprensione letterale.
7 Valutare il contenuto e/o la forma del testo alla luce delle conoscenze ed esperienze personali (riflettendo sulla plausibilità delle informazioni, sulla validità delle argomentazioni, sulla efficacia comunicativa del testo, ecc.)
Confronto tra INVALSI e PISA
26
Pro
ve
2013
Classe Item
Processi (classificazione Snv 2012)
Totale Individuare
informazioni
Ricostruire il
significato
Interpretare
e valutare
II primaria va 4 16 1 21
% 19,0 76,2 4,8 100,0
V primaria va 7 23 2 32
% 21,9 71,9 6,3 100,0
I secondaria I gr. va 3 29 4 36
% 8,3 80,6 11,1 100,0
III secondaria I gr. va 3 26 4 33
% 9,1 78,8 12,1 100,0
II secondaria II gr. va 13 33 7 53
% 24,5 62,3 13,2 100,0
Totale va 30 127 18 175
% 17,1 72,6 10,3 100,0
Processi
Edizione
Pisa 2000 Pisa 2009
va % va %
Individuare informazioni 40 29,6 31 23,7
Interpretare il testo 68 50,4 67 51,1
Riflettere e valutare 27 20,0 33 25,2
27
Pro
ve
2013
Classe Item
Formato delle risposte
Totale Aperta
articolata
Aperta
univoca
Risposta
chiusa
II primaria va 0 0 21 21
% ,0 ,0 100,0 100,0
V primaria va 0 2 30 32
% ,0 6,3 93,8 100,0
I secondaria I gr. va 0 10 26 36
% ,0 27,8 72,2 100,0
III secondaria I gr. va 2 7 24 33
% 6,1 21,2 72,7 100,0
II secondaria II gr. va 1 9 43 53
% 1,9 17,0 81,1 100,0
Totale va 3 28 144 175
% 1,7 16,0 82,3 100,0
28
Pis
a 2
009
PROCESSI Formato delle risposte Item
va %
Individuare informazioni
Risposta chiusa 18 58,1
Aperta univoca 10 32,3
Aperta complessa 3 9,7
Interpretare il testo
Risposta chiusa 48 71,6
Aperta univoca 1 1,5
Aperta complessa 18 26,9
Riflettere e valutare
Risposta chiusa 9 27,3
Aperta univoca 0 0,0
Aperta complessa 24 72,7
Totale
Risposta chiusa 75 57,3
Aperta univoca 11 8,4
Aperta complessa 45 34,4
Bibliografia
• G. Benvenuto, Mettere i voti a scuola, Carocci, Roma, 2003
• C. Corsini, La lezione americana: l'impiego del Valore Aggiunto nella valutazione di scuole e insegnanti, in “Scuola Democratica”, 2012, vol. 6, pp. 108-116 , DOWNLOAD
• C. Corsini, B. Losito, Le rilevazioni Invalsi: a che cosa servono? In Cadmo XXI, 2, 2013. pp. 55-76 (contattare il docente per il testo)
• C. Corsini, Equità e valutazione delle disuguaglianze. In G. Benvenuto, La scuola diseguale, Anicia, Roma 2011, pp. 159-176 (contattare il docente per il testo)