I risultati in lettura prove in formato cartaceo e digitale

Presentazione Rapporto Nazionale PISA 2012

Margherita Emiletti - INVALSI

PISA 2012 definisce la literacy in lettura come la

capacità di comprendere e utilizzare testi scritti, riflettere su di essi e impegnarsi nella loro lettura al fine di raggiungere i propri obiettivi, di sviluppare le proprie conoscenze e le proprie potenzialità e di essere parte attiva della società.

OECD (2009), PISA 2009 Assessment Framework: Key Competencies in Reading, Mathematics

and Science, PISA, OECD Publishing.

Literacy in lettura in digitale

Le due scale di lettura – digitale e cartacea – misurano lo stesso costrutto e individuino gli stessi livelli, ma non si sovrappongono completamente.

In PISA, testo digitale è sinonimo di ipertesto: una lettura che può svolgersi

secondo percorsi dinamici, non sequenziali e virtualmente infiniti, nei quali ciascun lettore è anche "autore" del proprio testo attraverso la fruizione di strumenti e funzioni di navigazione.

Quindi, se situazioni, tipi e formati dei testi sono sostanzialmente trasversali

rispetto al medium, la declinazione degli aspetti, ossia di ciò che si richiede allo studente di fare per poter rispondere al quesito, varia in modo sensibile in ragione dei tratti distintivi dell'ipertesto: le prove digitali prevedono processi dedicati all’esame e comprensione del testo propriamente e processi dedicati a decisioni di navigazione.

Domande di lettura in formato cartaceo: - Scelta multipla semplice 13 - Scelta multipla complessa 7 - Risposta aperta breve 7 - Risposta aperta articolata 17 __________ Totale 44

18 item in codifica manuale

da parte di esperti

Domande di lettura in formato digitale: - Scelta multipla semplice 12 - Scelta multipla complessa 2 - Risposta aperta articolata 5 ___________ Totale 19

5 item in codifica manuale

da parte di esperti

Risultati a livello internazionale: distribuzione delle performance

in lettura

Distribuzione della performance in lettura

Media significativamente superiore alla media OCSE

Media significativamente inferiore alla media OCSE

5th

Percentili della Performance

25th 75th 95th

Media e Intervallo di confidenza ( 1,96SE)

Risultati a livello internazionale: le medie dei paesi

Un primo modo per effettuare il confronto tra paesi, eccessivamente sintetico ma utile a fornire una prima impressione comparativa, è attraverso il livello medio dei risultati nei paesi partecipanti. Per PISA 2012, la media OCSE corrisponde a 496 punti, con una deviazione standard di 94.

Giappone e Corea del Sud, con una media nazionale, rispettivamente, di 538 e 536 punti, sono i paesi OCSE con performance più elevate, ma è la provincia cinese di Shanghai a riportare il risultato medio più alto in assoluto tra tutti i paesi partecipanti, con una media sulla scala di lettura di 570 punti.

Non significativamente diversi dalla media OCSE sono i punteggi conseguiti da Regno Unito (499), Stati Uniti (498), Danimarca (496) e Repubblica Ceca (493).

L’Italia si colloca lievemente, ma significativamente, sotto la media OCSE con un punteggio di 490 punti e una deviazione standard di 97. Nel contesto internazionale, questo risultato colloca l’Italia tra il 26° e il 34° posto nel ranking complessivo di tutti i paesi/economie partecipanti e tra il 19° e il 25° posto circoscrivendo il confronto ai 34 paesi OCSE.

Complessivamente, la differenza nei risultati medi tra i paesi OCSE è di 115 punti sulla scala di lettura (Giappone e Messico sono i paesi che si collocano agli estremi della distribuzione) e tale differenza arriva a 185 punti quando i paesi e le economie partner sono inclusi nel confronto internazionale.

Distribuzione dei punteggi a livello internazionale È anche possibile effettuare un confronto in termini relativi tramite l’analisi dei punteggi medi dei

percentili all’interno di ciascun paese e identificare quale sia il punteggio medio degli studenti più bravi (percentile superiore) e di quelli meno bravi (percentile inferiore) all’interno di ciascun paese.

Tra i paesi OCSE, la differenza di risultato tra il 90° e il 10° percentile è di 242 punti in media sulla scala di lettura. In Italia, 250 punti separano questi due gruppi di studenti.

Tra i dieci paesi nei quali si rileva la differenza più contenuta, questo divario va dai 189 punti del Vietnam ai 211 punti di Macao. In questo gruppo: sia Shanghai con la media in lettura più alta in assoluto, sia Kazakistan e Indonesia - tra i 6 paesi con i risultati complessivamente più bassi.

All’estremità opposta della distribuzione, tra i dieci paesi con le differenze più grandi tra gli studenti più bravi e quelli meno bravi, questo divario va dai 270 punti della Repubblica Slovacca ai 310 punti della Bulgaria. Anche questo gruppo è eterogeneo rispetto al risultato medio complessivo degli studenti in ciascun paese: Qatar (uno dei paesi con i risultati complessivamente più bassi) e Nuova Zelanda (che invece si colloca tra il 7° e il 13° posto nel ranking dei paesi OCSE) presentano quasi la stessa differenza di punteggio tra i due percentili di riferimento.

Sembrerebbe quindi che la dispersione nella distribuzione dei risultati non sia associata al livello complessivo dei risultati. Tre paesi asiatici ottengono un risultato complessivo significativamente superiore alla media OCSE mostrano al tempo stesso una lieve differenza tra gli studenti che ottengono le migliori prestazioni in lettura e quelli meno bravi, mostrando quindi un elevato livello di equità del sistema da questo punto di vista: Shangai, Macao, Vietnam.

Risultati a livello nazionale: distribuzione delle performance

in lettura per ripartizione geografica e tipo di scuola

Risultati a livello nazionale: confronto tra i punteggi degli studenti italiani nelle diverse ripartizioni geografiche e i benchmark nazionale e internazionale

Gli studenti del Nord Ovest (514) e del Nord Est (511) si collocano al di sopra sia della media nazionale (490) sia della media OCSE (496), con una differenza statisticamente significativa.

Il Centro (486) e il Sud (475) ottengono un risultato in linea con la media italiana, ma mentre il Centro è in linea anche con il benchmark internazionale, il Sud si colloca sotto questo valore.

Il Sud Isole (453) si colloca significativamente sotto entrambe le medie di riferimento.

Le regioni dell’Area convergenza (Campania, Calabria, Puglia e Sicilia), complessivamente, ottengono un punteggio medio di 465 e si collocano significativamente sotto entrambe le medie di riferimento.

Disaggregando i dati a livello di regione/provincia autonoma si osserva che gli studenti di alcune regioni ottengono risultati particolarmente positivi: Lombardia (521), Veneto (521), provincia autonoma di Trento (521) e Friuli-Venezia Giulia (518) conseguono un punteggio medio superiore in modo statisticamente significativo sia alla media nazionale sia alla media OCSE; Piemonte (506) e Valle d’Aosta (502) conseguono un punteggio medio superiore in modo statisticamente significativo alla media nazionale ma in linea alla media OCSE. Al contrario, tutte le regioni del Sud Isole e due del Sud, Molise (476) e Campania (464) conseguono un punteggio significativamente inferiore sia alla media nazionale sia alla media OCSE.

Risultati a livello nazionale: confronto tra i punteggi degli studenti italiani nelle diverse regioni/province autonome e le rispettive macroaree di appartenenza

Si osserva anche che alcune regioni ottengono un punteggio che si discosta dal

posizionamento complessivo della macroarea alla quale afferiscono rispetto alla media nazionale. In particolare, Liguria (490), la provincia autonoma di Bolzano (497) ed Emilia-Romagna (498) riportano un risultato che non si discosta in modo significativo dalla media nazionale pur appartenendo a macroaree, rispettivamente il Nord Ovest per la prima e il Nord Est per le altre due, che riportano un punteggio superiore a tale benchmark.

Allo stesso modo, Molise (476) e Campania (464) riportano punteggi medi significativamente inferiori alla media nazionale nonostante appartengano a una macroarea (Sud, 475) che ottiene un risultato in linea con il benchmark nazionale. In particolare, Liguria e provincia autonoma di Bolzano sono gli unici due casi che riportano un risultato medio statisticamente inferiore a quello medio della macroarea di appartenenza.

Sul versante opposto, la Basilicata (474) è l’unica regione che ottiene un risultato

statisticamente superiore a quello della propria macroarea (Sud Isole, 453).

Risultati a livello nazionale: confronto tra i punteggi degli studenti italiani dell’Area convergenza e i benchmark nazionali e internazionale.

Osservando i risultati delle regioni dell’Area convergenza (465), si osserva che la Puglia (493)

ottiene un risultato particolarmente positivo: è l’unica regione a riportare un punteggio in linea non solo con la media nazionale, ma anche con quella OCSE, oltre a essere l’unica regione a conseguire un punteggio statisticamente superiore al dato complessivo dell’area PON.

Le altre regioni dell’Area convergenza (Calabria, Campania e Sicilia) riportano un punteggio

significativamente inferiore ai valori nazionale e internazionale di riferimento e, in particolare, il risultato della Calabria (434) si colloca significativamente sotto anche al risultato complessivo dell’Area convergenza.

Distribuzione dei punteggi a livello nazionale Rispetto alla variabilità dei punteggi, i vantaggi o gli svantaggi di ciascuna macroarea si

concentrano in punti diversi della distribuzione. Nel Nord Ovest gli studenti che si differenziano di più in senso positivo dalla media nazionale sono

quelli che si collocano al 5° percentile (37 punti di differenza dalla media Italia per lo stesso percentile) mentre questo vantaggio tende ad assottigliarsi negli studenti più bravi (31 punti di differenza dalla media Italia al 25° percentile, 18 punti al 75° e 12 punti al 95°). In altri termini, nel Nord Ovest la differenza rispetto all’Italia è determinata soprattutto dai risultati degli studenti che si collocano nella parte bassa della distribuzione.

Nel Nord Est, invece, gli studenti che si differenziano di più in senso positivo dalla media nazionale sono quelli che si collocano al 25° percentile (26 punti di differenza dalla media Italia per lo stesso percentile), mentre la differenza con la media nazionale sulla coda più bassa risulta più contenuta (13 punti di differenza al 5° percentile).

Nel Centro si osserva un generale allineamento alla media nazionale, con uno scostamento lievemente negativo sui percentili più alti.

Nel Sud al contrario gli scostamenti rispetto alla media italiana si rilevano tutti negativi, in particolare nella parte alta della distribuzione: dai -9 punti di differenza con la media italiana al 5° percentile si arriva ai -16 al 95°.

Nel Sud Isole il quadro è più negativo: mediamente, gli studenti del Sud Isole si collocano mezzo livello di competenza (-36 punti) sotto la media degli studenti italiani a ogni percentile della distribuzione.

Punteggi medi in lettura per tipo di scuola

Licei

Tecnici

Professionali

Centri di formazione professionale

Italia OCSE

400

420

440

460

480

500

520

540

Risultati a livello nazionale: confronto tra i punteggi degli studenti italiani nei diversi tipi di scuola e i benchmark nazionale e internazionale

Solo gli studenti dei Licei, con una media di 537 punti, ottengono risultati in lettura

significativamente superiori sia alla media nazionale che alla media OCSE. Gli studenti degli Istituti tecnici (476), degli Istituti professionali (415) e dei Centri di

Formazione Professionale (421) sono tutti al di sotto sia della media nazionale sia della media OCSE, anche se ci sono consistenti differenze nelle rispettive distanze dai benchmark considerati: se gli studenti dei Tecnici si trovano mediamente 14 punti sotto la media nazionale di tutti gli studenti italiani, questa differenza è di 69 punti per gli studenti dei Centri di formazione Professionale e raggiunge un intero livello di competenza (-75 punti) per gli studenti degli Istituti Professionali.

Risultati a livello internazionale: i livelli di competenza in lettura

Percentuali di studenti a ciascun livello della scala di literacy in lettura

Risultati a livello internazionale: i livelli di competenza in lettura Top performer Tra i paesi OCSE, in media l’8,4% degli studenti sono top performer. L’Italia ha il 6,7% di studenti ai

due livelli più alti della scala. Tra tutti i paesi OCSE, il Giappone ha la percentuale più alta di top performer (18,5%), mentre più del 10% degli studenti ottengono questo risultato in Corea del Sud, Nuova Zelanda, Finlandia, Francia, Canada, Belgio, Australia, Irlanda e Norvegia.

Tra tutti i paesi partecipanti a PISA 2012, la provincia cinese di Shangai ha la percentuale più alta di studenti che ottengono i risultati migliori, con più di uno studente su quattro che si colloca al livello 5 o superiore, seguita da Singapore (21,2%).

Con l'eccezione di Cile, Messico e Turchia, oltre il 5% degli studenti in tutti i paesi dell'OCSE raggiungono il Livello 5.

Low performer Nei paesi dell'OCSE, una media del 18% degli studenti non raggiunge il Livello 2. In Italia, gli studenti

sotto il Livello 2 sono il 19,5%: quasi un quinto degli studenti si trova sotto la soglia critica delle competenze minime necessarie per poter fare della lettura un’attività funzionale. Paesi europei in linea con l’Italia: Spagna (18,3%), Portogallo (18,8%), Francia (18,9%), Austria (19,5%) e Ungheria (19,7%).

Nel contesto internazionale, meno del 3% degli studenti di Shangai (2,9%) si colloca al di sotto del Livello 2. Tra i paesi OCSE, non raggiungono il Livello 2 un terzo degli studenti in Cile (33%) e più di quattro studenti su dieci in Messico (41,1%).

Risultati a livello nazionale: i livelli di competenza in lettura

per ripartizione geografica e tipo di scuola

Percentuali di studenti a ciascun livello della scala di lettura, per ripartizione geografica

Risultati a livello nazionale: i livelli di competenza in lettura per ripartizione geografica Top performer Confrontando i risultati per macroarea geografica con i benchmark nazionale e internazionale si

osserva che: - il Nord Est ha la percentuale più alta di studenti ai livelli 5 e 6 (10,7%) e tale dato è superiore sia alla

media nazionale (6,7%) sia alla media OCSE (8,4%); - il Nord Ovest supera il dato nazionale con il 9,3% di studenti top performer; - il Centro (5,9%), il Sud (4,3%) e il Sud Isole (2,2%) hanno invece una percentuale di studenti ai livelli

alti inferiore al dato nazionale; - l’Area convergenza si colloca anch’essa sotto la media italiana, con il 3,3% di studenti top performer. Scendono nel dettaglio dei dati regionali, la Provincia Autonoma di Trento e il Veneto riportano le

percentuali più alte di top performer con, rispettivamente, il 13,1% e il 12,3% di studenti ai livelli 5 e 6; seguite da Friuli Venezia Giulia e Lombardia (entrambe con il 10,4%) ed Emilia-Romagna (9%). Sull’opposto versante, si rileva il dato inferiore al 4% di top performer in Molise (3,6%), Sardegna (3,3%), Campania (3,1%), Basilicata (3%), Sicilia (2,1%) e Calabria (1,5%).

Risultati a livello nazionale: i livelli di competenza in lettura per ripartizione geografica Low performer - Il Nord Ovest e il Nord Est presentano le percentuali più basse di studenti sotto il Livello 2

(rispettivamente, 10,7% e 14,3%) e tali valori sono entrambi inferiori sia alla media nazionale (19,5%) sia alla media OCSE (18%);

- il Centro (20,2%) con uno studente su cinque che non raggiunge il Livello 2 si colloca in linea con il dato nazionale ma superiore alla media OCSE;

- il Sud (23,7%) e soprattutto il Sud Isole (30,4%) hanno invece una percentuale di studenti ai livelli 1 e inferiore che supera entrambi i benchmark di riferimento;

- l’Area convergenza si colloca anch’essa sopra la media italiana, con il 27% di studenti low performer. Scendendo nel dettaglio dei dati regionali, la Lombardia riporta la percentuale più bassa di low

performer (10,4%), seguita dalla Provincia Autonoma di Trento e il Veneto entrambi sotto il 12%. La Puglia è l’unica regione dell’Area convergenza ad avere una percentuale di studenti ai livelli alti (16,7%) superiore alla media nazionale.

Sull’opposto versante, si rileva il dato estremo della Calabria in cui più di uno studente su tre non raggiunge il livello base di competenze (37,4% sotto il Livello 2), mentre più di uno studente su quattro è low performer in Sardegna (27%), Campania (28,2%) e Sicilia (29,6%).

Percentuali di studenti a ciascun livello della scala di lettura, per tipo di scuola

Risultati a livello nazionale: i livelli di competenza in lettura per tipo di scuola

I Licei presentano un quadro caratterizzato da una percentuale elevata di studenti ai livelli 5 e 6 (12,2% a fronte del 6,7% della media nazionale) e una percentuale molto ridotta di studenti al di sotto del Livello 2 (5,6% a fronte del 19,5% della media nazionale);

Per gli altri tipi di scuola la situazione è invertita rispetto a quella dei Licei: - i Tecnici hanno il 2,7% di top performer e il 20,3% di low performer, - seguiti dai Centri di formazione Professionale (1,2% top performer, 41,7% low

performer) - e dai Professionali con solo lo 0,3% di studenti ai livelli alti della scala e il 44,9%

sotto il livello 2.

Differenze di genere

Differenze di genere a livello internazionale In media nei Paesi OCSE, le ragazze hanno conseguito risultati migliori dei ragazzi nella

lettura, con un vantaggio di 38 punti. In tutti e 65 i paesi partecipanti il punteggio medio delle femmine è significativamente superiore a quello dei maschi: la differenza più grande in Giordania (75 punti) e, tra i paesi OCSE, in Finlandia (62 punti); quella più piccola in Albania (15 punti).

Differenze di genere a livello nazionale In Italia la media in lettura delle femmine (510) è superiore a quella dei maschi (471) di

39 punti, una differenza statisticamente significativa. Questo vantaggio delle ragazze è confermato in tutte le macroaree geografiche dove le

differenze vanno dai 34 punti in Nord Ovest e Sud Isole ai 46 del Nord Est. Il vantaggio delle ragazze in lettura è confermato anche a livello di singole

regioni/province autonome. La differenza di genere più contenuta di rileva nelle Marche (25 punti) mentre in altre quattro regioni/province autonome lo svantaggio dei ragazzi supera i cinquanta punti: Trento (-54), Abruzzo (-53), Toscana (-52), Liguria (-51).

Risultati a livello internazionale: distribuzione delle performance

in lettura CBA

Distribuzione della performance in lettura CBA nei paesi OCSE

Risultati a livello internazionale: le medie dei paesi Come per gli altri ambiti, la prima e più semplice modalità di esaminare i risultati è quella di

considerare il livello medio dei risultati di prestazione nei diversi paesi partecipanti confrontata con il benchmark internazionale della media OCSE che per lettura CBA, è pari a 497.

Fra i paesi OCSE, la Corea del Sud presenta il punteggio medio più elevato (555). La media più

alta in assoluto, invece - e significativamente al di sopra di quella di tutti gli altri paesi - è quella di Singapore (567).

Con un punteggio medio pari a 504, l'Italia è in linea con la media OCSE, così come Belgio,

Norvegia, Svezia, Danimarca e Germania.

Risultati a livello nazionale: distribuzione delle performance

in lettura per ripartizione geografica e tipo di scuola

Distribuzione della performance in lettura CBA per ripartizione geografica

Risultati a livello nazionale: le medie delle macroaree Se si considerano i risultati italiani in lettura in digitale per macroarea

geografica, si evidenziano: - per gli studenti del Nord Ovest (529) e del Nord Est (523) medie

significativamente superiori a quella OCSE (497) e, nel caso del Nord Ovest, anche a quella nazionale (504);

- il risultato del Centro (507) è in linea con la media italiana e con quella dei paesi OCSE;

- il Sud Isole (471) si colloca significativamente al di sotto delle due medie di riferimento;

- il Sud, pur avendo un punteggio di soli 477 punti, visto l'intervallo di confidenza, ha una differenza statisticamente significativa dalla media OCSE, ma non da quella nazionale.

Distribuzione della performance in lettura CBA per tipo di scuola

Risultati a livello nazionale: le medie dei tipi di scuola Gli studenti dei Licei (545) si collocano a un livello alquanto elevato e

significativamente superiore a entrambe le medie di riferimento, seguiti a distanza dagli studenti degli Istituti tecnici (499) che conseguono un punteggio medio in linea con i benchmark considerati.

Gli studenti degli Istituti professionali (448) e della Formazione professionale

(426), viceversa, si pongono al di sotto della media nazionale e di quella OCSE in misura statisticamente significativa.

In tutte le macroaree geografiche la situazione dei differenti tipi di scuola rispecchia nella sostanza quella nazionale.

Distribuzione dei punteggi a livello nazionale

Analizzando i punteggi medi nei diversi percentili si osserva un andamento simile a quello descritto per la scala di lettura cartacea:

- nel Nord Ovest la differenza rispetto all’Italia e all’OCSE è determinata soprattutto dai risultati degli studenti che si collocano nella parte bassa della distribuzione. - nel nord Est si osserva una distribuzione simile, ma con un divario più contenuto per quanto riguarda le code della distribuzione, soprattutto rispetto ai paesi OCSE; - nel Centro si osserva un complessivo allineamento alla media nazionale;

- nel Sud e nel Sud Isole lo scostamento è sempre negativo e il divario cresce in modo sistematico man mano che ci si sposta nella parte alta della distribuzione

Risultati internazionali:

i livelli di competenza nella lettura in digitale

Percentuale di studenti a ciascun livello della scala di literacy nella lettura in digitale

Risultati internazionali: i livelli di competenza In Italia, la distribuzione ricalca sostanzialmente la media OCSE, con

l’8,2% di studenti che si colloca sopra il Livello 4 (contro l’8% di media OCSE ) e il 15,7% che si colloca invece al di sotto del Livello 2 (contro il 17,6 della media OCSE).

Risultati nazionali:

i livelli di competenza nella lettura in digitale

Percentuale di studenti a ciascun livello della scala di literacy nella lettura in digitale per macroarea

Risultati nazionali: i livelli di competenza per ripartizione geografica

Top performer

Se si considerano i risultati nazionali relativi ai Livelli 5 e 6, suddivisi per macroarea, le percentuali più alte si hanno nel Nord Est (12,4%), seguito dal Nord Ovest (11,4%), dal Centro (7,8%), dal Sud (4,8%) e dal Sud Isole (2,5%).

Low performer Se si considerano cumulativamente gli studenti ai livelli inferiori al Livello 2, si

ottiene un quadro pressoché capovolto: il Sud presenta la percentuale più elevata (23,8%) seguito da vicino dal Sud Isole (22,6), dal Centro (14,8%), dal Nord Est (10,6%) e dal Nord Ovest (9,7%), queste ultime entrambe al di sotto della media OCSE.

Percentuale di studenti a ciascun livello della scala di literacy in lettura digitale per tipo di scuola

Risultati nazionali: i livelli di competenza per tipo di scuola Osservando i risultati per tipo di scuola, si nota come i Licei presentino un

quadro caratterizzato da percentuali elevate di studenti ai Livelli 5 e 6 (13,6%) e percentuali molto ridotte di studenti al di sotto del Livello 2 (4%, dei quali nessuno sotto il Livello 1b).

Per gli altri tipi di scuola, la situazione è tendenzialmente opposta, con gli

Istituti tecnici che, a fronte di un 5,3% di top performer hanno un 13,9% di low performer, seguiti dagli Istituti professionali (1,8% di top performer e 33,5% di low performer) e dai Centri di formazione professionale (2% di top performer e 41% di low performer).

Differenze di genere per il sottocampione CBA

Se è vero che in comprensione della lettura le femmine ottengono sempre risultati migliori dei maschi, è interessante notare che, di fronte al testo digitale, la distanza fra i generi è assai più contenuta che non nella lettura di testi stampati. Mentre nelle prove computerizzate la differenza di genere è comunque pari a un significativo -21 (media dei maschi 494, media delle femmine 516), se si considerano i risultati degli stessi studenti nelle prove cartacee, questa raggiunge i - 46 punti (media dei maschi 466, media delle femmine 512). Il dato rimane costante a prescindere dal tipo di ripartizione considerata: geografica o per tipo di scuola.