Post on 01-May-2015
transcript
La Qualità dei Dati delLa Qualità dei Dati del CampioneCampione
Ufficio Scolastico Regionale - Abruzzo
Analisi del CheatingAnalisi del Cheating
Disegno Campionario
Ufficio Scolastico Regionale - Abruzzo 2
Primo Stadio * Estrazione * Campionamento Sistematica Casuale Semplice Scuole Classi
Disegno Campionario
Ufficio Scolastico Regionale - Abruzzo 3
Secondo Stadio * Prima Fase: * Seconda Fase: Calcolo Peso Calcolo Peso Livello Scuola Livello Classe
* Terza Fase: Calcolo Peso Livello Alunno
Disegno Campionario
Ufficio Scolastico Regionale - Abruzzo 4
Peso di Scuola
* Viene Ricavato in rapporto a:
* Numero Scuole Campionate nella Regione * Numero Totale Scuole della Regione * Numeri di Alunni nella Scuola
Disegno Campionario
Ufficio Scolastico Regionale - Abruzzo 5
Peso Livello Classe
* Viene Ricavato in rapporto a:
* Numero Classi Campionate nella Scuola
* Numero Classi Presenti nella Scuola
Disegno Campionario
Ufficio Scolastico Regionale - Abruzzo 6
Peso Livello Alunno
* Viene Ricavato in rapporto a:
* Numero Alunni Effettivamente Partecipanti nella Classe * Numero Alunni non Partecipanti alla Prova nella Classe
Disegno Campionario
Ufficio Scolastico Regionale - Abruzzo 7
Peso Complessivo * Viene Ricavato dal Prodotto:
* Numero Scuole Campionate * Numero Classi Campionate nella Scuola * Numero Alunni Effettivamente Partecipanti nelle Classi
Accuratezza dei Dati - Analisi del Cheating
Ufficio Scolastico Regionale - Abruzzo 8
► Controllo Accuratezza Dati ► Scelta Opportuni Indicatori:
Punteggi Medi Classe Variabilità Rispetto Punteggi
Tassi Non Risposta Omogeneità Risposte
► Calcolo Coefficienti Cheating per tutta la Popolazione (Fuzzy Logic)
► Analisi Congiunta Indicatori (Analisi Componenti Principali)
La Qualità dei Dati del Campione
Ufficio Scolastico Regionale - Abruzzo 9
Comportamenti Opportunistici Evidenti
Passaggio Fondamentale
Procedura Correzione Dati: Editing Statistico
Eliminazione Effetto Distorsivo Dati AnomaliCorrezione Dati Anomali
Effettuazione Analisi Dati Netti
La Qualità dei Dati del Campione
Ufficio Scolastico Regionale - Abruzzo 10
Controllo Preventivo Accuratezza
Passaggio Fondamentale
Reale Valore Informativo Analisi Proposte
Individuazione Dati Anomali
Correzione Dati Anomali
La Qualità dei Dati del Campione
Ufficio Scolastico Regionale - Abruzzo 11
Individuazione /Correzione Dati Anomali
Passaggio Fondamentale
Definizione Sistema Pesi di Correzione
Valore Originario: Un Punteggio
Coefficiente Correzione
Attenuazione Effetto Presenza Dati Anomali
La Qualità dei Dati del Campione
Ufficio Scolastico Regionale - Abruzzo 12
Procedure di Correzione
Passaggio Fondamentale
Stima lncidenza Risultati Rispetto Esiti Complessivi Prova (Hard Clustering)
Individuazione Gruppi di Rispondenticon Caratteristiche Particolari
La Qualità dei Dati del Campione
Ufficio Scolastico Regionale - Abruzzo 13
Procedure di Correzione
* Fuzzy Logic *
Punteggio Compreso tra 0 ed 1 Attribuzione Alunno Rispondente
Forte Attenuazione Incidenza Comportamenti Opportunistici
La Qualità dei Dati del Campione
Ufficio Scolastico Regionale - Abruzzo 14
Fase I: Indicatori a Livello Scuola
2. Calcolo Scarto Quadratico Medio (σ j) (Indicatore di Variabilità del Punteggio Medio)
1. Calcolo Punteggio Medio (p j) (Media dei Punteggi di Ciascun Alunno
espressi in termini di Risposte Corrette fornite)
La Qualità dei Dati del Campione
Ufficio Scolastico Regionale - Abruzzo 15
Fase I: Indicatori a Livello Scuola
4. Indice Medio Relativo Omogeneità Risposte (E j) (Indice Eterogeneità/Omogeneità Risposta su Ciascuna delle Domande)
3. Calcolo Tasso Mancata Compilazione per Classe (MJ) (Valutazione Tasso Medio Adesione Classe alla Prova)
La Qualità dei Dati del Campione: Fase I
Ufficio Scolastico Regionale - Abruzzo 16
p j σ j MC j E j
I M I M I M I M
Abruzzo28,58 19,38 5,48 3,79 0,01 0,02 0,50 0,50
Totale 28,37 19,34 5,60 3,82 0,01 0,02 0,51 0,50
Tavola 1. Valori Medi per Regione Indicatori p j , MC j , E j
La Qualità dei Dati del Campione
Ufficio Scolastico Regionale - Abruzzo 17
Fase II: Sintesi Indicatori Livello di Scuola
I quattro indicatori individuati nella prima fase di analisi devono essere opportunamente applicati a ciascuna scuola per individuare la presenza di eventuali dati anomali. Come noto nella letteratura statistica, è quindi necessario operare un’opportuna sintesi, se possibile, dei quattro indicatori tale da ottenere un’informazione di facile utilizzo ed interpretazione, ma che, al contempo, consenta di rappresentare nella misura massima possibile la variabilità insita nel fenomeno stesso.L’analisi delle componenti principali (ACP) permette di conseguire i suddetti obiettivi operando una riduzione delle dimensioni oggetto d’interesse.
La Qualità dei Dati del Campione: Fase II
Ufficio Scolastico Regionale - Abruzzo 18
ITALIANO MATEMATICA
Media MediaAbruzzo 0,0734 0,089ITALI
A 0,0458 0,091
Tavola 4. Valori Medi Coefficienti di Cheating
Indici di Cheating nelle diverse Regioni: ITALIANO
Ufficio Scolastico Regionale - Abruzzo 19
Indici di Cheating nelle diverse Regioni: MATEMATICA
Ufficio Scolastico Regionale - Abruzzo 20
Ufficio Scolastico Regionale - Abruzzo21
Prova Nazionale Esame Conclusivo Primo CicloAnno Scolastico 2008 - 2009
Codici Identificativi Regione
CODICE REGIONE CODICE REGIONE CODICE REGIONE
1 Valle d’Aosta 7 Friuli Venezia Giulia 14 Molise
2 Piemonte 8 EmiliaRomagna 15 Campania
3 Liguria 9 Toscana 16 Puglia
4 Lombardia 10 Umbria 17 Basilicata
51 Bolzano (It) 11 Marche 18 Calabria
54 Trento 12 Lazio 19 Sicilia
6 Veneto 13 Abruzzo 20 Sardegna
Indici di Cheating nelle diverse Regioni: ITALIANO
Ufficio Scolastico Regionale - Abruzzo 22
Indici di Cheating nelle diverse Regioni: MATEMATICA
Ufficio Scolastico Regionale - Abruzzo 23
Indici di Cheating nelle diverse Regioni: ITALIANO
Ufficio Scolastico Regionale - Abruzzo 24
Indici di Cheating nelle diverse Regioni: MATEMATICA
Ufficio Scolastico Regionale - Abruzzo 25
CHEATING: Nota Tecnica “Invalsi”
Ufficio Scolastico Regionale - Abruzzo 26
Indicatore di Propensione al Cheating
Valore compreso tra 0 e 1 che determina il grado di similarità della Classe considerata al profilo tipico che caratterizza un comportamento ritenuto opportunistico, cioè un comportamento che potrebbe aver alterato il corretto svolgimento della prova.
Effetto del mancato controllo da parte dei Docenti sul rispetto del Protocollo di Somministrazione e/o l’insieme delle azioni, che questi ultimi possono mettere in atto, per facilitare il compito degli Alunni.
CHEATING: Nota Tecnica “Invalsi”
Ufficio Scolastico Regionale - Abruzzo 27
Indicatore di Propensione al CheatingCalcolato per Classe, viene riportato a livello di Scuola tenendo conto del numero delle classi al’interno di ciascuna Scuola e della propensione al Cheating per ciascuna disciplina (Italiano e Matematica). Il risultato finale consiste in un grado di Rischio Complessivo di Cheating compreso tra 0 e 5.
0 = Nessun Rischio 1 = Rischio Basso 2 = Rischio Medio - Basso 3 = Rischio Medio 4 = Rischio Medio - Alto 5 = Rischio Alto