SDAG, Servizio Dipartimentale per gli Affari Generali, il Personale e la Qualità dei Processi e dell'Organizzazione
Stefano Tomasini, Direttore generale
Ufficio III, Formazione del personale della Ragioneria Generale dello Stato
Franko Thani, Dirigente
hanno collaborato: Rossana Dell’Unto, Marco Di Lembo, Rosetta Frucci, Paola Giansanti, Paola Luzzi, Angelina Martone,
Maria Teresa Morandini, Monica Sapienza
Un ringraziamento per il lavoro fatto nel corso della sperimentazione:
per gli Ispettorati generali, gli Uffici centrali di Bilancio e le Ragionerie Terriroriali dello Stato:
Michele Buonsanti, Carlo Calò, Francesco Lecce Ricioppo, Milena Mazzoli, Danila Niboli, Felice Sfregola, Salvatore Trifirò, Rita Tomasso
tra i docenti: Giuseppe Cerasoli, Lelio Fornabaio, Ermanno Lolli, Pierluigi Mastrogiuseppe, Biagio Mazzotta,
Valerio Talamo, Carlo Tixon, Nunzia Vecchione
© Copyright 2008. Tutti i diritti riservati
Nel corso dei prossimi mesi saranno pubblicati i lavori realizzati su:
• Modello delle competenze del personale
• I profili professionali
• Il sistema per il monitoraggio della formazione
• La piattaforma di e‐learning CampusRGS
GUIDA PER LA PROGRAMMAZIONE
STRATEGICA E LA VALUTAZIONE DELLA
FORMAZIONE
La proposta di metodo
della Ragioneria Generale dello Stato
di: Margherita Burgarella
Vincenzo Danilo Esposito Luciano Rouvery
La formazione e l'aggiornamento professionale rappresentano da sempre per la Ragioneria Generale dello Stato una leva strategica per migliorare le competenze e le abilità professionali dei propri collaboratori, per aumentare l’efficacia di attività che rispondono a sempre nuove e maggiori responsabilità, per promuovere forme di efficienza organizzativa legate al generale processo di riforma amministrativa.
Nel corso di questi ultimi anni, a partire dal 2003 e in attuazione di importanti direttive del Dipartimento della Funzione Pubblica, in particolare quelle sulla formazione e valorizzazione del personale, sulla introduzione della innovazione tecnologica e sul benessere organizzativo, nuovi e importanti passi in avanti sono stati compiuti.
Con l’introduzione del Modello delle competenze e del sistema di analisi dei gap si è potuto intervenire sui livelli di conoscenze, capacità e comportamenti del personale RGS, ottenendo il miglioramento delle performance lavorative individuali ed organizzative.
Sul versante tecnologico, la piattaforma CampusRGS – ha costituito il presupposto per la gestione integrata della formazione, introducendo nuove modalità di erogazione delle attività formative, di automazione delle funzioni di gap analysis e di monitoraggio.
Con l’introduzione di un nuovo modello di programmazione della formazione, l’attività formativa trova fondamento in precise definizioni di obiettivi in armonia con le strategie di governo dell’organizzazione.
L’intero ciclo della formazione, dunque, ha un’ottica di gestione manageriale. Oggi, in Ragioneria Generale dello Stato, si è in grado di programmare la formazione a partire dai bisogni organizzativi e individuali del personale, monitorare lo svolgimento dell’attività formativa e soprattutto valutarne gli effetti sia a livello di impatto individuale che a livello di impatto organizzativo.
Per la realizzazione di questo obiettivo, dai contenuti e dagli effetti così strategici per l’organizzazione, RGS ha messo in campo uno specifico progetto, il Progetto Si.Va.For. – Sistema di Valutazione della Formazione – che ha consentito di sistematizzare, codificare e razionalizzare l’intero ciclo di gestione della formazione, sperimentando nuove metodologie e progettando supporti applicativi sul campo.
Questa Guida metodologica, realizzata nell’ambito del Progetto Si.Va.For. dai “professionisti della formazione” della Ragioneria Generale dello Stato, sintetizza in maniera schematica ed essenziale tutto quanto è stato fatto e rappresenta un valido ed efficace ausilio operativo per la programmazione della formazione e la valutazione del suo impatto.
Il Direttore generale
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
I
INDICE
Introduzione ..........................................................................................................................3 1. Gli obiettivi strategici e le politiche formative..................................................................4 2. I contenuti e i principali destinatari della Guida...............................................................7 3. Il ciclo di gestione manageriale della formazione.............................................................8
PARTE I L’ANALISI DEI FABBISOGNI FORMATIVI...............................................................11
1. I livelli di analisi ...............................................................................................................13 2. I passi da compiere .........................................................................................................14 3. Tempi e attività dell’analisi dei fabbisogni: S.A.D...........................................................20
PARTE II LA PROGRAMMAZIONE DELLA FORMAZIONE .....................................................21
1. La definizione dell’Offerta formativa..............................................................................23 2. I passi da compiere .........................................................................................................23 3. I tempi della programmazione........................................................................................32 4. Tempi e attività della programmazione: S.A.D. ..............................................................34
PARTE III IL MONITORAGGIO DELLA FORMAZIONE ............................................................35
1. L’esercizio del controllo ..................................................................................................37 2. I passi da compiere .........................................................................................................38
2.1 Le variabili del sistema ............................................................................................43 3. L’Indice di rilevanza.........................................................................................................48 4. Tempi e attività del monitoraggio: S.A.D. .......................................................................52
PARTE IV LA VALUTAZIONE DELLA FORMAZIONE...............................................................53
1. I momenti della valutazione ...........................................................................................55 2. I livelli della valutazione, dal gradimento all’impatto.....................................................56 3. L’impostazione del processo di valutazione ...................................................................58 4. La valutazione degli apprendimenti................................................................................60
4.1 Le conoscenze teoriche: il test ................................................................................62
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
II
4.1.1 I passi da compiere............................................................................................ 63 4.2 L’applicazione al lavoro e i comportamenti: la prova simulata .............................. 69 4.2.1 I passi da compiere............................................................................................ 70
5. La valutazione d’impatto ................................................................................................ 75 5.1 L’impatto sull’organizzazione: l’indagine conoscitiva............................................. 76 5.1.1 I passi da compiere............................................................................................ 78 5.2 L’impatto sugli individui: l’episodio significativo .................................................... 82 5.2.1 I passi da compiere............................................................................................ 83
6. Rappresentare e diffondere i risultati ............................................................................ 88 7. Tempi e attività della valutazione: S.A.D........................................................................ 91
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
3
INTRODUZIONE
La Guida è stata realizzata dal Ministero dell’Economia e Finanze – Ragioneria
Generale dello Stato (SDAG) – nell’ambito del Progetto Si.Va.For., l’acronimo di
Sistema di Valutazione della Formazione.
Nel 2007 il personale dell’Ufficio per la Formazione ha iniziato un percorso
sperimentale il cui scopo era di implementare una metodologia per la valutazione
d’impatto della formazione. Nel 2008 la sperimentazione si è spinta oltre, arrivando
ad investire anche la programmazione della formazione.
Di fatto, l’avere affrontato in modo nuovo, integrato, il tema della
valutazione ha indotto, passo dopo passo, alla revisione dell’intero processo di
gestione della formazione: Analisi dei fabbisogni, Programmazione, Monitoraggio e
Valutazione si collocano in un sistema di interdipendenze funzionali orientato al
perseguimento degli obiettivi strategici e operativi dell’Amministrazione.
Il contenuto di questo documento è il risultato degli sviluppi metodologici e
degli accorgimenti tecnici messi a punto durante le attività di sperimentazione
condotte, in affiancamento tecnico, dall’Ufficio per la formazione del personale della
Ragioneria Generale dello Stato.
Nello sviluppare queste attività ci si è avvalsi di un team di Esperti che,
definita la metodologia e progettato l’intervento, ha supportato il personale interno
nell’applicazione di nuovi strumenti sul lavoro. Il ricorso ad un approccio
partecipativo ha evitato fenomeni sostitutivi, garantendo lo sviluppo di soluzioni ad
hoc e favorendo l’acquisizione di competenze specialistiche da parte del personale
dell’Ufficio interno per la formazione.
L’essenzialità e la schematicità con cui sono affrontati gli argomenti fanno
della Guida uno strumento operativo, pensato per i “professionisti” della direzione
della formazione, in Ragioneria Generale come in altre Amministrazioni pubbliche.
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
4
1. Gli obiettivi strategici e le politiche formative
Nel corso degli ultimi anni si è assistito ad un progressivo lavoro di
perfezionamento degli strumenti di programmazione strategica e operativa delle
Amministrazioni centrali.
Nel 2000 con la Direttiva del Presidente del Consiglio dei Ministri1 (abr. Dir.
PCM) vengono emanate le linee d’indirizzo per la predisposizione delle Direttive
generali dei Ministri per l’attività amministrativa e la gestione. Per la prima volta si
chiede alle Amministrazioni centrali di redigere un documento di programmazione
annuale degli obiettivi strategici e di definizione di relativi Piani d’azione finalizzati al
loro raggiungimento.
Da quel momento in poi con le Direttive annuali del Presidente del Consiglio
dei Ministri, in particolare nelle linee guida che ad esse si accompagnano, vengono
introdotti importanti elementi di novità e di miglioramento del processo di
pianificazione strategica, tra i quali il più importante è, con molta probabilità, quello
che muove verso l’integrazione della pianificazione strategica con il processo di
formazione del Bilancio dello Stato.
In particolare, con la Dir. PCM del 2004 si compie un importante progresso. Si
regolamenta il processo di implementazione delle Direttive fissando un principio dal
quale non si potrà più derogare: l’anticipazione del processo di pianificazione
strategica, nonché di formazione del Bilancio previsionale dello Stato, con
l’emanazione di un atto di indirizzo del Ministro contenente le priorità politiche
dell’Amministrazione.
Il processo di formazione della Legge Finanziaria viene preceduto dalla
formulazione delle priorità politiche di tutti i Ministri di Governo.
Con la Direttiva del 12 marzo 2007, la Presidenza del Consiglio dei Ministri, in
stretta sinergia con il Ministero dell’Economia e delle Finanze – Dipartimento della
1 Direttiva del Presidente del Consiglio dei Ministri 12 dicembre 2000, “Indirizzi per la formulazione delle direttive generali sull'attività amministrativa”.
Le linee di indirizzo per la predisposizione delle Direttive
Le priorità politiche
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
5
Ragioneria Generale dello Stato2, interviene nuovamente su questo processo,
ponendo le basi per il superamento di uno degli ultimi, ma molto importanti, ostacoli
al regolare funzionamento della logica di programmazione: l’allineamento temporale
e sostanziale della pianificazione strategica con la programmazione finanziaria del
Governo.
Priorità politiche e obiettivi strategici delle Amministrazioni vanno quindi
definiti in concomitanza con le previsioni e i vincoli degli obiettivi di finanza pubblica.
Il risultato finale è l’emanazione di Direttive per l’attività amministrativa e la
gestione delle Amministrazioni centrali che soddisfano pienamente il principio di
copertura finanziaria, ovvero di sostenibilità economica dei Piani d’azione in esse
contemplati, offrendo quindi maggiori garanzie per la loro realizzazione.
Per quanto fondamentale, il rispetto del principio della copertura finanziaria,
quindi di un’adeguata disponibilità di risorse economiche, da solo non basta a
garantire il successo nel perseguimento degli obiettivi strategici e del buon
funzionamento dell’Amministrazione, ad esso difatto devono concorrere tutte le
risorse, materiali e immateriali, umane e strumentali dell’Amministrazione.
Secondo questa architettura è necessario, quindi, perseguire l’integrazione
tra le diverse funzioni strumentali e finali dell’Amministrazione e produrre sinergie
tali da valorizzarne il ruolo e l’importanza di ognuna di esse all’interno
dell’organizzazione.
E’ quindi chiaro che la programmazione e la realizzazione degli interventi
formativi possono e devono facilitare i cambiamenti indotti dal perseguimento degli
obiettivi strategici ed operativi.
2 Circolare n. 18 del 28 aprile 2006.
Il contributo della formazione
La sostenibilità economica dei Piani d’azione
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
6
Figura 1. Connessione tra indirizzo politico‐strategico e formazione
Missione istituzionale dell 'Amministrazione
Programma di GovernoDPEF, altro
Priorità politiche del Ministro
Direttiva annuale per l 'attività amministrativa e la gestione
Programmazione della formazione
Fonte: RGS
Il valore della connessione tra le priorità strategiche ed i contenuti
dell’offerta formativa (oggetto del Piano della formazione) è nell’adeguare le
competenze del personale a standard di prestazione utili al raggiungimento degli
obiettivi strategici e operativi indicati in Direttiva annuale. Questo significa che i
fabbisogni formativi del personale sono soprattutto correlati alle sfide che
l’Amministrazione deve affrontare nel perseguimento delle sue strategie3.
Allineare la formazione alla programmazione strategica (programmare la
formazione) vuol dire rafforzare l’effort economico e umano per la gestione delle
competenze del personale agli obiettivi di performance dell’Amministrazione. In
quest’ottica la funzione Formazione deve concorrere al “buon governo”
dell’Amministrazione.
Last but not least, la formazione se correlata alle strategie
dell’Amministrazione ha maggiori probabilità di ricevere la giusta attenzione, in
particolare, da parte dei ruoli dirigenziali che coordinano le strutture e le funzioni che
costituiscono il “core business” dell’Amministrazione.
3 R. Boam, P. Sparrow (1992), Designing and Achieving Competency, A Competency ‐ Based Approach to Developed People and Organizzation , McGraw‐Hill International (UK).
Il collegamento con le strategie
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
7
2. I contenuti e i principali destinatari della Guida
In questo scenario si colloca la Guida, strumento di supporto alla gestione
integrata della formazione secondo i principi del Ciclo manageriale.
Nei successivi paragrafi si evidenziano i punti di contatto e integrazione tra la
programmazione strategica dell’amministrazione e il ciclo manageriale della
formazione, si esplicita il concetto di ciclo e si descrivono i caratteri di managerialità
attribuiti al processo gestionale della formazione nell’accezione che ha ispirato
Si.Va.For.. La Guida si concentra sulle metodologie e le tecniche che si applicano
all’Analisi dei fabbisogni formativi, alla Programmazione, al Monitoraggio e alla
Valutazione dell’impatto della formazione. Le Parti rispettivamente trattate sono
quattro, consultabili anche singolarmente.
I potenziali utilizzatori sono tutti coloro che si occupano e preoccupano dei
temi della Direzione strategica e della Valutazione di risultato in generale, oltre che,
nel caso specifico, applicati alla funzione Formazione. E’ per questo che non si
affrontano le tecniche di progettazione didattica, di redazione del piano formativo e
di tutto ciò che attiene ai micro‐processi della formazione.
Va quindi chiarito che la Guida non è uno strumento di lavoro per
“progettare” i corsi di formazione, quanto piuttosto per affrontare: la
Programmazione, che attiene alla traduzione e alla trasposizione degli indirizzi di
governo dell’Amministrazione e quindi di governo del Personale nella Formazione; e
la Pianificazione, un’aggregazione organica dell’insieme dei Progetti formativi che
realizzano, entro il biennio, i contenuti formativi programmati.
Della funzione Formazione si approfondiscono e definiscono i lineamenti
manageriali, che attengono alle tecniche ed ai principi dell’Analisi dei fabbisogni e
della Programmazione in fase preventiva, al Monitoraggio in fase concomitante ed
alla Valutazione d’impatto in fase successiva alla formazione.
Di cosa tratta
A chi si rivolge
A cosa serve
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
8
3. Il ciclo di gestione manageriale della formazione
Il processo di gestione della formazione si articola, in un ampio panorama di
definizioni, in quattro fasi:
1) analisi dei fabbisogni formativi;
2) programmazione dell’offerta formativa;
3) monitoraggio della formazione;
4) valutazione degli esiti formativi.
L’integrazione delle quattro fasi in un “processo unico” introduce una visione
sistemica del processo fondata sul principio di circolarità4.
Applicando questo principio al processo di gestione della formazione nelle
Amministrazioni pubbliche si ottiene la rappresentazione del Ciclo di gestione
manageriale della formazione.
Figura 2. Ciclo di gestione manageriale della formazione
Testo Testo
Programmazione
Monitoraggio
Valutazione
2
3
4
1Analisi fabbisogni
Fonte: RGS
4Il modello teorico di riferimento è quello sviluppato a metà del secolo scorso da W. Edwards Deming che dall’osservazione della natura e dalla ricerca scientifica definì l’approccio teorico meglio conosciuto come ciclo PDCA: Plan‐Do‐Check‐Act. Secondo questo approccio qualsiasi processo può essere visto come un ciclo scomponibile in quattro momenti fondamentali: 1. plan (progettare, pianificare), 2. do (agire, realizzare), 3. check (controllare), 4. act (stabilizzare o correggere e riavviare il ciclo di intervento). Per un approfondimento sul tema si vedano: D. Lepore, O. Cohen, in Deming and Goldratt, The Theory of Constraints and The System of Profound Knowledge” – Il Decalogo, 1999, North River Press, Great Barrington – U.S.A..
L’approccio manageriale
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
9
1) Analisi del fabbisogno input
Trait d’union tra la valutazione e la programmazione. L’analisi dei fabbisogni
fornisce indicazioni per la definizione dei Piani formativi futuri. Consiste nella
misurazione dei gap tra le competenze possedute dal personale e quelle desiderate:
competenze orientate al perseguimento degli obiettivi strategici e operativi e allo
sviluppo dei percorsi individuali di carriera.
2) Programmazione processing
La programmazione definisce i contenuti del Piano della formazione: l’offerta
formativa. Partendo dall’input dell’analisi del fabbisogno delinea i contenuti della
formazione, specificandone gli obiettivi e le strategie di erogazione.
3) Monitoraggio output
Concomitante all’erogazione della formazione, il monitoraggio è uno
strumento di controllo in itinere della formazione. La sua finalità è verificare il
regolare svolgimento delle attività formative consentendo, se necessario, di
intervenire per tempo con correttivi rispetto a quanto inizialmente programmato. Il
focus è sul risultato.
4) Valutazione outcome
Si distinguono differenti livelli di valutazione della formazione, che misurano i
benefici della formazione su individui e organizzazione. La valutazione sotto il profilo
quantitativo e qualitativo indirizza strategicamente i successivi cicli gestionali,
generando informazioni per l’Analisi dei fabbisogni. Il focus è sugli effetti del
risultato.
Definire gli obiettivi dell’offerta formativa
Verificare lo svolgimento dei percorsi
Misurare gli effetti
Evidenziare i gap di competenza del personale
PARTE I
L’ANALISI DEI FABBISOGNI FORMATIVI
Programmazione
Monitoraggio
Valutazione
2
3
4
Analisi fabbisogni
1
PARTE I L’ANALISI DEI FABBISOGNI FORMATIVI
13
1. I livelli di analisi
Non è del tutto appropriato parlare di fabbisogno formativo al singolare, in
letteratura si distinguono almeno quattro livelli5:
Figura 3. Livelli di analisi del fabbisogno formativo
Livello Obiettivo
1. Organizzativo Identificare le esigenze di formazione che derivano dalle
esigenze organizzativo e dalle scelte d’indirizzo politico
2. Professionale Identificare le esigenze formative che derivano dal sistema
delle professioni (attuali e prospettiche)
3. Individuale Identificare le esigenze formative del singolo lavoratore,
definite in base a quanto stabilito dal proprio ruolo
4. Composizione forza lavoro
Identificare le esigenze di formazione che caratterizzano
determinati segmenti di popolazione presente
nell’Amministrazione
Fonte: RGS
Per ciascuno dei quattro livelli indicati ci sono delle condizioni abilitanti che, a
seconda del grado di sviluppo e impiego, rendono più o meno agevole l’analisi del
fabbisogno dell’Amministrazione. Nel dettaglio:
• Il primo livello concerne la dimensione organizzativa e la condizione
minimale è la chiara definizione di funzioni e attività delle Unità
organizzative in cui si articola l’Amministrazione.
L’esistenza di un organigramma e quindi di un funzionigramma ben
strutturato agevola un’analisi organizzativa in tempi brevi con risultati apprezzabili.
• Il secondo e il terzo livello investono la dimensione individuale del
professionista e della sua responsabilità all’interno dell’organizzazione di
appartenenza.
5 S.E. Jackson, R.S. Schuler (2003), Managing Human Resource Through Strategic Partnership, (8° edizione) Thomson South Western.
Dimensione organizzativa
I quattro livelli dell’analisi dei fabbisogni
Dimensione soggettiva
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
14
Le condizioni abilitanti in questo caso sono rappresentate dall’impiego di
soluzioni evolute di gestione delle risorse, che vanno dall’inquadramento del
personale in profili professionali, all’adozione di strumenti di monitoraggio e
valutazione delle performance, alla presenza e all’esercizio di un bilancio delle
competenze del personale dell’Amministrazione.
• Il quarto livello interviene su specifici segmenti di popolazione presente
nell’Amministrazione, accomunati da una specifica caratteristica quali, ad
esempio, il genere, la condizione lavorativa, l’inquadramento
professionale.
In questo ultimo caso le condizioni abilitanti sono l’integrazione delle diverse
funzioni di Direzione e di Amministrazione del personale, più la presenza di sistemi
informativi che rispondono efficacemente alle esigenze conoscitive sulla
composizione della popolazione lavorativa.
Dei quattro livelli indicati si approfondiscono il primo e il terzo: fabbisogni
organizzativi e fabbisogni individuali. Il percorso si articola in quattro passi, due
propri del livello organizzativo e due del livello individuale.
Va chiarito che l’analisi dei fabbisogni deve tenere conto di una serie di
elementi, di natura endogena e di natura esogena all’Amministrazione. Tra i fattori
endogeni si annoverano, ad esempio, l’indirizzo politico del vertice, le caratteristiche
professionali del personale, le dotazioni strumentali interne; mentre tra i fattori
esogeni si considerano l’avanzamento tecnologico, l’innovazione normativa, le
modifiche contrattuali, altro. I livelli di analisi che vengono di seguito approfonditi si
focalizzano soprattutto su fattori endogeni all’Amministrazione. In particolare,
l’approccio metodologico proposto si caratterizza per il rilievo dato alla trasposizione
degli indirizzi politici in politiche formative.
2. I passi da compiere
Il seguente paragrafo descrive sequenzialmente i passi dell’analisi del
fabbisogno organizzativo e dell’analisi del fabbisogno individuale:
Dimensione collettiva
Fattori endogeni ed esogeni del fabbisogno
PARTE I L’ANALISI DEI FABBISOGNI FORMATIVI
15
1) associare i fabbisogni formativi agli obiettivi strategico‐operativi. Passo
finalizzato ad identificare quegli obiettivi il cui perseguimento va
prioritariamente supportato da iniziative formative;
2) focalizzare il tipo e l’entità dei cambiamenti connessi al perseguimento
degli obiettivi; si tratta di capire a quali cambiamenti deve rispondere la
formazione da attivare (dimensione strutturale del cambiamento);
3) identificare le aree di competenza del personale sulle quali agire per
trasporre la dimensione strutturale del cambiamento su una dimensione
umana;
4) elencare le singole competenze, entro ciascuna area, per Unità
organizzativa, arrivando a definire i singoli gap obiettivo da colmare con
la formazione.
Figura 4. I passi dell’Analisi del fabbisogno formativo
1Associare i fabbisogni agli obiettivi
2Focalizzare tipo ed entità
del cambiamento
4Elencare le singole
competenze
3Identificare le
aree di competenza
Fonte: RGS
Passo 1
Il primo passo è associare i fabbisogni formativi agli obiettivi strategici e
operativi dell’amministrazione, ovvero riconoscere il bisogno formativo emergente
dal coinvolgimento di ciascuna Unità organizzativa nel perseguimento degli obiettivi
indicati in Direttiva.
I passi da compiere
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
16
Ogni Responsabile di Unità organizzativa o Direzione deve chiedersi, per
ciascuna Linea d’azione in cui è esplicitamente coinvolta la propria Direzione o
Dipartimento, se intraprendere iniziative formative possa agevolarne il
perseguimento. Il coinvolgimento può essere anche indiretto, ovvero determinato da
cambiamenti generali di contesto (normativo e organizzativo) o introdotti in altre
Unità.
Un esempio di processo decisionale attinente allo scopo è rappresentato nel
seguente flow chart:
Figura 5. Legame tra fabbisogno formativo e obiettivi strategico‐operativi, flow‐chart
Si prevedono cambiamenti che
possono compromettere il raggiungimento dell'obiettivo?
La formazione può sostenere il raggiungimento dell'obiettivo?
La formazione può ridurre l'impatto dei
cambiamenti?
Fine analisi
L’Ufficio è coinvolto
nell’obiettivo della
Direzione?
Prosegui analisi
Si Si
No
Si
No
Si
No
No
Fonte: RGS
Passo 2
Il secondo passo prevede la definizione del tipo e dell’entità del
cambiamento.
Passo 1: Associare i fabbisogni formativi ad obiettivi strategici e operativi
PARTE I L’ANALISI DEI FABBISOGNI FORMATIVI
17
Si inizia con il circostanziare le implicazioni organizzative e funzionali che
l’attuazione dei Piani d’azione determinano sull’Unità organizzativa gestita. Bisogna
pertanto focalizzarsi sui cambiamenti che il perseguimento degli obiettivi
determinano sull’organizzazione e sul funzionamento dell’Unità organizzativa (o,
altrimenti detto, sui cambiamenti che l’Unità organizzativa deve mettere in atto per
perseguire al meglio gli obiettivi).
La dimensione a cui si fa riferimento è quella strutturale del cambiamento; se
ne prendono in considerazione gli aspetti tecnici e strumentali.
A tale scopo può agevolare l’ausilio di una Scheda, come quella riportata in
Figura 6, che riassume alcune delle principali dimensioni di cambiamento.
Figura 6. Dimensioni del cambiamento connesso al perseguimento di un obiettivo
Dimensioni Descrizione
Strumenti L’introduzione di nuovi applicativi, software gestionali e/o operativi,
o di nuove macchine (PC, stampanti, altro).
Procedure La modifica di procedure interne (semplificazione o
reingegnerizzazione) o l’introduzione di altre ex novo
Prodotti L’erogazione di nuovi servizi intermedi (rivolti ad altri uffici interni
dell’Amministrazione) o finali (rivolti all’esterno)
Struttura Modifiche dell’assetto organizzativo della Direzione o Dipartimento
in cui è incardinata l’Unità
Organizzazione del
lavoro
Modifiche riguardanti l’assetto funzionale degli uffici e dei rapporti
di coloro che presidiano le attività
Fonte: RGS
I passaggi compiuti per analizzare il fabbisogno organizzativo (Passi 1 e 2)
sono propedeutici a quelli che si devono compiere per arrivare al dettaglio di livello
individuale (Passi 3 e 4).
Passo 3
Questo passo consente di identificare le aree di competenza del personale. Si
passa dalla dimensione “strutturale” a quella “umana”, altrimenti detta soft, del
cambiamento.
Passo 2: Definire l'entità del cambiamento
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
18
A ciascuna dalle dimensioni strutturali identificate nel Passo 2 vanno
associate determinate aree di competenza. Nel definire le aree di competenza
bisogna partire sempre dalla dimensione strutturale del cambiamento che si intende
sostenere. Per rendere questo compito più facile ci si deve porre delle “domande di
controllo”. Nella Scheda che segue se ne riportano alcune, a titolo esemplificativo.
Poniamo il caso che la dimensione strutturale dei cambiamenti che si deve
sostenere sia l’introduzione di una nuova procedura; le domande che ci porremo
sono riportate nella Figura 7.
Figura 7. Scheda delle domande di controllo, esempio per “l’introduzione di una nuova procedura”
Area Competenza
Domanda di controllo
Relazionale
La nuova procedura è trasversale a più Uffici?
Prevede attività di gruppo?
Prevede attività di front office o scambi con un cliente interno?
Manageriale
La nuova procedura implica il coordinamento di più unità di personale?
Prevede ampi margini di autonomia del personale?
Presuppone il ricorso frequente all’esercizio della delega?
Tecnologica
La nuova procedura viene gestita con nuovi software o applicativi
informatici?
C’è bisogno di particolari strumentazioni (PC) per operare?
Fonte: RGS
Passo 4
Individuate le aree di competenza si procede all’identificazione puntuale,
all’interno di ciascuna Unità organizzativa, delle singole competenze del personale
interessato dal cambiamento.
All’elenco delle competenze di ogni singola unità di personale si associano
quindi le misure dei relativi gap, ottenendo così un quadro completo e aggiornato dei
livelli di competenza posseduti dal personale.
Con l’ausilio di strumenti evoluti di gestione del personale (Modello delle
competenze) e di specifici sistemi informatici/informativi di supporto (come la
Passo 3: Identificare le aree di competenza
Passo 4: Elencare le singole competenze
PARTE I L’ANALISI DEI FABBISOGNI FORMATIVI
19
piattaforma Campus per il Dipartimento RGS), la realizzazione di queste operazioni
può avvenire in maniera rapida e completa.
A titolo esemplificativo riportiamo di seguito (Figura 8) un’ipotesi di matrice
di declinazione dei gap individuali di competenza per l’Area delle Relazioni.
Figura 8. Matrice di declinazione del gap di competenza, esempio per l’Area “Relazioni”
Area Competenza Competenza Gap*
1 Esposizione verbale 3
2 Capacità di negoziazione 2
3 Collaborazione nel lavoro di gruppo 0 R Relazionale
4 Disponibilità verso il cliente 1
* Il Gap esprime la differenza tra livello di competenza atteso e quello posseduto; l’ordine è crescente, lo 0 indica assenza di gap, il 3 indica gap di competenza massimo.
Fonte: RGS
Infine è opportuno ribadire che il risultato del processo di analisi qui
descritto, copre solamente in parte il fabbisogno complessivo del personale
dell’amministrazione.
Per completezza esso deve essere integrato con una serie di input
provenienti dai fattori endogeni ed esogeni precedentemente indicati (vedi il par. 1
della presente Parte).
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
20
3. Tempi e attività dell’analisi dei fabbisogni: S.A.D.
Durata minima del processo 20 gg.; Durata massima del processo 40 gg.Stima riferita ad una struttura con dotazione minima di 3 unità di personale
1
Ricezione ultimo aggiornamento della Nota preliminare
Selezione obiettivi che coinvolgono l'Ufficio
Elenco degli Uffici coinvolti
2Definizione dei cambiamenti
Il Responsabile di ciascun Ufficio deve riconoscere il
bisogno formativo emergente dal coinvolgimento della
sua struttura nel perseguimento degli obiettivi strategici
e strutturali indicati nella Direttiva del Ministro.
Vengono evidenziati i possibili cambiamenti che il
perseguimento degli obiettivi può determinare
sull’organizzazione e sul funzionamento dell’Ufficio.
Elenco delle dimensioni del cambiamento
3Definizione aree di competenza interessate
Vengono indicate le aree di competenza del personaleinteressate dalle dimensioni del cambiamento.
L'elenco delle Unità selezionate viene inviato per
conoscenza al Direttore generale di riferimento, che può
eventualmente chiedere chiarimenti sulle scelte indicate
dai Dirigenti.
4Definizione delle competenze interessate
Per ciascuna area di competenza selezionata siidentificano le singole competenze interessate su cui siregistrano significativi margini di miglioramento (rif.Modello delle competenze; gap analysis ).
Gap analysis delle competenze del
personale per Ufficio
da 5 a 10 gg lavorativ
ida
5 a 10 gg lavorativ
ida
10 a 20
gg lavorativ
i
Attività e prodotti Durata Descrizione delle attività
Systematic Activity Description dell’Analisi dei fabbisogni
PARTE II
LA PROGRAMMAZIONE DELLA FORMAZIONE
Testo Testo
Programmazione
Monitoraggio
Valutazione
3
4
Analisi fabbisogni
2
1
PARTE II LA PROGRAMMAZIONE DELLA FORMAZIONE
23
1. La definizione dell’Offerta formativa
La Programmazione, nell’accezione adottata durante l’attività di
sperimentazione della Ragioneria generale dello Stato, ha come principale finalità la
traduzione dei fabbisogni formativi, espressi in termini di competenze da sviluppare
(output della Fase 1 del ciclo), in un insieme organico di proposte formative: l’Offerta
formativa.
In generale, in questa fase l’Ufficio Formazione, in collaborazione con i
Responsabili delle Unità organizzative in cui operano i beneficiari finali degli
interventi formativi, affronta una serie di questioni dal carattere propriamente
“direzionale” e pertanto attinenti ad una dimensione generale, di impostazione e
indirizzo, da cui discendono una molteplicità di scelte operative. Le domande a cui
essa risponde precedono le questioni più propriamente gestionali di identificazione e
selezione dei corsi e della loro articolazione in più edizioni, di definizione dei tempi di
realizzazione del Piano, di convocazione dei partecipanti, di verifica dei costi, altro. In
tal senso, la Programmazione rappresenta la premessa per l’impostazione del Piano
della formazione.
Nello specifico la Programmazione si occupa di stabilire le priorità per un
impiego ottimale delle risorse; definire gli obiettivi rendendo riconoscibili i risultati
dell’azione formativa; indicare le politiche formative più adeguate per massimizzare
gli impatti della formazione; supportare l’Amministrazione nell’esercizio del suo ruolo
di committenza nei confronti dei suoi fornitori istituzionali e non istituzionali.
2. I passi da compiere
Il processo di Programmazione può essere suddiviso in quattro passi come di
seguito descritto:
1) selezionare il personale da avviare a formazione, la scelta attiene anche
ai Responsabili delle Unità organizzative in cui opera il personale, che
dovrebbero tenere conto dei risultati della valutazione delle prestazioni
lavorative dei singoli;
A quali domande risponde
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
24
2) identificare i risultati formativi attesi, sotto il profilo quantitativo e
qualitativo. Questo passaggio costituisce una premessa per la
progettazione didattica e una condizione per la valutazione finale;
3) scegliere le soluzioni didattiche più idonee per massimizzare lo sviluppo
delle competenze del personale avviato a formazione;
4) formulare l’Offerta formativa, che costituisce il passaggio finale della
programmazione e attiene al presidio del ruolo di committenza che
l’Amministrazione svolge quando si avvale di fornitori esterni.
Figura 9. I passi della Programmazione della formazione
1Selezionare i l personale
2Identificare i risultati
4Formulare l 'Offerta‐Domanda formativa
3Scegliere le soluzioni didattiche
Fonte: RGS
Passo 1
Si procede ad una selezione del personale, in quanto non tutti i soggetti sui
quali si rilevano significativi gap di competenza vanno necessariamente avviati a
formazione.
E’ compito dei Responsabili di Unità, sulla base dell’organizzazione del lavoro,
dei profili professionali del personale, dei compiti assegnati ed effettivamente svolti
da ciascun addetto, selezionare dall’elenco, risultante dall’analisi dei gap formativi,
coloro che devono prioritariamente recuperare i propri gap di competenza.
Passo 1: Selezionare il personale
I passi da compiere
PARTE II LA PROGRAMMAZIONE DELLA FORMAZIONE
25
Un esempio di processo decisionale attinente allo scopo è rappresentato nel
flow chart che segue:
Figura 10. Processo decisionale di selezione del personale, flow‐chart
E' operativo in quegli ambiti?
Svolge un attività
correlata al cambiamento?
Fine analisi
La risorsa ha un profilo
professionale attinete agli ambiti del
cambiamento?
Prosegui analisi
SiSi
No
Si
No
No
No
Possiede significativi
gap di competenza?
Si
Si intende impiegarlo in quegli ambiti?
Si
No
Fonte: RGS
Passo 2
La premessa per la misurazione degli esiti della formazione (Fase 4 del ciclo)
è la chiara definizione dell’obiettivo formativo atteso.
Se l’obiettivo è correttamente declinato è più facile individuare il tipo di
offerta da formulare, così come è più facile verificarne il raggiungimento. È quindi
fondamentale esplicitare quali miglioramenti, quantitativi e qualitativi, si attendono
al termine della formazione.
Passo 2: Indicare le aspettative
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
26
Gli esiti della formazione si possono definire in relazione a:
• le prestazioni attese (dimensione quantitativa). E’ utile fare ricorso ad
indicatori che specificano il miglioramento atteso in termini oggettivi:
Figura 11. Indicatori per la misurazione delle dimensioni delle prestazioni, esempio
Dimensioni Indicatori
Aumento della
produttività
Aumento del numero di pratiche lavorate
Riduzione dell’arretrato accumulato
Riduzione dei tempi di espletamento delle pratiche
Altro…
Migliore impiego delle
risorse
Riduzione dello straordinario a parità di prestazioni
Migliore coordinamento dei permessi/ferie
Contenimento delle spese di cancelleria
Altro…
Qualità del lavoro e
riduzione degli errori
Riduzione dei reclami del cliente (interno/esterno)
Riduzione richieste di rilavorazione delle pratiche
Riduzione delle lamentele del personale
Altro…
Fonte: RGS
L’analisi per evidenze oggettive di performance potrà in questo modo basarsi
su standard predefiniti.
• gli apprendimenti (dimensione qualitativa). Gli obiettivi formativi
possono essere ricondotti a tre tipologie di apprendimento: conoscenze,
skill e comportamenti6. Una classificazione degli apprendimenti viene
data da Bloom7, che distingue sei livelli di apprendimento (Figura 12).
6 G. Costa, M. Giannecchini (2005), Risorse umane, personale, relazioni e valore, McGraw‐Hill, Milano. 7 B.S. Bloom (1948), American Psychological Association, Boston‐U.S.A.
PARTE II LA PROGRAMMAZIONE DELLA FORMAZIONE
27
Figura 12. Tassonomia di Bloom, livelli di conoscenza‐apprendimento
Livello Tassonomia Glossario
1. Conoscenza
- di contenuti specifici - di termini - di fatti specifici - di modi e mezzi di trattare contenuti specifici
- di convenzioni - di tendenze e sequenze - di classificazioni e categorie - di criteri - di metodologie - di universali e di astrazioni in un campo
- di principi e di generalizzazioni - di teorie e strutture
Capacità di memoria. Lo stimolo agisce come un segnale per selezionare uno o più elementi di conoscenza nel complesso di quanto si è appreso
2. Comprensione - di traduzione - di interpretazione - di estrapolazione
Capacità di capire e di saper riutilizzare quanto è stato detto
3. Applicazione - di fare - di progettare il fare
Capacità di affrontare casi concreti sulla base di principi, regole, metodi generali
4. Analisi - di elementi - di relazioni - di principi organizzativi
Capacità di cogliere elementi costitutivi di un insieme complesso e di stabilire fra essi relazioni esplicite
5. Sintesi
- produzione di una comunicazione unica
- produzione di un piano o di una sequenza di operazioni
- derivazione di una serie di relazioni astratte
Capacità di comporre varie parti in un tutto: scrivere in modo adeguato, saper raccontare esperienze complesse, saper individuare procedimenti per verificare ipotesi
6. Valutazione
- capacità di esprimere giudizi in termini di criteri interni
- capacità di esprimere giudizi in termini di criteri esterni
Capacità di apprezzare qualitativamente e quantitativamente l’adeguatezza di qualcosa sulla base di un criterio
Fonte: rielaborazione RGS su B.S. Bloom (1948)
Ad esempio:
• evitare di definire un obiettivo di apprendimento come “adeguamento
delle competenze” di elaborazione, classificazione, verifica di una
procedura o altro; a meno che si specifichi esattamente cosa si intende
per “adeguamento”;
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
28
• ricorrere a definizioni di un obiettivo di apprendimento del tipo “ricercare,
elaborare, classificare, verificare” una procedura.
Passo 3
Chiarite le aspettative della formazione vanno ricercate le soluzioni
didattiche più appropriate allo scopo.
Contrariamente a quanto spesso si ritiene, questa scelta non attiene
esclusivamente all’Ufficio della formazione. Anche il Responsabile di Unità può dare
importanti indicazioni, soprattutto quando l’Amministrazione è fortemente
connotata dalla presenza di numerose famiglie professionali di contenuto tecnico.
Senza entrare nel merito della progettazione didattica, si sottolinea che ad
ogni tipologia d’intervento corrispondono una o più modalità didattica (Figura 13).
Figura 13. Associazione tra tipologie d’intervento e modalità didattiche
Tipologia intervento Modalità didattiche
Inserimento al lavoro/addestramento Frontale, in aula
Auto addestramento
Aggiornamento professionale Formazione a distanza
Auto addestramento
Sviluppo professionale Frontale, in aula
Laboratorio formativo
Sviluppo manageriale Laboratorio formativo
Coaching
Fonte: RGS
Nella scelta dell’associazione giusta bisogna evitare di incorrere in
automatismi, che se nel breve periodo possono semplificare la vita, nel medio e
lungo periodo possono causare non gravi inefficienze.
È quindi opportuno interrogarsi nel merito degli interventi formativi e
propendere per una specifica modalità didattica sulla base di precise considerazioni.
Passo 3: Scegliere il metodo didattico
PARTE II LA PROGRAMMAZIONE DELLA FORMAZIONE
29
Il flow chart in Figura 14 è riporta un esempio di processo di scelta.
Figura 14. Processo di scelta della modalità formativa, flow‐chart
Aggiornamento professionale?
Investecomportamenti?
Fine analisi
La formazione investe
competenze professionali?
Si Si
No
Si
No
No
No
Investe un numero
elevato di persone?
Si
Sviluppo professionale?
Si
No
Riguarda attività di contatto e
relazioni interpersonali?
- Laboratorio formativo- Out door training
Si
Fine analisi
- Aula tradizionale- Laboratorio formativo
No
- Laboratorio formativo- Out door training
- Aula tradizionale
- Formazione a distanza- Auto addestramento
Fonte: RGS
Passo 4
A questo punto l’Ufficio formazione ha a disposizione una serie di input che
gli consentono di formulare una proposta di programma formativo.
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
30
Questa proposta si delinea come:
• Offerta formativa, rivolta al personale dell’Amministrazione;
• Domanda formativa, rivolta al mercato della formazione.
Tradurre la propria Domanda formativa ad un soggetto esterno
all’Amministrazione, una Scuola superiore o altro, significa presidiare un rapporto
d’Agenzia.
Nel condurre questo delicato rapporto, l’Amministrazione deve avere ben
chiara la politica formativa che intende perseguire. E’ quindi condizione minimale:
• presidiare l’approccio didattico alla formazione;
• monitorare e valutare direttamente gli esiti formativi.
Rispetto al primo punto ci sono una serie di indicazioni di carattere strategico
che la Ragioneria generale ha elaborato al termine del primo ciclo di gestione
manageriale della formazione.
Dall’esperienza condotta sul campo emerge molto chiaramente l’esigenza di
ammodernare progressivamente la politica formativa. Ciò implica modifiche sul
versante dell’approccio didattico; sentiero già imboccato e che sta producendo
risultati apprezzabili.
Le indicazioni prioritarie, cui fare riferimento:
• Superare la formazione primaria focalizzare l’aggiornamento
professionale
L’idea che l’Amministrazione debba farsi carico di carenze conoscitive di
personale che per definizione dovrebbe essere, almeno teoricamente, preparato su
nozioni di base quale premessa per l’esercizio del proprio ruolo, deve passare in
secondo piano.
Se da un lato è ragionevole, anzi fortemente consigliabile, erogare
formazione applicata ai processi di lavoro, per rendere incisiva la direzione, dall’altro
Passo 4: Formulare la proposta di programma formativo
Oltre la formazione primaria
PARTE II LA PROGRAMMAZIONE DELLA FORMAZIONE
31
lato non ha più senso continuare a fare formazione di aggiornamento su tematiche
decisamente non più “nuove”.
L’aggiornamento d’aula, sempre comunque da associarsi a pratica applicata,
può avere ragion d’essere esclusivamente quando intervengano importanti
modificazioni del quadro teorico di riferimento. In ogni caso se lo scopo è aggiornare
il personale l’oggetto della giornata va ben focalizzato su effettive novità,
spiegandone la dimensione teorica ed i riflessi applicativi;
• Puntare ai processi lavorativi multidisciplinarietà e formazione
applicata
L’esperienza in Ragioneria Generale dello Stato evidenzia come i Responsabili
degli Uffici, pur avendo acquisito e compreso la logica del sistema dei controlli che la
Ragioneria generale sta implementando, non sono ancora nelle condizioni fattive di
poter applicare i controlli per migliorare la gestione. Questo accade perché manca
una connessione chiara delle conoscenze del tema della programmazione delle
risorse e delle attività con il tema delle relazioni sindacali e della direzione del
personale. Infatti, i due corsi hanno trattazione monotematica.
Molti, ancora oggi, non sanno quali siano i confini per fare valere il proprio
potere di datore di lavoro: sanno magari programmare ma non sanno fino a che
punto possono flessibilizzare la propria dotazione di personale per raggiungere gli
obiettivi programmati.
Una possibile soluzione è il ricorso ai corsi multidisciplinari, prevedendo ad
esempio che il terzo modulo di un corso, dopo due moduli di formazione teorico
applicata sul sistema della Programmazione e controllo (il cosa), verta sul sistema di
Direzione del personale per l’esercizio della Programmazione e dei controlli (il come).
• Polarizzare l’investimento intervenire sui gruppi di lavoro
L’impatto sugli individui è condizione necessaria ma non sufficiente a
generare impatto sulle prassi lavorative collettive, sull’organizzazione.
Perché l’impatto organizzativo sia massimizzato si deve intervenire sui gruppi
di lavoro (team work). In pratica, alcuni interventi formativi vanno rivolti a gruppi di
Mirare ai processi lavorativi
Focalizzarsi su gruppi di lavoro
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
32
personale che operano nella medesima Unità organizzativa piuttosto che a grandi
numeri di personale dislocato in tante Unità organizzative diverse. Una persona sola
non può far cambiare le prassi di lavoro di un intero Ufficio, nemmeno se è il
Dirigente. Vanno quindi adottati strumenti di selezione dei destinatari della
formazione maggiormente efficaci, prevedendo la programmazione della formazione
sulla base di esigenze di lavoro d’Ufficio, oltre che sulla base del Modello delle
competenze.
In questa prospettiva è chiaro che va ripensato il rapporto cliente / fornitore,
rafforzando la collaborazione con il sistema delle Scuole superiori.
Per lavorare efficacemente sull’incontro tra Domanda e Offerta formativa è
necessario intervenire sulle asimmetrie informative generate, da un lato come
dall’altro, da fattori endogeni (gestione dei processi di lavoro) ed esogeni (mercato
“protetto” della formazione).
Tutto questo può essere ragionevolmente fatto senza costi aggiuntivi. Si
tratta di adottare nuove forme di lavoro condiviso e quindi compiere diverse scelte
allocative delle risorse complessivamente impiegate.
3. I tempi della programmazione
La realizzazione delle attività di Analisi dei fabbisogni e di Programmazione
della formazione deve essere preferibilmente svolta nei mesi tra settembre e
dicembre di ogni anno.
La ragione di questa collocazione temporale è legata alla realizzazione delle
attività di programmazione strategica delle Amministrazioni centrali, ovvero al
percorso di definizione della Direttiva annuale e di emanazione della Legge
finanziaria. Tra settembre e gli inizi di ottobre tutte le Amministrazioni centrali
devono effettuare l’ultimo aggiornamento della “Nota preliminare” e definire la
Quando programmare
PARTE II LA PROGRAMMAZIONE DELLA FORMAZIONE
33
proposta finale degli obiettivi strategici e dei relativi Piani d’azione che esse
intendono perseguire nell’anno8.
Sulla base di questo documento l’Ufficio formazione può avviare il percorso
di definizione dell’offerta formativa servente gli obiettivi strategici
dell’Amministrazione.
Le indicazioni contenute nella Nota preliminare aggiornata al mese di
settembre di fatto costituiscono le linee strategiche definitive che confluiranno nella
Direttiva annuale e che l’Amministrazione sarà chiamata a perseguire; esse pertanto
possono rappresentare l’input dei processi di diagnostica del fabbisogno (Fase 1 del
ciclo) e di programmazione (Fase 2 del ciclo) fin qui descritto.
8 Per un approfondimento sul processo di programmazione strategica delle Amministrazioni centrali si veda la Direttiva del Presidente del Consiglio dei Ministri del 12 marzo 2007 per l’attuazione, il monitoraggio e la valutazione del programma di Governo: Linee guida del Comitato tecnico scientifico per il controllo strategico nelle Amministrazioni dello Stato Direttiva del Presidente del Consiglio dei Ministri.
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
34
4. Tempi e attività della programmazione: S.A.D.
Durata minima del processo 50 gg.; Durata massima del processo 80 gg.Stima riferita ad una struttura con dotazione minima di 3 unità di personale
1Sulla base dell’organizzazione del lavoro, ilResponsabile dell'Ufficio seleziona coloro che, in viaprioritaria, devono recuperare i propri gap dicompetenza.
2
Proposta di programma formativo
Selezione personale da avviare a formazione
L'Ufficio formazione perviene ad una proposta diprogramma formativo.
5
l'Ufficio formazione invia la proposta del programmaalla SSEF, fornitore istituzionale della formazionedell'Amministrazione.
Invio domanda (proposta) alla SSEF
La definizione dell'offerta formativa da parte dellaSSEF attiva un processo di scambio di ipotesi chevengono sottoposte al vaglio dell'Amministrazione.I dirigenti, a cui viene sottoposta l'offerta formativa,possono muovere osservazioni e suggerire modificheda rinviare alla Scuola.
7
da 10 a 20
gg lavorativ
ida
15 a 25
gg lavorativ
i
Elenco del personale con gap di competenza
Indicazione del periodo
Il prodotto finale dell'analisi del fabbisognocostituisce l'input per la programmazione dellaformazione.
L'indicazione del periodo in cui avviare il personaledell'Ufficio alla formazione consente di limitarel'impatto delle assenze sulla produttività dellastruttura.
Elenco del personale da avviare a formazione
3 Definizione delle attese
Il Responsabile dell'Ufficio provvede ad esplicitare leapettative in termini di performance eapprendimento attesi dalla partecipazione delpersonale alla formazione.
4Indicazione delle modalità didattiche
In riferimento alle competenze da trattare ed alleaspettative vengono fornite indicazioni sulle strategieformative più appropriate per il tipo di competenzada sviluppare.
Verifica mercato interno ed esterno
Definizione del programma formativo
L'Ufficio formazione, sulla base delle informazionirilevate (offerta della SSEF, disponibilità delle risorseinterne, stima dei costi diretti della formazione, altro)sceglie la modalità di realizzazione del programmaformativo.
da 25 a 35
gg lavorativ
i
67Acquisizione offerta della SSEF
Attività e prodotti Durata Descrizione delle attività
Systematic Activity Description della Programmazione
PARTE III
IL MONITORAGGIO DELLA FORMAZIONE
Testo Testo
Programmazione
Monitoraggio
Valutazione
4
Analisi fabbisogni
3
1
2
PARTE III IL MONITORAGGIO DELLA FORMAZIONE
37
1. L’esercizio del controllo
Nell’ottica della gestione manageriale della formazione, al supporto della
gestione della formazione deve essere attivato un sistema di controllo9, per
l’erogazione, la valutazione e la (ri)programmazione della formazione.
Il principio fondante è “monitorare per decidere”.
Le decisioni possono investire:
• la dimensione sincronica Monitoraggio: quando le decisioni si basano
su informazioni relative ad attività in corso, del presente;
• la dimensione diacronica Reportistica: quando le decisioni si basano su
informazioni relative ad attività concluse, del passato.
In condizioni ideali il monitoraggio verifica la coerenza tra le previsioni e gli
accadimenti in tempi sufficientemente rapidi, per intervenire su eventuali disequilibri
(regolazione); mentre la reportistica aiuta a sintetizzare in modo corretto e mirato le
numerose informazioni che si generano in un intero ciclo gestionale (feed‐back).
Monitoraggio e Reportistica sono due dimensioni di un unico strumento di
controllo, il cui oggetto è l’output della formazione.
Si sottolinea quindi il valore aggiunto del controllo periodico e finale
dell’attività formativa, soprattutto quando il Piano della formazione è piuttosto
articolato; ancora di più se pluriennale.
Gli approfondimenti che seguono contengono alcune indicazioni operative
per l’impostazione di un sistema di monitoraggio.
9 Il termine controllo è in questo caso impiegato in accezione anglosassone, quindi nel senso di gestione più che di verifica.
Monitorare per decidere
Regolazione e feed back
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
38
2. I passi da compiere
In linea generale, i passi che si compiono per l’elaborazione di un sistema di
monitoraggio e reportistica sono cinque:
1) Selezionare le variabili che si vogliono controllare per ciascun corso,
eventualmente dettagliato per edizione;
2) Attribuire i caratteri alle variabili selezionate, in modo da predefinire le
caratteristiche qualitative e quantitative di ciascun corso;
3) Classificare i corsi secondo le variabili ed i caratteri delineati, creando un
dataset come base del sistema; su questa base dati si effettueranno
tutte le interrogazioni utili per l’estrazione delle informazioni da inviare
ai destinatari target, nella forma più opportuna;
4) Identificare il target dei destinatari del controllo, con riferimento al
monitoraggio e quindi alla reportistica da redigere a fine periodo. A
ciascuna categoria di target identificato vanno associate le informazioni
da trasmettere.
Figura 15. I passi del Monitoraggio della formazione
1Selezionare le
variabil i
2Attribuire i caratteri alle variabil i
4Identificare i
target e selezionare le informazioni
3Classificare tutti i corsi
Fonte: RGS
I passi da compiere
PARTE III IL MONITORAGGIO DELLA FORMAZIONE
39
Passo 1
Il primo passo è la selezione delle variabili di ciascun corso.
Un modo molto semplice per selezionare correttamente un numero
minimale di variabili è prendere a riferimento le cinque dimensioni:
• cosa: corso, per edizioni e per area tematica;
• chi: beneficiari e committente di riferimento;
• come: modalità di erogazione del corso e soggetto erogatore;
• perché: tipologia di formazione, obiettivo formativo;
• quando: periodo di realizzazione e durata.
Passo 2
Per ciascuna delle variabili vanno identificati i caratteri. Alcune variabili
possono assumere carattere qualitativo, quantitativo o entrambe.
Ad esempio, la variabile “beneficiari” assume un carattere:
• qualitativo se si considerano il profilo professionale oppure il livello di
inquadramento giuridico‐economico di appartenenza;
• quantitativo se si considera il numero dei beneficiari;
• sia qualitativa che quantitativa se si classificano i dati rispetto alla
numerosità, per profilo e/o per posizione di inquadramento. Ciascuno di questi
caratteri si associa ad una classe.
Per ulteriori esemplificazioni sulle avariabili si vedano gli approfondimenti al
par. 2.1.
Passo 3
A questo punto si passa alla classificazione dei corsi.
Per classificare una variabile a carattere qualitativo si ricorre alle scale,
ordinali o nominali: quando i caratteri sono ordinabili per priorità o gerarchia si
applica la scala ordinale, quando il carattere assume forme non gerarchiche si applica
Passo 1: Selezionare le variabili
Passo 2: Attribuire i caratteri alle variabili
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
40
la classificazione nominale. Questi ultimi potranno essere commutati in scale
numeriche, utili per l’elaborazione dati.
Ad esempio:
• la variabile “beneficiari”, rilevata per profilo professionale del personale
ha carattere qualitativo di tipo nominale, dato che non c’è gerarchia tra i
diversi profili. In questo caso si tratterà di elencare gli n profili esistenti e
di associare a ciascuno di essi un codice numerico che fa riferimento ad
una scala, che può variare da 1 a n.
L’inserimento dei dati sui corsi, secondo i criteri indicati, genera il dataset del
sistema di monitoraggio. Perché essa possa assumere il rango del vero e proprio
Sistema di controllo va predefinita la reportistica.
Passo 4
Per definire la reportistica bisogna preliminarmente identificare il target
delle informazioni di monitoraggio (durante l’anno) come delle informazioni per la
valutazione dell’output della formazione (fine anno).
Riflettere sul ruolo assunto dalle varie categorie di soggetti rispetto alla
Funzione e al Servizio della formazione può aiutare a focalizzare i destinatari
“potenziali” del monitoraggio e quindi contribuire ad identificare il target della
reportistica.
Individuati i destinatari, infatti, è possibile identificare la tipologia di
informazioni che andranno ad alimentare la reportistica.
Nello schema che segue (Figura 16) si propongono una serie di
esemplificazioni utili in tal senso.
Passo 4: Identificare il target
Passo 3: Classificare i corsi
PARTE III IL MONITORAGGIO DELLA FORMAZIONE
41
Figura 16. Target di riferimento del monitoraggio, come funzione e come servizio; esempi
- il Responsabile di macro‐
struttura nel quale è incardinato
l’Ufficio formazione
- Direzione del personale
- Affari generali
- Altro
- il Servizio di controllo interno,
titolare del controllo di gestione
- Ufficio centrale di line
- Ufficio di staff
Funzione
form
azione
- Le Istituzioni esterne
all’Amministrazione
- con missione di regolazione
(Dipartimento della Funzione
pubblica)
- con scopo di ricerca (Organismi
internazionali, Scuole superiori,
Associazioni professionali, altri)
- con finalità di sostegno (Formez,
Associazioni professionali, altri)
Servizio Formazione
- i beneficiari della formazione,
articolati per gruppi omogenei
- per tipologia di articolazione
organizzativa (es. Direzione –
Dipartimento)
- per famiglia professionale (es.
Revisori – Informatici)
- per livello d’inquadramento (es.
Dirigenti – Non dirigenti)
- altro
Fonte: RGS
Seguendo questo percorso, in Ragioneria generale dello Stato sono stati
identificati come target:
• lo Sdag ‐ Direzione generale del servizio dipartimentale per gli affari
generali, l’Unità gerarchica di massima dimensione di incardinamento
dell’Ufficio formazione;
• gli Ispettorati generali, che corrispondono alle altre Unità di massima
dimensione;
• gli Ucb e le Rts, le Unità complesse di tipo periferico della Ragioneria
quali gli Uffici centrali di bilancio dislocati presso i vari Ministeri e le
Ragionerie territoriali dello Stato insediate nel Paese;
• il Servizio interno per il controllo di gestione;
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
42
• la Sspa, la Scuola superiore per la Pubblica amministrazione.
In linea generale, ritenere che il target identificato, unitariamente
considerato, debba o possa essere interessato al medesimo livello di informazioni
può essere un errore.
Per ciascun soggetto, o gruppo di soggetti, vanno quindi selezionate le
informazioni più attinenti al ruolo che esso esercita rispetto alla formazione.
Per compiere quest’ultimo passo, va fatto un esercizio sulle “priorità”. Non ci
sono automatismi che aiutano ad associare oggettivamente le informazioni al ruolo
dei soggetti target; è però vero che:
• il livello di aggregazione delle informazioni attese deve essere
direttamente proporzionale al livello gerarchico del destinatario.
Ad esempio:
al Responsabile dell’Ufficio formazione occorrono anche i dettagli
informativi, al Responsabile generale del personale interessano dati
aggregati sulle grandezze della formazione, mentre al Responsabile
dell’Ufficio di gabinetto del Ministro servono informazioni sui risultati
prodotti dalla politica del personale;
• ai beneficiari della formazione interessa il confronto entro e tra i gruppi
di appartenenza.
Ad esempio:
ai professional interessa capire quale tipo di formazione, con quale
frequenza e con quale risultato è stata erogata formazione in relazione ai
diversi gruppi professionali presenti nell’Amministrazione; interessa quindi il
confronto interno al proprio gruppo professionale, magari con attenzione al
livello di inquadramento giuridico ed economico;
• i soggetti esterni all’Amministrazione richiedono dati e informazioni
mirate, solitamente finalizzate al confronto tra Enti.
La selezione delle informazioni
PARTE III IL MONITORAGGIO DELLA FORMAZIONE
43
Ad esempio:
i dati del Rapporto annuale della formazione nelle Amministrazioni
pubbliche si basano su di un’indagine per questionario e vengono restituiti
sotto forma tabellare che mette a confronto le Amministrazioni rispondenti.
Nel caso della Ragioneria generale sono stati implementati quattro set di
report, rispettivamente destinati allo Sdag, alle articolazioni organizzative
(Ispettorati, Ucb, Rts), al Servizio del controllo di gestione e alla Sspa. La reportistica
destinata a questi ultimi due tipi di soggetti è strutturata in modo speculare alle
richieste di dati che essi formulano periodicamente all’Ufficio formazione.
In questo senso monitoraggio e reportistica assolvono ad una funzione di
controllo, in un caso, e di benchmark, nell’altro.
Nei paragrafi seguenti sono contenute indicazioni operative sul trattamento
delle variabili di monitoraggio, i costi della formazione. e un’applicazione dell’Indice
di rilevanza, uno strumento per selezionare i corsi da sottoporre a valutazione
d’impatto, tema della successiva Parte IV della Guida.
2.1 Le variabili del sistema
→ Modalità didattiche d’intervento
La Ragioneria generale distingue tra formazione d’aula, formazione a
distanza e formazione superiore per master, seminari e convegni.
Nel seguente schema (Figura 17) si riporta una classificazione tipologica più
ampia delle modalità didattiche e delle relative finalità.
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
44
Figura 17. Modalità didattiche d’intervento e relative finalità
Modalità didattica Finalità
Lezione frontale d’aula Modalità di trasmissione dei saperi di tipo prevalentemente nozionistica, erogata da uno o più docenti in maniera frontale in aula
Formazione a distanza
Modalità di trasmissione dei saperi prevalentemente nozionistica, erogata a distanza attraverso un supporto informatico (piattaforma informatica dedicata). Rientrano in questa categoria le sessioni d’aula virtuale interattive, rivolte ad un numero elevato di utenti (anche seminari on‐line), e l'auto‐addestramento nel cui ambito l'utente agisce in piena autonomia, sulla base di una valutazione di opportunità, nella decisione di partecipare o meno all'evento in un dato momento
Laboratorio formativo
Modalità di trasmissione dei saperi e delle conoscenze di tipo prevalentemente funzionale (applicato), erogata in aula o in affiancamento sul lavoro, da esperti o coacher. Il laboratorio prevede la sperimentazione attraverso esercitazioni ed applicazioni pratiche dei saperi e delle conoscenze teoriche
Stage formativo
Modalità di formazione su lavoro, volta al raggiungimento di obiettivi di job enlargement e job enrichment. L’acquisizione delle competenze (conoscenze, capacità e comportamenti) avviene trascorrendo un periodo di tempo significativo presso altre organizzazioni o unità organizzative. Il ricorso a questa modalità di formazione presume il ricorso “positivo” all’istituto della mobilità
Eventi esterni
Eventi di informazione, per l’aggiornamento e l’approfondimento di specifiche tematiche, organizzati da soggetti esterni all’Amministrazione. In questa tipologia rientrano i seminari, le tavole rotonde i workshop.
Fonte: RGS
→ Tipologie di finalità d’intervento
La Ragioneria generale distingue tra finalità di addestramento,
aggiornamento professionale, di formazione deontologica, inserimento lavorativo,
sviluppo professionale e sviluppo manageriale. Come finalità specifica si aggiunge
quella ad personam, rivolta a specifiche unità di personale e tipicamente realizzata
mediante eventi esterni.
Le modalità didattiche
PARTE III IL MONITORAGGIO DELLA FORMAZIONE
45
Figura 18. Tipologie di finalità d’intervento formativo
Tipologia formativa Finalità
Addestramento
Volta al trasferimento di conoscenze non direttamente riconducibili alle specificità del proprio ruolo professionale e alla missione dell’Unità organizzativa d’appartenenza; finalizzata all’acquisizione di conoscenze di base su strumenti di lavoro d’uso comune, come l’informatica, la normativa di base, altro
Aggiornamento
Mirata al trasferimento di conoscenze di carattere tecnico, normativo e procedurale, strettamente legate all'operatività del ruolo professionale. Sono le attività formative volte a fornire abilità necessarie allo svolgimento delle attività lavorative specifiche dell’Unità di appartenenza (es. normativa di settore); l’aggiornamento professionale interviene su conoscenze pre‐esistenti, adeguandole ai cambiamenti del tempo
Formazione deontologica
Investe le dimensioni valoriali, fondamentali per l'organizzazione pubblica e l'individuo che vi opera; particolarmente rilevante per coloro che gestiscono funzioni sensibili
Inserimento lavorativo
Accompagna i processi di inserimento lavorativo del personale neo‐assunto o comunque di nuovo ingresso (es. mobilità esterna). Rientra in questa categoria anche la formazione di riconversione professionale
Sviluppo professionale
Tesa ad ampliare e approfondire le conoscenze e soprattutto le capacità lavorative tipiche di una specifica figura professionale (es. tecniche di indagine per l'ufficio formazione); presuppone l’introduzione di strumenti e/o modalità innovative di gestione del ruolo. Rientra in questa categoria anche la formazione della lingua inglese e/o di alcuni software quando effettuata a livelli avanzati e quindi specialistici
Sviluppo manageriale
Finalizzata a sviluppare le competenze di carattere gestionale ed organizzativo comportamentale; si caratterizza per i contenuti conoscitivi a valenza trasversale tra i settori di intervento dell'organizzazione d'appartenenza (es. pianificazione delle attività)
Ad personam
Rivolta a personale che svolge un ruolo ad elevato contenuto scientifico, caratterizzato da competenze esclusive che necessita di formazione mirata per la realizzazione di specifici incarichi
Fonte: RGS
Le finalità d’intervento
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
46
→ Tipologie di fruitori della formazione
La Ragioneria generale distingue i fruitori sulla base della posizione giuridica
di inquadramento.
Si può anche adottare una classificazione tipologica del personale in
relazione ai profili (o famiglie) professionali oppure per livello di qualificazione. Nel
dettaglio:
Figura 19. Tipologie di fruitori della formazione
Fruitori Ruoli/mansioni
Direttori e Dirigenti Che svolgono ruoli direzionali e direttivi di coordinamento
di strutture complesse o semplici
Funzionari
(Funzionari e Professionals)
Che svolgono mansioni di programmazione delle attività
operative, di coordinamento del personale di media
qualificazione per lo svolgimento di funzioni ordinarie e
specialistiche di cui sono responsabili (area C)
Personale di media
qualificazione
(Personale tecnico)
Che svolge mansioni prevalentemente applicative (area B)
Personale ausiliario
(Personale d’ordine)
Che svolge mansioni operative che rientrano nelle
procedure di lavoro specializzate per prodotto/servizio (es.
servizio di anticamera); (area A)
Fonte: RGS
→ Tipologie di obiettivo formativo
Nella Parte I della Guida, dedicata all’analisi dei fabbisogni formativi, si
distingue tra livello organizzativo e livello individuale di fabbisogno.
In sede di programmazione e quindi di erogazione questa distinzione si
riflette sulle tipologie di obiettivo formativo (Figura 20) perseguito da monitorare.
I fruitori dei corsi
PARTE III IL MONITORAGGIO DELLA FORMAZIONE
47
Figura 20. Tipologie di obiettivo formativo
Obiettivo
form
ativo collettivo di tipo orga
nizzativo
Identifica le ricadute organizzative
attese dall'intervento formativo.
L’informazione si riferisce al legame
tra la formazione e le finalità
organizzative perseguibili.
La sua definizione è basata
sull’interpretazione della Direttiva
annuale sulle attività amministrative
e gestionali dell’Amministrazione
(Parte I della Guida)
Classificabile in obiettivi di:
- Efficacia
“qualità” degli obiettivi. Si persegue un
obiettivo di efficacia quando si punta
all'implementazione di un nuovo servizio
oppure all’attivazione di nuove modalità
di gestione di un servizio già attivo.
- Efficienza
“quantità” delle risorse impiegate.
Si persegue un obiettivo di efficienza
quando si punta a migliorare la
produttività ottenendo una riduzione del
rapporto tra tempi e risorse impiegate,
ovvero un aumento della capacità
produttiva a parità di condizioni
Obiettivo
form
ativo individu
ale
Definisce le ricadute attese sul
singolo individuo in termini di
competenze.
Gli obiettivi formativi individuali si
perseguono con riferimento al
Modello delle competenze.
a) Tenere traccia del gap di
competenza obiettivo da colmare,
per valutare a posteriori l’impatto;
b) indicare l'area tematica della
competenza obiettivo, la specifica
competenza di riferimento e il livello
atteso di crescita.
- Gap di competenza da colmare
- Livello atteso di crescita: base,
intermedio, avanzato
- Area della competenza e
competenza
Fonte: RGS
→ I costi
E’ utile arrivare all’unità di misura “costo orario” della formazione,
distinguendo tra tipologie di modalità didattica. E’ infatti presumibile che il costo
Gli obiettivi formativi
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
48
orario differisca a seconda della modalità: ad esempio, formazione tradizionale d’aula
e formazione a distanza per ausilio informatico richiedono investimenti diversi.
Lo schema che segue (Figura 21) riepiloga i costi diretti e indiretti della
formazione:
Figura 21. Classificazione dei costi della formazione
Tipologia di gestione Costi diretti Costi indiretti
In economia
- Docenti interni:
compenso figurativo del
personale dipendente
interno che svolge docenza
In outsourcing
- Docenti esterni:
compenso per incarico
diretto o figurativo se
conferito mediante Scuola
superiore
- Costo di gestione
dell’Ufficio formazione
- Costo dei beni e servizi
strumentali all’erogazione
della formazione
- Costo figurativo del
personale in formazione
Acquisizione a mercato
- Corrispettivo complessivamente erogato per l’intero
pacchetto formativo acquistato
- Costo figurativo del personale in formazione
Fonte: RGS
3. L’Indice di rilevanza
La valutazione implica un investimento in termini di tempo e competenze di
alto profilo. Questo investimento va commisurato alla “rilevanza” che i corsi hanno
per l’Amministrazione. Pertanto, un corso può risultare più o meno rilevante a
seconda delle caratteristiche ritenute rilevanti per l’Amministrazione in un dato
periodo.
L’Indice di rilevanza è un indicatore composito, uno strumento di
misurazione che sintetizza le caratteristiche dei corsi che il vertice
dell’Amministrazione, di anno in anno, ritiene più rilevanti. Ciò implica che le variabili
costitutive dell’Indicatore (e i relativi pesi attribuiti a ciascuna variabile) possono
essere cambiate anche ogni anno, a seconda delle priorità del vertice amministrativo.
La “rilevanza” dei corsi
I costi della formazione
PARTE III IL MONITORAGGIO DELLA FORMAZIONE
49
Il valore dell’Indicatore è direttamente proporzionale al grado di rilevanza del corso e
quindi ne stabilisce la priorità in fase valutazione d’impatto.
Di seguito proponiamo un esempio di applicazione dell’Indicatore di rilevanza
alla valutazione dei corsi erogati nel 2007 dalla Ragioneria generale dello Stato.
Le variabili costitutive adottate per il calcolo dell’Indice sono:
A) obiettivo organizzativo;
B) obiettivo individuale;
C) costo (o spesa);
D) numerosità dei beneficiari.
Come premesso al Passo 3, i caratteri delle variabili A e B (nominali) possono
essere commutati in valore10:
Valori associati alla variabile A 0 ≤ X ≤ 1
se A X Valore assegnatoalto 1 FALSOmedio alto 0,8 FALSOintermedio 0,6 FALSOmedio basso 0,4 FALSObasso 0,2 0,2
Nel caso della variabile B, i valori medio alto e medio basso sono evidenziati
in un altro colore perché non previsti nella classificazione del livello di competenze
adottato dalla Ragioneria generale.
10 I caratteri indicati nella prima colonna dell’esempio sono associati alla rilevanza attribuita al corso rispetto al perseguimento dell’obiettivo organizzativo / individuale cui esso è finalizzato. Ad esempio, la variabile “obiettivo organizzativo” assume carattere “alto” quando l’effettuazione di un corso finalizzato al perseguimento dell’obiettivo indicato ha un alto grado di priorità; la priorità è alta perché non si può fare a meno di attivare il corso. Non si può passare dal protocollo cartaceo a quello informatizzato se non si impartisce formazione in addestramento per la gestione del protocollo secondo le nuove modalità informatiche. Al carattere “alto” si associa quindi il massimo grado di priorità, pari a 1.
Le variabili prese in considerazione
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
50
Valori associati alla variabili B 0 = X = 1
se B X Valore assegnatoavanzato 1 FALSOmedio alto 0,8 FALSOintermedio 0,6 0,6medio basso 0,4 FALSObase 0,3 FALSO
Nel caso delle variabili C e D si fa ricorso ad algoritmi che alimentati dal
valore assegnato a ciascuna di esse, nella Matrice di classificazione dei corsi,
restituisce un valore compreso tra 0 e 1.
Per la variabile C l’algoritmo associa al corso un valore che varia tra 1 e 0, a
seconda di quanto il suo costo sia più o meno vicino al costo massimo fatto registrare
dai corsi programmati nell’anno. L’intervallo di riferimento del costo è quindi
determinato dal costo minimo e dal costo massimo rispettivamente registrati tra tutti
i corsi realizzati nell’anno.
Analogamente, alla variabile D si associa un valore tra 0 e 1 a seconda del
tasso di partecipazione registrato rispetto a quello programmato per il corso.
L’introduzione di questo parametro è utile ad indirizzare la valutazione verso quei
corsi che hanno fatto registrare una maggiore partecipazione (evidenziando quindi
anche quei corsi che hanno invece registrato un elevato assenteismo).
PARTE III IL MONITORAGGIO DELLA FORMAZIONE
51
In fase di programmazione a ciascuna variabile corso è associato un peso
relativo, che può essere modificato di anno in anno a seconda del valore che si
assegna alla singola variabile.
La somma dei risultati ottenuti dal prodotto del valore della singola variabile
e del peso relativo ad esso associato restituisce un valore numerico di sintesi che
apprezza la rilevanza dell’intervento.
In questo modo ciascun corso ha un valore di rilevanza che varia tra 0 e 100.
Rispetto all’universo dei corsi programmati (e quindi gestiti) nell’anno andrà scelta
una soglia di rilevanza che “taglia” l’offerta formativa da valutare al 20‐30% del
totale.
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
52
4. Tempi e attività del monitoraggio: S.A.D.
Durata minima del processo 30 gg.; Durata massima del processo 40 gg.Stima riferita ad una struttura con dotazione minima di 3 unità di personale
5
Graduatoria dei corsi (erogati)
6 Selezione dei corsi
L'applicazione dell'indice di rilevanza (Matrice diclassificazione dei corsi ) consente di ottenere da unelenco complessivo dei corsi erogati una graduatoriaordinata dell'importanza dei corsi a cui è stato assegnatoun punteggio rispetto alle variabili costitutive dell'indice.
E' consigliabile attestarsi su un set di corsi non superioreal 20‐30% dell'offerta formativa complessiva (rif. alnumero partecipanti e/o corsi).
Elenco dei corsi da valutare
entro 5 gg lavorativ
i
Calcolo dell' Indice di rilevanza per ciascun corso
Confermare le variabili costitutive dell'Indice di rilevanza;ev. modificarne la combinazione e rivedere i pesiattribuiti a ciascuna variabile.
1
2
Selezione delle variabili da monitorare
Insieme dei corsi
Attribuzione caratterivariabili
3Classificaz.dei corsi
DatasetMatrice di classificazione
dei corsi
Identif.target del monitoraggio
4
Reportistica periodica
L'insieme dei corsi dell'Offerta formativa vannoclassificati secondo criteri predefiniti basati su:‐ variabili‐ caratteri delle variabiliIn questo modo si crea un foglio dati che costituisce unabase di informazioni, qualitative e quantitative, che puòessere interrogata a seconda delle esigenze dimonitoraggio e/o di reportistica di fine periodo.
Il target di riferimento costituisce il/i soggetto/i cui sirivolgono le informazioni relative all'andamento dellaformazione (monitoraggio). Si possono distinguere discriminando rispetto al ruolosvolto rispetto alla formazione come:‐ servizio‐ funzione
da 10 a 15
gg lavorativ
ida
15 a 20
gg lavorativi
Attività e prodotti Durata Descrizione delle attività
Systematic Activity Description del Monitoraggio
PARTE IV
LA VALUTAZIONE DELLA FORMAZIONE
Testo Testo
Programmazione
Monitoraggio
Valutazione
Analisi fabbisogni
1
2
4
3
PARTE IV LA VALUTAZIONE DELLA FORMAZIONE
55
1. I momenti della valutazione
Molto spesso si fa riferimento alla valutazione della formazione come ad
un’attività finale del processo formativo. In realtà la valutazione procede
parallelamente al processo formativo e si concretizza nelle attività di ricerca e di
identificazione dei cambiamenti che intervengono sulle persone, e non solo su
queste, per effetto della formazione.
Rispetto alla dimensione cronologica si distinguono tre diverse tipologie di
valutazione11:
1) valutazione ex ante: detta anche valutazione preventiva, il cui scopo è
verificare a priori (prima di agire investendo risorse economiche,
strumentali ed umane) l’adeguatezza dei programmi formativi che si
intende attuare; la programmazione non è altro che l’esercizio di una
valutazione preventiva;
2) valutazione in itinere: a cui appartiene a pieno titolo il monitoraggio. Il
suo scopo è, come argomentato nei paragrafi precedenti, individuare
all’occorrenza eventuali correttivi per intervenire in progress durante la
realizzazione del Piano formativo;
3) valutazione ex post: cui appartengono diverse fattispecie, ognuna
focalizzata su di uno specifico oggetto di indagine, ma tutte accomunate
dal un unico scopo, quello di verificare la corrispondenza di quanto
previsto con quanto effettivamente realizzato.
Ai tre momenti corrispondono, rispettivamente, la programmazione della
formazione (Fase 2), il monitoraggio delle attività formative (Fase 3), e la valutazione
degli impatti (Fase 4).
11 D. Lipari (1995), Progettazione e valutazione nei processi formativi, Edizioni Lavoro, Roma.
I tre momenti della valutazione
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
56
2. I livelli della valutazione, dal gradimento all’impatto
Le variabili che intervengono nella valutazione sono molteplici, per questo è
opportuno iniziare ad affrontare l’argomento facendo chiarezza tra le diverse
definizioni con ci si riferisce ad essa. In particolare è bene approfondire le differenze
che sussistono tra valutazione di: gradimento, apprendimento, impatto individuale e
impatto organizzativo.
Nel seguente schema sono riportate, in una sorta di graduatoria, le quattro
tipologie di valutazione. A ciascuna è associato il livello che ne indica il grado di
complessità e l’oggetto che ne svela, potremmo dire, la natura12.
Figura 22. Livelli della valutazione della formazione
Livello Caratteristica Oggetto della valutazione
1 Gradimento Soddisfazione del lavoratore, rispetto delle attese del lavoratore, altro
2 Apprendimento Aumento delle conoscenze, incremento di abilità, cambiamento di atteggiamenti, altro
3 Impatto sugli individui Applicazione al lavoro
4 Impatto sull’organizzazione
Contributo al raggiungimento degli obiettivi strategici
Fonte: RGS
• La valutazione di gradimento misura quanto la formazione venga
apprezzata dai partecipanti. Si basa sui risultati di un’apposita indagine
conoscitiva che solitamente si conduce per questionario, oltre che
osservando gli atteggiamenti dei partecipanti durante lo svolgimento del
corso. Se il corso oggetto di valutazione viene erogato da soggetti esterni
all’Amministrazione (soluzione “buy”) è buona regola che il gradimento
12 Per un approfondimento sulla Teoria dei quattro livelli della valutazione si veda Kirkpatrick D. L. (1996), Evaluating training programs. The four levels, Berrett‐Koehler, San Francisco‐U.S.A.
I quattro livelli della valutazione
Il gradimento dei partecipanti
PARTE IV LA VALUTAZIONE DELLA FORMAZIONE
57
dei partecipanti venga misurato dall’Ufficio formazione
dell’Amministrazione13.
La soddisfazione del partecipante è un presupposto dell’apprendimento,
anche se da sola non basta. Alcuni partecipanti possono mantenere un
atteggiamento positivo nei confronti di formazione dai contenuti poco utili, al di là
della qualità del corso, o viceversa.
• La valutazione dell’apprendimento si basa sulla verifica del
raggiungimento degli obiettivi formativi in termini di consolidamento di
conoscenze teoriche e abilità applicate14. La verifica delle prime
solitamente si avvale di test15; per le seconde si può fare ricorso ad
esercitazioni pratiche in simulazione.
Il miglioramento delle abilità va testato attraverso le esercitazioni, che
consentono di verificare l’esecuzione della prestazione e apprezzarne il risultato
finale. In definitiva la valutazione di apprendimento è fondamentale per osservare
l’effettiva comprensione e acquisizione dei contenuti formativi, nonché l’efficacia dei
metodi didattici. Bisogna però tenere presente che esiti positivi di apprendimento
non implicano impatti organizzativi apprezzabili.
• La valutazione dell’impatto sugli individui si riferisce alle modificazioni
del comportamento lavorativo indotte nel lavoratore; la valutazione è
quindi rivolta alla misurazione del grado di applicazione nella realtà
professionale degli insegnamenti impartiti nel corso dell’intervento
formativo16. Questo tipo di valutazione non è circoscritta all’aula ma
coinvolge l’ambiente organizzativo nel quale i soggetti operano. Tra le
tecniche impiegate per evidenziare questi cambiamenti ci sono i focus
group, svolti anche a diversi livelli gerarchici dell’organizzazione, le
13 La valutazione di gradimento è di gran lunga la più diffusa e meglio conosciuta, per questa ragione non costituiscono oggetto di ulteriori approfondimento della Guida 14 M. Lichtner (2004), Valutare l’apprendimento: teorie e metodi, Franco Angeli, Milano 15 E.F. Lindquist (1951), Preliminary considerations in objective test construction, in Educational measurement, American Council on Education, Washington DC‐U.S.A. 16 Costa G., Giannecchini M. (2005), Risorse umane, personale, relazioni e valore, McGraw‐Hill, Milano.
L’apprendimento generato nei singoli
L’incidenza sui comportamenti lavorativi
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
58
simulazioni (role playing, episodio significativo o incidente critico) ed i più
rari interventi di osservazione partecipata.
La valutazione del comportamento risulta la più delicata in quanto richiede
che si presenti l’opportunità per mostrare l’avvenuto cambiamento del
comportamento. Può succedere anche che il cambiamento sia temporaneo e dopo
poco, il soggetto, rientri nei suoi comportamenti consuetudinari.
• La valutazione dell’impatto sull’organizzazione rappresenta il livello più
alto del processo valutativo. Attraverso questa pratica si misurano gli
effetti in termini di miglioramento delle performance lavorative e di
prodotto dell’organizzazione. Gli strumenti valutativi che si possono
applicare sono di diversa natura: si va dalla misurazione per semplici
indicatori (efficienza, efficacia ed economicità) a misurazioni di sintesi più
complesse, in questi casi si ricorre alle cosiddette evidenze oggettive di
performance. Un altro strumento efficace è l’indagine conoscitiva di
ampio spettro, svolta a più livelli, rivolta sia ai diretti beneficiari della
formazione sia ai responsabili delle unità organizzative dove essi
operano.
La valutazione d’impatto sull’organizzazione va oltre la verifica della
produttività degli Uffici e quindi dell’Amministrazione. Gli effetti di un intervento
formativo si possono rinvenire anche nel miglioramento del clima o del benessere
organizzativo, indiscutibile premessa per il miglioramento delle performance future.
È per questa ragione che nell’affrontare la valutazione dell’impatto organizzativo è
preferibile ricorrere a soluzioni che prevedano l’impiego complementare di più
strumenti di misurazione, da quelli strettamente quantitativi a quelli più qualitativi.
3. L’impostazione del processo di valutazione
In linea generale, per impostare e condurre correttamente il processo
valutativo della formazione, è bene seguire alcune semplici regole:
• identificare le priorità della valutazione (vedi Indice di rilevanza dei corsi,
par. 4 della Parte III); nel caso in cui si va oltre il secondo livello è
L’incidenza sui risultati organizzativi
Alcune indicazioni operative
PARTE IV LA VALUTAZIONE DELLA FORMAZIONE
59
consigliabile prendere in considerazione non oltre il 20‐30% dell’intera
offerta formativa;
• pianificare l’intero processo, in modo semplice e schematico, stimando
tempi, attività e risorse. In questo modo si potranno condurre in parallelo
le attività di valutazione dei diversi livelli considerati e arrivare ad un
esito conoscitivo finale e organico. Un tipico Piano di lavoro può essere
impostato seguendo lo schema del Diagramma di Gantt, prima però è
necessario compiere precise scelte rispetto ad alcuni fattori (Figura 23).
Figura 23. Scelte sottese all’impostazione del Piano di lavoro per la valutazione della formazione
Associazione tra corsi, strumenti di valutazione e risorse
Schematizzazione del set dei corsi da valutare e l’insieme degli
strumenti da applicare, dalla valutazione degli apprendimenti alla
valutazione dell’impatto individuale e organizzativo.
Per ciascun corso può essere utile assegnare un referente
interno dell’Ufficio formazione, in modo che esso possa gestire
l’intero processo valutativo del/i corso/i ad esso associato/i.
Dimensionamento degli strumenti di valutazione
Non è detto che un corso abbia i presupposti per generare un
impatto organizzativo e quindi che esso debba essere sottoposto
a tutti i livelli di indagine17.
Definizione del ruolo dei Referenti interni per la formazione
Rispetto al contributo diretto o indiretto che si richiede loro nelle
fasi di indagine (interviste, questionari, altro), come nell’azione di
comunicazione interna; a seconda del ruolo loro conferito si
determinano tempi e oneri diversificati a carico dell’Ufficio
formazione.
Fonte: RGS
17 Un esempio: in Ragioneria generale si effettuano corsi di preparazione a aggiornamento per Ispettori (di società a partecipazione pubblica, di istituzioni scolastiche, altro) che fanno riferimento a funzioni il cui esercizio si svolge nell’ambito di incarichi individuali a personale dipendente. Ciò implica l’assenza d’impatto sulle unità organizzative interne e sulla Ragioneria in generale.
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
60
• elaborare una Scheda informativa per ciascun corso da valutare, utile per
riepilogarne le caratteristiche e guidare la progettazione degli strumenti
di valutazione, dalla verifica degli apprendimenti alla misurazione degli
impatti sull’organizzazione e sugli individui.
Figura 24. Scheda informativa corso, esempio
Anagrafica Approfondimenti
→ Denominazione;
→ Modalità di erogazione;
→ Finalità e Obiettivi;
→ Destinatari, per: numerosità, unità
organizzative di appartenenza, posizione
giuridico economica, profili, altro;
→ Docenti: distinguendo tra docenti
interni o esterni; se esterni indicandone
la provenienza;
→ Durata;
→ Periodo di svolgimento, per edizione se
il corso è articolato
→ Connessioni tra obiettivi formativi e
obiettivi strategici e quindi operativi
dell’Amministrazione/Unità organizzativa
di appartenenza dei partecipanti (in
riferimento al Modello competenze e/o
alla Direttiva annuale e/o al Piano degli
obiettivi annuali);
→ Eventuali criticità di contesto
organizzativo delle Unità di provenienza
dei partecipanti (da tenere presenti);
→ Criticità eventualmente emerse durante
lo svolgimento del corso e che possono
averne compromesso i risultati.
Fonte: RGS
4. La valutazione degli apprendimenti
Esercitare la valutazione è qualcosa di molto complesso, più di quanto
esprima il modello dell’educational measurement18.
Ciascun valutatore ha propri schemi mentali di riferimento. La valutazione di
un medesimo individuo con il medesimo strumento ad opera di più valutatori può
originare risultati diversi tra loro. Lo stesso può avvenire se il risultato di una prova
viene valutato dal medesimo valutatore in momenti diversi. In ogni caso non è
accettabile che la valutazione venga lasciata alla soggettività del valutatore.
18 M. Lichtner, op. cit.
PARTE IV LA VALUTAZIONE DELLA FORMAZIONE
61
Per ovviare a questi inconvenienti, per impostare correttamente qualunque
prova di apprendimento va chiarito a priori:
• che cosa viene valutato (tassonomia di Bloom);
• come si riconosce l’apprendimento (riconoscere il cosa);
• a quali criteri attenersi (definizione dei livelli soglia di giudizio rispetto al
cosa e al come).
Nell’impostare una prova di conoscenza è necessario avere preliminarmente
definito chiari obiettivi di apprendimento. Nella Parte II della Guida si fa riferimento
ad una classificazione tipologica di obiettivi di conoscenza: la tassonomia di Bloom,
che distingue sei livelli di apprendimento. Se l’obiettivo di apprendimento è
correttamente formulato, individuare il tipo di prova che consente di verificarne il
grado di raggiungimento è facile; se non lo è la valutazione è complicata perché
basata su di una generica indicazione di contenuto culturale.
Un altro requisito della valutazione degli apprendimenti è l’oggettività. In
contesti caratterizzati da problemi di clima organizzativo o da notevoli dimensioni per
numero di addetti e articolazioni, è consigliabile che la valutazione sia quanto più
possibile oggettivata.
In tal caso occorre chiedersi se sia possibile elaborare prove nelle quali la
valutazione della qualità delle singole prestazioni (verifica degli apprendimenti) non
sia soggettivo. La risposta è affermativa, a condizione che si faccia ricorso la ad una
prova strutturata di conoscenza, detta anche prova oggettiva di profitto o test.
Se si intende invece affrontare la valutazione delle competenze applicate e
comportamentali è più appropriata la prova simulata, meno oggettivabile ma più
esplicativa sulla realtà in atto.
Gli obiettivi di apprendimento
L’oggettività della valutazione
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
62
4.1 Le conoscenze teoriche: il test
Le scienze del comportamento umano utilizzano la parola test con
riferimento alla psicometria19 ed alla docimologia20.
I test psicologici misurano il possesso di determinate attitudini o abilità e
come tali saggiano capacità originarie sulle quali non è possibile intervenire con
esperienze culturali, per questo dette qualità “culture free”.
Per i test docimologici vale esattamente il contrario: misurano abilità e
competenze che si sono trasmesse per via culturale o in modo esplicito. I test di
profitto rientra in quest’ultima fattispecie: è una prova strutturata che misura
conoscenze indotte.
Nel contesto della formazione, il test è uno strumento per assegnare numeri
agli individui in un gruppo per indicare il grado di raggiungimento di un obiettivo
formativo21; è uno strumento utile per praticità, economicità e obiettività: sotto una
soglia minima non ha senso fare un test.
Questo tipo di prova, se condotta correttamente, riduce al minimo il margine
di interpretabilità sia della prestazione del valutato (nel dimostrare i propri
apprendimenti) che dell’apprezzamento del valutatore (nel misurare
l’apprendimento osservato).
Le obiezioni che solitamente vengono avanzate nei confronti dei test:
• i test sono nozionistici e misurano solamente apprendimenti
qualitativamente modesti: è vero ma solo se le domande sono banali;
non è vero se le domande sono intelligenti e richiedono altrettanta
intelligenza nel fornire la giusta risposta;
19 Branca della psicologia che misura le abilità mentali. 20 Insieme complesso di ricerche che hanno condotto alla definizione di uno specifico settore scientifico all’interno della ricerca educativa:Carnegie Corporation di New York, Ricerca comparativa sulle tecniche di conduzione degli esami di qualifica in Inghilterra, Scozia, Finlandia, Germania, Francia, Svizzera, Stati Uniti d’America (1931). 21 E.F. Lindquist, op. cit.
Le riserve sulla validità del test
Cos’è il test
PARTE IV LA VALUTAZIONE DELLA FORMAZIONE
63
• i test spersonalizzano i rapporti tra le persone e celano il carattere
inquisitorio dell’esame: questa affermazione non tiene conto del
rapporto gerarchico che si crea quando si fa ricorso a prove di
apprendimento basate sul colloquio orale. Le informazioni che si possono
acquisire durante una interrogazione sono talmente complesse da essere
difficilmente classificabili e apprezzabili sulla base di una metrica chiara e
condivisa;
• il test è facile ed è anche questione di fortuna: chi sostiene questa tesi ha
un atteggiamento quantomeno ottimistico nei confronti del test, più di
quanto non lo abbia nei confronti del Totocalcio o dell’Enalotto. Strano,
perché indovinare le risposte giuste di un test formato da 11 item nella
forma dei quesiti a risposta multipla (con 5 opzioni di risposta) è
matematicamente circa 30 volte più difficile che indovinare la
combinazione giusta per vincere al Totocalcio; la probabilità è pari a 1 su
48.828.125.
Il calcolo matematico:
Possibili combinazioni di risposta al Totocalcio: ∑ Ke = 313 = 1.594.323
Possibili combinazioni di risposta al Test: ∑ Ke = 511 = 48.828.125
Rapporto tra combinazioni possibili: 48.828.125 / 1.594.323 = 30,6
Qualcuno potrebbe anche obiettare che è possibile comunque superare il
test senza puntare al massimo del punteggio, ovvero superarlo rispondendo solo ad
una parte delle risposte giuste. Anche in questo caso è matematicamente
dimostrabile che è possibile indovinare 3 ‐ 4 risposte al massimo su 11 quesiti,
mentre è molto difficile indovinarne di più. Le probabilità di indovinare casualmente
7 risposte su 11 quesiti sono 1 su 84.480. In altre parole: è facile prendere un
punteggio mediocre mentre è quasi impossibile simularne uno buono.
4.1.1 I passi da compiere
Se a questo punto si vuole procedere ad impostare una prova di valutazione
per test si devono compiere quattro passi:
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
64
1) Progettare il test secondo precise regole votate alla semplicità, linearità
e chiarezza, finalizzate a garantire obiettività e attendibilità;
2) Attribuire il punteggio grezzo che scaturisce dalla tipica correzione del
test effettuato dai partecipanti;
3) Validare il test con l’item analysis, una procedura che consente di
capire se il test somministrato garantisce la validità della prova;
4) Misurare gli apprendimenti: per verificare l’andamento complessivo
della prova e assegnare delle valutazioni volte a comprendere, al di là
del punteggio, quali apprendimenti sono stati indotti.
Figura 25. I passi della valutazione degli apprendimenti, test sulle conoscenze
1Progettare i l
test ed effettuare la
prova
2Attribuire i l punteggio grezzo
4Misurare gli
apprendimenti
3Validare i l test con
l 'item analysis
Fonte: RGS
Passo 1
Un test ben progettato è chiaro, mai equivoco e non interpretabile. Nelle
prove strutturate di conoscenza le risposte possono essere già formulate e il
candidato deve limitarsi ad indicare quella/e che presume corretta/e.
Gli elementi costitutivi del test sono gli item, che possono assumere le forme
elencate nella Figura 26.
I passi da compiere
PARTE IV LA VALUTAZIONE DELLA FORMAZIONE
65
Figura 26. Gli item di un test, tipologie e caratteristiche
Tipologia Caratteristiche
Vero/Falso
Il quesito deve essere formulato in modo chiaro. Un modo di proporre quesiti vero/falso consiste nel chiedere di scegliere, fra una lista di affermazioni che riguardano tutte un medesimo argomento, quelle ritenute esatte. Ciò consente di verificare l’apprendimento su di uno specifico argomento in termini percentuali piuttosto che assoluti. Se si pone, infatti, una sola domanda su di uno specifico argomento e l’individuo risponde in modo errato se ne dovrà desumere che non ha appreso l’argomento trattato. Al contrario è possibile che l’individuo non abbia appreso un determinato aspetto dell’argomento trattato ma che ne abbia appresi altri. Questo genere di accorgimento è utile, naturalmente, per testare l’apprendimento di argomenti complessi.
Scelta multipla
Le risposte multiple sono semplici quando l’opzione di riposta giusta da selezionare è solo una; in questo caso le opzioni di risposta, tra giuste ed errate, devono essere almeno tre. Meglio se sono cinque. Le risposte multiple sono invece doppie e multiple quando le opzioni di risposta giusta da selezionare sono due o più di due; in questo caso le opzioni di risposta devono essere almeno cinque o più. La premessa deve essere formulata in modo chiaro e non ambiguo, evitando formulazioni in positivo o in negativo. Occorre inoltre fare attenzione all’uso dei distrattori, che sono le risposte errate. E’ consigliabile fare un uso corretto dei distrattori, altrimenti l’individuo non sarà messo nelle condizioni giuste per dimostrare il proprio apprendimento e la prova falserà la realtà.
Completamenti
Si formula un testo di significato compiuto all’interno del quale vengono tolte un certo numero di parole o espressioni. Deve trattarsi di termini che per poter essere individuati e collocati nel testo richiedano una specifica competenza per ciò che riguarda il contenuto del testo. Nel predisporre le lacune occorre evitare di determinare incertezza per quel che riguarda la corretta individuazione del contenuto. L’elenco dei termini da utilizzare per completare il testo deve essere riportato in fondo al testo e deve essere numericamente superiore al numero delle lacune, in modo che l’individuo non possa contare, per gli ultimi completamenti, sulla riduzione progressiva delle possibilità.
Corrispondenze
Si stilano due elenchi di elementi in modo disordinato, da fare associare a coppie sulla base di una relazione. La prestazione consiste nel cogliere tale relazione. Per evitare le ultime corrispondenze vengano stabilite semplicemente per incastro uno dei due elenchi deve essere sovrabbondante. Gli elementi di ciascun elenco possono essere date, nomi, denominazioni, avvenimenti, titoli, definizioni, circostanze.
Fonte: RGS
Alcuni accorgimenti:
• è consigliabile fare ricorso ad almeno due tipi tra gli item elencati;
Passo 1: Progettare il test
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
66
• la somministrazione del test deve avvenire in un tempo che varia da un
minimo di 15 minuti ed un massimo di 1 ora.
Passo 2
Effettuata la prova di apprendimento occorre capire quali informazioni si
possono ricavare e come organizzarle: si deve attribuire il punteggio.
Occorre porre attenzione alla formulazione del giudizio ad esito della prova, a
meno di non incorrere nella scarsa attendibilità della valutazione. Agli
apprezzamenti, positivi o negativi che siano, è preferibile sostituire le misure. Fare
ricorso alle misure consente di delimitare la discrezionalità della valutazione e
costringe a oggettivare la prova.
Si deve quindi fare ricorso alle scale di misura, come nell’esempio che segue:
Figura 27. Criteri per l’attribuzione dei punteggi e la loro classificazione
Tipologia Caratteristiche
1. Scale nominali
Valutazione assoluta
Identificano i soggetti che possiedono una certa caratteristica
sulla base di un nome o di una descrizione.
Il ricorso alla misurazione nominale implica che la prestazione
dell’individuo venga classificata coerente oppure no rispetto
ad una prestazione attesa, senza nessuna forma di
comparazione
A ha/non ha appreso
2. Scale ordinali
Valutazione
comparativa
Consentono di stabilire una graduatoria rispetto ai soggetti
che manifestano le proprie prestazioni; al contrario della
precedente implica un apprezzamento per comparazione e
restituisce un ordine gerarchico continuo tra le performance
dei più capaci e quelle dei meno capaci
A ha appreso più di B
Valutazione
di efficacia
3. Scale ad intervalli
Valutazione
differenziante
Consentono di stabilire classi di soggetti cui corrispondono
determinate prestazioni, utili per misurare la distanza delle
prestazioni tra soggetti o gruppi di soggetti
A si posiziona nel gruppo più performante mentre B in quello
mediamente performante e C in quello meno performante
Passo 2: Attribuire il punteggio
PARTE IV LA VALUTAZIONE DELLA FORMAZIONE
67
Tipologia Caratteristiche
Valutazione
di efficienza
4. Scale di rapporti
Valutazione relativa
Si utilizza solo per misurare prestazioni basate sul fattore
tempo, come ad esempio per prove di apprendimento che
tengano in considerazione il tempo entro il quale i soggetti
hanno effettuato una prestazione di pari livello qualitativo
A è più efficiente di B
Fonte: RGS
Nella correzione dei test si terrà conto dei punteggi in valore assoluto
attribuiti a ciascun partecipante e si determinerà il punteggio totale (grezzo). Il
punteggio così calcolato può essere utilizzato per formulare una valutazione di
efficacia dell’azione formativa ai fini dell’apprendimento che si avvale di una delle
quattro scale di misura indicate.
Passo 3
Questa modalità di valutazione, che corrisponde a quelle più comunemente
in uso, non tiene conto dell’item analysis: non consente quindi di verificare se il test
abbia effettivamente funzionato o meno.
Senza l’item analysis l’esito della valutazione può essere contestabile,
specialmente se lo scopo della valutazione non è tanto quella di formulare dei giudizi
quanto piuttosto di stabilire se le persone abbiano appreso (magari entro una soglia
minima di apprendimento predefinita) oppure se alcuni gruppi abbiano appreso
meno di altri (magari perché penalizzati da fattori di contesto di cui è opportuno
tenere conto).
Soprattutto senza l’item analysis non è possibile verificare la validità di un
test per poterlo ripetere successivamente.
Per effettuare l’item analysis vanno mappati gli errori commessi dai
partecipanti nella compilazione dei rispettivi test e avvalersi di questa mappa per
calcolare alcuni indicatori:
Passo 3: L’item analysis
Difficoltà
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
68
• il livello di difficoltà del test, ovvero la resistenza che un quesito oppone
alla sua corretta soluzione. Si calcola stabilendo qual è il rapporto fra il
numero degli individui che hanno fornito una risposta errata e il numero
di coloro che sono stati sottoposti al test. Si determina in questo modo
un valore massimo della difficoltà di 1 quando tutti rispondono in modo
errato, ed uno minimo di 0 quando tutti rispondono correttamente;
• la discriminatività del test, ovvero la capacità di un quesito di
discriminare tra coloro che hanno fornito complessivamente una
prestazione migliore da quelli che hanno fornito una prestazione più
scarsa. Si calcola come la differenza dei punteggi sul numero dei punteggi
considerati per due gruppi di partecipanti; uno a rendimento superiore e
uno a rendimento inferiore rispetto all’insieme dei partecipanti. Si
ottiene così un indice che varia da 1 (se tutti i migliori hanno risposto
bene e tutti gli individui del gruppo che ha ottenuto i punteggi più bassi
ha risposto male) a –1 (se è avvenuto il contrario, un’ipotesi improbabile
che se verificata segnala l’esistenza di un item formulato male). Se
l’indice è 0 vuol dire che le persone dei due gruppi non si sono
differenziati nella risposta;
• la distrattività del test, ovvero la capacità dei singoli distrattori di far
deviare dalla risposta corretta. Si calcola semplicemente calcolando, sul
complesso degli errori, quanti, per ciascun item, si riferiscono a ciascun
distrattore. Basta verificare che ciascun distrattore sia stato efficace
producendo una soglia minima di errori pari al 20% delle risposte e una
soglia massima di errori non superiore al 60%.
Passo 4
Per misurare gli apprendimenti e assegnare delle valutazioni che superino il
concetto di punteggio grezzo è utile osservare la distribuzione dei punteggi.
Le tipiche statistiche che descrivono una distribuzione di punteggi (tendenza
centrale) sono la media, la moda e la mediana.
Discriminatività
Distrattività
PARTE IV LA VALUTAZIONE DELLA FORMAZIONE
69
Ad esempio:
• quando le tre statistiche indicano che la distribuzione dei punteggi è
sostanzialmente uniforme perché i tre valori tendono a coincidere la
prova restituisce esiti di apprendimento “normali”, senza
polarizzazione estrema tra gruppi; indicativamente la prova è stata
ben strutturata e gli esiti sono apprezzabili.
Per conoscere ancora più approfonditamente la distribuzione dei punteggi è,
infine, utile misurare la dispersione della distribuzione con la deviazione standard (o
lo scarto quadratico medio22): quando è alta vuol dire che la distribuzione è ampia e
quindi c’è una certa “dispersione” tra punteggi; al contrario vuole dire che gruppi più
numerosi hanno registrato punteggi più “concentrati” su valori medi, sopra o sotto la
media. In linea generale vuole dire che c’è più eterogeneità. La distribuzione dei
punteggi può anche essere osservata per fasce, cui attribuire dei punteggi in termini
di “giudizio”.
4.2 L’applicazione al lavoro e i comportamenti: la prova simulata
Al polo opposto del test, prova strutturata di misurazione dei saperi teorici, si
posiziona la prova simulata, prova semi‐strutturata o destrutturata per la valutazione
dei saperi applicati e degli aspetti comportamentali.
Mentre il test si presta per la misurazione degli apprendimenti indotti in
grandi quantitativi di soggetti, la prova simulata si applica a piccole classi di soggetti.
A seconda di come si struttura e conduce, la prova simulata può restituire
informazioni diversificate sul livello e sulle caratteristiche delle competenze del
personale che ha partecipato alla formazione.
22
Passo 4: Misurare gli apprendimenti
Cos’è la prova simulata
Alcune indicazioni operative
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
70
La prova si effettua creando artificialmente una situazione lavorativa, nel cui
ambito si assegna un compito da svolgersi entro un tempo predefinito,
singolarmente o in gruppo, con un preciso prodotto finale.
L’input (compito assegnato) e l’output (soluzione) della prova possono essere
semi‐strutturati o completamente destrutturati. E’ consigliabile la modalità semi‐
strutturata, che formula ai partecipanti una chiara domanda, quale:
• risolvere un caso, dettagliatamente narrato nelle sue circostanze;
• predisporre un documento, da un bando a un verbale, a un progetto
tecnico;
• valutare un documento, come sopra;
• formulare proposte di miglioramento rispetto ad un processo di lavoro
campione.
Da questo elenco si evince che la prova simulata si applica alla valutazione
della formazione erogata per diverse finalità: dall’addestramento all’aggiornamento
professionale; dallo sviluppo professionale a quello manageriale e deontologico23.
4.2.1 I passi da compiere
I passi che si compiono per valutare gli apprendimenti simulando una prova
di lavoro sono tre:
1) Progettare la prova simulata con il concorso degli esperti che hanno
prestato docenza al corso cui si riferisce la valutazione;
2) Attribuire il punteggio alle prestazioni osservate durante la prova, al di
là della/e mera soluzione proposta dai partecipanti;
3) Condividere il risultato con gli esperti che hanno condotto la prova,
focalizzando le criticità conoscitive riscontrate.
23 Per un approfondimento sulle finalità della formazione si veda l’elenco “Tipologie di finalità d’intervento” in fig. 18, Parte III, par. 2.1.
I passi da compiere
Come applicarla
PARTE IV LA VALUTAZIONE DELLA FORMAZIONE
71
Figura 28. I passi della valutazione degli apprendimenti, prova simulata
1Progettare la
prova
2Attribuire i l punteggio
3Condividere i risultati con gli Esperti
Fonte: RGS
Passo 1
Se un test deve essere progettato e redatto in modo chiaro e non
equivocabile, il testo di una prova simulata può al contrario fare leva su fattori
interpretativi per sollecitare nei partecipanti l’analisi complessa dei fenomeni.
Per progettare correttamente la prova vanno compiute delle scelte in merito
ai fattori già elencati nel par. 4 della presente Parte:
• che cosa viene valutato;
• come si riconosce l’apprendimento;
• a quali criteri attenersi.
Naturalmente nel contesto di una prova l’oggetto della valutazione sarà
riferito a 5 dei 6 livelli della tassonomia di Bloom (Figura 12, Parte 2): comprensione,
applicazione, analisi, sintesi e valutazione; è esclusa la conoscenza teorica.
Passo 1: Progettare la prova
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
72
Ad esempio:
• se si vuole che la prova verifichi le competenze di applicazione si
dovrà strutturare un testo che chieda al partecipante di compiere
un’azione; se invece si vuole verificare la competenza valutativa si
chiederà al partecipante di esprimere un giudizio.
Per riconoscere l’apprendimento il valutatore deve partecipare come
osservatore esterno alla prova. In questo modo esso potrà apprezzare le prestazioni
sotto il profilo comportamentale: verificando ad esempio se i partecipanti abbiano
sviluppato la capacità di focalizzarsi sull’obiettivo, la propensione a collaborare con
altri quando la prova sia da svolgersi per gruppi, l’abilità argomentativa rispetto alla
soluzione proposta.
Rispetto ai criteri vanno identificati i fattori comportamentali ed i contenuti
tecnici (se la prova li prevede) che costituiscono apprezzamento della prestazione. In
questo ambito entra in gioco il ruolo dell’esperto / docente cui è affidato lo
svolgimento della prova.
Nello schema che segue c’è un esempio di struttura della sessione di prova,
articolata in tre fasi, concordate con l’esperto:
Figura 29. Articolazione di una sessione di prova simulata, esempio
Fase Attività Durata (min.)
Introduzione Il docente presenta l’iniziativa e chiarisce gli oggetti e gli ambiti su cui si basano i casi che verranno sottoposti a risoluzione. Non assumere il tono dell’esame.
max. 30
Svolgimento
I partecipanti cercano le soluzioni ai casi presentati. Questa fase può essere svolta in gruppi di 3‐4 persone, per sveltire le attività e per favorire l’interazione tra colleghi
max. 60
Discussione soluzioni
Il docente presenta le soluzioni dei casi discutendo le diverse interpretazioni elaborate dai partecipanti, eventualmente facendone presentare le motivazioni (delle soluzioni ricercate) ai partecipanti stessi. La presentazione della soluzione deve essere l’ultimo passo e deve essere tale da fornire chiaramente le motivazioni sottese al tipo di soluzione proposta.
max. 120
Fonte: RGS
Il ruolo del valutatore
PARTE IV LA VALUTAZIONE DELLA FORMAZIONE
73
In linea generale, un accorgimento trasforma la realizzazione di una prova
valutativa in un’occasione di verifica delle competenze maturate nei partecipanti
rispetto ad una molteplicità di corsi realizzati nell’anno o negli anni precedenti. In
altre parole, la prova può essere strutturata in modo tale da proporla come
esercitazione applicata, smorzando il tono dell’esame e coinvolgendo il docente in un
confronto con i partecipanti nella ricerca della/e soluzione/i. Questo escamottage
aiuta peraltro a rendere queste occasioni di verifica più pragmatiche rispetto al
contesto di riferimento di soggetti in età adulta, calati in realtà lavorative spesso
complesse che richiedono approcci formativi dinamici e interattivi. Se, quindi, si
vuole trasformare la prova in una prova‐esercitazione allora l’evento può costituire
un’occasione di utilità immediata anche per i partecipanti, che notoriamente non
amano sottoporsi a test nei confronti dei quali nutrono comunque delle riserve.
In tal caso vanno seguiti alcuni accorgimenti:
• la comunicazione della prova ai partecipanti non dovrà avere il tono della
convocazione ma dell’invito e dovrà esplicitare che l’evento si presenta
come occasione di follow‐up;
• l’esperto che conduce la prova‐esercitazione dovrà essere il medesimo
che ha svolto docenza durante il corso cui si riferisce; se i docenti sono
più di uno perché il corso era articolato in moduli andranno coinvolti
tutti, creando in questo modo la possibilità di rafforzare
l’interdisciplinarietà della sessione;
• è bene che l’esperto abbia conoscenze quanto più possibile
circostanziate sul contesto e le prassi di lavoro dell’Amministrazione e/o
del Profilo professionale coinvolto;
• l’evento dovrà essere programmato in un ambiente che favorisca
l’interazione diretta e paritetica tra i partecipanti e tra questi e l’esperto;
• la risoluzione del compito va assegnata a gruppi di partecipanti, fino a 4
di 3 partecipanti ciascuno. E’ meglio predefinire i gruppi, evitando
qualunque fenomeno auto‐selettivo, deleterio per la valutazione (gruppi
I vantaggi della prova simulata
Alcuni accorgimenti
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
74
di donne e gruppi di uomini; gruppi tra amici e gruppi tra sconosciuti che
si aggregano tra “esclusi”, altro).
Per i motivi elencati in precedenza è quindi indispensabile che il formatore /
valutatore incontri l’esperto per informarlo sul corso ed esplicitare il percorso da
compiere; l’incontro serve anche per stabilire un rapporto diretto tra gli esperti, che
spesso intervengono a moduli diversificati di un medesimo corso senza mai entrare in
contatto tra loro e capire esattamente come sono stati affrontate tematiche
complementari a quelle trattate direttamente. L’integrazione tra gli attori è di
fondamentale importanza; va recuperata perlomeno nella fase terminale del corso,
in sede valutativa.
Passo 2
Nell’attribuzione dei punteggi occorre tenere presente che il focus della
valutazione non sono le persone ma le loro prestazioni lavorative, in relazione alle
modificazioni indotte dalla formazione erogata. Spesso si devono tenere presenti i
comportamenti, dato che alla soluzione di un caso (oggetto della prova) possono
corrispondere più soluzioni.
In alcune circostanze, se così non fosse si potrebbe ragionevolmente
affermare che l’obiettivo formativo di fatto perseguito è creare dei perfetti
“burocrati” o peggio dei tecnocrati.
Analogamente a quanto si fa per la strutturazione del test, si devono
identificare degli elementi tecnici e non tecnici legati allo svolgimento della prova,
che l’esperto e il valutatore dovranno applicare per esprimere una “misurazione”, un
apprezzamento. Naturalmente se la prova verte su contenuti tecnici avrà più peso la
capacità tecnica applicata dimostrata dai partecipanti; altrimenti varrà il contrario.
Non ci sono scale predefinite né liste di elementi da monitorare durante lo
svolgimento della prova. In ogni caso la lista dovrà essere formata da non più di 5
fattori di valutazione, cui attribuire dei pesi e quindi dei range di punteggi, minimi e
massimi.
Passo 2: Attribuire il punteggio
PARTE IV LA VALUTAZIONE DELLA FORMAZIONE
75
Dopo l’attribuzione dei punteggi grezzi si procederà ad effettuare un
posizionamento (confronto) dei punteggi dei diversi gruppi di partecipanti: a questo
scopo valgono le indicazioni fornite per i test al par. 4.1.1 passo 2.
Passo 3
L’interazione e la collaborazione con l’esperto, o gli esperti, del corso non
termina con la realizzazione della prova.
Subito dopo il termine della simulazione, infatti, è buona regola chiedere allo
stesso di esprimere le proprie impressioni circa le capacità dimostrate dai
partecipanti, le carenze riscontrate e gli eventuali fabbisogni formativi persistenti.
E’ in questa fase che il valutatore può riscontrare o meno le proprie
percezioni e formulare in chiave sintetica e propositiva le successive mosse da
mettere in atto (input all’analisi del fabbisogno; successive indagini sull’impatto del
corso sui processi reali di lavoro).
5. La valutazione d’impatto
Misurare le conseguenze della formazione sull’Amministrazione, stabilire
quali e quanti sono i suoi effetti sul funzionamento della macchina amministrativa e
sul personale che in essa opera. Si può così riassumere, in breve, lo scopo della
valutazione d’impatto della formazione.
Al centro del suo interessa si collocano le ricadute piuttosto che i risultati
della formazione. Nelle culture anglosassoni questa distinzione è molto più evidente
e viene rimarcata dalla netta distinzione che c’è tra output e outcome e che sottende
un diverso approccio all’osservazione dei fenomeni, più o meno indipendenti dal
contesto in cui essi hanno luogo.
La valutazione d’impatto si concentra sugli outcome della formazione, ovvero
sulle “reazioni” che la partecipazione del personale alla formazione produce sul
proprio ambiente lavorativo e quindi sul funzionamento dell’Amministrazione. Da qui
l’indicazione metodologica di collocare temporalmente la valutazione d’impatto
distante dall’erogazione della formazione (mediamente tra i 3 e 6 mesi).
Passo 3: Condividere i risultati con gli esperti
Gli obiettivi della valutazione d’impatto
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
76
Scendendo più in profondità si osserva la distinzione tra impatto individuale
e impatto organizzativo, che sottende una polarizzazione della valutazione
sull’individuo o sull’organizzazione.
Per ciascuno dei due livelli, come descritto nei seguenti paragrafi, esistono
specifici percorsi e strumenti di misurazione che possono essere impiegati in maniera
anche indipendente l’uno dall’altro. La valutazione d’impatto organizzativo si serve di
un’indagine conoscitiva e quindi può raggiungere elevata rappresentatività; per la
valutazione dell’impatto individuale, invece, si fa ricorso all’intervista e per tanto
coinvolge un numero più limitato di soggetti.
Ciò nonostante, considerando la complementarità dei due livelli, l’attivazione
di un processo di valutazione d’impatto integrato non può che migliorare la qualità
dei risultati. In questo caso, così come sperimentato dalla Ragioneria Generale dello
Stato, è opportuno far precedere la valutazione d’impatto organizzativo a quella
individuale.
Infatti, l’indagine per questionario, condotta sui grandi numeri, determina
una prima selezione sull’universo di riferimento, che può quindi essere più
agevolmente sottoposta alle interviste di valutazione d’impatto individuale.
Per tanto, se si dispone delle risorse economiche e di tempo sufficiente, è
fortemente consigliato programmare il processo in maniera tale che la valutazione
d’impatto individuale venga realizzata dopo la valutazione dell’impatto organizzativo.
5.1 L’impatto sull’organizzazione: l’indagine conoscitiva
La domanda a cui si vuole dare una risposta è “La formazione è stata utile e
ha prodotto un valore per l’organizzazione?”. La risposta è tutt’altro che semplice o
scontata24.
24 Costa G., Giannecchini M., op. cit.
L’impatto individuale e organizzativo
PARTE IV LA VALUTAZIONE DELLA FORMAZIONE
77
Le condizioni abilitanti la valutazione di impatto organizzativo sono
rappresentate dall’esercizio del monitoraggio strutturato delle attività formative che
prevede il ricorso a rilevazioni quantitative delle attività svolte e dalla presenza di
strumenti manageriali di controllo dei costi e delle prestazioni dell’Amministrazione
(es. indicatori del CdG, cruscotti direzionali, score card, altro).
Queste dotazioni strumentali consentono l’ideazione di indicatori sintetici,
più o meno semplici, in grado di fornire una misura del cambiamento di produttività
nell’Amministrazione: le cosiddette evidenze oggettive di performance. Un tipico
indicatore di sintesi è il ROI (return on investment) della formazione. Esistono
differenti formule che esprimono questo indicatore, la gran parte mettono in
rapporto i costi, diretti e indiretti25, della formazione con la quantificazione dei suoi
benefici finali.
Tra i benefici più facilmente misurabili della formazione ci sono la riduzione
dei tempi di espletamento delle procedure, l’aumento dei livelli di produttività,
l’aumento del grado di soddisfazione dei clienti26.
In alternativa o anche a complemento della misurazione delle evidenze
oggettive di performance, si può fare ricorso all’indagine conoscitiva, rivolta al
personale formato e ai relativi responsabili di unità.
Il vantaggio di effettuare la valutazione d’impatto organizzativo attraverso
l’indagine conoscitiva è nel coinvolgimento diretto delle persone. Ciò permette di
cogliere delle importanti sfumature che il solo ricorso alla misurazione degli indicatori
di produttività non consente.
Il giudizio dei beneficiari sull’attinenza del corso frequentato rispetto alle
attività lavorative svolte, al clima lavorativo dell’unità di appartenenza a seguito della
formazione, sono solo alcuni esempi della misurazione dell’efficacia della formazione.
25 Per approfondimenti sul concetto di costo indiretto si veda la Parte III. 26 Phillips J.J. (1997), Return on investment in training and performance programs, Gulf Publishing Company, Houston‐U.S.A.
Evidenze oggettive di performance
Indagine conoscitiva
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
78
La molteplicità delle informazioni rilevate, associate al coinvolgimento dei
responsabili di unità presso le quali opera il personale formato riducono ai livelli
minimi il margine di soggettività dell’indagine. Naturalmente vanno rispettate le
tipiche regole che caratterizzano la progettazione e la somministrazione dei formulari
di indagine, a meno di non incorrere in una rilevazione distorta o peggio ancora
inconsapevolmente pilotata.
5.1.1 I passi da compiere
I passi che si compiono per valutare l’impatto della formazione
sull’organizzazione sono tre:
1) Progettare il formulario d’indagine, con riferimento al contenuto,
all’universo di riferimento e alle modalità di rilevazione del dato;
2) Pianificazione operativa dell’indagine, utile soprattutto per la
valutazione in parallelo di un set di corsi, nella quale si richieda il
coordinamento di tempi, risorse e attività riferite ad indagini condotte
su più corsi;
3) Elaborare i dati e selezionare i soggetti da sottoporre ad intervista di
approfondimento mediante la tecnica dell’analisi dell’episodio
significativo (impatto sugli individui).
Figura 30. I passi dell’indagine conoscitiva, impatto sull’organizzazione
1Progettare i lformulario d'indagine
2Elaborare Piano
operativo
3Elaborare i risultati e
selezionare i soggetti
Fonte: RGS
I passi da compiere
PARTE IV LA VALUTAZIONE DELLA FORMAZIONE
79
Passo 1
Progettare gli strumenti d’indagine significa strutturare il formulario delle
sezioni e degli item dell’indagine, identificare coloro cui sottoporre il formulario e
stabilire il modo con il quale coinvolgerli.
Il formulario può essere articolato in due livelli, uno rivolto ai partecipanti del
corso e l’altro ai Dirigenti di riferimento dei partecipanti. Questo duplice livello di
analisi consente di indagare sul livello operativo e sul livello dirigente quali sono gli
impatti generati dalla formazione, dal corso specifico oggetto dell’indagine.
Naturalmente nel caso si scelga questa via è fortemente consigliato
comunicare preventivamente l’avvio dell’indagine ai Responsabili d’Ufficio. Questa
duplicità di livello non è possibile quando i partecipanti al corso siano essi stessi
Dirigenti.
In questo caso gli strumenti di valutazione da applicare sarebbero altri, meno
strutturati e di tipo più qualitativo che quantitativo.
In linea generale, un tipico formulario d’indagine è strutturato come segue:
Figura 31. Struttura del Formulario d’indagine, esempio sul “partecipante”
Sezione Oggetto
Anagrafica partecipante
→ Cognome e nome
→ Ufficio d’appartenenza
→ Età anagrafica e anzianità di servizio
→ Titolo di studio
→ Qualifica e Profilo professionale
→ Recapiti d’Ufficio
Coerenza tra il contesto organizzativo e la formazione erogata
→ Coerenza tra attività lavorativa e corso
→ Rilevanza del corso rispetto alle attività svolte
→ Rispondenza tra esigenze formative e formazione ricevuta dal corso
Passo 1:Progettare il formulario d'indagine
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
80
Sezione Oggetto
Impatto sui partecipanti
→ Grado di applicazione al lavoro svolto singolarmente
→ Rilevanza dei cambiamenti prodotti sul lavoro svolto singolarmente
→ Elementi motivanti del corso sulle prestazioni individuali
→ Utilità del corso rispetto alle aspettative iniziali
→ Utilità rispetto alle prestazioni individuali
Impatto sui processi di lavoro
→ Incidenza sull’efficentamento dei processi
→ Cambiamenti prodotti dal corso sui processi collettivi
→ Utilità rispetto al raggiungimento degli obiettivi collettivi
→ Incidenza sulla motivazione al lavoro di gruppo e/o per obiettivi
→ Impatto sulle relazioni di lavoro tra Uffici
Altro → Criticità e successi del corso frequentato
→ Ulteriori fabbisogni formativi
Fonte: RGS
Le modalità di rilevazione del dato, di somministrazione del formulario
d’indagine, devono essere il meno pervasivo possibile. Dato che i corsi da valutare
sono presumibilmente più di 2‐3 occorre fare attenzione a non ingenerare effetti di
“molestia statistica”: non strutturare formulari eccessivamente onerosi e non inviare
più di due formulari per soggetto.
Per rendere la compilazione del formulario semplice (e per poterne leggere i
dati in modo oggettivo) è opportuno utilizzare un linguaggio semplice e diretto,
preciso, che non lascia spazio a dubbi interpretativi sull’oggetto dei vari quesiti.
Vanno anche proposti dei set di risposta chiusa, sufficientemente aperti e che
comunque prevedano come utlima opzione la possibilità di indicare “altro”.
La somministrazione, infine, dovrebbe avvenire in tempi rapidi e
possibilmente con l’ausilio di strumenti informatici di facile accesso: posta elettronica
o Intranet.
PARTE IV LA VALUTAZIONE DELLA FORMAZIONE
81
Passo 2
L’indagine andrà condotta secondo un Piano operativo sintetico e chiaro, che
identifichi esattamente chi fa cosa e con quali tempi per concorrere alla valutazione.
E’ consigliabile procedere ad un’unica pianificazione di massima per l’intero
set dei corsi da valutare, facendo attenzione al coordinamento delle risorse da
coinvolgere e al presidio dei tempi.
Inoltre:
• Attivare un sistema di controllo della qualità del dato, per verificare di
volta in volta quali informazioni stanno ritornando dalle indagini in atto.
Questo significa non trovarsi al termine del processo di rilevazione con
set disomogenei, incompleti e poco chiari di informazioni da elaborare. E’
buona regola prevedere che ciascun Referente di corso controlli i dati
trasmessi da ciascun rispondente;
• Dare comunicazione interna delle indagini, per legittimare la valutazione.
Si tratta di prevedere la redazione di lettere di comunicazione interna che
anticipano i contatti personali e telefonici; sono consigliate anche le
riunioni interne. Tutto è finalizzato a facilitare l’opera dei valutatori,
siano essi dell’Ufficio formazione oppure Referenti interni per la
formazione.
Passo 3
L’elaborazione dei risultati deve essere effettuata dopo un controllo ulteriore
e complessivo della qualità del dato e del numero dei rispondenti.
Le forme di rappresentazione possono essere le più svariate. E’ importante,
in questa fase, schematizzare i risultati aggregati e focalizzare quelli riferiti agli
aspetti critici e di successo che emergono dall’indagine.
Con questo accorgimento si possono identificare i soggetti che hanno
segnalato impatti molto positivi o molto negativi. In questa selezione, come nella
lettura dei risultati dell’indagine, bisogna fare attenzione al grado di coerenza tra le
attività lavorative svolte dai soggetti che hanno risposto e il corso oggetto d’indagine.
Passo 2:Pianificazione operativa
Passo 3:Elaborare i risultati
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
82
In altre parole, è meglio conteggiare a parte le risposte di coloro che risultano
svolgere solo marginalmente le attività lavorative connesse al corso frequentato.
Questa informazione sarà utile per qualificare l’efficacia della selezione del personale
da avviare a formazione.
I soggetti che hanno fornito risposte polarizzate ai limiti inferiori e superiori
della distribuzione potranno essere intervistati in profondità nella successiva fase di
analisi dell’episodio significativo.
5.2 L’impatto sugli individui: l’episodio significativo
La dimensione prevalentemente indagata nella valutazione d’impatto
individuale è quella soggettiva: comportamenti lavorativi e aspettative dei destinatari
della formazione.
Tra gli strumenti impiegati per effettuare questo tipo di valutazione
l’intervista ricopre uno spazio importante. Le tecniche d’indagine e valutazione che
ricorrono all’utilizzo di questo strumento sono svariate. Tra queste c’è la tecnica
dell’episodio critico, altrimenti detto “episodio significativo”.
Lo scopo è far emergere, attraverso il racconto di un’esperienza vissuta in
ambito lavorativo, gli effetti dell’esperienza formativa.
Invitare l’interlocutore a riflettere, in maniera critica, sulla propria attività
lavorativa implica l’esplicitazione del suo paradigma di riferimento. L’intervista mira a
fare descrivere all’intervistato i suoi comportamenti lavorativi, facendo emergere i
valori profondi che ne animano l’azione27.
L’attenzione è incentrata su come cambiano i comportamenti lavorativi in
seguito all’azione formativa. La rilevazione dei cambiamenti avviene sulla base
dell’auto‐percezione dei partecipanti all’attività formativa, o anche della percezione
dei loro capi e dei colleghi.
27 AA.VV. (1986), Le imprese come culture: nuove prospettive di analisi organizzativa, a cura di P. Gagliardi, ISEDI, Torino.
La tecnica dell’episodio significativo
PARTE IV LA VALUTAZIONE DELLA FORMAZIONE
83
La valutazione si realizza attraverso il ricorso ad un episodio significativo, la
cui natura può essere positiva o negativa. L’aspetto centrale è dato dal fatto che i
soggetti coinvolti possano filtrare le loro percezioni, ancorandole a dei fatti concreti,
realmente accaduti.
Assumono grande rilevanza la capacità e la competenza dell’intervistatore
nel favorire la descrizione dei fatti e nel cogliere gli elementi di verità in una visione
distaccata rispetto a quella dell’intervistato.
Questa tecnica d’indagine è essenziale soprattutto quando il nesso tra
formazione erogata ed evidenze oggettive di performance è debole, soprattutto per
l’assenza di dati sulle prestazioni individuali e sull’andamento dei processi di lavoro
(monitoraggio dei processi di lavoro). L’ambito in cui si applica più frequentemente
questa tecnica è quello della formazione manageriale (interventi formativi di sviluppo
manageriale).
Quando la valutazione della formazione si rivolge ai ruoli specialistici, per
esempio agli interventi formativi di sviluppo professionale, l’attenzione
dell’intervistatore si rivolge all’esercizio delle competenze specialistiche piuttosto che
a quelle di tipo relazionale.
Infine, l’applicazione di questa tecnica presuppone la preparazione del
personale. Non c’è indicazione tecnica che possa sopperire all’assenza di competenze
specifiche. La conduzione dell’intervista deve peraltro essere interna, ad opera di
personale dell’Amministrazione, che conosce il contesto di riferimento.
5.2.1 I passi da compiere
Il percorso di analisi dell’episodio significativo si realizza in tre passi, durante
ciascuno dei quali si applicano specifici strumenti:
1) Preparare l’intervista che implica la definizione di una Check list dei
principali argomenti guida dell’intervista e la scelta della modalità di
gestione dell’intervento;
Quando si applica
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
84
2) Condurre l’intervista che può essere realizzata con il supporto di
un’assistente che verbalizza le risposte dell’intervistato; l’intervista viene
condotta dal valutatore;
3) Formalizzare i risultati dell’intervista, ovvero tradurre le informazioni
rilevate in fase di intervista in giudizi per la valutazione d’impatto del
corso.
Figura 32. I passi dell’analisi dell’episodio significativo, impatto sugli individui
1Preparare l 'intervistaCheck‐list
2Condurre l 'intervista
3Formalizzare i
risultatiScheda Report
Fonte: RGS
Passo 1
Nella preparazione dell’intervista è opportuno formulare una Check list. Essa
va strutturata in maniera tale da stimolare l’intervistato a far emergere uno o più
episodi significativi legati al suo vissuto lavorativo che siano in qualche maniera
riconducibili, in una relazione di causa‐effetto, al corso di formazione oggetto di
valutazione.
La preparazione della check list si avvale delle informazioni contenute nella
Scheda informativa corso, redatta inizialmente (par. 3), tenendo conto anche dei
risultati emersi dall’indagine conoscitiva (impatto organizzativo), nel caso in cui essa
abbia preceduto la valutazione dell’impatto sugli individui.
I passi da compiere
Passo 1: Preparare l’intervista
PARTE IV LA VALUTAZIONE DELLA FORMAZIONE
85
Più in generale questo strumento svolge una funzione di vademecum che
accompagna l’intervistatore per l’intera durata dell’intervista, evitando che il
carattere discorsivo della prova porti fuori traccia il colloquio, rendendo difficile la
gestione di soggetti particolarmente loquaci.
Complessivamente è buona regola non superare le dieci domande, per
ognuna delle quali è necessario prevedere delle domande alternative o di
approfondimento.
Passo 2
La conduzione dell’intervista, che dovrà concludersi nell’arco di circa un’ora,
può essere suddivisa in tre fasi:
Figura 33. Articolazione dell’intervista, esempio
Fase Contenuto Durata (min)
Introduzione
Di carattere introduttivo, è finalizzato a chiarire le finalità e gli obietti dell’intervista. L’intervistatore provvede quindi a chiarire il suo ruolo ed eventualmente quello dell’assistente all’intervista quando la modalità di gestione dell’intervista avviene senza supporto di registrazione audio.
circa 10
Approfondimento
E’ finalizzato alla creazione di un rapporto di empatia con l’intervistato. A tale scopo l’intervistato è sollecitato a raccontare la propria attività professionale presente ed eventualmente quella passata;
circa 25
Sviluppo
E’ quello dell’intervista vera e propria che generalmente segue uno schema ragionato composto da diversi punti, finalizzato a far emergere uno o più episodi significativi in grado di restituire un quadro completo per giungere ad una valutazione finale d’impatto.
circa 25
Fonte: RGS
Dichiarate le finalità e l’oggetto dell’intervista, si procede all’identificazione
del “profilo professionale” e del “ruolo organizzativo” dei soggetti sottoposti
all’intervista. Si cerca di definire un primo tratto delle competenze e dei relativi
comportamenti dell’intervistato.
Alcune indicazioni operative
Passo 2: Condurre l’intervista
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
86
Le domande introduttive dell’intervistatore devono condurre l’intervistato a
far emergere il suo paradigma di riferimento, ovvero l’insieme dei valori (elementi
latenti) alla base dei suoi comportamenti (elementi espliciti).
Le domande utili a questo scopo conducono l’intervistato a riflettere sugli
aspetti di discontinuità che l’esperienza formativa vissuta ha avuto con quelle
passate, le differenze percepite durante la partecipazione al corso.
Alcuni esempi: • Quanto questa esperienza formativa si è differenziata dalle altre a cui ha
preso finora parte? • Cosa l’ha colpita in particolare? Mi può riportare un esempio? • Qual è stata la differenza fondamentale?
Nel caso non emergesse alcun elemento e l’atteggiamento dell’intervistato
fosse di chiusura, per riaprire il discorso è possibile chiedere in che cosa l’esperienza
vissuta sia stata coerente con le aspettative del soggetto intervistato.
Alcuni esempi: • I contenuti del corso hanno soddisfatto le sue aspettative? • Se si, può illustrare gli elementi che l’hanno maggiormente soddisfatta? • Se no, cosa mancava e come avrebbe recuperato questi elementi disattesi?
Si procede quindi a ricondurre l’intervistato nel proprio ambito lavorativo,
nell’invito a descrivere le attività che quotidianamente svolge nel ricoprire il proprio
ruolo.
Alcuni esempi: • Ritiene di aver utilizzato nel suo lavoro i contenuti del corso? • Com’è cambiata la sua attività lavorativa dopo aver frequentato il corso? • Quali gli aspetti/elementi che più hanno inciso sulla sua attività lavorativa?
Si provvede quindi all’introduzione dell’episodio lavorativo (significativo)
chiedendo all’intervistato di descrivere un evento nel quale gli elementi distintivi
indicati hanno fatto o potrebbero fare la differenza.
Alcuni esempi: • Ricorda un episodio lavorativo in cui ha collegato l’efficacia del suo
comportamento con la partecipazione al corso? • Ricorda qualche episodio in cui l’attività formativa è stata determinante
nell’affrontare un problema?
PARTE IV LA VALUTAZIONE DELLA FORMAZIONE
87
Eventualmente, se l’intervistato non è molto loquace lo si sollecita ad un
approfondimento dell’episodio. Infine si chiede all’interlocutore di formulare una
connessione esplicita (in senso positivo o negativo) tra episodio raccontato ed
esperienza formativa, approfondendo gli spiragli emersi dalle sue risposte.
Alcuni esempi: • Come collega l’episodio che mi ha raccontato con l’esperienza formativa
vissuta? • Cosa l’ha sorpresa in questa circostanza? (episodio significativo) • In quali punti del suo racconto ritiene ci sia un collegamento/riferimento al
corso di formazione cui ha preso parte?
In caso affermativo si chiede di ripercorrere un episodio antecedente l’azione
formativa in cui è stato meno efficace. Si chiede di fornire una descrizione puntuale
dell’episodio e di evidenziare i punti di connessione con il corso di formazione.
Alcuni esempi: • Prima del corso avrebbe operato in questo modo? (riferendoci all’episodio
significativo precedentemente raccontato) • Ricorda un evento precedente all’esperienza formativa del corso nel quale
ha trovato più difficoltà? • Può fare un confronto con un’esperienza lavorativa precedente la
formazione?
Passo 3.
La Scheda report aiuta a formalizzare i risultati, restituendo in uno schema
strutturato le informazioni rilevate durante l’intervista. Questo strumento restituisce
una forma pre‐definita al contenuto dell’intervista. Il principale vantaggio è dato dalla
possibilità di rendere confrontabili tra di loro i risultati di più interviste e quindi di
giungere ad una valutazione complessiva del corso.
Il valore dello strumento è ancora meglio percepibile se si considera che,
sebbene la sua compilazione sia affidata all’intervistatore, la formulazione del
giudizio di valutazione finale (così come della compilazione della Scheda informativa
sul corso) è affidato al personale dell’Ufficio formazione che deve per questo poter
accedere ad una rappresentazione esaustiva, chiara e sintetica delle informazioni
emerse durante le interviste.
Passo 3: Formalizzare i risultati
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
88
La Scheda report si compone di più sezioni:
Figura 34. Struttura della Scheda report, esempio
Sezione Oggetto
Anagrafica
→ nominativi dell’intervistato, dell’intervistatore e dell’eventuale assistente all’intervista
→ data e luogo dell’intervista → durata dell’intervista
Profilo dell’intervistato → ruolo organizzativo e il profilo professionale
dell’intervistato
Rappresentazione sintetica dell’intervista
→ interi stralci dell’intervista così come sono stati formulati dall’intervistato; è cura dell’intervistatore selezionare quelli maggiormente significativi
→ episodi significativi che l’intervistato ha riportato come esempi del cambiamento che la partecipazione al corso di formazione ha determinato nell’interpretazione del proprio ruolo e attività lavorativa
Descrizione dei cambiamenti auto‐percepiti
→ cambiamenti che l’intervistato ritiene essere direttamente collegati alla partecipazione al corso. Le prime dimensioni su cui ci si concentra riguardano la sfera strettamente personale e professionale
Cambiamenti di produttività dell’intervistato
→ le dimensioni su cui verificare la presenza o meno del cambiamento sono le performance lavorative
Riflessioni e indicazioni → altre informazioni per superare le eventuali criticità
emerse dal corso
Fonte: RGS
Il contenuto delle interviste solitamente rappresenta un’importante fonte
informativa (esplicativa) della valutazione d’impatto organizzativo. I risultati di
entrambi i livelli di valutazione vanno messi a confronto e letti in modo organico e
causale.
6. Rappresentare e diffondere i risultati
La rappresentazione e la restituzione delle informazioni tratte dalla
valutazione della formazione costituisce la premessa per il miglioramento dei
successivi cicli gestionali della formazione.
Non esiste una modalità unica per rappresentare gli esiti della valutazione,
tanto meno per diffonderli. A questo scopo non vanno però dimenticate alcune Il Rapporto di valutazione
Scheda report
PARTE IV LA VALUTAZIONE DELLA FORMAZIONE
89
regole, da seguire per redigere il Rapporto di valutazione e farne uno strumento di
comunicazione, oltre che di informativa gestionale:
• Elaborare le informazioni facendo ricorso a statistiche descrittive
semplici, utili per cogliere i principali risultati emersi. Un modo, ad
esempio, di rappresentare i risultati dell’indagine conoscitiva, che aiuta a
capire e quantificare l’impatto organizzativo di ciascun corso è il
seguente:
Figure 35. Rappresentazione tabellare dei risultati della valutazione d’impatto organizzativo, esempio
Figure 36. Rappresentazione grafica dei risultati della valutazione d’impatto organizzativo, esempio
0,0 5,0 10,0 15,0 20,0 25,0 30,0 35,0 40,0
Fonti: RGS
I medesimi risultati possono essere rappresentati per gruppi professionali,
obiettivi strategici e operativi di riferimento, altro.
Non ci si deve limitare a rappresentare in forma tabellare e grafica i dati,
bensì interpretare e commentare le informazioni facendo ausilio sulle informazioni di
contesto della formazione erogata e delle risultanze “qualitative” indagate.
Esemplificare quanto più possibile la tesi sostenuta, citando esempi tratti da
indagini e interviste condotte sul campo;
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
90
• Redigere il Rapporto di valutazione della formazione, fornendo al vertice
dell’Ufficio formazione le dovute informazioni affinché esso possa capire
(e fare capire ai colleghi) in poche pagine quanta e quale formazione è
stata erogata (nell’anno o nel semestre) e quali impatti sono stati
generati.
Il Rapporto non deve mai superare le dieci pagine, deve essere fruibile e va
corredato in apertura da una o due pagine di sintesi dei risultati complessivi.
Un esempio di struttura del Rapporto di valutazione è il seguente:
Figura 37. Struttura del Rapporto di valutazione, esempio
Sezione Oggetto
1. Summary Riassume e rappresenta il contenuto dell’intero Rapporto
2. Principali risultati
2.1 Sulle conoscenze
2.2 Sulle prestazioni di lavoro individuali e collettive
Riporta la rappresentazione grafica e l’interpretazione dei risultati della valutazione
3. Le soluzioni per migliorare Propone delle soluzioni di superamento delle criticità in termini di politiche formative
4. Il percorso di valutazione Esplicita il percorso metodologico della valutazione
Fonte: RGS
• Diffondere i risultati: privilegiare, per quanto possibile, la riunione
allargata ai vertici, in occasione della quale trasmettere in modo sintetico
le principali informazioni emerse dalla valutazione della formazione
erogata nell’anno precedente e se possibile sulle linee direttrici
programmate per l’anno seguente. Nel corso delle azioni comunicative
per la presentazione dei risultati occorre sempre mantenere un
atteggiamento (pro)positivo nei confronti delle eventuali “osservazioni”
connesse alla formazione erogata e che possono emergere in sede
collegiale.
PARTE IV LA VALUTAZIONE DELLA FORMAZIONE
91
7. Tempi e attività della valutazione: S.A.D.
Durata minima del processo fase I° 50gg.; Durata massima del processo fase I° 80gg.Stima riferita ad una struttura con dotazione minima di 3 unità di personale
Elenco dei corsi da valutare
Preparazione strumenti di valutazione
1 I docenti contribuiscono alla predisposizione deglistrumenti, fornendo all'Ufficio formazione:‐ le domande dei test associate a ciascun livello diapprendimento che viene valutato ed il relativo sistemadei punteggi;oppure‐ il testo della prova simulata e le relative schede da dareai partecipanti per la conduzione della prova.
Test di apprendimento Prove simulate
3 La valutazione di apprendimento, sia nel caso del test chedella simulazione, viene svolta in presenza. Questoaspetto implica l'attivazione di procedure legate allapredisposizione e alla gestione logistica delle attività. Lagestione in presenza, in particolar modo per lesimulazioni, implica il contenimento del numero disoggetti interessati, privilegiando l'aspetto qualitativopiuttosto che quantitativo della valutazione.
4
Convocazione partecipanti
Rapporto di valutazione degli apprendimenti
Vengono elaborate le risposte ai test e sistematizzate leinformazioni tratte dalle prove simulate. Con il concorsodei Docenti si interpretano i risultati e si sintetizzano inindicazioni e suggerimenti per future edizioni e/o analisigap competenze che persiste.
da 15 a 25
gg lavorativ
ida
25 a 35
gg lavorativ
ida
10 a 20
gg lavorativ
i
Gestione test
6Elaborazione dei risultati
7 Restituzione risultati
L'Ufficio Formazione fornisce ai Docenti la Scheda corsoe delle Linee guida per la preparazione del testo dellaprova: informano sulle caratteristiche del corso e delleverifiche che intendono effettuare.
Non bisogna dimenticare di fornire ai partecipanti (per itest) il risultato della prova e le soluzioni. In sede disimulazione, invece, la restituzione è la fase terminaledella sessione.Tutte le informazioni elaborate vengono organizzate inun Rapporto.
5 Gestione prove simulate
Attività e prodotti Durata Descrizione delle attività
Systematic Activity Description della valutazione Fase I° Apprendimenti
GUIDA PER LA PROGRAMMAZIONE STRATEGICA E LA VALUTAZIONE DELLA FORMAZIONE
92
Gestione rilevazioni
Elaborazione e valutazione delle prove
Preparazione strumenti di valutazione
Predisposizione strumenti di valutazione
Selezione dei soggetti da intervistare
1
Elenco dei corsi da valutare
La valutazione viene gestita per e‐mail e/o sull'intranetdell'Amministrazione. I tempi della rilevazione sono pre‐definiti e vanno fatti rispettare. Su ciascun formulariocompilato che arriva si effettua il controllo qualità dato.
Formulari d'indagine sull'impatto dei corsi
3
Le risposte dei questionari vengono elaborate in unapposito dataset . Si procede alla definizione deipunteggi, vengono identificati gli scostamenti tra i valorimedi dei punteggi assoluti e i valori medi dei punteggiottenuti dai partecipanti (posizionamento).
Risultati della valutazione d'impatto
organizzativo
5
L'Ufficio Formazione predispone le Tracce d'intervistasotto forma di check‐list, per ciascun corso; convoca lepersone e fissa un calendario d'incontro con duratapredefinita. Se utile si ricorre alla registrazione, conpreventiva autorizzazione degli interlocutori.
da 5 a 10 gg lavorativ
ida
10 a 15
gg lavorativ
ida
10 a 15
gg lavorativ
i
4
6
Check list delle domande d'intervista
L'Ufficio formazione predispone i formulari d'indagine,apportando eventuali modifiche in relazione a ciascuncorso da indagare: se il corso è stato frequentato dadirigenti la valutazione non coinvolge altri livelli; se sitratta di personale non dirigente si predispone unformulario per il livello dei partecipanti (non dirigenti) euno per i relativi dirigenti di riferimento.
Per ogni corso valutato l'Ufficio Formazione hapredisposto la Scheda informativa all'inizio del processodi valutazione (apprendimenti). Per i corsi che vengonosottoposti anche a valutazione di impatto tenerepresente la medesima Scheda.
La successiva fase prevede la valutazione dell'impattosugli individui. Si procede a selezionare gli individui daintervistare: coloro che hanno segnalato valori moltobassi o molto alti di impatto organizzativo (posizioniestreme della distribuzione dei punteggi).
Attività e prodotti Durata Descrizione delle attività
Systematic Activity Description della valutazione Fase II° Impatto
PARTE IV LA VALUTAZIONE DELLA FORMAZIONE
93
Durata minima del processo fase II° 40gg.; Durata massima del processo fase II° 60gg.Stima riferita ad una struttura con dotazione minima di 3 unità di personale
Il processo si chiude con il consolidamento dei risultati dellavalutazione d'impatto (organizzativo e individuale) in ununico Rapporto.
Nella realizzazione delle interviste l'intervistatore, con latecnica dell'analisi dell'episodio significativo, verifica glieffetti della partecipazione al corso di formazione sugliindividui.
Subito dopo l'intervista si procede alla redazione di unaScheda di sintesi dei risultati, che evidenza per punti ledichiarazioni rilevate. Tutti i risultati delle intervistevengono confrontati con i risultati della valutazioned'impatto organizzativo.
Gestione interviste
Elaborazione dei risultati
Redazione del Report
Rapporto di valutazione dell'impatto
da 15 a 20
gg lavorativ
i
7
8
9
Attività e prodotti Durata Descrizione delle attività
SystematicActivity Description della valutazione Fase II° Impatto