1 Firenze, 22 Marzo 2012 Il sistema di valutazione della performance degli Istituti Zooprofilattici Sperimentali Milena Vainieri e Silvia Zett Istituto di Management Laboratorio Management e Sanità 2 Firenze, 22 Marzo 2012 Le Direzioni degli Istituti: Remo Rosati, Antonio Cirillo, Silvano Severini, Telemaco Cenci, Vinicio Zarletti, Fernando Arnolfo, Bruno Osella, Maria Caramelli, Stefano Cinotti, Giorgio Varisco, Giovanni Ziviani, Igino Andrighetto, Stefano Marangon, Francesco Favretti, Antonino Salina, Cataldo Manganaro, Calogero Di Bella, Maria Assunta Serra, Antonio Usai, Paola Nicolussi, Giovanni Deriu, Felice Scarano, Doriano Chiocco, Vincenzo Quaranta, Antonio Limone, Achille Guarino, Sergio Fenizia Il Ministero della Salute: Romano Marabelli, Marco Ianniello, Francesca Calvetti e Pierfrancesco Catarci I referenti e i collaboratori che hanno determinato la riuscita del progetto: Antonella Bozzano, Silvia Pezzotti, Romano Zilli, Daniela Di Marcello, Isabella Nunziati, Bruno Neri, Fabrizio Corzani, Marcella Guarducci, Marinella Capuccella, Alessandro Mingolla, Maria Paola Torlone, Renata Bianchi, Andrea Garghella, Anna Duranti, Sonia Fiorucci, Juna Benucci, Andrea Valiani, Maria Luisa Busso, Massimo Vicario, Maurizio Nardone, Giancarlo Pistone, Cesarina Abete, Lorena Berti, Federico Agostini, Cristina Sacchi, Lauretta Cocchi, Luisa Garau, Maria Marino, Fabrizio Beino, Fabienne Milan, Stefania Chinello, Paolo Dalvit, Davide Violato, Roberto Angeletti, Gaddo Vicenzoni, Grazia Manca, Sara Casarotto, Gloria Piovan, Katia Capello, Laura Gagliazzo, Andrea Cereser, Francesca Lega, Gabriella Genta, Mirella Pengo, Giuseppina Chiarenza, Vincenzo Di Marco Lo Presti, Santo Naselli, Filippo Serio, Paolo Tronca, Gabriele Ciaccio, Nicolò Buttafuoco, Anna Marchesi, Grazia Pittau, Chicca Masala, Aldo Marongiu, Sandra Poddighe, Cecilia Testa, Pietro Ruiu, Daniela Olia, Bruno Nieddu, Simonetta Cherchi, Roberto Manai, Alessandra Virdis, Barbara Consenti, Maurizio Trolli, Concetta Nardella, Alessandra Disarno, Monica Nazzaro, Loredana Baldi, Vincenzo Marinacci, Teresa Tagariello, Marcello Miele, Luciano Burraccione, Giuseppe Russo, Angela Acone, Rossella Tranzillo, Ivana Elefante, Pierpaolo Palermo. La Scuola Superiore Sant'Anna di Pisa: Armando Todaro e Domenico Cerasuolo …il gruppo di lavoro…
Transcript
1
Firenze, 22 Marzo 2012
Il sistema di valutazione della performance degli Istituti Zooprofilattici Sperimentali
Milena Vainieri e Silvia Zett
Istituto di Management
Laboratorio Management e Sanità
2
Firenze, 22 Marzo 2012
Le Direzioni degli Istituti:
Remo Rosati, Antonio Cirillo, Silvano Severini, Telemaco Cenci, Vinicio Zarletti, Fernando Arnolfo, Bruno Osella, Maria Caramelli, Stefano Cinotti, Giorgio Varisco, Giovanni Ziviani, Igino Andrighetto, Stefano Marangon, Francesco Favretti, Antonino Salina, Cataldo Manganaro, Calogero Di Bella, Maria Assunta Serra, Antonio Usai, Paola Nicolussi, Giovanni Deriu, Felice Scarano, Doriano Chiocco, Vincenzo Quaranta, Antonio Limone, Achille Guarino, Sergio Fenizia
Il Ministero della Salute:
Romano Marabelli, Marco Ianniello, Francesca Calvetti e Pierfrancesco Catarci
I referenti e i collaboratori che hanno determinato la riuscita del progetto:
Antonella Bozzano, Silvia Pezzotti, Romano Zilli, Daniela Di Marcello, Isabella Nunziati, Bruno Neri, Fabrizio Corzani, Marcella Guarducci, Marinella Capuccella, Alessandro Mingolla, Maria Paola Torlone, Renata Bianchi, Andrea Garghella, Anna Duranti, Sonia Fiorucci, Juna Benucci, Andrea Valiani, Maria Luisa Busso, Massimo Vicario, Maurizio Nardone, Giancarlo Pistone, Cesarina Abete, Lorena Berti, Federico Agostini, Cristina Sacchi, Lauretta Cocchi, Luisa Garau, Maria Marino, Fabrizio Beino, Fabienne Milan, Stefania Chinello, Paolo Dalvit, Davide Violato, Roberto Angeletti, Gaddo Vicenzoni, Grazia Manca, Sara Casarotto, Gloria Piovan, Katia Capello, Laura Gagliazzo, Andrea Cereser, Francesca Lega, Gabriella Genta, Mirella Pengo, Giuseppina Chiarenza, Vincenzo Di Marco Lo Presti, Santo Naselli, Filippo Serio, Paolo Tronca, Gabriele Ciaccio, Nicolò Buttafuoco, Anna Marchesi, Grazia Pittau, Chicca Masala, Aldo Marongiu, Sandra Poddighe, Cecilia Testa, Pietro Ruiu, Daniela Olia, Bruno Nieddu, Simonetta Cherchi, Roberto Manai, Alessandra Virdis, Barbara Consenti, Maurizio Trolli, Concetta Nardella, Alessandra Disarno, Monica Nazzaro, Loredana Baldi, Vincenzo Marinacci, Teresa Tagariello, Marcello Miele, Luciano Burraccione, Giuseppe Russo, Angela Acone, Rossella Tranzillo, Ivana Elefante, Pierpaolo Palermo.
La Scuola Superiore Sant'Anna di Pisa: Armando Todaro e Domenico Cerasuolo
…il gruppo di lavoro…
3
Firenze, 22 Marzo 2012
Obiettivi del sistema di valutazione della performance degli istituti zooprofilattici sperimentali
Benchmarking
Costruire uno strumento di governance per favorire i processi di miglioramento attraverso il confronto, in modo trasparente e condiviso
Trasparenza
Condivisione
Volontarietà
Partecipazione
Rete
4
Firenze, 22 Marzo 2012
Il punto di partenza: l’esperienza pilota degli istituti Lazio-Toscana e Umbria-Marche
� Da Marzo 2009 a Luglio 2010
� Focus group con i professionisti per l’identificazione delle aree da misurare e le attività (sono stati coinvolti circa 60 persone ad istituto)
� Riunioni di confronto fra i due istituti sia su temi specifici che sulla reportistica e rappresentazione dei risultati
5.
4.
3.
2.
1.
Salute della popolazione animale (SPA)
Economico finanziaria e di efficienza operativa (ECO)
Utente (U)
Apprendimento e Sviluppo Organizzativo (ASO)
Mission Istituzionale, Territorio e Ricerca (MIT)
Modalità di lavoro del sistema pilota
La struttura del sistema pilota
5
Firenze, 22 Marzo 2012
Dal sistema pilota al sistema di valutazione della performance degli IIZZSS: selezione e definizione degli
indicatori e dei criteri di valutazione
LE RIUNIONI
3 incontri iniziali
con le direzioni degli IIZZSS (26 novembre 2010, 20 dicembre 2010, 19 gennaio 2011)
4 incontri tematici- La dimensione MIT (8 febbraio 2011)- Le dimensioni ASO e U (23 Febbraio 2011)- Il punto della situazione sulle precedenti dimensioni con i referenti degli IIZZSS (22 marzo 2011)
- La dimensione ECO con referenti degli IIZZSS dell'area economica (10 giugno 2011)
2 incontri con le direzioni degli
IIZZSS
per condividere gli indicatori proposti e discutere le fasce di valutazione (15 giugno 2011 e 19 luglio 2011)
NOVEMBRE- DICEMBRE GENNAIO-GIUGNO GIUGNO-LUGLIO
2 accorgimenti…
6
Firenze, 22 Marzo 2012
1. Parlare tutti la stessa lingua
Esame: determinazione di una caratteristica dell'oggetto di valutazione. Ad esempio: MIT1.1.1 "Percentuale di esami che rispettano i tempi per Piani Istituzionali-PNR" (antibiogramma per stafilococco aureo)
Prova: determinazione di una o più caratteristiche di un oggetto di valutazione della conformità, secondo una procedura (ISO17000:2005) Ad esempio: MIT2 "Percentuale di prove accreditate" (aflatossima M1)
PESCA
7
Firenze, 22 Marzo 2012
Fra Aprile e Maggio sono state effettuate 9 visite in loco strutturate come segue:
� Ogni IZS ha ricevuto la visita di un gruppo di 5-6 persone (IZS UM; IZS LT; MeS; altri 2 IIZZSS; Ministero) dove si è constatato sia il livello di informatizzazione di vari archivi/fonti e sia le modalità di estrazione dei dati.
Ad esempio nei corsi di formazione un corso con 5 edizioni deve essere contato come 5 corsi
2. Contare tutti allo stesso modo (1)
Io ne ho fatte 30!
Ho fatto 2 visite…
8
Firenze, 22 Marzo 2012
8
2. Contare tutti allo stesso modo (2)
� Su esami del PNR da considerare per alcuni indicatori relativi ai tempi di risposta ed alla qualità (gruppo interIIZZSS di chimici) coordinato da Marinella Capuccella (IZS UM)
� Sulla formazione (revisione e proposte di alcuni indicatori) gruppo interIIZZSS con i responsabili della formazione coordinato da Antonella Bozzano (IZS LT)
� Sugli esami da considerare per confrontare tempi di risposta ed esecuzione degli esami non relativi ai piani istituzionali(Guarducci IZS LT)
� Sui prodotti (beni consumabili) da considerare per indicatori di gestione del magazzino e approvvigionamento (Pezzotti IZS LT)
� Sulla riclassificazione del bilancio per calcolare gli indici di redditività, solidità e solvibilità (Vainieri Todaro MeS)
9
Firenze, 22 Marzo 2012
Modalità di condivisione dei documenti e della reportistica
Portale Web è ad accesso riservato: ad ogni istituto è stato fornito un login e una password per accedere al sistema e consultare i dati relativi agli indicatori (grafici, trend, schede, tabelle e bersaglio)
Cartellina web di condivisione: dove trovare il materiale presentato agli incontri, i verbali e il glossario
10
Firenze, 22 Marzo 2012
Elevatainterazione
10
Una sintesi temporale delle fasi del progetto
Kick off con i ddgg
In media 50 accessi al mese ad istituto (più di 2 accessi ogni giorno)
Giugno Giugno -- LuglioLuglio
DicembreDicembre
Gennaio Gennaio -- AprileAprile OttobreOttobre dicembredicembre
Visite inloco
Aprile Aprile ––MaggioMaggio
Validazionecriteri
Giugno Giugno ––LuglioLuglio
Verifica dati
Ottobre Ottobre --Novembre Novembre
Report finale
IncontroMinistro
Calcolo indicatori
Incontri tematici
Schede indicatori
Glossario
In media gli IIZZSS (incontri plenari o sottogruppi) si sono incontrati 2.5 volte al mese (in media ogni 12 giorni!)
Sono state coinvolte più di 180 persone
11
Firenze, 22 Marzo 2012
I criteri per la classificazione dei risultati nelle diverse fasce di valutazione:
• Se esistente, riferimento ad uno standard nazionale o internazionale riconosciuto o presente nella normativa nazionale (Es. rispetto dei tempi per esami istituzionali).
• Per gli indicatori di percezione è stata utilizzata la valutazione espressa dai dipendenti o dagli utenti.
• Per gli indicatori simili, riferimento al sistema di valutazione della performance delle aziende sanitarie
• Riferimento alla media degli Istituti per rendere possibile il benchmarkinge/o condivisione fra gli Istituti delle fasce di performance da utilizzare
12
Firenze, 22 Marzo 2012
La struttura del sistema di valutazione della performance degli IIZZSS
Ogni pallino rappresenta un indicatore che può essere semplice o composito
Un esempio di indicatore composito secondo una logica ad albero:
MIT10Programmazione Offerta formativa
MIT10.1Offerta formativa programmata
MIT 10.2Offerta formativaextra programma
14Numero di indicatori presenti sul bersaglio:
Numero di indicatori di valutazione: 21
Numero totale di indicatori inclusi quelli di osservazione: 80
13
Firenze, 22 Marzo 2012
INDICATORI DIVALUTAZIONE:
Sono indicatori a cui vengono attribuite 5 diverse fasce di
performance
INDICATORI DIOSSERVAZIONE:
Sono indicatori che facilitano la lettura e l'interpretazione degli indicatori di valutazione
Il sistema di valutazione della performance
Il sistema di valutazione della performance è composto da
14
Firenze, 22 Marzo 2012
Le dimensioni e le fonti:
1. Dimensione Mission Istituzionale Territorio e Ricerca
2. Dimensione Apprendimento Sviluppo Organizzativo �
archivio della formazione, qualità
3. Dimensione ECOnomica e di efficienza � bilanci, dati
aziendali
4. Dimensione Utente � fonti ministeriali (questionari di
gradimento)
15
Firenze, 22 Marzo 2012
La struttura multidimensionale del sistema: Le dimensioni
MissionIstituzionale,
Territorio e Ricerca (MIT)
Efficienza e sostenibilità
economica (ECO)
Utente
(U)
Le dimensioni del sistema di valutazione
Apprendimento e sviluppo
organizzativo (ASO)
Salute Popolazione Animale e Sicurezza Alimentare (SA)
Dimensione appartenente all’intero sistema sanitario. Per ora non analizzata
16
Firenze, 22 Marzo 2012
Efficienza e sostenibilitàeconomica (ECO)
Utente (U)
Mission Istituzionale, Territorio e Ricerca (MIT)
Valuta la capacità di mantenere gli equilibri economico-patrimoniali e finanziari degli istituti. In particolare oltre all’analisi dei prospetti di bilancio, questa dimensione ha l’obiettivo di valutare la produttività del personale ed in generale l’uso efficiente delle risorse.
Dimensioni Obiettivi
Apprendimento e sviluppo
organizzativo (ASO)
17
Firenze, 22 Marzo 2012
17
ECO - Prospettiva dell'efficienza e della sostenibilità economicaECO3 Gestione del magazzino
ECO3.1 Rotazione del magazzino
ECO4_1 Tempo medio di evasione dei beni sottoposti a contratto (9 beni)
E’ la dimensione che racchiude le attività di core businessdegli istituti.
Si articola su più livelli:
• valuta la qualità e l’appropriatezza dei servizi erogati;
• valuta la capacità di rispondere alle richieste degli utenti;
• valuta l’attività di ricerca;
• valuta l’attività di formazione erogata agli utenti esterni.
19
Firenze, 22 Marzo 2012
19
Tabella degli indicatori - dimensione MIT
% prove accreditate per attività svoltaMIT2.3
Giorni MEDIANI di ritardo per esami relativi ai Piani Istituzionali di profilassiMIT1.1.4m
Giorni MEDIANI di ritardo per esami relativi ai Piani Istituzionali-PNRMIT1.1.2m
% di esami che rispettano i tempi per Piani Istituzionali di profilassiMIT1.1.3
MIT - Dimensione Mission Istituzionale, Territorio e RicercaMission Istituzionale ed esigenze del territorio
MIT1 Rispetto dei tempi
MIT1.1 Piani istituzionali
MIT1.1.1 % di esami che rispettano i tempi per piani istituzionali- PNR
MIT1.1.2 Giorni MEDI di ritardo per esami relativi ai Piani Istituzionali-PNR
MIT1.1.4 Giorni MEDI di ritardo per esami relativi ai Piani Istituzionali di profilassi
MIT1.2 Altre attività diverse dai piani istituzionali
MIT1.2.3 Tempo medio di risposta degli esami (per 11 tipologie di esami)
MIT1.2.3a Tempo medio esecuzione esami (per 11 tipologie di esami)
MIT2 Qualità di processo
MIT2.1 % prove accreditate
MIT2.2 % di prove con procedure standardizzate
MIT3.2 % di esiti favorevoli relativamente ai ring test
MIT5.3 Percentuale piani istituzionali pubblicati
20
Firenze, 22 Marzo 2012
20
Tabella degli indicatori - dimensione MIT
MIT - Dimensione Mission Istituzionale, Territorio e Ricerca
Ricerca
MIT16 Capacità di attrazione delle risorse attraverso l'attività di ricerca
MIT16.1 Percentuale di fondi di ricerca nazionali assegnati all'IZS per la ricerca corrente
MIT16.3 Percentuale di fondi di ricerca nazionali assegnati all'IZS per la ricerca finalizzata
MIT16.4 Percentuale di altri fondi di ricerca assegnati all'IZS
MIT17 Produzione scientifica
MIT17.1.1 Attività scientifica posizionamento rispetto ad altri istituti
MIT17.1.2 IF medio per dirigente sanitario, medico e veterinario
MIT17.2Presentazioni medie per dirigente sanitario, medico e veterinario in convegni internazionali
MIT19 Partecipazione a gruppi internazionali per dirigente sanitario, medico e veterinario
MIT21 Rispetto dei tempi dei progetti di ricerca
21
Firenze, 22 Marzo 2012
21
Tabella degli indicatori - dimensione MIT
MIT - Dimensione Mission Istituzionale, Territorio e Ricerca
Formazione
MIT7.1.1 Crediti medi per evento ECM
MIT10 Programmazione offerta formativa
MIT10.1 Offerta formativa programmata
MIT10.2 Offerta formativa extra-programma
22
Firenze, 22 Marzo 2012
Efficienza e sostenibilitàeconomica (ECO)
Utente (U)
Mission Istituzionale, Territorio e Ricerca (MIT)
Dimensioni Obiettivi
Apprendimento e sviluppo
organizzativo (ASO)
E’ la dimensione che valuta i processi interni degli IZS che favoriscono lo sviluppo organizzativo.
In particolare questa dimensione ha l’obiettivo di valutare:
• il clima organizzativo in modo diretto attraverso la percezione dei dipendenti o in modo indiretto attraverso la rilevazione di fenomeni oggettivi che possano essere intesi come proxy del clima interno.
• le funzioni aziendali che hanno il compito di di promuovere il cambiamento organizzativo come ad esempio la formazione del personale.
23
Firenze, 22 Marzo 2012
23
ASO - Dimensione dell'apprendimento e dello sviluppo organizzativo
Formazione
ASO2 Formazione del personale
ASO2.1 Ottenimento crediti formativi
ASO2.1.1 Ottenimento crediti formativi interni ed esterni
ASO2.1.2 Ottenimento crediti formativi interni
ASO2.2 Partecipazione del personale ad eventi non ECM
Indicatori di struttura
ASO4 Percentuale di assenza
ASO5 Tasso infortuni
Indicatori di osservazione in corsivo
Tabella degli indicatori - dimensione ASO
24
Firenze, 22 Marzo 2012
Efficienza e sostenibilitàeconomica (ECO)
Utente (U)
Mission Istituzionale, Territorio e Ricerca (MIT)
Dimensioni Obiettivi
Apprendimento e sviluppo
organizzativo (ASO)
Valuta la qualità dei servizi offerti dall’IZS da parte degli utenti. L’obiettivo è quello di cogliere il giudizio degli utenti sia in modo diretto attraverso la qualità percepita e sia in modo indiretto attraverso fenomeni oggettivi.
25
Firenze, 22 Marzo 2012
25
Tabella degli indicatori - dimensione U
U - Dimensione dell'utente
U6 Qualità percepita degli eventi formativi
U6.1 Rilevanza degli argomenti
U6.2 Qualità educativa
U6.3 Efficacia dell'evento
26
Firenze, 22 Marzo 2012
Dati di contesto degli IIZZSS
27
Firenze, 22 Marzo 2012
Bersaglio IZS Lazio – Toscana 2010
28
Firenze, 22 Marzo 2012
Bersaglio IZS Umbria – Marche 2010
29
Firenze, 22 Marzo 2012
Bersaglio IZS Piemonte - Liguria - Valle d'Aosta 2010
