Date post: | 03-May-2015 |
Category: |
Documents |
Upload: | calvina-bartoli |
View: | 218 times |
Download: | 3 times |
Corso diCorso diPROGETTAZIONE E VALUTAZIONE NELLE PROGETTAZIONE E VALUTAZIONE NELLE
POLITICHE FORMATIVE E SOCIALIPOLITICHE FORMATIVE E SOCIALI__________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
Introduzione alla Introduzione alla valutazione nei valutazione nei
servizi alla personaservizi alla persona
Le origini della valutazioneLe origini della valutazione Negli Stati Uniti Negli Stati Uniti nella metà degli anni ’60 per nella metà degli anni ’60 per constatare l’efficacia dei programmi socialiconstatare l’efficacia dei programmi sociali
In In Europa Europa per molto tempo non si è dubitato del per molto tempo non si è dubitato del risultato dell’intervento pubblico, parte risultato dell’intervento pubblico, parte integrante del sistema istituzionale. integrante del sistema istituzionale. Negli anni ’80 però la Negli anni ’80 però la crisi dello stato fiscalecrisi dello stato fiscale ha messo al centro dell’attenzione anche in ha messo al centro dell’attenzione anche in Europa il risultato e l’efficacia dei programmiEuropa il risultato e l’efficacia dei programmi
In In Italia Italia Crisi fiscale dello Stato Crisi fiscale dello Stato nec. nec. migliore migliore allocazione risorseallocazione risorse
RisorseRisorse di origine UE dedicate di origine UE dedicate Diffusione del concetto di Diffusione del concetto di centralità centralità dell’utentedell’utente, connesso alla qualità del servizio, connesso alla qualità del servizio
La valutazione è …La valutazione è …
… … un’un’attivitàattività cognitivacognitiva rivolta a fornire un rivolta a fornire un giudiziogiudiziosu di su di un’azione intenzionalmenteun’azione intenzionalmente svolta svoltae destinata a produrre e destinata a produrre effetti esternieffetti esterni,,che si fonda su che si fonda su attività di ricercaattività di ricerca delle scienze delle scienze socialisocialie che segue e che segue procedure rigorose e codificabiliprocedure rigorose e codificabili
(Palumbo)(Palumbo)
… … una una produzione di informazioneproduzione di informazione per dare per dare giudizigiudizisu su attività pubblicheattività pubbliche, con l’intento di, con l’intento di migliorarle migliorarle
(Martini)(Martini)
≠≠ Ricerca sociale di baseRicerca sociale di base Ricerca valutativaRicerca valutativa
Obiettivi Obiettivi ricercaricerca
Scoprire nuove Scoprire nuove conoscenze sotto forma conoscenze sotto forma di generalizzioni di generalizzioni teoriche, teoriche, indipendentemente indipendentemente dalla loro utilità per dalla loro utilità per produrre un produrre un cambiamento socialecambiamento sociale
Produrre conoscenze Produrre conoscenze contestualizzate e contestualizzate e orientate all’azioneorientate all’azione, , connesse con la connesse con la situazione concreta situazione concreta studiata; risolvere un studiata; risolvere un problemaproblema
OggettoOggetto
ricercaricerca
Lo decide il ricercatore Lo decide il ricercatore sulla base delle sue sulla base delle sue ipotesiipotesi
Deriva dal contestoDeriva dal contesto problematico specifico problematico specifico del del programma/interventoprogramma/intervento
Ruolo del Ruolo del giudizio giudizio
EvitatoEvitato Essenziale: Essenziale: la la valutazione è giudiziovalutazione è giudizio
LegittimaLegittima
zionezioneComunità scientifica, Comunità scientifica, criteri accademicicriteri accademici
Il contesto decisionale, Il contesto decisionale, spt i finanziatori, spt i finanziatori, criteri criteri di utilitàdi utilità
GeneralizGeneraliz
zabilitàzabilitàPossibile Possibile Difficile, si riferisce a un Difficile, si riferisce a un
setting specificosetting specifico
Valutare perché …Valutare perché …“Sia che ci occupiamo di programmi o politiche, riguardo gli ammalati o i poveri, le vittime di abusi, gli alcolisti o gli abbandoni scolastici, noi valutatori abbiamo un'opportunità per: aiutare la politica e i programmi della nostra comunità a raggiungere un miglior fine aiutare la società a meglio distribuire le sue risorseaiutare un vasto pubblico a comprendere la natura dei problemi sociali e trovare il modo giusto di affrontarliBen fatta, la valutazione è un nobile impegno”
(Carol Weiss)
Principali finalità:
MIGLIORARE
(learning)
RENDICONTARE
(accountability)Nel settore dei servizi è importante che la valutazione si distingua dalla
verifica e e dal controllo poiché non si limita a individuare errori o a ratificare l’esistente, ma si pone in un’ottica strategica con finalità di
apprendimento e miglioramento. Deve configurarsi come un processo dinamico che “costruisce correggendo” (De Ambrogio)
Quando si valuta?Quando si valuta?
EX EX ANTEANTE
PrimaPrima dell’avvio di un dell’avvio di un programma/interventoprogramma/intervento Per capire se vale la pena intraprenderloPer capire se vale la pena intraprenderlo Ha funzioni organizzative e Ha funzioni organizzative e programmatorieprogrammatorie
IN IN ITINERITINEREE
DuranteDurante un programma/intervento un programma/intervento Per correggere eventuali errori, per Per correggere eventuali errori, per verificare severificare se
la situazione è cambiatala situazione è cambiata Ha funzioni di controllo, decisione, Ha funzioni di controllo, decisione, apprendimentoapprendimento
EX EX POSTPOST
DopoDopo la conclusione di un la conclusione di un programma/intervento programma/intervento Per imparare dall’esperienza e Per imparare dall’esperienza e documentare documentare
quanto fatto a fini conoscitivi, democraticiquanto fatto a fini conoscitivi, democratici Ha funzioni di controllo, decisione, Ha funzioni di controllo, decisione, apprendimentoapprendimento
Cosa si valuta?Cosa si valuta? Tra le Tra le dimensionidimensioni di interesse: di interesse:
EFFICACIA:EFFICACIA: il grado di conseguimento degli obiettivi il grado di conseguimento degli obiettivi
INTERNAINTERNA (o gestionale): crf risultati ottenuti / obiettivi (o gestionale): crf risultati ottenuti / obiettivi inizialiiniziali
ESTERNAESTERNA (o sociale): crf risultati ottenuti / bisogni del (o sociale): crf risultati ottenuti / bisogni del contestocontesto
EFFICIENZA: EFFICIENZA: l’impiego ottimale delle risorse disponibili per il l’impiego ottimale delle risorse disponibili per il raggiungimento degli obiettivi prefissatiraggiungimento degli obiettivi prefissati
Tra gli Tra gli oggetti oggetti di interesse: di interesse:
PolitichePolitiche Programmi di carattere eminentemente pubblico Programmi di carattere eminentemente pubblico Progetti Progetti
Gli attori della valutazioneGli attori della valutazioneSTAKEHOLDER:STAKEHOLDER: chiunque ha un interesse in giocochiunque ha un interesse in gioco
DecisoriDecisoriChi partecipa direttamente al processo Chi partecipa direttamente al processo definitorio e decisionale di un definitorio e decisionale di un programma/intervento (politici, programma/intervento (politici, funzionari pubblici, ecc.)funzionari pubblici, ecc.)
OperatoriOperatori Chi gestisce un programma/interventoChi gestisce un programma/intervento
BeneficiariBeneficiari chi è direttamente o indirettamente chi è direttamente o indirettamente coinvolto nel programma/interventocoinvolto nel programma/intervento
EspertiEsperti chi è depositario di un sapere, di chi è depositario di un sapere, di un’esperienzaun’esperienza
ValutatoreValutatore diventa un ulteriore attore del processodiventa un ulteriore attore del processo
…… …… (Leone Prezza)
GLI APPROCCI ALLA GLI APPROCCI ALLA VALUTAZIONEVALUTAZIONE
POSITIVISTA POSITIVISTA
Elemento di confronto sono gli Elemento di confronto sono gli obiettivi obiettivi del programma, la valutazione consiste del programma, la valutazione consiste nel vedere se e in che modo sono stati nel vedere se e in che modo sono stati raggiunti grazie al programmaraggiunti grazie al programma I risultati corrispondono agli obiettivi?I risultati corrispondono agli obiettivi?
PRAGMATISTA - PRAGMATISTA - DELLA DELLA QUALITA’QUALITA’
Elemento di confronto sono degli Elemento di confronto sono degli standard di qualitàstandard di qualità, la valutazione , la valutazione consiste nel dare un parere su quanto ci consiste nel dare un parere su quanto ci si avvicini a quegli standardsi avvicini a quegli standard I risultati corrispondono al criterio di I risultati corrispondono al criterio di qualità?qualità?
COSTRUTTIVISCOSTRUTTIVISTA TA
Elemento di confronto è ciò che viene Elemento di confronto è ciò che viene considerato un considerato un “successo” dagli “successo” dagli stakeholderstakeholder, la valutazione consiste , la valutazione consiste nello spiegare perché in quella nello spiegare perché in quella situazione quel risultato sia da situazione quel risultato sia da considerare taleconsiderare taleCos’è accaduto? Quello che è accaduto Cos’è accaduto? Quello che è accaduto è buono?è buono?
(Stame)
Il disegno della ricerca Il disegno della ricerca valutativavalutativa
Le cinque-sette tappe (Bezzi)Le cinque-sette tappe (Bezzi)1.1. Definizione del mandatoDefinizione del mandato (chi chiede la valutazione? Perché? (chi chiede la valutazione? Perché?
chi altro è coinvolto? Quali gli obiettivi della valutazione? ecc.)chi altro è coinvolto? Quali gli obiettivi della valutazione? ecc.)
2.2. Analisi obiettivi evaluando e/o formulazione domande Analisi obiettivi evaluando e/o formulazione domande valutativevalutative (cosa analizzare? Quale valutazione?) (cosa analizzare? Quale valutazione?)
3.3. Accertamento delle risorseAccertamento delle risorse
4.4. Ricerca valutativaRicerca valutativa 4.1. Esplorazione spazio semantico (cosa valutiamo 4.1. Esplorazione spazio semantico (cosa valutiamo
esattamente?)esattamente?) 4.2. Stipulazione valori valutativi (da quale punto di vista 4.2. Stipulazione valori valutativi (da quale punto di vista
valuto?)valuto?) 4.3. Raccolta e analisi dei dati4.3. Raccolta e analisi dei dati
5. Sostegno all’utilizzo della valutazione5. Sostegno all’utilizzo della valutazione (a cosa è servita?) (a cosa è servita?)
Prerequisiti per la valutazione Prerequisiti per la valutazione nel settore socialenel settore sociale
Non è opportuno intraprendere un percorso di Non è opportuno intraprendere un percorso di valutazione se …valutazione se …
Lo staff impegnato nel progetto è Lo staff impegnato nel progetto è contrario contrario alla alla valutazionevalutazione
Si prevede che Si prevede che i risultatii risultati della valutazione della valutazione non saranno non saranno utilizzatiutilizzati o lo saranno solo strumentalmente o lo saranno solo strumentalmente
Le Le risorse nonrisorse non sono sono sufficienti sufficienti
Se gli obiettivi del progetto o le modalità per Se gli obiettivi del progetto o le modalità per raggiungerli sono confuse, vaghe, non coerenti: la raggiungerli sono confuse, vaghe, non coerenti: la valutazione potrà essere usata per chiarire, definire, valutazione potrà essere usata per chiarire, definire, modificare questi aspetti e solo in seguito si valuterà il modificare questi aspetti e solo in seguito si valuterà il progetto e i suoi esitiprogetto e i suoi esiti
Particolarità dei servizi alla Particolarità dei servizi alla personapersona I I servizi alla persona servizi alla persona sonosono tutte quelle attività che tutte quelle attività che
coinvolgono gli operatori in un rapporto diretto coi coinvolgono gli operatori in un rapporto diretto coi beneficiari, beneficiari,
tale che il tale che il prodotto e il processo coincidono prodotto e il processo coincidono
Si caratterizzano per:Si caratterizzano per:
Intangibilità:Intangibilità: forniscono prestazioni non materiali,quindi forniscono prestazioni non materiali,quindi difficilmente misurabili difficilmente misurabili la valutazione deve assumere la valutazione deve assumere diversi punti di vista e la loro contingenzadiversi punti di vista e la loro contingenza
Negoziabilità: Negoziabilità: possibilità di consentire una possibilità di consentire una contrattazione tra erogatore e fruitore di un servizio, per contrattazione tra erogatore e fruitore di un servizio, per realizzarlo con un margine di flessibilità (rispetto al realizzarlo con un margine di flessibilità (rispetto al programmato e ad aspettative e bisogni)programmato e ad aspettative e bisogni)
IrripetibilitàIrripetibilità(Bezzi)
Valutare la qualità nei Valutare la qualità nei serviziservizi
Qualità:Qualità: L’insieme delle L’insieme delle proprietà e delle proprietà e delle caratteristiche di un caratteristiche di un prodotto o di un servizio prodotto o di un servizio che conferiscono ad esso che conferiscono ad esso la la capacità di soddisfare capacità di soddisfare esigenze espresse o esigenze espresse o implicite implicite (norme ISO)(norme ISO)
Centralità Centralità utente/clienteutente/cliente
Il servizio veramente Il servizio veramente fruito è sempre una fruito è sempre una mediazione mediazione fra il servizio fra il servizio erogato dal fornitore e erogato dal fornitore e quello percepito dal quello percepito dal fruitorefruitore
Punto di vista organizzazione
OBIETTIVI
(strutture)
(processi)
STANDARD
Punto di vista operatore
(risultati)
BISOGNI
Punto di vista utente
Valutazione
Qualità
La valutazione partecipataLa valutazione partecipataÈ una modalità che coinvolge È una modalità che coinvolge alcunialcuni attori implicati attori implicati nell’evaluando (l’oggetto della nell’evaluando (l’oggetto della valutazione), per ricevere valutazione), per ricevere informazioni più complete. Ha informazioni più complete. Ha forti connotazioni formative forti connotazioni formative
(Bezzi)(Bezzi)
““è un processo di è un processo di produzione produzione collettiva di conoscenza e di collettiva di conoscenza e di cooperazionecooperazione nel quale gli nel quale gli stakeholder prendono parte stakeholder prendono parte sostanzialmente sostanzialmente all’identificazione delle all’identificazione delle questioni valutative, al disegno questioni valutative, al disegno della valutazione, alla raccolta e della valutazione, alla raccolta e all’analisi dei dati e alla scelta all’analisi dei dati e alla scelta delle azioni da intraprendere in delle azioni da intraprendere in base ai risultati della base ai risultati della valutazione” valutazione”
(Jackson and Kassam,1998)(Jackson and Kassam,1998)
Grado di partecipazione
Coproduzione totale
Valutazione esterna
Estensione partecipazion
e
CittadiniCommittenti
(Riquier)
Alcuni pregi e limitiAlcuni pregi e limitidella valutazione della valutazione
partecipatapartecipata Favorisce l’Favorisce l’innovazioneinnovazione
attraverso l’interazione tra attraverso l’interazione tra diverse competenzediverse competenze
IntegraIntegra diverse dimensioni diverse dimensioni di analisidi analisi
Sviluppa un Sviluppa un senso di senso di appartenenzaappartenenza nei nei partecipanti alla partecipanti alla valutazionevalutazione
Facilita quindi la sua Facilita quindi la sua utilità utilità e il suo e il suo utilizzoutilizzo
RichiedeRichiede risorse risorse (tempo, disponibilità, $)(tempo, disponibilità, $)
Richiede capacità di Richiede capacità di mediazionemediazione
Rischio di Rischio di strumentalizzazionestrumentalizzazione
Rischio di Rischio di autoreferenzialitàautoreferenzialità
Tipi di coinvolgimento degli Tipi di coinvolgimento degli stakeholderstakeholder
PARTECIPAZIOPARTECIPAZIONENE
(++)(++)
CONSULTAZIOCONSULTAZIONENE
(+-)(+-)
RELAZIONI RELAZIONI PUBBLICHE PUBBLICHE
(--)(--)
Definizione Definizione collettiva di collettiva di finalità, finalità, obiettivi, metodi obiettivi, metodi ed elaborazione ed elaborazione giudizi condivisigiudizi condivisi
Ricerca di Ricerca di opinioni opinioni finalizzate a finalizzate a raccogliere info raccogliere info per la per la valutazionevalutazione
Restituzione in Restituzione in modo esplicito modo esplicito dei risultati dei risultati delle valutazionidelle valutazioni
Attori: Attori: esprimono esprimono interessi e interessi e competenze competenze rispetto al rispetto al problema problema
Attori: opinione Attori: opinione ritenuta di ritenuta di interesse interesse rispetto al temarispetto al tema
Attori: formali e Attori: formali e opinione opinione pubblicapubblica
(De Ambrogio)
Perché la partecipazione Perché la partecipazione nei servizi e nel settore nei servizi e nel settore
socialesociale Nei servizi alla persona non si può prescindere dal Nei servizi alla persona non si può prescindere dal sapere professionale delle persone coinvoltesapere professionale delle persone coinvolte, prima , prima fra tutte quello dell’operatore, dalla storia a dal fra tutte quello dell’operatore, dalla storia a dal contesto specifici del servizio, dalla contesto specifici del servizio, dalla cultura generale cultura generale del serviziodel servizio..
Le informazioni possedute dagli attori non sono mere Le informazioni possedute dagli attori non sono mere descrizioni, ma descrizioni, ma chiavi interpretativechiavi interpretative, che conferiscono , che conferiscono senso alle attività e ai datisenso alle attività e ai dati
La La soddisfazione dei beneficiarisoddisfazione dei beneficiari resta una resta una componente della valutazione, ma:componente della valutazione, ma:
Possiedono informazioni limitate su modalità di erogazione di Possiedono informazioni limitate su modalità di erogazione di un servizio, su vincoli normativi, finanziari, ecc.un servizio, su vincoli normativi, finanziari, ecc.
Orientamento centrato sul loro bisognoOrientamento centrato sul loro bisogno Per la loro condizione a volte sono nell’impossibilità di Per la loro condizione a volte sono nell’impossibilità di
esprimere un parereesprimere un parere
BibliografiaBibliografia Bezzi Claudio, Bezzi Claudio, Il disegno della ricerca valutativa. Nuova edizione rivista e Il disegno della ricerca valutativa. Nuova edizione rivista e
aggiornataaggiornata, Franco Angeli, Milano, 2003, Franco Angeli, Milano, 2003
De Ambrogio Ugo (2003), De Ambrogio Ugo (2003), Valutare gli interventi e le politiche socialiValutare gli interventi e le politiche sociali, , Carocci, RomaCarocci, Roma
Leone Liliana e Prezza Miretta (1999), Leone Liliana e Prezza Miretta (1999), Costruire e valutare progetti nel Costruire e valutare progetti nel sociale. Manuale operativo per chi lavora su progetti in campo sanitario, sociale. Manuale operativo per chi lavora su progetti in campo sanitario, sociale, educativo e culturale,sociale, educativo e culturale, Franco Angeli, Milano Franco Angeli, Milano
Palumbo Mauro (2001), Palumbo Mauro (2001), Il processo di valutazioneIl processo di valutazione, Franco Angeli, Milano, Franco Angeli, Milano
Tomei Gabriele (2004), Tomei Gabriele (2004), Valutazione partecipata della qualitàValutazione partecipata della qualità, Franco , Franco Angeli, MilanoAngeli, Milano
Ugolini Paolo (a cura di) (2005), Ugolini Paolo (a cura di) (2005), Qualità e outcome nelle dipendenzeQualità e outcome nelle dipendenze, , Franco Angeli, MilanoFranco Angeli, Milano
Sito web : Sito web : www.valutazione.it