1

Corso di formazione sul monitoraggio e la valutazione

dei Piani di zona della Provincia di Torino

I modulo – prima giornata

30 marzo 2006

Katja Avanzini kavanzini@hsn.it Ugo De Ambrogio udeambrogio@hsn.it

2

Che cosa si valuta e i diversi tipi di valutazione

3

DEFINIZIONE

è un’espressione di giudizio rispetto ad azioni di interesse collettivo,

con l’intento di migliorare le azioni pubbliche, viene svolta attraverso attività di ricerca

realizzate con metodi rigorosi e codificabili, valorizzando gli aspetti inattesi e

contraddittori, deve essere comunicata a terzi in modo

esplicito e trasparente, all’interno di un processo nel quale

valutazione e progettazione sono percorsi integrati.

VALUTA-ZIONEVALUTA-ZIONE

4

CHE COSA SI VALUTA NEI SERVIZI SOCIALI

I CASI GLI INTERVENTI

LE POLITICHE

Per fornire migliori

risposte alle esigenze individuali

Per offrire risposte

omogenee efficienti ed

efficaci

Per offrire al territorio le

migliori risposte

possibili ai bisogni sociali

5

Una valutazione “frattale”

6

Una valutazione “frattale” Valutazione del singolo intervento

Valutazione zonale della politica di uno specifi-co settore

(anziani)

Valutazione del piano di zona

Valutazione degli interventi

provinciali di coordinamento e

sostegno

Valutazione della politica regionale

7

TIPI DI VALUTAZIONELa valutazione realizzata prima

dell'approvazione e della successiva implementazione di un progetto;

In questo caso la valutazione aiuta i decisori a scegliere fra scenari alter-nativi (derivati da probabili diversi impatti dell'azione da avviare), o fra progetti alternativi, o fra modalità di esecuzione alternative dello stesso progetto.

Nel caso in cui non ci sia una reale possibilità di scelta, aiuta a stimare i diversi effetti, positivi e negativi, del progettoin via di implementazione, al fine di elaborare correzioni o sostegni

VALUTAZIONE EX ANTE-

VALUTAZIONE EX ANTE-

8

TIPI DI VALUTAZIONE

VALUTA

ZIONE IN ITINERE

VALUTA

ZIONE IN ITINERE

E' quella valutazione che si realizza mentre il processo

valutato è ancora in corso, al fine di conseguire

l'adattamento e la correzione di eventuali deviazioni dal

progetto originario, a causa di errori di progettazioni o di

modificazioni del contesto;

9

TIPI DI VALUTAZIONE

VALUTAZIO

NE EX POST

VALUTAZIO

NE EX POST

Valutazione di un intervento dopo che è stato completato. L'obbiettivo della

valutazione ex post è quello di studiare se e come il progetto abbia

raggiunto gli obbiettivi prefissati nonché immaginare soluzioni

adeguate per interventi simili in futuro in genere si considerano tre momenti

distinti della valutazione ex post: dell'output (è stato fatto?) dell'outcome (è stato fatto bene?) di impatto (è servito?)

10

TIPI DI VALUTAZIONE

Affronta di norma l'aspetto procedurale e mira ad analizzare i

seguenti aspetti: il grado di cooperazione fra i

soggetti coinvolti il modo in cui vengono raggiunti i

destinatari degli interventi le procedure di partecipazione

adottate

VALUTA

ZIONE DI

PROCESSO

VALUTA

ZIONE DI

PROCESSO

11

TIPI DI VALUTAZIONE

Valutazione che considera gli esiti di un determinato intervento, la sua

efficacia. Viene usualmente distinta in due categorie fondamentali:

l'efficacia interna, intesa come la capacità di raggiungere gli obiettivi e i risultati attesi, definiti a priori

l'efficacia esterna, intesa come la capacità del servizio di soddisfare i bisogni degli utenti

VALUTAZIONE DI RISULTATOVALUTAZIONE DI RISULTATO

12

TIPI DI VALUTAZIONEE' una valutazione attraverso la quale la

qualità degli interventi forniti viene analizzata e sottoposta a giudizi finalizzati al suo miglioramento

Fare valutazione della qualità per chi si occupa di servizio sociale significa tenere conto di valori ed obbiettivi dei soggetti coinvolti in un determinato intervento (destinatari, operatori, attori della comunità locale) e delle relazioni tra tali attori

VALUTAZIO

NE DELLA QUALITA'

VALUTAZIO

NE DELLA QUALITA'

13

TIPI DI VALUTAZIONE

La valutazione realizzata coinvolgendo un n. significativo

di attori implicati nella realizzazione di un servizio, che contribuiscono alla formulazione di giudizi e se ne assumono la

responsabilità rispetto alla realizzazione degli interventi

successivi

VALUTAZIONE PARTECIPATA

VALUTAZIONE PARTECIPATA

14

Art. 9 della l.285/97

Valutazione dell’efficacia della spesa: ogni anno le regioni devono presentare una

relazione sullo stato di attuazione degli interventi, sulla loro efficacia, sull’impatto sui minori e sulla società, sugli obiettivi conseguiti e sulle misure da adottare per migliorare le condizioni di vita dei minori nel rispettivo territorio.

15

La valutazione nella 328/2000 Art. 3 comma 1: Per la realizzazione degli

interventi e dei servizi sociali, in forma unitaria e integrata, è adottato il metodo della programmazione degli interventi e delle risorse, dell’operatività per progetti, della verifica sistematica dei risultati in termini di qualità e di efficacia delle prestazioni, nonché della valutazione di impatto di genere.

16

CONSIDERAZIONI DI SINTESI

1. La Valutazione pervade in modo crescente la normativa nazionale di settore: Ci viene pertanto sempre più frequentemente detto che:

la valutazione si deve fare .

2. Si tratta di valutazione di casi, interventi e di politiche, anche se, come è logico, la normativa insiste soprattutto su interventi e politiche, lasciando al livello professionale la valutazione dei casi.

17

CONSIDERAZIONI DI SINTESI

3. Le finalità valutative proposte sono sia nella logica della valutazione \ appren-dimento per migliorare (learning) che in quella della valutazione \ rendicon-tazione (accountability). Tuttavia la normativa non è sempre chiara sul "perché si valuta"

4. Ci viene per tanto detto che valuta-zione si deve fare ma dalla lettura della normativa la valutazione "non si vede", non si capisce cioè come si può fare la valutazione

18

CARATTERISTICHE RELAZIONALI DELLA

VALUTAZIONE

19

Un processo di valutazione può essere inteso anche come un sistema relazionale all’interno del quale vengono agite una pluralità di interazioni

L’efficacia della valutazione dipende pertanto anche dalla relazione che si instaura fra i soggetti in campo

20

CARATTERISTICHE RELAZIONALI DELLA VALUTAZIONE

presenza di soggetti valutatori e di soggetti valutati

rischio di asimmetria nella relazione fra i soggetti.

21

CARATTERISTICHE RELAZIONALI DELLA VALUTAZIONE

.

Sentirsi intrusivo in “casa d’altri”

Sentirsi preso per un giudice sanzionatore

Trovarsi di fronte a qualcuno che vuole nascondere qualcosa

Sentirsi un controllore sentirsi un operatore o

nel posto e nel luogo sbagliato

possibili vissuti di-fensivi del valutatore”

22

CARATTERISTICHE RELAZIONALI DELLA VALUTAZIONE

Sentirsi giudicato come professionista

Sentirsi giudicato come persona

Trovarsi di fronte a un giudice sanzionatore

Sentirsi controllato

possibili vissuti difensivi

del valutato

23

RISCHI RELAZIONALI NEL CASO CHE PREVALGANO VISSUTI DIFENSIVI

Si farà strada per entrambi la convinzione che

se lui vince io perdo oppure

se io vinco, lui perdeIn questo caso la comunicazione diverrà difficile e provocherà disagi

24

RISCHI RELAZIONALI NEL CASO CHE PREVALGANO VISSUTI

DIFENSIVI

Non ci sarà apertura né disponibilità ad intraprendere insieme percorsi di ricerca, bensì ci sarà chiusura, occultamento delle informazioni, diffidenza, boicottaggio dell’altro

ecc

25

RISCHI RELAZIONALI NEL CASO CHE PREVALGANO VISSUTI

DIFENSIVI

In questi casi il processo di valutazione appare destinato a divenire semplice controllo, percepito in modo simile al voto scolastico, e, paradossalmente

sia il valutatore che il valutato finiranno per svalutarsi l’uno l’altro

e svalutare il processo valutativo generale.

26

La svalutazione

“un processo mentale inconsapevole che consiste nell’ignorare o sminuire delle informazioni

pertinenti alla soluzione di un problema”.

A. W. Shiff e J.L. Shiff

27

La svalutazione

svalutare, nell’accezione proposta, significa non considerare e

stravolgere i dati di realtà, non riconoscere le risorse personali e materiali, far prevalere i propri

pregiudizi, non prendere sul serio sé, l’altro e il problema, non

vedere e boicottare le possibilità di cambiamento.

28

La svalutazione

E’ effettivamente l’opposto di ciò che gli esperti valutatori

considerano come Valutazione con la V

maiuscola,

29

“la misura del successo della valutazione può essere

rappresentata dall’ampiezza dei cambiamenti intervenuti nel comportamento degli attori

dell’intervento, servizio o politica valutata” (Dente 2000).

30

Valutazione e svalutazione

Appare pertanto evidente rilevare che una buona valutazione non

può essere realizzata da soggetti svalutanti, perché non si possono promuovere cambiamenti con chi

disconferma la rilevanza, le possibilità e le capacità stesse di

cambiamento.

31

La svalutazione

Però, in molte delle esperienze di valutazione alle quali ho

partecipato molto spesso sono incappato in “svalutatori”, che,

difendendosi da qualcuno o qualcosa tendevano a boicottare il

processo valutativo e a minacciarne seriamente l’efficacia.

32

Alcune volte però è capitato che nel corso del processo valutativo gli

svalutatori si siano trasformati in co-valutatori (ovvero in risorse per la valutazione) e ciò è avvenuto quando

hanno progressivamente visto scemare le preoccupazioni e

diffidenze che li mantenevano in un atteggiamento difensivo.

33

STRATEGIE PER EVITARE CHE LA VALUTAZIONE DIVENGA

“SVALUTAIONE”

E’ opportuno che la componente di contenuto della comunicazione

(“siamo qui a valutarci per migliorare”) sia in accordo con la componente di relazione (il nostro è un incontro fra

professionisti, è un incontro fra pari che si riconoscono

in un obiettivo comune, in un quadro di fiducia e stima reciproci )

34

Ne consegue che durante la ricerca valutativa è opportuno che non si instauri una relazione nella quale “uno vince e l’altro perde”, bensì una relazione generativa, in cui possono vincere entrambi, perchè entrambi perseguono il medesimo

obbiettivo

35

ALL’INTERNO DI UNA RELAZIONE

GENERATIVA AVREMO:

accoglienza apertura atteggiamento

ricercante atteggiamento

collaborativo

ALL’INTERNO DI UNA RELAZIONE

COMPETITIVA AVREMO:

rifiuto chiusura atteggiamento

giudicante atteggiamento

difensivo

36

Non basta però mettere le persone attorno a un tavolo, con un comune obiettivo valutativo,

perché magicamente si producano le condizioni per una buona valutazione.

E’ necessario che chi si assume la responsabilità di conduzione di tali processi svolga

un’attenta ed equilibrata funzione di regia che, accanto alle competenze tecniche affianchi

anche le capacità di gestione dei gruppi, le sensibilità contrattuali, le capacità di integrare

punti di vista e competenze diverse.

37

E’ infatti necessario che, nel corso di un processo di valutazione, i

partecipanti progressivamente divengano consapevoli che il

“gioco” della svalutazione non è particolarmente divertente, perché

alla fine non porta vantaggi a nessuno e produce soltanto

incomprensioni e frustrazioni,

38

Invece la riflessione sui significati, l’orientamento all’inatteso, la

assunzione di responsabilità di giudizio, la capacità di costruzione

collettiva di strategie di miglioramento sono esperienze complesse ma gratificanti, che

emergono solo in gruppi integrati, formati da individui che si

riconoscono reciprocamente come capaci e competenti.

39

Attenzioni metodologiche

40

ATTENZIONI METODOLOGICHE

Principio di autovalutazione

ogni soggetto interessato dalla valutazione è responsabile e

primo utilizzatore della propria valutazione

41

ATTENZIONI METODOLOGICHE

Principio dei diversi livelli di valutazione

il processo di valutazione interessa tutti i livelli istitu-

zionali coinvolti nell’ erogazione di un intervento

42

ATTENZIONI METODOLOGICHE

Principio di non autoreferenzialita'

per quanto possibile la valutazione deve essere basata

su riscontri oggettivi e comunque esterni al soggetto

valutatore

43

ATTENZIONI METODOLOGICHE

Principio di confrontabilità:

le valutazioni devono essere condotte sulla base di criteri di giudizio e metodi omogenei e permettere

confronti nel corso del tempo, anche fra più esperienze.

44

ATTENZIONI METODOLOGICHE

Principio di trasparenza:

le valutazioni devono essere condotte sulla base di criteri di trasparenza ovvero attraverso attività chiare, esplicite e

documentate per i diversi livelli e soggetti coinvolti

(chi ha diritto di sapere)

45

A B

V

E C D

SCHEMA dei "tasselli" Tratto da uno spunto di G. Mazzoli -

Studio APS Milano

46

SCHEMA DELLA "TENSIONE DEL VALUTATORE" tratto da Francis Alfoldi "l'evaluation en protection de l'enfance -

Théorie et méthode" Dunod 1999 paris - pg 113

Oggettività

Soggettività

47

IL SUCCESSO DELLA

VALUTAZIONE

48

IL SUCCESSO DELLA VALUTAZIONE

La probabilità di successo della valutazione è più alta in un ambiente turbolento (quadranti BCD schema di Thompson Tuden)

Infatti quando non si riesce a pianificare e prevedere, gli sguardi si rivolgono al passato, e pertanto la valutazione acquista un ruolo più importante

49

IL SUCCESSO DELLA VALUTAZIONE

La misura del successo della valutazione può essere rappresentata dall’ampiezza

dei cambiamenti intervenuti nel comportamento degli attori

dell’intervento, servizio o politica

50

IL SUCCESSO DELLA VALUTAZIONE

La probabilità di successo della valutazione è alta se questa svolge una funzione di apprendimento per gli attori

coinvolti

51

quanto fin qui esposto mi porta ad essere totalmente d’accordo con Bezzi quando

afferma che una valutazione efficace non può essere ridotta a mero

tecnicismo e che ”il valore della valutazione non è – solo – in ciò che

produce (il giudizio valutativo) ma nel processo partecipativo che compie per

produrlo” (Bezzi 2003).

52

“non importa solo quello che trovi alla fine della corsa ma anche quello che provi quando corri”

(notte prima degli esami)

53

bibliografiaTesti. C. Bezzi – Il disegno della ricerca valutativa- F.Angeli 2003 (edizione

aggiornata) G. Bertin – Valutazione e sapere sociologico – Il Mulino – 1996 (?) U. De Ambrogio – Valutare gli interventi e le politiche sociali – Carocci

Faber 2003 M. Palumbo – Il Processo di valutazione, F. Angeli 2001 E. Ranci Ortigosa (a cura di) La valutazione di qualità dell’intervento

sanitario – F. Angeli 2000 U. De Ambrogio “La valutazione partecipata della qualità come processo

relazionale generativo, su Prospettive Sociali e Sanitarie n. 14, 2004.

Siti . www.valutazione.it www.valutazioneitaliana.it