1

La valutazione dei progetti di promozione/educazione

alla salute

Elena Coffano

Si fa presto a dire valutazione….

2

La n

ostr

a m

issi

on

3

Attenzione specifica alla funzione di supportosupporto ed

accompagnamentoaccompagnamento al sistemasistemadella prevenzione e promozione

della salutemodulatamodulata nelle sue forme ai

bisogni ed agli scenariscenari di volta in volta presenti

(costruzione/manutenzione di reti, assistenza/conduzione di gruppi di lavoro, formazione in presenza

o a distanza, consulenza, co-progettazione, …)

4

Attenzione ai nuovi orientamenti(es. salute in tutte le politiche)

ed agli ambiti metodologici innovativi(es. health impact assessment,

sviluppo di comunità, marketing sociale)

5

3 principali aree tematiche:

•• documentazionedocumentazione

•• assistenza progettiassistenza progetti

•• comunicazionecomunicazione

6

7

Valutazione è…

8

Valutazione è…

9Si fa presto a dire valutazione….

mmm…. quanto potrà salire la quotazione fra 10 anni?

La qualità tecnica è veramente notevole

boh., il mio arredatore dice che sta bene con il divano bianco…

10Si fa presto a dire valutazione….

Perché dopo tanto

buon lavoro i problemi sono

ancora lì?

Chi deve valutare

?

Voglio i numeri!!!

Ma durerà?

Costa troppo!!!

E’ tanto o poco e rispetto a che cosa?

11

plausibilit

àplaus

ibilità

Ha senso?Ha senso? generalizzabilità

generalizzabilità

Si può Si può “esportare”?“esportare”?

completezzacompletezzaSi è tenuto Si è tenuto

conto di tutto?conto di tutto?

riprod

ucibili

tà

riprod

ucibili

tà

Si può Si può ripetere?ripetere?

efficacia

efficacia

Funziona?Funziona?

efficacia praticaefficacia pratica

Funziona Funziona qui?qui?

Si fa presto a dire valutazione….

sostenibilità

sostenibilità

Ce lo possiamo Ce lo possiamo “permettere”?“permettere”?

12

Quando un progetto/un’azione di promozione della salute può essere definito “buono”?

Se funziona

Se funziona qui

Se funziona con i mezzi che ho

efficaceefficace

trasferibiletrasferibile

sostenibilesostenibile

13

A l im e n ta z io n e

A t t iv i t à f is ic a

D ip e n d e n z e

In c . s t r a d a l i

S e s s u a l i t à

S a lu te m e n ta le

A l t r e a r e e

A b ru z z o 1 3 5 5 3 1 1 1 6 3 9 -

C a la b r ia 5 2 - - - - -

C a m p a n ia 3 7 1 5 3 8 4 1 9 1 4 1 1

E m il ia -R . 3 0 3 3 1 4 0 4 4 5 2 1 1 0 1 0 1

F r iu l i-V .G . 1 2 9 1 4 6 1 2 4 1 5

L a z io 1 7 7 3 3 4 3 0 6 7 2

L o m b a rd ia 9 9 2 8 1 0 1 7 4 1

M a rc h e 7 6 2 3 5 6 - 2

P ie m o n te 1 9 4 2 9 3 5 3 0 7 5

P u g lia 3 2 3 2 2 1 2 5 -

S a rd e g n a 5 3 9 3 6 - 1 2

S ic i l ia 1 9 1 0 4 9 9 3 7 5 9 -

T o s c a n a 3 2 1 4 4 9 2 -

U m b r ia 1 3 7 2 8 9 2 2 3 2 7

V e n e to 3 0 1 7 1 2 2 4 2 4 8 6 5 1

S1

222131

612

188316

445

147

>1500>1500

14

222 131

612

188316

445

ALI

ME

NT

AZ

ION

E

AT

TIV

ITÀ

FIS

ICA

DIP

EN

DE

NZ

E

INC

IDE

NT

I

ST

RA

DA

LI

SE

SS

UA

LIT

À

SA

LUT

E M

EN

TA

LE

A b ru z z o 2 1 3 1 1 4 C a m p a n ia 4 3 2 - 2 2 E m ilia -R o m a g n a 4 5 2 1 7 3 1 0 F r iu li-V e n e z ia G iu lia 1 - 6 - 5 9 L a z io 7 2 4 - 1 1 1 5 L o m b a rd ia 6 7 1 1 8 4 3 P ie m o n te 1 3 3 1 4 7 1 6 6 P u g lia 1 1 1 9 1 6 3 S a rd e g n a 2 1 2 - - - S ic ilia - - 2 - - 5 T o s c a n a 1 - 1 0 1 2 - U m b r ia 1 2 8 - 7 1 0 V e n e to 1 - 1 1 5 4 2 T O T A L E 4 3 2 5 1 1 3 3 0 6 1 6 9

Pro

getti

sel

ezio

nati

15

The aim of a health-promoting school is:

• to establish a broad view of health:

• to give students tools that enable them to make healthy choices;

• to provide a healthier environment engaging students, teachers and parents, usinginteractive learning methods, building better communication and seeking partners and allies in the community;

• to be understood clearly by all members of the school community (students,theirparents, teachers and all other people working in this environment), the “real value of health” (physical, psychosocial and environmental) in the present and in the future and how to promote it for the well-being of all;

• to be an effective (perhaps the most effective) long-term workshop for practising and learning humanity and democracy;

• to increase students’ action competence within health, meaning to empower them totake action – individually and collectively – for a healthier life and healthier living conditions locally as well as globally;

• to make healthier choices easier choices for all members of the school community;

• to promote the health and well-being of students and school staff;

• to enable people to deal with themselves and the external environment in a positive way and to facilitate healthy behaviour through policies; and

• to increase the quality of life.

Scopo di una scuola promotrice di salute è::

• definire una visione allargata del concetto di salute:

• fornire agli studenti strumenti che consentano loro di fare scelte salutari

• fornire un ambiente più salutare che coinvolga studenti, insegnanti e genitori, utilizzando metodi di apprendimento interattivi, costruendo una miglior comunicazione ed individuando partner e alleati nella comunità

• fare comprendere bene a tutti i membri della comunità scolastica (studenti e loro genitori, insegnanti ed altre persone che vi lavorano) il valore reale della salute (fisica, psicosociale ed ambientale) nel presente e nel futuro e come promuoverlo per il benessere di tutti;

• essere un efficace (forse il più efficace) laboratorio a lungo termine per praticare ed apprendere umanità e democrazia ;

• aumentare le competenze operative degli studenti rispetto alla salute, cioè rafforzare in loro la capacità di agire – a livello individuale e collettivo – per una vita più sana e per più sane condizioni di vita sia localmente che globalmente;

• far sì che le scelte salutari siano le scelte più facili per tutti i membri della comunità scolastica;

• promuovere la salute ed il benessere degli studenti e del personale scolastico ;

• rendere le persone capaci di confrontarsi con se stessi e con l’ambiente esterno in modo positivo e facilitare un comportamento salutare attraverso le politiche e

• migliorare la qualità di vita .

Scelte

Comportamenti,

Competenze

Valori

Politiche

……..

Decisori

Operatori

Studenti

Famiglie

Comunità

……..

Promuovere salute a scuola: molti

differenti risultati attesi, ognuno necessita di un

framework diverso per la valutazione (metodi, tempi,

strumenti, ma anche paradigmi)

16

Research has revealed the crucialimportance of involving the education sector in the process of agreeing to the potential benefits, asthe two sectors have differentcriteria and values in relation toeffectiveness and impact.

La ricerca ha dimostrato l’importanza cruciale del coinvolgimento del settore dell’educazione nel processo per la definizione concordatadefinizione concordatadei benefici potenziali, in quanto i due settori hanno differenti criteri e valori circa l’efficacia e l’impattodifferenti criteri e valori circa l’efficacia e l’impatto

17

Efficacia/impatto

scuola sanità

Mettersi d’accordo sui benefici attesi

L’importante è che mangino frutta

L’importante è che decidano loro

18

Studio APS – Spunti, 2003

Va bene per me

Va bene per la mia

istituzione

Va bene secondo le

regole scientifiche

19

Sto beneSto beneNon fumoNon fumo

Non fumoNon fumoSto beneSto bene

Paradigma della prevenzione Paradigma della prevenzione fattori di rischiofattori di rischio

Paradigma della promozione Paradigma della promozione risorse per la saluterisorse per la salute

Quale valutazione?Quale valutazione?

20EUHPID HEALTH DEVELOPMENT MODEL

(Public health intervention approaches)

MALATTIASALUTE POSITIVA

FATTORI DI RISCHIO

RISORSE

AMBIENTE SOCIO-ECOLOGICO

OPPORTUNITA‘ DI SALUTE

INDIVIDUO/I

MENTALE SOCIALE

FISICA

SALUTE

CAPACITA‘ DI SALUTE

PATOGENESISALUTOGENESIPROSPETTIVE ANALITICHE SULLO

SVILUPPO DELLA SALUTE

PROTEZIONE

/TUTELADELLA

SALU TE

PREVENZIONE

CURA

ASSISTENZA

PROMOZIONE DELLA

SALUTE

21

individuoindividuo popolazionepopolazione

Screenings

Screenings ,,

stima rischio ind

ividuale

stima rischio ind

ividuale

e vaccinazioni

e vaccinazioni

Inform

azione

Inform

azione

Educazione alla salute

Educazione alla salute

Educazione del pub

blico,

Educazione del pub

blico,

marketing

marketing

Sviluppo comunitario

Sviluppo comunitario

Sviluppo organizzativo

Sviluppo organizzativo

Politiche e strutture

Politiche e strutture

Approccio medicoApproccio medico

Approccio comportamentaleApproccio comportamentale

Approccio socioApproccio socio--ambientale (ecologico)ambientale (ecologico)

Health promotion, Department of Human Services, Victoria

22

23

SITUAZIONE SITUAZIONE (CONTESTO)(CONTESTO)

Progetti, azioni per soddisfare il bisognoProgetti, azioni per soddisfare il bisogno

BISOGNIBISOGNI

ObiettiviObiettivi

RisultatiRisultati

LA VALUTAZIONE LA VALUTAZIONE DIDI UN PROGETTOUN PROGETTO

(Berti P., Antonelli S., 2006 modif.)

AttivitàAttività

IdeazioneIdeazione

PianificazionePianificazione

ImplementazioneImplementazione

ValutazioneValutazioneValutazioneValutazione

24

Cooperazione nella scuola

Cooperazione tra scuola e comunità

Ambiente sociale e psicosociale

Ambiente fisico

Azione

Stili di vita

Condizioni di vita

Empowerment degli studenti e competenze per l’azione

Educazione alla salute:orientata agli studenti- orientata all’azione

Competenze professionali degli operatori

valutazione

valutazione

LA VALUTAZIONE LA VALUTAZIONE DIDI UNA STRATEGIA/POLITICAUNA STRATEGIA/POLITICA

25

Tre livelli di valutazione

• la qualità dei progetti all’interno della scuola

•Gli effetti del progetto sui comportamenti e/o la salute degli studenti

•Gli effetti del progetto sull’ambiente della scuola, sulle altre scuole e sulla comunità locale

fonte: van den Broucke (2002).

26

Azioni efficaci di promozione della salute Azioni efficaci di promozione della salute a scuolaa scuola

curriculum ambiente

comunità

27

28

29

unità di tempo

% obiettivi raggiunti

Nutbeam, 2003

1 2 3 4 5

Consapevolezza partecipazionesoddisfazione

Impatto suideterminanti PAR

Cambiamenti nei comportamenti a rischio e di protezione

Cambiamenti stato di salute e malattia

CHE COSA VI ASPETTATE DA QUESTO INTERVENTO?

MCV MCV -- KKInfezioniInfezioni

ogni giorno…ogni giorno…

5 porzioni frutta e 5 porzioni frutta e verduraverdura

30’ attività fisica30’ attività fisica

credenze credenze -- preferenzepreferenzescelte con senso criticoscelte con senso criticodisponibilità e costo cibidisponibilità e costo cibi

mense salutarimense salutari

coinvolgimento coinvolgimento

attivoattivo

30

strumentistrumentiQuantitativiQuantitativi strumentistrumenti

QualitativiQualitativi

- analisi banche dati

- indicatori di salute e di comportamenti

- moduli-registri di programmi di lavoro

- utilizzo di servizi

- partecipazione alle attività

- …

- focus group

- interviste

- questionari

- diari

- forum o gruppi di discussione

- panel

- …

La valutazione utilizza…La valutazione utilizza…La valutazione utilizza…

31

Processo (cultura dell’apprendimento)

Prodotto (soddisfazione a scuola)

Espressione di sentimenti degli studenti rispetto all’insegnamento in classe (divertente, noioso)

Risposte in una checklist oggettiva sull’insegnamento inclasse

Disegni degli studenti: “la mia scuola è un buon posto per essere… (colori e parole usati)

Numero di risposte affermative degli studenti alla domanda “la mia scuola è un posto dove sto bene”

32

1.gruppo di lavoro

2 .equità

3. empowerment

4. setting

5 .partecipazione

6 .modelli teorici

7. prove di efficacia

8 .analisi contesto

9 .risorse/tempi/vincoli

10 .collaborazioni

11.obiettivi

12 .val processo

13 .val risultato

14 .sostenibilità

15 .comunicazione

16 .documentazione

1

Griglia metodologica per la individuazione delle buone pratiche di prevenzione e promozione della salute nella scuola

Prerequisiti: Questa griglia è stata predisposta per valutare progetti in cui

• Esista un gruppo di lavoro

• L’intervento non sia di tipo esclusivamente informativo

Il documento si riferisce alla fase di (barrare)

Realizzazione intervento

Intervento concluso

Istituto scolastico

ASL

Responsabile del progetto

Titolo del progetto

Tema/i

Setting: (oltre a quello scolastico)

Destinatari finali

Destinatari intermedi

Il progetto coinvolge (barrare):

singola classe

interclasse plesso istituto rete tra istituti scolastici

rete territoriale

rete tematica

Data compilazione scheda: 1. Gruppo di lavoro

punti si no in parte

1. Il gruppo di lavoro è multidisciplinare (diverse materie, diversi servizi della stessa organizzazione, docenti, ATA, tecnici di laboratorio)

1

2. Il gruppo di lavoro è interistituzionale (settore sanità, scolastico, sociale, enti locali ed associazioni del territorio)

1

3. il gruppo di lavoro comprende rappresentanti del gruppo dei destinatari (studenti, genitori, etc.)

2

4. Il gruppo è riconosciuto formalmente con un documento che identifica i partecipanti del gruppo (nomina, delibera, criteri per individuare la composizione del gruppo)

1

2. Equità nella salute

punti si no in parte

1. L'intervento è parte integrante del curriculum formativo 3

2. L’intervento mira esplicitamente a ridurre le disuguaglianze relativamente a una o più categorie di persone

3

3. L’intervento adotta strategie e strumenti idonei che permettono di ridurre le disuguaglianze

2

STRUMENT

I

STRUMENT

I

VALIDA

TI

VALIDA

TI

33

Un set di strumenti di valutazione quali/quantitativa Un set di strumenti di valutazione quali/quantitativa

Risultato Risultato Apprendimenti Competenze Cultura salute

OggettoOggetto Unitàdidattica

Percorsodidattico

Curricula Strategiadi scuola

Piano di territorio

Attori Attori Insegnanti

ASL

Altri stakeholders comunità

Decisori

Classi

Genitori

Valutatori

34

35Le 10 tappe per il progetto

1. Stabilire le ragioni per valutare

2. Specificare gli obiettivi dell’azione

3. Descrivere l’azione

4. Confrontare obiettivi e azione

5. Definire di che dati si ha bisogno

6. Selezionare un disegno valutativo

7. Raccogliere i dati

8. Analizzare i dati

9. Riportare le conclusioni in una relazione

10. Utilizzare le conclusioni come base per le decisioni

fonte: van den Broucke (2002).

11

36

22

37

33

38

Onere della provaOnere della provadovrebbero le strategie essere

“considerate utili finché si dimostrano non efficaci o si dovrebbe assumere che siano inutilifinché risulta invece che sono efficaci?

Dovremmo decidere noi a chi spetta l'onere della prova.

Se questo onere si basa sulla dimostrazione di inefficacia, la posizione di default èquella di fare tutto; se invece si tratta di dimostrare l'efficacia, il default è non fare nulla.”

Rychetnik et al.2004

44

39La valutazione puòpuò• accertare la situazionesituazione esistente – valutazione preliminare che servirà da riferimento (funzione di benchmarking);• rispondere alla domanda: “funzionafunziona?” e fornire risposte su efficacia e costo-efficacia di un intervento o insieme di interventi;• attraverso la riflessioneriflessione su cosa, come e perché è successo, condurre a chiarificare gli obiettivi e le questioni relative a efficacia, efficienza, valore aggiunto e indicatori di performance dell’azione;•motivaremotivare il personale della scuola, della sanità e gli stakeholdersed incoraggiare il gruppo di progetto • migliorare la comunicazione ed il coinvolgimentocoinvolgimento nella scuola di tutti quelli coinvolti nella valutazione (genitori, operatorisanitari, membri della comunità…)• rispondere alle richieste di genitori, finanziatori, comunità e decisori circa l’affidabilitàl’affidabilità• ….

Modificato da Stears & Parsons (2002).

40

sviluppare

condivid

ere

riflettere

utilizzare

progettoazione

valutazione

Processo di intervento Processo di intervento integrato con la ricercaintegrato con la ricerca

giudizio

sistematizzazione

raccolta

Processo di produzione Processo di produzione delle evidenzedelle evidenze

implementare pubblicare

NIGZ 2005

Ciclo della Ciclo della conoscenzaconoscenza

41

Per concludere…. qualche suggerimento

• preparare la valutazione fin dall’inizio (definire i cambiamenti attesi, i tempi, le domande, gli strumenti per la valutazione)

•Costruire la valutazione “su misura” in base a obiettivi, destinatari, attori, contesto locale

•Concordare con tutti (progettisti, partner, finanziatori) senso, domande e metodi (valutazione partecipata e negoziata)

•Dimensionare la valutazione rispetto all’azione

• organizzare la valutazione come un’azione che ha come effetti il contributo alla decisione e all’informazione

43

44

45

46

47

48

49

50

Always remember:Always remember:the impossible is oftenthe impossible is often

the untried…the untried…

Ricorda sempre: l’impossibile Ricorda sempre: l’impossibile spesso spesso

non è altro che l’intentatonon è altro che l’intentato

51

Bisogna apprendere a Bisogna apprendere a navigare navigare

in un oceano di incertezze in un oceano di incertezze attraverso arcipelaghi di attraverso arcipelaghi di

52

Grazie dell’attenzione e….

buon buon lavoro!lavoro!