Università Iuav di Venezia DIPARTIMENTO DI PROGETTAZIONE E PIANIFICAZIONE IN AMBIENTI COMPLESSI CORSO DI LAUREA IN URBANISTICA E PIANIFICAZIONE DEL TERRITORIO cultura della valutazione 2015-2017 lezione 15 rassegna di metodi valutativi: prima parte ranking (ordinamento) valutazione estimativa validazione valutazioni esplorative stima/identificazione dei fabbisogni (need assessment) valutazione orientata agli obiettivi (objective-based) valutazione indipendente dagli obiettivi (goal-free) valutazione di risultato in termini di valore aggiunto valutazione degli impatti valutazione sperimentale o quasi-sperimentale (esempio: come guardare a sperimentazioni locali sul reddito di base da una prospettiva PV o EV) valutazione orientata ai costi analisi costi-benefici aggregata o disaggregata valutazione strategica valutazione avversariale riconoscimento del caso di successo valutazione artistica valutazione indiziaria valutazione guidata dalla teoria (theory-based) CIPP (context, input, process, product) prof. Domenico Patassini
Transcript
Università Iuav di Venezia DIPARTIMENTO DI
PROGETTAZIONE E
PIANIFICAZIONE
IN AMBIENTI COMPLESSI
CORSO DI LAUREA
IN URBANISTICA
E PIANIFICAZIONE DEL TERRITORIO
cultura della valutazione
2015-2017
lezione 15 rassegna di metodi valutativi: prima parte
ranking (ordinamento)
valutazione estimativa
validazione
valutazioni esplorative
stima/identificazione dei fabbisogni (need assessment)
valutazione orientata agli obiettivi (objective-based)
valutazione indipendente dagli obiettivi (goal-free)
valutazione di risultato in termini di valore aggiunto
valutazione degli impatti
valutazione sperimentale o quasi-sperimentale (esempio:
come guardare a sperimentazioni locali sul reddito di
base da una prospettiva PV o EV)
valutazione orientata ai costi
analisi costi-benefici aggregata o disaggregata
valutazione strategica
valutazione avversariale
riconoscimento del caso di successo
valutazione artistica
valutazione indiziaria
valutazione guidata dalla teoria (theory-based)
CIPP (context, input, process, product)
prof. Domenico Patassini
Premessa
Questa rassegna evidenzia la straordinaria varietà di ‘figure’ presenti nel paesaggio della valutazione,
senza alcuna pretesa tassonomica. Per contributi in tal senso si rinvia a testi ben più strutturati dove
teorie, approcci, metodi e tecniche vengono classificati sulla base di criteri ad hoc (usi, valori, modalità
di ricerca, pratiche di interazione sociale e così via). Si riducono all’essenziale anche i riferimenti agli
approcci EV e PV, trattati nelle prime lezioni. In questa sede, basti ricordare che EV opera secondo
logiche causa-effetto, si configura come test sull’applicazione della conoscenza (validazione) e informa
l’azione comunicativa fra stakeholder rilevanti. Al contrario, PV è consapevole della difficoltà di
distinguere cause da effetti e per questo cerca di tenere insieme esplorazione e validazione. Ricorre
all’ascolto ‘attivo’ e al dialogo orientati alla spiegazione di fenomeni sociali rispetto a ‘frame locali’ di
conoscenza. Critica (in quanto selettiva e disorientante) l’azione comunicativa dello stakeholder
rilevante, mentre riconosce nell’interazione sociale opportunità per costruire agende ed avviare processi
di advocacy. In sintesi, è un atteggiamento che favorisce la scoperta e l’espansione della conoscenza.
Inoltre, PV va oltre l’approccio ‘naturalistico’, superando l’ambiguità nell’uso del termine. Gli
approcci responsive, democratici, illuminativi sono anche detti transattivi. L’approccio ermeneutico,
forse il più contiguo alla valutazione come pratica di interazione sociale, non opera con modelli
pre-definiti: riconosce, infatti, possibilità di miglioramento (improve) e di giudizio (prove) in ogni tipo
di azione.
In questa sede ci si limita a ricordare che, pur nella loro varietà, le diverse ‘figure’ rinviano ad una
definizione comune di valutazione sintetizzabile come riconoscimento dei significati presenti in azioni,
eventi, oggetti o persone e come attribuzione di valori (merit e worth) ai significati riconosciuti e alle
loro ‘intensità’. Come evidenziato in precedenti lezioni, si tratta di due spunti che maturano
nell’interazione sociale e che si presentano secondo ragioni manageriali, democratiche, del ‘pluralismo
morale’ o del ‘liberalismo politico’. Queste ragioni rendono più o meno pertinente il ricorso a metodi e
tecniche.
Si ricorda che per il riconoscimento di significati e l’attribuzione di valori occorre formulare
proposizioni valutative come base esplorativa e/o di giudizio. Se l’azione è la tutela di un’area verde in
ambito urbano, il significato eco-sistemico può essere rilevante e i valori (worth) riconoscibili sulla
base dei servizi eco-sistemici erogabili. Il valore intrinseco (merit) può essere attribuito al suolo in
quanto risorsa non rinnovabile o rinnovabile in tempi lunghissimi. Allentando i vincoli della logica
proposizionale (ripresi comunque in molte analisi multi-criteriali), una proposizione valutativa si
configura come ipotesi/giudizio che conferma in modo comparativo (contro ipotesi/giudizi concorrenti)
la plausibilità della coppia significati-valori.
In questa accezione la valutazione può essere intesa come pratica sociale di riconoscimento di
significati e attribuzione di valori. Questo sforzo di descrizione e giudizio contribuisce in diversa
misura allo sviluppo di un ‘dialogo pertinente’ (e continuo) ‘deformando’ l’interazione e le sue
possibilità. La ‘deformazione’ può essere assimilata, ignorata o respinta. Se viene assimilata
l’interazione prosegue con nuova consapevolezza; se viene ignorata può proseguire con indifferenza; se
respinta, l’interazione (e l’eventuale dialogo) possono essere interrotti e riproporsi altrimenti.
L’approccio PV propone una narrativa consapevole delle opportunità e dei rischi della deformazione,
connettendo generazione a validazione, mentre EV, preoccupato della validazione, li sottovaluta o li
ritiene ‘fattori di disturbo’. Se con EV si guarda all’interazione (ai suoi ‘documenti’), con PV si è
nell’interazione e si osserva l’oggetto da prospettive diverse. Con EV (sperimentale, meta-analisi, ecc.)
l’attenzione è al cambiamento che un programma può generare e alle decisioni che lo motivano. Come
precisa J March1, questa attenzione considera razionale ogni procedura che persegue la logica della
conseguenza, che pone cioè una scelta in relazione alla risposta a quattro questioni fondamentali. Il
problema delle alternative possibili; il problema delle aspettative circa le conseguenze probabili e
derivabili; il problema delle preferenze circa i valori attribuiti ad ogni alternativa e il problema della
regola decisionale sul set di alternative tenuto conto del valore delle conseguenze. L’evidenza di questa
procedura è la sua presunta logica.
In PV l’interesse è al vissuto della interazione, alla sua possibilità e contingenza e a quella intelligenza
pratica che si forma nell’ attenzione al livello personale e interpersonale2.
Approcci, metodi e tecniche
Ranking (ordinamento)
E’ una operazione che consente di ordinare ‘oggetti’ (detti anche evaluandi) sulla base delle loro
performance relative, utilizzando un indicatore di sintesi. L’indicatore è una combinazione di
descrittori standardizzati e ponderati, e il suo potere comparativo deriva dalla scala. L’indicatore non
dice nulla circa la performance assoluta dell’oggetto, solitamente misurata su scala intervallare o
rapporto. Ad esempio, tutte le performance degli oggetti possono collocarsi al di sotto di una soglia
minima di accettazione, ma essere comunque classificati primi, secondi o terzi. La performance
assoluta non può essere ricavata da un ordinamento, mentre l’ordinamento può essere sempre costruito
partendo da una misura assoluta, su scala intervallare o rapporto. Diversamente dall’ordinamento
‘parziale’, l’ordinamento ‘vero’ non consente ex-aequo.
Questa operazione viene effettuata per ordinare città sulla base della qualità o del costo della vita, per
valutare offerte in bandi di gara o di concorso, per formare graduatorie delle migliori università (vedi
University Ranking Watch). Gli ordinamenti sono molto sensibili alla semantica e alla metrica dei
descrittori che compongono l’indicatore. L’ordinamento è anche una delle problematiche della
valutazione mono o multicriteriale. Ad esempio, il criterio unico di sintesi ‘rapporto benefici/costi’
nell’analisi costi-benefici consente di ordinare i progetti dal più al meno preferibile in prospettiva
economica. Nell’analisi/valutazione multicriteri l’obiettivo può essere l’ordinamento di opzioni (e non
la scelta o l’attribuzione a classi predefinite). Nella famiglia di tecniche Electre l’ordinamento è un
algoritmo di analisi di concordanza/discordanza3.
Il ranking si accompagna (differenziandosene) alle nozioni di appraising, assessing, auditing, rating e
grading.
Valutazione estimativa
Questo tipo di valutazione considera le basi di valore economico-finanziario di diverse categorie di
beni immobiliari ad uso residenziale e non, come indicato dai Codici di riferimento. In Italia vige il
Codice delle valutazioni immobiliari che riguarda fabbricati e aree fabbricabili, terreni e fabbricati
1 J March, 1998, Prendere decisioni, Il Mulino, Bologna, p.12. 2 Su questo tema vedi il nervoso dibattito ospitato da American Journal of Evaluation, n. 21, 2000 fra M W Lipsey e T
Schwandt, in particolare M W Lipsey, ‘Meta-analysis and the learning curve in evaluation practice’, pp. 207-12; M W
Lipsey, ‘Method and rationality are not social diseases ’, pp. 221-223; T A Schwandt, ‘Further diagnostic thoughts on what
ails evaluation practice’, pp. 225-229; T A Schwandt, ‘Meta-analysis and every-day life: the good, the bad, and the ugly’,
pp. 213-219. 3 L Y Maystre, J Pictet, J Simos, 1994, Méthodes multicritères ELECTRE. Description, conseils pratiques et cas
d’application à la gestion environnementale, Presses Polytechniques et Universitaires Romandes, Lausanne.
rurali, scorte, miglioramenti fondiari, boschi, legname, aziende commerciali, artigianali, industriali e di
servizio. Le basi di valore vengono riconosciute a partire da principi (prezzo, previsione, scopo,
ordinarietà e comparazione) e utilizzando procedure di stima (confronto di mercato, finanziario o del
costo). Le basi di valore variano a seconda della posizione del bene immobiliare nei processi di
valorizzazione. Il più semplice, anche se non sempre affidabile, è il valore di mercato (o valore di
scambio), a cui si possono accompagnare il valore di costo, di trasformazione e di realizzo. Questi
valori costituiscono, di frequente, la base per la stima di indennizzi di esproprio, di oneri di
urbanizzazione, di valori perequativi o compensativi. Per ragioni assicurative e/o fiscali può essere utile
il ricorso al valore assicurabile o di credito ipotecario (spesso alterato dal creditore per ragioni di
bilancio), mentre in caso di fallimenti e dismissioni si ricorre ai valori di liquidazione o di vendita
forzata. L’estimo catastale è orientato alla stima dei valori catastali di un bene sulla base di criteri
fisico-funzionali. I valori catastali possono essere molto diversi da quelli di mercato. Poiché questi
ultimi non restituiscono quasi mai il reale valore del bene4, soprattutto se ha caratteristiche ambientali,
storico-culturali e paesaggistiche di unicità, può essere utile il ricorso a valori d’uso, di esistenza e di
eredità. L’assenza di stime dirette consiglia in alcuni casi il ricorso a valori complementari, mentre in
presenza di trade-off può essere utile il valore di sostituzione. In determinate strategie di investimento
si utilizza l’omonimo valore, mentre in casi di esproprio, successione, servitù o valutazione del danno
si utilizzano stime di valore equo. E’ evidente che l’uso dei valori dipende dai principi di riferimento
dell’esercizio estimativo.
Tre sono le principali procedure di stima. Con la procedura analitica si stima il reddito che il bene
immobiliare è in grado di produrre (fitto, locazione, reddito agrario, ecc.) lungo tutto l’arco di vita e, al
netto di spese, oneri fiscali, quote di reintegrazione e costi di manutenzione, può essere attualizzato con
opportuno saggio di capitalizzazione. Nei casi in cui la procedura analitica non fornisca risultati ritenuti
affidabili si ricorre al metodo comparativo sulla base di transazioni recenti. In altri casi si ricorre alla
stima del costo di costruzione. Se si tratta di un fabbricato si calcola l’area edificabile e il costo per
costruire l’immobile al netto del deprezzamento. Nel caso di un terreno coltivato si calcola il costo del
terreno nudo, il costo degli alberi, dell'impianto, del capitale fisso rurale e la coltivazione fino alla data
della stima, sottraendo la vendita del prodotto annuo (vedi, ad esempio, i valori parametrici per zone
agrarie).
Le versioni più avanzate dell’estimo introducono più complesse stime econometriche e statistiche che
consentono di arrivare alla stima di un bene sulla base dei valori (utilità) attribuite alle sue componenti
costitutive da parte di consumatori e investitori. Uno di questi approcci comprende i modelli edonici.
Le stime possono essere effettuate anche sulla base di modelli urbani5.
Validazione
La validazione è una verifica/prova con cui si dimostra l’accettabilità o la congruità di una operazione
rispetto ad un set di criteri o vincoli. Nel campo delle opere pubbliche verifica e validazione assumono
carattere di certificazione che attesta la conformità e la appaltabilità di un progetto. In Italia, la
validazione è rilasciata dalla stazione appaltante nella persona del responsabile unico del procedimento
(Rup), previa verifica tecnica effettuata da apposito ente di ispezione in possesso delle necessarie
qualificazioni. La validazione si riferisce generalmente al progetto inteso come processo progettuale
4 Per questa ragione, in ACB si introducono i fattori di correzione. 5 La modellistica al riguardo è considerevole e rinvia, in termini molto generali, a due paradigmi delle scienze urbane e
regionali: il primo considera le relazioni dipendenti dalle localizzazioni, il secondo le localizzazioni dipendenti dalle
relazioni. Sugli effetti modellistici del secondo paradigma si sofferma M Batty, 2013, The new science of cities, The MIT
Press, Cambridge, Ma. Sul ruolo dell’informazione nei modelli estimativi vedi K I McDonald, 2000, ‘Use and valuation:
information in the city’, Urban Studies 37(10), pp. 1881–1892.
nell’ultima fase si conclude un accordo con gli intended user sul design e l’uso di ogni altra
valutazione.
Soprattutto EA è utile in programmi consistenti, distribuiti nello spazio e nel tempo, in cui le
responsabilità manageriali sono disperse, i criteri poco chiari soprattutto sul piano semantico e i
risultati attesi non del tutto evidenti. RFE contribuisce a riconoscere il valore probabile di uno sforzo
valutativo programmato 6 . Possono essere ricondotti a RFE anche gli approcci di tipo euristico
cosiddetti quick and dirty7.
Secondo Wholey, completano il quadro della valutazione esplorativa e di breve periodo i sistemi di
misurazione di performance (di gestione, di budget, ecc.), di processi e impatti (in ottica trans-scalare o
gerarchica) e i monitoraggi sugli usi dei risultati della valutazione. Insieme, questi strumenti possono
arricchire l’apprendimento organizzativo.
Stima/identificazione dei fabbisogni (need assessment)
In un contesto statico o dinamico la stima/identificazione dei fabbisogni è una pratica analitica spesso
richiesta dalla valutazione per cogliere i significati di priorità e, a partire da queste, proporre
l’allocazione di risorse disponibili. I fabbisogni possono emergere come istanze dalle interazioni
sociali. Identificazione e stima consentono di costruire eventuali ‘funzioni valutative’ Fv (f, v, o, c, a)
con f frame, v valori, o obiettivi, c criteri, a opzioni/alternative.
Il fabbisogno può essere definito come differenza (gap) fra uno stato attuale e uno stato atteso
relativamente a descrittori o criteri rilevanti. Del o dei gap viene riconosciuta l’importanza, ricorrendo
ad eventuali ordinamenti (ranking); vengono identificate specifiche cause e proposte soluzioni in un
piano d’azione. Il fabbisogno diventa priorità se riconosciuto problematico in un contesto sociale. Lo
stesso need assessment potrebbe essere valutato da diversi punti di vista.
Nel dimensionamento dei piani urbanistici, in programmi di rigenerazione o in politiche settoriali viene
stimato il ‘fabbisogno abitativo’ come somma di fabbisogno pregresso, adeguamento delle condizioni
abitative esistenti a standard accettabili, risposta a quantità e profili di domanda abitativa futura.
6 Vedi J S Wholey, ‘Using evaluation to improve program performance and results’, in Alkin M (ed.) 2013 Evaluation
Roots: A Wider Perspective of Theorists’ Views and Influences, Sage, Thousand Oaks, CA, p.262. 7 Gli approcci euristici di tipo quick and dirty vengono seguiti a fini esplorativi o in contesti di difficile accesso ad
informazioni sistematiche per ragioni logistiche, politico-culturali, di sicurezza e così via. In alcuni casi sono affiancati a
valutazioni di tipo etnografico. Un esempio datato (ma interessante perché riferito agli inizi della Rete), riguarda il design di
‘interfacce utente’ nei siti web, vedi J Nielsen, R Molich, 1990, ‘Heuristic evaluation of user interfaces’, Proceedings ACM
CHI'90 Conference (Seattle, WA, 1-5 April), pp. 249-256. L’euristica riguarda i seguenti temi: visibilità dello stato del sito
(gli utenti devono essere informati su quanto sta accadendo con feed-back in tempi ragionevoli); relazione fra architettura,
funzionamento del sito e mondo reale (il sito deve parlare il linguaggio dell’utente, in modo familiare, generando
informazioni in modo naturale e secondo un ordine logico); controllo e libertà dell’utente (in caso di uso errato di una
funzione, l’utente dovrebbe essere in grado di uscire e rientrare con operazioni undo e redo); consistenza e standard
nell’utilizzo di parole, frasi, ecc.; prevenzione degli errori con procedure precedenti l’azione; minimizzare l’archiviazione di
informazioni e renderle disponibili su semplice richiamo; flessibilità ed efficienza per utenti esperti ed inesperti; facilità
dialogica in ambiente esteticamente valido e minimalista (non ridondante); help per diagnosi e recovery.
Valutazione orientata agli obiettivi (objective-based)
Questo tipo di valutazione si concentra sulla specificazione e selezione di obiettivi singoli, multipli, o
raggruppati per classi o temi. Agli obiettivi sono correlabili azioni per il superamento di eventuali
ostacoli. I risultati rilevati sono così riferiti ad obiettivi espliciti e, oltre a contribuire alla valutazione di
efficacia, generano informazioni utili sul progetto/programma, sulla sua replicabilità e, più in dettaglio,
su questioni decisionali e di rendicontazione 8 . Non mette in discussione gli obiettivi definiti (o
dichiarati), considerandoli uniche fonti di significato e valore. Discrimina ciò che si ritiene appartenga
ad altri domini, come gli imprevisti o gli effetti collaterali. Si può dire che questa ‘discriminazione’,
isolando l’imprevisto, in qualche modo lo legittima.
Una versione semplificata (generalmente ex-post) è la valutazione di differenza, divario o discrepanza
(discrepancy evaluation) che, esplicitando obiettivi e risultati attesi, ne misura la distanza specifica e/o
rispetto a standard, benchmark o con il confronto a profili ideali. La distanza può essere interpretata
con suggerimenti per una sua eliminazione o riduzione. Le distanze possono essere misurate e
interpretate anche rispetto agli input e al processo. Può essere uno strumento prossimo al CIPP o utile
in prospettiva costruttiva o formative.
Questo tipo di valutazione viene criticato per varie ragioni: ad esempio, per la difficoltà di definire con
precisione obiettivi e misure o perché il loro raggiungimento può essere apprezzato solo a conclusione
del programma, ma anche perché di questo non si considera il merit o perché non ci si interessa dei
risultati inattesi.
Valutazione indipendente dagli obiettivi (goal-free)
Questo approccio è motivato dalla cosiddetta ‘critica agli obiettivi’ (goal critique). Non è, infatti,
scontato che gli obiettivi di un progetto rappresentino un uso accettabile, se non ottimale, delle risorse
disponibili per rispondere a determinati bisogni o domande. La relazione fra obiettivi e risorse è
biunivoca: la disponibilità di risorse può motivare alcuni obiettivi, ma possono essere anche gli
obiettivi a ‘creare’ risorse, aiutare a scoprirle e utilizzarle. Una risposta può essere fornita da indagini di
supporto di tipo need assessment, attente a questa relazione biunivoca. Non è neppure scontato che gli
obiettivi abbiano un fondamento culturalmente valido, che rispondano a principi etico-morali o che
intendano volutamente limitarne la portata. Inoltre, è noto che ogni azione genera effetti collaterali o
esternalità di vario genere attribuibili a soggetti diversi dai beneficiari (o dalle vittime) dichiarati/e.
Non è sempre chiaro il modo in cui effetti attesi e inattesi rispondano a bisogni, vincoli o frame
etico-culturali dei soggetti interessabili. Ma un quesito più generale riguarda il processo di generazione
degli obiettivi stessi: dati in EV, incognite in PV. Questo processo (inclusa la sua valutazione) è
consistente con bisogni, culture e principi etico-morali?9 E’ efficace in termini di costo (in senso lato e
non soltanto monetario), può fornire un utile riferimento per esperienze analoghe senza rinviare agli
scomodi concetti di esportabilità, replicabilità e sostenibilità.
La valutazione goal-free può essere considerata complemento della valutazione orientata agli obiettivi.
Viene incaricato un analista/valutatore (goal-free investigator - Gfi) per riconoscere che tipo di effetti
8 Vedi il seminale R Tyler, General Statement on Evaluation del 1942, importante contributo alla valutazione del sistema
educativo Usa. 9 M Scriven, ‘Conceptual revolution in evaluation. Past, present and future’, in Alkin M (ed.) 2013 Evaluation Roots: A
Wider Perspective of Theorists’ Views and Influences. Sage, Thousand Oaks, CA, p. 177.
può generare o aver generato un progetto indipendentemente dagli obiettivi. Gfi viene informato sui
beneficiari del progetto e in merito al contesto in cui opera, ma ignora gli obiettivi. Analizza che cosa il
progetto ha prodotto o sta generando, verifica le istanze dei beneficiari (bisogni, domande, ecc.) ed
evidenzia come il progetto si relaziona al contesto, con quali meccanismi interagisce e così via.
Riconoscendo ciò che il progetto genera, Gfi non formula giudizi di valore su ‘verità’ o ‘falsità’ degli
effetti, sulla loro pertinenza o rilevanza, né distingue gli obiettivi dichiarati da quelli ‘praticati’. La
conoscenza di queste cose è ‘irrilevante’ rispetto a ciò che accade realmente. Si concentra su processi
ed effetti (realizzazioni, risultati e impatti) rispetto a domande e bisogni sociali cui il progetto intende
rispondere. In certe circostanze è l’unico modo per evidenziare ‘deviazioni’, effetti collaterali,
esternalità e riconoscere i valori di un’azione progettuale indipendentemente dagli obiettivi. Il risultato
viene confrontato con la valutazione orientata agli obiettivi. I due tipi di valutazioni possono essere
condotte in simultanea per consentire una plausibile comparazione dei risultati.
La valutazione goal-free può essere effettuata in modo manageriale, democratico o pluralista, o con
impianto pragmatista sensibile al pluralismo dei valori.
Valutazione di risultato in termini di valore aggiunto (outcome evaluation as value added assessment)
Evidenzia miglioramenti lungo trend di risultato. Ad esempio, l’applicazione di dispositivi di
compensazione ecologica potrebbe ridurre tendenzialmente il consumo di suolo a fini edificatori in un
determinato contesto territoriale e/o migliorare l’offerta di servizi eco-sistemici.
Valutazione degli impatti
Gli effetti di un’azione possono essere apprezzati come realizzazioni (output), risultati (outcome) e
impatti. E’, quindi, consigliabile non assimilare l’impatto ad un generico effetto, ma ad una sua
declinazione specifica. Non è appropriato misurare l’impatto neppure come misura di una variazione in
termini di realizzazione o di risultato, a meno di non riferire entrambe a una determinata ‘popolazione’
o ad un ‘contesto di riferimento’.
La definizione utilizzata nelle pratiche valutative non è comunque univoca in quanto l'impatto può
venire inteso come ‘mappa’ di una realizzazione o di un risultato su una popolazione o su un contesto,
ma anche come effetto o contributo di un’azione. Questo tipo di valutazione aiuta a rispondere a due
tipi di quesiti. Con il primo si verifica se un’azione ha generato un impatto positivo o negativo e se vi è
un nesso causale. A questo quesito cerca di dare risposta la valutazione di impatto controfattuale. Il
secondo quesito è più complesso in quanto si intende verificare se un’azione ha generato gli impatti
desiderati o se è successo qualcos’altro, se l’azione ha funzionato, perché ha funzionato e in quali
circostanze. A questo quesito cerca di rispondere in modo discorsivo o formale la valutazione
d’impatto basata sulla teoria.
Per la valutazione di impatto si ricorre spesso a metodi sperimentali, econometrici, fisico-matematici o
alla statistica spaziale, e su di essi si fonda in modo esplicito quello che potremmo definire il
‘movimento’ EV, deciso sostenitore della ‘valutazione scientifica’10.
Spesso ancorata al ciclo di vita di una azione (vedi life cycle assessment, Lca) la valutazione di impatto
si concentra sulla logica di generazione degli impatti, sulla loro dimensione spazio-temporale e sul
modo in cui ‘diffusione’ e interazione’ ne possono modificare la natura. In campo ambientale/
10 Vedi, ad esempio, G Julnes, D J Rog (eds), 2007, ‘Informing federal policies on evaluation methodology: building the
evidence base for method choice in Government sponsored evaluation’, New Directions for Evaluation 113, Jossey-Bass,
San Francisco, 4-12; M W Lipsey, E Noonan (eds), 2009, ‘Better evidence for a better world’, International initiative for
impact evaluation (3ie), Working paper n.2, New Delhi; E Stern et al. 2012, ‘Broadening the range of design and methods
for impact evaluations’, Working paper n. 38, Dept. for International Development, London.
territoriale/sanitario si ricorre a Via, Vinca, Vit, Vis e ad altre tecniche specifiche. Per la tutela dei beni
storico-culturali è prevista la valutazione di impatto patrimoniale.
La valutazione di impatto viene a volte criticata perché orientata a limitare i danni, i rischi di varia
natura e a stimarne i costi. Nonostante contribuisca ad orientare strategie di risarcimento 11 , la
valutazione di impatto non può sostituire la promozione di azioni in grado di mettere in discussione
condizioni e cause di impatto.
Valutazione sperimentale o quasi-sperimentale12
Con questo tipo di valutazione si cerca di riconoscere e misurare l’effetto netto/lordo (aggregato o
disaggregato) di un’azione progettuale su un target di beneficiari definito ‘gruppo sperimentale’ (Gs).
Gs rappresenta i beneficiari del progetto e il ‘campione’ su cui si testa l’ipotesi di progetto. Gli effetti
devono essere prevedibili e riferiti ad obiettivi progettuali circoscritti. Il grado di raggiungimento degli
obiettivi viene misurato sulla base di descrittori misurabili. Gli obiettivi costituiscono il termine di
paragone della riuscita del progetto, rendendo questo tipo di valutazione goal oriented (orientata agli
obiettivi). Il grado di realizzazione degli obiettivi del progetto (ovvero la sua efficacia) viene assunto
come criterio generale e non si considerano effetti inattesi o collaterali. In presenza di più obiettivi
l’efficacia può assumere forma additiva o moltiplicativa, tenendo conto del carattere cooperativo o
conflittuale degli obiettivi medesimi. La disaggregazione degli effetti può consentire l’apprezzamento
di effetti distributivi del progetto. Poiché si intende verificare se i cambiamenti nel target (Gs) sono da
attribuirsi al progetto (effetto netto) o anche ad altri fattori (effetto lordo) occorre effettuare un vero e
proprio esperimento assumendo che quanto il progetto genera sia spiegabile ricorrendo ad un modello
causale. La teoria della spiegazione causale è basata sul principio della successione nel tempo fra causa
ed effetto e assume vi sia linearità, ovvero che l’entità dell’effetto derivi dall’entità della causa
(proporzionalità causa-effetto).
L’esperimento viene costruito secondo la seguente procedura. In primo luogo si identificano le variabili
da studiare (descrittori di effetti del progetto vs. descrittori della popolazione beneficiaria). Vengono
quindi costruiti in modo casuale i due gruppi (sperimentale e di controllo, Gs e Gc), il più possibile
simili. Si applica, quindi, il progetto su Gs, misurando i descrittori degli effetti e della popolazione
11 La letteratura sulla valutazione economica del danno è imponente e molto influenzata dai modelli assicurativi, fiscali e
dalle pratiche giudiziarie. Per quanto concerne i danni all’ambiente, le proposizioni valutative sono sensibili alle concezioni
di sostenibilità che, com’è noto, variano a seconda si adotti l’approccio tipico della deep ecology, elaborata dal filosofo
norvegese Aarne Naess e sostenuta dal biologo statunitense Paul Erlich, oppure l’ottimismo del riformismo liberale o più
impegnative pratiche di ecologia sociale (vedi, ad esempio, M M Bookchin, 1989, Per una società ecologica, Elèuthera,
Milano 1989; J Biehl, 2015, Ecology or catastrophe: the life of Murray Bookchin, Oxford University Press; V Gerber, F
Romero, 2014, Murray Bookchin, Pour une écologie sociale et radicale, Le Passager clandestin, Neuvy-en-Champagne).
Sulla valutazione economica del danno ambientale nella logica del risarcimento sono esemplificativi i contributi di E De
Francesco, P Rosato, L Rossetto, ‘Valutazione economica del risarcimento per danni all’ambiente’ e di F Nuti, Marco
Stampini, ‘Valutazione economica del danno ambientale in sede giudiziaria’ entrambi in S Moroni e D Patassini (a cura),
2006, Problemi valutativi nel governo del territorio e dell’ambiente, FrancoAngeli, Milano, rispettivamente a pp. 144-162 e
a pp. 163-179. Un invito ad andare oltre la logica della limitazione del danno viene da un protagonista della controcultura e
del movimento bio-regionale Usa negli anni ’60, P Berg. Berg è stato attore di strada con la Mime Troupe e uno dei
fondatori di Diggers, gruppo libertario che nel quartiere hippie di Haight-Ashbury a San Francisco prestava gratuitamente
cure mediche, aiutava a risolvere problemi abitativi, forniva aiuti alimentari, ma soprattutto controinformazione a chi si
trovava in condizioni di bisogno. Una selezione dei suoi scritti a cura di G Moretti è ripubblicata in P Berg, 2016, Alza la
posta! Saggi storici sul bioregionalismo, Edizioni Mimesis. 12 La letteratura sull’argomento è vastissima e si è sviluppata in Usa a partire dagli anni ’60 del secolo scorso. Un
riferimento relativamente recente è DT Campbell, MJ Russo (1999), Social experimentation, Sage, Thousand Oaks, Ca,
anche se va ricordato che a fondamento di questo metodo vi è la statistica fisheriana sviluppatasi nella prima metà del
secolo XX. Per un riferimento in lingua italiana a questo approccio vedi N Stame (a cura), 2007, Classici della valutazione,
FrancoAngeli, Milano.
prima e dopo il trattamento (progetto). Se le misure del descrittore di effetto sono uguali prima e
diverse dopo, il progetto può esserne la causa. L’esperimento esclude azioni di fattori ‘esterni’ (cosa
difficile nella realtà sociale, più facile in laboratorio) e l’inferenza viene ritenuta possibile soltanto
dopo esperimenti ripetuti con test su possibilità di generalizzazione.
Quando, per ragioni logistiche o etiche, non è possibile costruire i due gruppi a confronto in modo
casuale si passa da una comparazione con-senza progetto ad una comparazione pre-post progetto su un
unico gruppo (Gs=Gc), oppure si segue una procedura quasi-sperimentale, con Gs e Gc non casuali e
selezione dei componenti13. Esistono diverse varianti in proposito.
Questo tipo di valutazione con esperimenti randomizzati o non randomizzati è di grande interesse e può
essere applicato in politiche sociali a precise condizioni. Innanzitutto cause ed effetti devono essere
prevedibili, lineari e sequenziali; le circostanze nelle quali avviene l’esperimento devono rimanere
costanti e con variazioni prevedibili; i siti sperimentali dovrebbero essere ‘isolati’, ovvero non
influenzabili dal contesto. Si tratta di condizioni molto forti e difficili da rispettare in qualsiasi
momento e luogo. Queste difficoltà incoraggiano comunque la riflessione. Le principali evidenze
riguardano i nessi causali non facilmente riconoscibili (black box). Infatti, di cause ignote si possono
conoscere gli effetti, ma potrebbe essere difficile identificare a priori anche gli effetti di cause note.
Questa doppia incertezza sui nessi di causalità fra programma/progetto ed effetti consiglia il ricorso ad
altri approcci come la valutazione fondata sulla teoria o la valutazione realista. In entrambi i casi, al
nesso di causalità si sostituiscono i meccanismi di cambiamento come dominio analitico. Ciò può
avvenire con riferimento ad una ipotetica sequenza azione-risultato (i-o), ma anche nel caso in cui
questa ipotesi non sia plausibile. Nel primo caso si cerca di individuare il meccanismo intermedio che
conduce dalla causa all’effetto atteso; nel secondo, si cercano i meccanismi che possono aiutare la
formulazione di ipotesi sui nessi casuali. Ad esempio: attraverso quali meccanismi il passaggio dalla
tassa alla tariffa riduce i rifiuti, ne modifica la funzione di produzione e i comportamenti di gestori e
utenti? Con opportune indagini sull’utenza e valutazioni di contingenza rispetto a scenari di servizio
potremmo evidenziare come l’introduzione della tariffa riduca gli utili del gestore e generi significativi
effetti distributivi per condizione socio-economica e abitativa degli utenti. Ma attraverso quali
meccanismi tutto questo può avvenire?
Altri limiti riguardano l’affidabilità statistica dei risultati (validità interna) e le difficoltà di
generalizzazione (validità esterna e uso). In alcuni casi potrebbe essere più interessante spiegare perché
in situazioni simili si ottengono esiti diversi.
In sintesi, la valutazione sperimentale viene effettuata su gruppi sperimentali (Gs) e di controllo (Gc)
scelti con procedura casuale (randomized). Si sviluppa mediante comparazione di profili pre-post o
con-senza su criteri ‘discriminanti’. La valutazione non-sperimentale non ricorre a campionamenti
casuali, può limitarsi al confronto dei comportamenti pre-post di Gs, a volte ricorrere a serie temporali
interrotte e ad analisi di discontinuità regressiva (variazioni di intercetta e coefficiente regressivo).
Esempio: come guardare a sperimentazioni locali sul reddito di base da una prospettiva PV o EV
Diversamente dalle politiche macro orientate al sostegno della domanda aggregata e al contenimento
delle diseguaglianze, le sperimentazioni locali sul reddito di base (inteso come minimo vitale e quindi,
13 Per alcuni esempi di valutazione quasi-sperimentale nel campo delle politiche abitative e di rigenerazione urbana in Usa,
vedi T.D. Boston, “The effects of revitalization on public housing residents”, Japa, vol.71, n. 4, Autumn 2005 pp. 393-410;
G Galster, P Tatian J Accordino, “Targeting investments for neighborhood revitalization”, Japa, vol.72, n. 4, Autumn 2006,
pp. 457-474. Interessanti sono anche esperienze di ‘valutazione di impatto sociale’ (vedi dispensa ppt su progetto WB in
Vietnam), le esperienze riportate nelle periodiche rassegne di WB-OED, i materiali didattici di Ipdet (International program
for development evaluation training), la documentazione del Gao in Usa (Gao’s program evaluation and methodology
division) e quella di Oecd/Dac Expert group on aid evaluation. In Italia è molto limitato il ricorso a queste pratiche.
a certe condizioni, garantito) si misurano con l’efficacia delle politiche urbane e affrontano il
complesso tema ‘città e welfare’. Questo tema ha implicazioni sulla configurazione delle formazioni
sociali urbane e la loro mobilità, sulla costruzione della città fisica, ma anche sulla sua manutenzione e
gestione. In generale, sulle ‘atmosfere’ urbane. Sono rilevanti anche gli innesti su teorie e pratiche del
planning.
In America Latina, in Africa e in India sono stati effettuati diversi esperimenti con esiti interessanti e a
volte contraddittori. Ma al di là degli esiti e degli approcci seguiti, in questi esperimenti risulta
abbastanza evidente come la valutazione non costringa la politica ad abdicare. Neppure la politica si
ritrae irresponsabilmente affidando alla valutazione compiti impropri. Cerca semplicemente di ‘capire’
con un esperimento dal vivo, di cui sono note implicazioni e limiti, che cosa potrebbe generare una
determinata politica sociale.
Un’ esperienza svolta nel periodo più ottimista della experimenting society nordamericana è quella di
Dauphin (Manitoba, Canada). Dal 1974 al 1979 l’amministrazione provinciale e il governo federale
canadese hanno garantito un reddito di base agli abitanti meno abbienti di Dauphin come stimolo al
lavoro14.
Le recenti esperienze in corso in alcune città olandesi e finlandesi15 hanno avviato un interessante
dibattito su obiettivi, strategie ed esiti e quindi sul senso di queste politiche a livello locale. In Olanda
hanno avviato, o stanno comunque discutendo, queste esperienze le città di Utrecht, Tilburg, Maastrict
e Groningen. Esperienze analoghe si stanno valutando in Finlandia.
Verso la fine del 2015 la Giunta municipale di Utrecht16 ha avviato un progetto sperimentale (progetto
pilota) denominato basic income, una sorta di reddito di base incondizionato che dovrebbe permettere
ad un insieme di persone, già beneficiarie di un sussidio sociale, di ricevere ogni mese per due anni tra
900 e 1300 euro mensili (a seconda dello status familiare) senza alcun tipo di obbligo o condizione.
‘Sia chiaro, io non sono né contro né a favore’, dice Victor Everhardt l’assessore al lavoro, ‘ma è un
dato di fatto che il nostro sistema di welfare non funzioni più come una volta. Così abbiamo deciso di
sperimentare cosa può accadere se a persone che già ricevono assistenza, seppur vincolata a una serie
di comportamenti, forniamo lo stesso tipo di aiuto economico slegato da qualsiasi forma di obbligo.
14 L’esperimento (denominato Mincome e interrotto per un cambio di amministrazione) cercava di testare un’ipotesi allora
non comune, ovvero se un reddito annuale incondizionato disincentivasse la propensione al lavoro dei beneficiari e se sì di
quanto. Ogni nucleo familiare riceveva il contributo in cash e chi lavorava se lo vedeva ridotto di 50 cent per ogni dollaro
guadagnato. I risultati hanno evidenziato un certo impatto sul mercato del lavoro locale. Le ore lavorate sono diminuite
complessivamente dell’1% per gli uomini, del 3% per le donne sposate e del 5% per le nubili. Alcuni ritengono queste
variazioni sottostimate, perché i beneficiari sapevano che l’esperimento sarebbe finito prima o poi. In ogni caso, la
riduzione nelle ore lavorate risultava compensata dal tempo aggiuntivo dedicato alla famiglia e all’educazione. Si registrava
cioè un diverso utilizzo del tempo il cui valore poteva essere agevolmente stimato ricorrendo a costi-opportunità. I genitori
dedicavano più tempo ai figli e aumentava la partecipazione a corsi di formazione permanente. Contemporaneamente, gli
studenti miglioravano le prestazioni scolastiche in termini di frequenza, votazioni, promozioni, ma anche impieghi meglio
qualificati e retribuiti. Non è stata effettuata una valutazione conclusiva dell’esperienza, ma Evelyn L Forget (direttrice del
Centro Ricerche dell’Università di Manitoba) ha elaborato (nel 2009-11) le informazioni disponibili mettendo in luce aspetti
ancor più interessanti. Solo le madri giovani e i teenager diminuivano significativamente le ore lavorate. E quelli che
continuavano a lavorare avevano l’opportunità di scegliere il lavoro preferito. Durante il periodo in cui si svolgeva
l’esperimento le visite ospedaliere sono diminuite dell’8.5%, con significativa diminuzione degli incidenti di lavoro,
riduzione delle emergenze per incidenti stradali e abusi domestici. Sono anche diminuite le ospedalizzazioni psichiatriche e
il numero di visite specialistiche in malattie mentali, vedi Evelyn L Forget, 2011, The Town with No Poverty. Using Health
Administration Data to Revisit Outcomes of a Canadian Guaranteed Annual Income Field Experiment, University of
Manitoba. 15 R Fulterer, ‘I Paesi Bassi sperimentano il reddito di base’, Internazionale 28/8 – 3/9 2015, p. 94. 16 Stanno pianificando esperimenti simili altre città olandesi come Tilburg, Groningen, Nijmegen e Wageningen. La
diffusione di questi esperimenti è motivata da un permanente deficit di domanda di lavoro a fronte di un sistema di welfare
che assume la possibilità di azzerarlo, se non trasformarlo in saldo positivo. Se il deficit permane o si aggrava, l’efficacia,
l’efficienza e la stessa equità del sistema di welfare potrebbero ridursi considerevolmente.
Che cosa faranno? Passeranno il loro tempo seduti sulla poltrona a guardare la tv oppure, senza tutte le
limitazioni imposte, avranno tempo, modi e capacità per reinventarsi una vita? ’ 17 . La Utrecht
University School of Economics 18 , incaricata dello studio, valuta se gli obblighi connessi alla
erogazione di forme di assistenza sociale (come accettare lavori modesti e non graditi, lontani da casa o
senza prospettive di mobilità sociale, pena decurtazione dei sussidi) incentivino significativamente le
persone a trovare lavoro; oppure, se responsabilizzarle garantendo uno stile di vita e un lavoro più
flessibile non possa costituire una alternativa migliore19. I gruppi sperimentali e di controllo sono
composti da 300 persone scelte fra le 9000 che già ricevono assistenza nelle città di Utrecht. Il gruppo
sperimentale (con reddito di base senza limitazioni) verrà confrontato con un primo gruppo di controllo
formato da persone che manterranno il sussidio tradizionale e con un secondo gruppo di controllo
composto da soggetti che riceveranno il sussidio, ma con minori obblighi.
Queste esperienze e le discussioni sugli esiti evidenziano come l’argomento stia entrando nell’agenda
della politica economica anche come risposta alla crisi dei sistemi di welfare nell’economia liberista. In
Italia il dibattito è acceso, ma alle verifiche empiriche e agli studi sul campo si preferiscono più
comode argomentazioni ideologiche. Un referendum effettuato nel 2016 in Svizzera ha registrato una
forte opposizione (78%) alla introduzione del reddito di base incondizionato20.
Nell’esperimento di Utrecht21 i beneficiari (circa 300 e già titolari di sussidio sociale) riceveranno a
determinate condizioni circa 1000 euro al mese in forma di sussidio o come reddito di base
incondizionato. Mentre il sussidio viene percepito durante il periodo di disoccupazione, il reddito di
base può continuare ad essere riscosso anche se il beneficiario inizia a lavorare. Il reddito di base
sarebbe quindi indipendente dalla condizione lavorativa e l’obiettivo dell’esperimento non
riguarderebbe tanto le variazioni delle condizioni di vita dei beneficiari quanto ‘stabilire se il controllo
e le pressioni degli uffici di collocamento sono davvero necessari per motivare i disoccupati a cercare
un impiego o a seguire un corso di specializzazione’22.
L’esperimento (nella logica dell’experimenting society) sta generando un dibattito interessante che non
sembra riguardare in modo prioritario il ruolo degli uffici di collocamento e più in generale
dell’amministrazione pubblica. Vi è chi ritiene che la scelta di non lavorare dipenda dall’entità del
reddito assegnato al beneficiario contro l’opinione di chi ritiene siano altri i fattori determinanti: lo stile
di vita, ad esempio, le strategie di sopravvivenza, la densità delle relazioni familiari o sociali,
l’impegno sociale, e così via. Già queste opinioni pongono interessanti domande alla ricerca valutativa.
Ma un argomento non certo irrilevante riguarda l’attribuzione del reddito di base (o minimo). Deve
limitarsi ad alcune categorie di beneficiari e quindi dipendere da alcune condizioni (da cui la
definizione di ‘reddito di base condizionato’) o va esteso a tutti, incondizionatamente? In questo
secondo caso, che implicazioni potrebbe avere sulle politiche locali di welfare e sulle trasformazioni
sociali?
Il reddito di base verrebbe a sostituire altri sussidi previdenziali o servizi pubblici come le scuole
dell’obbligo e l’assistenza sanitaria modificando radicalmente le politiche locali di welfare sia dal 17 Intervista di G Malatesta a V Everhardt pubblicata in La Repubblica - Il Venerdì, 20/11/2015, pp. 57-58. 18 Responsabile del progetto è Loek Groot. 19 Non va dimenticato che l’Olanda nel 2015 registra un tasso di lavoro part-time pari al 45% (il più elevato nella Ue) e un
tasso di disoccupazione del 7%, inferiore alla media Ue. 20 La proposta prevedeva un reddito mensile, dalla nascita alla morte, di 2.500 franchi elvetici (circa 2.250 euro) per gli
adulti e di 625 franchi (560 euro) per i minorenni, a sostegno della dignità umana e del servizio pubblico. Secondo i
promotori in Svizzera si perdono sempre più posti di lavoro a causa dell'automazione e una percentuale significativa di
persone svolge un lavoro non riconosciuto e non pagato, come la cura dei bambini o di parenti malati o anziani. 21 L Doré, 2015, ‘Dutch city of Utrecht to experiment with a universal, unconditional 'basic income'’, The Independent
raggiungere un obiettivo, ognuna dotata di potenziale efficacia a determinati costi. Si assume anche che
le efficace potenziali siano confrontabili, condizione non sempre garantita e influente su eventuali
meta-analisi. Trattandosi di un quoziente C/E, un’azione (anche nella forma più astratta di opzione) può
intervenire sia su C che su E. Se più sopra abbiamo considerato come varia E dato C, possiamo anche
verificare come potrebbe variare C dato E.
C/U evidenzia come può essere massimizzata l’utilità (associata ad un insieme di benefici anche
qualitativi) al minor costo. I diversi attributi di utilità associati ai benefici sono ponderati sulla base
delle preferenze dei soggetti coinvolti (promotori, investitori, produttori, beneficiari diretti e indiretti, e
così via), utilizzando la teoria della utilità multi-attributo, metodi diretti o indiretti, dispositivi di
ponderazione/standardizzazione o approcci di teoria delle decisioni. Nelle analisi del rischio e nelle
valutazioni economico-finanziarie degli impatti ambientali si ricorre di frequente alla stima monetaria
dei danni e ai costi da sostenere per evitare un danno probabile (costi incrementali). Questi ultimi (detti
anche avoidance cost, costi di mitigazione o di controllo) evidenziano la differenza fra ciò che si
spenderebbe in uno scenario do nothing o business as usual (Bau) rispetto ad uno scenario
precauzionale. Si tratta di una analisi C/E che consente di stimare il costo minimo per diminuire di una
certa quota l’impatto (target). Il target ottimale (ad esempio, un livello di emissione) si trova
all’intersezione della curva del costo marginale di mitigazione (marginal avoidance cost) e la curva di
danno sociale marginale (marginal social damage). L’intersezione identifica il prezzo-ombra.
L’impatto è considerato ottimale quando i costi marginali sociali di un suo contenimento corrispondono
ai benefici sociali addizionali generati dal danno evitato.
Il nesso fra conseguenze economico-finanziarie di un impatto ambientale e variazioni fisiche (ad
esempio fra costi di emissione e realizzazione di una infrastruttura stradale in contesti climatici definiti)
viene generalmente catturato da modelli di impatto integrato (Integrated assessment models – Iam)24.
Un criterio di efficacia utilizzabile in condizioni conoscitive favorevoli è il rapporto fra rischio residuo
e costi di mitigazione, oppure fra rischio residuo e valore del danno.
In campo filantropico si valutano programmi di cooperazione e aiuto in termini di efficacia della
donazione (grant) e del donatore (relazione fra sua mission e fabbisogni), oltre all’impatto sociale del
programma. Problemi di responsabilità e rendicontazione (social accountability rispetto ad obiettivi,
processi e risultati) non soltanto tecnica spostano le istanze valutative verso modelli di apprendimento,
buone pratiche e approcci di tipo partecipativo coinvolgendo i beneficiari (vedi philantropic
evaluation).
and Harbor Act del 1902 e il Flood Control Act del 1936 con il coinvolgimento dei Corps of Engineers e del Bureau of
Reclamation per quanto concerne i progetti idraulici. Una ulteriore sistemazione della materia è avvenuta con il Green Book
del 1950. Per un quadro aggiornato su C/E vedi H M Levin, 1983, Cost-effectiveness analysis: A primer, Sage, Beverly
Hills, CA e il più recente H M Levin, P J McEwan, 2001, Cost-effectiveness analysis: Methods and applications (2nd
edition), Sage, Thousand Oaks, CA. 24 Vedi R A Ortiz, A Markandya, 2009, ‘Integrated impact assessment models of climate change with an emphasis on
damage functions: a literature review’, BC3 Working Paper Series. Gli autori dividono gli Iam in tre gruppi. Il primo
riguarda modelli di valutazione integrati (fully integrated assessment model) con modulo su struttura e dinamica
dell’economia (incluso il settore energetico) e moduli su clima e danni. Il secondo gruppo comprende modelli di equilibrio
generale non calcolabile (non-computable general equilibrium model) con moduli relativi al clima e al danno. L’eventuale
modulo energetico non è accompagnato da alcuna procedura di ottimizzazione economica, né da scenari ‘esogeni’. Il terzo
gruppo riguarda i modelli di equilibrio generale calcolabile (computable general equilibrium model) orientati
all’ottimizzazione economica su più settori, ma senza modulo climatico.
Analisi costi-benefici (Acb) aggregata o disaggregata
Acb è una tecnica di valutazione economico-finanziaria organizzata in cinque fasi: analisi dei costi,
analisi dei benefici, comparazione fra costi e benefici, analisi di sensitività e di robustezza,
considerazioni sugli intangibili rispetto ai valori assunti dai criteri unici di sintesi. La comparazione
consente di stimare il flusso di cassa scontato e i benefici netti a prezzi costanti e di calcolare il valore
attuale netto (Van), il saggio di rendimento interno (Sri), il rapporto benefici/costi (B/C), il tempo
ottimo di apertura, il tempo di recovery, e così via. Queste stime sono considerate ‘criteri unici di
sintesi’, la cui stabilità e robustezza è sottoposta a test di sensitività rispetto a variazioni interne o
esterne al progetto. Eventuali esternalità vengono recuperate alla valutazione monetaria, mentre ci si
limita alla segnalazione degli intangibili e della loro rilevanza rispetto alle componenti monetarie.
Acb può assumere forma deterministica o stocastica e può essere disaggregata con procedura Cia/e
(Community impact evaluation/assessment, N Lichfield). La presenza di esternalità e/o di intangibili e
la disaggregazione del flusso di cassa possono consigliare il ricorso all’analisi multicriteri e il
superamento dell’approccio utilitaristico tipico di Acb.
Valutazione strategica (Vs)
La valutazione strategica si presenta in diverse forme. Può essere finalizzata alla costruzione di
strategie (in caso di assenza), alla loro comparazione o al loro miglioramento (se disponibili). Il
carattere ‘strategico’ può emergere dal gioco ‘contro Natura’, fra soggetti con interpretazioni diverse
del rischio di perdita o con interessi contrapposti. Può rinviare a dimensioni economico-sociali,
ecologiche, ambientali, trasportistiche, logistiche, storico-culturali, paesaggistiche, urbanistiche e così
via.
Questo tipo di valutazione aiuta a rispondere a quesiti del tipo: si stanno effettuando le scelte
strategiche giuste? Cosa si impara mentre il progetto/programma cerca di attuare una strategia? Più in
generale, la valutazione strategica può migliorare sia i modelli di azione che di cambiamento alla base
di un progetto/programma, ma soprattutto di una piano o di una politica.
In contesto europeo e con riferimento all’ambiente, la valutazione ambientale strategica (Vas) è
obbligatoria per piani e programmi (con l’esclusione di pochi casi) e viene svolta nella fase di design.
Con indagini specifiche di tipo matriciale o olistico (bionomico) essa verifica la sostenibilità
ambientale (declinazione di equità distributiva intertemporale e di efficacia esterna) di scenari e di
azioni come piani, programmi o politiche secondo le due ottiche indicate in apertura. In sintesi, la Vas
si presenta come azione interna alla costruzione di un piano, di un programma o di una politica; è di
tipo formative in quanto accompagna il design e può modificare anche sostanzialmente un processo
pianificatorio/programmatico, i suoi modelli di azione, implementazione e cambiamento; ha carattere
anticipatorio, in ragione del suo contenuto strategico; è integrata, in rapporto alla complessa definizione
di sostenibilità ambientale che deriva da relazioni fra economia, società, ambiente e istituzioni; è
deliberativa per le modalità di costruzione della decisione. La Vas attiva forme di institutional design,
come i dispositivi di monitoraggio25, e consiglia l’uso di tecniche di scenario writing26.
25 Il monitoraggio è una routine diagnostica di un piano in corso di attuazione, spesso denominata performance
measurement o performance monitoring. La routine può riguardare il processo, le realizzazioni (output) o i risultati
(outcome). Il rapporto con la valutazione è molto stretto in quanto il monitoraggio fornisce elementi utili per apprezzare il
valore di ciò che si è ottenuto o perduto, vedi tabella 2 in T A Schwandt, 2015, p. 21. 26 Lo scenario è qui inteso come compromesso fra proiezioni, previsioni e attese (auspici) e la sua costruzione può
richiedere tecniche qualitative o quantitative.
Valutazione avversariale
In inglese viene chiamata adversarial evaluation o judicial model of evaluation e si contrappone alla
valutazione collaborativa o partecipativa. Analogamente ai contenziosi legali, questo tipo di
valutazione utilizza le audizioni (hearing) come dispositivo informativo e di confronto. Le audizioni
possono assumere la forma di chiarificazioni, verifiche, revisioni o di veri e propri confronti, con
l’obiettivo di generare un quadro dei pro e contro sulla causa in oggetto, di rappresentare la complessità
delle questioni in discussione, sottolineare se e dove l’evidenza è più o meno robusta, giungere a
conclusioni più convincenti rispetto ad evidenze incomplete o errate. L’esito non è scontato e può
accadere che l’audizione contribuisca ad aprire piuttosto che chiudere le questioni in discussione.
Durante l’audizione ogni questione viene trattata da due o più parti contrapposte, si ascoltano le
motivazioni, si procede a confronti con casi analoghi. La procedura è molto simile ad un dibattimento
in tribunale. Le applicazioni vengono, a volte, erroneamente assimilate a studi di caso o a valutazioni
con metodo misto. Esperienze interessanti sono state effettuate in materia di valutazione dei danni
ambientali, in particolare in occasioni di disastri, come l’inquinamento dovuto a naufragi di petroliere o
incidenti in piattaforme di estrazione, le emissioni liquide o gassose da impianti industriali, oleodotti o
gasdotti per incidenti o inefficiente organizzazione dei cicli di produzione, l’inquinamento da fracking
mining o l’inquinamento delle acque o dei suoli con idrocarburi policiclici aromatici (Ipa), metalli
pesanti e così via. In Italia costituiscono riferimento importante la stima dei danni ambientali generati
dall’insediamento industriale di Porto Marghera (Venezia) e la richiesta di risarcimento effettuata da P
Leon negli anni ’90. La richiesta di risarcimento è stata effettuata rispetto ad uno scenario di ripristino
della naturalità dei luoghi contaminati nell’intero sito di interesse nazionale.
Secondo questo approccio il programma o il progetto (i loro esiti effettivi o attesi) vengono ‘condotti a
giudizio’ (al κϱιτεϱιον, tribunale). In tribunale il giudice soppesa le motivazioni dell’accusa e della
difesa, sente i testimoni e invita la giuria ad esprimersi. Simulando quanto accade in tribunale, per
attivare questa procedura valutativa vengono selezionati un giudice e una giuria, identificati i criteri su
cui accusa e difesa concordano, selezionate le questioni più rilevanti. Il caso viene preparato indicando
evidenze e testimoni, effettuando una prova generale, raccogliendo accuse, dichiarazioni e
testimonianze, effettuando un vero e proprio dibattimento con valutazione incrociata
(cross-examination). Come prova possono essere portati risultati di analisi o di valutazioni su oggetti o
contesti analoghi, stime di costi/benefici, analisi di contingenza o esiti meta-valutativi27.
Riconoscimento del caso di successo (success case)
‘Looking for something good or bad’ può essere lo slogan dell’approccio success case, attento agli
‘estremi’ (outlier). L’analisi degli estremi (in certi casi punti di forza o di debolezza) è molto diversa
dalla analisi ‘in media’, esito di interpolazioni, compensazioni o discutibili aggregazioni ponderate.
Anzi: si allontana decisamente dalla sua presunta evidenza. In un sistema cartesiano, con x consumo di
suolo a fini edificatori e y dotazione/ funzionamento di servizi ecologici, potremmo registrare un
cluster di punti con trend decrescente: all’aumentare di consumo di suolo dotazioni e performance dei
servizi ecologici tendono a diminuire. Ma vi sono due ‘punti strani’, detti outlier: uno in alto a destra e
uno in basso a sinistra, nei pressi dell’origine delle coordinate. Il primo punto evidenzia una situazione
in cui i servizi ecologici sono performativi nonostante l’elevato consumo di suolo. Ciò può accadere in
27 L Datta, ‘Judicial model of evaluation’, in S Mathison (ed), 2005, Encyclopedia of Evaluation, Sage, London, pp.
214-217.
presenza di ‘riserve’ ambientali, di reti ecologiche diffuse e dove la diffusione insediativa può
consentire integrazione degli usi, degli spazi aperti e dei suoli non consumati. Il secondo punto
potrebbe rappresentare situazioni caratterizzate da una agricoltura industriale, specializzata e a forte
carico di contaminanti. Il basso consumo di suolo a fini edificatori è correlato ad un uso agricolo
distruttivo di paesaggio rurale ed ecosistemi naturali.
Questo tipo di approccio cerca di rispondere al quesito: con quali azioni si può giungere a risultati
prevedibili o inaspettati, ad esempio collocandosi in uno dei due punti citati? Si potrebbero evidenziare
istanze di successo in contrapposizione a quelle che frenano il progetto o il programma.
Valutazione artistica
In prospettiva EV questo tipo di valutazione si sviluppa secondo tre percorsi principali. Il primo,
orientato alla ‘valutazione educativa’, ricorre alla ‘critica d’arte’ come modello. Il modello si fonda su
teorie estetiche, utilizza eventi, forme letterarie e artistiche del discorso per descrivere l’oggetto
(evaluando), ha un approccio eclettico. Uno dei temi centrali in questo percorso è l’attribuzione e il
conseguente valore che un’opera può acquisire nel mercato, anche se i valori possono essere altri,
fuori-mercato. L’attribuzione può essere effettuata da uno o più esperti, oppure può essere sottoposta a
dibattito critico in mostre comparative28. Si tratta, a ben vedere, di giudizi estetici ‘interessati’ alle
modalità di ricezione dell’opera, decisamente agli antipodi dei giudizi estetici disinteressati nel
valutarne, ad esempio, la bellezza. La contrapposizione fra i due tipi di giudizio sta nell’intendere
l’interesse come sinonimo di egoismo. ‘L’azione disinteressata è quella che ha saputo superarlo’29
andando oltre l’apprezzamento di sé per un apprezzamento dell’altro, del mondo, non solo umano. ‘Il
vero artista non piega il mondo ai propri gusti, ma gli si sottomette’ 30 . In questa prospettiva la
valutazione educativa che ricorre alla critica d’arte cerca di premiare lo sforzo di apprezzamento
dell’altro, di dialogo con l’altro. Il valore dell’opera sta principalmente qui.
Nel secondo percorso si ricorre a forme d’arte e a tecniche artistiche per mostrare gli esiti della
valutazione. E’ un percorso a forte valenza comunicativa. Il terzo rinvia alla serendipity e alla
cosiddetta ‘valutazione creativa’. Quest’ultima può maturare nell’interazione sociale e favorire la
complementarietà di valori ‘artistici’ e ‘scientifici’ in un processo valutativo. La sensibilità artistica può
aiutare a distaccarsi da ‘premesse implicite’, da frame routinari; può creare discontinuità, cambiare
abitudini percettive e valutative, avvicinandosi con pertinenza a significati di contesto o a contesti di
significato.
Le pratiche di ascolto attivo fanno sì che la pratica artistica diventi strumento di conoscenza ad uso non
solo contemplativo, ma progettuale (può essere inteso come quarto percorso)31. Il gradiente PV matura
se si va oltre la logica dell’‘ avvicinamento’ a favore dell’interpretazione.
Valutazione indiziaria
28 Una recente mostra con questo tipo di approccio è stata ‘Attorno a Caravaggio. Una questione di attribuzione’ (ottobre
2016, Brera, Milano). L’uso di uno spazio pubblico per un dibattito critico del genere può sollevare qualche perplessità per
diversi effetti collaterali (com’è di fatto accaduto, vedi D Pappalardo, ‘Brera e le ombre sul presunto Caravaggio’, La
Repubblica, 27/10/2016). Nonostante il museo non si assuma alcuna responsabilità in merito alla attribuzione (offre soltanto
una opportunità valutativa), per certuni agevolerebbe comunque il mercato dell’arte, influendo sul valore di un’opera
appartenente ad una collezione privata e che potrebbe essere destinata alla vendita. 29 T Todorov, ‘Perché l’arte può salvare il mondo’, la Repubblica, 8/2/2017, p. 31. 30 Ibidem.
Il ‘metodo indiziario’ 32 è sostanzialmente analitico e viene impiegato in campo giudiziario,
archeologico, artistico, statistico, ambientale e così via. Si tratta di un dispositivo di decodifica di
frammenti, di dettagli, di particolari apparentemente marginali sulla base dei quali si potrebbe scoprire
l’invisibile, riconoscere una ‘figura’, una logica coerente o un senso compiuto. In una sorta di
ricomposizione potrebbero emergere nuovi valori e logiche di attribuzione. Se la valutazione è anche
scoperta e attribuzione di valori, il metodo indiziario indica una strada che potrebbe portare ai valori,
piuttosto che essere da questi condizionata fin dall’inizio.
Valutazione basata sulla (guidata dalla) teoria (theory-based)
Generalizzabilità e causalità 33 sono alla base della valutazione basata sulla teoria (theory-driven)
appartenente, forse, più di ogni altra al dominio EV. In primo luogo, essa intende fornire evidenza
valutativa all’azione, sia come evaluando che come inter-azione, riconoscendole una sorta di credibilità
scientifica e di utilità pratica. In questa prospettiva riprende con forza i concetti di validità interna ed
esterna, il primo orientato alla credibilità, il secondo all’utilità34. In secondo luogo, per superare i limiti
dell’approccio black box (che evidenzia relazioni fra intervento e risultato), questo tipo di valutazione
usa la teoria del programma (piano, progetto o politica) come framework concettuale per espandere il
proprio scopo oltre la relazione intervento-risultato.
Il problema è cosa si intenda per teoria del programma o del progetto e come essa possa emergere
dall’interazione sociale. Possono coesistere infatti diverse teorie e diverse modalità di ‘emersione’. Per
i sostenitori di questo tipo di valutazione la teoria del programma è una configurazione sistematica
degli assunti prescrittivi e descrittivi degli stakeholder, assunti che stanno alla base del programma in
modo esplicito o implicito. Gli assunti descrittivi aiuterebbero a configurare il ‘modello di
cambiamento’ a cui il programma allude, ovvero i processi causali che potrebbero consentire il
raggiungimento degli obiettivi del programma. Gli assunti prescrittivi configurano il ‘modello di
azione’ cui il programma allude per generare i cambiamenti attesi sulla base delle risorse disponibili. I
due modelli contribuiscono ad esplicitare la teoria del programma così come intesa dagli stakeholder (o
da esperienze analoghe documentate) e consentono alla valutazione basata sulla (guidata dalla) teoria di
incorporare meccanismi causali e fattori contestuali35.
Lo snodo fra i due modelli è costituito dalla attuazione (implementation) del programma, ispirata al
modello di azione e generatrice del modello di cambiamento36. L’attuazione diventa così un processo
che, motivato da un modello di azione, attiva un cambiamento in un determinato contesto, utilizzando
risorse disponibili. Non è difficile riconoscere come la teoria dell’attuazione (implementation theory)
rinvii alla teoria del progetto e si affianchi alla valutazione orientata alla (o guidata dalla) teoria. Il
modello di cambiamento descrive il processo causale generato dal programma, ovvero le relazioni fra
intervento (trattamento), determinanti e risultati. Si suppone, infatti, che l’intervento generi risultati
31 M Sclavi, 2003, Arte di ascoltare e mondi possibili. Come si esce dalle cornici di cui siamo parte, Bruno Mondadori
Editore, Milano. 32 C Ginzburg, 1979, Spie. Radici di un paradigma indiziario, Einaudi, Torino. Utili i riferimenti a Freud, Doyle, Morelli e
altri. 33 Secondo D Campbell ogni test di connessione causale comporta forme di generalizzazione in relazione a cinque domini:
causa, effetto, popolazione, esposizione ai trattamenti (setting), tempo. 34 H T Chen enfatizza questa prospettiva quando dice: ‘while Campbell prioritized internal validity and Crombach
prioritized external validity, theory-driven evaluation views both types of validity as essential; both need to be
systematically addressed in evaluation for producing useful results’, in M C Alkin(ed), 2013, cit. p. 114. 35 H T Chen, in M C Alkin(ed), 2013, cit. pp. 114-115. 36 Per uno schema concettuale della teoria del programma vedi H T Chen, idem, p.117.
ancorati a obiettivi definiti attivando uno o più determinanti. Un determinante (detto anche mediatore o
variabile ‘che attiva’) è un meccanismo, un leverage o dispositivo che riconosce e attiva una relazione
causale. Il determinante è l’elemento strategico del programma, nel senso etimologico di ‘guida’, e ad
ogni programma si richiede l’identificazione dei determinanti37 in grado di consentire all’intervento di
raggiungere i risultati, di rispondere a domande potenziali (fabbisogni) o effettive. Il modello di azione
prende forma nella interazione sociale/ambientale che diventa, di fatto, il supporto micro e
macro-ecologico (ecological context). A livello micro sono i profili sociali, psicologici e materiali dei
soggetti che decidono di istituire forme di collaborazione o partnership ad attivare azioni e strumenti
attuativi finalizzati a determinati target. Fra i target vi sono gli utenti del programma (beneficiari o
vittime) e la loro identificazione è significativamente correlata al determinante. A livello macro sono le
dinamiche culturali, giuridiche, socio-economiche di contesto che favoriscono o contrastano il
programma. Se non sono adeguate, le capacità del dispositivo attuativo vanno create, identificati gli
attuatori del programma (competenza, qualifica, impegno, entusiasmo e altro) e definiti i protocolli
procedurali. Per l’attuazione possono essere partnership38 organizzative o comunitarie.
In questo approccio è prevista la costruzione di una teoria del programma da utilizzare come guida alla
valutazione. La teoria descrive in modo plausibile e difendibile come il programma dovrebbe operare
in determinate circostanze. Un programma prevede (inter-)azioni per il cambiamento. Di conseguenza,
la teoria del programma riguarda i modelli di (inter-)azione e i modelli di cambiamento. Il rapporto fra i
due tipi di modelli non è necessariamente lineare: possono infatti interagire e influenzarsi a vicenda. Un
piano urbanistico strutturale può attivare diversi modelli di (inter-)azione come la perequazione, la
compensazione ecologica, l’uso (o l’abuso) di diritti edificatori, il disegno di armature ambientali o
storico-culturali e così via. Ad ognuno di questi modelli può essere associato uno o più modelli di
cambiamento relativi alle morfologie insediative, alle performance eco-sistemiche, a dispositivi di
garanzia o di tutela, ad impronte, schemi di urbanizzazione o di uso del suolo. E questi modelli di
cambiamento hanno implicazioni economiche e sociali molto evidenti.
Obiettivo della valutazione basata sulla teoria è fornire informazioni non soltanto su valori o
performance di un progetto/programma/piano, ma su come e perché emergono determinati valori o si
raggiungono determinate performance. Un progetto, in quanto azione routinaria o di rottura e ipotesi di
trasformazione della realtà, può essere dotato di teoria. Questa teoria può essere più o meno condivisa e
testata nell’esperienza. Può appartenere ad una classe di progetti di cui si sa come, in condizioni simili,
vengano proposti obiettivi e prodotti risultati. Esiste, quindi, il progetto con la sua teoria che potrebbe
non essere molto diversa dalla teoria di una classe di progetti simili. Ciò consente di verificare la
validità interna sulla base della teoria del progetto e la validità esterna (spesso implicita) mediante
l’analisi dei modi in cui il progetto si comporta in modo simile a o diverso da un futuro progetto a cui si
intende applicare il disegno valutativo.
37 Il determinante può essere un meccanismo, ma nell’accezione di Chen e di altri autori è un leverage identificato dal
programma, in assenza del quale il programma non sarebbe plausibile. Il modello valutativo realista considera il
meccanismo come un dispositivo esterno, non sempre identificabile ex-ante, che influisce sul programma e la sua teoria.
Infatti, uno dei compiti della valutazione realista è scoprire i meccanismi e non darli per acquisiti. 38 Partnership possono nascere ed esaurirsi già in fase di design, oppure proseguire nell’attuazione e sopravvivere alla stessa
conclusione del progetto. Alcuni tipi di partnership si sviluppano anche dopo che il progetto è stato ultimato rafforzandone
la sostenibilità. Si ricorda che la partnership può essere oggetto di valutazione specifica, vedi in proposito gli studi effettuati
da Operation Evaluation Department (OED) sotto la direzione di R Picciotto e il più recente guest blog post di Tiina
Pasanen in Betterevaluation.org/newsletter, ‘How can we assess the value of working in partnership’, 21/6/2016 2016
'M&E on the Cutting Edge' Conference Partnering for Success.
