Metodologie per la valutazione delle politiche industriali

Davide CiferriMET e Università di Perugia

Dimensioni chiave per la valutazione e le sue finalità:

• Responsabilità rendere conto dell’uso delle risorse a finanziatori e cittadini allocazione ottimale delle risorse tra priorità e strumenti

• Attuazione processo di trasformazione delle politiche in azioni e pratiche

amministrative concrete come “black box” interazioni tra gli attori

• Produzione di conoscenza comprendere cosa funziona e perché si impara dai successi ma anche dai fallimenti

Valutare il successo di un intervento vuol dire domandare

L’intervento produce gli effetti desiderati?

E’ implicito il concetto di cambiamento/confronto rispetto ad una

situazione base

Cosa sarebbe successo senza l’intervento?

• Il processo valutativo degli interventi viene comunemente diviso in un’analisi di tipo ex-ante ed una di tipo ex-post.

• Alla prima classe di studi appartengono quelle ricerche sviluppate al fine di descrivere la situazione economica specifica relativa all’unità target (ad esempio l’impresa oggetto di agevolazione) e gli effetti attesi.

• L’analisi di tipo ex-post, invece, considera gli effetti degli interventi sulle unità di riferimento (imprese finanziate) offrendo generalmente un’analisi comparativa rispetto ad un gruppo di unità alternative usate come controllo (imprese non finanziate).

• Questo approccio può, successivamente, essere distinto in due componenti principali: la prima riguarda la dimensione macroeconomica dell’intervento, mentre la seconda si riferisce agli effetti su ogni singola impresa beneficiaria dell’incentivo (dimensione microeconomica).

• Sul piano strettamente metodologico l’oggetto fondamentale della valutazione ex post si articola in tre aspetti fondamentali:

• l’efficacia lorda

• lo spiazzamento delle imprese non agevolate (displacement)

• l’effetto netto, (al netto cioé del cosiddetto deadweight, ovvero le attività agevolate che sarebbero state realizzate anche in assenza di agevolazioni pubbliche). Ci si riferisce spesso in letteratura al termine di aggiuntività.

Le metodologie di valutazione dell’effetto netto degli incentivi alle imprese si possono distinguere in tre grandi famiglie:

• Analisi microeconomiche con dati anagrafici degli aiuti e dati di bilancio delle imprese

• Analisi microeconomiche con dati derivati da indagini campionarie (e dati di bilancio) e analisi su dati amministrativi anche con interviste a stakeholders

• Analisi macroeconomiche con dati aggregati a livello locale, regionale ovvero nazionale

Definizione di effetto

Effetto di un intervento è la differenza tra ciò che osserviamo DOPO che l’intervento è stato attuato e ciò che avremmo osservato, nello stesso periodo e per gli stessi soggetti, in ASSENZA di intervento.

Quindi l’effetto è definito come differenza tra un valore OSSERVABILE e uno IPOTETICO, per sua natura non osservabile. Quest’ultimo viene detto CONTROFATTUALE.

Obiettivo conoscitivo dell’approccio controfattuale:

Stabilire l’esistenza di un legame causale tra la realizzazione dei un intervento e ciò che si osserva tra i destinatari di quell’intervento

Identificare cioè il contributo netto dell’intervento, separandolo dai molteplici fattori, estranei all’intervento, che influenzano comunque i destinatari e le loro condizioni o comportamenti

Le metodologie econometriche

• L’impostazione fondamentale della valutazione di ogni politica pubblica si fonda sulla specificazione della differenza tra il valore della variabile sotto osservazione a seguito dell’intervento ed il valore che la stessa variabile avrebbe avuto in assenza di intervento.

• Lo scenario controfattuale richiede specifiche metodologie.

• Poiché le variabili impiegate nell’esercizio di stima non sono direttamente osservabili, tali stime soffrono implicitamente di una debolezza che le potrebbe rendere non metodologicamente accettabili. È la cosiddetta threats to validity (minaccia alla validità della valutazione) che viene generalmente scomposta in due aspetti principali:

• l’omitted variable bias (ovvero la difficoltà di specificare modelli che includano tutte le variabili esplicative)

• il self selection bias (ovvero il problema derivante dall’autoselezione dei soggetti che accedono ai benefici di legge, tale da renderli sostanzialmente diversi dal resto dell’universo di riferimento).

Omitted variable bias

• Il primo problema è connesso al possibile errore che si compie attribuendo al programma degli effetti che in realtà sono derivanti da fattori indipendenti al programma stesso.

• Questo tipo di problema, nell’ipotesi che i fattori esogeni influenzano in modo analogo tutte le imprese (incentivate e non), è particolarmente forte nelle stime che utilizzano uno schema di analisi di tipo one group design.

In questa strategia di ricerca, infatti, vengono generalmente calcolati i valori della variabile sotto osservazione prima e dopo l’intervento. Il valore pre-intervento si può discostare dall’ipotetico valore del controffattuale proprio in diretta conseguenza dell’omitted variable bias.

• Un semplice schema di calcolo utilizzato per stimare gli effetti considerati si basa su di un’applicazione dell’analisi shift-share (si veda Armstrong e Taylor 1985, Dowall 1996, Rubin Wilder 1989 e Rubin 1991) la quale, applicata alla valutazione di variabili obiettivo pre e post intervento, ha la caratteristica di distinguere gli effetti dei programmi di incentivo da quelli dovuti alla situazione economica congiunturale che determina la dimensione del bias

Omitted variable bias

Selection bias

• Il secondo problema deriva, invece, dalla natura di eterogeneità tra le variabili risultato delle unità beneficiate e di quelle non beneficiate.

• Il selection bias emerge, quindi, quando il gruppo delle unità escluse viene utilizzato come proxy del controfattuale (comparison group design), in conseguenza della sostanziale disomogeneità rispetto alle unità che invece hanno usufruito dell’intervento

• le principali tecniche utilizzate per ridurre la distorsione legata al processo di selezione dei gruppi possono raggruppate in due categorie: le stime difference in difference, i metodi di matching

Lo stimatore difference in difference

• Le stime difference in difference necessitano di un campione panel delle variabili obiettivo al fine di ottenere un insieme di informazioni temporalmente adeguato che permetta un miglioramento nella qualità di valutazione dello scenario

controfattuale

Lo stimatore difference in difference

• Nella sua rappresentazione più semplificata questo stimatore si può calcolare come la differenza tra la variazione della media della variabile target prima e dopo l’intervento e la corrispondente variazione della media della variabile controfattuale

€

DDˆ α = (t1

T

Y −t 0

T

Y ) − (t1

NT

Y −t 0

NT

Y )

Lo stimatore matching

• L’approccio non parametrico che utilizza la metodologia di matching consiste nell’identificazione per ogni unità target considerata di un’unità gemella scelte tra il gruppo di unità che non rientrano nel programma.

• L’ipotesi implicita di questa strategia è che l’eterogeneità presente nei gruppi di imprese possa essere in gran parte spiegata attraverso l’utilizzo di variabili osservabili e ciò comporta l’esistenza di fattori specifici che determinano la partecipazione di un’ipotetica unità al programma di incentivi.

• Tuttavia questi fattori siano indipendenti dalle future

realizzazioni della variabile target sia per il gruppo incluso che per quello di controllo.

Lo stimatore matching

• Si ipotizza che la variabile target dipenda da alcune variabili esplicative sia nelle unità trattate che in quelle non trattate (controfattuale)

( )T T TY f X u= +

( )NT NT NTY f X u= +

[ , 1]T NTM E Y Y X dα = − =

Lo stimatore matching

• NT rappresenta il numero delle unità trattate mentre Wij è il peso assegnato per la comparazione tra l’i-esima unità del gruppo dei trattati e la j-esima unità gemella appartenente al

gruppo dei non trattati.

1ˆ

∈ ∈

⎛ ⎞= −⎜ ⎟⎝ ⎠

∑ ∑M i ij ji T i NTT

Y WYN

α

Il matching e il propensity score

• Si sceglie spesso di utilizzare un unico indicatore sintetico che abbia la caratteristica di rendere particolarmente facile l’operazione di identificazione delle unità da accoppiare.

• Questo indicatore prende il nome di propensity score ed esprime la probabilità di partecipare al programma di incentivi date un set di caratteristiche osservabili:

_ ( 1 )prop score prob D X= =

Il matching e il propensity score

( )D p⊥X X

1 0, |Y Y D⊥ X

1. Balancing Property:

garantisce che, dato il propensity score, il trattamento e le caratteristiche osservabili dell’impresa siano indipendenti. Se la balancing property è soddisfatta, le imprese con lo stesso PS hanno le stesse caratteristiche osservabili (la stessa distribuzione) indipendentemente dall’aver o meno ricevuto il trattamento. In altre parole, per un dato valore del PS, l’esposizione al trattamento è casuale: le imprese trattate e quelle di controllo sono, in media, identiche.

Test: All’interno di ogni intervallo si verifica che il PS medio delle imprese trattate e di quelle di controllo sia uguale.

2. Unconfoundedness property:

se allora

ci assicura che, dato lo stesso PS, il trattamento ed il risultato potenziale dell’impresa sono indipendenti.

( )1 0, |Y Y D p⊥ X

Il propensity score

• Il propensity score può essere facilmente stimato per tutte le osservazioni a disposizione attraverso l’utilizzo di un modello probit o logit.

• Una volta ottenuta la misura della probabilità di essere inserito nel programma non resta che definire il criterio con il quale si possa scegliere la prossimità tra unità appartenenti ai due gruppi e quindi come strutturare la matrice di pesi.

( )

1ˆ

∈ ∈

⎛ ⎞= −⎜ ⎟

⎝ ⎠∑ ∑M i ij ji T i C iT

Y WYN

α

Il propensity score

• I principali problemi di questa fase della stima riguardano la scelta del numero di unità non trattate da abbinare all’i-esima unità trattata.

• L’utilizzo di più di un’unità di confronto migliora la precisione della stima pur aumentando la sua distorsione.

• La scelta dell’utilizzo plurimo della unità non trattate per l’identificazione dello scenario controfattuale dipende dal grado di dissomiglianza delle distribuzioni del propensity score relative ai due gruppi. In particolare, nel caso in cui la sovvrapposizione tra le due distribuzioni sia scarsa, sarà necessario utilizzare le unità non trattate per più abbinamenti (matching with replacement) al fine di ridurre il rischio di escludere unità trattate per le quali non sia stato possibile individuare un possibile abbinamento; viceversa, nel caso di ampia sovrapposizione, è preferibile utilizzare per un solo abbinamento le unità non trattate (matching without replacement).

Il propensity score

( ) min i jjC i p p= −

1 se ( )

0 altrimenti

ijNT

ij

W j C iN

W

= ∈

=

•Nell’ambito della strategia di matching witout replacement possono essere individuate due diverse procedure di abbinamento tra gruppi: il nearest neighbor matching, il Kernel matching.

•Il primo metodo definisce la matrice di pesi W in funzione dell’insieme delle unità non trattate che minimizza la distanza tra i rispettivi propensity score:

Il propensity score

• Il Kernel matching, consiste nell’abbinare alle unità trattate una media ponderata di tutte quelle non trattate. In questa media i pesi sono inversamente proporzionali alla distanza dei propensity score. Lo stimatore finale dipenderà, quindi, dalla funzione di kernel scelta, G, e da un parametro di bandwitch, h:

Principali lavori

Autori Strumento analizzato

Specificazione del propensity score matching Variabili outcome

Gabriele Zamarian e Zaninotto (2007)

PL. 4/81 (Trentino)

Tasso di crescita, dummy per micro imprese, investimento per occupato, (linerare e quadratico), roi (lineare e quadratico), intensità di capitale (kxadd), valore addetto per lavoratore, due dummy d macro settore (industria e costruzioni), roe (solo quadratico) e termine di interazione (roixroe).

Investimento, occupati,vendite, roi, roe, EBITDA per lavoratore, produttività del lavoro, produttività del capitale, intensità di capitale e crescita dell’impresa.

Pellegrini Centra (2006)

l.488/92 Capitale proprio, rapporto tra nuova occupazione e investimento, dimensione, asta di riferimento

Nearest neighbor, radius

Fatturato, fatturato pro capite occupati, capitale imm., Mol\fatt., roi, roe, debiti finanziari/fattu, debiti fin/tot. deb.

Turatto (2008) l.r. 15/94 (Sardegna)

Fatturato, dimensione, prodotto per addetto, incidenza del costo del lavoro, rapporto capitale su prodotto, rapporto debito a breve su prodotto, rapporto debito a lungo su prodotto, età dell’impresa.

Nearest neighbor, radius

Prodotto, occupati, redditività struttura patrimoniale, immobilizzazioni.

Adorno (2008) l.488/92 Indicatori di selezione previsti dalla legge, asta di riferimento, regione, settore, dimensione

radius Fatturato, fatturato pro capite, occupati, capitale imm., Mol\fatt., debiti fin/tot. deb..

Le valutazioni con dati di survey

• Gli esercizi valutativi che utilizzano le indagini dirette sulle imprese tendono in qualche modo a mitigare l’effetto di selezione, in ragione del fatto che sono le imprese stesse nel rispondere alle domande in questione a definire lo scenario controfattuale che ha caratterizzato la propria esperienza.

• In questo caso, quindi, chi valuta l’efficacia dell’aiuto è la stessa impresa sussidiata che descrive, rispondendo alle domande, i possibili scenari alternativi alla situazione realizzata e non si tratta quindi di stime del ricercatore.

• In realtà si può parlare piuttosto che di gruppi di controllo, di un disegno di “situazione” controfattuale, che riguarda il diverso comportamento che l’impresa avrebbe potuto assumere se le agevolazioni richieste non le fossero state concesse.

L’approccio di studio del deadweight

• definiamo il deadweight come il grado con cui il progetto sviluppato dalla singola imprese sarebbe stato comunque realizzato senza l’assistenza degli aiuti pubblici. L’intensità del deadweight può quindi dipendere dal volume, dalla localizzazione e dal timing con cui l’investimento è infine realizzato.

• Si definisce deadweight zero, una situazione per la quale il contributo pubblico risulta in pratica totalmente aggiuntivo, in quanto, in assenza di questo, l’impresa non sarebbe stata in grado di realizzare l’investimento.

• Il caso opposto è quello in cui l’investimento sarebbe andato avanti comunque; ci troviamo nella condizione di puro deadweight nella quale la politica industriale risulta totalmente inefficace rispetto all’obiettivo di favorire attività od occupazione addizionale.

L’approccio di studio del deadweight

• La linea di ragionamento è stata la seguente: (i) abbiamo chiesto alle imprese se negli ultimi tre anni avevano ricevuto agevolazioni pubbliche; (ii) per le imprese che avevano risposto in senso affermativo, abbiamo quindi chiesto di indicare l’importo; (iii) infine abbiamo chiesto se gli investimenti cofinanziati sarebbero stati realizzati anche in assenza delle agevolazioni ricevute.

• Le possibili risposte erano: (a) si, nella stessa misura (deadweight puro); (b) si, ma in misura leggermente inferiore, (c) si, ma in misura molto inferiore; (d) si, ma in anni successivi; (e) No (zero deadweight).

L’approccio di studio del deadweight

Categorie di Deadweight Percentuale di imprese

Deadweight puro 22.3%

Deadweight parziale (scala ridotta ) 48.4%

Deadweight parziale (differente tempistisca) 6.8%

Deadweight zero 22.5%

Fonte: Rapporto MET 2007

L’approccio di studio del deadweight

Il modello empirico generale è stimato attraverso una metodologia logit che permette di trattare la variabile dipendente nella sua caratteristica forma binaria in funzione del set di regressori descritti

( ) ( 1) ( )′= = =deadweight j prob y Xφ β

Un modello macroeconomico regionale

• Definiamo un modello con tre equazioni che descrivono il livello d’investimento, di prodotto e di occupazione del settore industriale a livello regionale.

• Il livello di prodotto regionale aggregato è definito attraverso una funzione di produzione del tipo Putty-Clay, partendo dall’assunzione che tutte le imprese minimizzano i loro costi di produzione dato un livello prefissato di output.

( , , )it it it itY f E I EFF=Δ Δ

Un modello macroeconomico regionale

• Si derivano le funzioni per il livello di investimento e di domanda del fattore lavoro, che sono rispettivamente:

( ,( / ), )it itI I Y w c EFF= Δ ( , / , )it itE E Y w cEFF=Δ Δ Δ

/0, 0, 0Y w c EFFI I I> > <Δ /0, 0, 0Y w c EFFE E E> < <ΔΔ Δ Δ

Il costo d’uso del capitale

• La funzione del costo d’uso del capitale, di cruciale importanza in quanto introduce direttamente i principali strumenti di agevolazione articolati a livello regionale è definita come:

( )1 (1 )1

i i i iit i

i

g g uzc i q

u− − −

= +δ−

Stima dell’elasticità di lungo periodo

Tabella 4.2.4: Elasticità di lungo periodo

Elasticità dei fattori ? lnI/? lnw 0.2453 ? lnL/? lnw -0.0208 ? lnY/? lnw -1.1163

produttivi (Y = Ymedio)(a) ? lnI/? lnck -0.2453 ? lnL/? lnck 0.0208 ? lnY/? lnck -0.3072

Y/ck* -0.0088

Elasticità del prodotto(b) ? lnI/? lnY -0.9413 ? lnL/? lnY 0.9413 ? lnY/? lnEF 1.4235

? lnI/? lnw 1.2961 ? lnL/? lnw -1.0715? lnI/? lnck 0.0438 ? lnL/? lnck -0.2684? lnI/? lnEF -0.6522 ? lnL/? lnEF -0.3884

(a) Calcolate per il livello medio dell'output e considerando le interdipendenze tra le domande dei fattori produttivi(b) Calcolate considerando le interdipendenze tra le domande dei fattori produttivi(c) Calcolati nel seguente modo ? lnX/? lnz = ? lnX/? lnz | Ymedio + (? lnX/? lnY * ? lnY/? lnz)

con [X =I, L; z = w,c,EF]* si riferisce alle stime con effetti spillover

Effeti totali(c)

Investimento (I) Occupazione (L) Prodotto (Y)Effetto sostituzione Effetto sul prodotto

L’effetto netto degli incentivi

Tabella 4.2.5 Stima dell'aggiuntività netta degli investimenti agevolati Regione 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 media dev. st.

Piemonte 0.146 0.141 0.143 0.150 0.154 0.159 0.160 0.158 0.160 0.160 0.153 0.007Valle d'Aosta 0.048 0.049 0.086 0.076 0.101 0.099 0.109 0.084 0.082 0.122 0.086 0.023Lombardia 0.140 0.142 0.171 0.157 0.168 0.164 0.173 0.164 0.160 0.151 0.159 0.011Trentino A.A. 0.093 0.044 0.143 0.129 0.146 0.121 0.153 0.157 0.158 0.165 0.131 0.035Veneto 0.140 0.142 0.145 0.145 0.145 0.146 0.145 0.142 0.138 0.134 0.142 0.004Friuli Venezia Giulia0.156 0.185 0.174 0.177 0.169 0.176 0.152 0.161 0.128 0.147 0.163 0.016Liguria 0.161 0.194 0.173 0.170 0.183 0.165 0.193 0.173 0.159 0.178 0.175 0.012Emilia Romagna 0.128 0.141 0.148 0.151 0.149 0.148 0.154 0.152 0.148 0.137 0.145 0.008Toscana 0.154 0.146 0.148 0.151 0.155 0.151 0.170 0.156 0.144 0.146 0.152 0.007Umbria 0.133 0.121 0.125 0.142 0.145 0.142 0.142 0.143 0.125 0.144 0.136 0.009Marche 0.137 0.134 0.141 0.148 0.148 0.138 0.142 0.169 0.147 0.136 0.144 0.010Lazio 0.170 0.170 0.163 0.157 0.157 0.161 0.162 0.151 0.159 0.157 0.161 0.005Abruzzo 0.197 0.175 0.169 0.171 0.168 0.165 0.160 0.163 0.157 0.144 0.167 0.013Molise 0.194 0.180 0.159 0.171 0.164 0.185 0.136 0.156 0.149 0.150 0.164 0.017Campania 0.215 0.205 0.197 0.195 0.210 0.216 0.208 0.207 0.212 0.207 0.207 0.007Puglia 0.203 0.194 0.189 0.188 0.204 0.215 0.210 0.203 0.203 0.196 0.200 0.008Basilicata 0.211 0.189 0.194 0.181 0.210 0.214 0.207 0.202 0.189 0.184 0.198 0.011Calabria 0.204 0.190 0.192 0.191 0.218 0.223 0.213 0.205 0.201 0.198 0.204 0.011Sicilia 0.199 0.194 0.199 0.186 0.209 0.214 0.204 0.202 0.199 0.193 0.200 0.007Sardegna 0.189 0.171 0.189 0.185 0.197 0.210 0.196 0.193 0.180 0.174 0.188 0.011Italia 0.161 0.155 0.162 0.161 0.170 0.171 0.169 0.167 0.160 0.161 0.164 0.005

N.B. Per ogni anno, il livello di investimenti aggiuntivi rappresenta la variazione percentuale tra i valori degli investimenti simulati nel caso in cui nella funzione del costo d’usodel capitale è direttamente inserito il volume degli incentivi e quelli ottenuti nel caso in cui gli incentivi gli incentivi vengono omessi dalla stessa funzione.

Crescita economica e politica industrialeTabella 4.2.6 Correlazione tra tasso di crescita del prodotto e dinamica dell’effetto nettoRegione con spillover senza spillover

Piemonte 0.273 0.608

Valle d'Aosta 0.200 0.499

Lombardia 0.628 0.689

Trentino A.A. 0.668 0.706

Veneto 0.616 0.779

Friuli Venezia Giulia 0.500 0.586

Liguria 0.229 0.478

Emilia Romagna 0.055 0.298

Toscana 0.369 0.543

Umbria -0.029 0.274

Marche -0.421 -0.246

Lazio 0.189 0.558

Abruzzo 0.228 0.627

Molise 0.047 0.260

Campania -0.150 0.117Puglia 0.297 0.535

Basilicata 0.019 0.519

Calabria 0.160 0.504

Sicilia 0.330 0.515

Sardegna -0.419 -0.093