28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Principali evidenze del processo di
valutazione ex post
Nicoletta Alliani, Ilaria Borri, Patrizia Borsotto,
Roberto Cagliero, Alessandra Malfi, Nicoletta Torchio
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Outline
Il processo di valutazione
Aspetti di implementazione
Dimensioni socio-economicheApproccio Leader
«Riportare al centro dell’attenzione il modo in cui si realizzano beni di natura pubblica diviene, quindi, componente essenziale dei processi di cambiamento odierni « (Di Iacovo, 2015)
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Il processo di valutazione
Il processo valutativo accompagna il PSR sin dal momento della definizione dell’impianto programmatico [VEXA] e lungotutto il ciclo di attuazione [On going, intermdio, ex post].
Relazione di valutazione intermedia Relazioni tematiche annualiAttività divulgative (Seminari, iniziative divulgative, convegno)
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
La valutazione ex post è un ultimo step, anche con valenza riassuntiva.
•Grado di utilizzo delle risorse;•Efficacia ed efficienza;•Raggiungimento degli obiettivi;•Indirizzi utili al policy maker;•Fattori di successo o di insuccesso; •Raggiungimento degli obiettivi (effetti);•Risposta alle EQs.
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
La ex post deve rispondere ai «Quesiti Valutativi Comuni» (CEQ) definiti a livello comunitario e alla domanda valutativa specifica regionale
Territorializzazione
Innovazione
Domanda di formazione
Valore qualità Aspetti ambientali
Delivery
Sostenibilità
socio‐economica
Collegamenti
tra misure
Mis. Foreste
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Proporzionalità e misure pivot
ASSE I ASSE II ASSE III E IV
111- Azioni nel campo della formazione professionale e dell'informazione (2,3% VI); (4,9%)
211- Indennità a favore degli agricoltori delle zone montane (5,4% VI); (5,4%)
311- Diversificazione in attività non agricole (1,5% VI); (1,4%)
112-Insediamento di giovani agricoltori (6,0% VI); (4,5%)
214 – Pagamenti agroambientali (28,8% VI); (31,1%)
322- Sviluppo e rinnovamento dei villaggi (3,0% VI); (3,4%)
121- Ammodernamento delle aziende agricole (14,2% VI); (14,8%)
ASSE IV: LEADER (6.0% VI); (5,6%)
123- Accrescimento del valore aggiunto dei prodotti agricoli e forestali (7,2% VI); (7,8%)
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Mix di metodi e fontiEs: 5. In che misura il PSR ha contribuito a migliorare la competitività del settore agricolo e forestale?
MetodiCriterio di giudizio
QCMV Indicatori specifici Fonti
‐ Th based. (descritt., indicatori)
‐ Quasi sperimentale
‐ Qualitative
‐ Benchmark
‐ Analisi I/O
della PLV
del VA
del RN
R2 ‐VA
CIs
PLV
RN
Ind. efficienza
Ind. efficacia
Amministrative
Secondarie
RICA
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
• Il valutatore: Nuval
– E’ un organismo indipendente e allo stesso tempo interno
• Il modello di governance: In house
– Per creare un percorso virtuoso di valutazione, massimizzando i vantaggi derivanti dall’indipendenza del valutatore (es. obiettività) e allo stesso tempo dalla sua appartenenzaall’amministrazione (es. migliore conoscenza del contesto).
– Costruzione di un network di valutazione
– Attivazione di strutture per favorire la governance: SG e UT
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
IPLA spa
DITERCeris CNR
Ires Pie.
NUVAL
AdG Comitato di Sorveglianza
CSI
ARPEA
Steer. Group
INEA
Unitàtecnica
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Aspetti di implementazione
Avanzamento spesa e disimpegno FEASR.
Dati RRN 12/2015
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
PSR Piemonte: oltre 24.000 beneficiari
Dati amministrativi
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Impianto programmatico: troppo complesso, focalizzare la strategia su fabbisogni principali
Progettazione integrata: non utilizzata, occasione mancata
Performance fisiche e finanziare: buone perfomance
Aspetti procedurali: criticità (scorrimenti, correzioni, …)
Capacità di selezione: non sempre adeguata (omogeneità, complessità..)
Aspetti organizzativi: criticità
Discussione e conclusioni
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Dimensioni socio-economiche
Competitività. Va e occupazione Regione
Valutazione I/O
Risultati positivi e mitigazione degli effetti della grave crisi economica
Incremento VA^^: circa 560 meuro
Incremento VA PSR su benficiari (R2+R7): circa 165 meuro
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Competitività. Settore primario
Target R2 : 163,5 vs 16 meuro
M112: 28.000 euro
M121: 30.000 euro
Crescita VA agri: Istat 162 Meuro vs R2 120 Meuro e meglio delle stime
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Anno saldo
DomandeValore
contributo
Domande campione
RICA
Val. Contrib campione RICA
Incidenza RICA Domande
Incidenza RICA Val. Contrib.
2010154 7,166,884 0 0 0% 0%
2011 776 30,511,028 33 1,030,531 4.3% 3.4%
2012 1,121 39,148,191 46 1,898,329 4.1% 4.8%
2013 1,058 35,717,414
2014 1,199 33,120,877
2015 708 10,932,754
Totale 5,016 156,597,147 79 2,928,860 1.6% 1.9%
•Dati di monitoraggio; Rilevazione RICA 2008-2014
•Campione: beneficiari con saldo nel 2011 e 2012 (T=1); imprese RICA che non hanno ricevuto contributi 121 nel 2011/2012 (T=0) •Variabile risultato: ; n= anno saldo •Metodologia: DiD, usando il propensity score matching (probit) econtrollando per: VA iniziale, conduzione, bio, allevamenti, altimetria, prov, OTE, dim. econom. Sono state usate diverse tecniche di abbinamento statistico.
Competitività. Misura 121.
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
• Il numero di beneficiari 121 presenti in RICA è di sole 79 osservazioni (e 1635 non beneficiari). • Il numero limitato di osservazioni, e variabilità, non permette di ottenere delle stime robuste •Matchting esatto
Tecnica di abbinamento
Variazione VA Beneficiari
Variazione VA Non
beneficiari
Differenza (valore medio)
Stime effettuate sulla misura A Differenza (1)(valore medio)
Nessuna4,954 2,739 2,215 18,185
Nearest neighbour 7,760 ‐ 10,348 18,107 13,050***
Radius matching (0.01) 6,645 ‐ 5,402 12,047 13,310**
Kernel matching 7,760 ‐ 3,240 11,000 13,600**
(1) elaborazioni Nuval su dati di monitoraggio e panel RICA 1999-2009Statisticamente significativo all'1% ***; al 5%**; al 10%*
Competitività. Misura 121.
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Formazione e informazione
La maggior parte delle persone in formazione sono assidue e contente dell’esperienza formativa tanto da ripeterla, ma anche capacità di coinvolgere un numero progressivamente crescente di nuovi utenti.
Elevata frammentazione delle esigenze formative (tecnico-produttivo).
Il processo di aggiornamento usa i media in modo diversificato, combinando canali di informazione diversi
Il PSR dovrebbe introdurre dei meccanismi di targeting, cioè di selezione dei target desiderati
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Innovazione e filiere
M 124: Risposta all’esigenza di supportare l’innovazione e di accrescere il livello di integrazione Sinergie con il FESRForte selezione (ricerca)
PSR: Oltre 1.750 beneficiari che hanno introdotto nuovi prodotti o nuove tecniche
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Diversificazione
Il contributo ha permesso di migliorare i ricavi delle aziende
Maggiore incidenza della diversificazione (tradizionale)
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Villaggi
Il contributo non ha migliorato in generale la qualità della vita dei beneficiari.
L’analisi per singole componenti evidenzia livelli differenti.Componenti Indicatore
Demografia
Imprese
Turismo
Commercio
Servizi alla persona
Reddito
-5 < I <5I <-15 -15 < I <5 5 < I <15 I > 15
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Foreste
Non speso “bene e tanto” come ci si aspettava
Trascinamenti consistenti (oltre 90%)
Spostamenti risorse dipesi probabilmente più da fattori contingenti che da pianificazione iniziale (es. M122 dotazione ridotta sul 50%)
Formazione, associazionismo e innovazione: positivi
Selvicoltura non efficace
•Influenza negativa aspetti burocratici imposti da PSR•Basso livello di contributo•Crisi economica iniziata nel 2008•Interventi a macchiatico negativo, quindi non «allettanti»
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Discussione e conclusioniChe cosa è andato meglio•Tenuta sulla crisi•Ricadute positive di investimenti (check) e diversificazione•«Palestra di innovazione»
Che cosa ha fatto il suo tempo•Procedure: approccio a scorrimento si è rilevato critico•Criteri selezione: complicati e non omogenei•Diversificazione comunque di tipo molto tradizionale• Mancanza progetti integrati
Cosa di può migliorare•Approcci più complessi e «decisi»•Verifica criteri: puntare la bersaglio grosso (crisi, HC, 124)•Bandi e procedure più semplici•Organizzazione interna AdG
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Asse IV LeaderFabbisogni e Obiettivi
PSR 2007-2013 Leader ricollegato a due specifici fabbisogni:
•Consolidare le reti partenariali e organizzare le istanze localiattraverso meccanismi di "regia" basati sull'approccio partecipato;
•Consolidare e diffondere la capacità di progettare e attuare programmi di sviluppo locale integrato.
Ne discende il ruolo strategico della governance locale, dal cui rafforzamento discende la possibilità di raggiungere gli obiettivi operativi collegati ai fabbisogni.
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Domande aggiuntive
Forte coinvolgimento AdG nelle attività valutazione ha dato origine a richieste di approfondimenti valutativi aggiuntivi:
•Gli interventi compresi nelle filiere/reti locali hanno contribuito a consolidare rapporti stabili tra le imprese? •Tenuto conto del nuovo inserimento di Leader nel PSR nella programmazione 2007- 2013, in quale misura l’organizzazione del circuito finanziario ha determinato l’efficienza nell’utilizzo dei contributi PSR?
Anche in questo caso risultano centrali aspetti collegati alla governance locale.
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
La governance locale
Alcuni aspetti indagati:
•La governance del territorio per favorire lo sviluppo di nuove forme di governance locali;•I meccanismi che favoriscono la creazione di reti tra imprese locali;•La costruzione di vision locale per la rappresentazione e l’auto-organizzazione delle istanze locali;•La capacity building dei GAL;•L’impatto di Leader sull’economia dei Comuni GAL;•Criticità procedurali.
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
La governance del territorioL’esperienza dei bandi di filiera come esempio di applicazione dell’approccio Leader: mission dei bandi di filiera, così come di Leader, è quella di accompagnare i territori elaborare strategie di sviluppo dal di dentro.
Si sono valutati il contributo degli interventi di filiera nel rendere piùstabili i rapporti tra le imprese che ne fanno parte (governance del territorio) e le modalità di aggregazione da parte delle imprese (vision strategica del territorio).
Si sono osservate:
•Filiere formali: formalizzazioni di accordi di scambio;
•Filiere- sistema: occasioni per realizzare progetti di sviluppo e apportare innovazione.
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Domande ammesse 475
Imprese beneficiarie 405
Filiere 120
GAL coinvolti 11
Domande medie per filiera 3,9
Importo totale ammesso €12.291.983,49
Importo totale pagamento € 8.856.273,13
Importo medio ammesso per filiera € 102.433,195 2,3
Importo medio pagamento per filiera € 73.802,27
I bandi di filiera
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Capacity Building dei GALL’efficienza dei GAL come condizione necessaria per favorire sviluppo endogeno.
Quale efficienza?•Capacità gestionale e amministrativa;•Capacità di r-accogliere le istanze del territorio, rappresentarle, facilitarne l’espressione e, dunque, l’attuazione.
Il ruolo dei GAL non solo come promotori ma come diretti fautori di sviluppo locale.
Per ogni GAL analizzate: coerenza obiettivi PSL- azioni attuate, misure 410, 421, 431, aiuti pagati e valore totale operazioni, promozione di reti e filiere, criticità procedurali incontrate.
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Variazione T NT Diff.
Variazione % imprese (Valori medi) -11.33% -13.27% 1.94%
Variazione % imprese con abbinamento statistico:
Nearest Neighbour -11.23% -15.19% 3.96%
Radius Matching (0.01) -11.54% -15.39% 3.85%
Kernel Matching -11.34% -14.40% 3.07%
Variazione % delle imprese attive tra il 2006 e il 2015
T= comuni Leader (area GAL)NT= comuni eleggibili ma non Leader (NON area GAL)
L’impatto di Leader sull’economia dei Comuni GAL
In un quadro complessivamente sfavorevole per il tessuto produttivo, l’impatto di Leader è stato comunque positivosull’economia dei comuni che ne hanno beneficiato.
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Discussione e conclusioniChe cosa è andato meglio•Ricadute economiche di resistenza al fenomeno di crisi;•Ruolo dei GAL sul territorio. •Coordinamento con AdG
Che cosa ha fatto il suo tempo•Difficoltà procedurali e vincoli ai GAL•Criticità in termini di risorse (anche umane)
Quali miglioramenti possibili•Gestione di un più ampio bottom up•Aspetti di gestione e di procedura•Animazione dei GAL sul territorio
28 OTTOBRE 2016 Comitato di Sorveglianza PSR 2014-2020
Grazie per l’attenzione