Il processo di valutazione in Horizon 2020 CNR – Roma 24 marzo 2015
Il processo di valutazione in Horizon 2020
Augusta Maria Paci
Corso di Formazione: Il processo di valutazione in Horizon 2020
| 24 marzo 2015 | CNR - Roma
Il processo di valutazione in Horizon 2020 CNR – Roma 24 marzo 2015
Horizon 2020
� E’ il Programma destinato alle attività di ricerca e innovazione dellaCommissione Europea operativo per sette anni dal 1° gennaio 2014 fino al 31dicembre 2020
� Supporterà l'UE nelle sfide globali fornendo a ricercatori e innovatori glistrumenti necessari alla realizzazione dei propri progetti e delle proprieidee
� Il sistema di valutazione non è stato sostanzialmente modificato rispetto aiprecedenti Programmi Quadro e le modalità di svolgimento di questofondamentale processo di gara competitiva sono confermate
� Il processo di valutazione costituisce un momento importante dellaprogrammazione europea in ricerca e innovazione e il corso ha lo scopo dievidenziare i diversi fattori che incidono nella valutazione delle proposte
Durante il corso si tratteranno le caratteristiche della valutazioneattraverso le esperienze di esperti CNR valutatori in diversi programmi
con indicazioni pratiche per migliorare le proposte in H2020 e per la comprensione di modalità di valutazione e relativi aspetti qualitativi
Il processo di valutazione in Horizon 2020 CNR – Roma 24 marzo 2015
Horizon 2020 prevede nuovi tipi di bandi e richiede nuove tipologie diproposte (multi-disciplinari e multi-settoriali con una maggiore enfasisull’innovazione e al mercato). Il processo di valutazione vedeconfermate le cinque fasi:
1. Sottomissione della proposta2. Valutazione individuale3. Consenso4. Riunione di Panel5. Finalizzazione della lista di priorità
Prima e ultima fase con ruolo diretto della Commissione, le tre centralicon apporto diretto di esperti indipendenti chiamati in qualità divalutatori con capacità multidisciplinari e multi-settoriali in accordocon il nuovo approccio di Horizon 2020
Le fasi della valutazione
Il processo di valutazione in Horizon 2020 CNR – Roma 24 marzo 2015
• Eccellenza
• Trasparenza
• Confidenzialità
• Efficienza & Rapidità
• Equità & Imparzialità
• Aspetti di Etica & Sicurezza
Regole di Partecipazione
ad H2020
Principi base della valutazione
Il processo di valutazione in Horizon 2020 CNR – Roma 24 marzo 2015
HORIZON 2020
Flusso del processo di valutazione
Receipt of proposalsReceipt of proposals
IndividualevaluationIndividualevaluation
Consensusgroup
Consensusgroup
Panel ReviewPanel Review FinalisationFinalisation
EvaluatorsEvaluators
IndividualEvaluation
Reports
(Usually done
remotely)
ConsensusReport
(May be done remotely)
Panel report
Evaluation Summary Report
Panel ranked list
Eligibility check
Allocation of proposals to evaluators
Final ranked list
Fonte: Generalbriefingfortheevaluators.pptx della EC
Il processo di valutazione in Horizon 2020 CNR – Roma 24 marzo 2015
HORIZON 2020
Individual Evaluation
Report
Individual Evaluation
Report
IndividualEvaluation
Report
IndividualEvaluation
Report Individual Evaluation
Report
Individual Evaluation
Report
Consensus group
Consensus Report
Individual Evaluation
Report
Individual Evaluation
Report
Individual Evaluation
Report
Individual Evaluation
Report
Expert Expert Expert ExpertExpert Minimum 3 experts
Individual evaluation
Consensus
ProposalProposal Eligible proposal
Fonte: Generalbriefingfortheevaluators.pptx della EC
Snodi del processo di valutazione
Il processo di valutazione in Horizon 2020 CNR – Roma 24 marzo 2015
Proposta X
copia 1
Proposta Xcopia 2
Proposta Xcopia 3…5
IEResperto 1
IER esperto 2
IER esperto3…/5
Consensus meeting
CR 3/5 esperti
IAR/IER � Individual Assessment ReportCR � Consensus ReportESR � Evaluation Summary Report
ESR(x proposta)
con tutti i paneldi esperti
Valutatori e Processo di valutazione
Fase 1 - Giudizio di Base Fase 2 - Giudizio di Ranking
Il processo di valutazione in Horizon 2020 CNR – Roma 24 marzo 2015
1Eccellenza
2Impatto
3 Implementazione
I tre criteri di valutazione
Criteri di Valutazione: “Article 15 Selection and award criteria”
Comma 1. The proposals submitted shall be evaluated on the basis of the
following award criteria:
(a) excellence
(b) impact
(c) quality and efficiency of the implementation
Comma 3. The criterion referred to in point (b) of paragraph 1 may be given a
higher weighting for proposals for innovation actions.
Assegnazione dei punteggi: Assegnare punteggi utilizzando anche i decimali;Soglia minima per criterio 3/5; Soglia complessiva 10/15 (le soglie variano pertema e se I o II stage).
DocumentoDocumento UfficialeUfficiale didi HH20202020:: “Rules for participation and dissemination in Horizon 2020”.http://ec.europa.eu/research/participants/data/ref/h2020/legal_basis/rules_participation/h2020-rules-participation_en.pdf
Il processo di valutazione in Horizon 2020 CNR – Roma 24 marzo 2015
HORIZON 2020
Evaluation criteria � For the first stage of a two-stage procedure, only the aspects of the criteria in yellow are evaluated
Clarity and pertinence of the objectives
Soundness of the concept, including trans-disciplinary considerations, where relevant
Extent that proposed work is ambitious, has innovation potential, and is beyond the state of the art (e.g. ground-breaking objectives, novel concepts and approaches)
Credibility of the proposed approach
Clarity and pertinence of the objectives
Soundness of the concept, including trans-disciplinary considerations, where relevant
Extent that proposed work is ambitious, has innovation potential, and is beyond the state of the art (e.g. ground-breaking objectives, novel concepts and approaches)
Credibility of the proposed approach
Exc
elle
nce
The expected impacts listed in the work programme under the relevant topic
Enhancing innovation capacity and integration of new knowledge
Strengthening the competitiveness and growth of companies by developing innovations meeting the needs of European and global markets; and, where relevant, by delivering such innovations to the markets
Any other environmental and socially important impacts (not already covered above)
Effectiveness of the proposed measures to exploit and disseminate the project results (including management of IPR), to communicate the project, and to manage research data where relevant
The expected impacts listed in the work programme under the relevant topic
Enhancing innovation capacity and integration of new knowledge
Strengthening the competitiveness and growth of companies by developing innovations meeting the needs of European and global markets; and, where relevant, by delivering such innovations to the markets
Any other environmental and socially important impacts (not already covered above)
Effectiveness of the proposed measures to exploit and disseminate the project results (including management of IPR), to communicate the project, and to manage research data where relevant
Imp
act
Research and Innovation/Innovation/SME instrument
Coherence and effectiveness of the work plan, including appropriateness of the allocation of tasks and resources
Complementarity of the participants within the consortium (when relevant)
Appropriateness of the management structures and procedures, including risk and innovation management
Coherence and effectiveness of the work plan, including appropriateness of the allocation of tasks and resources
Complementarity of the participants within the consortium (when relevant)
Appropriateness of the management structures and procedures, including risk and innovation management
Imp
lem
enta
tio
n
Fonte: Generalbriefingfortheevaluators.pptx della EC
Il processo di valutazione in Horizon 2020 CNR – Roma 24 marzo 2015
Verifiche nell’applicazione dei criteri
Criterio Verifica
Eccellenza (qualità S/T)• Concetto, obiettivo, innovazione e
piano di lavoro
Per verificare la pertinenza al Topicdella Call
Impatto• Contributo agli impatti attesi nel WP• Piani per la disseminazione e lo
sfruttamento
Chiaro riferimento al WPper verificare la pertinenza con gli obiettivi della Call
Implementazione• Struttura di management• Singoli partecipanti e consorzio• Allocazione e giustificativi delle
risorse
Non è richiesto un dettaglio dei costi. I valutatori devono solo verificare costi non necessari
Il processo di valutazione in Horizon 2020 CNR – Roma 24 marzo 2015
HORIZON 2020
A s s e g n a z i o n e d e l p u n t e g g i o
The proposal fails to address the criterion or cannot be judged due to missing or incomplete information
Poor. The criterion is inadequately addressed, or there are serious inherent weaknesses.
Fair. While the proposal broadly addresses the criterion, there are significant weaknesses.
Good. The proposal addresses the criterion well, although a number of shortcomings are present.
Very Good. The proposal addresses the criterion very well, although a small number of shortcomings are present.
Excellent. The proposal successfully addresses all relevant aspects of the criterion. Any shortcomings are minor.
0
1
2
3
4
5
Il processo di valutazione in Horizon 2020 CNR – Roma 24 marzo 2015
HORIZON 2020
� Discussione tra i tre valutatori sulla base degli IER
� Scopo del consenso: trovare accordo su punteggi e relativi commenti sui meriti,
motivazioni e punti di forza e debolezza nei tre criteri
� Redazione del Rapporto di Consenso (CR) documento
chiave per il ranking di Panel
� Alta numerosità di proposte nella fascia di punteggio 11-13
� Verifica complessiva del consenso ricevuto dalle singole proposte
e consistenza dei punteggi
� Finalizzazione dei punteggi finali del Panel ai fini del ranking finale
Fase del Consenso locale
Il processo di valutazione in Horizon 2020 CNR – Roma 24 marzo 2015
PR
FPR
Lista con ranking finale
Sottomissione
Lista dellepropostenon ammesse
CommissioneEuropea
Proposta
Proposalforms
Valutatore
Eligibilità
Valutatoridella proposta
Valutatori
PanelConsensoValutazioneindividuale
Propostesuggeritein ordine dipriorità
Finalizzazione
CriteriCriteria
Criteria
CommissioneEuropea
ruolo degli Esperti nella valutazione
In remoto Bruxelles
IER/IARCR
ESR
Alcunivalutatori
Schema della valutazione
Il processo di valutazione in Horizon 2020 CNR – Roma 24 marzo 2015
• E’ frequente l’applicazione del punteggio 3 a proposte che sono deboli anche
quando i commenti sono negativi
• E’ frequente l’effetto sorpresa, nel consenso locale, rispetto ai punteggi individuali
• E’ importante la soglia di partenza attribuita alla proposta da ciascun valutatore
• E’ neutrale la guida del moderatore di panel
• E’ sempre di riferimento il testo della call
• E’ di prassi la revisione dei punteggi criterio per criterio con analisi di sotto-criteri
e relative discussioni
• E’ usuale fare riferimenti al testo della proposta per motivare i commenti
La valutazione in H2020 è un processo molto intenso e competitivo
richiede un ruolo pro-attivo e partecipativo dell’esperto per individuare
soluzioni anche in situazioni di giudizio difformi
i proponenti che tengono conto anche di ciò nelle proposte progettuali,
aumentano le possibilità di successo
Considerazioni conclusive
Il processo di valutazione in Horizon 2020 CNR – Roma 24 marzo 2015
321
Roadmap della Task Force
Interdipartimentale per le Strategie Europee
2014 2015
1
2
3
II semestre 2014
� Sviluppo dell’approccio di sistema per attività interdipartimentali strategiche in H2020
� Analisi portfolio FP7-PON
� Evidenza di casi di successo top-down e bottom-up
� Procedure per consultazioni, incontri ad hoc con i Delegati,
� Gestione collaborativa di risposte per Pillar H2020
� Mid term review di H2020 e corrispondente valutazione della partecipazione CNR
I semestre 2015-
2016
� Sviluppo del networkingstrategico
� Posizionamento strategico del CNR nel processo di programmazione strategica
� rapporto rafforzato con i Delegati CNR ed altri esperti nei diversi Comitati di Programma H2020 nell’interesse generale dell’Ente
II semestre 2015 e 2016-
Il processo di valutazione in Horizon 2020 CNR – Roma 24 marzo 2015
Scopo della Consultazione: individuare aspetti prioritari collegati ai cambiamentiintrodotti nelle prime Call di H2020 organizzata dal Network of Liason officesOrganization Research and Technology Organisation (RTO) e rivolta a Coordinatoridi Proposte nelle Call di H2020.
La consultazione ha riguardato 4 aspetti della valutazione in Horizon 2020:
1) Description of topics in the work programmeDifficoltà per ampiezza e interdisciplinarietà dei call topic
2) Technical aspects of the participant portal such as the submission of proposals, the filling up of information and the retrieval of information.
Buone funzionalità3) The first experiences with the evaluation of proposals, the content of Evaluation Summary
Reports (ESR) and their links with the description of topics in work programmes.Commenti su ESR, sul criterio Impatto ed in generale sulla valutazione
4) The clarity of legal issues, guidelines and the annotated model grant agreementsBuona comprensione
La TFI ha in corso un’azione per ripetere questa Consultazione nel CNR prima dell’estate, dopo la chiusura dei prossimi bandi
TFI: Consultazione IGLOCORE
Il processo di valutazione in Horizon 2020 CNR – Roma 24 marzo 2015
Grazie dell’attenzione
per comunicazioni alla Task Force Interdipartimentale per le Strategie Europee