Valutazioni di FP7 project proposals
14 luglio 2011Aula D2 - III Lotto, Cittadella Universitaria, Università Mediterranea
Contenuto
Antonio IeraLaboratorio A.R.T.S. (http://www.arts.unirc.it), Reggio Cal., 14/07/2011
• Chi valuta?
• Selezione dei Valutatori
• Processo di valutazione- Individual evaluation- Evaluation criteria- Consensus meeting- Panel meeting
•Ulteriori considerazioni sul processo di valutazione
Chi valuta?
Antonio IeraLaboratorio A.R.T.S. (http://www.arts.unirc.it), Reggio Cal., 14/07/2011
• Expert database – chiunque può registrarsi!
• Primo contatto: circa 6 mesi prima della valutazione• Conferma della partecipazione: 2-3 mesi prima della valutazione• Appointment Letter• Firma del modulo “Conflict of Interest”
Per i bandi di ciascun Community Programmebasta fare un check nel CORDIS website: http://cordis.europa.eu
Esperti registrati FP7
Antonio IeraLaboratorio A.R.T.S. (http://www.arts.unirc.it), Reggio Cal., 14/07/2011
Source: European Commission, 2007
Caratteristiche degli esperti
Antonio IeraLaboratorio A.R.T.S. (http://www.arts.unirc.it), Reggio Cal., 14/07/2011
Non ci sono valutatori “professionisti”
Principali requisiti:- Expertise- Capacità linguistica (tutte le discussioni sono in Inglese)- Confidenzialità nel trattamento delle informazioni- Indipendenza e mancanza di conflitti di interesse- Grande enfasi su “obiettività”
Rotazione: almeno un quarto dei valutatori sono cambiati ognianno da ciascun Panel.
Selezione di esperti
Antonio IeraLaboratorio A.R.T.S. (http://www.arts.unirc.it), Reggio Cal., 14/07/2011
Giusto bilanciamento tra:- Academic and industrial expertise- Gender- Geographical representation of Europe- Proper expertise in one or more of these fields:
• Demonstrated research activity in the given scientificarea
• Extensive experience with project design and administration
• Commercial application of the results of R&D projects• International R&D co-operation
Processo di valutazione
Antonio IeraLaboratorio A.R.T.S. (http://www.arts.unirc.it), Reggio Cal., 14/07/2011
1. Controllo amministrativo fatto dalla EC2. Valutazione degli esperti:
• Briefing per gli esperti• Valutazione Individuale• Consensus Meeting• Graduatoria finale del Panel
3. Ha inizio la fase di negoziazione
Processo di valutazione II
Antonio IeraLaboratorio A.R.T.S. (http://www.arts.unirc.it), Reggio Cal., 14/07/2011
Briefing per i valutatori
• Introduzione degli obiettivi del Work Programme• Discussione sui criteri riportati nella Guide for Applicants • Overview sui principi generali e sui dettagli del processodi valutazione
• Chiarimenti su voti e definizioni di “Excellent”, “Poor”, ecc.• Discussione di eventuali priorità della EC in merito al bando
• Chiarimenti su possibili conflitti di interesse
Processo di valutazione III
Antonio IeraLaboratorio A.R.T.S. (http://www.arts.unirc.it), Reggio Cal., 14/07/2011
Gli Step della valutazione
• Il valutatore lavora indipendentemente• Divieto assoluto di comunicare!• Se serve un computer lo forniscono (quello personale è vietato)• Internet puo’ essere usato, ma in forma ristretta• Ogni proposta è assegnata a 3-5 valutatori• Ogni valutatore compila entro un termine stabilito la “IndividualEvaluation Report” (IER) form
Processo di valutazione IV
Antonio IeraLaboratorio A.R.T.S. (http://www.arts.unirc.it), Reggio Cal., 14/07/2011
Come e cosa viene valutato
2-4 proposte al giornomassimo 2 ore per propostaPrime impressioni da considerare:
• Lunghezza• Titolo• Consistenza• Partnership• Summary• Obiettivi
I primi 15 minuti della valutazione sono cruciali
Processo di valutazione V
Antonio IeraLaboratorio A.R.T.S. (http://www.arts.unirc.it), Reggio Cal., 14/07/2011
Individual Evaluation Report (IER)
IER: un documento di 2-4 pagine completato da ciascun esperto
Tipici criteri valutati per un progetto di ricerca:• S/T QUALITY “Scientific and/or technological excellence(relevant to the topics addressed by the call)”
• IMPLEMENTATION “Quality and efficiency of the implementation and the management”
• IMPACT “Potential impact through development, disseminationand use of project results”
Processo di valutazione VI
Antonio IeraLaboratorio A.R.T.S. (http://www.arts.unirc.it), Reggio Cal., 14/07/2011
1. Scientific and/or technological excellence(relevant to the topicsaddressed by the call)
2. Quality and efficiency of the implementation and the management
3. The potential impact through the development, dissemination and use of project results
All fundingschemes
Soundness of concept, and quality of objectives
• Appropriateness of the management structure and procedures• Quality and relevant experience of the individual participants
• Contribution, at the European [and/or international] level, to the expected impacts listed in the work programmeunder relevant topic/activity
Collaborative projects
• Progress beyond the state-of-the-art• Quality and effectiveness of the S/T methodologyand associated work plan
• Quality of the consortium as a whole (including complementarity, balance) • Appropriateness of the allocationand justification of the resources to be committed (budget, staff, equipment)
• Appropriateness of measures for the dissemination and/or exploitation of project results, and management ofintellectual property.
Networks ofExcellence
• Contribution to long-term integration of high qualityS/T research• Quality and effectiveness of the joint programme of activities and associated work plan
• Quality of the consortium as a whole (including ability to tackle fragmentation of the research field, and commitment towards a deep and durable integration) • Adequacy of resources for successfully carrying out the joint programme ofactivities
• Appropriateness of measures for spreading excellence, exploiting results, and disseminating knowledge, throughengagement with stakeholders and the public at large.
CA (ex Coordination& supportactions
• Contribution to the co-ordination of high quality research• Quality and effectiveness of the co-ordination mechanisms, and associated work plan
• Quality of the consortium as a whole(including complementarity, balance) [for SA: only if relevant] • Appropriateness of the allocation and justification of the resources to becommitted (budget, staff, equipment)
• Appropriateness of measures for spreading excellence, exploiting results, and dissemination knowledge, throughengagement with stakeholders, and the public at large.
Processo di valutazione VI-bis
Antonio IeraLaboratorio A.R.T.S. (http://www.arts.unirc.it), Reggio Cal., 14/07/2011
F7 Cooperation, FP7 Capacities /FP7 People FP7 Ideas (ERC)
5: ExcellentThe proposal successfully addresses all relevant aspects of the criterion in question. Any shortcomings are minor
4: Outstanding
4: GoodThe proposal addresses the criterion well, although certain improvements are possible.
3: Excellent
3: Fair While the proposal broadly addresses the criterion, there are significant weaknesses that would need correcting.
2: Very Good
2: PoorThere are serious inherent weaknesses in relation to the criterion in question.
1: Non-fundable
1: Very poorThe criterion is addressed in a cursory and unsatisfactory manner.
0: Not relevantThe proposal fails to address the criterion under examination or cannot be judged due to missing or incomplete information
Processo di valutazione VII
Antonio IeraLaboratorio A.R.T.S. (http://www.arts.unirc.it), Reggio Cal., 14/07/2011
Sistema di voto• Ogni progetto puo’ ricevere anche dei mezzi voti (es. 3,5)• Ci sono delle soglie per ciascun criterio (es. minimo 3 punti)• E’ richiesta una spiegazione dettagliata del voto non solosemplici voti
• C’e’ una soglia per il voto totale (puo’ essere maggiore dellasomma delle soglie dei singoli criteri)
• Si valuta anche l’entità del grant richiesto!...se è realistico, sedeve essere ridotto, se è adeguato al workplan, ecc..
• Attenzione a non sottovalutare l’organizzazione del management di progetto (di solito trascurato…fa molte vittime)
Processo di valutazione VII
Antonio IeraLaboratorio A.R.T.S. (http://www.arts.unirc.it), Reggio Cal., 14/07/2011
Consensus Meetings• Gli esperti si riuniscono per trovare consenso sui loro voti in presenza di un moderatore (un officer).
• Ogni esperto fornisce la sua opinone • I voti piu’ alti e quelli piu’ bassi vanno giustificati
Serve un CONSENSO per ogni criterio e per le giustificazioni dei voti (che vanno riscritte di sana pianta e sottoscritte da tutti!)
Un Consensus Report (CR) è prodotto a valle del meeting da un “rapporteur” designato dal moderatore del gruppo
Se non c’e’ consenso?Si aggiungono nuovi valutatori finche’ non si raggiunge un consensoAltrimenti, si decide a maggioranza e (rarissimo) decide il panel
Processo di valutazione VIII
Antonio IeraLaboratorio A.R.T.S. (http://www.arts.unirc.it), Reggio Cal., 14/07/2011
Il Panel Meeting• Serve a confermare e comparare i “consensus reports” delle soleproposte che eccedono la soglia
• …finalizzato a sciogliere i cosiddetti “ties”dando priorità di solito in base agli obiettivi del programma e all’impatto del progetto.
Graduatoria finale : in base ai voti e alle priorità date quando ci sono progetti con voti uguali
Il Coordinatore del progetto riceve l’ Evaluation Summary Report (ESR). Questo riflette:Il consenso ottenuto tra gli esperti indipendenti oltre ai risultati del panel in riferimento ad ogni blocco di criteri. Contiene inoltre i commenti finali e il voto finale per la proposta
Processo di negoziazione
Antonio IeraLaboratorio A.R.T.S. (http://www.arts.unirc.it), Reggio Cal., 14/07/2011
Decisione Finale e negoziazione
la Commissione prepara:• Graduatoria delle proposte ammissibili (sopra soglia)• Lista delle proposte per cui puo’ partire il processo dinegoziazione (tenendo in conto il budget per il Panel)
• Lista di progetti di riserva (in caso di ritiro o fallita negoziazione di qualche progetto)
• Lista delle proposte fallite
Processo di valutazione
Antonio IeraLaboratorio A.R.T.S. (http://www.arts.unirc.it), Reggio Cal., 14/07/2011
Alcune riflessioni sul processo
• Importante presentare bene le istituzioni e le persone e la loro complementarietà• Importante evidenziare l’importanza di operare a livello europeo (perche’ non si èpredisposto un progetto nazionale?)
• Formulazione chiara anche per valutatori che non lavorano specificatamente nel campo (ne vengono inseriti alcuni nei gruppi proprio per valutare cio’!)
• Uso di diagrammi e figure auto-esplicative • Tenere sempre in conto i criteri di valutazione ( riportati nella call)• Inglese chiaro e testo ben formattato.• Enfasi (ripetuta) sulle idee ritenute vincenti• Sintesi di concetti
Il tutto nell’ottica che…. I valutatori hanno un TEMPO LIMITATO per leggere e valutare le proposte assegnate loro