Post on 17-Feb-2019
transcript
Palermo 21/11/2012
Progetto Operativo di Assistenza Tecnica - POAT Salute PON Governance e Assistenza Tecnica (FESR) 2007-2013
Linea 7 – Regione Siciliana
Procedure e Criteri di Valutazione dei Progetti di Ricerca Finalizzata 2011-2012
DIPARTIMENTO PER LO SVILUPPO E LA COESIONE
ECONOMICADIREZIONE GENERALE PER LA POLITICA
REGIONALE UNITARIA COMUNITARIA
Dipartimento della programmazione e
dell’ordinamento
del Servizio sanitario nazionale Direzione generale della programmazione sanitaria
Mirca Barbolini
Progettazione Sanitaria ed Internazionale Consulente Formez PA
PROCEDURE DI VALUTAZIONE
A) Fase Amministrativa: Verifica dei Requisiti del Bando
• Criteri di Eleggibilità (chi può partecipare)
• Tipo di Progetti
• Entità del Finanziamento
• Durata massima
B) Fase Tecnica:
• Procedure (LOI, Proposta Completa)
• Verifica della Qualità del Progetto
Procedure e Criteri di Valutazione dei Progetti di Ricerca Finalizzata
Procedure-Fase Tecnica
Programmi di Rete (PR)
I. Fase - Triage (valutazione della LOI):
La valutazione della LOI verrà effettuata da un gruppo di esperti
prevalentemente internazionali (gruppo triage).
Criteri: Trasferibilità, Impatto per SSN, Innovatività, Importanza del
Gruppo di Ricerca, Coerenza del budget.
II. Fase - Valutazione della proposta completa (Criteri B.2):
La valutazione verrà effettuata da un gruppo di esperti revisori internazionali
o referee (NIH Center for Scientific Review), (2 per progetto), mediante
assegnazione automatica per parola chiave.
Ogni pacchetto di lavoro (WP) dovrà essere valutato secondo i criteri di
innovatività, trasferibilità, impatto per il SSN. Il punteggio
complessivo sarà dato dalla media del punteggio di ogni WP.
Procedure e Criteri di Valutazione dei Progetti di Ricerca Finalizzata
Procedure-Fase Tecnica
Progetti Ordinari, Cofinanziati, Estero, Giovani Ricercatori (Criteri B.1)
1. Valutazione LOI (Comitato di Esperti)
2. Ricezione progetti completi (incl. PR II fase)
3. Invio dei progetti ai revisori internazionali o referee (NIH) (2 per progetto) per valutazione individuale (peer review); assegnazione automatica per parola chiave;
4. Fase di confronto (Face to face) tra revisori (accordo)
5. Gruppo di consenso - GC (RF, PR), Comitato di Valutazione CV (GR),
Study Session (PE, PC):
-grado di merito del progetto
-verifica discrepanze di giudizio dei revisori*
-verifica entità e origine del cofinanziamento (PC)
6. Supervisione dell’intero processo da parte di editors
7. Invio del Verbale di valutazione alla CNRS per l’audit.
NB*: congruità economica e adeguatezza attrezzature (GR, RF e PR)
Procedure e Criteri di Valutazione dei Progetti di Ricerca Finalizzata
Progetti Ordinari, Cofinanziati, Estero, Giovani Ricercatori
Criteri di Valutazione B.1
*Valore massimo=1; Valore minimo=9. Sono ammessi punteggi in frazioni di 0,5 punti.
Programmi di Rete
Criteri di Valutazione B.2
Criterio: Qualità Scientifica e Rilevanza della Ricerca Proposta e Fattibilità degli Obiettivi
Formulario: C.1 Sintesi del Progetto
•Breve riassunto degli aspetti rilevanti del progetto.
Dà un'idea di quello che si intende fare; spesso viene utilizzata dai valutatori per classificare la qualità dei progetti.
Formulario: C.2 Background (Stato dell‟Arte)
•Razionale
Evidenziare gli aspetti in cui la letteratura manca di continuità e chiarezza, e la necessità di approfondire le conoscenze nel campo scientifico specifico, mediante la ricerca proposta (Ipotesi).
Chiara descrizione del contesto, di problemi rilevanti (stato di salute, bisogni organizzativi, tecnologici, altro). Fare riferimento a dati disponibili, evidenze scientifiche, iniziative e ricerche rilevanti a livello locale, regionale, nazionale e internazionale.
Scrivere il Progettopartendo dai Criteri di Valutazione
Criterio: Qualità Scientifica e Rilevanza della Ricerca Proposta e Fattibilità degli Obiettivi
Formulario: D.1 Ipotesi e Rilevanza
•L„Ipotesi deve essere basata su evidenze scientifiche
•Conoscenza della letteratura: Non ipotizzate cose già dimostrate in letteratura o aspetti che non possono essere comprovati, a meno che non abbiate delle idee eccezionali da proporre;
•Esistenza di dati Preliminari: Il dato preliminare darà al valutatore un'idea di quello che fate e di come lo sapete fare;
•La ricerca può dimostrare che la vostra ipotesi non era corretta, dunque l„Ipotesi è sempre un punto di partenza;
•Si fa scienza per testare le ipotesi, non per confermarle.
•Rilevanza della Ricerca: rispetto agli obiettivi e le tematiche del bando.
Scrivere il Progettopartendo dai Criteri di Valutazione
Criterio: Qualità Scientifica e Rilevanza della Ricerca Proposta e Fattibilità degli Obiettivi
Formulario: D.2 Obiettivi Specifici (Specific Aims) (Max 3)
•Permettono di testare le Ipotesi
Gli Obiettivi Specifici devono essere:
•Coerenti rispetto l’Ipotesi formulata;
•Chiari, concisi, connessi logicamente tra di loro;
•Fattibili e misurabili.
Scrivere il Progettopartendo dai Criteri di Valutazione
Criterio: Qualità Scientifica e Rilevanza della Ricerca Proposta e Fattibilità degli Obiettivi
Formulario: D.6 Risultati Attesi e Possibili Criticità
•“E’ necessario investire considerevoli energie nell’ analisi dei potenziali risultati.
•Occorre spiegare come questi verranno interpretati, e come sono in relazione con l‟Ipotesi iniziale.
•“E’ necessario dimostrare capacità analitica e critica, anche nel caso in cui la ricerca non conduca ai risultati desiderati.
Scrivere il Progettopartendo dai Criteri di Valutazione
Criterio: Qualità Scientifica e Rilevanza della Ricerca Proposta e Fattibilità degli Obiettivi
Formulario: D.6 Risultati Attesi e Possibili Criticità
I risultati devono essere coerenti rispetto agli obiettivi e all‟ipotesi di Ricerca.
• E‟ necessario evidenziare le Possibili Criticità e le misure da attuare per superarle.
Scrivere il Progettopartendo dai Criteri di Valutazione
Criterio: Metodologia e strategia di sviluppo del progetto
Formulario: D 3.1,3.2,3.3 - Disegno dello Studio
• Il disegno dello studio non deve fornire solamente una descrizione dettagliata di metodi, gruppi target, etc;
• Deve dimostrare l‟abilità di pensare in modo logico e sulla base di conoscenze solide;
• E’ necessario essere creativi, innovativi, e proporre ricerche fattibili rispetto al proprio contesto di lavoro.
Scrivere il Progettopartendo dai Criteri di Valutazione
Criterio: Metodologia e strategia di sviluppo del progetto
Formulario: D 3.1,3.2,3.3 - Disegno dello Studio
Campi di ricerca e disegni dello studio (BMJ 2001;09:261-304 August ISSN 0966-6494)
• Le terapie: per testare l‟efficacia di un trattamento terapeutico, di una procedura chirurgica, dei metodi di offerta di servizi sanitari o di altri interventi (trial casuale randomizzato)
• Le diagnosi: per dimostrare se un nuovo test diagnostico è valido e affidabile (cross sectional survey)
• Gli screening: per dimostrare la validità di test da applicare ad ampi strati di popolazione con lo scopo di individuare una patologia in fase asintomatica (cross sectional survey)
• La prognosi: per determinare qual è l‟esito più verosimile di una patologia diagnostica allo stadio iniziale (coorte)
• I fattori eziologici: per determinare se un potenziale fattore di rischio è associato allo sviluppo di una malattia (coorte o caso controllo).
Scrivere il Progettopartendo dai Criteri di Valutazione
Criterio: Metodologia e strategia di sviluppo del progetto
Formulario: D 3.1,3.2,3.3 - Disegno dello Studio*
Considerazioni connesse alla scelta dello studio
–Il disegno dello studio è adatto all‟obiettivo prefissato?
–Il disegno dello studio è etico?
–Di quali e quante risorse dispongo in termini di tempo, denaro e personale (fattibilità)?
–Siamo sicuri che non c’è un modo più veloce ed economicoper ottenere le informazioni di cui abbiamo bisogno?
*(Rif.: BMJ 2001;09:261-304 August ISSN 0966-6494)
Scrivere il Progettopartendo dai Criteri di Valutazione
Criterio: Metodologia e strategia di sviluppo del progetto
Formulario: D 3.1,3.2,3.3 – Disegno dello Studio
• E’ necessario definire il disegno dello studio, e spiegare in quale modo è correlato all’Ipotesi di ricerca (razionale), attraverso gli obiettivi specifici (specific aims) identificati.
Formulario: D.4.1 - Dati Preliminari
• Forniscono il razionale a supporto delle ipotesi, dimostrando che vi sono dati disponibili nell’ambito di ricerca specifico;
• Danno la possibilità di mostrare che il progetto è fattibile;
• Devono essere chiari e concisi;
NB: Se possibile inserire delle immagini (D.4.2)
Scrivere il Progettopartendo dai Criteri di Valutazione
Criterio: Metodologia e strategia di sviluppo del progetto
Formulario D.5 – Metodologie e Analisi Statistiche
• Occorre riportare la metodologia di lavoro, fornendo le
evidenze scientifiche su cui si basa.
• Specificare i metodi di analisi statistica;
• Proporre differenti modelli statistici, che possano anche
dare conclusioni diverse rispetto alle ipotesi da verificare.
Scrivere il Progettopartendo dai Criteri di Valutazione
Criterio: Metodologia e strategia di sviluppo del progetto
Formulario: D.5 – Metodologia di Lavoro
La qualità ed efficacia della metodologia di sviluppo del
progetto si verificano attraverso i seguenti aspetti:
-Identificazione dei pacchetti di lavoro (Programmi di
Rete);
-Identificazione delle attività, tempistica, ruoli e
responsabilità (GANTT CHART);
-Struttura organizzativa e procedure (aspetti tecnici e
amministrativi).
-Qualità ed esperienza del gruppo di Ricerca (PE)
-Risorse disponibili (budget, personale, apparecchiature).
Scrivere il Progettopartendo dai Criteri di Valutazione
Criterio: Metodologia e strategia di sviluppo del progetto
Formulario: D.5 Metodologia di Lavoro (PR)
Criterio: Metodologia e strategia di sviluppo del progetto
Formulario: D.5 Metodologia di Lavoro (PR)
Scrivere il Progettopartendo dai Criteri di Valutazione
Ob.3
Ob.1
Ob.2
WP3
WP1
WP2
Obiettivi Pacchetti di Lavoro (WP):-Attività
Prodotti
Prodotti-Intermedi (D)-Principali (M)
Scrivere il Progettopartendo dai Criteri di Valutazione
Criterio: Metodologia e strategia di sviluppo del progetto
Formulario: D.5 – Metodologia di Lavoro (Pacchetti di Lavoro) (PR)
Titolo
Pacchetto di
Lavoro
Tipo di Attività
Partner
Coinvolti
Nr.Mesi/Uomo
per Partner
Es: Coordinamento, Disseminazione, Valutazione,
Gestione: WP1, WP2, WP3, etc.
Obiettivo Specifico
Descrivere le attività del WP e rispettivi ruoli dei partner coinvolti
Descrizione dei Prodotti Intermedi (Deliverables), e Principali
(Milestones), e relativa Tempistica
H2. GANTT CHART (Tabella Attività) (PR, GR, RF, PE, PC)
Criterio: Metodologia e strategia di sviluppo del progetto
Formulario: H. Tempistica e Prodotti del Progetto
Prodotti Principali - H.1.1. Milestones:
Traguardi per realizzare gli obiettivi del progetto
• Eg: Conferenze, creazione reti scientifiche, normative.
Prodotti Intermedi - H.1.2. Deliverables:
Sono necessari per realizzare i prodotti principali
-Materiali: terapie, strumentazione, prototipi, piattaforme software, vaccini..
-Immateriali (nuove conoscenze): pubblicazioni, protocolli, rapporti, brevetti….
I prodotti (Deliverables e Milestones), vengono usati per monitorare
l‟avanzamento del progetto
Scrivere il Progettopartendo dai Criteri di Valutazione
Criterio: Innovazione e Trasferibilità
Formulario: E. Rilevanza e Innovazione
Rilevanza della Ricerca rispetto agli obiettivi e le tematiche del
bando.
Innovazione:
Indicare i progressi attesi rispetto lo stato dell‟Arte (Background), e di come questi risultino innovativi in termini di nuove conoscenze, tecnologie, prodotti, percorsi assistenziali, altro.
Trasferibilità:
Sottolineare la capacità di replicare e diffondere i risultati della ricerca (pubblicazioni, brevetti, conferenze, partecipazione a reti scientifiche, creazione di portali, materiale informativo, etc.).
Scrivere il Progettopartendo dai Criteri di Valutazione
Criterio: Metodologia e strategia di sviluppo del progetto
Formulario: F. Complementarietà e Sinergia del Gruppo di
Ricerca
-Identificazione delle attività, tempistica*, ruoli e
responsabilità (GANTT);
-Struttura organizzativa e procedure (aspetti tecnici e
amministrativi).
-Storia di pregressa collaborazione del gruppo di Ricerca
(PR)
-Sinergia e complementarietà tra gruppi di lavoro o
modelli, anche senza storia di collaborazione tra ricercatori (PE)
Scrivere il Progettopartendo dai Criteri di Valutazione
Criterio: Profilo dell‟Investigatore e Attività Scientifica
Formulario: A, B. Profilo dell‟Investigatore Principale e dei
Contribuenti/altri Investigatori
• Dati e CV Investigatore;
• Lavori scientifici del richiedente: 5 migliori, 5 sull‟argomento (IF Rivista), nr. di citazioni e indice-h,
5 pubblicazioni più recenti.
Progetti Estero: dati ricercatore italiano residente
all’estero, Expertise gruppo di ricerca
Scrivere il Progettopartendo dai Criteri di Valutazione
Criterio: Qualità Scientifica e Rilevanza della Ricerca Proposta e Fattibilità degli Obiettivi
Formulario: (L?). Rilevanza “Traslazionale” e Impatto
per il Sistema Sanitario Nazionale
Descrivere i Benefici complessivi del progetto (nuove conoscenze, prodotti tecnologici, terapeutici, altro);
Evidenziare come questi possano determinare una maggiore capacità di risposta sanitaria (predizione, promozione, diagnosi e terapia), a livello locale, regionale e nazionale, eun miglioramento complessivo dello stato di salute della popolazione.
Indicare i risultati a breve e medio termine (2 anni)
Criterio: valutazione dei tempi di ricaduta sul paziente
Scrivere il Progettopartendo dai Criteri di Valutazione
Criterio: Struttura e apparecchiature a disposizione per la
Ricerca
Formulario: I. Equipaggiamento e Risorse Disponibili
• Chiara e coerente identificazione ed enumerazione delle
risorse necessarie: strumenti, attrezzature, ris. umane, altro.
NB: strumentazioni e attrezzature – solo NOLEGGIO
Scrivere il Progettopartendo dai Criteri di Valutazione
Criterio: Congruità e Coerenza Economica
Formulario I: Costi
Budget coerente: attribuzione dei costi sulla base delle
attività previste dal piano di lavoro
Budget congruo: corretta attribuzione dei costi tra i
capitoli di spesa (% budget complessivo)
• Risorse umane (vs. carico di lavoro previsto dai WPs)
• Subappalto
• Costi Coordinamento
• Viaggi
• Strumenti, attrezzature, test in vivo
• Struttura amministrativa (overheads)
Scrivere il Progettopartendo dai Criteri di Valutazione
Il Budget
deve riflettere in modo preciso e coerente:
le Attività del Progetto
la Struttura Organizzativa e di Coordinamento
le Risorse (umane, materiali) necessarie
nel Tempo
Domande?