LA VQR 2011-2014: LA VALUTAZIONE DELLA RICERCA NELL’AREA 13

Graziella Bertocchi Coordinatrice del GEV13

Università di Modena e Reggio Emilia

email: bertocchi@unimo.it

Roma, 3 marzo 2017

Decreto ministeriale n. 458 del 27 giugno 2015 che ha affidato all’ANVUR lo svolgimento della VQR 2011 – 2014

Bando VQR definitivo 2011-2014 (30 luglio 2015)

Nomina dei GEV (settembre 2016)

Conclusione della valutazione (novembre 2016)

Trasmissione indicatori finali di istituzione al MIUR per distribuzione quota premiale FFO 2016 (novembre 2016)

Rapporti di area e rapporto finale ANVUR (21 febbraio 2017)

I tempi della VQR

2

96 università, 12 enti di ricerca vigilati dal MIUR + 6 enti di ricerca assimilati, 21 enti “volontari” (12 enti di ricerca e 9 consorzi interuniversitari)

118.036 prodotti conferiti dalle strutture, contro i 125.397 attesi (94,1%)

16 Gruppi di Esperti della Valutazione (GEV) costituiti da 436 esperti

12.731 revisori

I numeri della VQR

3

• Aumentato il numero delle classi di merito da 4 a 5

• Modificato il peso delle classi di merito

• Modificata la definizione delle classi di merito in termini percentuali della produzione scientifica “mondiale

Eccellente: peso 1 (10%) Elevato: peso 0,7 (20%) Discreto: peso 0,4 (20%) Accettabile: peso 0,1 (30%) Limitato: peso 0 (20%) Prodotto mancante: peso 0 Non valutabile: peso 0

• Data la lunghezza minore del periodo di valutazione, si è ridotto il numero dei prodotti da

sottomettere a valutazione: – 2 prodotti per gli universitari – 3 per i ricercatori degli enti e gli universitari affiliati agli enti

• Tali modifiche rendono poco significativo il confronto tra le due VQR in termini di voto medio e numerosità delle classi di merito

Le novità della VQR 2011-2014 - 1

4

• I prodotti assegnati alle università e agli enti e altre istituzioni hanno avuto una valutazione separata (non si è mediata la somma dei risultati come nella VQR 2004-2010)

• Gli addetti che hanno ricoperto cariche direttive nelle Istituzioni per almeno due anni nel quadriennio 2011-2014 hanno potuto decidere se usufruire di riduzioni del numero di prodotti da conferire per la valutazione

• La riduzione del numero di prodotti per cause di maternità è stata più sensibile

• Migliore definizione degli affiliati agli enti accreditabili, e obbligo dell’affiliazione o ringraziamento all’ente nel testo dei prodotti assegnati all’ente o alle altre Istituzioni da parte degli affiliati

Le novità della VQR 2011-2014 - 2

5

• Obbligo del commento da parte dei revisori

• Dettagliate istruzioni fornite ai revisori e riedizione delle schede di revisione

• Possibilità di sostituire 2 pubblicazioni con 1 monografia, la cui valutazione contava per 2

Le novità della VQR 2011-2014 - 3

6

• 31 membri

di cui 7 da università straniere

8 da università del sud, 6 del centro, 7 del nord

• 3 subGEV:

Economia (Agar Brugiavini)

Aziendale (Salvatore Torrisi)

Statistica (Francesco Bartolucci)

• Costo del GEV

5000 Euro a ogni membro

12000 Euro al coordinatore

Il GEV13

7

• Circa 4700 addetti alla ricerca

• 90 università,

di cui 51 piccole, 33 medie e 6 grandi (in termini di presenza nell’Area)

• 8 enti di ricerca

• 200 dipartimenti

• 4 macrosettori:

Economia (circa il 30% degli addetti)

Economia aziendale (40%)

Statistica e metodi matematici per le decisioni (25%)

Storia economica (5%)

L’Area 13

8

1. I prodotti non valutabili

2. Analisi bibliometrica: applicata ad articoli su riviste presenti nella lista GEV

3. Valutazione peer: applicata a monografie, contributi a volume, articoli su riviste non in lista

4. Confronto tra analisi bibliometrica e valutazione peer per un campione casuale

Gli strumenti di valutazione del GEV13

9

Libri di testo privi di contenuto scientifico

Abstract

Working paper

Mimeo

Policy report non firmati

Duplicati presentati dalla stessa istituzione

Curatele non accompagnate da saggio introduttivo o conclusivo

Prodotti non pubblicati nel periodo 2011-2014

Prodotti con pdf inadeguato (dopo richiesta alle istituzioni)

I prodotti non valutabili

10

La lista riviste utilizzata dal GEV13 per la VQR 2004-2010 è stata ampliata utilizzando le seguenti fonti:

• la banca dati CINECA 2011-2014 delle pubblicazioni degli addetti italiani dell’Area 13 (escludendo riviste non scientifiche, wp, riviste non rilevanti per l’Area)

• le banche dati WoS e Scopus riferite al 2014, includendo riviste nelle categorie rilevanti nonché altre riviste considerate rilevanti dal GEV (Scopus non era stato considerato per la VQR 2004-2010)

Analisi bibliometrica: la lista riviste - 1

11

Una lista preliminare è stata pubblicata sul sito ANVUR il 20 novembre 2015 e successivamente integrata sulla base di oltre 1000 suggerimenti sollecitati dalla comunità scientifica e vagliati dal GEV

La lista finale è stata pubblicata il 14 dicembre 2015

La classificazione delle riviste per classi di merito è stata pubblicata il 14 gennaio 2016, lasciando agli addetti la libera scelta dell’indicatore tra IF5, AIS, IPP e SJR

Analisi bibliometrica: la lista riviste - 2

12

La lista è suddivisa in 5 sub-aree:

- Aziendale (circa il 46% delle riviste)

- Economia (31%)

- Generalista (3 riviste)

- Storia Economica (2%)

- Statistica e metodi matematici (21%)

Come alla VQR1, la specificità di Storia economica e storia del pensiero economico giustificano l’inserimento di una sub-area ad hoc

Per ogni sub-area (eccetto la Generalista) e per ogni indicatore, le riviste sono state suddivise nelle 5 classi di merito previste dal Bando

13

L’imputazione dei valori mancanti degli indicatori è stata effettuata utilizzando l’indice h di Google Scholar sul periodo 2010-2014, ottenuto da Google Metrics per il 62% delle riviste e da Publish or Perish negli altri casi

Le riviste con h pari a 0 sono state escluse dalla lista

L’imputazione è stata basata su un semplice modello di regressione (in log) separatamente per ogni indicatore bibliometrico e per ogni sub-area

Controlli di robustezza ulteriori oltre a quelli già effettuati per la VQR 2004-2010

Analisi bibliometrica: l’imputazione

14

La lista GEV comprende 157 riviste italiane

Un passaggio di classe è stato applicato a 9 riviste italiane, ovvero come previsto dai Criteri a 20-25 meno il numero di riviste italiane già in classe com giudizio Discreto o superiore

di cui

• 4 di Aziendale

• 2 di Economia

• 1 di Storia

• 2 di Statistica

Analisi bibliometrica: le riviste italiane

15

Sulla base delle citazioni individuali, un passaggio di classe è stato attribuito al

top 1%, in termini di citazioni medie annue, degli articoli pubblicati su riviste indicizzate presenti nella lista GEV

Le citazioni sono state raccolte in luglio 2016 e divise rispettivamente per 5, 4, 3 e 2 per articoli pubblicati nel 2011, 2012, 2013 e 2014

Il passaggio di classe è stato applicato a 50 prodotti presentati da 59 coautori

• di cui rispettivamente 9, 31, 2 e 17 su riviste delle sub-aree Aziendale, Economia, Storia e Statistica

• di cui rispettivamente 38, 10, 10 e 1 da classe iniziale con giudizio Buono, Discreto, Accettabile e Limitato

Analisi bibliometrica: le citazioni individuali

16

Ogni prodotto è stato assegnato dai coordinatori dei subGEV a due membri GEV

Nessun automatismo (informed peer)

Due opzioni: accettare la classificazione proposta oppure inviare il prodotto in peer review, con l’accordo di entrambi i membri GEV

La prima opzione è stata scelta nella stragrande maggioranza dei casi

I prodotti inviati in peer facevano spesso parte di tipologie minori (note, commenti, ecc.)

Gli autori di prodotti bibliometrici avevano la possibilitò di richiedere la peer review, con tre possibili motivazioni (aree emergenti, alta specializzazione, interdisciplinarietà): la richiesta è stata avanzata solo dal 6% e mai accettata per mancata coerenza con le motivazioni previste dal Bando

Analisi bibliometrica: il processo di valutazione

17

La banca dati revisori della VQR 2004-2010 è stata espansa con revisori proposti dai membri GEV e selezionati dai coordinatori

Il GEV ha preparato una scheda di valutazione per i revisori e delle linee guida

Ogni prodotto è stato assegnato dal coordinatore competente a due membri GEV, ognuno dei quali ha scelto indipendentemente un revisore esterno, oppure ha effettuato una revisione interna

Sono stati contattati 920 revisori (di cui il 76% circa italiani) e presentate 242 revisioni interne

Una volta ricevuti due pareri, i membri GEV avevano diverse opzioni: accettare la media delle classi proposte dai revisori, suggerire motivando una classe diversa, richiedere un’ulteriore revisione, proporre la formazione di un gruppo di consenso includendo di norma il coordinatore competente

In caso di valutazioni discordi la decisione finale spettava al coordinatore competente

Considerando i prodotti valutati dal GEV13 (inclusi i prodotti inviati da altri GEV ed esclusi i prodotti inviati ad altri GEV) i revisori concordavano sulla classe di merito nel 34% dei casi, I due membri GEV nell’84% dei casi

La valutazione peer

18

A fronte di 9039 prodotti attesi il GEV13 ha ricevuto 8180 products

Altri 205 sono stati inviati ad altri GEV su richiesta degli autori

Sottraendo i duplicati inviati da istituzioni diverse (quindi valutabili), il GEV ha ricevuto 7708 prodotti distinti

Il GEV13 ha anche ricevuto 120 prodotti da altri GEV

In 83 casi una monografia ha ricevuto valutazione doppia, su richiesta degli autori

Descrizione dei prodotti presentati - 1

19

• Il 73% dei prodotti erano articoli su rivista, il 15% contributi a volume, il 9% monografie (nella VQR1 gli articoli su rivista erano solo il 62%)

• Il 77% dei prodotti erano in lingua inglese (57% nella VQR1)

• 192 prodotti sono stati dichiarati non valutabili

• Il 68% dei prodotti valutabili solo stati valutati in blibliometria, il restante 32% in peer (50/50 nella VQR1)

• Dei prodotti bibliometrici presentati, solo il 5% era su riviste non indicizzate della lista GEV

• Differenze significative tra SSD, anche all’interno dello stesso subGEV, per ognuna delle dimensioni sopra descritte

Descrizione dei prodotti presentati - 2

20

• IRAS1: Indicatore quali-quantitativo, con peso 0,75, misurato come rapporto tra la somma delle valutazioni ottenute dai prodotti presentati dall’Istituzione nell’Area e la valutazione complessiva di Area

• IRAS2 (reclutamento): Indicatore quali-quantitativo, con peso 0,20, calcolato come il precedente IRAS1 nel sottoinsieme dei prodotti presentati dagli addetti che, nel periodo 2011-2014 sono stati reclutati o promossi dall’Istituzione

• IRAS3 (attrazione risorse): Indicatore quali-quantitativo, con peso 0,01, misurato sommando i finanziamenti da bandi competitivi. Il valore è espresso come percentuale del valore complessivo dell’Area

• IRAS4 (alta formazione): Indicatore quali-quantitativo, con peso 0,01, misurato dal numero di dottorandi, specializzandi, assegnisti, post-doc. Il valore è espresso come percentuale del valore complessivo dell'Area

• IRAS5 (miglioramento): Indicatore quali-quantitativo, con peso 0,03, basato sulla posizione dell’Istituzione nella distribuzione dell’indicatore R senza penalizzare le Istituzioni situate nella fascia più elevata nei due esercizi

Gli indicatori IRAS1, IRAS2 e IRAS5 dipendono dai risultati VQR,

con peso complessivo pari a 0,98

21

Gli indicatori del Bando VQR - 1

• Gli indicatori IRAS1-IRAS4 sono descritti nel Bando e hanno un riferimento fondativo nel DM VQR; l’indicatore IRAS5, pur non presente nel DM, era presente nella VQR precedente, è descritto nel Bando, è stato richiesto dalle Università ed è ritenuto da ANVUR di grande importanza per la valutazione dell’andamento nel tempo della qualità della ricerca

• L’indicatore qualitativo R, definito come rapporto tra il voto medio attribuito ai prodotti attesi del dipartimento nell'Area (I) e il voto medio ricevuto da tutti i prodotti dell'Area

• L’indicatore qualitativo X, definito come il rapporto tra la frazione di prodotti eccellenti del dipartimento nell’Area e la frazione di prodotti eccellenti dell’Area

22

Gli indicatori del Bando VQR - 2

Gli indicatori si riferiscono a un insieme omogeneo di istituzioni in un’area

Il primo indicatore I, compreso tra 0 e 1, è dato da

𝑰 = 𝒗𝒐𝒕𝒐 𝒄𝒐𝒎𝒑𝒍𝒆𝒔𝒔𝒊𝒗𝒐 𝒊𝒔𝒕𝒊𝒕𝒖𝒛𝒊𝒐𝒏𝒆 𝒊𝒏 𝒂𝒓𝒆𝒂

𝒏𝒖𝒎𝒆𝒓𝒐 𝒑𝒓𝒐𝒅𝒐𝒕𝒕𝒊 𝒂𝒕𝒕𝒆𝒔𝒊 𝒊𝒔𝒕𝒊𝒕𝒖𝒛𝒊𝒐𝒏𝒆 𝒊𝒏 𝒂𝒓𝒆𝒂

e rappresenta il voto medio ottenuto dalla struttura i-esima nell’area j-esima

Definizioni: l’indicatore I

23

Il secondo indicatore R è dato da

𝑹 =𝒗𝒐𝒕𝒐 𝒎𝒆𝒅𝒊𝒐 𝒊𝒔𝒕𝒊𝒕𝒖𝒛𝒊𝒐𝒏𝒆 𝒊𝒏 𝒂𝒓𝒆𝒂

𝒗𝒐𝒕𝒐 𝒎𝒆𝒅𝒊𝒐 𝒅𝒊 𝒂𝒓𝒆𝒂

R > 1 Istituzione migliore della media dell’area

R < 1 Istituzione peggiore della media dell’area

Definizioni: l’indicatore R

24

Il terzo indicatore X è dato da

𝑿 =%𝒆𝒄𝒄𝒆𝒍𝒍𝒆𝒏𝒕𝒊 + 𝒆𝒍𝒆𝒗𝒂𝒕𝒊 𝒊𝒔𝒕𝒊𝒕𝒖𝒛𝒊𝒐𝒏𝒆 𝒊𝒏 𝒂𝒓𝒆𝒂

%𝒆𝒄𝒄𝒆𝒍𝒍𝒆𝒏𝒕𝒊 + 𝒆𝒍𝒆𝒗𝒂𝒕𝒊 𝒊𝒏 𝒂𝒓𝒆𝒂

X > 1 Istituzione migliore della media dell’area

X < 1 Istituzione peggiore della media dell’area

Definizioni: l’indicatore X

25

Risultati della valutazione dei prodotti: per tipo di pubblicazione

26

Tipologia di pubblicazione Somma

punteggi (v)

# Prodotti inviati

Voto medio (I=v/n)

% Prodotti A

% Prodotti B

% Prodotti C

% Prodotti D

% Prodotti E

% Prodotti F

Monografia 147,7 735 0,2 1,22 8,03 22,18 43,81 18,1 6,67

Contributo a volume 241,3 1499 0,16 0,33 4,6 20,68 42,7 27,22 4,47

Articolo su rivista 3778,1 6102 0,62 33,56 29,4 16,83 11,08 8,62 0,51

Brevetto 1,4 2 0,7 0 100 0 0 0 0

Altro 0,1 47 0 0 0 0 2,13 2,13 95,74

Totale 4168,6 8385 0,5 24,59 22,95 17,89 19,55 12,74 2,29

Risultati della valutazione dei prodotti: per metodo di valutazione

27

Metodo di valutazione

Somma punteggi

(v)

# Prodotti inviati

Voto medio (I=v/n)

% Prodotti A

% Prodotti B

% Prodotti C

% Prodotti D

% Prodotti E

Bibliometria 3616,4 5531 0,65 36,83 30,43 16,05 9,08 7,61

Peer review 543,8 2647 0,21 0,91 8,84 22,89 42,92 24,44

Informed peer 8,4 15 0,56 6,67 46,67 40 6,67 0

Totale 4168,6 8193 0,51 25,17 23,48 18,31 20 13,04

Risultati della valutazione dei prodotti: per subGEV

28

SubGEV SSD_ADD Somma

punteggi (v)

# Prodotti attesi (n)

Voto medio (I=v/n)

% Prodotti A

% Prodotti B

% Prodotti C

% Prodotti D

% Prodotti E

% Prodotti F

% Prodotti mancanti

# Prodotti

inviati

Aziendale Subtotale 1313,1 3626 0,36 14,7 15,97 19,86 24,21 16,88 8,38 6,54 3389

Economia Subtotale 1655,9 3128 0,53 29,06 23,56 15,09 14,26 9,24 8,79 6,94 2911

Statistica Subtotale 1199,6 2285 0,52 27,13 26,61 13,48 13,79 7,31 11,68 8,75 2085

Totale 4168,6 9039 0,46 22,81 21,29 16,59 18,13 11,82 9,36 7,24 8385

Risultati della VQR 2004-2010 (percentili 20/20/10/50)

29

subGEV % A % B % C % D % penalizzati

Aziendale 8,44 7,02 12,43 67,14 4,97

Economia 25,17 13,75 18,14 37,54 5,4

Statistica 23,35 17,29 13,13 38,30 7,94

TOTALE 18,10 11,98 14,49 49,27 6,16

Sintesi dei risultati della valutazione:

università

e

dipartimenti universitari

30

31

Università: top 3 per ogni

classe dimensionale

Classe dimensionale G

Ateneo # prodotti attesi (n)

somma punteggi (v)

voto medio (I=v/n)

R X

Milano Bocconi 421 268.9 0.64 1.39 1.49

Bologna 478 275.1 0.58 1.25 1.32 Milano Bicocca 258 121.4 0.47 1.02 1

Classe dimensionale M

Ateneo # prodotti attesi (n)

somma punteggi (v)

voto medio (I=v/n)

R X

Padova 215 148.6 0.69 1.5 1.55

Milano 120 72.7 0.61 1.31 1.36

Venezia Cà Foscari 206 121.1 0.59 1.27 1.31

Classe dimensionale P

Ateneo # prodotti attesi (n)

somma punteggi (v)

voto medio (I=v/n)

R X

Lucca - IMT 10 9.1 0.91 1.97 2.04

Pisa S.Anna 46 38.4 0.83 1.81 1.92

Torino Politecnico 16 11.6 0.73 1.57 1.56

32

Dipartimenti universitari:

top 3 per ogni classe

dimensionale

Classe dimensionale G

Ateneo Dipartimento # prodotti attesi (n)

somma punteggi (v)

voto medio (I=v/n)

R

Roma Tor Vergata Economia e Finanza 127 86.1 0.68 1.47

Bologna Scienze Economiche 179 115.3 0.64 1.4

Firenze Scienze per l'Economia e per l'Impresa - DISEI

151 80.7 0.53 1.16

Classe dimensionale M

Ateneo Dipartimento # prodotti attesi (n)

somma punteggi (v)

voto medio (I=v/n)

R

Milano Bocconi ANALISI DELLE POLITICHE E MANAGEMENT PUBBLICO (PAM)

82 60.8 0.74 1.61

Padova SCIENZE STATISTICHE 70 51.4 0.73 1.59

Padova SCIENZE ECONOMICHE E AZIENDALI "MARCO FANNO"

117 82.2 0.7 1.52

Classe dimensionale P

Ateneo Dipartimento # prodotti attesi (n)

somma punteggi (v)

voto medio (I=v/n)

R

Lucca - IMT 10 9.1 0.91 1.97

Milano Politecnico Matematica 15 13.5 0.9 1.95

Pisa S.Anna Istituto di Economia 16 14.2 0.89 1.92

Rapporto finale per l’Area 13:

• Risultati disaggregati per subGEV, SSD, macroSC, anche separatamente per classe dimensionale

• Risultati separati per gli enti di ricerca e le rispettive sottostrutture

• Risultati per voto medio degli addetti, anche per età e ruolo

• Analisi delle citazioni individuali dei prodotti indicizzati (appendice D)

Rapporto finale ANVUR VQR:

• Risultati per gli indicatori IRAS2 (reclutamento) e IRAS5 (miglioramento)

• Analisi del campione per il confronto bibliometria/peer (non ancora pubblicata)

Ulteriori risultati della valutazione

33

• A causa delle differenze nel numero di classi di merito e dei relativi punteggi tra le due VQR 1 e 2 non è possibile confrontare i valori degli indicatori

• Il calcolo dell’indicatore di miglioramento IRAS5 è quindi basato sulla differenza di posizione (tra le due VQR 1 e 2)

34

L’indicatore di miglioramento IRAS5 - 1

• Per ogni ateneo, per ogni area e per ciascuna VQR si calcola un indicatore A che rappresenta la differenza tra il numero di atenei che nella graduatoria dell’indicatore R si collocano significativamente sotto e sopra l’ateneo in questione

• Il segno del numero dice se l’ateneo ha più atenei significativamente sopra o sotto nella graduatoria (segno negativo per gli atenei “peggiori” e segno positivo per gli atenei “migliori”), mentre il valore assoluto della differenza dice quanto “peggiori” e quanto “migliori”

• Si calcola poi la differenza tra gli indicatori A della VQR 2011-2014 e VQR 2010-2010, evitando penalizzazioni per gli atenei situati nella fascia più elevata nei due esercizi, e attribuendo si attribuisce un valore (0,1,2) a ogni ateneo

• IRAS5 si ottiene normalizzando tale valore

35

L’indicatore di miglioramento IRAS5 - 2

36

Rispetto alla VQR1, forte aumento delle pubblicazioni su rivista, in inglese, valutabili con la bibliometria

Spinta verso l’internazionalizzazione e gli stili di pubblicazione delle scienze “dure”

Nonostante le differenze tra subGEV e SSD, la tendenza è generalizzata, con un effetto di convergenza

Osservazioni finali - 1

37

Il voto medio di un’istituzione rappresentativa che presenti tutti i prodotti attesi, qualora siano tutti valutabili, può essere calcolato come:

1×0,1 + 0,7×0,2 + 0,4×0,2 + 0,1×0,3 + 0×0.2 = 0,35 < 0,46 (voto medio)

Nonostante un confronto delle valutazioni sia possibile solo con estrema cautela, analogamente per la VQR1 si aveva:

0,20×1 + 0,20×0,8 + 0,10×0,5 + 0,50×0 = 0,41 > 0,32

L’Area 13 nel contesto internazionale appare quindi in una buona posizione, in ascesa rispetto alla VQR1, nonostante eterogeneità persistenti (tra SSD, Nord e Sud, classi dimensionali, università ed enti…)

38

39

Grazie per l’attenzione