La VQR di area13: una riflessione

di sintesi

Alberto Baccini (DEPS Unisi e www.roars.it)

SIS2014: Tavola rotonda

Cagliari 11 giugno 2014

Alberto Baccini, VQR di area13

Composizione del GEV13: un problema di fairness

http://www.roars.it/online/gli-esperti-di-valutazione-allitaliana/

Alberto Baccini, VQR di area13

L’adozione di classifiche di riviste è un problema

http://am.ascb.org/dora/

9596 sottoscrittori individuali; 409 organizzazioni

Alberto Baccini, VQR di area13

Alberto Baccini, VQR di area13

Alberto Baccini, VQR di area13

Il GEV13 usa Google Scholar

Alberto Baccini, VQR di area13

GEV 13 è l’unico ad usare Google Scholar

Alberto Baccini, VQR di area13

Non c’è concordanza tra bibliometria e peer review

htt

p:/

/w

ww

.ro

ars.

it/o

nlin

e/lo

-str

ano

-cas

o-d

elle

-

con

cord

anze

-del

la-v

qr/

Alberto Baccini, VQR di area13

Quota peer review e voto medio

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00

P12

P07

P13

P11P09

P08

S04S05

P10P04

S03

P06S06

P02S01

P01

S02

P05

% peer review

Vo

to m

edio

Corr=-0,777

Ma nei settori bibliometrici è andata

meglio?

Alberto Baccini, VQR di area13

E perché la varietà dei metodi di valutazione

avrà effetti settoriali differenziati

Fonte: A. Baccini, «Napoléon et l’évaluation bibliométrique de la recherche : le cas de l’Italie », Colloque Bibliométrie et indicateurs

de la recherche: enjeux et perspectives, Toulouse, 11 giugno 2013

Alberto Baccini, VQR di area13

Comparabilità dei risultati: RAE vs. VQR

Alberto Baccini, VQR di area13

RAE national comparative data

Alberto Baccini, VQR di area13

VQR: dati non comparabili tra aree

Fo

nte

: ra

pp

ort

o f

inal

e p. 7

Alberto Baccini, VQR di area13

Alberto Baccini, VQR di area13

Alberto Baccini, VQR di area13

I quadrati magici bibliometrici della VQR

Alberto Baccini, VQR di area13

20%

20%

10%

50%

Alberto Baccini, VQR di area13

Ma come sono fatti i bersagli VQR veri?

Ce lo dice l’ANVUR: infatti, la Tabella A1.1 ci fornisce proprio le

dimensioni degli anelli del bersaglio per ciascuna area CUN

Alberto Baccini, VQR di area13

I bersagli veri cambiano da area ad area e sono

molto diversi dal bersaglio teorico

Alberto Baccini, VQR di area13

40%

25%

14%

21%

22%

21%

13%

44%

«Vincere facile»

Ingegneria Industriale e

dell’Informazione

Scienze

Mediche

Alberto Baccini, VQR di area13

Alberto Baccini, VQR di area13

Non c’è concordanza tra peer review e

bibliometrica per cui

Alberto Baccini, VQR di area13

Confronto tra prodotti eccellenti nella VTR e

nella VQR

Alberto Baccini, VQR di area13

Conclusioni

Se si vuole comparabilità tra aree si deve adottare

peer review

Nessun esercizio nazionale di valutazione prevede bibliometria coon

valutazione fine del singolo prodotto della ricerca

Se esistesse anagrafe nazionale della ricerca

(ANPRES) si potrebbero condurre analisi

bibliometriche a cadenze regolari

Comportamenti opportunistici

Riduzione del pluralismo