Valutazione/classificazione delle riviste scientifiche

Paola Galimberti

IULM 13 gennaio 2017

Era necessario classificare le riviste di ambito

umanistico?

Stato dell’arte:

Proliferare di sedi di pubblicazione

Mancata adesione agli standard internazionali

Marginalizzazione della letteratura prodotta in ambito nazionale

Mancanza di un database che contenesse la letteratura periodica scientifica prodotta in Italia

Il criterio guida: la scientificità?

Come la decliniamo?

Qualità e severità delle selezioni?

Rispondenza a criteri formali condivisi dalle comunità scientifiche?

Reputazione presso la/le comunità scientifiche?

Pubblico di riferimento?

Chi decide della scientificità delle sedi editoriali?

L’esperienza insegna…??

La classificazione australiana (ERA 2010 ritirata nel 2011 ora elenco)La classificazione francese (Aeres ritirata nel 2012 ora elenco)La classificazione europea (ERIH, trasformata in ERIH plus nel 2015 ora elenco)

Il denominatore comune:Trasformazione da rating a elenco

La classificazione in ambito internazionale

L’inclusione nelle liste di riviste è subordinata alla presenza di semplici requisiti formaliAd es. per ERA 2015:academic/scholarly;publish original peer reviewed research;have one or more ISSNs;were active during the ERA 2015 reference period for research outputs

In questa ottica l’inclusione in una lista è garanzia del fatto che i requisiti cheinternazionalmente identificano una pubblicazione scientifica sono rispettati, Questi requisiti si riferiscono a caratteristiche del contenitore dei lavori di ricerca, non sono in alcun modo criteri che entrano nel merito dei lavori

Classificazione riviste: “the Italian style” (DM 120/2016)

Per ciascun settore concorsuale di cui al comma 1, l'ANVUR,anche avvalendosi di esperti e revisori anonimi, determina e aggiornaregolarmente, pubblicandoli sul proprio sito istituzionale:

a) l'elenco di tutte le riviste di carattere scientifico dotate di ISSN

b) il sottoinsieme delle riviste di carattere scientificodefinite «di classe A», ovvero riviste dotate di ISSN, riconosciutecome eccellenti a livello internazionale per il rigore delle procedure di revisione e per la diffusione, prestigio e impatto nellecomunita' degli studiosi del settore, indicati anche dalla presenzadelle riviste stesse nelle maggiori banchedati nazionali eInternazionali (DM 76/2012)

Bastava fermarsi qui

Una serie di errori nella compilazione della lista

iniziale (1/3)

Nella scelta delle fonti il sito ministeriale non completo, non controllato, non utilizzato da tutti i ricercatori (ad esempio i ricercatori dei centri di ricerca o quelli fuori dal sistema universitario)

Nella scelta del metodo un gruppo ristretto di studiosi decide chi sta dentro e chi sta fuori (chi sceglie e chi valuta i valutatori?)

Nell’utilizzo delle liste come in tutte le attività portate avanti da Anvur i criteri e gli indicatori si costruiscono e vengono implementati…

Una serie di errori nella compilazione della lista

iniziale (2/3)

senza un sufficiente periodo di test,

senza una analisi della efficacia degli strumenti costruiti,

senza uno studio sugli effetti indesiderati

Una serie di errori (3/3)

Nell’aggiornamento delle liste (liste pubblicate e poi

ritirate)

Nella disseminazione al pubblico non è possibile fare

alcuna ricerca nei file in PDF messi a disposizione del

pubblico

Entriamo nel dettaglio:

La procedura di richiesta riconoscimenti rivista scientifica e/o di fascia A fino al 4 gennaio presentava incongruenze o errori poi (in parte) corretti:Possono richiedere un giudizio di scientificità e di Classe A riviste che ne siano attualmente prive, o che ne chiedano l’estenzione ad altri settori concorsuali. Ai fini del giudizio l’ANVUR, con il supporto del Gruppo di lavoro Riviste e libri scientifici, applicherà i criteri generali contenuti nel "Regolamento per la classificazione delle riviste nelle aree non bibliometriche" definito dall’ANVUR, sulla base del "DPR 95/2016" e del "DM 120/2016“

Solo il Direttore responsabile o l’editore possono presentare la domanda

La procedura per la richiesta di revisione/inclusione

IntroduzioneSezione inizialeA. Dati della rivistaB. Richiesta di revisioneC. Accertamento della revisione tra pariD. Regolarità della pubblicazioneE. La composizione degli organi delle rivisteF. Accessibilità dei contenutiG. Apertura internazionaleH. Motivazioni della richiesta di riesame

Dati della rivista

La modalità di diffusione della rivista viene richiesta qui (e non nella sezione accessibilità dei contenuti)

Accertamento revisione tra pari

Informazioni come il tasso di rifiuto per una

rivista di ambito umanistico

possono essere davvero

significative?

Comitato scientifico

Come si identifica la rilevanza internazionale?• Studiosi noti

internazionalmente?• Studiosi italiani

affiliati a istituzioni estere?

• Studiosi stranieri affiliati a istituzioni italiane?

La mancanza di chiarezza nella domanda rende le risposte poco consistenti

Accessibilità dei contenuti

Si fa confusione fra disponibilità dei contenuti e loro accessibilità e indicizzazione nelle banche dati. Le informazioni vengono messe sullo stesso piano ma stanno ovviamente su piani differenti

Apertura internazionaleLa apertura internazionale viene

misurata con la presenza in Wos e Scopus, come se ad esempio

Latindex, CIRC o Lexis Nexis o DOAJ o ERIH o altre basi di dati

internazionali che prevedono una selezione all’ingresso non certificassero l’apertura

internazionale

I criteri di accettazione e di inserimento nella

fascia A

Per l’accertamento della effettiva presenza della revisione tra pari secondo standard internazionalmente riconosciuti l’ANVUR può richiedere la trasmissione delle schede relative alla peer reviewdi contributi o fascicoli pubblicati nell’arco temporale oggetto di osservazione.

Per l’inclusione nelle liste di fascia A la peer review deve essere applicata a tutti i contributi pubblicati inoltre (DM 120/2016 allegato D)

5. Ai fini della classificazione delle riviste in classe A, nell'ambito di quelle che adottano la

revisione tra pari, l'ANVUR verifica, rispetto alle caratteristiche del settore concorsuale, il

possesso di almeno uno dei seguenti criteri:

a) qualita' dei prodotti scientifici raggiunta nella VQR (Valutazione della qualita' della ricerca)

dai contributi pubblicati nella rivista;

b) significativo impatto della produzione scientifica, laddove appropriato

Art. 6 comma 3.a e b

Per poter essere considerata rivista di fascia A una rivista deve aver presentato alla valutazione i propri contributi in almeno due esercizi VQR e non deve verificarsi uno squilibrio fra il numero di contributi pubblicati e quelli presentati per la valutazione nazionale.

domanda: se la rivista non è di fascia A e io come ricercatore ho a disposizione una monografia o un saggio lungo (o più monografie e saggi lunghi), cosa sceglierò di presentare per la valutazione?

Possono essere valutati per l’inserimento nelle liste di fascia A riviste che, presenti nell’ultima VQR abbiano una valutazione dei contributi in media superiore del 20 % a quella delle altre riviste della medesima area

Rito abbreviato: se la qualità è superiore del 40% rispetto a quella media dell’area l’unico altro requisito richiesto è quello della regolarità di pubblicazione.

Fare dipendere una procedura di classificazione…

Da un’altra procedura di valutazione (delle strutture) èun unicum mondiale che poco si adatta agli scopi di apertura internazionale e adesione agli standard dichiarati dalla Agenzia Nazionale

Ripensando al punto di partenza…

Proliferare di sedi di pubblicazione

Mancata adesione agli standard internazionali

Marginalizzazione della letteratura prodotta in ambito nazionale

L’obiettivo è stato raggiunto?

Le liste di riviste proprio per il loro valore relativo nella maggior parte delle aree a singoli settori concorsuali sono di difficile consultazione e manutenzioneE’ serio il rischio che alcune riviste ancorché prestigiose non vengano più considerate per la pubblicazione per il fatto che la comunità scientifica presenta alla VQR lavori pubblicati in altri canali (monografie) Viceversa è possibile (anche se la resistenza è forte) che la comunità scientifica preferisca adattarsi ai meccanismi di valutazione e quindi per sostenere le proprie riviste presenti forzosamente per la valutazione degli articoli.

Ma allora qual è l’obiettivo raggiunto?

Concentrazione del potere nelle mani di pochi singoli o di gruppi selezionati dalla Agenzia di valutazione. Infatti….

Quanto è «terza» la classificazione attualmente

in atto?

E’ corretto che una autorità dotata di potere formale sulle carriere e sui finanziamenti stili le liste che utilizzerà per la valutazione? E’ corretto che una autorità dotata di potere formale sulle carriere e sui finanziamenti scelga chi deciderà della sorte delle sedi editoriali?E’ corretto che una autorità dotata di potere formale sulle carriere e sui finanziamenti definisca i requisiti necessari per l’inclusione nelle liste? Ispezioni i report di revisione degli articoli? Attribuisca la medaglia (classe A) sulla base della presenza o meno degli articoli fra i lavori presentati (e giudicati positivamente) in un esercizio di valutazione di cui è essa stessa responsabile?

Come si potrebbe fare (un po’) meglio?

Definire i requisiti formali necessari (e obbligatori) per una rivista per poter essere considerata rivista scientifica – non c’è nulla da inventare basta riferirsi ai requisiti richiesti per l’indicizzazione nelle banche dati (da DOAJ a WOS a Scopusa latindex a CIRC)Definire un elenco di riviste scientifiche per macro ambito (scienze umane e scienze giuridiche e sociali) Rendere gli elenchi ricercabili, scaricabili e fruibili onlineSi considerano per la valutazione nelle aree HSS solo articoli presenti nelle liste di autorità così create

Chi dovrebbe occuparsi della compilazione delle liste?

Il modello DOAJ

ManagingEditors

Italian group French Group German group Uk group

Editor

Ass. Editor

Ass. Editor

Ass. Editor

…….

Assegnazione a un Editor di

area

Procedura online(54 domande)

Assegnazione a un Ass. Editor

Linee guida

Restituzione all’editor

Proposta al Managing

editor

Volontari reclutati e formati

Grazie per l’attenzione