INTRODUZIONE ALLA INTRODUZIONE ALLA BIBLIOMETRIABIBLIOMETRIA

Nicola De BellisNicola De Bellisdebellis.nicola@unimore.itdebellis.nicola@unimore.it

Università di Modena e Reggio Emilia, 11/11/2010

BIBLIOMETRIA

Una metodologia d’indagine che si basa sull'analisi di documenti ma

• non guarda al contenuto / significato / messaggio / interpretazione

• studia le relazioni quantitative tra i documenti e gli elementi che li compongono: parole, citazioni bibliografiche, autori, istituzioni, etc.

CONFUSIONE TERMINOLOGICA

Esistono molti termini riferiti alle aree di ricerca che utilizzano questa

metodologia:

bibliometria, scientometria, informetrica, webmetrica,

cybermetrica...

BIBLIOMETRIA E CITAZIONI

In anni recenti gran parte della ricerca bibliometrica si è concentrata sull'analisi statistica delle citazioni bibliografiche:

• le citazioni indicano connessioni intellettuali tra documenti

• il numero di citazioni ricevute da un documento fornisce un indicatore del suo impatto cognitivo

REFERENCE & CITATION

Le citazioni sono il filo rosso che lega i due corsi sulla bibliometria ed i software bibliografici

Bibliometria: punto di vista del documento citato (citation)

Software bibliografico: punto di vista del documento citante (reference)

ESEMPIO: UNO A UNO

A B

A cita B in un riferimento

bibliografico R

Dal punto di vista di A, l’entità R è un riferimento bibliografico (reference)

Dal punto di vista di B, l’entità R è una citazione bibliografica (citation)

A

B1A

2A

3A

Il documento/autore B riceve 4 citazioni, ovvero 4 riferimenti bibliografici di autori diversi puntano a B

ESEMPIO: QUATTRO A UNO

A

B

1A

2A

3A

Se aggiungo altri link citazionali ottengo una rete bibliografica che può essere analizzata con metodi matematici

C

1C

2C

3C

ESEMPIO: LA RETE

Il punto di vista delle citazioni si assume dopo aver costruito un indice di citazioni:

• si sceglie un certo numero di fonti e si indicizzano tutti i documenti citati nelle note e nelle bibliografie finali

• si inverte la lista così ottenuta in modo da poter risalire da un particolare documento a tutte le fonti di partenza che lo hanno citato

DA REFERENCE A CITATION

Le fonti di cui si analizzano le citazioni sono perlopiù riviste scientifiche internazionali in lingua inglese:

• motivi storici: gli indici di citazioni sono nati per facilitare la ricerca bibliografica nelle scienze naturali e biomediche

• convenienza: gli articoli scientifici hanno una struttura che si presta all'indicizzazione delle bibliografie

LE FONTI

Almeno per ora:

• l’analisi delle citazioni è applicabile solo nei settori dove regna l'articolo scientifico in lingua inglese

• per l’area umanistica / storico sociale e

per aree geografico-linguistiche non anglocentriche non esistono strumenti bibliometrici adeguati

APPLICABILITA’

Perché è diventata così importante in ambito accademico?

ANALISI DELLE CITAZIONI

CASE STUDIES

Il Prof. Maurizio Ponz de Leon, Dipartimento di Medicine e Specialità Mediche dell'Università di Modena, deve presentare una richiesta di finanziamento al Ministero.

La richiesta può essere inoltrata solo da ricercatori con indice di Hirsch maggiore o uguale a 25 per le pubblicazioni degli ultimi dieci anni.

Quanto vale l'h di M. Ponz de Leon e come si fa a documentare la validità dell'indice trovato?

CASE STUDIES

Due ricercatrici del Centro Alcologico Regionale Toscano chiedono a NDB un parere bibliometrico in relazione al seguente problema:

definire un indicatore di originalità per un fondo documentario specializzato in alcologia contenente sia letteratura grigia che monografie.

Che relazione c’è tra indicatori bibliometrici e qualità delle collezioni?

Uno studente che si appresta a scrivere una tesi di laurea sulle dislocazioni della spalla riceve la seguente indicazione dal relatore:

per velocizzare la ricerca e la compilazione della bibliografia dovrà leggere e citare solo gli articoli più citati recuperati da MEDLINE.

E’ un suggerimento corretto? Che utilità può avere l’analisi delle citazioni per la ricerca bibliografica?

CASE STUDIES

OBIETTIVI DEL CORSO

Al termine di questa giornata dovreste essere in grado di:

• definire i principali indicatori bibliometrici elencati nel DM (Impact Factor, indice h,...)

• interrogare i database necessari per calcolarli e rispondere ai quesiti 1-3

• contestualizzare la risposta: non può essere solo un numero o una lista di documenti ordinati per numero di citazioni

BIBLIOMETRIA

PRESUPPOSTI MATEMATICI

PRESUPPOSTI FILOSOFICI

INDICATORI

STRUMENTI: INDICI DI CITAZIONI

1

2

3

4

PRESUPPOSTI

FILOSOFICI

1

Ha senso contare le citazioni se:

• la citazione veicola un’idea, un concetto = si cita per confermare, smentire, segnalare ... qualcosa

• gli scienziati hanno un codice etico “interno” che gli impone di riconoscere le fonti delle loro idee citandole

CULTURA DELLA CITAZIONE

IL CODICE DI R.K. MERTON

La ricerca scientifica secondo il modello bibliometrico:

• ispirata da criteri universali e impersonali di valutazione

• destinata a non rimanere segreta ma a diventare bene pubblico

• disinteressata• basata su affermazioni logicamente

coerenti e verificate o verificabili

IL MODELLO NORMATIVO

Ricompensa

Verifica e approvazione

Comunicazione

Ricerca e scoperta

OnoreficenzePremi

Peer reviewCitazioni

ArticoliReport

Processimentali

RIDUZIONISMO

Dogma bibliometrico:

• la scienza si identifica con la letteratura scientifica pubblicata

• la letteratura scientifica pubblicata riflette l’attività di ricerca condotta in conformità al modello normativo

QUALCOSA NON VA

Il modello normativo trascura:

• violazioni delle norme = frodi, vanity press, favoritismi personali, citazioni ornamentali o reverenziali

• attività che non lasciano traccia in letteratura: insegnamento, costruzione strumenti, coordinamento attività altrui, etc.

PRESUPPOSTI MATEMATICI

2

NORMALITA'

Molti fenomeni osservabili hanno una distribuzione normale o Gaussiana:

• esiste un valore centrale più probabile di tutti gli altri attorno al quale si distribuiscono in maniera ordinata tutti i restanti valori

• tale regolarità permette la formulazione di ipotesi e l’uso di test statistici collaudati

DISTRIBUZIONE NORMALE

ASIMMETRIA

I fenomeni bibliometrici hanno invece una distribuzione profondamente asimmetrica = la maggior parte dei prodotti (pubblicazioni, citazioni)

deriva da / si concentra su

una piccola porzione di fonti (autori, riviste)

DISTRIBUZIONE IPERBOLICA

LOTKA

pochi autori pubblicano la

maggior parte degli articoli rilevanti per un settore di ricerca

BRADFORD

poche riviste pubblicano la maggior parte degli articoli

rilevanti per un settore di

ricerca

“Talmente ampia è la sovrapposizione tra discipline, che la letteratura del nucleo di tutte le discipline scientifiche coinvolge un gruppo di non più di 1000 riviste, e può arrivare a comprenderne anche solo 500”

(Eugene Garfield)

LEGGE DI CONCENTRAZIONE

Lo scienziato è sommerso da un diluvio di informazione Bibliotecari, archivisti, ..., etc. sono gli unici che possono salvarlo

IL MITO DEL DILUVIO

LA CODA LUNGA

Ogni anno approssimativamente il 35% dei documenti prodotti non viene mai citato, il 49% viene citato solo una volta, il 9% due volte, il 3% tre volte, il 2% quattro volte, e soltanto l’1% sei o più volte ... (D. Price)

... quindi i conteggi a livello individuale sono inaffidabili dal punto di vista statistico

CITAZIONI: UN BENE RARO

Quando aumenta la dimensione del campione la variabilità individuale è bilanciata dalla regolarità del comportamento aggregato: si può allora utilizzare la distribuzione normale anche per oggetti “non-normali” ...

... quindi ha senso contare le citazioni se sono tante!

TEOREMA DEL LIMITE CENTRALE

INDICATORI

3

Elencati nel DM:

• numero di citazioni • Impact Factor• indice h ... e simili (?)

Ne esistono molti altri ma non così facili da calcolare

I PIU’ (AB)USATI

Numero di volte in cui un documento/autore è stato citato da un gruppo selezionato di fonti:

• è il mattone per costruire gli altri indicatori bibliometrici

• è correlato positivamente con fattori qualitativi come peer judgement, premi, incarichi di prestigio, etc.

NUMERO DI CITAZIONI

Dipende da fattori che non c’entrano con la qualità:

• lunghezza media delle bibliografie• età• tipologia di documento• settore di ricerca e argomento • autocitazioni • multi- authorship

DIFETTI

Le citazioni sono un bene raro, i confronti individuali risultano statisticamente non significativi, si cerca pertanto di

• contare le citazioni a livello aggregato = rivista, gruppo di ricerca, università, etc.

• confrontare il simile con il simile

• costruire indicatori relativi

L’ANTIDOTO

Si contano le citazioni ricevute, in un dato anno, da tutti gli articoli usciti su una rivista nei due anni precedenti e si divide il risultato per il numero complessivo di articoli pubblicati in tale intervallo.

La classifica delle riviste in ordine di IF esce ogni anno nel Journal Citation Reports di Thomson Reuters.

IMPACT FACTOR (IF)

Non può essere utilizzato come indicatore della qualità del singolo articolo/autore:

• non esiste l'articolo “medio” di una rivista

• può essere gonfiato artificialmente • problema di integrità e accuratezza dei

dati

Resta comunque fondamentale per definire standard disciplinari

DIFETTI

Uno scienziato ha indice h se h degli articoli di cui è autore (o co-autore) hanno guadagnato almeno h citazioni ciascuno:

• misura sia la quantità che la “qualità”• facile da calcolare• insensibile ai valori estremi• correlato positivamente con fattori

qualitativi come peer judgement, rigore metodologico, etc.

INDICE DI HIRSCH / INDICE H

Nonostante la popolarità è un indicatore molto discusso:

• penalizza i ricercatori più giovani• non tiene conto di autocitazioni e

multi-authorship • dipende dal database utilizzato

DIFETTI

STRUMENTI: INDICI DI

CITAZIONI

4

Sono nati per facilitare le ricerche bibliografiche, dando per scontato che

• il rapporto citante - citato è governato dal criterio di rilevanza

• non si tratta di rilevanza stabilita da un bibliotecario ma dall'autore stesso del documento citante

USO BIBLIOGRAFICO

Ricerca per citazioneRicerca per citazioneRicerca tradizionale per parola chiave

Ricerca tradizionale per parola chiave

1982 paper1982 paper

1957 paper1957 paper

1996 paper1996 paper

1982 paper1982 paper

1996 paper1996 paper

1957 paper1957 paper

1987 paper1987 paper

2010 paper2010 paper

2006 paper2006 paper

1993 paper1993 paper

Non va confuso con l'uso bibliografico:

• un articolo molto citato non è necessariamente più rilevante di uno meno citato

• il ranking per citazione produce bibliografie con molti articoli vecchi

• in alcuni settori gli articoli più citati non dicono niente di nuovo, ad es. le rassegne in medicina

USO BIBLIOMETRICO

Pink L., Orange K., White J. et al., Why the sky is not so blue anymore. Journal of Skyology 2010 22: 245-70

Pink LW, Orange KC., White J. et al., Why the sky is not so blue anymore. Journal of Skyology 2010 22(3): 245-70

Pink L. et al., Why the sky is not so blue anymore. Journal of Skyology 22(4): 245-70

Pink L. et al., Why the sky is not so blue anymore. Journal of Skiology 22(4): 245-70

danno luogo a 4 record diversi

IL PROBLEMA FONDAMENTALE

Tre interdisciplinari:

• ISI WEB OF SCIENCE di Thomson Reuters • SCOPUS di Elsevier• GOOGLE SCHOLAR

Molti altri di carattere disciplinare che forniscono risultati plausibili in alcuni casi: SPIRES HEP/Inspire, ADS, MathSciNet, PsycINFO, etc.

GLI ATTREZZI DI LAVORO

5 fondamentali:

• dimensioni del database • copertura temporale• copertura disciplinare• tipologia di documenti indicizzati• accuratezza nel citation matching

CRITERI DI VALUTAZIONE

ISI WEB OF SCIENCE

Integrazione con altri database: Current Contents, Medline, Index Chemicus ...

Autorevolezza: erede dei Citation Indexes di Eugene Garfield, è lo strumento principale usato dai bibliometri

Comprende l’Impact Factor delle riviste e calcola l’indice h

Copertura: circa 11.500 riviste dal 1970 in poi, con backfiles dal 1901

Criteri rigorosi di selezione delle fonti: qualitativi e quantitativi

Indicizza le bibliografie degli atti di convegni

PRO

ISI WEB OF SCIENCE

Privilegia riviste occidentali in lingua inglese (92% in SCI)

Scarsa copertura delle scienze umane e storico-sociali

La funzione per disambiguare i nomi autori è scadente

Nel calcolo dell’Impact Factor non tiene conto di scissioni, fusioni e cambiamenti di titolo delle riviste

Non indicizza le monografie

CONTRO

Non indicizza le citazioni dei documenti in open archives

SCOPUS

Include molte riviste periferiche (no IF per la selezione)

Copertura: circa 16.500 riviste (reference enhanced dal 1995)

Funzioni analitiche più sofisticate che in WoS, ad es. per i nomi autori

Calcola l’indice h e indicatori d’impatto delle riviste alternativi all’Impact Factor: SJR, SNIP

PROIndicizza più atti di convegni rispetto a WoS

Buona copertura delle scienze sociali

SCOPUS

Indicizza le citazioni solo per record post-1996

Il calcolo dell’indice h è falsato per ricercatori con una lunga carriera

CONTRO

Non indicizza le citazioni dei documenti in open archives

Troppo giovane: ancora poco testato dai bibliometri

Prevalenza fonti in lingua inglese (82%)

Gli indicatori d’impatto delle riviste alternativi all’Impact Factor sono ancora “sperimentali”

GOOGLE SCHOLAR

E’ gratis

Link al testo completo di versioni alternative (preprint, postprint) di uno articolo non OA

No limiti geografici e di lingua

Indicizza le monografie di Google Books

Indicizza i materiali depositati negli open archives

PRO

Copertura: non solo riviste scientifiche ma siti web, letteratura grigia, tesi, preprints, etc.

GOOGLE SCHOLAR

Non ordina i record per citation score e non calcola l’indice h, bisogna usare software esterni

Copertura: ignote le fonti e le annate

Non permette di disambiguare autori con le stesse iniziali

I risultati includono spesso duplicati dello stesso articolo (preprint, postprint, ...)

Include tra le citazioni anche record catalografici e liste di testi consigliati

Produce citation scores e h gonfiati e instabili

CONTRO

1 2

84% dei titoli WoS è anche in Scopus mentre solo il 54% dei titoli Scopus è anche in WoS

3

Per le riviste di economia e finanza solo l’utilizzo combinato dei 3 database permette conteggi affidabili

CONFRONTI

Scopus è preferibile a WoS in alcuni settori delle bioscienze (farmacologia, oncologia) e delle scienze sociali (studi sulla interazione uomo - computer)

4

WoS e Scopus forniscono risultati comparabili tra loro, GS no

5

Scopus fornisce citation scores e h più alti in alcuni settori delle scienze biomediche e sociali

6

Una classifica di autori per numero di citazioni può cambiare se si aggiungono le citazioni di Scopus a quelle di WoS

CONFRONTI

“All three systems have limitations [...] but the deficiencies in Google Scholar are so

voluminous, unscholarly, and often so hidden that its hit counts and citation counts should not

be accepted even as a starting point for evaluating the research output of real scholars. In an interesting twist, Google Scholar can help

in revealing the shortcomings of WoS and Scopus by showing information about

publications that are not covered by the automatic h-index generators of either” (Péter

Jacsó)

Sia WoS che Scopus calcolano automaticamente l’h ma:

• non si tiene conto delle citazioni isolate e orfane

• il calcolo è falsato se l’autore ha pubblicato libri e/o articoli che non hanno un master record pur essendo molto citati

INDICATORI PRECALCOLATI

Gli indicatori bibliometrici più usati sono facili da (auto)-calcolare ma pieni di difetti:

• è necessario conoscere bene i limiti dei database utilizzati e renderne consapevole l'utente

• hanno senso solo nel contesto di una valutazione qualitativa

CONCLUSIONI

ESERCITAZIONE

Calcolo dell’h index di Maurizio Ponz de Leon in WoS, Scopus e Google Scholar

PER SAPERNE DI PIU'

Pagina Web SBA: Indicatori bibliometrici<http://www.sba.unimore.it/Inside/Biblioteca%20Digitale/Indicatori%20bibliometrici.asp>

ftp://ddbibmed:ddelivery@ftpext.unimo.it/BIBLIO

PER SCARICARE QUESTA PRESENTAZIONE