Il punto in Azalea e la Valutazione di qualità del materiale: una proposta e

un’applicazioneI.Truccolo, P. Seroppi, R.Ricci, P.Gardois, A. Bogliolo, M.A.Annunziata, K. Bianchet, A. Burigo,T. Furlan, E. Mazzoli, G. Cognetti, A.Trocino,

Roma, Istituto Regina Elena,2-3 febbraio 2004

Azalea: biblioteca digitale in oncologia per malati, familiari e cittadini. 3° Incontro di formazione

Sommario: 3 parti

I. La valutazione di qualità del materiale in Azalea:una proposta operativa

II. Un esempio di valutazione dello stile comunicativo al CRO

III.Azalea: mission e vision obiettivi raggiunti impegni futuri

Mission e Vision di Azalea: ripasso obiettivi

Azalea: progetto multicentrico collaborativo di Alleanza contro il cancro al fine di:

a. Implementare e aggiornare continuamente una banca dati digitale italiana di materiale informativo di carattere divulgativo in oncologia per malati, familiari e cittadini…

b. realizzare una biblioteca digitale: non solo un “freddo” prodotto informatico quindi, ma informazioni+servizi che creano contatti virtuosi fra persone: pazienti,familiari,medici,

psicologi,bibliotecari,informatici,infermieri,volontari…

Mission e Vision di Azalea: alcuni “fondamenti”

Catalogazione collaborativa e condivisa fra partners e collaboratori

Soggettazione: MESH e dintorni Valutazione di tutto il materiale Standards e metadati Interfaccia web “Medline plus like”

all’italiana… Particolare visibilità alle Associazioni e

al loro mondo di “autori attivi”

Antecedenti (I)La Valutazione di qualità del materiale in

Azalea è obiettivo che:1. deriva direttamente dalla realtà

(richieste degli utenti) oltreché dalla letteratura sull’argomento

2. è necessario sia esteso a tutto il materiale recensito dato il pubblico cui è destinato

3. è stato sentito, fin dall’inizio, come uno dei requisiti essenziali di Azalea

Valutazione di qualità del materiale: antecedenti

Valutazione in Azalea: background

1. Nella Banca Dati Oncologica su CD ROM -CRO: valutazione di qualità di l00 siti web da parte di esperto (Gardois)

2. Il team di Azalea ha acquisito una formazione comune: corso su “Metodologia di valutazione della qualità delle risorse elettroniche” organizzato da A. Boglilo, IST (Gardois, Genova 29-30 settembre 2003)

3. Familiarità con HONcode, Discern, Quick, LG C.E., griglie/principi ecc…Dibattito fra i partners

4. Tema emerso come importante anche da confronto con AIMaC, ottobre 2003

Valutazione del materiale in Azalea significa:

Valutazione del materiale in Azalea significa:

a. Educare gli utenti all’uso ”intelligente” delle risorse tratte da Internet

b. Estendere la valutazione a tutto il materiale sia cartaceo che elettronico raccolto e recensito in Azalea, secondo una griglia ispirata a criteri internazionalmente riconosciuti

c. Valutare lo stile comunicativo del materiale in produzione

Educare l’utente alla valutazione

Brevi Istruzioni per la lettura delle informazioni su carta o su Web (per il pubblico: compaiono sulla home page di Azalea)

Prima di usufruire delle informazioni, è consigliabile porsi le seguenti domande: 

Gli autori sono chiaramente individuabili? Vi sono chiari riferimenti all'Istituzione o Associazione di appartenenza?

E' chiaro qual è l'argomento trattato? E' chiaro qual è lo scopo del sito o del libro? E' presente la data di produzione del documento? E' presente la data di aggiornamento del sito web (nel caso

di risorse accessibili via Internet) Gli eventuali sponsors (società che, per vari motivi, finanziano

il materiale o sito) sono chiaramente citati (o sono "nascosti" dietro l'informazione?)

Sono citate in modo corretto le fonti su cui si basa il lavoro?

Proposta operativa per fare valutazione in Azalea (per il “back office”)

Si punta a valutare cosa, come e in che modo viene detto in tutti i documenti inseriti, e cioè:

1. Stile comunicativo

2. Aspetti tecnici della pubblicazione (su carta, video o su web)

3. Contenuto

Un Comitato virtuale per la Valutazione del Materiale, articolato per sede di lavoro, valuterà ogni documento sulla base di una griglia di valutazione condivisa e linee-guida comuni.

Griglia di valutazione (I)

La griglia definitiva - che scaturirà dalla sintesi delle 2 proposte che presentiamo, una più sintetica e teorica (Aviano, Napoli), l’altra più completa (Roma) - vuol essere uno strumento per arrivare ad una valutazione di tipo tecnico relativa agli aspetti formali, visivi, di contenuto e di primo impatto della pubblicazione o del sito web   

E’ stata costruita a partire dalla precedente griglia di valutazione (autore P. Gardois) usata per valutare i siti web nella “Banca dati oncologica per malati e familiari” su CD ROM realizzata dal CRO “prima pietra” di Azalea, e usata anche in altri contesti (Elisir…)

Griglia di valutazione (2)

Essa permette anche una prima “scrematura” del materiale sottoposto a valutazione

La valutazione sui contenuti, soprattutto se di carattere medico- scientifico, verrà effettuata da un oncologo referente (uno per struttura)

 Il modello proposto prevede una valutazione, secondo il modello di Discern, con una scala tipo Likert che va da 1 a 5 dove il voto 1 equivale a no, il voto 5 equivale a sì.

La griglia di valutazione di Azalea (proposta Aviano,

Napoli) CRITERI DI QUALITA’

SITI WEB DOCUMENTI CARTACEI E

ON-LINE 1. Trasparenza sul responsabile del sito o del documento

x x

2. Trasparenza sulle finalità e sugli obiettivi

x x

3. Chiara definizione del pubblico destinatario x x

4. Chiarezza sull’argomento trattato

x x

5. Completezza dell’argomento trattato x x

6. Nomi e credenziali di tutti i fornitori delle informazioni (persone ed enti)

x x

7. Presenza di una data

x x

8. Aggiornamento chiaro e periodico

x

9. Chiara indicazione delle fonti su cui si basa il lavoro

x x

10. Indicazione limpida di eventuali sponsors

x x

CRITERI ACCESSORI 1. Possibilità di contattare l’autore

X

2. Facile accessibilità e navigabilità

X

3. Bollini di qualità ed avvisi legali

X x

4. Presenza di un garante editoriale

x

5. Presenza di introduzioni, prefazioni, indici, bibliografie ecc.

x

La griglia di valutazione di Azalea (proposta Aviano,

Napoli)

Proposta di un percorso di lavoro: esempiComitato per la Valutazione del Materiale (proposta):Stile Comunicativo Accessibilità,

Appropriatezza,Accuratezza,

Contenuto informativo

Annunziata, Aviano Catalogatore Oncologo Med. coordinatoreGardois, Torino Esperti dei vari argomentiBogliolo, GenovaPistotti, Milano

Schema applicativo per la valutazioneelaborato da G. Cognetti sulla base dei documenti elaborati dal CRO e delle normative

internazionaliBozza del 26/1/04

WORKFLOW: 1, La risorsa può non essere pertinente ed in tal caso alla prima griglia può essere scartatadal catalogatore che in caso di dubbio può però avvalersi degli altri valutatori per definirne lacongruenza.1. La risorsa accolta a seguito di sottoposizione alla griglia è catalogata è inviata con la

prima valutazione effettuata dal catalogatore e con la relativa scheda ai valutatori per laleggibilità e per il contenuto scientifico dei documenti.

2. La risorsa valutata torna al catalogatore che appone la dizione “validato” sul record(prevediamo diverse validazioni?)

Nel sistema di catalogazione va previsto l’invio del record catalografico agli esperti ed ilrientro dello stesso con la valutazione (Il materiale da validare, se non è su supportoelettronico sarà mandato a parte).

La griglia prevede un punteggio da 1 a 5 per i vari criteri da 1 a 9 (se ne possonoaggiungere altri se si ritiene). I punti abcd ecc servono solo a controllare l’applicazione delpunteggio praticamente. Ad esempio se si risponde negativamente ad ABC non si può dareun punteggio di ottimo (5).Alla fine vi è una nota generale di valutazione del sito o del cartaceo o di altro materiale e lapossibilità di inserire notazioni sui singoli punti (es. 1 , 1a 3b ecc)Lo schema grafico va migliorato (tabella ecc) e messo in excel con calcolo automatico delpunteggio raggiunto dalla risorsa.Naturalmente alcuni campi come l’accessibilità sono solo per i siti web ….

CRITERI DI QUALITA’

SITOWEB

ALTRETIPOLOGIE(A STAMPA,CD-ROM,ETC)

PUNTEGGIO(da 1 a 5)

a a

b bCriteriod’inclusione eappropriatezza

1. La risorsa è utile al paziente?a) E’ indicata la finalizzazione al paziente?b)Pur non essendo esplicitamente indicata o essendo diversa lafinalizzazione la risorsa appare utile al paziente?c)Il linguaggio è sufficientemente chiaro e divulgativo?d)Il linguaggio non è chiarissimo, ma non è strettamente tecnico,quindi è leggibile da chi ha buona formazione culturale?

c c

a a

b b

Criterio ditrasparenza

2. E’ chiaramente definita l’identità e lo scopo della risorsa el’organizzazione responsabile della gestione?a) Il responsabile o del sito o l’autore della risorsa è chiaramente

individuato?b) Eventuali sponsor sono chiaramente identificati?c) Le eventuali informazioni commerciali sono ben evidenziate

come tali e non confuse con quelle “scientifiche”?c c

Criterio diautorevolezza

3. Il responsabile dell’informazione è autorevole? a) C'è un curriculum o un chi siamo che certifichi l’autorevolezza

del responsabile del sito?b) Il sito è prodotto da una istituzione o organizzazione importante

che ne accredita la qualità?c) Sono chiaramente indicate le fonti su cui si basano le

informazioni (es. presenza di cit.bibliografiche)

Interazione

4. E ‘ possibile interagire con il produttore dell’informazione?a) E' sempre presente in ogni pagina l'indirizzo e-mail dell'autore

delle informazioni o per libri e altro materiale per pazientieventuale indirizzo cui riferirsi per contatti?

b) L’e-mail funziona?c) E’ presente nell’home page l’indirizzo completo del referente per

i contatti?d) Il sito incoraggia l’utente ad interagire (richieste valutazioni,

domande ecc.)?

Aggiornamento

5. La risorsa è aggiornata e comunque viene segnalato quantosia aggiornata?a) vi è la data di produzione (edizione nel cartaceo) della risorsa?b) vi è la data di aggiornamento?c) Le pagine web riportano tali date su ogni pagina?d) Il materiale per i pazienti è periodicamente sottoposto ad

aggiornamento e revisione?

Cautele d’uso

6. Sono fornite le cautele d’uso richieste per l’informazione aipazienti?a) Viene indicato chiaramente che le informazioni fornite non

sostituiscono il rapporto medico – paziente?b) Si segnala che è tutelata la privatezza delle informazioni su e

richieste dai pazienti?

Accessibilità

7. Il sito è accessibile a tutti gli utenti a prescindere dallatecnologia utilizzata o da disabilità ?a) Il sito dichiara l’adesione a codici di l’accessibilità e riporta i

relativi loghi (w3A; W3 AA W3AAA )b) La grafica è leggera?c) Le immagini sono corredate da testo e dal tag XHTML :ALT?d) L’XHTML è semplice e secondo normative?e) Il colore non è essenziale per comandi o informazioni?

Usabilità

8. Il sito garantisce le condizioni di usabilità?a) Le iinformazioni sono strutturate con uso di metadata?b) Spiega il funzionamento dei motore di ricerca?c) Utilizza Standard (es. MESH/UMLS- Dublin Core) per

l’organizzazione dell’informazione ?d) E’ presente una mappa del sito?e) Ciò che viene dichiarato è effettivamente applicato?

Codici dicondotta

9. Il sito aderisce a codici di condotta, norme diautoregolamentazione ecc per la gestione di siti di qualitàbiomedici?a) dichiara di aderire a codici, norme ecc.?b) Espone correttamente i relativi marchi (es. HonCode interattivo)?c) Rispetta di fatto i codici?

Note

Il Catalogatore

Percorso di lavoro: il catalogatore esperto

(1)a. La griglia di valutazione definitiva sarà compilata

in prima battuta dal catalogatore esperto che è anche il “regista” di tutto l’iter

b. Egli passerà la griglia pre-compilata con la prima valutazione grezza degli aspetti formali della pubblicazione (e anche di altri aspetti, se in grado) e i documenti (secondo modalità proprie) ad un esperto “accessibile” logisticamente, per ognuna delle altre aree: stile, aspetti editoriali/web, contenuto

c. Ogni catalogatore sottoporrà a valutazione in primis i documenti che avrà catalogato, poi anche una parte di altri, previa “divisione del lavoro” (accordo sul Forum)

d. Sarà sua responsabilità il rispetto della tabella dei tempi: non più di 1 mese per l’intero percorso

L’oncologo referente (2)

d. E’ opportuno che la valutazione del contenuto medico-scientifico dei documenti cartacei sia effettuata da un oncologo

e. Per questioni di praticità, si propone sia individuato un oncologo per ogni IRCSS da parte di ciascun partner in accordo con il proprio Direttore Scientifico

f. Anche a tale specialista verranno consegnati i documenti con allegata scheda di valutazione pre-compilata dal catalogatore

g. Tale specialista potrà, a sua discrezione, avvalersi di altri specialisti in base all’argomento delle pubblicazioni.

L’esperto di valutazione materiale elettronico (c)

d. I siti web e i documenti on-line, saranno inviati con scheda pre-compilata agli esperti di riferimento

e. Si propongono alcuni nomi sulla base della pregressa collaborazione/autorevolezza in materia/attitudine: Gardois, Pistotti, Bogliolo

f. La scelta dei siti da inviare all’uno o all’altro esperto sarà a cura di ogni catalogatore che ha l’obbligo di informare gli altri partners di ogni invio.

g. Gli esperti concorderanno praticamente una modalità comune di valutazione in base alla griglia proposta.

I parte - CONCLUSIONI

d. Sulla base delle valutazioni prodotte dai referenti delle 3 aree, il primo catalogatore redigerà una sintesi finale -riassuntiva dei pareri sui vari aspetti - sotto forma di un breve abstract che comparirà sul web: “bollino blu” di valutazione di Azalea.

e. In un campo apposito compariranno i singoli nomi del team dei valutatori con relativa affiliazione e la data.

f. Il record relativo al documento sarà reso disponibile sul web con la dicitura “Processo di valutazione di qualità in corso”.

II Parte: Un esempio di Valutazione dello Stile comunicativo…

L’esempio di applicazione dello strumento della “Valutazione dello stile comunicativo” di materiale in produzione, di seguito presentata, è stato realizzato dal team di psicologi, in vario modo afferenti alla Biblioteca per i Pazienti del CRO di Aviano.

BIBLIOTECA per i PAZIENTIIl Punto di Informazione

Oncologica

Va precisato che… la Biblioteca per i pazienti al CRO è una sezione della Biblioteca - Direzione Scientifica e si propone di: accogliere le richieste di informazione di pazienti, familiari e cittadini fornire materiale inerente vari aspetti della malattia oncologicaorientare chi si rivolge al Punto nella scelta delle risorse informative disponibili.

CROA V I A N O

Materiale utilizzato

Utilizza il seguente materiale:• guide, opuscoli, depliants, cassette di carattere divulgativo;

•pubblicazioni specifiche provenienti da banche dati, riviste di settore e manuali scientifici;

•risultati ricerche effettuate nelle banche dati biomediche

•documenti tratti da Internet.

Il materiale viene selezionato e adeguatamente preparato rispetto allo specifico richiedente e al tipo di richiesta (scheda anagrafico-motivazionale di rilevazione della richiesta)

CROA V I A N O

Il materiale “divulgativo”

Una definizione operativa:

Il materiale di carattere divulgativo è quella tipologia di materiale che integra due elementi importanti:

• qualità scientifica, intesa come informazioni scientificamente aggiornate e corrette;

• linguaggio da “non addetti ai lavori” , ossia uno stile linguistico non tecnico, adatto ad un pubblico di pazienti, familiari e cittadini… a tutte quelle persone che medici non sono!

CROA V I A N O

L’evoluzione del progetto “Biblioteca per i Pazienti” ha portato…

alla pubblicazione del materiale divulgativo in essa utilizzato, al fine di rispondere alle esigenze degli utenti del Punto di Informazione Oncologica, in un CD ROM: “Banca Dati Oncologica per malati e familiari” (Aviano, febbraio 2003)

alla nascita del progetto AZALEA, con conseguente aumento di materiale a

disposizione degli utenti (luglio 2003).

CROinforma CROA V I A N O

Dall’esigenza quotidiana di rispondere alle domande di informazione di chi si rivolge al servizio come:•utente del Punto di Informazione, o•visitatore di Azalea,è però emerso, e continua ad emergere, che esistono argomenti sui quali si trovano soltanto documenti: - in lingua inglese - troppo specialistici - troppo superficiali - non esaustivi - non affidabili - non aggiornati

Alcune considerazioni preliminariCRO

A V I A N O

Considerazioni preliminari: conclusione

a. Esistono delle aree “scoperte”, ossia degli argomenti oncologici di cui non si ha, o si ha poco, materiale divulgativo a disposizione

b. Le richieste che giungono al Punto di Informazione, da parte di persone fisiche o virtuali, sono sempre più complesse e inducono l’utilizzo di materiale “divulgativo” su una sempre più ampia gamma di argomenti

c . Notevoli sono i continui sviluppi in tutti gli ambiti riguardanti la malattia neoplastica.

CROA V I A N O

Al fine di avere del materiale adeguato in lingua italiana, si è ricorsi agli specialisti del nostro Istituto o altri conosciuti, chiedendo loro di scrivere su specifici argomenti (58 schede a testo completo della serie “CROinforma”) Nel tempo sono poi emerse esigenze di:• aggiornamento • ampliamento• nuova produzione

di materiale informativo di carattere divulgativo.

Serie “CROinforma”CRO

A V I A N O

Aggiornamento- produzione

di materiale

Una volta verificati gli argomenti già trattati e i nuovi argomenti da sviluppare:

a) le richieste di aggiornamento sono state inviate agli autori di materiale a testo completo, o a loro sostituti; b) sono stati identificati gli autori dei nuovi argomenti in base a competenze specifiche, attraverso suggerimenti avuti dai primari dei vari reparti oppure in virtù di rapporti confidenziali con i singoli professionisti.

CROA V I A N O

Praticamente...

c. Si è spedita, via mail, quasi sempre previo contatto, una lettera in cui si motivava la richiesta e si esplicitavano le intenzioni di Azalea

d. In caso di richiesta di aggiornamento, si è provvisto a spedire il file relativo alla scheda del materiale già scritto e pubblicato nella Banca Dati Oncologica e in Azalea

e. In caso di mancata consegna (termine: 25 novembre 2003), telefonata o colloquio vis à vis per ricordare e chiedere conferma della collaborazione.

CROA V I A N O

Valutazione stile del materiale

Ricevuto il materiale dagli autori (33 su

58 a tutt’oggi), questo è stato letto,

valutato e, se del caso modificato da un

Team di psicologi, in vario modo afferenti

alla Biblioteca per i Pazienti, al fine di

verificarne la conformità agli scopi preposti

indicati alla luce di alcuni parametri di

valutazione dello stile comunicativo.

CROA V I A N O

Parametri adottati (I)

a. Utilizzo di un linguaggio chiaro e semplice. Laddove siano stati rilevati termini tecnici e di difficile comprensione, si è provveduto alla loro esplicitazione mediante la creazione di un glossario.

b. Informazioni calibrate al tipo di utenzac. Si è ritenuto opportuno non riportare

stime legate alla prognosi, ritenendo questo un aspetto che non si debba fornire in un’informazione di primo livello ma solo se richiesto e al’interno di una relazione.

CROA V I A N O

Parametri adottati (II)

c. Indicazioni precise rispetto a: - autori delle schede - data di aggiornamento - eventuali riferimenti bibliografici

d. Non sono stati posti vincoli rispetto alla lunghezza del materiale prodotto, piuttosto è stata prestata attenzione alla chiarezza dei contenuti e alla facilità di lettura.

CROA V I A N O

Conclusione del percorso

Sono state concordate con gli autori eventuali modifiche rilevanti La versione definitiva di ogni scheda-documento è stata trasformata in pdf Ogni documento è stato catalogato e soggettato (con le dovute precisazioni rispetto ad eventuali modifiche della precedente versione)

La risorsa a testo completo è stata messa a disposizione degli utenti del Punto di Informazione Oncologica dell’Istituto e – a breve - dei visitatori di Azalea.

CROA V I A N O

II Parte - CONCLUSIONI

Il confronto con gli specialisti della ricerca e cura in oncologia, di cui questo esempio di valutazione dello stile è solo un esempio, è indicativo di come, anche in Italia, il tema della divulgazione scientifica di argomenti sanitari, in particolare dello “scrivere per i pazienti”, abbia assunto dignità scientifica e cominci a far parte del bagaglio culturale degli specialisti della salute.

Ovviamente, questo tema è particolarmente delicato quando l’argomento è il cancro ma, al tempo stesso, è necessario.

CROA V I A N O

Ricordiamo che…

Azalea si rivolge a:

familiari, cittadini e operatori

sanitari, in una prima fase,

anche agli specialisti in una

seconda.

Per finire: il punto su Azalea

Modalità operative di Azalea

Le Biblioteche raccolgono, validano,

catalogano e facilitano la conoscenza

del materiale e dell’ attività delle

Associazioni (preziosa ma non sempre

nota…)

Le Associazioni inviano il loro

materiale alle biblioteche e si rendono

disponibili a fornirlo a chi lo chiede

Obiettivi dello stile operativo di Azalea

1. Costruire un rapporto di collaborazione con il “terzo settore oncologico”

2. Evitare la duplicazione del lavoro

3. Ridurre la dispersione del materiale

4. Realizzare e mantenere un prodotto di qualità

5. Aumentare i punti di riferimento costruttivi per le persone malate e i loro cari

E’ FONDAMENTALE la CHIAREZZA dei RUOLI

1.Riversare la Banca Dati/CRO - 700 records relativi a materiale informativo sul cancro, di carattere divulgativo, prodotto in Italia da Associazioni e Organizzazioni no-profit (circa 360)= Azalea sperimentale su web www.azalea.cbim.it OK

2.Formazione ai partners e interscambio:

3.Inizio catalogazione da parte dei vari partners in modalità differita: a tutt’oggi inseriti circa 1000 records relativi al materiale e più di 1000 relativi alle Associazioni e Organizzazioni medico-scientifiche produttrici di materiale informativo:

Check obiettivi prima fase marzo 03 -giugno 04

Legenda: OK: obiettivo raggiunto : work in progress : impegni futuri

4.Valutare la qualità delle risorse:

5.Software transitorio per catalogare in modalità partecipata secondo gli standards materiali disponibili sui vari supporti (fino a fine 2003): OK

6. Analisi requisiti nuovo software condivisa5.Sviluppo del software “definitivo” per: catalogare in modalità condivisa e

“aperta”: rendere accessibili le risorse alla “comunità

non scientifica” in modo semplificato e “umano”:

Check obiettivi prima fase marzo 03 -giugno 04

Obiettivi seconda fase luglio 04-dicembre 05

6. Implementare il database con le risorse informative destinate alla comunità scientifica - testi, periodici e letteratura grigia disponibile su qualsiasi supporto – e servizi per l’accesso:

7. Valutare l’impatto del prodotto Azalea sui fruitori reali e potenziali e la “qualità percepita” dei materiali resi disponibili:

8. Creare un sistema permanente per l’aggiornamento di qualità in Azalea:

Ridefinizione Obiettivi(agg.to dicembre 03)

Nuove e impegnative prospettive si sono delineate nel dicembre 2003

Progetto Comunicazione di ACC-Ministero per la Salute per la realizzazione di un portale rivolto specificamente ai pazienti: www.stopalcancro.it (già registrato)

SOStumori e Azalea rappresenteranno le 2 facce dell’informazione sul cancro rivolta al paziente accessibili attraverso tale portale, insieme con altre risorse che il Ministero della salute renderà disponibili

Ridefinizione Obiettivi(agg.to dicembre 03)

In conclusione:1. www.stopalcancro.it sarà il portale di

Alleanza contro il cancro per i pazienti e la “comunità non scientifica”; sarà attivo da aprile 2004 (a cura di CBIM e Metacomunicazione)

2. e-oncology “riarmonizzato” rimarrà come portale di Alleanza contro il cancro rivolto ai professionisti.

CONCLUSIONI

Ancora più importanti si rivelano quindi per Azalea:

1. Struttura dei dati, standards catalogazione, soggettazione, interoperabilità degli archivi…

2. Requisiti tecnici web: immediatezza e qualità dell’interfaccia

3. Valutazione di qualità del materiale4. Collaborazione con Associazioni e altri

organismi…5. Adeguati servizi delle biblioteche…

High tech & High touch

Ringrazio per l’attenzioneitruccolo@cro.it