1 Lettura e commento di un articolo su uno studio di efficacia Angelo Cavicchi Medico di Famiglia...

Post on 02-May-2015

216 views 1 download

transcript

1

Lettura e commento di un articolo su uno studio di

efficaciaAngelo Cavicchi

Medico di Famiglia Voghiera (Ferrara)

Elementi di

Epidemiologia Clinica

2

L’osservazione della realtà

Il caso di Nadia

3

LALA RAGIONERAGIONE E E L’L’ OSSERVAZIONEOSSERVAZIONE

SONO DUE SONO DUE STRUMENTI NATURALISTRUMENTI NATURALI DELL’UOMO DELL’UOMO

PER INDAGARE LA REALTA’PER INDAGARE LA REALTA’

L’USO DELLA RAGIONE E’ CONSEGUENTE ALL’USO DELLA

OSSERVAZIONE

( ( RAGIONE COME APERTURA ALLA REALTA’ RAGIONE COME APERTURA ALLA REALTA’ ))

SE LA RAGIONE E’ USATA INDIPENDENTEMENTE DALLA OSSERVAZIONE, VI E’ IL PRIMATO DEL MODELLO RISPETTO

INTERPRETAZIONE DELLA REALTA’

((RAGIONE COME MISURA DELLA REALTARAGIONE COME MISURA DELLA REALTA’)’)

4

... Ci siamo confinati nelle astrazioni anziché andare incontro alla realtà concreta. [ …] Forse la pigrizia naturale dell’ uomo gli suggerisce la semplicità dell’ astratto anziché la complessità del concreto. E’ meno arduo salmodiare le formule o sonnecchiare sui principi che cercare laboriosamente come sono fatte e quale sia il metodo per servirsene.

… Osservare è meno facile che ragionare. E’ risaputo che scarse osservazioni e molti ragionamenti

sono causa di errore. Molta osservazione e poco ragionamento conducono alla verità. […]

… La nostra è un’ epoca di ideologie, nella quale invece di imparare dalla realtà in tutti i suoi dati, si cerca di manipolare la realtà, secondo la coerenza di uno schema fabbricato dall’ intelletto.[…]

( Alexis Carrel 1873-1944, premio Nobel per la Medicina1912 )

5

IL METODO INDUTTIVO

Molta osservazione……

“…Tutta l’ arte della medicina sta nella osservazione … Osservate, memorizzate, collocate al giusto posto, comunicate. Usate i vostri cinque sensi. Imparate a vedere, udire, toccare… Non lasciate che le vostre concezioni delle malattie vengano da parole udite o lette. Guardate e poi ragionate, ma per primo guardate…

sir William Osler

“… Mi sia permesso di entrare nel dettaglio della mia scoperta. Vedrete che non è il risultato di un lungo ragionamento, ma di una semplice osservazione…”

Charles Robert Richet, premio Nobel 1913

“… Ogni scoperta consiste nelL’osservare ciò che tutti hanno visto e nel pensare ciò a cui nessuno ha mai pensato… “

Albert Szent-Gyorgyi, premio Nobel 1937

6

L’apertura alla realtà è una dote

o un metodo?E’ un metodo.E’ un metodo. Lasciarsi guidare da ciò che si vede della realtà

secondo la totalità dei suoi fattori (apertura), e non da ciò che si crede di dover trovare

(preconcetto) , confidando che vale la pena ricercare perché

esiste nella realtà qualcosa che ci sorprende e ci richiama a qualcosa di altro.

7

Sempre caro mi fu quest’ermo collee questa siepe che da tanta partedell’ultimo orizzonte il guardo esclude.Ma sedendo e mirando, interminatispazi di là da quella, e sovrumanisilenzi, e profondissima quïeteio nel pensier mi fingo; ove per pocoil cor non si spaura. E come il ventoodo stormir tra queste piante, io quelloinfinito silenzio a questa vocevo comparando: e mi sovvien l’eterno,e le morte stagioni e la presentee viva, e il suon di lei: Così tra questaimmensità s’annega il pensier mio:e il naufragar m’è dolce in questo mare.

Giacomo Leopardi

8

LOGICA

LOGICA INDUTTIVA

Affermare in base a numerose osservazioni

LOGICA OSSERVAZIONALELOGICA OSSERVAZIONALE

- Osservazione: gli ipertesi hanno molti eventi cardiovascolari- Logica: la ipertensione aumenta il rischio cardiovascolare

9

LOGICA DEDUTTIVA

Affermare in base al risultato di una indagine:

LOGICA SPERIMENTALELOGICA SPERIMENTALE

- Ipotesi: gli ipertesi trattati con risultato hanno un rischio cardiovascolare più basso rispetto ai non trattati o ai refrattari al trattamento

- Logica: la riduzione della pressione arteriosa abbassa il rischio cardiovascolare

LOGICA

10

PER LA DIMOSTRAZIONE DI UNA IPOTESI

METODO INDUTTIVOMETODO INDUTTIVO

La dimostrazione della ipotesi con questo metodo prevede una serie sistematica di osservazioni per verificare se il fenomeno si verifichi sempre.

Semplice Incline all’ errore per l’ affermazione del

conseguente: “post hoc ergo propter hoc”

Il gallo canta ogni mattina prima del sorgere del sole Il sole sorge ogni mattino

Il canto del gallo fa nascere il sole

11

METODO DEDUTTIVOMETODO DEDUTTIVO

La dimostrazione della ipotesi con questo metodo prevede una modifica artificiale della realtà

( occorre effettuare un esperimento alterando artificialmente la realtà, attraverso regole definite)

Tecnicamente complesso Incline all’errore per le difficoltà nell’esecuzione

si tira il collo al gallo e si verifica se il sole continua a sorgere.

PER LA DIMOSTRAZIONE DI UNA IPOTESI

12

STRUMENTI EPIDEMIOLOGICI PER LA DIMOSTRAZIONE DELLA IPOTESI

STUDI ANALITICISTUDI ANALITICI ( Osservazionali)

TRASVERSALI (studi di Prevalenza) LONGITUDINALI ( studi di Prevalenza ed Incidenza)

Studi di Coorte Studi Caso-Controllo

STUDI SPERIMENTALISTUDI SPERIMENTALI Sperimentazioni Cliniche Controllate (RCT): (studi di

efficacia )

13

STUDIO ANALITICO TRASVERSALE

Popolazione studiata

Rischio /fattori-

Rischio/fattori+

Rischio/fattori-

Rischio/fattori +

Con malattia/evento

Senza malattia/evento

Presente

14

Popolazione studiata

Malattia/evento-

Malattia/evento+

Malattia/evento-

Malattia/evento+

Rischio/fattori -

Rischio/fattori+

Presente

Futuro

STUDIO ANALITICO LONGITUDINALE (prostettico)

COORTE COORTE

15

STUDIO ANALITICO LONGITUDINALE

(retrospettivo)

(Casi ) (Controlli)

FR+ FR+ FR-FR-

? ? ? ?

MalatiPresente

Passato

Sani

16

STUDIO SPERIMENTALESperimentazioni Cliniche

Controllate

Popolazione studiata

Malattia/evento-

Malattia/evento+

Malattia evento-

Esperimento/intervento Controllo

Malattia/evento+

Presente

Futuro

17

LE REGOLE SOSTANZIALI DEGLI RCT

Test prospettico valutazione nel tempo con intervento modificazione artificiale di esito incerto potenzialmente utile (altri menti non etico) su una ipotesi sulla base di effetti ipotizzati con una attesa beneficio clinico di rapporti causali per esistenza rapporto causa/effetto clinicamente rilevanti con ricadute importanti statisticamente significativi da accertare con il beneficio del dubbio

a) SPERIMENTAZIONE

18

LE REGOLE SOSTANZIALI DEGLI RCT

b) CLINICA

Volto a verificare la efficacia di un intervento … “Capacità di modificare la storia naturale di una malattia o lo stato di salute di un individuo” (Cochrane 78)

EFFICACIA TEORICA (efficacy): Capacità di un intervento di raggiungere un determinato

obbiettivo in ideali di assistenza EFFICACIA PRATICA (effectiveness) Capacità di un intervento di raggiungere uno specifico

obbiettivo in condizioni normali di assistenza

19

LE REGOLE SOSTANZIALI DEGLI RCT

c) CONTROLLATA

Caratterizzata dalla presenza di un gruppo di CONTROLLO

( non trattato o soggetto al trattamento considerato migliore al momento)

20

GLI STRUMENTI FORMALI DEGLI RCT

Due gruppi di pazienti

comparabili nelle caratteristiche di base

rappresentativi della popolazione

su cui verificare nel tempo la efficacia

del trattamento in sperimentazione

rispetto a quello di riferimento

21

1) RANDOMIZZAZIONE

Ottenere due gruppi di soggetti (trattato e controllo) sovrapponibili per variabili note e non note, capaci di influenzare l’ evoluzione della malattia.

E’ necessario affidarsi alla casualità

La randomizzazione è una casualità formalizzata che rende la causalità dei risultati probabile

(Marchioli- Tognoni 1994)

22

Fattori ambientali, genetica, fattori di rischio, patologie concomitanti,

altri trattamenti

POPOLAZIONE

RANDOMIZZAZIONE

Trattamento di controlloTrattamento sperimentale

23

2) RAPPRESENTATIVITA’ DEL CAMPIONE

Posta una popolazione in esame, la rappresentatività del campione in

studio rispetto ad essa si ottiene:

a) Dalla modalità di selezione (nel campione devono essere rappresentate tutte le categorie di pazienti della popolazione di riferimento)

b) Dalla riproducibilità ed accuratezza dei criteri di determinazione del problema in oggetto, anche in rapporto ai suoi gradi di gravità

Il campione è rappresentativo solo della popolazione a cui si riferisce, pertanto i risultati dello studio saranno estrapolabili solo su pazienti simili ai reclutati

24

POPOLAZIONE DI RIFERIMENTO

POPOLAZIONE SPERIMENTALE

PARTECIPAZIONE AL PROGRAMMA

ASSEGNAZIONE (RANDOMIZZAZIONE

GRUPPO DI TRATTAMENTO GRUPPO DI CONTROLLO

VALUTAZIONE

25

N Engl J Med. 1989 Dec 28;321(26):1825-8.

N Engl J Med. 1989 Jul 20;321(3):183-5.

Final report on the aspirin component of the ongoing Physicians' Health Study. Steering Committee of the Physicians' Health Study Research Group.

26

Randomization Scheme

PHYSICIANS' HEALTH STUDY

22,071Randomized

11,037Aspirin

11,037Aspirin placebo

5,517Beta-carotene

5,520Beta-carotene

placebo

5,519Beta-carotene

5,515Beta-carotene

placebo

27

PHYSICIANS HEALTH STUDY

261.248 Lettere di invito112.528 Rispondono

59.285 Disponibili a partecipare

Esclusi 26.062

33.223 Fase di “run in”

Esclusi 11.152

22.071 Randomizzazione (meno del 10% dei selezionati)

11.035 Trattamento con ASA

11.035 Placebo

POPOLAZIONE DI RIFERIMENTO

28

Baseline CharacteristicsAssignment ASA + BC ASA + PL PL + BC PL + PL

(n = 5,517) (n = 5,520) (n = 5,519) (n = 5,515)

Demographic Mean age (years) 53.2±9.5 53.3±9.6 53.2±9.5 53.2±9.5

Geographic region Northeast 27.8 27.9 27.3 28.8 Midwest 22.4 21.9 22.1 20.3 South or Southwest 26.8 26.1 27.0 27.9 Mountain or Far West 22.0 23.3 22.8 22.1 Other 1.0 0.9 0.7 0.9

PHYSICIANS' HEALTH STUDY I

29

Baseline Characteristics

Assignment ASA + BC ASA + PL PL + BC PL + PL

Medical history Reported hypertension 11.8 11.8 12.4 11.5Mean systolic BP 126.0±11.9 126.3±12.1 126.1±11.7 126.1±11.7Mean diastolic BP 78.8±7.6 78.9±7.5 78.9±7.5 78.7±7.5High cholesterol 7.9 7.5 8.0 8.0Mean cholesterol mg/dl) 211.7±43.9 212.3±45.0 212.7±46.5 211.4±44.8Diabetes mellitus 2.1 2.5 2.2 2.2Mean BMI 24.9±3.1 24.9±3.0 24.9±3.0 24.9±3.0Overweight 13.5 14.0 13.6 13.6History of angina pectoris 1.2 1.4 1.1 1.2Parental history of Ml 12.7 13.3 12.7 13.6

PHYSICIANS' HEALTH STUDY I

30

Baseline Characteristics

Assignment ASA + BC ASA + PL PL + BC PL + PLHealth habitsCigarette smoking Never 49.8 48.8 49.6 50.1 Past only 39.3 40.1 39.1 39.0 Current 10.9 11.1 11.4 10.9 Mean cigarettes/day 21.7±13.0 22.1±12.9 22.4±13.7 22.8±13.5 <15 (of current smokers) 28.8 27.4 27.3 24.6 15-24 (of current smokers) 32.5 33.7 34.7 35.4 25+ (of current smokers) 38.7 38.8 37.9 40.0Current cigar smoking 4.7 4.2 4.3 4.3Current pipe smoking 8.8 7.7 8.2 8.0

PHYSICIANS' HEALTH STUDY I

31

Baseline Characteristics

Assignment ASA + BC ASA + PL PL + BC PL + PLHealth habitsAlcohol use Mean drinks/week 3.5±3.2 3.5±3.2 3.5±3.2 3.5±3.3 Daily 24.8 24.9 24.7 25.2 Rarely or never 14.8 14.6 14.7 15.4Exercise frequency Mean times/month 10.2±8.5 9.8±8.3 10.0±8.6 10.0±8.6 Rarely or never 12.8 14.2 14.0 13.5

PHYSICIANS' HEALTH STUDY I

32

This trial of aspirin for the primary prevention of cardiovascular disease demonstrates a conclusive reduction in the risk of myocardial infarction, but the evidence concerning stroke and total cardiovascular deaths remains inconclusive because of the inadequate numbers of physicians with these end points.

33

A che tipo di popolazione vanno applicati quei risultati?

Medici Maschi Giovani con poche patologie Bassa prevalenza di FR (peso, ore di attività fisica, fumo,

alcool, ecc) Attenti alla prevenzione Meticolosi nell’assumere il farmaco (per 8 anni)

Al termine dello studio si ottenne meno di ¼ delle morti attese nel gruppo di controllo. La vera conclusione quindi sarebbe: condurre una vita sana (non fumare, non bere, fare attività motoria, ecc.) è il miglior intervento di prevenzione cardiovascolare e neoplastica.

34

3) DEFINIZIONE DEGLI ESITI

a) STABILIRE A PRIORI GLI OBIETTIVI DELLO STUDIO PER RICONDURRE GLI ESITI A QUEGLI OBIETTIVI

PRINCIPALI (mortalità totale, causa specifica, eventi non fatali). SECONDARI (O INTERMEDI) (riduzione di un evento causa

secondariamente di mortalità) . HARD (solido) (di facile e sicura determinazione) . SOFT (sfumato) ( di valutazione meno sicura) b) STABILIRE I CRITERI ESPLICITI PER LA LORO DETERMINAZIONE . RIPRODUCIBILITA’ (osservatori diversi o lo stesso osservatore in

tempi diversi ottengono analoghi risultati con quei criteri . ACCURATEZZA ( capacità di individuare i veri positivi ed i veri

negativi sul totale dei risultati) c) LO STUDIO DEVE RIPORTARE TUTTI GLI ESITI RICONDUCIBILI AL

TRATTAMENTO d) IL TEMPO DI CONDUZIONE DELLO STUDIO DEVE ESSERE

ADEGUATO ALLA EMERGENZA DEGLI ESITI

35

4) STUDIO CIECO/APERTO

Nascondere al paziente (cecità semplice) o al medico ed al paziente (cecità doppia) la natura del trattamento effettuato.

Gli studi in aperto è opportuno siano cechi alla rilevazione dei risultati (es. Gissi)

Fonti di distorsione:. Contaminazione somministrazione accidentale del

trattamento sperimentale al gruppo di controllo. Cointervento esecuzione di trattamenti addizionali nei due

gruppi

36

5) POTENZA DELLO STUDIO

Probabilità di vedere un effetto del trattamento quando questo esista, evitando un “falso negativo”

Viene fissata arbitrariamente (80-90%: 1-beta %)

E’ influenzata dalla numerosità del campione

Errore del 2° tipo: accettare l’ ipotesi Ho ( i due trattamenti sono uguali)

quando invece sono diversi (errore beta)

37

6) SIGNIFICATIVITA’ STATISTICAProbabilità che la differenza osservata nei due

trattamenti sia legata al caso.

Per probabilità <5% (p<0.05) o <1% (p<0.01) la differenza viene detta statisticamente significativa e viene rigettata la ipotesi nulla Ho

(H0: i due trattamenti sono uguali) Viene fissata arbitrariamente (5% o 1% , indicata con

“p”)

Errore del 1° tipo: rigettare la H0 (la quale ipotizza che i due

trattamenti siano uguali) quando invece sono uguali veramente: la probabilità di commettere tale errore è legata al “p” (errore alfa)

38

La significatività statistica è calcolata con test statistici

per variabili nominali X2 ( Chi quadrato) per variabili continue

. a distribuzione normale : T di Student , analisi della varianza

. a distribuzione non normale : test non parametrici ( Wilcoxon, Kruscall Wallis, Mann Witnei, K. Smirnov ecc.)

39

Analisi Statistica per variabili nominali X2 ( Chi quadrato) per variabili continue

la distribuzione è Normale?

SI NO

St. Parametrica St. Non Parametrica

I gruppi soni più di due?I gruppi soni più di due?

NO SI

ANOVASono indipendenti?

t di Student per d. appaiati

t di Student

per d. indipendenti

NO SI

SI

Krusskall-Wallis

NO

Sono indipendenti?

NO SI

Test di Wilcoxon

Test di K. Smirnov

Mann Witnei

40

La dimensione adeguata del campione si ricava da tabelle, in cui occorre precisare:

la entità della differenza attesa fra i due trattamenti (trattamento sperimentale contro trattamento di controllo)

il valore di alfa (posto dagli sperimentatori) la potenza dello studio (1-beta%) (posto dagli

sperimentatori)

7) DIMENSIONE DEL CAMPIONE

41

L’ unico modo per aumentare potenza senza ridurre la significatività o viceversa, stante una differenza reale nei trattamenti è aumentare le dimensioni del campione.

Potenza dello studio (1-beta)

Valore della significatività statisticaNumerosità del

campione

42

Esempio

Una malattia produce il 5% di esiti all’anno Si dispone di un nuovo trattamento maggiormente

efficace del 20% Si programma uno studio sperimentale in 3 anni (attesa

di 15% di esiti nei controlli) Si pone p = 0.05 ; potenza dello studio = 80% Ricavo il numero dei pazienti randomizzabili Ricavo il numero dei casi attesi nei sottoposti al

trattamento (attesi nei controlli – 20%)

43

Cause ed effetti in medicina (Marchioli e Tognoni, Il pensiero Sc. Ed. 1994)

Tabella 1: potenza di un trial su un trattamento capace di ridurre gli eventi del 10%, in funzione della percentuale di eventi attesi nel gruppo di controllo (p=0.05)*

% eventi attesi nel gruppo di controllo

Potenza 10% 20% 30%

95% 2335 (44694) 1999 (19994) 1765 (11760)

90% 1805 (36100) 1615 (16148) 1425 (9500)

80% 1358 (27160) 1215 (12150) 1072 (7146)

50% 653 (13064) 584 (5844) 516 (3438)

Tabella 2: potenza di un trial su un trattamento capace di ridurre gli eventi del 20%, in funzione della percentuale degli eventi attesi nel gruppo di controllo (p=0.05)*

% eventi attesi nel gruppo di controllo

Potenza 10% 20% 30%

95% 429 (10634) 478 (4384) 425 (2834)

90% 1805 (8590) 386 (3864) 343 (2290)

80% 323 (6462) 291 (2908) 258 (1724)

50% 155 (3110) 140 (1398) 124 (828)

*Numero di eventi nel gruppo di controllo e numero totale di soggetti (tra parentesi) che dovrebbero essere randomizzati in un trial per ottenere tali eventi nel gruppo di controllo

44

Cause ed effetti in medicina (Marchioli e Tognoni, Il pensiero Sc. Ed. 1994)

Tabella 3: potenza di un trial su un trattamento capace diridurre gli eventi del 30%, in funzione della percentuale degli eventi attesi nel gruppo di controllo (p=0.05)*

% eventi attesi nel gruppo di controllo

Potenza 10% 20% 30%

95% 224 (4480) 202 (2026) 181 (1206)

90% 181 (3620) 164 (1636) 146 (974)

80% 136 (2722) 124 (1230) 110 (734)

50% 65 (1310) 59 (598) 53 (352)

* Numero di eventi nel gruppo di controllo e numero totale di soggetti (fra parentesi) che dovrebbero essere randomizzati in un trial per ottenere tali eventi nel gruppo di controllo

45

8) RILEVANZA CLINICA

Importanza della differenza rilevata negli esiti fra il gruppo dei trattati ed i controlli tale da indurre una modifica nella pratica clinica

a) non tutte le differenze di esito statisticamente significative possono essere clinicamente rilevanti

b) la rilevanza clinica può essere tale che in assenza di significatività statistica delle differenze di esito si possa ripetere la ricerca con un altro metodo (aumento del campione)

46

9) ANALISI FINALE

a) Il numero di pazienti inclusi deve essere uguale a quello dei risultati

b) Gli esiti clinici devono essere tutti espressi, compresi quelli indicanti disabilità o riduzione di qualità della vita anche dei pazienti usciti dallo studio

Gli esiti clinici dei soggetti mancanti, se non descritti, devono essere considerati ricalcolando la significatività - attribuendo un esito negativo ai mancanti del

gruppo favorevole - ed un esito positivo ai mancanti del gruppo

sfavorevole

47

c) Devono essere indicate le misure di dispersione

1. Deviazione Standard (DS): misura della dispersione dei valori

originali: nella distribuzione normale il 95% dei valori è compreso fra media +/- 1.96 DS

2. Errore Standard (ES): misura non la variabilità delle osservazioni ma la precisione con cui la media del campione stima la media vera della popolazione

(Deviazione Standard della distribuzione campionaria delle medie)

3. Limiti di confidenza (IC) :intervallo che con una certa probabilità contiene la differenza reale, quella che ci si potrebbe aspettare nel caso in cui il campione comprendesse l’intera popolazione di riferimento

48

10) CONSENSO INFORMATO

Codice di Norimberga, agosto 1947

Helsinki: 18° assemblea di World Medical Association, 1964

“… il medico dovrà ottenere dal paziente il consenso liberamente … … il consenso dovrà essere di regola scritto … … il ricercatore deve rispettare il diritto di ciascun individuo di

salvaguardare la propria integrità individuale … …. È richiesto un comitato indipendente che valuti il protocollo della

sperimentazione … “

49

Problemi:

a) quanto è cosciente il paziente? Esempio: gruppo di sperimentazioni effettuate in Africa, Thailandia e Repubblica

Dominicana tese a valutare l’ efficacia di nuovi farmaci antivirali nel prevenire la trasmissione da madre a figlio di HIV. Tipo di trial: studio in doppio cieco (controllo con placebo).

Finanziatori: CDC Atlanta; National Institute of Health USA. Critiche: New Eng Jour. Of Med 337 (1997); 335 (19969

b) esiste un fine “buono a priori” nei procedimenti medici (sperimentali e non)?

Occorre definire che cosa sia il “bene” per quel paziente ed il “bene comune”; occorre conoscere e concordare sui fattori costitutivi biologici e non solo, della natura umana. … Non vi è possibilità di Etica a prescindere dalla Ontologia…”

Cesana 2000

50

11) ETICITA’

Un comportamento medico è etico quando rispetta il soggetto su cui agisce e promuove il suo bene, anche quando la persona non è

consapevole

a) ETICA DELLE ASPETTATIVE: una sperimentazione è etica se esiste il dubbio fondato che il nuovo trattamento possa essere più efficace di quello normalmente utilizzato

b) ETICA DEI RISULTATI : i risultati sono etici se ricercati ed

ottenuti per problemi clinicamente rilevanti

c) ETICA DEGLI SPERIMENTATORI : “ … la falsificazione dei dati, l’ analisi scorretta, la presentazione non obbiettiva dei risultati, il ritardo nella comunicazione dei risultati sfavorevoli influiscono sulla eticità della ricerca …”

( Marchioli e Tognoni, 1994)

Cesana 2000

51

IL MEDICO DI MEDICINA GENERALE DI FRONTE ALLA RICERCA

1) COME “REGISTA/ATTORE” In prima persona identifica il problema,

conduce lo studio, giunge a conclusioni

2) COME “ATTORE” per indagini complesse che richiedono

. competenza che vanno oltre la sua cultura ed attività . strutture dove queste vengano progettate e guidate

3) COME UTILIZZATORE lettore critico ed utilizzatore di esperienze altrui

52