“La validazione dei metodi di prova nel Sistema Qualità ... · UNI CEI ENV 13005 : 2000 “GUIDA...

transcript

1A. Grigato – ARPAV Rovigo

““La validazione dei metodi di prova nel La validazione dei metodi di prova nel Sistema QualitSistema Qualitàà dei laboratoridei laboratori””

AGENZIA REGIONALE PER LA PREVENZIONE E PROTEZIONE AMBIENTALE DEL VENETO

Alessandro Grigato – ARPAV, Dip.to di Rovigo

Lecce, 18 Giugno 2004

La validazione dei metodi…

Cosa significa?Cosa e come validare?Quale progettazione?

1) UNI CEI ENV 13005, “Guida all’espressione dell’incertezza di misura”, Milano, 2000 2) EURACHEM/CITAC, “Quantifying Uncertainty in Analytical Measurement”, 2nd Ed, 2000 (Tradotto in italiano da ISS: Rapporti Istisan 03/30, www.iss.it) 3) ILAC-G17 “Introducing the concept of uncertainty measurement in testing in association with the application of the standard ISO IEC 17025”, 2002 (www.ilac.org) 4) EA-4/16 “EA guidelines on the expression of uncertainty in quantitative testing”, 2003 (www.european-accreditation.org) 5) UNICHIM, Manuale n. 197: “Guida alla scelta e all’uso dei materiali di riferimento”, Milano, 2003 6) UNICHIM, Manuale n. 179/0: “Linee guida per la validazione di metodi analitici nei laboratori chimici”, Milano, 1999 7) ARPAER, “Linee guida per la validazione dei metodi analitici e per il calcolo dell’incertezza di misura”, Bologna, 2003 8) UKAS, “Measurement Uncertainty” (www.ukas.com/information_centre) 9) AMC, Technical Brief nr 15, Dec 2003 (www.rsc.org)

RiferimentiRiferimenti

Requisiti Requisiti tecnicitecnici della ISO 17025della ISO 17025

5.1 Generalità5.2 Personale5.3 Luogo di lavoro e condizioni ambientali5.4 Metodi prova e taratura e validazione dei metodi5.5 Apparecchiature5.6 Riferibilità delle misure5.7 Campionamento5.8 Manipolazione degli oggetti da provare e tarare5.9 Assicurazione della qualità dei risultati5.10 Presentazione dei risultati

5.4. Metodi di prova e validazione5.4. Metodi di prova e validazione

5.4.2 Scelta dei metodi

5.4.3 – 5.4.4 Metodi interni

5.4.5 Validazione dei metodi

5.4.6 Incertezza di misura

5.4.7 Controllo dei dati

Requisiti Requisiti tecnicitecnici della ISO 17025della ISO 17025

5.4.5.1 Validazione5.4.5.1 Validazione

Processo di verifica con il quale si controlla se il metodo soddisfa convenientemente

i requisiti prefissati

i metodi non normalizzati e i metodi sviluppati dal laboratorio

i metodi normalizzati utilizzati al di fuori del campo di applicazione prefissato

estensioni e modifiche di metodinormalizzati

5.4.5.2 5.4.5.2 CosaCosa validarevalidare

Ma attenzione:

il laboratorio deve dimostrare di saper correttamente eseguire i metodi normalizzati prima di metterli in

opera!! (5.4.2)

Compatibilità tra dati di precisioneCompatibilità tra dati di precisione

Va almeno verificata la capacità di eseguire la prova con una precisione

(scarto tipo di ripetibilità)

compatibile

con quella del metodo normalizzato

5.2 Some degree of validation is alwaysappropriate even when using apparently well –characterised standard or published methods.

IN T E R N A T IO N A L U N IO N O F P U R E A N D A P P L IE D C H E M IS T R Y

H A R M O N IS E D G U ID E L IN E S F O R S IN G L E -L A B O R A T O R Y V A L ID A T IO N O F M E T H O D S O F A N A L Y S IS

(IU P A C T ech n ica l R ep o rt)

P rep a red fo r p u b lica tio n b y M IC H A E L T H O M P S O N , S T E V E N L R E L L IS O N , A N D R O G E R W O O D

3. Method Validation, Uncertainty and Quality Assurance

Strictly speaking, validation should referto an “analytical system”

rather than an “analytical method ”

ESEMPIO

Per 10 analiti in 2 tessuti di 5 specie animali sono richiesti 100

mesi/uomo (10x2x5)

alla fine della validazione il metodo sarà già obsoleto

Validare costa!

La validazione di un metodo richiede circa un mese uomo per ogni combinazione analita/matrice.

La La validazionevalidazione va progettata...va progettata...

in relazione alloscopo

della prova da validare

in funzione dellatipologia

del metodo preso come riferimento

in funzione dellemodifiche

che eventualmente sono state apportate al metodo stesso

…al fine di ottimizzare il rapporto costi/benefici:

SCOPO PARAMETRO

Qualitativa

d’identificazione

Semiquantitativa

su tracce

Quantitativa

su tracce

Quantitativa e/o

confronto con un valore

prefissato

Prove di

comportamento

Selettività x x x x Esattezza x x Recupero x x Ripetibilità x x x LOD x x LOQ x Linearità x x Campo di applicazione

Robustezza x x x x x

UNICHIM

specifiche del metodo di riferimentocriteri riportati in norme di leggecriteri contenuti in linee guida riconosciutecriteri fissati dalla direzione del laboratorio inbase ad esigenze di mercatorichieste specifiche dei clienti

Primadi procedere alla stima dei parametri di

validazione vannoprefissati

i criteri di accettabilità degli stessi, ad esempio

GIUDIZIO DI IDONEITA’ Si esprime il seguente giudizio di idoneità della procedura di prova all’utilizzo previsto, in funzione dello scopo e campo di applicazione e dei criteri di accettabilità GIUDIZIO: NOTE: Data……………………. Il resp.le tecnico dei dati ……….……………………………

A fronte di questi requisiti deve essere espresso il giudizio di idoneità all’utilizzo

I risultanti del CQ devono essere

registrati in modo che siano

rilevabili le linee di tendenza

Il laboratorio deve avere procedure di Controllo Qualità per

monitorare la validità delle prove

5.9 Il 5.9 Il controllocontrollo del processodel processo

EA EA –– 2/03 Interlaboratory comparisons2/03 Interlaboratory comparisons

I risultati del CQ andrebbero valutati in funzione delle promesse fatte al cliente

• Selettività o specificità (interferenze)• Campo di applicazione

• Linearità• Sensibilità• Ripetibilità

• Limite di rivelabilità• Limite di quantificazione

• Robustezza• Esattezza

• INCERTEZZA

5.4.5.3 5.4.5.3 CaratteristicheCaratteristiche dei metodidei metodi

““LL’’incertezza di misura nel Sistema Qualitincertezza di misura nel Sistema Qualitààdei laboratoridei laboratori””

Alessandro Grigato – ARPAV, Dip.to di Rovigo

Lecce, 18 Giugno 2004

L’incertezza di misura…

Cos’è?Da cosa dipende?

Perché è così importante?Come viene stimata?

Per poter confrontare tra loro risultati di misure diverse occorre...

...usare lo stesso “metro”, ossia far riferimento a campioni universalmente riconosciuti

…associare al risultato la sua incertezza valutata in modo universalmente riconosciuto

LaRIFERIBILITA’ garantisce la coerenza delle misure

L’ INCERTEZZAdefinisce l’affidabilità delle misure

“Proprietà del risultato di una misurazione consistente nel poterlo

riferire

a campioni appropriati, generalmente nazionali od internazionali, attraverso

una catena ininterrotta di

tarature

per confronto”

5.6. Riferibilità delle misure

(VIM 3.9, UNI ENV 13005, B.2.18)

Parametro, associato al risultato di una misurazione, che caratterizza la dispersione

dei valori ragionevolmente attribuibili al misurando

INCERTEZZAINCERTEZZA

UNI CEI ENV 13005 : 2000“GUIDA ALL’ESPRESSIONE DELL’INCERTEZZA

DI MISURA” (GUM) PUNTO 0.1

Nel riportare il risultato della misurazione di una grandezza fisica, è obbligatorio fornire una qualche indicazione quantitativa della qualità del risultato, in

modo che gli utenti ne possano accertare

l’attendibilitàSenza tale indicazione i risultati delle misurazioni non possono

essere

confrontati

né tra di loro, né con valori di riferimento assegnati da specifiche o norme

UNI CEI ENV 13005 : 2000“GUIDA ALL’ESPRESSIONE DELL’INCERTEZZA

DI MISURA” (GUM) PUNTO 3.4.8 pag. 13

Nella presente epoca di mercato mondiale, èimperativo che il metodo per valutare ed

esprimere l’incertezza sia

uniforme

nel mondo, cosicché le misurazioni effettuate in Paesi diversi siano facilmente

confrontabili

Precisione Precisione

= bias

amc technical brief No. 13 Sep 2003 Royal Society of Chemistry 2003

EsattezzaEsattezza

= bias

INCERTEZZA INCERTEZZA

= bias

INCERTEZZAINCERTEZZA

L’INCERTEZZA

non è un errore

ma, al contrario, è un intervallo che quantifica la nostra

ignoranza

sui reali errori che gravano sul risultato

32A. Grigato – ARPAV RovigoLaboratorio rosso

Laboratorio blu

Prima della GUM…Prima della GUM…

L’errore massimo ottenuto è unoggetto misterioso

di cui non si conoscono le proprietàe non si sa come

propagarlo

Si sommano le componenti sistematiche a quelle casuali

Errore max

La regola di composizioneLa regola di composizioneApproccio Approccio BottomBottom UpUp

Identificare le fonti di incertezzaValutarle ed esprimerle

come Incertezze tipo u1, u2 …unCalcolare l’incertezza composta:

uc(y) = f ( u1, u2, u3, …un )Calcolare l’incertezza estesa:

U(y) = k uc(y)

I risultati della taratura: I risultati della taratura: l’INCERTEZZAl’INCERTEZZA

0,12= 0,2

1993 GUM: “Guide to the Expression of

Uncertainty in Measurement”

1995 EURACHEM/CITAC, “Quantifying

Uncertainty in Analytical Measurement” 2002

ILAC-G17 “Introducing the Concept of Uncertainty Measurement in Testing .....

EA-4/16 “EA Guidelines on the Expression of Uncertainty in Quantitative Testing”

APPROCCIO METROLOGICO APPROCCIO METROLOGICO (o (o BottomBottom –– Up)Up)

“…non è probabile che l’approccio bottom – up rappresenti per i chimici analitici uno strumento utile alla stima

dell’incertezza.Tutti i gruppi hanno convenuto che i dati disponibili da studi di validazione permettono stime ragionevoli dell’incertezza di

misurazione.”

R.G. Visser, Measurement uncertainty: Opinions of the Government, the Accreditation Council and the Candidate accredited laboratory, Accred. Qual. Assur., 7, 124 (2002)

EURACHEM ha commissionato nel 2000 uno studio di fattibilità a quattro gruppi di ricerca da cui risulta che…

December 2003 rev00

In general, the GUM is also applicable in testing, although thereare

decisive differencesbetween measurement and testing procedures

In general, the quality of a test resultdoes not reflect the best achievable or the smallest uncertainty

EA EA –– 4/16 4/16

1 Introduction1 Introduction

The very nature of some testing procedures may make it difficultto apply the GUM

strictly

The important distinction is that a comprehensive mathematical model, which

describes all the effects on the measurand, is less likely to be available in testing.

EA EA –– 4/164/165.2 Specific difficulties of uncertainty evaluation in testing

The evaluation of uncertainty in testing may thereforerequire the use of

validation and method performancestudies

APPROCCIO TOP APPROCCIO TOP -- DOWNDOWN

Il singolo laboratorio è considerato come un elemento di unapopolazionedi laboratori

Gli errori casuali e sistematici

del singolo laboratorio diventano erroricasuali

tra laboratori

In questo modo possono essere trattati con semplici tecniche statistiche che fanno ricorso alla

riproducibilità

Approccio alternativo proposto dall’ Analytical MethodsCommittee (RSC) nel 1995.

L’incertezza può essere espressa sulla base dello

scarto tipo di riproducibilità σR

del metodo normalizzato ….

… dopo aver verificato la capacità di eseguire la prova con una ripetibilità sr

compatibilecon quella del metodo normalizzato σr

RiproducibilitRiproducibilitàà da metodo da metodo normalizzato normalizzato

RiproducibilitRiproducibilitàà secondo secondo HorwitzHorwitz

σR = 0.02 C 0.8495

Riproducibilità da Confronto Riproducibilità da Confronto interlaboratorio interlaboratorio

Ripetibilità accettabile

Collaborative Trial o Proficiency Test da cui siapossibile estrapolare i risultati ottenuti con lastessa tecnica analitica

Risultati accettabili

(y ± 2 SR) u.m.

Rispettati alcuni criteri,Rispettati alcuni criteri,il risultato si esprime così:il risultato si esprime così:

y Valore misuratoSR Scarto tipo di riproducibilitàu.m. Unità di misura

Developping an analytical method, whether simple or complex, is a processbased on science, but is often practised

Clifford L. Nilsen, “Practical MethodDevelopment”, Pharmaceutical Formulation& Quality, 2, 2003, 70

Benchè questa guida fornisca uno schema generale per valutare l’incertezza, essa non

può sostituirsi al

pensiero critico, all’onestà intellettuale ed alla capacità professionale

UNI CEI ENV 13005 : 2000“GUIDA ALL’ESPRESSIONE DELL’INCERTEZZA DI

MISURA” (GUM) PUNTO 3.4.8 pag. 13

“La validazione dei metodi di prova nel Sistema Qualità ... · UNI CEI ENV 13005 : 2000 “GUIDA...

Documents