Kvalita v laboratorní a kontrolní praxi Část: Mezilaboratorní porovnání (testy způsobilosti, certifikace materiálů, validace metod) Vladimír Kocourek Praha, 2014
Mezilaboratorní porovnávání Různé názvy: Mezilaboratorní test, Mezilaboratorní studie, Mezilaboratorní porovnání zkoušek, Kruhový test (round test, round robin, okružák), Test způsobilosti, Certifikační studie, Mezilaboratorní validace
Mezilaboratorní porovnávání 1 2 1 2 6 P 6 P 3 3 5 4 5 4 nedestruktivní zkouška: vzorek obíhá (např. X-ray) destruktivní zkouška: vzorek se distribuuje paralelně
TYP MPZ: Testování způsobilosti Validace metody certifikace materiálu hodnotí se práce laboratoří analytická metoda vlastnosti materiálu počet laboratoří libovolný 8 a více (min.5) neurčeno výběr laboratoří jakékoli jen zkušené jen zkušené metoda libovolná přesně určená různé nezávislé uvést návaznost doporučuje se vhodná jednotnost nutné vliv na důvěru v laboratoř značný malý malý cílové hodnoty X, σ, (z) r, R X µ protokol ISO 13528:2005 ČSN EN ISO 17043 ISO 15725 (draft 2011) ISO Guide 35 (2006)
Účel testování způsobilosti PT? Primárním cílem testů způsobilosti (PT) je poskytnout laboratořím pomoc při zjišťování a odstraňování nepřijatelně velkých nepřesností ve výsledcích. THE INTERNATIONAL HARMONIZED PROTOCOL FOR THE PROFICIENCY TESTING OF ANALYTICAL CHEMISTRY LABORATORIES (IUPAC Technical Report). MICHAEL THOMPSON, STEPHEN L. R. ELLISON, AND ROGER WOOD: Pure Appl. Chem., Vol. 78, No. 1, pp. 145 196, 2006.
Důvody k pravidelné účasti? Podpora důvěry managementu laboratoře a analytiků Srovnání s ostatními laboratořemi Verifikace použité metody odchylka (bias) Součást prokazování (řízení?) kvality výsledků Identifikace problémů v laboratoři Zlepšování Povinnost vyplývající ze zákona nebo smluvních požadavků zákazníka (např. při úřední kontrole potravin) Splnění akreditačních požadavků (ČIA, EA, )
Některé národní akreditační organizace (evropské): Comité Francais d Accréditation (COFRAC) Český institut pro akreditaci (ČIA) Danish Accreditation (DANAK) United Kingdom Accreditation Service (UKAS) Swedish Board for Accreditation and Conformity Assessment (SWEDAC) Deutsche Akkreditierungsstelle (DAkkS) Slovenská národná akreditačná služba (SNAS)
Organizace mezilabor. testu způsobilosti (PT) Příprava a verifikace testovacího materiálu Distribuce zprávy participantům Distribuce testovacího materiálu participantům Vyhodnocení a zpráva Zpracování výsledků Analýza testovacího materiálu
Hodnocení úspěšnosti v PT z-score Individuální hodnota z-skóre pro každý výsledek: z = x Xˆ σp x = hlášená hodnota koncentrace analytu v testovacím materiálu X = vztažná hodnota (považovaná za správnou) σ p = cílová hodnota směrodatné odchylky od X
Klasifikace podle z-skóre: z 2 Vyhovující Hodnocení úspěšnosti v PT 2 < z 3 Problematické (95 %) z > 3 Zcela nevyhovující (99 %) z-scores 4 3 2 1 0-1 -2-3 -4 Zcela nevyhovující FP! Problematické FP? Vyhovující Vyhovující Problematické FN? Zcela nevyhovující FN!
Hodnocení výsledků PT - statistika 1. Odhad vztažné hodnoty (X ref ) známá (referenční) hodnota std. přídavek, CRM, medián všech výsledků (po vyloučení neplatných) aritmetický průměr výsledků po vyloučení odlehlých střední hodnota referenčních (expertních) laboratoří střední hodnota zkušených laboratoří používajících standardizovanou referenční metodu (ISO, EN, DIN )
Hodnocení výsledků PT - statistika Odhad vztažné hodnoty (X ref ) Průměr = 0,116 Medián = 0,160 Fig. 1 - MTZL V/6 z-score ARSENIC ( Xref = 0.116 mg/kg) Fig.. 1 - MTZL V/6 z-score ARSENIC (Xref = 0.160 mg/kg) 4 4 2 2 0,227 z-score 0 0,116 z-score 0 0,160-2 -2 0,093-4 7 2 8 13 11 14 5 9 1 12 10 4 3 6 Laboratory No. -4 7 2 8 13 11 14 5 9 1 12 10 4 3 6 Laboratory No.
Hodnocení výsledků PT: vliv metody Estimation of the asigned value (X ref ) method bias
Nejistota vztažné hodnoty - možnosti 1a. X ref je vypočtena jako medián výsledků laboratoří, z nichž každá uvede vlastní odhad nejistoty: (ISO 13528:2005) p počet expertních laboratoří u i standardní nejistota výsledku i-té laboratoře 1b. X ref je vypočtena jako (robustní) průměr výsledků X rob (nejistoty se neberou do úvahy): u X = σ rob n (FAPAS, harmonized protocol)
Nejistota vztažné hodnoty When the number of participants is smaller than about 15, even the statistical uncertainty on the consensus (as the standard deviation) will be undesirably high. (THOMPSON M., ELLISON S.L.R., WOOD R.: Pure Appl. Chem., Vol. 78, No. 1, 2006, p. 145) ISO 13528:2005 Guidelines for limiting the standard uncertainty of the assigned value: Pokud: ux 0. 3 σp (kde σ p je cílová směrodatná odchylka pro daný PT) pak je nejistota vztažné hodnoty (reference value) zanedbatelná a nemusí být při interpretaci výsledků PT brána do úvahy.
Hodnocení výsledků PT - statistika 2. Nastavení cílové hodnoty přesnosti (σ p ): The standard deviation for proficiency assessment may be set at a value required for a specific task of data interpretation, or it may be derived from a requirement given in legislation směrodatná odchylka reprodukovatelnosti s R z mezilaboratorního porovnání metody na srovnatelné úrovni (zpravidla uvedeno v normalizované metodě zkoušení) hodnota vypočtená z obecného modelu reprodukovatelnosti podle Horwitze - Horwitzova křivka (RSD R =2 (1-0,5*log c) ) směrodatná odchylka založená na odhadu nejistoty hodnota stanovená předpisem (legislativou, normou aj.) - např. stanovení alkoholu hodnota odvozená z předpokládaného použití zákazníkem fitness for purpose
Obecná kriteria pro ( worst case ) opakovatelnost Thompson M.: Analyst 125 (2000)385-386 c < 0,12 ppm; σ p = 0.22
General criteria precision and trueness AOAC/FAO/IAEA/IUPAC: Guidelines for single-laboratory validation of analytical methods for tracelevel concentrations of organic chemicals. Report of the AOAC/FAO/IAEA/IUPAC Expert Consultation on Single-laboratory validation of Analytical Methods for Trace-level
Hodnocení výsledků PT - statistika Příklady cílových hodnot σ (jako RSD v %): Analyt Hladina σ (%) Zdroj Ochratoxin A 3 µg/kg 38 Horwitz Vitamin B 2 24 mg/kg 20 ČSN EN Dusičnany 150 mg/kg 7,5 Horwitz Cyklamát 195 mg/kg 3,1 ČSN EN ph 3.25 1,5 ČSN ethanol 11.48 % 0,87 ČSN
Test způsobilosti VI/11 (2000): PCB a OCI v rybí svalovině 3 PT VI/11: PCB 180 2 1 0-1 -2-3 30 28 24 32 22E 42 44E 25 41 34E 35E 39E 31E 23 37 43E 40E 38 36 27 z-sko re Laboratoř
Hodnocení výsledků PT - statistika Individuální z-skóre z <-2;+2> z = x σp Xˆ Do not set up any social ladder of laboratories based on z-scores within -1; +1 Kombinovaná z-skóre: vážená suma 1) každému z-score pro jednotlivé analyty se přidělí index ωlzl takto: 2) Vypočte se WSZ jako průměr hodnot ωlzl: z <-2;+2>
Hodnocení výsledků PT - statistika Kombinovaná z-skóre RSZ = i z i / n Rescaled Sum of Z-scores, citlivé na systematickou chybu / trendy SSZ = i 2 zi Sum of Squared Z-scores, citlivé na náhodné chyby a odlehlé hodnoty Před kombinováním hodnot z-skóre je nutno odstranit hodnoty vzniklé ze zjevných omylů a selhání - to může jen laboratoř sama!
Test způsobilosti VI/11: PCB a OCI v rybí svalovině 3 PT VI/11: RSZ pro PCB 2 1 RSZ 0-1 -2-3 30 28 27 39 41 34 22 43 42 40 44 32 35 36 25 37 31 23 24 38 Laboratoř
Test způsobilosti VI/11: PCB a OCI v rybí svalovině PT VI/11: SSZ pro PCB 30 25 kritickáhodnota pro z=3 20 SSZ 15 10 5 0 30 38 28 24 27 23 31 36 25 32 37 43 39 40 41 42 34 22 44 35 Laboratoř
Fit For Purpose zhodnocení a nejistota ζ = E zl n = = u x x U 2 x + x 2 x σl Xˆ Xˆ 2 ux Xˆ + U 2 X z L -score specifické pro daný účel definovaný laboratoří (např. σ L = 20% jako RSD) z L <-2;+2> zeta-score: z-score odrážející rozdíly vztažené ke standardní nejistotě odhadnuté laboratoří zeta <-2;+2> E n -score: zeta-score vypočtené z rozšířené nejistoty E n <-1;+1>
Hodnocení výsledků PT - nejistoty
VŠCHT příklad výsledků, rezidua pesticidů: Matrice identifikované/kvantifikované analyty z-skore Mouka pšeničná citrony salát jablka rajčata Chlorpyrifos-methyl Pirimiphos-methyl Deltamethrin Lambda cyhalotrin Permethrin Diazinon Fenitrothion Metalaxyl Methidathion Lambda cyhalotrin Metalaxyl Pirimiphos-methyl Propargit Tetradifon Azoxystrobin Bromopropylat Chlorothalonil Diazinon Dimethoát Endosulfanová skupina Imazalil Metalaxyl Procymidon Thiabendazol -0.8 +0,1 0.0-1.0 0.1-0.2-0.3-0.1-0.3-2.1-1.2 +0.4-0.5 +0.6-1.7-0.6 +0.2 0.0-0,8 +0.7-0.5 0.0-1.1 FAPAS/ EU-PT FAPAS FAPAS FAPAS FAPAS EU-PT06
Přehled účasti v PT a nápravných opatření v případě neúspěšného parametru
FAPAS Series 19, Round 37 Matrice: citrony Analyt: metalaxyl z-skore: -0.1 Lab. kód: 034
FAPAS Series 19, Round 37 Matrice: citrony Analyt: fenitrothion z-skore: -0.3 Lab. kód: 034
FAPAS Series 19, Round 35 Matrice: salát Analyt: lambda-cyhalotrin z-skore: -2,1 Eluční profil pesticidů na GPC (PL gel [60 x 0,2 cm, 10 um]) jímaná frakce 14.5-31 ml 70% 50% relativní odezva 30% 10% 0-10% 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 frakce [ml] difenylamin metalaxyl fenitrothion-npd cyhalothrin-lambda koextrakty Lab. kód: 075
FAPAS Series 19, Round 35 Matrice: salát Analyt: lambda-cyhalotrin z-skore: -2,1 (nekorigováno) Elution profile of pesticides on GPC (PL gel [600 x 7.5 mm, 10 um]) fraction 14.5-31 ml 70% relative response 50% 30% 10% -10% 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 difenylamin metalaxyl fenitrothion-npd cyhalothrin-lambda koextrakty frakce [ml]
FAPAS Series 19, Round 32 Baby Food test identifikace pesticidů na nízkých hladinách MRL = 10 µg/kg Matrice: mrkvové pyré Lab. kód: 003
g / 100 g vzorku assigned value sigma na 100 % tuku ze 100 na 59,12 % tuku z-skore: report ze 100 na 69,5 % tuku z-skore korigované Saturates (SFA) 14,78 0,739 20,65 12,21-3,48 14,35-0,58 mono- unsaturates 20,08 1,004 28,70 16,97-3,10 19,95-0,13 poly-unsaturates 31,74 1,587 45,49 26,89-3,05 31,62-0,08 total trans*) 0,294 0,097 0,20 0,12-1,78 0,14-1,57 total omega 3 5,57 0,278 8,02 4,74-2,99 5,57 0,01 total omega 6 25,93 1,297 37,43 22,13-2,93 26,02 0,07 FAPAS FAPAS Výsledek měřenípřepočet report na skutečný obsah tuku *) nad LOQ byly jen C18:2Δ9c,12tC18:2Δ9t,12c
EURL-PROFICIENCY TEST-FV-14, 2012: Pesticide Residues in Pear Homogenate (organized by EU-RL for pesticides in fruit and vegetables, Almería, Spain) Hodnocení laboratoří podle: 1. Individuálních z-skore (z-skore + FFP skore) 2. Počtu analytů zahrnutých do používaných metod 3. Počtu správně identifikovaných analytů (TP) 4. Počtu nesprávně identifikovaných analytů (FP) 5. Vážených sum z-skore (jen expertní)
Účast v mezilaboratorních testech EU-RL Ověřování kvality produkovaných dat - např. EUPT (European Commission s Proficiency Testing Program ) VŠCHT Praha Ústav Chemie a Analýzy Potravin 3. nejlepší výsledek
Účast v mezilaboratorních testech EU-RL Ověřování kvality produkovaných dat - např. EU-PT (European Commission s Proficiency Testing Program ) VŠCHT Praha Ústav Chemie a Analýzy Potravin 3. nejlepší výsledek
Některé dokumenty: THE INTERNATIONAL HARMONIZED PROTOCOL FOR THE PROFICIENCY TESTING OF ANALYTICAL CHEMISTRY LABORATORIES (IUPAC Technical Report). MICHAEL THOMPSON, STEPHEN L. R. ELLISON, AND ROGER WOOD: Pure Appl. Chem., Vol. 78, No. 1, pp. 145 196, 2006. ČSN EN ISO/IEC 17043:2010 Všeobecné požadavky na zkoušení způsobilosti navrhování, výběr materiálů, metod a postupů, provádění a vyhodnocování, zprávy, komunikace s účastníky, zajištění důvěrnosti, požadavky na management, statistické metody EA-4/18:2010 Návod k určení úrovně a četnosti účasti ve zkoušení způsobilosti (Guidance on the level and frequency of proficiency testing participation, 2011) viz http://www.european-accreditation.org