Kvalita v laboratorní a kontrolní praxi Část: Mezilaboratorní porovnání (testy způsobilosti, certifikace materiálů, validace metod) Vladimír Kocourek Praha, 2017
Mezilaboratorní porovnávání Různé názvy: Mezilaboratorní test, Mezilaboratorní studie, Mezilaboratorní porovnání zkoušek, Kruhový test (round test, round robin, ), 1. Test způsobilosti, 2. Certifikační studie, 3. Mezilaboratorní validace
Mezilaboratorní porovnávání 1 2 1 2 6 P 6 P 3 3 5 4 5 4 nedestruktivní zkouška: vzorek obíhá (např. X-ray, UF) destruktivní zkouška: vzorek se distribuuje paralelně
Účel: Testování způsobilosti Validace metody certifikace materiálu hodnotí se práce laboratoří analytická metoda vlastnosti materiálu počet laboratoří libovolný 8 a více (min.5) neurčeno výběr laboratoří jakékoli jen zkušené jen zkušené metoda libovolná přesně určená různé nezávislé uvést návaznost doporučuje se vhodná jednotnost nutné vliv na důvěru v laboratoř značný malý malý cílové hodnoty X, σ, (z) r, R X µ protokol ISO 13528:2005 ČSN EN ISO 17043 ISO 15725 (draft 2011) ISO Guide 35 (2006)
Výkonnost (performance) metody ISO/WD 15725-1 Accuracy (trueness and precision) of measurement methods and results Part 1: Introduction and basic principles
Validace metody
Účel externího testování způsobilosti laboratoří? Primárním cílem testů způsobilosti (PT) je poskytnout laboratořím pomoc při zjišťování a odstraňování nepřijatelně velkých nepřesností ve výsledcích. THE INTERNATIONAL HARMONIZED PROTOCOL FOR THE PROFICIENCY TESTING OF ANALYTICAL CHEMISTRY LABORATORIES (IUPAC Technical Report). MICHAEL THOMPSON, STEPHEN L. R. ELLISON, AND ROGER WOOD: Pure Appl. Chem., Vol. 78, No. 1, pp. 145 196, 2006.
Důvody k pravidelné účasti? Podpora důvěry managementu laboratoře a analytiků Srovnání s ostatními laboratořemi - objektivní Verifikace použité metody odchylka (bias) Součást prokazování (řízení?) kvality výsledků Identifikace problémů v laboratoři Zlepšování Povinnost ze zákona nebo smluvních požadavků (např. při úřední kontrole potravin) Splnění akreditačních požadavků (ČIA, EA, )
Některé národní akreditační organizace: Český institut pro akreditaci (ČIA) Comité Francais d Accréditation (COFRAC) United Kingdom Accreditation Service (UKAS) Swedish Board for Accreditation and Conformity Assessment (SWEDAC) Deutsche Akkreditierungsstelle (DAkkS) Slovenská národná akreditačná služba (SNAS)
Organizace testu způsobilosti (PT) Příprava a verifikace testovacího materiálu Distribuce zprávy participantům Distribuce testovacího materiálu participantům Vyhodnocení a zpráva Zpracování výsledků Analýza testovacího materiálu
Hodnocení úspěšnosti v PT z-score Individuální hodnota z-skóre pro každý výsledek: z = x Xˆ σp x = hlášená hodnota koncentrace analytu v testovacím materiálu X = vztažná hodnota (považovaná za správnou) σ p = cílová hodnota směrodatné odchylky od X
Klasifikace podle z-skóre: Hodnocení úspěšnosti v PT z 2 Vyhovující 2 < z 3 Problematické (95 %) z > 3 Zcela nevyhovující (99 %) 4 Zcela nevyhovující FP! 3 z-scores 2 1 0-1 -2-3 -4 Problematické FP? Vyhovující Vyhovující Problematické FN? Zcela nevyhovující FN!
Hodnocení výsledků PT - statistika 1. Odhad vztažné hodnoty (X ref ) známá (referenční) hodnota std. přídavek, CRM, medián všech výsledků (po vyloučení neplatných) aritmetický průměr výsledků po vyloučení odlehlých střední hodnota referenčních (expertních) laboratoří střední hodnota zkušených laboratoří používajících standardizovanou referenční metodu (ISO, EN, DIN )
Hodnocení výsledků PT - statistika Odhad vztažné hodnoty (X ref ) Průměr = 0,116 Medián = 0,160 Fig. 1 - MTZL V/6 z-score ARSENIC ( Xref = 0.116 mg/kg) Fig.. 1 - MTZL V/6 z-score ARSENIC (Xref = 0.160 mg/kg) 4 4 2 2 0,227 z-score 0 0,116 z-score 0 0,160-2 -2 0,093-4 7 2 8 13 11 14 5 9 1 12 10 4 3 6 Laboratory No. -4 7 2 8 13 11 14 5 9 1 12 10 4 3 6 Laboratory No.
Hodnocení výsledků PT: vliv metody Estimation of the asigned value (X ref ) method bias
Nejistota vztažné hodnoty - možnosti 1a. X ref je vypočtena jako medián výsledků laboratoří, z nichž každá uvede vlastní odhad nejistoty: (ISO 13528:2017) p počet expertních laboratoří u i standardní nejistota výsledku i-té laboratoře 1b. X ref je vypočtena jako (robustní) průměr výsledků X rob (nejistoty se neberou do úvahy): u X = σ rob n (FAPAS, harmonized protocol)
Nejistota vztažné hodnoty When the number of participants is smaller than about 15, even the statistical uncertainty on the consensus (as the standard deviation) will be undesirably high. (THOMPSON M., ELLISON S.L.R., WOOD R.: Pure Appl. Chem., Vol. 78, No. 1, 2006, p. 145) ISO 13528:2017 Guidelines for limiting the standard uncertainty of the assigned value: Pokud: ux 0. 3 σp (kde σ p je cílová směrodatná odchylka pro daný PT) pak je nejistota vztažné hodnoty (reference value) zanedbatelná a nemusí být při interpretaci výsledků PT brána do úvahy.
Hodnocení výsledků PT - statistika 2. Nastavení cílové hodnoty přesnosti (σ p ): The standard deviation for proficiency assessment may be set at a value required for a specific task of data interpretation, or it may be derived from a requirement given in legislation směrodatná odchylka reprodukovatelnosti s R z mezilaboratorního porovnání metody na srovnatelné úrovni (zpravidla uvedeno v normalizované metodě zkoušení) hodnota vypočtená z obecného modelu reprodukovatelnosti podle Horwitze - Horwitzova křivka (RSD R =2 (1-0,5*log c) ) směrodatná odchylka založená na odhadu nejistoty hodnota stanovená předpisem (legislativou, normou aj.) - např. stanovení alkoholu hodnota odvozená z předpokládaného použití zákazníkem fitness for purpose
Obecná kriteria pro ( worst case ) opakovatelnost Thompson M.: Analyst 125 (2000)385-386 c < 0,12 ppm; σ p = 0.22
General criteria precision and trueness AOAC/FAO/IAEA/IUPAC: Guidelines for single-laboratory validation of analytical methods for tracelevel concentrations of organic chemicals. Report of the AOAC/FAO/IAEA/IUPAC Expert Consultation on Single-laboratory validation of Analytical Methods for Trace-level
Hodnocení výsledků PT - statistika Příklady cílových hodnot σ (jako RSD v %): Analyt Hladina σ (%) Zdroj Ochratoxin A 3 µg/kg 38 Horwitz Vitamin B 2 24 mg/kg 20 ČSN EN Dusičnany 150 mg/kg 7,5 Horwitz Cyklamát 195 mg/kg 3,1 ČSN EN ph 3.25 1,5 ČSN ethanol 11.48 % 0,87 ČSN
Test způsobilosti VI/11 (2000): PCB a OCI v rybí svalovině 3 PT VI/11: PCB 180 2 1 z-skore 0-1 -2-3 30 28 24 32 22E 42 44E 25 41 34E 35E 39E 31E 23 37 43E 40E 38 36 27 Laboratoř
Hodnocení výsledků PT - statistika Individuální z-skóre z <-2;+2> z = x σp Xˆ Do not set up any social ladder of laboratories based on z-scores within -1; +1 Kombinovaná z-skóre: vážená suma 1) každému z-score pro jednotlivé analyty se přidělí index ωlzl takto: 2) Vypočte se WSZ jako průměr hodnot ωlzl: z <-2;+2>
Hodnocení výsledků PT - statistika Kombinovaná z-skóre RSZ = i z i / n Rescaled Sum of Z-scores, citlivé na systematickou chybu / trendy SSZ = i 2 zi Sum of Squared Z-scores, citlivé na náhodné chyby a odlehlé hodnoty Před kombinováním hodnot z-skóre je nutno odstranit hodnoty vzniklé ze zjevných omylů a selhání - to může jen laboratoř sama!
Test způsobilosti VI/11: PCB a OCI v rybí svalovině
Test způsobilosti VI/11: PCB a OCI v rybí svalovině
Fit For Purpose zhodnocení a nejistota ζ = E zl n = = u x x Xˆ 2 x + ux U x 2 x σl Xˆ Xˆ + U 2 2 X z L -score specifické pro daný účel definovaný laboratoří (např. σ L = 20% jako RSD) z L <-2;+2> zeta-score: z-score odrážející rozdíly vztažené ke standardní nejistotě odhadnuté laboratoří zeta <-2;+2> E n -score: zeta-score vypočtené z rozšířené nejistoty E n <-1;+1>
Hodnocení výsledků PT - nejistoty
Přehled účasti v PT a nápravných opatření v případě neúspěšného parametru
FAPAS Series 19, Round 37 Matrice: citrony Analyt: metalaxyl z-skore: -0.1 Lab. kód: 034
FAPAS Series 19, Round 37 Matrice: citrony Analyt: fenitrothion z-skore: -0.3 Lab. kód: 034
FAPAS Series 19, Round 32 Baby Food test identifikace pesticidů na nízkých hladinách MRL = 10 µg/kg Matrice: mrkvové pyré Lab. kód: 003
g / 100 g vzorku assigned value sigma na 100 % tuku ze 100 na 59,12 % tuku z-skore: report ze 100 na 69,5 % tuku z-skore korigované Saturates (SFA) 14,78 0,739 20,65 12,21-3,48 14,35-0,58 mono- unsaturates 20,08 1,004 28,70 16,97-3,10 19,95-0,13 poly-unsaturates 31,74 1,587 45,49 26,89-3,05 31,62-0,08 total trans*) 0,294 0,097 0,20 0,12-1,78 0,14-1,57 total omega 3 5,57 0,278 8,02 4,74-2,99 5,57 0,01 total omega 6 25,93 1,297 37,43 22,13-2,93 26,02 0,07 FAPAS FAPASsledek měř přepočet report na skutečný obsah tuku *) nad LOQ byly jen C18:2Δ9c,12C18:2Δ9t,12c
EURL-PROFICIENCY TEST-FV-14, 2012: Pesticide Residues in Pear Homogenate (organized by EU-RL for pesticides in fruit and vegetables, Almería, Spain) Hodnocení laboratoří podle: 1. Individuálních z-skore (z-skore + FFP skore) 2. Počtu analytů zahrnutých do používaných metod 3. Počtu správně identifikovaných analytů (TP) 4. Počtu nesprávně identifikovaných analytů (FP) 5. Vážených sum z-skore (jen expertní)
Účast v mezilaboratorních testech EU-RL Ověřování kvality produkovaných dat - např. EUPT (European Commission s Proficiency Testing Program ) VŠCHT Praha Ústav Chemie a Analýzy Potravin 3. nejlepší výsledek
Účast v mezilaboratorních testech EU-RL Ověřování kvality produkovaných dat - např. EU-PT (European Commission s Proficiency Testing Program ) VŠCHT Praha Ústav Chemie a Analýzy Potravin 3. nejlepší výsledek
Některé dokumenty: THE INTERNATIONAL HARMONIZED PROTOCOL FOR THE PROFICIENCY TESTING OF ANALYTICAL CHEMISTRY LABORATORIES (IUPAC Technical Report). MICHAEL THOMPSON, STEPHEN L. R. ELLISON, AND ROGER WOOD: Pure Appl. Chem., Vol. 78, No. 1, pp. 145 196, 2006. ČSN EN ISO/IEC 17043:2010 Všeobecné požadavky na zkoušení způsobilosti navrhování, výběr materiálů, metod a postupů, provádění a vyhodnocování, zprávy, komunikace s účastníky, zajištění důvěrnosti, požadavky na management, statistické metody EA-4/18:2010 Návod k určení úrovně a četnosti účasti ve zkoušení způsobilosti (Guidance on the level and frequency of proficiency testing participation, 2011) viz http://www.european-accreditation.org
Někteří poskytovatelé: LGC Standards Proficiency Testing