Kvalita v laboratorní a kontrolní praxi

Transkript

1 Kvalita v laboratorní a kontrolní praxi Část 3: Chyby a hodnocení výsledků měření Vladimír Kocourek Praha, únor 2015

2 Zkoušení (analýza) v laboratoři Výroba Výzkum a vývoj (R&D) Obchodování (dodávání) Ochrana zdraví a životního prostředí

3

4 Zkoušení potravin pro kvalitu a bezpečnost Kvalita a bezpečnost Analýza potravin Chemické složení potravin Chemické reakce v potravinách Výživa a zdraví

5 Chemická / potravinářská výroba - provoz Požadavky na měření / analýzu: Opakovatelnost měření monitoruje se vývoj reakčního procesu zjišťuje se kolísání (fluktuace) procesu Pravdivost měření je trochu méně důležitá Dostatečná frekvence analýz Minimální náklady a úsilí Přehledné výsledky/ protokoly

6 Obchodování - dodávání Požadavky na měření / analýzu: Přesnost (zejména pravdivost): výrobek je ve shodě se specifikacemi Prokázání platnosti metody: všeobecně uznávané metody, validace, návaznost k referencím Reprodukovatelnost: výsledky jsou srovnatelné, bez ohledu na to, která laboratoř zkoušku provádí Konsistentnost: bez rozporů, stejný vzorek stejný výsledek Vzájemné uznávání výsledků různých laboratoří

7 Sjednání analytického servisu: 1 SPECIFIKACE VZORKU druh vzorku počet vzorků, popř. frekvence vzorkování hmotnost (objem) vzorků obal, uzavření označování, vstupní dokumentace archivace vzorků, vracení 2 CENA, platební podmínky, odpovědnost 3 TERMÍN DODÁNÍ VÝSLEDKU, PROTOKOL 4 PARAMETRY (přesnost, mez stanovitelnosti,..)

8 Dobrý analytický výsledek Vhodný pro daný účel: Umožňuje provést rozhodnutí Presentovaný ve srozumitelné formě Konsistentní a úplný Dodaný včas a za přiměřenou cenu Přesný (pravdivý a precizní) Postihující i malé množství sledované látky S prokazatelnou vazbou k referencím

9 Analytický interval spolehlivosti každé měření je spojeno s chybami každá střední hodnota by proto měla být doplněna údajem o nejistotě jejího odhadu [např. X ± x g/l] Při prokazování, že vzorek je ve shodě se specifikacemi je nutné vzít do úvahy interval spolehlivosti (nejistotu) hodnoty výsledku Příklad: analýza (metoda) poskytla hodnotu výsledku ± 1,5% je požadován obsah analytu ve vzorku min. 97% aby byla jistota, že obsah analytu je >97%, musí být výsledek analýzy nejméně 98,5 %

10 Přesnost měření / zkoušek Data jsou vysoké kvality, pokud jsou vhodné pro jejich zamýšlené použití v provozu, rozhodování a plánování. (JM Juran).

11 Přesnost měření / zkoušek

12 Přesnost měření / zkoušek MĚŘENÍ jako snaha trefit CÍL pravá hodnota (pravdivá hodnota měřené veličiny) Měření Terč - cíl (target)

13 Přesnost výsledků měření / zkoušek přesný výsledek: precizní a pravdivý pravdivost systematická chyba preciznost náhodné rozptýlení nepřesný výsledek: precizní ale vychýlený

14 Distribuce naměřených hodnot veličiny Histogram Probability Distribution Function (Gauss) 1. There is a strong tendency for the variable to take a central value; 2. Positive and negative deviations from this central value are equally likely; 3. The frequency of deviations falls off rapidly as the deviations become larger.

15 Pravděpodobnostní rozdělení náhodných chyb tzv. normální Gaussovo Charakterizováno střední hodnotou a směrodatnou odchylkou náhodného výběru s q k frequency q

16 Rozptyl střední hodnoty výběru V ( q ) = s 2 ( q ) = s 2 ( n q ) s s ( q ) ( q k ) distribution of the mean distribution of the single values of one individual de determination of q mean

17 Systematické chyby měření

18 Zešikmená data: život bývá log-normální Environmentální kontaminanty v potravinách, Citlivost jedinců v populaci vůči působení chemické látky, Výsledky opakované analýzy těsně nad LOQ, Počty zaměstnanců podle výše platu

19 Výběrové charakteristiky Výběrový průměr: x = 1 n n i= 1 x i Odhad směrodatné odchylky: Medián: hodnota, která dělí řadu podle velikosti seřazených výsledků na dvě stejně početné poloviny. Výhodou mediánu jako statistického ukazatele je fakt, že není tolik ovlivněn extrémními (nebo odlehlými) hodnotami. Modus: hodnota, která se v daném statistickém souboru vyskytuje nejčastěji. Modus lze použít i na kvalitativní výsledky: např. modus ze souboru žlutá, zelená, červená, modrá, žlutá, zelená, červená, fialová, zelená, hnědá je:...

20 Intervalové odhady s definovanou pravděpodobností Interval spolehlivosti (průměru): Pološířka intervalu spolehlivosti: Intervalový odhad průměru: (n opakování, hladina spolehlivosti α) Obsah vody: 11,02 ± 0,22 % Interval hodnot: 10,80 až 11,24 % s x t1 α / 2 ( ν ) µ < x + t1 α / 2 ( ν ) n s n

21 Charakteristiky souboru dat (robustní odhady) Odhad robustních statistik z kvartilů: Gastwirthův medián: Interkvartilové rozpětí: (n opakování, α=0,05) Winsorizace dat korekce: (nechceme-li odlehlé hodnoty vylučovat) Logaritmická transformace: (jako log-normální rozdělení) maximální a minimální hodnota v uspořádaném souboru se nahradí hodnotou sousední nejmenší druhým nejmenším a největší druhým největším. Trend se zachová, extrémní hodnoty ztratí svou váhu. hodnoty se převedou na logaritmy, zpracují se jako normálně rozdělené a takto získané charakteristiky se tranformují zpět ( odlogaritmují)

22 Přesnost měření / zkoušek Co všechno obsahuje výsledek analýzy X? X = µ + ε + Σδ µ...pravá (pravdivá) hodnota ε...systematická chyba - stejná velikost a znaménko δ...náhodné chyby v součtu mění velikost a znaménko Přesnost = Pravdivost (ε) + Preciznost (δ) Accuracy = Trueness (ε) + Precision (δ)

23 Co je to chyba výsledku analýzy (měření) Chyba měření (measurement error): (ε + Σδ) = X µ Chyba měření je rozdíl mezi hodnotou naměřenou (X) a hodnotou pravou (µ). zahrnuje vždy chybu systematickou (ε) a náhodné vlivy (δ). Problém: často neznáme dost dobře µ a tedy ani chybu systematickou a tudíž ani celkovou...zase nejistota. Nejistota?

24 Pravdivost výsledku měření Systematická chyba (ε + Σδ) = X µ systematická chyba výsledku je rozdílem mezi průměrným výsledkem z velkého počtu opakování a pravou hodnotou (true value) někdy je nazývána vychýlení (bias) v analytické chemii se zjišťuje např. jako průměrná výtěžnost (c x /c 0 )

25 Pravá hodnota - true value...je hodnota charakterizující dokonale definovanou veličinu za podmínek existujících v okamžiku, kdy je uvažována Je to ideální pojem - obecně nemůže být dokonale poznána! pro praxi se proto nahrazuje REFERENČNÍ HODNOTOU

26 Referenční hodnota Realizuje se zpravidla prostřednictvím referenčního materiálu 1. střední hodnota dle definitní metody 2. teoretická hodnota (ze složení čisté látky) 3. expertní mezilaboratorní porovnání zkoušek 4. známé množství analytu přidané do matrice 5. střední hodnota základního souboru měření

27 Náhodná chyba výsledku složka chyby, která se v průběhuřady zkoušek téhož znaku mění nepředvídatelným způsobem kolísá okolo střední hodnoty nelze ji odstranit jakoukoli korekcí! Některé zdroje náhodných chyb: metoda laboratoř (prostředí) zařízení a materiály (nádobí, přístroje, činidla ) analytik časové rozmezí

28 Náhodná chyba výsledku vyjadřuje náhodné rozptýlení hodnot okolo střední hodnoty vyjadřuje se jako PRECIZNOST (precision) výsledků opakovaného měření za určitých podmínek vypočte se jako směrodatná odchylka σ x z řady opakování nemá nic společného s pravou (referenční) hodnotou!

29 Náhodná chyba výsledku za různých podmínek působí různé náhodné vlivy preciznost výsledků (precision) je různá 1. extrém: co nejméně odlišností při opakování: OPAKOVATELNOST (jak se to daří opakovat mně) 2. extrém: co nejvíce odlišností při opakování: REPRODUKOVATELNOST (jak se to daří zreprodukovat jinde)

30 Náhodná chyba výsledku podmínky OPAKOVATELNOSTI: stejná metoda, laboratoř, analytik, zařízení, přístroje, standardy, chemikálie, kalibrační křivka, v krátkém časovém rozmezí ( paralelky ) podmínky REPRODUKOVATELNOSTI : zpravidla stejná metoda ale jiná laboratoř a tedy všechny ostatní faktory jiné. a což takhle něco mezi? podmínky MEZILEHLÉ PRECIZNOSTI : zpravidla stejná metoda i laboratoř ale v dlouhém časovém období (dlouhodobá opakovatelnost)

31 Ilustrace variability výsledků: dva různí pracovníci Standard Integrace 1 Integrace 2 FLD1 A, Ex=248, Em=374, TT (C:\DATAHP~1\FLD154-4\DATA02\MJKOLONY\MDER2.D) FLD1 A, Ex=248, Em=374, TT (C:\DATAHP~1\FLD154-4\DATA02\MT021016\ D) LU LU MePyr B[a]A MePyr BaA Area: Area: Area: LU FLD1 A, Ex=248, Em=374, TT (C:\DATAHP~1\FLD154-4\DATA02\MT021016\ D) MePyr Area: Area: min min min Rozdíl mezi výsledky 42 % (koncentrační hladina ppb)

32 Ilustrace vlivu přístroje na mezilehlou preciznost výsledků 6.22 % Analýza vzorku na dvou přístrojích stejného typu

33 Mez opakovatelnosti (r) Vypočte se ze směrodatné odchylky opakování analýzy stejnou metodou na stejném vzorku (homogenním) za podmínek opakovatelnosti: r = f. 2. σ r Použití: r = 2,8. s r Jsou-li výsledky zatíženy pouze přijatelnou náhodnou chybou (H 0 ), pak rozdíl mezi výsledky dvou opakování nesmí být větší nežli r : x 1 -x 2 r

34 Opakovatelnost (s r ) Postup 1: provede se řada opakování (n = 8 až 15) na tomtéž homogenním vzorku za podmínek opakovatelnosti, vypočte se směrodatná odchylka Postup 2: různé ale podobné vzorky se za podmínek opakovatelnosti analyzují dvojmo a vypočtou rozpětí, vypočte se směrodatná odchylka: s r2 = Σ D i2 /(2n)

35 I. II. Příklady použití: Stanovení dusíku Kjeldahl, pro 3 % obsahy: r = 0,14 % Výsledky analýzy: x 1 = 2,96 %; x 2 = 3,19 % 3,19 2,96 > 0,14! Tedy ještě další opakování: x 3 = 2,92 %; 3,19 vyloučíme (???) 2,96-2,92 < 0,14 Výsledkem X je průměr platných opakování: X = (x 1 + x 3 )/2 = 2,94 %; D 1,3 < 0,14 Výsledky analýzy: x 1 = 3,18 %; x 2 = 3,36 % D 1,2 = 0,18 > 0,14! Tedy ještě další opakování: x 3 = 3,25 %; 3,25-3,18 < 0,14 a 3,36 3,25 < 0,14 Výsledkem X je průměr platných opakování: X = (x 1 + x 2 + x 3 )/3 = 3,26 %; D 1,3 < 0,14 a D 2,3 < 0,14

36 Příklady použití: Stanovení dusíku Kjeldahl, pro 3 % obsahy: r = 0,14 % ještě II. Výsledky analýzy: x 1 = 3,18 %; x 2 = 3,36 %; x 3 = 3,25 %; Rozpětí souboru je 0,18 % : jaká je kritická hodnota pro 3 opakování? r 3 = f. 3. σ r r 3 = 3,3. s r Rozpětí našeho souboru je 0,18 % > r 3 = 0.17! Možná příčina? 1. nehomogenní vzorek, 2. nezvládnutá metoda 3. špatně určená opakovatelnost

37 Opakovatelnost (r) Význam - odpověď na otázku: "lze rozdíl mezi výsledky opakování vysvětlit náhodným kolísáním (rozptýlením) anebo se analytický systém ocitl v nezvládnutém stavu?" Standardně se uvádí mez opakovatelnosti pro α = 0,05 pro α = 0,01 se násobí koeficientem 1,29 pro α = 0,10 se násobí koeficientem 0,82

38 Reprodukovatelnost (R) Význam - odpověď na otázku: "lze rozdíl mezi výsledky získanými na tomtéž vzorku jinou laboratoří vysvětlit náhodným rozptýlením anebo nejsou výsledky laboratoří srovnatelné?" Použití: R = 2,8. s R Jsou-li výsledky zatíženy pouze přijatelnou chybou, pak rozdíl mezi výsledky dvou laboratoří nesmí být větší nežli R : X 1 -X 2 R Nelze ovšem říci, který ze dvou výsledků je pravdivější

39 Reprodukovatelnost (R) Skládá se ze dvou složek: σ 2 r - rozptyl výsledků uvnitř laboratoře σ 2 L - rozptyl výsledků mezi laboratořemi σ 2 R = σ 2 r + σ 2 L Způsob zjištění R: 1. experimentálně na základě mezilaboratorního porovnání zkoušek (MPZ) 2. odhadem z Horwitzova/Thompsonova empirického vztahu Horwitz

40 Reprodukovatelnost (R) - Horwitz Horwitzova křivka 30 CV (%) Preciznost Koncentrace ppb

41 Reprodukovatelnost (R) - Horwitz Relativní směrodatná odchylka variační koeficient: s klesající koncentrací analytu roste CV závislost na druhu analytu, typu vzorku a analytické metodě je méně důležitá CV R = 2 (1-0,5*logX) X je koncentrace analytu vyjádřená jako hmotnostní zlomek! Thompson: Pro X < 1,2*10-7 (tedy pod 0,12 mg.kg -1 ) má být CV R asi 22 % Pro X > 0,14 (tedy nad 14 %) je CV R = 0,01*X 0,5

42 Reprodukovatelnost (R)

43 Reprodukovatelnost (R) - Horwitz Požadavky na preciznost ve stopové analýze: Koncentrace (ppb) CV r (%) Codex Alimentarius CV R (%) Horwitz < 1 35 > > < 22

44 Pravdivost (Výtěžnost - Recovery) Příklad požadavků na výtěžnost ve stopové analýze: Koncentrace (ppb) Dolní mez (%) Horní mez (%) < >

45 OPAKOVATELNOST, REPRODUKOVATELNOST (repeatability, reproducibility) závisí pouze na rozdělení náhodných chyb, nemá žádný vztah k hodnotě pravé, resp. referenční. Příklad: Nejvyšší přijatelné rozdíly mezi výsledky dvou analýz - za podmínek opakovatelnosti a reprodukovatelnosti (EN :1998) Koncentrační hladina [mg/kg] Absolutní rozdíl mezi 2 opakováními [mg/kg] Absolutní rozdíl mezi 2 laboratořemi [mg/kg] 0,01 0,005 (50 %) 0,01 (100 %) 0,1 0,025 (25 %) 0,05 (50 %) 1 0,125 (12 %) 0,25 (25 %)

46 Mezilehlá opakovatelnost Příklad požadavku na maximální hodnoty variačních koeficientů pro intralaboratorní preciznost ( dlouhodobá opakovatelnost ) (Rozhodnutí Komise 2002/657/EC: stanovení prvků) Koncentrace (mg/kg) Variační koeficient (%) 10 až až

47 Mezilehlá opakovatelnost Příklad hodnot variačních koeficientů pro opakovatelnost, intralaboratorní preciznost a reprodukovatelnost: z výsledků mezilaboratorní studie (validace) metody. (ISO 15753: Stanovení PAU v rostlinných tucích a olejích)

48 PRAVDIVOST (Trueness) celková systematická chyba - měřítkem je odchylka výsledků od skutečné hodnoty, zjišťuje se jako výtěžnost Výtěžnost: Rec = X s /C ref R 100 % R S A A = > R S B B A B

49 NAŘÍZENÍ KOMISE (ES) č. 401/2006 kterým se stanoví metody odběru vzorků a metody analýzy pro úřední kontrolu množství mykotoxinů v potravinách

50 NAŘÍZENÍ KOMISE (ES) č. 401/2006 kterým se stanoví metody odběru vzorků a metody analýzy pro úřední kontrolu množství mykotoxinů v potravinách

51 PRAVDIVOST (Trueness) měření / analýzy t - test pravdivosti vzhledem k referenční hodnotě N = 11 m 8,4 xi (X - xi)^2 t-krit 95 t-krit 90 chí - krit 1 8 0, ,5 0, ,3 0, ,303 2,920 0, ,1 0, ,182 2,353 0, ,6 0, ,776 2,132 0, ,2 0, ,571 2,045 1, ,8 0, ,447 1,943 1, ,2 0, ,365 1,895 2, ,4 0, ,306 1, ,8 0, ,262 1, ,3 0, ,228 1,812 2,131 1,753 X = 8,29091 výběr: 2,228 xxxxxxx 3,330 L1 = 8,10220 L2 = 8,47961 rozptyl: 0,07891 horní mez: 0,26066 s = 0,28091 horní mez: 0,51055 CV = 3,38814 % t = 1,28802 m..referenční hodnota N..počet opakování xi...výsledek měření X...průměrná hodnota L1..dolní mez IS L2..horní mez IS

52 Srovnání postupů měření / analýzy A -extrakce: Soxhlet, hexan 8 h B -extrakce: 3 x 20 min UF, hexan, Na 2 SO 4 N postup A postup B 1 37,83 37, ,18 35, ,84 36, ,61 37, ,96 38, ,05 36, ,77 35,86 Excel ANALYSIS TOOL Dvouvýběrový t-test s nerovností rozptylů Sh-hexan UF/síran 2 hod Stř. hodnota 37,75 36,78 Rozptyl 0,20 0,87 Směr. odch. sr 0,44 0,93 t Stat 2,500 P(T<=t) (1) 0,017 t krit (1) 1,833 P(T<=t) (2) 0,034 t krit (2) 2,262 Dvouvýběrový F-test pro rozptyl Sh-hexan UF/síran 3 hod Stř. hodnota 37,749 36,776 Rozptyl 0,196 0,866 Pozorování 7,000 7,000 Rozdíl 6,000 6,000 F 0,226 P(F<=f) (1) 0,047 F krit (1) 0,233

53 měření chyba měření systematická chyba náhodná chyba známá systematická chyba korekce zbývající chyby neznámá systematická chyba hodnota výsledku nejistota výsledku výsledek měření

54 Definice nejistoty měření (Uncertainty) Parametr spojený s výsledkem měření charakterizující rozptýlení hodnot, které mohou být důvodně připsány měřené veličině. Odhad přiřazený k výsledku zkoušky a charakterizující interval hodnot, o němž se tvrdí, že uvnitř něho leží pravá hodnota