Za hranice nejistoty(2)

Transkript

1 Za hranice nejistoty(2) MUDr. Jaroslava Ambrožová OKB-H Nemocnice Prachatice, a.s

2 TNI : VIM EP15-A2 User Verification of performance for Precision and Trueness C51-A Expression of measurement Uncertainty in Laboratory medicine Doporučení k provádění validace a verifikace analytických metod v klinických laboratořích ; KBM 1/2011 Doporučené postupy

3 Lze v jediném experimentu verifikovat preciznost a současně odhadnout nejistotu měření? Odpověď: Za hranice nejistoty KBM 2/2013 Odkazy: CLSI EP15-A2 CLSI C51-A Klíčová otázka č

4 Proces ověřování a potvrzení, že v konkrétní L lze za běžných podmínek rutinní činnosti u požadovaných výkonnostních charakteristik analytické metody docílit hodnot uvedených výrobcem v aktuální verzi IFU (tj. v PL) Definice Verifikace

5 lze provádět jen v souvislosti s výrobky uvedenými na trh v souladu se zásadami Direktivy IVD 98/79 EC disponujícími značením CE Postup a rozsah validace IVD MD je dán normou: ČSN EN Verifikaci

6 Charakteristiky výkonnosti, které se srovnávají s daty uvedenými v instrukcích výrobců (PL) nebo získanými v průběhu validace: Opakovatelnost O Mezilehlá Preciznost MP Vychýlení (bias) B Pracovní rozsah PR Nejistota měření Verifikace - minimální rozsah:

7 Opakovatelnost O Mezilehlá preciznost MP Reprodukovatelnost R NEJISTOTA Instituce vydávající doporučení, pokyny a protokoly: CLSI = Institut pro standardizaci laboratorní medicíny - např.: EP05-A2b (VALIDACE) EP15-A2 (VERIFIKACE) C 51-A (NEJISTOTA) ICH = Mezinárodní harmonizační konference Nejistota spojená s precizností

8 Standardizace = tam, kde existuje plná metrologická návaznost tj. Je primární kalibrátor a referenční metoda. Harmonizace = tam, kde existuje jen částečná metrologická návaznost tj. Není referenční metoda K dispozici je jen firemní vnitřní kalibrátor s vylepšenou průměrnou hodnotnou ze všech postupů. IFU a metrologická návaznost

9

10 Nepřikazují, že klinická laboratoř zavádějící nový kvantitativní test musí ověřit preciznost, pravdivost nebo provést test porovnání či studii výtěžnosti Cíl = snaha pomoci, Jak a Proč provádět relevantní, v praxi použitelné experimenty zaměřené na: Vlastní průběh testů a analýzu dat Závěr a interpretace Doporučení, která pomáhají

11 regulační požadavky regulačních institucí.. jsou dány normami např. ISO = konsensus účastníků dohody klinických laboratoří, výrobců a regulačních institucí Doporučení: Referujte o použitých doporučeních/směrnicích ve svých SOP! Doporučení /=?

12 . i velmi malé laboratoře provádějí své výpočty elektronicky Znamená to Nechat věcem volný průběh?.pozor vaše výsledky se mohou lišit! Rozumné volby software ke zpracování dat: Tabulkové software (ANOVA) Software dodávané výrobcem analýz/zkoušek Komerční statistické software, např.: StatisPro (CLSI) Analyse-it Method Evaluation Edition (Excel) EP-Evaluator... (Data Innovations) Variance Function Program (AACB) MedCalc (MedCalc Software, Belgium) Laissez-faire?... aneb

13 Formuláře a kalkulátory programu SLP Kalkulátory na webu cskb.cz Kalkulátory v programech LIS POZOR softwarové implementace se mohou navzájem mírně lišit v detailech a poskytovat mírně i významně odlišné statistické závěry!!! Ryze české laissez-passer

14 SOP by měl informovat o použitých doporučeních pokynech, dokumentech a zdrojích informací, a zejména o implementaci důležitých detailů: Postupů specifických pro konkrétní analyt a měřicí systém Software nástrojů a technik použitých statistickému zpracování dat Odchylky od doporučení/směrnic nutno vždy opatřit zdůvodněním Varovat se vágních interpretací a nejednoznačných závěrů Kvantitativní test

15 pro exaktnost testů preciznosti, výtěžnosti a porovnání jsou klíčové informace: Typ vzorku (matrice, složení) Cílové hladiny (koncentrace) měřené veličiny Účel testů: Zdroj definitivních informací o charakteristikách preciznosti? Základ přiřazení vztažných hodnot a nejistot vzorkům v testech výtěžnosti? Metoda komparace vzorků pacientů? Volba testu účinnost:

16 Lze v jediném experimentu posoudit více provozních charakteristik (preciznost & pravdivost & výtěžnost)? Jaká je účinnosti takových experimentů? Klíčová otázka č.2:

17 Smíšené pooly (čerstvých?!) vzorků pacientů jsou jasnou 1 pro tento typ experimentů Proč? Maximalizace významu k předpokládanému využití v L L zpracovává více než jednu matrici vzorků a tyto matrice mohou vykazovat v testech různé charakteristiky preciznosti. Musí L do experimentů zahrnout jednu sadu 2-3 poolů každého jednotlivého typu matrice? QC vzorky? Jejich charakteristiky preciznosti se mohou lišit od vzorků pacientů Musí L začlenit i QC vzorky do experimentů? Jaké matrice vzorků použil výrobce při generování tabulky preciznosti v PL (jsou tvrzení výrobců kontrolována?) Poskytují vodítko... nebo matou? Testy preciznosti - matrice vzorků:

18 Poolované vzorky pacientů obecně nemohou mít známé cílové hodnoty. Výjimka: Pooly, které byly rutinně zpracované uživatelskou (starou) stávající metodou pro účely QC QC vzorky? Mají známé hodnoty, ale... Jsou řazeny nízko v hierarchii žebříčku referenčních materiálů a obvykle nemají dostupné informace o nejistotě V celkové zátěži L mají podružný význam a výrobci je obvykle nezahrnují do tabulek v PL Použití QC vzorků obecně představuje nežádoucí kompromis jak v testech zaměřených na preciznost tak pro studie výtěžnosti Závěr: testy preciznosti a výtěžnosti dle EP15 A2 lze provádět současně, ale nikoliv se stejnými vzorky!!! Testy výtěžnosti - matrice vzorku

19 Typ vzorku vzorky musí být komutabilní Vlastnost vztažné hodnoty určuje potenciální způsob využití testu výtěžnosti Nejistota U známé hodnoty měřené veličiny - EP 15 A2 uvádí tři případy určení verifikačního intervalu" kolem vztažné hodnoty (oblasti přijatelnosti): A. U je v nějaké formě uvedena B. U je počitatelná ze surových dat při měření vzorků jako SD/ n : z testů způsobilosti, kde n je počet zúčastněných laboratoří z QC programů respektující peer-skupiny (nemusí být považováno za uspokojivou volbu) C. U není k dispozici pak U = 0: Př.: výrobce kontrolního materiálu uvede cílovou hodnotu a "rozmezí" (nebo SD), ale neuvede n Testy výtěžnosti informace o nejistotě

20 Vhodné koncentrace ( měřené veličiny") pro testy: Klinicky relevantní meze: Lékařské rozhodovací meze, cut-off, předpokládané terapeutické (akční) meze Referenční intervaly ( normální rozmezí ) - několik skupin? Celý rozsah v metodě uváděného měřeného intervalu? Hladiny uvedené v tabulkách preciznosti v PL Vhodné pro verifikace preciznosti (ale ne pro klinicky zaměřené úvahy) Testy verifikace preciznosti a výtěžnosti Co lze zjistit při testování pouhých 2-3 hladin vzorků?? Testy porovnání Na jakých koncentracích se má analýza provádět, aby poskytla smysluplný odhad relativního vychýlení nebo % bias? Částečně závisí na spektru vzorků pacientů, které jsou aktuálně k dispozici Cílové hladiny - problém všech testů

21 Rozsah posuzování MP v L závisí na okolnostech, za nichž se uživatel zamýšlí metodu používat. Cíl: posoudit vliv náhodných jevů na těsnost shody opakování analytického postupu. Za významné neopomenutelné příspěvky variability se považují: čas (v rozsahu dní), operátor, zařízení atd. a jejich vliv není nutno studovat separátně. Preferuje se soulad se zvolenou experimentální předlohou (validačním vzorem ~ protokolem). Mezilehlá preciznost

22 Nedostatečné = odhadovat preciznost metod v L jen stanovením O v jedné sérii ~ preciznost v sérii Nezbytné = odhadnout celkovou intralaboratorní preciznost ~ MP Definice norma ČSN ISO 5725 (1,3) Dokumenty CLSI EP05-A2 a EP15-A2b Odhad preciznosti

23 MP se může lišit v průběhu analytického rozsahu metody nejméně 2 hladiny Každá hladina se vyšetřuje po dobu 20 dnů, vždy duplikát, 2 série/den, série jsou odděleny 2 hodinami V každé sérii 1 kontrolní vzorek, jiný než ten, který se případně používal pro stanovení MP. V sériích nebo dnech nutno měnit vzájemné pořadí zkušebních materiálů pro MP a QC Každá série obsahuje 10 vzorků pacientů (simulace skutečného provozu) Pozn: znamená minimálně 80 vzorků EP05-A2 validace výrobce

24 Experiment se provádí 5 dnů se 3 replikáty, nejméně na 2 hladinách Pozn.: Každý test začíná vyloučením extrémních hodnot (Grubbsův test) = takové hodnoty, u nichž absolutní rozdíl mezi replikáty převyšuje 5,5 násobek SD stanovené v předběžném testu preciznosti tyto jsou odmítnuty, prošetřena a odstraněna jejich příčina před opakováním další série EP15-A2 = měření 30 vzorků EP15-A3 = měření 50 vzorků EP15-A2 verifikace v L

25 EP15-A2 se obecně používá k ověření, že metoda provádí v souladu s tím, jak tvrdí výrobce odhad nepreciznosti dle výše uvedeného výpočtu se musí srovnávat s tvrzením výrobce. Pokud SD O a MP v L < SD výrobce, pak uživatel prokázal, že preciznost je v souladu s tvrzením výrobce a žádné další výpočty nejsou nutné. Pokud dosažené hodnoty v L > než uvádí výrobce, nutno testem zjistit, zda je tento rozdíl je statisticky významný!?! Hodnocení výsledků

26 Kde: n je počet opakování za den s r = odhad preciznosti v sérii ~ opakovatelnosti s b = odhad preciznosti mezi sériemi ~ z rozptylu denních průměrů Odhad celkové MP v L:

27 Příklad odhadu MP dle EP15-A2: Vápník výsledky na hladině 1 (mmol / l). Série / den Replikát 1 Replikát 2 Replikát 3 1 2,015 2,013 1, ,019 2,002 1, ,025 1,959 2, ,972 1,95 1, ,981 1,956 1, Opakovatelnost ~ preciznost v sérii Výpočet průměru opakování z každého dne; pak od každého výsledku odečteme průměr z daného dne a dále mocninu výsledné hodnoty. Např. v 1. dni = průměr ze tří hodnot (2, , ,963) / 3 = 1,997. Takže 1. den počítáme: ( ) 2 = 0,

28 Tabulka 2 - konečné výsledky. (R2 - (R3 - Průměr dne (R1 - průměr) 2 průměr) 2 průměr) 2 1,997 0, , , ,000 0, , , ,995 0, , , ,965 0, , , ,965 0, , ,00006 Součet čtverců rozdílů je 0,0055, a výpočet opakovatelnosti ~ preciznosti v sérii, kde D = 5 a n = 3 Další krok: výpočet preciznosti mezi sériemi ~ z rozptylu denních průměrů dle rovnice

29 Tab. č. 3: Sumace pro zbývající dny Průměr dne Součet mocnin rozdílů dává celkem Rozptyl denních průměrů Preciznost mezi sériemi

30 Celková MP ~ EP15-A2 Aplikace hodnot z příkladu:

31 ANOVA (one-way)

32 ANOVA

33 Srovnávat srovnatelné hodnoty! (např. s aktuálním TMU resp. D max SEKK) Odhad nejistoty měření

34 Odhad v experimentu (SD) Deklarace výrobce (SD) Rozdíl "O" ~ Preciznost v sérii Preciznost mezi sériemi "MP ~ Celková preciznost 0,023 1,15 % 0,022 1,1% 0,001 0,05% 0,0178?? 0,026 1,3% 0,024 1,2% 0,002 0,1% Vyhodnocení MP ~ EP15-A

35 Statistika: kritická, verifikační hodnota O ~ EP15-A2 kde: σ r = deklarovaná opakovatelnost. C = 1-α / q procento bodů z Chi-kvadrát distribuce. α = % chybného odmítnutí a q = počet testovaných hladin v = počet stupňů volnosti a je v tomto případě rovna D (n-1) 0,023 0,031 mmol/l

36 Statistika: kritická, verifikační hodnota MP ~ EP15-A2 Kde: σl je deklarovaná intra-laboratorní ~ celková SD T je efektivní počet stupňů volnosti pro intra-laboratorní odhad preciznosti - kalkulátorem dle vztahu: 0,026 0,031 mmol/l

37