Za hranice nejistoty(2) MUDr. Jaroslava Ambrožová OKB-H Nemocnice Prachatice, a.s. 19.5.2014 1
TNI 01 0115: VIM EP15-A2 User Verification of performance for Precision and Trueness C51-A Expression of measurement Uncertainty in Laboratory medicine Doporučení k provádění validace a verifikace analytických metod v klinických laboratořích ; KBM 1/2011 Doporučené postupy 19.5.2014 2
Lze v jediném experimentu verifikovat preciznost a současně odhadnout nejistotu měření? Odpověď: Za hranice nejistoty KBM 2/2013 Odkazy: CLSI EP15-A2 CLSI C51-A Klíčová otázka č.1 19.5.2014 3
Proces ověřování a potvrzení, že v konkrétní L lze za běžných podmínek rutinní činnosti u požadovaných výkonnostních charakteristik analytické metody docílit hodnot uvedených výrobcem v aktuální verzi IFU (tj. v PL) Definice Verifikace 19.5.2014 4
lze provádět jen v souvislosti s výrobky uvedenými na trh v souladu se zásadami Direktivy IVD 98/79 EC disponujícími značením CE Postup a rozsah validace IVD MD je dán normou: ČSN EN 13612 Verifikaci 19.5.2014 5
Charakteristiky výkonnosti, které se srovnávají s daty uvedenými v instrukcích výrobců (PL) nebo získanými v průběhu validace: Opakovatelnost O Mezilehlá Preciznost MP Vychýlení (bias) B Pracovní rozsah PR Nejistota měření Verifikace - minimální rozsah: 19.5.2014 6
Opakovatelnost O Mezilehlá preciznost MP Reprodukovatelnost R NEJISTOTA Instituce vydávající doporučení, pokyny a protokoly: CLSI = Institut pro standardizaci laboratorní medicíny - např.: EP05-A2b (VALIDACE) EP15-A2 (VERIFIKACE) C 51-A (NEJISTOTA) ICH = Mezinárodní harmonizační konference Nejistota spojená s precizností 19.5.2014 7
Standardizace = tam, kde existuje plná metrologická návaznost tj. Je primární kalibrátor a referenční metoda. Harmonizace = tam, kde existuje jen částečná metrologická návaznost tj. Není referenční metoda K dispozici je jen firemní vnitřní kalibrátor s vylepšenou průměrnou hodnotnou ze všech postupů. IFU a metrologická návaznost 19.5.2014 8
19.5.2014 9
Nepřikazují, že klinická laboratoř zavádějící nový kvantitativní test musí ověřit preciznost, pravdivost nebo provést test porovnání či studii výtěžnosti Cíl = snaha pomoci, Jak a Proč provádět relevantní, v praxi použitelné experimenty zaměřené na: Vlastní průběh testů a analýzu dat Závěr a interpretace Doporučení, která pomáhají 19.5.2014 10
regulační požadavky regulačních institucí.. jsou dány normami např. ISO = konsensus účastníků dohody klinických laboratoří, výrobců a regulačních institucí Doporučení: Referujte o použitých doporučeních/směrnicích ve svých SOP! Doporučení /=? 19.5.2014 11
. i velmi malé laboratoře provádějí své výpočty elektronicky Znamená to Nechat věcem volný průběh?.pozor vaše výsledky se mohou lišit! Rozumné volby software ke zpracování dat: Tabulkové software (ANOVA) Software dodávané výrobcem analýz/zkoušek Komerční statistické software, např.: StatisPro (CLSI) Analyse-it Method Evaluation Edition (Excel) EP-Evaluator... (Data Innovations) Variance Function Program (AACB) MedCalc (MedCalc Software, Belgium) Laissez-faire?... aneb 19.5.2014 12
Formuláře a kalkulátory programu SLP Kalkulátory na webu cskb.cz Kalkulátory v programech LIS POZOR softwarové implementace se mohou navzájem mírně lišit v detailech a poskytovat mírně i významně odlišné statistické závěry!!! Ryze české laissez-passer 19.5.2014 13
SOP by měl informovat o použitých doporučeních pokynech, dokumentech a zdrojích informací, a zejména o implementaci důležitých detailů: Postupů specifických pro konkrétní analyt a měřicí systém Software nástrojů a technik použitých statistickému zpracování dat Odchylky od doporučení/směrnic nutno vždy opatřit zdůvodněním Varovat se vágních interpretací a nejednoznačných závěrů Kvantitativní test 19.5.2014 14
pro exaktnost testů preciznosti, výtěžnosti a porovnání jsou klíčové informace: Typ vzorku (matrice, složení) Cílové hladiny (koncentrace) měřené veličiny Účel testů: Zdroj definitivních informací o charakteristikách preciznosti? Základ přiřazení vztažných hodnot a nejistot vzorkům v testech výtěžnosti? Metoda komparace vzorků pacientů? Volba testu účinnost: 19.5.2014 15
Lze v jediném experimentu posoudit více provozních charakteristik (preciznost & pravdivost & výtěžnost)? Jaká je účinnosti takových experimentů? Klíčová otázka č.2: 19.5.2014 16
Smíšené pooly (čerstvých?!) vzorků pacientů jsou jasnou 1 pro tento typ experimentů Proč? Maximalizace významu k předpokládanému využití v L L zpracovává více než jednu matrici vzorků a tyto matrice mohou vykazovat v testech různé charakteristiky preciznosti. Musí L do experimentů zahrnout jednu sadu 2-3 poolů každého jednotlivého typu matrice? QC vzorky? Jejich charakteristiky preciznosti se mohou lišit od vzorků pacientů Musí L začlenit i QC vzorky do experimentů? Jaké matrice vzorků použil výrobce při generování tabulky preciznosti v PL (jsou tvrzení výrobců kontrolována?) Poskytují vodítko... nebo matou? Testy preciznosti - matrice vzorků: 19.5.2014 17
Poolované vzorky pacientů obecně nemohou mít známé cílové hodnoty. Výjimka: Pooly, které byly rutinně zpracované uživatelskou (starou) stávající metodou pro účely QC QC vzorky? Mají známé hodnoty, ale... Jsou řazeny nízko v hierarchii žebříčku referenčních materiálů a obvykle nemají dostupné informace o nejistotě V celkové zátěži L mají podružný význam a výrobci je obvykle nezahrnují do tabulek v PL Použití QC vzorků obecně představuje nežádoucí kompromis jak v testech zaměřených na preciznost tak pro studie výtěžnosti Závěr: testy preciznosti a výtěžnosti dle EP15 A2 lze provádět současně, ale nikoliv se stejnými vzorky!!! Testy výtěžnosti - matrice vzorku 19.5.2014 18
Typ vzorku vzorky musí být komutabilní Vlastnost vztažné hodnoty určuje potenciální způsob využití testu výtěžnosti Nejistota U známé hodnoty měřené veličiny - EP 15 A2 uvádí tři případy určení verifikačního intervalu" kolem vztažné hodnoty (oblasti přijatelnosti): A. U je v nějaké formě uvedena B. U je počitatelná ze surových dat při měření vzorků jako SD/ n : z testů způsobilosti, kde n je počet zúčastněných laboratoří z QC programů respektující peer-skupiny (nemusí být považováno za uspokojivou volbu) C. U není k dispozici pak U = 0: Př.: výrobce kontrolního materiálu uvede cílovou hodnotu a "rozmezí" (nebo SD), ale neuvede n Testy výtěžnosti informace o nejistotě 19.5.2014 19
Vhodné koncentrace ( měřené veličiny") pro testy: Klinicky relevantní meze: Lékařské rozhodovací meze, cut-off, předpokládané terapeutické (akční) meze Referenční intervaly ( normální rozmezí ) - několik skupin? Celý rozsah v metodě uváděného měřeného intervalu? Hladiny uvedené v tabulkách preciznosti v PL Vhodné pro verifikace preciznosti (ale ne pro klinicky zaměřené úvahy) Testy verifikace preciznosti a výtěžnosti Co lze zjistit při testování pouhých 2-3 hladin vzorků?? Testy porovnání Na jakých koncentracích se má analýza provádět, aby poskytla smysluplný odhad relativního vychýlení nebo % bias? Částečně závisí na spektru vzorků pacientů, které jsou aktuálně k dispozici Cílové hladiny - problém všech testů 19.5.2014 20
Rozsah posuzování MP v L závisí na okolnostech, za nichž se uživatel zamýšlí metodu používat. Cíl: posoudit vliv náhodných jevů na těsnost shody opakování analytického postupu. Za významné neopomenutelné příspěvky variability se považují: čas (v rozsahu dní), operátor, zařízení atd. a jejich vliv není nutno studovat separátně. Preferuje se soulad se zvolenou experimentální předlohou (validačním vzorem ~ protokolem). Mezilehlá preciznost 19.5.2014 21
Nedostatečné = odhadovat preciznost metod v L jen stanovením O v jedné sérii ~ preciznost v sérii Nezbytné = odhadnout celkovou intralaboratorní preciznost ~ MP Definice norma ČSN ISO 5725 (1,3) Dokumenty CLSI EP05-A2 a EP15-A2b Odhad preciznosti 19.5.2014 22
MP se může lišit v průběhu analytického rozsahu metody nejméně 2 hladiny Každá hladina se vyšetřuje po dobu 20 dnů, vždy duplikát, 2 série/den, série jsou odděleny 2 hodinami V každé sérii 1 kontrolní vzorek, jiný než ten, který se případně používal pro stanovení MP. V sériích nebo dnech nutno měnit vzájemné pořadí zkušebních materiálů pro MP a QC Každá série obsahuje 10 vzorků pacientů (simulace skutečného provozu) Pozn: znamená minimálně 80 vzorků EP05-A2 validace výrobce 19.5.2014 23
Experiment se provádí 5 dnů se 3 replikáty, nejméně na 2 hladinách Pozn.: Každý test začíná vyloučením extrémních hodnot (Grubbsův test) = takové hodnoty, u nichž absolutní rozdíl mezi replikáty převyšuje 5,5 násobek SD stanovené v předběžném testu preciznosti tyto jsou odmítnuty, prošetřena a odstraněna jejich příčina před opakováním další série EP15-A2 = měření 30 vzorků EP15-A3 = měření 50 vzorků EP15-A2 verifikace v L 19.5.2014 24
EP15-A2 se obecně používá k ověření, že metoda provádí v souladu s tím, jak tvrdí výrobce odhad nepreciznosti dle výše uvedeného výpočtu se musí srovnávat s tvrzením výrobce. Pokud SD O a MP v L < SD výrobce, pak uživatel prokázal, že preciznost je v souladu s tvrzením výrobce a žádné další výpočty nejsou nutné. Pokud dosažené hodnoty v L > než uvádí výrobce, nutno testem zjistit, zda je tento rozdíl je statisticky významný!?! Hodnocení výsledků 19.5.2014 25
Kde: n je počet opakování za den s r = odhad preciznosti v sérii ~ opakovatelnosti s b = odhad preciznosti mezi sériemi ~ z rozptylu denních průměrů Odhad celkové MP v L: 19.5.2014 26
Příklad odhadu MP dle EP15-A2: Vápník výsledky na hladině 1 (mmol / l). Série / den Replikát 1 Replikát 2 Replikát 3 1 2,015 2,013 1,963 2 2,019 2,002 1,979 3 2,025 1,959 2,000 4 1,972 1,95 1,973 5 1,981 1,956 1,957 1. Opakovatelnost ~ preciznost v sérii Výpočet průměru opakování z každého dne; pak od každého výsledku odečteme průměr z daného dne a dále mocninu výsledné hodnoty. Např. v 1. dni = průměr ze tří hodnot (2,015 + 2,013 + 1,963) / 3 = 1,997. Takže 1. den počítáme: (2.015-1.997) 2 = 0,00032. 19.5.2014 27
Tabulka 2 - konečné výsledky. (R2 - (R3 - Průměr dne (R1 - průměr) 2 průměr) 2 průměr) 2 1,997 0,00032 0,00026 0,00116 2,000 0,00036 0,00000 0,00044 1,995 0,00092 0,00127 0,00003 1,965 0,00005 0,00022 0,00006 1,965 0,00027 0,00008 0,00006 Součet čtverců rozdílů je 0,0055, a výpočet opakovatelnosti ~ preciznosti v sérii, kde D = 5 a n = 3 Další krok: výpočet preciznosti mezi sériemi ~ z rozptylu denních průměrů dle rovnice 19.5.2014 28
Tab. č. 3: Sumace pro zbývající dny Průměr dne 1.997 0.000162 2.000 0.000247 1.995 0.000108 1.965 0.000371 1.965 0.000384 Součet mocnin rozdílů dává celkem 0.00127 Rozptyl denních průměrů Preciznost mezi sériemi 19.5.2014 29
Celková MP ~ EP15-A2 Aplikace hodnot z příkladu: 19.5.2014 30
ANOVA (one-way) 19.5.2014 31
ANOVA 19.5.2014 32
Srovnávat srovnatelné hodnoty! (např. s aktuálním TMU resp. D max SEKK) Odhad nejistoty měření 19.5.2014 33
Odhad v experimentu (SD) Deklarace výrobce (SD) Rozdíl "O" ~ Preciznost v sérii Preciznost mezi sériemi "MP ~ Celková preciznost 0,023 1,15 % 0,022 1,1% 0,001 0,05% 0,0178?? 0,026 1,3% 0,024 1,2% 0,002 0,1% Vyhodnocení MP ~ EP15-A2 19.5.2014 34
Statistika: kritická, verifikační hodnota O ~ EP15-A2 kde: σ r = deklarovaná opakovatelnost. C = 1-α / q procento bodů z Chi-kvadrát distribuce. α = % chybného odmítnutí a q = počet testovaných hladin v = počet stupňů volnosti a je v tomto případě rovna D (n-1) 0,023 0,031 mmol/l 19.5.2014 35
Statistika: kritická, verifikační hodnota MP ~ EP15-A2 Kde: σl je deklarovaná intra-laboratorní ~ celková SD T je efektivní počet stupňů volnosti pro intra-laboratorní odhad preciznosti - kalkulátorem dle vztahu: 0,026 0,031 mmol/l 19.5.2014 36
19.5.2014 37