Standardizace a validace

Transkript

1 Standardizace a validace v rutinní molekulárně mikrobiologické diagnostice - aneb statistika v klinické praxi - P. Hložek

2 Část I. Metrologická terminologie v molekulární mikrobiologii Popis použitých statistických metod Část II. Ukázky využití statistických metod v molekulární mikrobiologii

3 Část I. Metrologická terminologie v molekulární mikrobiologii Popis použitých statistických metod

4 Výchozím zdrojem pro metrologickou terminologii v medicíně je soubor standardizovaných biochemických diagnostických metod. V tomto oboru jsou již přesně terminologicky ukotveny a definovány jednotlivé statistické parametry a postupy vedoucí k jejich výpočtu. Metrologická terminologie v analytické laboratoři ( VIM3: International Vocabulary of Metrology (

5 Bohužel je nutno říci, že v molekulární mikrobiologii je až na výjimky kvalita a především jednotnost v postupech a terminologii určující základní statistické parametry diagnostik více než nepřehledná. Jedno z mála harmonizující doporučení pro validace a verifikace s přímým vztahem k molekulárně biologickým metodám je možno najít zde: VALIDACE A VERIFIKACE MOLEKULÁRNĚ BIOLOGICKÝCH METOD ZALOŽENÝCH NA ANALÝZE EXTRAHUMÁNNÍHO GENOMU Doplněk k doporučení výboru České společnosti klinické biochemie o validaci a verifikaci analytických metod v klinických laboratořích (z )

6 Jak přistoupit k pochopení základních metod metrologie použitých při charakterizaci molekulárně mikrobiologických stanovení?

7 Pochopení pojmů v metrologii Citlivost měřicího systému (Sensitivity of measuring system) Consensus value Definiční nejistota (Definitional uncertainty) Drift měřicího přístroje Etalon, standard měření, standard (Measurement standard, etalon) Externí hodnocení kvality (EHK) (External Quality Assessment EQA) Horwitzova křivka Horwitzův vztah (Horwitz curve) Chyba měření (Measurement error) Ishikawův diagram (Ishikawa diagram) IVD MD (In Vitro Diagnostic Medical Devices) Jakost Kalibrace (Calibration) Kalibrační a měřicí schopnost (Calibration and measurement capability - CMC) Kalibrační laboratoř (Calibration laboratory) Kalibrátor (Calibrator) Koeficient rozšíření k (Coverage factor) Komponenta Komutabilita referenčního materiálu (Commutability of a reference material) Konfirmace Konfirmace identity (Confirmation of identity) Kontrolní materiál (Control material) Konvenční hodnota veličiny, konvenční hodnota (Conventional quantity value, conventional value)

8 V případě vyšetření v molekulární mikrobiologii využívající jako metodu stanovení technologii Real Time PCR se zaměřujeme na základní charakteristiky, pomocí kterých jsme schopni dostatečně popsat parametry a limity použitého měření: Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Linearita měření Pochopení pojmů v metrologii Pamatujme však, že výchozím zdrojem pro metrologickou terminologii v molekulární mikrobiologii stále zůstává soubor standardizovaných biochemických diagnostických metod bez přímé návaznosti na zcela rozdílné technologické pozadí metod qpcr

9 Pochopení pojmů v metrologii Přesnost a správnost Se skládá: Specifita Limit detekce Limit kvantitativního stanovení Z definování základních pojmů používaných v metrologii obecně Z metodiky potřebné k ověření definovaných parametrů v případě molekulární mikrobiologie Lineární rozsah měření

10 Správnost a přesnost Přesnost a správnost Specifita Přesnost (Precision): těsnost shody mezi naměřenou hodnotou veličiny a pravou hodnotou měřené veličiny (zjednodušeně míra chyby). Nemá vztah ke skutečné hodnotě. Obvykle se uvádí ve formě směrodatné odchylky. Limit detekce Limit kvantitativního stanovení Přesnost měření můžeme dále rozdělit na: Lineární rozsah měření

11 Správnost a přesnost Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Přesnost za podmínek opakovatelnosti - Opakovatelnost (Repeatibility): Vyjadřuje těsnost souhlasu mezi výsledky nezávislých měření stejného analytu, provedených stejnou metodou, stejným pracovníkem, na stejném přístroji, na stejném místě, za stejných podmínek v krátkém časovém intervalu. Opakovatelnost je vlastností metody, ne výsledku. Přesnost za podmínek reprodukovatelnosti. Reprodukovatelnost (Reproducibility): Vyjadřuje těsnost souhlasu mezi výsledky měření stejného analytu ve vzorcích stejného materiálu, kdy jsou jednotlivá měření prováděna za různých podmínek (pracovník, přístroj, místo, podmínky, čas, avšak stejná metoda).

12 Správnost a přesnost Přesnost a správnost Specifita Správnost (Accuracy): těsnost shody mezi aritmetickým průměrem nekonečného počtu opakovaných naměřených hodnot veličiny a referenční hodnotou veličiny (zjednodušeně míra systematické chyby). Správnost je spojitou kombinací přesnosti a pravdivosti. Limit detekce Limit kvantitativního stanovení Pravdivost (Trueness): Těsnost souhlasu mezi průměrnou hodnotou získanou z velkého počtu výsledků měření a dohodnutou referenční hodnotou (skutečnou hodnotou). Pravdivý výsledek je zatížen nulovou systematickou chybou. Lineární rozsah měření Za předpokladu, že výsledky použité metody vykazují nulovou nebo malou chybu, správnost = přesnost. Správnost lze zjistit pouze experimentálně.

13 Správnost a přesnost Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Vztah mezi přesností a správností aneb k čemu to vlastně je? Lineární rozsah měření

14 Přesnost a správnost Specifita Limit detekce Nepřesné a nesprávné Přesné, ale nesprávné Limit kvantitativního stanovení Lineární rozsah měření

15 Přesnost a správnost Specifita Limit detekce Nepřesné a správné Přesné a správné Limit kvantitativního stanovení Lineární rozsah měření

16 Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Při vývoji měřícího systému je VŽDY vhodné dosáhnout toho, aby byl nejprve SPRÁVNÝ a potom se teprve zabývat jeho PŘESNOSTÍ Lineární rozsah měření

17 Specifita Přesnost a správnost Specifita Limit detekce Specifičnost (analytická) je schopnost měřicího postupu stanovovat v komplexním (tedy reálném) vzorku pouze tu měřenou veličinu, která má být stanovena. Specifičnost je tím vyšší, čím nižší je stupeň interferencí s ostatními částmi (komponentami) vzorku. Specifická metoda = metoda oproštěná od vlivu matrice. Limit kvantitativního stanovení Lineární rozsah měření

18 Metodiky určení specifity Přesnost a správnost Specifitu metody můžeme na úrovni molekulární mikrobiologie při použití PCR (qpcr) technik ověřovat na dvou úrovních: Pomocí in siliko analýzy Specifita Limit detekce Limit kvantitativního stanovení Pomocí experimentální analýzy Lineární rozsah měření Využití sbírkových kmenů, které mají klinickou relevanci s místem odběru vzorku, typem klinického materiálu, případně mohou působit v koinfekci s detekovaným patogenem a mohou být zdrojem nespecifity (cross reactivity)

19 Specifita Přesnost a správnost! POZOR! Specifita v molekulární mikrobiologii nemusí platit Limit detekce Limit kvantitativního stanovení plně specifická metoda = kvalitní a použitelná metoda (správně zvolená metoda) Lineární rozsah měření

20 Specifita Přesnost a správnost Při experimentálním stanovení specifity (např. Real Time PCR metodou) je nutné zároveň znát sensitivitu (limit detekce), protože v molekulární mikrobiologii jsou tyto dva parametry Specifita Limit detekce Sensitivita Limit kvantitativního stanovení Lineární rozsah měření v reálné praxi při interpretaci výsledku vyšetření v křehké rovnováze a pro správnou volbu testu je! NUTNÉ JE ZNÁT A ROZUMĚT JIM!

21 Specifita Přesnost a správnost 100% SENSITIVITA 0% SENSITIVITA Specifita Limit detekce Limit kvantitativního stanovení 100% SPECIFITA 0% SPECIFITA Lineární rozsah měření Takový test pravděpodobně neexistuje Takový test naštěstí nemůže existovat

22 Specifita/limit detekce - příklad Přesnost a správnost Stojí před námi vyšetření 100 pacientů s podezřením na nákazu velice nebezpečným patogenem: Inkubační doba - 24 hod. Specifita Plný rozvoj příznaků - 48 hod. po nakažení Morbidita a mortalita - 100% Limit detekce Existuje 100% účinný lék Limit kvantitativního stanovení Lineární rozsah měření Máme na výběr dva testy pro detekci Test A Test B 100%sensitivita, 50% specifita 50% sensitivita, 100% specifita Který test je v tomto případě lepší?

23 Test A 100%sensitivita, 50% specifita Přesnost a správnost 50 pacientů je zdravých 50 pacientů je nakažených Specifita 25 negativních výsledků 50% specifita 25 falešně pozitivních výsledků 50% specifita 50 pozitivních výsledků detekce 100% sensitivita Všichni pacienti přežijí, ale až 25 pacientů léčíme necíleně Limit detekce Test B 50% sensitivita, 100% specifita Limit kvantitativního stanovení 50 pacientů je zdravých 50 pacientů je nakažených Lineární rozsah měření 50 negativních výsledků detekce 100% specifita 25 pozitivních výsledků 50% sensitivita 25 falešně negativních výsledků 50% sensitivita Žádného pacienta neléčíme necíleně, ale až 25 pacientů může zemřít

24 Limit detekce/sensitivita Přesnost a správnost První interpretační a experimentální nejednotnost mezi biochemickou normou (ze které se při definování parametrů PCR souprav vychází) a realitou molekulární mikrobiologie Specifita Mez detekce daného analytického postupu je dána nejmenším množstvím analytu ve vzorku, které může být detekováno, ale které nemusí být stanovitelné jako exaktní hodnota. Limit detekce Limit kvantitativního stanovení Stanovení meze detekce (L D ): dle IUPAC se určí mez detekce obecně podle vztahu: L D = 3,29. s bl kde je s bl směrodatná odchylka blanku - slepého pokusu Lineární rozsah měření

25 Limit detekce/sensitivita Přesnost a správnost Mez detekce = limit detekce (LoD, limit of detection) analytického postupu je dána nejmenším množstvím analytu ve vzorku, které může být detekováno, ale které nemusí být stanovitelné jako exaktní hodnota. Specifita 100% úspěšných záchytů 60% úspěšných záchytů Limit detekce Limit kvantitativního stanovení Jsme nad limitem detekce Ale jak vysoko? Jsme pod limitem detekce Ale jak hluboko? Lineární rozsah měření LoD je nutno definovat na hranici, kde začíná detekční systém selhávat

26 Metodika určení LoD Přesnost a správnost PROBIT ANALÝZA Statistická technika, pomocí níž je vyjádřen vztah mezi odezvou a podnětem. Pro výpočet limitu detekce využívá Weibullovo rozložení (zdroj Specifita Distribuční funkce tohoto rozdělení je Limit detekce for x 0, and F(x; k; λ) = 0 for x < 0. Limit kvantitativního stanovení Lineární rozsah měření Pro účely stanovení limitu detekce za použití Real Time PCR (limit of detection = LoD) lze probit analýzu transformovat buď pomocí grafu nebo tabelovaných hodnot na zájmová % zasažení. Výsledkem tohoto stanovení je pak hodnota limitu detekce vyjádřená ve zvolených jednotkách (v případě molekulární mikrobiologie v IU/ml, případně v kopiích/ml) s definovanou pravděpodobnosti (95%).

27 Metodika určení LoD Přesnost a správnost PROBIT ANALÝZA Statistická technika, pomocí níž je vyjádřen vztah mezi odezvou a podnětem. Specifita Concentration in IU/ml 1st PCR 2rd PCR 3rd PCR Total hits from 18 PCR Limit detekce Limit kvantitativního stanovení Lineární rozsah měření

28 Metodika určení LoD Přesnost a správnost PROBIT ANALÝZA Grafický výstup analýzy Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření

29 Metodika určení LoD Přesnost a správnost PROBIT ANALÝZA Tabelový výstup analýzy Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření

30 Limit kvantifikace a linearita Přesnost a správnost Specifita Druhá interpretační a experimentální nejednotnost mezi biochemickou normou (ze které se při definování parametrů PCR souprav vychází) a realitou molekulární mikrobiologie Mez stanovitelnosti (limit kvantitativního stanovení) metody je nejnižší množství analytu ve vzorku, které může být stanoveno jako exaktní hodnota s požadovanou hodnotou nejistoty. Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Problém je, že není určeno o jakou míru nejistoty se jedná nejistota 0,5 log, nebo 1 log? Někdy bývá označováno též jako dynamický rozsah kvantitativního stanovení a v případě biochemických analytických metod se udává jako 3xLoD. Linearita kalibračního vztahu (zkráceně linearita) rozsah hodnot obsahu, množství či koncentrací, ve kterém je analytický signál lineární funkcí hodnot obsahu, množství či koncentrace. Problém je, že není určeno o jaký typ linearity se jedná řádová linearita?

31 Limit kvantifikace a linearita Přesnost a správnost Specifita Experimentální a interpretační pozadí metod nutné k popisu výše definovaných parametrů není v případě použití metod založených na kvantitativní Real Time PCR podrobně popsáno a ošetřeno žádnou normou. Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Tento fakt umožňuje bohužel velký prostor pro volnou interpretaci a nejednotnost (neporovnatelnost) výsledků popisujících právě parametry linearity a meze stanovitelnosti. Pro popis přesnosti měření byl proto navržen vlastní experimentální model

32 Experimentální model validace CMV PCR popisuje přesnost měření PCR kitu bez vlivu izolace* popisuje odchylky měření v rozsahu LoD (c/ml) * Model počítá přesnost měření PCR Kitu za předpokladu účinnosti izolace 100%

33 Experimentální model validace CMV PCR Připravena koncentrační řada kvantitativně definované kontroly v rozsahu až 0 kopií/ml (zapsáno ve formátu log) 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Každý člen připravené řady byl kvantitativně stanoven v 6 měřeních 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x Výsledek stanovení byl vynesen do grafu a byly stanoveny odchylky měření pro každou detekovanou koncentraci

34 Odchylka měřené hodnoty - c/ml - log10 1,50 1,25 Validace měření CMV - c/ml 1,00 0,75 0,50 0,25 0,00-0,25-0,50-0,75-1,00-1, ,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Nominální hodnota - c/ml-log10

35 Odchylka měřené hodnoty - c/ml - log10 1,50 1,25 1,00 Validace měření CMV - c/ml PŘESNOST MĚŘENÍ +/- 0,25 log10 0,75 0,50 0,25 0,00-0,25-0,50-0,75-1,00-1, ,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Nominální hodnota - c/ml-log10

36 Odchylka měřené hodnoty - c/ml - log10 1,50 1,25 1,00 Validace měření CMV - c/ml PŘESNOST MĚŘENÍ +/- 0,5 log10 0,75 0,50 0,25 0,00-0,25-0,50-0,75-1,00-1, ,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Nominální hodnota - c/ml-log10

37 Odchylka měřené hodnoty - c/ml - log10 1,50 1,25 1,00 Validace měření CMV - c/ml Pravděpodobný LoD 0,75 0,50 0,25 0,00-0,25-0,50-0,75-1,00-1, ,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Nominální hodnota - c/ml-log10

38 VALIDACE CMV PCR ZÁVĚR 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1, c/ml c/ml (+/- 0,25 log10) 10 3 c/ml c/ml (+/- 0,5 log10) Mez stanovitelnosti (limit kvantitativního stanovení) 10 2 kopií/ml s maximální odchylkou měření (mírou nejistoty) 0,5 log Linearita kalibračního vztahu (zkráceně linearita) V rozsahu c/ml c/ml je systém měření řádově lineární s maximální chybou 0,25 log

39 Definice a metodiky v metrologii a jejich pochopení (v jakkoliv velkém rozsahu) zůstává stále hrubě nedostačující znalostí, pokud zároveň nepochopíme Vztahy v metrologické terminologii bez pochopení těchto vztahů nebudeme moci jakékoliv intelektuálně uchopené metody relevantně a na správném místě použít!

40 Vztahy v Metrologické terminologii Přesnost a správnost Specifita SOUBOR PARAMETRŮ VALIDACE Validace potvrzuje, že měřící postup je schopen plnit požadavky na ně kladené. Jinak řečeno, že úroveň měření je dostatečná, postupy měření korektní a s řádně provedenou kalibrací. Deklaruje schopnost PCR soupravy poskytovat klinicky relevantní (klinikou vyžadovaná) a použitelná data Limit detekce Limit kvantitativního stanovení Lineární rozsah měření SOUBOR PARAMETRŮ VERIFIKACE Verifikací pak rozumíme, že měřící postup je plně funkční v konkrétní laboratoři. Potvrzuje schopnost PCR soupravy dosahovat parametrů uvedených ve validaci

41 Vztahy v Metrologické terminologii Přesnost a správnost SOUBOR PARAMETRŮ VALIDACE Specifita Validace je prováděna výrobcem diagnostika podle předepsaných, nebo doporučených testů. Výsledkem validace je soubor technických parametrů popisující celý systém měření včetně jeho limitů a omezení. Limit detekce Limit kvantitativního stanovení Lineární rozsah měření SOUBOR PARAMETRŮ VERIFIKACE Verifikace je prováděna koncovým uživatelem diagnostika (diagnostickou laboratoří) podle předepsaných, nebo doporučených testů, které by měly být shodné s testy ve validaci. Výsledkem verifikace je soubor testů potvrzující parametry deklarované výrobcem při validaci.

42 Při ideálním stavu je tedy výsledek: Verifikace parametrů uživatelem = parametrům uvedeným při Validaci výrobcem Pokud jsou všechny parametry přesně a jasně popsány (experimentálně, statisticky a interpretačně) a provedeny ve validaci a verifikaci stejným způsobem.

43 Molekulární mikrobiologie Přesnost a správnost Specifita SOUBOR PARAMETRŮ VALIDACE Provedení a způsob interpretace jednotlivých testů je ve velké míře v režii konkrétního výrobce diagnostika. Normy bohužel určují způsob provedení a rozsah testů pouze rámcově = neexistuje jednotný a přesný popis pro validaci qpcr metod. Limit detekce SOUBOR PARAMETRŮ VERIFIKACE Limit kvantitativního stanovení Nelze provést podle jednotných testů, protože v dnešní době v podstatě neexistují. K verifikaci bývá proto velmi často využíváno panelů určených k externímu hodnocení kvality (EHK, EQA). Pomocí těchto panelů jsme schopni posoudit: Lineární rozsah měření 1. Minimální kvalitu diagnostika (a celého laboratorního postupu) při stanovení konkrétního patogena 2. Kvalitu práce laboratoře při stanovení konkrétního patogena ve srovnání s ostatními účastníky EHK

44 Externí hodnocení kvality Doporučení č. 1 České společnosti klinické biochemie ČLS JEP (dále jen ČSKB) a Referenční laboratoře pro klinickou biochemii MZ ČR (dále jen RL) k systému externího hodnocení kvality (dále jen EHK). Podstata externího hodnocení kvality EHK je součástí procesů zajištění kvality měření. Principem EHK je provádění mezilaboratorních porovnávání zkoušek. Je organizováno a vyhodnocováno organizátory EHK (organizátoři EHK se označují termínem EQA providers). EHK v molekulární mikrobiologii Pro zajištění kvality měření a mezilaboratorní porovnání při použití Real Time PCR metod pro detekci patogenů jsou k dispozici následující panely: 1. INSTAND e.v. (Germany) 2. QCMD (Quality Control for Molecular Diagnostics, GB) 3. EHK SZU (Czech Republic)

45 Složení QCMD Odběr, transport a uchování vzorků Izolace nukleových kyselin Real Time PCR Hodnocení a interpretace výsledků Panel obsahuje sadu slepých vzorků o různých koncentracích. Tato sada je po doručení zpracována podle standardních postupů používaných laboratoří k detekci uvedeného patogena. Sample CMV08-08 CMV08-01 CMV08-10 CMV08-07 CMV08-04 CMV08-02 CMV08-09 CMV08-05 CMV08-03 CMV08-06 Výhodou panelu je možnost popsat velkou část diagnostického procesu v laboratoři: - Kvalitu použitého izolační postupu - Kvalitu použité qpcr metody - Správnost a přesnost vyhodnocení

46 Kvalitativní vyhodnocení QCMD Vyhodnocení vzorků podle definovaného klíče: 1. Core samples klinicky důležité s největší váhou při hodnocení 2. Educational samples sledují vývoj kvality a citlivosti v čase. Menší váha při hodnocení

47 Kvalitativní vyhodnocení QCMD Konečné srovnání ve vztahu k ostatním účastníkům tohoto panelu

48 Kvantitativní vyhodnocení QCMD Kvantitativní vyhodnocení: 1. Každému vzorku je přiřazena konsensuální hodnota (uvedeno v log10) 2. Kolem každé konsensuální hodnoty je stanovena SD (uvedeno v log10)

49 Kvantitativní vyhodnocení QCMD Konečné srovnání ve vztahu k ostatním účastníkům tohoto panelu

50 Část II. Ukázky využití statistických metod v molekulární mikrobiologii

51 SPECIFITA

52 Případ I Detekce Chlamydia trachomatis Jako nejvhodnější cíl pro detekci Chlamydia trachomatis byl zvolen úsek kryptického plasmidu (CP) Většina komerčních souprav detekuje CP pomocí stejných párů primerů Citlivost detekce je díky multikopiovému cíli vysoká Specifita je vysoká KVALITNÍ DIAGNOSTICKÝ NÁSTROJ PRO DETEKCI Chlamydia trachomatis

53 Případ I Švédsko do roku 2005 Diagnostikované a hlášené případy Chlamydia trachomatis ve Švédsku plynule rostou (v letech o 120%!) V roce 2005 je zaznamenán nárůst pouze o 2% a v roce 2006 dokonce klesá o 2%! Jaký je důvod změny tohoto trendu? REASONS FOR THE SHARP INCREASE OF GENITAL CHLAMYDIA INFECTIONS REPORTED IN THE FIRST MONTHS OF 2007 IN SWEDEN. I Velicko, S Kühlmann-Berenzon, A Blaxhult. Eurosurveillance, Volume 12, Issue 10, 01 October 2007.

54 Případ I Švédsko - rok 2006 až 2008 V označené části Švédska byla poprvé provedena konfirmace 2 nezávislými testy Každý z testů byl cílen do jiných částí genomu Chlamydia trachomatis Byl zjištěn. Emergence and Spread of Chlamydia trachomatis Variant, Sweden. Björn Herrmann, Anna Törner, Nicola Low, Markus Klint, Anders Nilsson, Inga Velicko, Thomas Söderblom, and Anders Blaxhult. CDC, Volume 14, Number 9 September 2008

55 Případ I Švédsko - rok 2006 až 2008 CP jako cíl detekce Jiný cíl detekce 10% pokles detekovaných infekcí Ch. trachomatis v případě PCR zacílené do CP 1% nárůst detekovaných infekcí v případě PCR zacílené do jiné části genomu Chlamydia trachomatis. Změna trendu je pravděpodobně způsobena chybnou detekcí nové genetické varianty Chlamydia trachomatis v populaci. Impact of a genetic variant of Chlamydia trachomatis on national detection rates in Sweden. T Söderblom, A Blaxhult, H Fredlund, B Herrmann. Eurosurveillance, Volume 11, Issue 49, 07 December 2006.

56 Varianta s mutací CP Případ I Švédsko nová genetická varianta Ch. trachomatis Jedná se o deleci 377bp v oblasti CDS1 Tato oblast je nejčastějším cílem pro komerčně dodávané PCR diagnostické sety Co-evolution of genomes and plasmids within Chlamydia trachomatis and the emergence in Sweden of a new variant strain. Seth-Smith HM, Harris SR, Persson K, Marsh P, Barron A, Bignell A, Bjartling C, Clark L, Cutcliffe LT, Lambden PR, Lennard N, Lockey SJ, Quail MA, Salim O, Skilton RJ, Wang Y, Holland MJ, Parkhill J, Thomson NR, Clarke IN. BMC Genomics May 21;10:239. doi: / May 21;10:239. doi: /

57 Švédsko - rok 2007 A thrilling story in Sweden, with global impact (Björn Herrmann) Případ I V roce 2006 byla objevena ve Švédsku nová varianta Chlamydia trachomatis Tato nová varianta uniká detekci pomocí PCR souprav Abbott m2000 (Abbott Diagnostics, Chicago, IL, USA), nebo Cobas Amplicor/TaqMan48 (Roche Diagnostics, Basel, Switzerland) se zacílením do části CP Odhaduje se, že do roku 2007 uniklo detekci zhruba 8000 případů infekce Chlamydia trachomatis A new genetic variant of Chlamydia trachomatis. Björn Herrmann. Sex Transm Infect July; 83(4):

58 Případ I Švédsko - rok 2008 V roce 2007 je zaznamenán opět výrazný nárůst diagnostikovaných a hlášených případů Chlamydia trachomatis Tento výrazný nárůst je způsoben změnou diagnostických setů a jejich zacílení Použita jiná část CP plasmidu jako cíl Použita duplexní detekce dvou nezávislých genů Emergence and Spread of Chlamydia trachomatis Variant, Sweden. Björn Herrmann, Anna Törner, Nicola Low, Markus Klint, Anders Nilsson, Inga Velicko, Thomas Söderblom, and Anders Blaxhult. CDC, Volume 14, Number 9 September 2008

59 Co se vlastně stalo? Případ I

60 Patogen Otevřený, dynamický a živý systém vystavený selekčnímu tlaku vnějšího prostředí

61 Nová diagnostická souprava Patogen Uzavřený a vůči patogenu statický systém in vitro Otevřený, dynamický a živý systém vystavený selekčnímu tlaku vnějšího prostředí

62 PPV Boj začíná Diagnostická souprava Patogen 95,00% 90,00% 85,00% 80,00% 75,00% 70,00% 65,00% 60,00% 55,00% 50,00% Čas Vysoká specifita Vysoká sensitivita

63 PPV Variabilita genomu Boj začíná Diagnostická souprava Patogen 95,00% 6,00% 90,00% 85,00% 5,00% 80,00% 4,00% 75,00% 70,00% 3,00% 65,00% 2,00% 60,00% 55,00% 1,00% 50,00% Čas 0,00% Čas Vysoká specifita Vysoká sensitivita Variabilita genomu je relativně nízká, ale v důsledku úspěšné diagnostiky a nasazení účinné terapie

64 Variabilita genetické informace Po nějakém čase 14,00% Nová genetická varianta patogenu Diagnostická souprava 12,00% 10,00% 8,00% 6,00% 4,00% 2,00% 0,00% Čas dochází v čase k nárůstu změn v genetické informaci a jejich fixaci v důsledku selekčního tlaku vnějšího prostředí.

65 Variabilita genetické informace Po nějakém čase 14,00% Nová genetická varianta patogenu Diagnostická souprava 12,00% 10,00% 8,00% 6,00% 4,00% 2,00% 0,00% Čas dochází v čase k nárůstu změn v genetické informaci a jejich fixaci v důsledku selekčního tlaku vnějšího prostředí. Změny v genetické informaci zasáhnou místo zacílení dg. soupravy

66 Variabilita genetické informace SPECIFITA Po nějakém čase 14,00% 12,00% 10,00% Nová genetická varianta patogenu Diagnostická souprava 95,00% 90,00% 85,00% 80,00% 8,00% 75,00% 6,00% 4,00% 2,00% 70,00% 65,00% 60,00% 55,00% 0,00% Čas 50,00% Čas dochází v čase k nárůstu změn v genetické informaci a jejich fixaci v důsledku selekčního tlaku vnějšího prostředí. Dochází k poklesu specifity Sensitivita se často nemění

67 Výsledek Nová genetická varianta patogenu Diagnostická souprava

68 Výsledek Nová genetická varianta patogenu Diagnostická souprava Falešně negativní výsledek

69 LIMIT DETEKCE LoD Využití Probit analýz pro stanovení bezpečného postupu citlivé detekce při směšování vzorků

70 Směšování vzorků Pool Příprava poolu pro kontrolu krevních produktů a derivátů pomocí PCR je standardní postup CONTROL AUTHORITY BATCH RELEASE OF BLOOD PRODUCTS Validation Of Nucleic Acid Amplification Technology (NAT) For The Detection Of Hepatitis C Virus (HCV) RNA In Plasma Pools

71 Směšování vzorků Pool Příprava poolu pro kontrolu krevních produktů a derivátů pomocí PCR je standardní postup CONTROL AUTHORITY BATCH RELEASE OF BLOOD PRODUCTS Validation Of Nucleic Acid Amplification Technology (NAT) For The Detection Of Hepatitis C Virus (HCV) RNA In Plasma Pools Příprava poolu z důvodu naředění hraničně pozitivních vzorků přináší větší riziko selhání vyšetření

72 Stanovení citlivosti PCR metody Analytická citlivost pro testy NAT musí být vyjádřena s 95% hraniční pozitivní hodnotou cut-off a výpočtem pomocí vhodné statistické analýzy. Požadavky komise 2009/108/ES pro společné technické specifikace pro diagnostické zdravotnické prostředky in vitro

73 Stanovení citlivosti HCV Stanovení meze detekce s pravděpodobností 95% %P Koncentrace Chyba Dolní mez Horní mez 1 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,2531 2, , , ,8872 3, , , ,1567 7, , , ,6964 8, , , ,5990 9, , , , , , , , , , , , , , , , , , , , , , , , , , , ,485 33, , ,672 Percent % Stanovená mez detekce HCV je ,8180 IU/ml s rozptylem 36,1734 IU/ml až 102,751 IU/ml s 95% hraniční hodnoty cut-off Cumulative Plot for HCV PCR Kit Weibull - 95% CI Probit Data - ML Estimates Table of Statistics Shape 0, Scale 10,8338 Mean 14,1798 StDev 21,5645 Median 6,30324 IQ R 15, , koncentrace

74 Stanovení citlivosti HCV %P Koncentrace Chyba Dolní mez Horní mez 1 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,2531 2, , , ,8872 3, , ,6619 Při vyšetření 100 vzorků o průměrné koncentraci 90 37,1567 7, , , ,6964 8, , , ,5990 9, , , , , , , , , , , , , , , , , , , , , , , , , , , ,485 33, , ,672 54,8180 IU/ml bude 95 vzorků pozitivních (Pravděpodobnost selhání je 5%)

75 1 ml 1 ml 1 ml 1 ml 1 ml 1 ml Směšování vzorků HCV Pool Teoretický model Vzorky plasmy 54,8 IU HCV 0 IU HCV 0 IU HCV 0 IU HCV 0 IU HCV 0 IU HCV Stanovená citlivost PCR metody je 54,8 IU/ml při vyšetření každého vzorku samostatně

76 6 ml Směsný vzorek 1:6 Směšování vzorků HCV Pool Teoretický model Otázka I 9,13 IU/ml HCV Jak bude vypadat citlivost metody v takto připraveném poolu vzorků?

77 Odpověď %P Koncentrace Chyba Dolní mez Horní mez 1 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,2531 2, , , ,8872 3, , , ,1567 7, , , ,6964 8, , , ,5990 9, , , , , , , , , , , , , , , , , , , , , , , , , , , ,485 33, , ,672 Stanovení citlivosti HCV Teoretický model Teoreticky dojde k výraznému nárůstu pravděpodobnosti selhání vyšetření (z 5 % zhruba na 40 %)

78 6 ml Směsný vzorek 1:6 Směšování vzorků HCV Pool Teoretický model Otázka II 9,13 IU/ml HCV Lze zachovat ekonomický přínos poolování vzorků při současném zachování deklarované citlivosti vyšetření?

79 Směšování vzorků HCV Pool Teoretický model Odpověď Ano, teoreticky toho lze dosáhnout pomocí opakování vyšetření poolu vzorků Izolace I Izolace II 3 vyšetření - alespoň 1 pozitivní - Citlivost 10,8 ø v IU/ml Izolace III PCR I PCR II PCR III Opakováním vyšetření se dramaticky zvyšuje citlivost metody Počet opakování Koncentrace ø v IU/ml 1 54, , , , , , , , , ,8247

80 6 ml Směsný vzorek 1:6 Směšování vzorků HCV Pool Teoretický model Shrnutí: Ekonomického přínosu poolování při zachování deklarované citlivosti lze teoreticky dosáhnout: 9,13 IU/ml HCV 1. Nastavením správného počtu opakování vyšetření 2. Nastavením správného počtu vzorků v poolu

81 6 ml 6 ml 6 ml 6 ml Směšování vzorků HCV Pool Nastavení počtu opakování vyšetření 4 sady 20 nezávisle připravených poolů 1 vzorek 54,8 IU/ml + 5 vzorků negativních Směsné vzorky Směsné vzorky Směsné vzorky Směsné vzorky 1:6 1:6 1:6 1:6 9,13 IU/ml HCV 9,13 IU/ml HCV 9,13 IU/ml HCV 9,13 IU/ml HCV 1 opakování vyšetření 2 opakování vyšetření 3 opakování vyšetření 4 opakování vyšetření

82 6 ml 6 ml 6 ml 6 ml Směšování vzorků HCV Pool Nastavení počtu opakování vyšetření Pool 1:6 1 opakování 2 opakování 3 opakování 4 opakování Pozitivních Negativních P selhání 45% 20% 5% < 5% 9,13 IU/ml HCV 9,13 IU/ml HCV 9,13 IU/ml HCV 9,13 IU/ml HCV

83 6 ml 2 ml Směšování vzorků HCV Pool Nastavení počtu vzorků v poolu Pool 1:6 Pool 1:2? 3 opakování vyšetření 1 opakování vyšetření

84 Směšování vzorků HCV Pool Nastavení počtu vzorků v poolu Pool 1:6 Pool 1:2 Pozitivních Negativních 1 4 P selhání 5% 20% 3 opakování vyšetření 1 opakování vyšetření

85 Směšování vzorků HCV Pool Závěry Opakování vyšetření dramaticky zvyšuje sensitivitu Počet opakování vyšetření Koncentrace ø v IU/ml 1 54, , , , , , , , , ,8247

86 Směšování vzorků HCV Pool Závěry Pool 1:2 Pool 1:6 1 opakování detekce 3 opakování detekce P selhání 20% 5% Menší pool méně opakování vyšetření < Při stejné citlivosti Větší pool více opakování vyšetření

87 Směšování vzorků HCV Pool Závěry Správnou kombinací počtu vzorků v poolu a počtu opakování vyšetření je možno zachovat deklarovanou citlivost vyšetření Počet vzorků v poolu Počet opakování 1 3 ~ 5 ~ 9 ~ 10 P selhání 5% 5% 5% 5% 5%

88 Směšování vzorků HCV Pool Závěry Správnou kombinací počtu vzorků v poolu a počtu opakování vyšetření je možno zachovat deklarovanou citlivost vyšetření Počet vzorků v poolu Počet opakování 1 3 ~ 5 ~ 9 ~ 10 P selhání 5% 5% 5% 5% 5% Úspora 0% 50% ~ 58% ~ 64% ~ 80% Čím větší počet vzorků v poolu je použit, tím je ekonomický efekt vyšší při zachování stejné citlivosti vyšetření

89 Směšování vzorků HCV Pool Závěry Systém směšování vzorků je ekonomický pouze při malé míře pozitivit v celém souboru vyšetření Pokud smícháme n vzorků, kde pravděpodobnost výskytu HCV je p, pak ve směsi může být 0 až n pozitivních vzorků, kde počet pozitivních vzorků se řídí binomickým rozdělením. Binomické rozdělení (popis tzv. náhodného výběru s vracením) Bi(n, p), kde n je přirozené číslo, p je reálné číslo, 0 p 1: n x p( x) p 1 p x n x Pro vytváření poolu 1:6 pro detekci HCV s citlivostí 54,8 IU/ml je tento proces výhodný do 10 % pozitivních vzorků

90 Využití parametrů kvantitativního stanovení pro určení odezvy na léčbu Jak přesná je přesná kvantifikace? Jak interpretovat kvantitativní výsledky?

91 RaR studie Stanovení přesnosti a rozlišitelnosti měření testovaných koncentrací v rozsahu kalibrační přímky

92 Vložená koncentrace kopií/µl Rozptyl měření kopií/µl PCR reakce je schopna bezpečně odlišit změny koncentrací v rozsahu kalibrační přímky s definovanou variabilitou

93 Jak interpretovat na základě předchozí charakteristiky měřená data? Hustota pravděpodobnosti Koncentrace (kopie/ul) ,86 0,96 0,23 Naměřené hodnoty (kopie/ul) ,96 0,86 0,23 - -

94 Případ: - Pacient po transplantaci ledviny - Podezření na CMV infekci - Nasazena terapie Vyšetření Výsledek kopií/ml 1. den den den Kdy došlo k prokazatelnému poklesu virové nálože ve vzorku a reakci na léčbu?

95 Hustota pravděpodobnosti 10e5 10e4 Koncentrace (kopie/ml) Vyšetření Výsledek kopií/ml 1. den den den K prokazatelnému poklesu virové nálože ve vzorku došlo až při 3. vyšetření (oproti 1. a 2. vyšetření)

96 Při stanovování klinicky významné hladiny je třeba počítat s variabilitou měření dané laboratoře a daného postupu Vložená koncentrace kopií/µl Rozptyl měření kopií/µl Klinicky významná hladina

97 Využití Probit analýzy při volbě diagnostika Reálný příklad problému srovnání dvou PCR diagnostik podle parametrů validace uvedených výrobcem

98 Validace LoD Chlamydia trachomatis Souprava A Souprava B Mez detekce (Limit of Detection) V případě obou výrobců stanoven pomocí Probit analýzy (standardní postup pro tento účel)

99 Validace LoD Chlamydia trachomatis Souprava A Souprava B 0,3 kopie/µl 1,5 kopie/µl Cumulative Plot for CHT PLUS SYSTEM Weibull - 95% CI Probit Data - ML Estimates Percent Table of Statistics Shape 0, Scale 0, Mean 0, StDev 0, Median 0, IQ R 0, ,0 0,5 1,0 1,5 2,0 Concentration/µl 2,5 3,0

100 Validace LoD Chlamydia trachomatis Souprava A Souprava B Souprava A LoD výrazně nižší oproti soupravě B. 0,3 kopie/µl 1,5 kopie/µl Cumulative Plot for CHT PLUS SYSTEM Weibull - 95% CI Probit Data - ML Estimates Percent Table of Statistics Shape 0, Scale 0, Mean 0, StDev 0, Median 0, IQ R 0, ,0 0,5 1,0 1,5 2,0 Concentration/µl 2,5 3,0

101 Reálný limit detekce? Chlamydia trachomatis Souprava A Souprava B 0,3 kopie/µl 1,5 kopie/µl Připraven verifikační test Hypotéza: LoD souprava A < LoD souprava B

102 1 ml Souprava A Verifikace LoD Chlamydia trachomatis Vzorek moči Souprava B Chlamydia trachomatis +++ Označení vzorku Ředění 0 1:1 1:1 1:1 1:1 1:1 1:1 1:1 1:1 1:1 1:1 Počet izolací Opakování PCR

103 Verifikace LoD Chlamydia trachomatis Souprava A Souprava B Očekávaný výsledek: LoD souprava A < LoD souprava B Označení vzorku SOUPRAVA A SOUPRAVA B Opakování PCR

104 Verifikace LoD Chlamydia trachomatis Souprava A Souprava B Dosažený výsledek LoD souprava A -? - LoD souprava B Označení vzorku SOUPRAVA A SOUPRAVA B Opakování PCR

105 Verifikace LoD Chlamydia trachomatis Souprava A Souprava B Cumulative Plot for events Normal - 95% CI Probit Data - ML Estimates Percent Gage GeneProof QIAGENE Table of Statistics Mean StDev -0, , , , ,0-1,5-1,0-0,5 0,0 LOGTEN(conc) 0,5 1,0 Statisticky bylo prokázáno, že soupravy mají s pravděpodobností 95% stejný LoD.

106 LoD Chlamydia trachomatis Souprava A Souprava B Kde leží příčina tak rozdílných výsledků validace parametru LoD výrobci?

107 Analýza parametrů VALIDACE Souprava A Souprava B POUŽITELNÝ VÝSLEDEK Vstupní kontrola v testu Provedení testu Statistické vyhodnocení Interpretace výsledku

108 Analýza parametrů VALIDACE Souprava A Souprava B LÍBIVÉ VÝSTUPY STATISTICKY KOREKTNÍ VÝSTUPY Vstupní kontrola v testu Provedení testu Statistické vyhodnocení Interpretace výsledku Vstupní kontrola v testu Provedení testu Statistické vyhodnocení Interpretace výsledku

109 Analýza parametrů VALIDACE Souprava A Souprava B LÍBIVÉ VÝSTUPY STATISTICKY KOREKTNÍ VÝSTUPY

110 Souprava A Souprava B Na základě parametru uvedeného ve VALIDACI nelze porovnat LoD soupravy A versus B

111 věřím, že příčinou naší nepřipravenosti na nestandardní události je především setrvačnost našeho myšlení v podobě přílišné důvěry ve statistiky.. Raději budu mít vždy alespoň přibližně pravdu, než abych se, byť jedinkrát, přesně mýlil Nassim Nicholas Taleb Černá labuť

112 Děkuji za pozornost