Standardizace a validace

Standardizace a validace v rutinní molekulárně mikrobiologické diagnostice - aneb statistika v klinické praxi - P. Hložek

Část I. Metrologická terminologie v molekulární mikrobiologii Popis použitých statistických metod Část II. Ukázky využití statistických metod v molekulární mikrobiologii

Část I. Metrologická terminologie v molekulární mikrobiologii Popis použitých statistických metod

Výchozím zdrojem pro metrologickou terminologii v medicíně je soubor standardizovaných biochemických diagnostických metod. V tomto oboru jsou již přesně terminologicky ukotveny a definovány jednotlivé statistické parametry a postupy vedoucí k jejich výpočtu. Metrologická terminologie v analytické laboratoři (http://www.sekk.cz/) VIM3: International Vocabulary of Metrology (http://www.bipm.org/en/publications/guides/vim.html)

Bohužel je nutno říci, že v molekulární mikrobiologii je až na výjimky kvalita a především jednotnost v postupech a terminologii určující základní statistické parametry diagnostik více než nepřehledná. Jedno z mála harmonizující doporučení pro validace a verifikace s přímým vztahem k molekulárně biologickým metodám je možno najít zde: VALIDACE A VERIFIKACE MOLEKULÁRNĚ BIOLOGICKÝCH METOD ZALOŽENÝCH NA ANALÝZE EXTRAHUMÁNNÍHO GENOMU Doplněk k doporučení výboru České společnosti klinické biochemie o validaci a verifikaci analytických metod v klinických laboratořích (z 16.11.2004)

Jak přistoupit k pochopení základních metod metrologie použitých při charakterizaci molekulárně mikrobiologických stanovení?

Pochopení pojmů v metrologii Citlivost měřicího systému (Sensitivity of measuring system) Consensus value Definiční nejistota (Definitional uncertainty) Drift měřicího přístroje Etalon, standard měření, standard (Measurement standard, etalon) Externí hodnocení kvality (EHK) (External Quality Assessment EQA) Horwitzova křivka Horwitzův vztah (Horwitz curve) Chyba měření (Measurement error) Ishikawův diagram (Ishikawa diagram) IVD MD (In Vitro Diagnostic Medical Devices) Jakost Kalibrace (Calibration) Kalibrační a měřicí schopnost (Calibration and measurement capability - CMC) Kalibrační laboratoř (Calibration laboratory) Kalibrátor (Calibrator) Koeficient rozšíření k (Coverage factor) Komponenta Komutabilita referenčního materiálu (Commutability of a reference material) Konfirmace Konfirmace identity (Confirmation of identity) Kontrolní materiál (Control material) Konvenční hodnota veličiny, konvenční hodnota (Conventional quantity value, conventional value)

V případě vyšetření v molekulární mikrobiologii využívající jako metodu stanovení technologii Real Time PCR se zaměřujeme na základní charakteristiky, pomocí kterých jsme schopni dostatečně popsat parametry a limity použitého měření: Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Linearita měření Pochopení pojmů v metrologii Pamatujme však, že výchozím zdrojem pro metrologickou terminologii v molekulární mikrobiologii stále zůstává soubor standardizovaných biochemických diagnostických metod bez přímé návaznosti na zcela rozdílné technologické pozadí metod qpcr

Pochopení pojmů v metrologii Přesnost a správnost Se skládá: Specifita Limit detekce Limit kvantitativního stanovení Z definování základních pojmů používaných v metrologii obecně Z metodiky potřebné k ověření definovaných parametrů v případě molekulární mikrobiologie Lineární rozsah měření

Správnost a přesnost Přesnost a správnost Specifita Přesnost (Precision): těsnost shody mezi naměřenou hodnotou veličiny a pravou hodnotou měřené veličiny (zjednodušeně míra chyby). Nemá vztah ke skutečné hodnotě. Obvykle se uvádí ve formě směrodatné odchylky. Limit detekce Limit kvantitativního stanovení Přesnost měření můžeme dále rozdělit na: Lineární rozsah měření

Správnost a přesnost Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Přesnost za podmínek opakovatelnosti - Opakovatelnost (Repeatibility): Vyjadřuje těsnost souhlasu mezi výsledky nezávislých měření stejného analytu, provedených stejnou metodou, stejným pracovníkem, na stejném přístroji, na stejném místě, za stejných podmínek v krátkém časovém intervalu. Opakovatelnost je vlastností metody, ne výsledku. Přesnost za podmínek reprodukovatelnosti. Reprodukovatelnost (Reproducibility): Vyjadřuje těsnost souhlasu mezi výsledky měření stejného analytu ve vzorcích stejného materiálu, kdy jsou jednotlivá měření prováděna za různých podmínek (pracovník, přístroj, místo, podmínky, čas, avšak stejná metoda).

Správnost a přesnost Přesnost a správnost Specifita Správnost (Accuracy): těsnost shody mezi aritmetickým průměrem nekonečného počtu opakovaných naměřených hodnot veličiny a referenční hodnotou veličiny (zjednodušeně míra systematické chyby). Správnost je spojitou kombinací přesnosti a pravdivosti. Limit detekce Limit kvantitativního stanovení Pravdivost (Trueness): Těsnost souhlasu mezi průměrnou hodnotou získanou z velkého počtu výsledků měření a dohodnutou referenční hodnotou (skutečnou hodnotou). Pravdivý výsledek je zatížen nulovou systematickou chybou. Lineární rozsah měření Za předpokladu, že výsledky použité metody vykazují nulovou nebo malou chybu, správnost = přesnost. Správnost lze zjistit pouze experimentálně.

Správnost a přesnost Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Vztah mezi přesností a správností aneb k čemu to vlastně je? Lineární rozsah měření

Přesnost a správnost Specifita Limit detekce Nepřesné a nesprávné Přesné, ale nesprávné Limit kvantitativního stanovení Lineární rozsah měření

Přesnost a správnost Specifita Limit detekce Nepřesné a správné Přesné a správné Limit kvantitativního stanovení Lineární rozsah měření

Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Při vývoji měřícího systému je VŽDY vhodné dosáhnout toho, aby byl nejprve SPRÁVNÝ a potom se teprve zabývat jeho PŘESNOSTÍ Lineární rozsah měření

Specifita Přesnost a správnost Specifita Limit detekce Specifičnost (analytická) je schopnost měřicího postupu stanovovat v komplexním (tedy reálném) vzorku pouze tu měřenou veličinu, která má být stanovena. Specifičnost je tím vyšší, čím nižší je stupeň interferencí s ostatními částmi (komponentami) vzorku. Specifická metoda = metoda oproštěná od vlivu matrice. Limit kvantitativního stanovení Lineární rozsah měření

Metodiky určení specifity Přesnost a správnost Specifitu metody můžeme na úrovni molekulární mikrobiologie při použití PCR (qpcr) technik ověřovat na dvou úrovních: Pomocí in siliko analýzy Specifita Limit detekce Limit kvantitativního stanovení Pomocí experimentální analýzy Lineární rozsah měření Využití sbírkových kmenů, které mají klinickou relevanci s místem odběru vzorku, typem klinického materiálu, případně mohou působit v koinfekci s detekovaným patogenem a mohou být zdrojem nespecifity (cross reactivity)

Specifita Přesnost a správnost! POZOR! Specifita v molekulární mikrobiologii nemusí platit Limit detekce Limit kvantitativního stanovení plně specifická metoda = kvalitní a použitelná metoda (správně zvolená metoda) Lineární rozsah měření

Specifita Přesnost a správnost Při experimentálním stanovení specifity (např. Real Time PCR metodou) je nutné zároveň znát sensitivitu (limit detekce), protože v molekulární mikrobiologii jsou tyto dva parametry Specifita Limit detekce Sensitivita Limit kvantitativního stanovení Lineární rozsah měření v reálné praxi při interpretaci výsledku vyšetření v křehké rovnováze a pro správnou volbu testu je! NUTNÉ JE ZNÁT A ROZUMĚT JIM!

Specifita Přesnost a správnost 100% SENSITIVITA 0% SENSITIVITA Specifita Limit detekce Limit kvantitativního stanovení 100% SPECIFITA 0% SPECIFITA Lineární rozsah měření Takový test pravděpodobně neexistuje Takový test naštěstí nemůže existovat

Specifita/limit detekce - příklad Přesnost a správnost Stojí před námi vyšetření 100 pacientů s podezřením na nákazu velice nebezpečným patogenem: Inkubační doba - 24 hod. Specifita Plný rozvoj příznaků - 48 hod. po nakažení Morbidita a mortalita - 100% Limit detekce Existuje 100% účinný lék Limit kvantitativního stanovení Lineární rozsah měření Máme na výběr dva testy pro detekci Test A Test B 100%sensitivita, 50% specifita 50% sensitivita, 100% specifita Který test je v tomto případě lepší?

Test A 100%sensitivita, 50% specifita Přesnost a správnost 50 pacientů je zdravých 50 pacientů je nakažených Specifita 25 negativních výsledků 50% specifita 25 falešně pozitivních výsledků 50% specifita 50 pozitivních výsledků detekce 100% sensitivita Všichni pacienti přežijí, ale až 25 pacientů léčíme necíleně Limit detekce Test B 50% sensitivita, 100% specifita Limit kvantitativního stanovení 50 pacientů je zdravých 50 pacientů je nakažených Lineární rozsah měření 50 negativních výsledků detekce 100% specifita 25 pozitivních výsledků 50% sensitivita 25 falešně negativních výsledků 50% sensitivita Žádného pacienta neléčíme necíleně, ale až 25 pacientů může zemřít

Limit detekce/sensitivita Přesnost a správnost První interpretační a experimentální nejednotnost mezi biochemickou normou (ze které se při definování parametrů PCR souprav vychází) a realitou molekulární mikrobiologie Specifita Mez detekce daného analytického postupu je dána nejmenším množstvím analytu ve vzorku, které může být detekováno, ale které nemusí být stanovitelné jako exaktní hodnota. Limit detekce Limit kvantitativního stanovení Stanovení meze detekce (L D ): dle IUPAC se určí mez detekce obecně podle vztahu: L D = 3,29. s bl kde je s bl směrodatná odchylka blanku - slepého pokusu Lineární rozsah měření

Limit detekce/sensitivita Přesnost a správnost Mez detekce = limit detekce (LoD, limit of detection) analytického postupu je dána nejmenším množstvím analytu ve vzorku, které může být detekováno, ale které nemusí být stanovitelné jako exaktní hodnota. Specifita 100% úspěšných záchytů 60% úspěšných záchytů Limit detekce Limit kvantitativního stanovení Jsme nad limitem detekce Ale jak vysoko? Jsme pod limitem detekce Ale jak hluboko? Lineární rozsah měření LoD je nutno definovat na hranici, kde začíná detekční systém selhávat

Metodika určení LoD Přesnost a správnost PROBIT ANALÝZA Statistická technika, pomocí níž je vyjádřen vztah mezi odezvou a podnětem. Pro výpočet limitu detekce využívá Weibullovo rozložení (zdroj http://en.wikipedia.org/wiki/weibull_distribution): Specifita Distribuční funkce tohoto rozdělení je Limit detekce for x 0, and F(x; k; λ) = 0 for x < 0. Limit kvantitativního stanovení Lineární rozsah měření Pro účely stanovení limitu detekce za použití Real Time PCR (limit of detection = LoD) lze probit analýzu transformovat buď pomocí grafu nebo tabelovaných hodnot na zájmová % zasažení. Výsledkem tohoto stanovení je pak hodnota limitu detekce vyjádřená ve zvolených jednotkách (v případě molekulární mikrobiologie v IU/ml, případně v kopiích/ml) s definovanou pravděpodobnosti (95%).

Metodika určení LoD Přesnost a správnost PROBIT ANALÝZA Statistická technika, pomocí níž je vyjádřen vztah mezi odezvou a podnětem. Specifita Concentration in IU/ml 1st PCR 2rd PCR 3rd PCR Total hits from 18 PCR 40 8 8 8 24 Limit detekce 20 5 6 6 17 Limit kvantitativního stanovení 10 4 6 6 16 5 1 3 5 9 1 1 1 1 3 Lineární rozsah měření

Metodika určení LoD Přesnost a správnost PROBIT ANALÝZA Grafický výstup analýzy Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření

Metodika určení LoD Přesnost a správnost PROBIT ANALÝZA Tabelový výstup analýzy Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření

Limit kvantifikace a linearita Přesnost a správnost Specifita Druhá interpretační a experimentální nejednotnost mezi biochemickou normou (ze které se při definování parametrů PCR souprav vychází) a realitou molekulární mikrobiologie Mez stanovitelnosti (limit kvantitativního stanovení) metody je nejnižší množství analytu ve vzorku, které může být stanoveno jako exaktní hodnota s požadovanou hodnotou nejistoty. Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Problém je, že není určeno o jakou míru nejistoty se jedná nejistota 0,5 log, nebo 1 log? Někdy bývá označováno též jako dynamický rozsah kvantitativního stanovení a v případě biochemických analytických metod se udává jako 3xLoD. Linearita kalibračního vztahu (zkráceně linearita) rozsah hodnot obsahu, množství či koncentrací, ve kterém je analytický signál lineární funkcí hodnot obsahu, množství či koncentrace. Problém je, že není určeno o jaký typ linearity se jedná řádová linearita?

Limit kvantifikace a linearita Přesnost a správnost Specifita Experimentální a interpretační pozadí metod nutné k popisu výše definovaných parametrů není v případě použití metod založených na kvantitativní Real Time PCR podrobně popsáno a ošetřeno žádnou normou. Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Tento fakt umožňuje bohužel velký prostor pro volnou interpretaci a nejednotnost (neporovnatelnost) výsledků popisujících právě parametry linearity a meze stanovitelnosti. Pro popis přesnosti měření byl proto navržen vlastní experimentální model

Experimentální model validace CMV PCR popisuje přesnost měření PCR kitu bez vlivu izolace* popisuje odchylky měření v rozsahu 10 10 LoD (c/ml) * Model počítá přesnost měření PCR Kitu za předpokladu účinnosti izolace 100%

Experimentální model validace CMV PCR Připravena koncentrační řada kvantitativně definované kontroly v rozsahu 10 10 až 0 kopií/ml (zapsáno ve formátu log) 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Každý člen připravené řady byl kvantitativně stanoven v 6 měřeních 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x Výsledek stanovení byl vynesen do grafu a byly stanoveny odchylky měření pro každou detekovanou koncentraci

Odchylka měřené hodnoty - c/ml - log10 1,50 1,25 Validace měření CMV - c/ml 1,00 0,75 0,50 0,25 0,00-0,25-0,50-0,75-1,00-1,25 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Nominální hodnota - c/ml-log10

Odchylka měřené hodnoty - c/ml - log10 1,50 1,25 1,00 Validace měření CMV - c/ml PŘESNOST MĚŘENÍ +/- 0,25 log10 0,75 0,50 0,25 0,00-0,25-0,50-0,75-1,00-1,25 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Nominální hodnota - c/ml-log10

Odchylka měřené hodnoty - c/ml - log10 1,50 1,25 1,00 Validace měření CMV - c/ml PŘESNOST MĚŘENÍ +/- 0,5 log10 0,75 0,50 0,25 0,00-0,25-0,50-0,75-1,00-1,25 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Nominální hodnota - c/ml-log10

Odchylka měřené hodnoty - c/ml - log10 1,50 1,25 1,00 Validace měření CMV - c/ml Pravděpodobný LoD 0,75 0,50 0,25 0,00-0,25-0,50-0,75-1,00-1,25 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Nominální hodnota - c/ml-log10

VALIDACE CMV PCR ZÁVĚR 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 10 10 c/ml - 10 3 c/ml (+/- 0,25 log10) 10 3 c/ml - 10 2 c/ml (+/- 0,5 log10) Mez stanovitelnosti (limit kvantitativního stanovení) 10 2 kopií/ml s maximální odchylkou měření (mírou nejistoty) 0,5 log Linearita kalibračního vztahu (zkráceně linearita) V rozsahu 10 10 c/ml - 10 3 c/ml je systém měření řádově lineární s maximální chybou 0,25 log

Definice a metodiky v metrologii a jejich pochopení (v jakkoliv velkém rozsahu) zůstává stále hrubě nedostačující znalostí, pokud zároveň nepochopíme Vztahy v metrologické terminologii bez pochopení těchto vztahů nebudeme moci jakékoliv intelektuálně uchopené metody relevantně a na správném místě použít!

Vztahy v Metrologické terminologii Přesnost a správnost Specifita SOUBOR PARAMETRŮ VALIDACE Validace potvrzuje, že měřící postup je schopen plnit požadavky na ně kladené. Jinak řečeno, že úroveň měření je dostatečná, postupy měření korektní a s řádně provedenou kalibrací. Deklaruje schopnost PCR soupravy poskytovat klinicky relevantní (klinikou vyžadovaná) a použitelná data Limit detekce Limit kvantitativního stanovení Lineární rozsah měření SOUBOR PARAMETRŮ VERIFIKACE Verifikací pak rozumíme, že měřící postup je plně funkční v konkrétní laboratoři. Potvrzuje schopnost PCR soupravy dosahovat parametrů uvedených ve validaci

Vztahy v Metrologické terminologii Přesnost a správnost SOUBOR PARAMETRŮ VALIDACE Specifita Validace je prováděna výrobcem diagnostika podle předepsaných, nebo doporučených testů. Výsledkem validace je soubor technických parametrů popisující celý systém měření včetně jeho limitů a omezení. Limit detekce Limit kvantitativního stanovení Lineární rozsah měření SOUBOR PARAMETRŮ VERIFIKACE Verifikace je prováděna koncovým uživatelem diagnostika (diagnostickou laboratoří) podle předepsaných, nebo doporučených testů, které by měly být shodné s testy ve validaci. Výsledkem verifikace je soubor testů potvrzující parametry deklarované výrobcem při validaci.

Při ideálním stavu je tedy výsledek: Verifikace parametrů uživatelem = parametrům uvedeným při Validaci výrobcem Pokud jsou všechny parametry přesně a jasně popsány (experimentálně, statisticky a interpretačně) a provedeny ve validaci a verifikaci stejným způsobem.

Molekulární mikrobiologie Přesnost a správnost Specifita SOUBOR PARAMETRŮ VALIDACE Provedení a způsob interpretace jednotlivých testů je ve velké míře v režii konkrétního výrobce diagnostika. Normy bohužel určují způsob provedení a rozsah testů pouze rámcově = neexistuje jednotný a přesný popis pro validaci qpcr metod. Limit detekce SOUBOR PARAMETRŮ VERIFIKACE Limit kvantitativního stanovení Nelze provést podle jednotných testů, protože v dnešní době v podstatě neexistují. K verifikaci bývá proto velmi často využíváno panelů určených k externímu hodnocení kvality (EHK, EQA). Pomocí těchto panelů jsme schopni posoudit: Lineární rozsah měření 1. Minimální kvalitu diagnostika (a celého laboratorního postupu) při stanovení konkrétního patogena 2. Kvalitu práce laboratoře při stanovení konkrétního patogena ve srovnání s ostatními účastníky EHK

Externí hodnocení kvality Doporučení č. 1 České společnosti klinické biochemie ČLS JEP (dále jen ČSKB) a Referenční laboratoře pro klinickou biochemii MZ ČR (dále jen RL) k systému externího hodnocení kvality (dále jen EHK). Podstata externího hodnocení kvality EHK je součástí procesů zajištění kvality měření. Principem EHK je provádění mezilaboratorních porovnávání zkoušek. Je organizováno a vyhodnocováno organizátory EHK (organizátoři EHK se označují termínem EQA providers). EHK v molekulární mikrobiologii Pro zajištění kvality měření a mezilaboratorní porovnání při použití Real Time PCR metod pro detekci patogenů jsou k dispozici následující panely: 1. INSTAND e.v. (Germany) 2. QCMD (Quality Control for Molecular Diagnostics, GB) 3. EHK SZU (Czech Republic)

Složení QCMD Odběr, transport a uchování vzorků Izolace nukleových kyselin Real Time PCR Hodnocení a interpretace výsledků Panel obsahuje sadu slepých vzorků o různých koncentracích. Tato sada je po doručení zpracována podle standardních postupů používaných laboratoří k detekci uvedeného patogena. Sample CMV08-08 CMV08-01 CMV08-10 CMV08-07 CMV08-04 CMV08-02 CMV08-09 CMV08-05 CMV08-03 CMV08-06 Výhodou panelu je možnost popsat velkou část diagnostického procesu v laboratoři: - Kvalitu použitého izolační postupu - Kvalitu použité qpcr metody - Správnost a přesnost vyhodnocení

Kvalitativní vyhodnocení QCMD Vyhodnocení vzorků podle definovaného klíče: 1. Core samples klinicky důležité s největší váhou při hodnocení 2. Educational samples sledují vývoj kvality a citlivosti v čase. Menší váha při hodnocení

Kvalitativní vyhodnocení QCMD Konečné srovnání ve vztahu k ostatním účastníkům tohoto panelu

Kvantitativní vyhodnocení QCMD Kvantitativní vyhodnocení: 1. Každému vzorku je přiřazena konsensuální hodnota (uvedeno v log10) 2. Kolem každé konsensuální hodnoty je stanovena SD (uvedeno v log10)

Kvantitativní vyhodnocení QCMD Konečné srovnání ve vztahu k ostatním účastníkům tohoto panelu

Část II. Ukázky využití statistických metod v molekulární mikrobiologii

SPECIFITA

Případ I Detekce Chlamydia trachomatis Jako nejvhodnější cíl pro detekci Chlamydia trachomatis byl zvolen úsek kryptického plasmidu (CP) Většina komerčních souprav detekuje CP pomocí stejných párů primerů Citlivost detekce je díky multikopiovému cíli vysoká Specifita je vysoká KVALITNÍ DIAGNOSTICKÝ NÁSTROJ PRO DETEKCI Chlamydia trachomatis

Případ I Švédsko do roku 2005 Diagnostikované a hlášené případy Chlamydia trachomatis ve Švédsku plynule rostou (v letech 1997-2004 o 120%!) V roce 2005 je zaznamenán nárůst pouze o 2% a v roce 2006 dokonce klesá o 2%! Jaký je důvod změny tohoto trendu? REASONS FOR THE SHARP INCREASE OF GENITAL CHLAMYDIA INFECTIONS REPORTED IN THE FIRST MONTHS OF 2007 IN SWEDEN. I Velicko, S Kühlmann-Berenzon, A Blaxhult. Eurosurveillance, Volume 12, Issue 10, 01 October 2007.

Případ I Švédsko - rok 2006 až 2008 V označené části Švédska byla poprvé provedena konfirmace 2 nezávislými testy Každý z testů byl cílen do jiných částí genomu Chlamydia trachomatis Byl zjištěn. Emergence and Spread of Chlamydia trachomatis Variant, Sweden. Björn Herrmann, Anna Törner, Nicola Low, Markus Klint, Anders Nilsson, Inga Velicko, Thomas Söderblom, and Anders Blaxhult. CDC, Volume 14, Number 9 September 2008

Případ I Švédsko - rok 2006 až 2008 CP jako cíl detekce Jiný cíl detekce 10% pokles detekovaných infekcí Ch. trachomatis v případě PCR zacílené do CP 1% nárůst detekovaných infekcí v případě PCR zacílené do jiné části genomu Chlamydia trachomatis. Změna trendu je pravděpodobně způsobena chybnou detekcí nové genetické varianty Chlamydia trachomatis v populaci. Impact of a genetic variant of Chlamydia trachomatis on national detection rates in Sweden. T Söderblom, A Blaxhult, H Fredlund, B Herrmann. Eurosurveillance, Volume 11, Issue 49, 07 December 2006.

Varianta s mutací CP Případ I Švédsko nová genetická varianta Ch. trachomatis Jedná se o deleci 377bp v oblasti CDS1 Tato oblast je nejčastějším cílem pro komerčně dodávané PCR diagnostické sety Co-evolution of genomes and plasmids within Chlamydia trachomatis and the emergence in Sweden of a new variant strain. Seth-Smith HM, Harris SR, Persson K, Marsh P, Barron A, Bignell A, Bjartling C, Clark L, Cutcliffe LT, Lambden PR, Lennard N, Lockey SJ, Quail MA, Salim O, Skilton RJ, Wang Y, Holland MJ, Parkhill J, Thomson NR, Clarke IN. BMC Genomics. 2009 May 21;10:239. doi: 10.1186/1471-2164-10-239.2009 May 21;10:239. doi: 10.1186/1471-2164-10-239.

Švédsko - rok 2007 A thrilling story in Sweden, with global impact (Björn Herrmann) Případ I V roce 2006 byla objevena ve Švédsku nová varianta Chlamydia trachomatis Tato nová varianta uniká detekci pomocí PCR souprav Abbott m2000 (Abbott Diagnostics, Chicago, IL, USA), nebo Cobas Amplicor/TaqMan48 (Roche Diagnostics, Basel, Switzerland) se zacílením do části CP Odhaduje se, že do roku 2007 uniklo detekci zhruba 8000 případů infekce Chlamydia trachomatis A new genetic variant of Chlamydia trachomatis. Björn Herrmann. Sex Transm Infect. 2007 July; 83(4): 253 254.

Případ I Švédsko - rok 2008 V roce 2007 je zaznamenán opět výrazný nárůst diagnostikovaných a hlášených případů Chlamydia trachomatis Tento výrazný nárůst je způsoben změnou diagnostických setů a jejich zacílení Použita jiná část CP plasmidu jako cíl Použita duplexní detekce dvou nezávislých genů Emergence and Spread of Chlamydia trachomatis Variant, Sweden. Björn Herrmann, Anna Törner, Nicola Low, Markus Klint, Anders Nilsson, Inga Velicko, Thomas Söderblom, and Anders Blaxhult. CDC, Volume 14, Number 9 September 2008

Co se vlastně stalo? Případ I

Patogen Otevřený, dynamický a živý systém vystavený selekčnímu tlaku vnějšího prostředí

Nová diagnostická souprava Patogen Uzavřený a vůči patogenu statický systém in vitro Otevřený, dynamický a živý systém vystavený selekčnímu tlaku vnějšího prostředí

PPV Boj začíná Diagnostická souprava Patogen 95,00% 90,00% 85,00% 80,00% 75,00% 70,00% 65,00% 60,00% 55,00% 50,00% Čas Vysoká specifita Vysoká sensitivita

PPV Variabilita genomu Boj začíná Diagnostická souprava Patogen 95,00% 6,00% 90,00% 85,00% 5,00% 80,00% 4,00% 75,00% 70,00% 3,00% 65,00% 2,00% 60,00% 55,00% 1,00% 50,00% Čas 0,00% Čas Vysoká specifita Vysoká sensitivita Variabilita genomu je relativně nízká, ale v důsledku úspěšné diagnostiky a nasazení účinné terapie

Variabilita genetické informace Po nějakém čase 14,00% Nová genetická varianta patogenu Diagnostická souprava 12,00% 10,00% 8,00% 6,00% 4,00% 2,00% 0,00% Čas dochází v čase k nárůstu změn v genetické informaci a jejich fixaci v důsledku selekčního tlaku vnějšího prostředí.

Variabilita genetické informace Po nějakém čase 14,00% Nová genetická varianta patogenu Diagnostická souprava 12,00% 10,00% 8,00% 6,00% 4,00% 2,00% 0,00% Čas dochází v čase k nárůstu změn v genetické informaci a jejich fixaci v důsledku selekčního tlaku vnějšího prostředí. Změny v genetické informaci zasáhnou místo zacílení dg. soupravy

Variabilita genetické informace SPECIFITA Po nějakém čase 14,00% 12,00% 10,00% Nová genetická varianta patogenu Diagnostická souprava 95,00% 90,00% 85,00% 80,00% 8,00% 75,00% 6,00% 4,00% 2,00% 70,00% 65,00% 60,00% 55,00% 0,00% Čas 50,00% Čas dochází v čase k nárůstu změn v genetické informaci a jejich fixaci v důsledku selekčního tlaku vnějšího prostředí. Dochází k poklesu specifity Sensitivita se často nemění

Výsledek Nová genetická varianta patogenu Diagnostická souprava

Výsledek Nová genetická varianta patogenu Diagnostická souprava Falešně negativní výsledek

LIMIT DETEKCE LoD Využití Probit analýz pro stanovení bezpečného postupu citlivé detekce při směšování vzorků

Směšování vzorků Pool Příprava poolu pro kontrolu krevních produktů a derivátů pomocí PCR je standardní postup CONTROL AUTHORITY BATCH RELEASE OF BLOOD PRODUCTS Validation Of Nucleic Acid Amplification Technology (NAT) For The Detection Of Hepatitis C Virus (HCV) RNA In Plasma Pools

Směšování vzorků Pool Příprava poolu pro kontrolu krevních produktů a derivátů pomocí PCR je standardní postup CONTROL AUTHORITY BATCH RELEASE OF BLOOD PRODUCTS Validation Of Nucleic Acid Amplification Technology (NAT) For The Detection Of Hepatitis C Virus (HCV) RNA In Plasma Pools Příprava poolu z důvodu naředění hraničně pozitivních vzorků přináší větší riziko selhání vyšetření

Stanovení citlivosti PCR metody Analytická citlivost pro testy NAT musí být vyjádřena s 95% hraniční pozitivní hodnotou cut-off a výpočtem pomocí vhodné statistické analýzy. Požadavky komise 2009/108/ES pro společné technické specifikace pro diagnostické zdravotnické prostředky in vitro

Stanovení citlivosti HCV Stanovení meze detekce s pravděpodobností 95% %P Koncentrace Chyba Dolní mez Horní mez 1 0,0120933 0,0125487 0,0007265 0,0596387 2 0,0339341 0,0302989 0,0030285 0,134209 3 0,0622485 0,0503064 0,0070056 0,216407 4 0,0959533 0,0717721 0,0127349 0,304428 5 0,134462 0,0942943 0,0202871 0,397392 6 0,177408 0,117629 0,0297302 0,494786 7 0,224541 0,141614 0,0411318 0,596282 8 0,275687 0,166130 0,0545596 0,701660 9 0,330720 0,191091 0,0700820 0,810770 10 0,389551 0,216428 0,0877688 0,923510 20 1,18077 0,482317 0,400302 2,24567 30 2,36136 0,760236 1,02229 3,95590 40 4,01501 1,05065 2,07077 6,17831 50 6,30324 1,37531 3,71251 9,16933 60 9,52086 1,80083 6,18900 13,4590 70 14,2531 2,50572 9,87465 20,2454 80 21,8872 3,97602 15,5233 32,6619 90 37,1567 7,96160 25,6596 62,2999 91 39,6964 8,72658 27,2351 67,7503 92 42,5990 9,62966 29,0061 74,1394 93 45,9687 10,7138 31,0263 81,7611 94 49,9603 12,0437 33,3744 91,0602 95 54,8180 13,7231 36,1734 102,751 96 60,9579 15,9327 39,6305 118,083 97 69,1778 19,0260 44,1368 139,514 98 81,3185 23,8410 50,5786 172,908 99 103,485 33,2617 61,8200 238,672 Percent 100 95% Stanovená mez detekce HCV je 80 60 40 20 54,8180 IU/ml s rozptylem 36,1734 IU/ml až 102,751 IU/ml s 95% hraniční hodnoty cut-off Cumulative Plot for HCV PCR Kit Weibull - 95% CI Probit Data - ML Estimates Table of Statistics Shape 0,676714 Scale 10,8338 Mean 14,1798 StDev 21,5645 Median 6,30324 IQ R 15,8365 0 54,8180 0 20 40 60 koncentrace 80 100

Stanovení citlivosti HCV %P Koncentrace Chyba Dolní mez Horní mez 1 0,0120933 0,0125487 0,0007265 0,0596387 2 0,0339341 0,0302989 0,0030285 0,134209 3 0,0622485 0,0503064 0,0070056 0,216407 4 0,0959533 0,0717721 0,0127349 0,304428 5 0,134462 0,0942943 0,0202871 0,397392 6 0,177408 0,117629 0,0297302 0,494786 7 0,224541 0,141614 0,0411318 0,596282 8 0,275687 0,166130 0,0545596 0,701660 9 0,330720 0,191091 0,0700820 0,810770 10 0,389551 0,216428 0,0877688 0,923510 20 1,18077 0,482317 0,400302 2,24567 30 2,36136 0,760236 1,02229 3,95590 40 4,01501 1,05065 2,07077 6,17831 50 6,30324 1,37531 3,71251 9,16933 60 9,52086 1,80083 6,18900 13,4590 70 14,2531 2,50572 9,87465 20,2454 80 21,8872 3,97602 15,5233 32,6619 Při vyšetření 100 vzorků o průměrné koncentraci 90 37,1567 7,96160 25,6596 62,2999 91 39,6964 8,72658 27,2351 67,7503 92 42,5990 9,62966 29,0061 74,1394 93 45,9687 10,7138 31,0263 81,7611 94 49,9603 12,0437 33,3744 91,0602 95 54,8180 13,7231 36,1734 102,751 96 60,9579 15,9327 39,6305 118,083 97 69,1778 19,0260 44,1368 139,514 98 81,3185 23,8410 50,5786 172,908 99 103,485 33,2617 61,8200 238,672 54,8180 IU/ml bude 95 vzorků pozitivních (Pravděpodobnost selhání je 5%)

1 ml 1 ml 1 ml 1 ml 1 ml 1 ml Směšování vzorků HCV Pool Teoretický model Vzorky plasmy 54,8 IU HCV 0 IU HCV 0 IU HCV 0 IU HCV 0 IU HCV 0 IU HCV Stanovená citlivost PCR metody je 54,8 IU/ml při vyšetření každého vzorku samostatně

6 ml Směsný vzorek 1:6 Směšování vzorků HCV Pool Teoretický model Otázka I 9,13 IU/ml HCV Jak bude vypadat citlivost metody v takto připraveném poolu vzorků?

Odpověď %P Koncentrace Chyba Dolní mez Horní mez 1 0,0120933 0,0125487 0,0007265 0,0596387 2 0,0339341 0,0302989 0,0030285 0,134209 3 0,0622485 0,0503064 0,0070056 0,216407 4 0,0959533 0,0717721 0,0127349 0,304428 5 0,134462 0,0942943 0,0202871 0,397392 6 0,177408 0,117629 0,0297302 0,494786 7 0,224541 0,141614 0,0411318 0,596282 8 0,275687 0,166130 0,0545596 0,701660 9 0,330720 0,191091 0,0700820 0,810770 10 0,389551 0,216428 0,0877688 0,923510 20 1,18077 0,482317 0,400302 2,24567 30 2,36136 0,760236 1,02229 3,95590 40 4,01501 1,05065 2,07077 6,17831 50 6,30324 1,37531 3,71251 9,16933 60 9,52086 1,80083 6,1890 13,459 70 14,2531 2,50572 9,87465 20,2454 80 21,8872 3,97602 15,5233 32,6619 90 37,1567 7,96160 25,6596 62,2999 91 39,6964 8,72658 27,2351 67,7503 92 42,5990 9,62966 29,0061 74,1394 93 45,9687 10,7138 31,0263 81,7611 94 49,9603 12,0437 33,3744 91,0602 95 54,8180 13,7231 36,1734 102,751 96 60,9579 15,9327 39,6305 118,083 97 69,1778 19,0260 44,1368 139,514 98 81,3185 23,8410 50,5786 172,908 99 103,485 33,2617 61,8200 238,672 Stanovení citlivosti HCV Teoretický model Teoreticky dojde k výraznému nárůstu pravděpodobnosti selhání vyšetření (z 5 % zhruba na 40 %)

6 ml Směsný vzorek 1:6 Směšování vzorků HCV Pool Teoretický model Otázka II 9,13 IU/ml HCV Lze zachovat ekonomický přínos poolování vzorků při současném zachování deklarované citlivosti vyšetření?

Směšování vzorků HCV Pool Teoretický model Odpověď Ano, teoreticky toho lze dosáhnout pomocí opakování vyšetření poolu vzorků Izolace I Izolace II 3 vyšetření - alespoň 1 pozitivní - Citlivost 10,8 ø v IU/ml Izolace III PCR I PCR II PCR III Opakováním vyšetření se dramaticky zvyšuje citlivost metody Počet opakování Koncentrace ø v IU/ml 1 54,8180 2 19,6826 3 10,8110 4 7,0671 5 5,0820 6 3,8817 7 3,0910 8 2,5375 9 2,1321 10 1,8247

6 ml Směsný vzorek 1:6 Směšování vzorků HCV Pool Teoretický model Shrnutí: Ekonomického přínosu poolování při zachování deklarované citlivosti lze teoreticky dosáhnout: 9,13 IU/ml HCV 1. Nastavením správného počtu opakování vyšetření 2. Nastavením správného počtu vzorků v poolu

6 ml 6 ml 6 ml 6 ml Směšování vzorků HCV Pool Nastavení počtu opakování vyšetření 4 sady 20 nezávisle připravených poolů 1 vzorek 54,8 IU/ml + 5 vzorků negativních Směsné vzorky Směsné vzorky Směsné vzorky Směsné vzorky 1:6 1:6 1:6 1:6 9,13 IU/ml HCV 9,13 IU/ml HCV 9,13 IU/ml HCV 9,13 IU/ml HCV 1 opakování vyšetření 2 opakování vyšetření 3 opakování vyšetření 4 opakování vyšetření

6 ml 6 ml 6 ml 6 ml Směšování vzorků HCV Pool Nastavení počtu opakování vyšetření Pool 1:6 1 opakování 2 opakování 3 opakování 4 opakování Pozitivních 9 16 19 20 Negativních 11 4 1 0 P selhání 45% 20% 5% < 5% 9,13 IU/ml HCV 9,13 IU/ml HCV 9,13 IU/ml HCV 9,13 IU/ml HCV

6 ml 2 ml Směšování vzorků HCV Pool Nastavení počtu vzorků v poolu Pool 1:6 Pool 1:2? 3 opakování vyšetření 1 opakování vyšetření

Směšování vzorků HCV Pool Nastavení počtu vzorků v poolu Pool 1:6 Pool 1:2 Pozitivních 19 16 Negativních 1 4 P selhání 5% 20% 3 opakování vyšetření 1 opakování vyšetření

Směšování vzorků HCV Pool Závěry Opakování vyšetření dramaticky zvyšuje sensitivitu Počet opakování vyšetření Koncentrace ø v IU/ml 1 54,8180 2 19,6826 3 10,8110 4 7,0671 5 5,0820 6 3,8817 7 3,0910 8 2,5375 9 2,1321 10 1,8247

Směšování vzorků HCV Pool Závěry Pool 1:2 Pool 1:6 1 opakování detekce 3 opakování detekce P selhání 20% 5% Menší pool méně opakování vyšetření < Při stejné citlivosti Větší pool více opakování vyšetření

Směšování vzorků HCV Pool Závěry Správnou kombinací počtu vzorků v poolu a počtu opakování vyšetření je možno zachovat deklarovanou citlivost vyšetření Počet vzorků v poolu 1 6 12 25 50 Počet opakování 1 3 ~ 5 ~ 9 ~ 10 P selhání 5% 5% 5% 5% 5%

Směšování vzorků HCV Pool Závěry Správnou kombinací počtu vzorků v poolu a počtu opakování vyšetření je možno zachovat deklarovanou citlivost vyšetření Počet vzorků v poolu 1 6 12 25 50 Počet opakování 1 3 ~ 5 ~ 9 ~ 10 P selhání 5% 5% 5% 5% 5% Úspora 0% 50% ~ 58% ~ 64% ~ 80% Čím větší počet vzorků v poolu je použit, tím je ekonomický efekt vyšší při zachování stejné citlivosti vyšetření

Směšování vzorků HCV Pool Závěry Systém směšování vzorků je ekonomický pouze při malé míře pozitivit v celém souboru vyšetření Pokud smícháme n vzorků, kde pravděpodobnost výskytu HCV je p, pak ve směsi může být 0 až n pozitivních vzorků, kde počet pozitivních vzorků se řídí binomickým rozdělením. Binomické rozdělení (popis tzv. náhodného výběru s vracením) Bi(n, p), kde n je přirozené číslo, p je reálné číslo, 0 p 1: n x p( x) p 1 p x n x Pro vytváření poolu 1:6 pro detekci HCV s citlivostí 54,8 IU/ml je tento proces výhodný do 10 % pozitivních vzorků

Využití parametrů kvantitativního stanovení pro určení odezvy na léčbu Jak přesná je přesná kvantifikace? Jak interpretovat kvantitativní výsledky?

RaR studie Stanovení přesnosti a rozlišitelnosti měření testovaných koncentrací v rozsahu kalibrační přímky

Vložená koncentrace kopií/µl Rozptyl měření kopií/µl 10 3-34 100 66-151 1000 660-1513 10 000 5623-17782 PCR reakce je schopna bezpečně odlišit změny koncentrací v rozsahu kalibrační přímky s definovanou variabilitou

Jak interpretovat na základě předchozí charakteristiky měřená data? Hustota pravděpodobnosti Koncentrace (kopie/ul) 5095 1962 483 206 34 3 2182 216 22 21 4 0,86 0,96 0,23 Naměřené hodnoty (kopie/ul) 2 182 216 22 21 4 0,96 0,86 0,23 - -

Případ: - Pacient po transplantaci ledviny - Podezření na CMV infekci - Nasazena terapie Vyšetření Výsledek kopií/ml 1. den 100 000 2. den 70 000 3. den 20 000 Kdy došlo k prokazatelnému poklesu virové nálože ve vzorku a reakci na léčbu?

Hustota pravděpodobnosti 10e5 10e4 Koncentrace (kopie/ml) 151 000 66 000 100 000 70 000 34 000 20 000 3000 Vyšetření Výsledek kopií/ml 1. den 100 000 2. den 70 000 3. den 20 000 K prokazatelnému poklesu virové nálože ve vzorku došlo až při 3. vyšetření (oproti 1. a 2. vyšetření)

Při stanovování klinicky významné hladiny je třeba počítat s variabilitou měření dané laboratoře a daného postupu Vložená koncentrace kopií/µl Rozptyl měření kopií/µl 10 3-34 100 66-151 Klinicky významná hladina 1000 660-1513 10 000 5623-17782

Využití Probit analýzy při volbě diagnostika Reálný příklad problému srovnání dvou PCR diagnostik podle parametrů validace uvedených výrobcem

Validace LoD Chlamydia trachomatis Souprava A Souprava B Mez detekce (Limit of Detection) V případě obou výrobců stanoven pomocí Probit analýzy (standardní postup pro tento účel)

Validace LoD Chlamydia trachomatis Souprava A Souprava B 0,3 kopie/µl 1,5 kopie/µl Cumulative Plot for CHT PLUS SYSTEM Weibull - 95% CI Probit Data - ML Estimates Percent 100 80 60 40 Table of Statistics Shape 0,791343 Scale 0,394048 Mean 0,449991 StDev 0,573943 Median 0,247973 IQ R 0,513781 20 0 0,0 0,5 1,0 1,5 2,0 Concentration/µl 2,5 3,0

Validace LoD Chlamydia trachomatis Souprava A Souprava B Souprava A LoD výrazně nižší oproti soupravě B. 0,3 kopie/µl 1,5 kopie/µl Cumulative Plot for CHT PLUS SYSTEM Weibull - 95% CI Probit Data - ML Estimates Percent 100 80 60 40 Table of Statistics Shape 0,791343 Scale 0,394048 Mean 0,449991 StDev 0,573943 Median 0,247973 IQ R 0,513781 20 0 0,0 0,5 1,0 1,5 2,0 Concentration/µl 2,5 3,0

Reálný limit detekce? Chlamydia trachomatis Souprava A Souprava B 0,3 kopie/µl 1,5 kopie/µl Připraven verifikační test Hypotéza: LoD souprava A < LoD souprava B

1 ml Souprava A Verifikace LoD Chlamydia trachomatis Vzorek moči Souprava B Chlamydia trachomatis +++ Označení vzorku 0 31 32 33 34 35 36 37 38 39 40 Ředění 0 1:1 1:1 1:1 1:1 1:1 1:1 1:1 1:1 1:1 1:1 Počet izolací 6 6 6 6 6 6 6 6 6 6 6 Opakování PCR 6 6 6 6 6 6 6 6 6 6 6

Verifikace LoD Chlamydia trachomatis Souprava A Souprava B Očekávaný výsledek: LoD souprava A < LoD souprava B Označení vzorku 0 31 32 33 34 35 36 37 38 39 40 SOUPRAVA A 6 6 6 6 6 6 6 3 1 0 0 SOUPRAVA B 6 6 6 6 4 2 1 0 0 0 0 Opakování PCR 6 6 6 6 6 6 6 6 6 6 6

Verifikace LoD Chlamydia trachomatis Souprava A Souprava B Dosažený výsledek LoD souprava A -? - LoD souprava B Označení vzorku 0 31 32 33 34 35 36 37 38 39 40 SOUPRAVA A 6 6 6 6 6 6 6 3 1 0 0 SOUPRAVA B 6 6 6 6 6 6 5 4 2 0 0 Opakování PCR 6 6 6 6 6 6 6 6 6 6 6

Verifikace LoD Chlamydia trachomatis Souprava A Souprava B Cumulative Plot for events Normal - 95% CI Probit Data - ML Estimates Percent 100 80 60 40 Gage GeneProof QIAGENE Table of Statistics Mean StDev -0,339829 0,597241-0,476248 0,597241 20 0-2,0-1,5-1,0-0,5 0,0 LOGTEN(conc) 0,5 1,0 Statisticky bylo prokázáno, že soupravy mají s pravděpodobností 95% stejný LoD.

LoD Chlamydia trachomatis Souprava A Souprava B Kde leží příčina tak rozdílných výsledků validace parametru LoD výrobci?

Analýza parametrů VALIDACE Souprava A Souprava B POUŽITELNÝ VÝSLEDEK Vstupní kontrola v testu Provedení testu Statistické vyhodnocení Interpretace výsledku

Analýza parametrů VALIDACE Souprava A Souprava B LÍBIVÉ VÝSTUPY STATISTICKY KOREKTNÍ VÝSTUPY Vstupní kontrola v testu Provedení testu Statistické vyhodnocení Interpretace výsledku Vstupní kontrola v testu Provedení testu Statistické vyhodnocení Interpretace výsledku

Analýza parametrů VALIDACE Souprava A Souprava B LÍBIVÉ VÝSTUPY STATISTICKY KOREKTNÍ VÝSTUPY

Souprava A Souprava B Na základě parametru uvedeného ve VALIDACI nelze porovnat LoD soupravy A versus B

věřím, že příčinou naší nepřipravenosti na nestandardní události je především setrvačnost našeho myšlení v podobě přílišné důvěry ve statistiky.. Raději budu mít vždy alespoň přibližně pravdu, než abych se, byť jedinkrát, přesně mýlil Nassim Nicholas Taleb Černá labuť

Děkuji za pozornost