Validace a verifikace molekulárně biologických metod v analýze humánního a extrahumánního genomu - hledání racionálního konsensu místo hry s čísly - P. Hložek 1, M. Sittová 1, M. Dendis 1, J. Mrázek 2 GeneProof a.s. 1 ZDRAVOTNÍ ÚSTAV se sídlem v Ostravě 2
Jaké vztahy je možno definovat mezi validací a verifikací?
Validace výrobcem Deklaruje schopnost PCR soupravy poskytovat klinicky relevantní (klinikou vyžadovaná) a použitelná data Verifikace uživatelem Potvrzuje schopnost PCR soupravy dosahovat parametrů uvedených ve validaci
Při ideálním stavu je tedy výsledek: Verifikace parametrů uživatelem = parametrům uvedeným při Validaci výrobcem
Jaká je realita tohoto tvrzení v případě komerčně dostupných PCR diagnostik?
Vztahy validace a verifikace POPIS PARAMETRŮ PCR SOUPRAVY
Vztahy validace a verifikace LÍBIVÉ VÝSTUPY POUŽITELNÝ VÝSLEDEK STATISTICKY KOREKTNÍ VÝSTUPY
Vztahy validace a verifikace?? LÍBIVÉ VÝSTUPY POUŽITELNÝ VÝSLEDEK STATISTICKY KOREKTNÍ VÝSTUPY
Vztahy validace a verifikace Dosažení vysoké citlivosti PCR testu za nesmyslných podmínek (izolace z 10 ml klinického materiálu ) LÍBIVÉ VÝSTUPY POUŽITELNÝ VÝSLEDEK STATISTICKY KOREKTNÍ VÝSTUPY? PRAKTICKÁ POUŽITELNOST?
Vztahy validace a verifikace Dosažení vysoké přesnosti měření kalibrací v triplikátech LÍBIVÉ VÝSTUPY POUŽITELNÝ PRAVDIVÝ VÝSLEDEK STATISTICKY KOREKTNÍ VÝSTUPY? PRAKTICKÁ POUŽITELNOST?
Vztahy validace a verifikace LÍBIVÉ VÝSTUPY POUŽITELNÝ VÝSLEDEK STATISTICKY KOREKTNÍ VÝSTUPY Verifikace v koncové laboratoři uživatele
Vztahy validace a verifikace LÍBIVÉ VÝSTUPY POUŽITELNÝ PRAVDIVÝ VÝSLEDEK STATISTICKY KOREKTNÍ VÝSTUPY Validace parametrů výrobcem
Kde vzniká prostor k pokřivení parametrů validací uváděných výrobci?
Vstupní parametry Provedení testů Statistické vyhodnocení Interpretace výsledků Volba: Volba: Volba: libovolného izolačního postupu pro test libovolného typu analytu pro test počtu opakování detekce vlastního provedení experimentu typu statistického hodnocení vlastní interpretace výsledku
VALIDACE PARAMETRŮ VÝROBCEM: Nemají jednotný rámec a předpisy pro testování a proto pak
VALIDACE PARAMETRŮ VÝROBCEM: -mohou podléhat tlakům trhu na parametry citlivosti a přesnosti měření -mohou podléhat marketingu v politice tendrů
PODLE VALIDACE PARAMETRŮ VÝROBCEM: -mohou podléhat tlakům trhu na parametry citlivosti a přesnosti měření -mohou podléhat marketingu v politice tendrů
VALIDACE PARAMETRŮ VÝROBCEM: BOHUŽEL ČASTO NEPOSLOUŽÍ JAKO RELEVANTNÍ NÁSTROJ PRO ORIENTACI V KVALITĚ PCR DIAGNOSTIK
Podle jakých parametrů je tedy nejlepší postupovat při srovnání PCR diagnostik?
Použitelnost validace a verifikace Souprava A Souprava B CE IVD CE IVD
Použitelnost validace a verifikace Souprava A Souprava B Verifikace pomocí EHK (EQA) Verifikace pomocí EHK (EQA) Plnohodnotný a nezávislý způsob srovnání dvou výrobců PCR souprav v provozu konkrétní laboratoře
Použitelnost validace a verifikace Souprava A Souprava B Verifikace parametrů v laboratoři uživatele Existence harmonizujících doporučení * Verifikace parametrů v laboratoři uživatele Plnohodnotný způsob srovnání dvou PCR souprav v konkrétní laboratoři * Doporučení Validace a verifikace analytických metod v klinických laboratořích. Datum vydání: 16.11.2004, Status doporučení: aktuální, Autoři: Bedřich Friedecký, Luděk Šprongl, Josef Kratochvíla
Použitelnost validace a verifikace Souprava A Souprava B Validace parametrů výrobcem?? Validace parametrů výrobcem Porovnání souprav podle parametrů uvedených výrobcem je často problematické z důvodů: 1. Nejednotných vstupů pro testy 2. Nejednotného statistického zpracování 3. Nejednotné interpretace výsledku
Při porovnávání dvou PCR diagnostik se nelze spolehnout pouze na parametry uvedené výrobcem a je nutno provést verifikaci deklarovaných parametrů ve vlastní laboratoři.
Reálný příklad problému srovnání dvou PCR diagnostik podle parametrů validace uvedených výrobcem
Validace LoD Chlamydia trachomatis Souprava A Souprava B Mez detekce (Limit of Detection) V případě obou výrobců stanoven pomocí Probit analýzy (standardní postup pro tento účel)
Validace LoD Chlamydia trachomatis Souprava A Souprava B 0,3 kopie/µl 1,5 kopie/µl Cumulative Plot for CHT PLUS SYSTEM Weibull - 95% CI Probit Data - ML Estimates Percent 100 80 60 40 Table of Statistics Shape 0,791343 Scale 0,394048 Mean 0,449991 StDev 0,573943 Median 0,247973 IQ R 0,513781 20 0 0,0 0,5 1,0 1,5 2,0 Concentration/µl 2,5 3,0
Validace LoD Chlamydia trachomatis Souprava A Souprava B Souprava A LoD výrazně nižší oproti soupravě B. 0,3 kopie/µl 1,5 kopie/µl Cumulative Plot for CHT PLUS SYSTEM Weibull - 95% CI Probit Data - ML Estimates Percent 100 80 60 40 Table of Statistics Shape 0,791343 Scale 0,394048 Mean 0,449991 StDev 0,573943 Median 0,247973 IQ R 0,513781 20 0 0,0 0,5 1,0 1,5 2,0 Concentration/µl 2,5 3,0
Reálný limit detekce? Chlamydia trachomatis Souprava A Souprava B 0,3 kopie/µl 1,5 kopie/µl Připraven verifikační test Hypotéza: LoD souprava A < LoD souprava B
1 ml Souprava A Verifikace LoD Chlamydia trachomatis Vzorek moči Souprava B Chlamydia trachomatis +++ Označení vzorku 0 31 32 33 34 35 36 37 38 39 40 Ředění 0 1:1 1:1 1:1 1:1 1:1 1:1 1:1 1:1 1:1 1:1 Počet izolací 6 6 6 6 6 6 6 6 6 6 6 Opakování PCR 6 6 6 6 6 6 6 6 6 6 6
Verifikace LoD Chlamydia trachomatis Souprava A Souprava B Očekávaný výsledek: LoD souprava A < LoD souprava B Označení vzorku 0 31 32 33 34 35 36 37 38 39 40 SOUPRAVA A 6 6 6 6 6 6 6 3 1 0 0 SOUPRAVA B 6 6 6 6 4 2 1 0 0 0 0 Opakování PCR 6 6 6 6 6 6 6 6 6 6 6
Verifikace LoD Chlamydia trachomatis Souprava A Souprava B Dosažený výsledek LoD souprava A -? - LoD souprava B Označení vzorku 0 31 32 33 34 35 36 37 38 39 40 SOUPRAVA A 6 6 6 6 6 6 6 3 1 0 0 SOUPRAVA B 6 6 6 6 6 6 5 4 2 0 0 Opakování PCR 6 6 6 6 6 6 6 6 6 6 6
Verifikace LoD Chlamydia trachomatis Souprava A Souprava B Cumulative Plot for events Normal - 95% CI Probit Data - ML Estimates Percent 100 80 60 40 Gage GeneProof QIAGENE Table of Statistics Mean StDev -0,339829 0,597241-0,476248 0,597241 20 0-2,0-1,5-1,0-0,5 0,0 LOGTEN(conc) 0,5 1,0 Statisticky bylo prokázáno, že soupravy mají s pravděpodobností 95% stejný LoD.
LoD Chlamydia trachomatis Souprava A Souprava B Kde leží příčina tak rozdílných výsledků validace parametru LoD výrobci?
Analýza parametrů VALIDACE Souprava A Souprava B POUŽITELNÝ VÝSLEDEK Vstupní kontrola v testu Provedení testu Statistické vyhodnocení Interpretace výsledku
Analýza parametrů VALIDACE Souprava A Souprava B LÍBIVÉ VÝSTUPY STATISTICKY KOREKTNÍ VÝSTUPY Vstupní kontrola v testu Provedení testu Statistické vyhodnocení Interpretace výsledku Vstupní kontrola v testu Provedení testu Statistické vyhodnocení Interpretace výsledku
Analýza parametrů VALIDACE Souprava A Souprava B LÍBIVÉ VÝSTUPY STATISTICKY KOREKTNÍ VÝSTUPY
Souprava A Souprava B Na základě parametru uvedeného ve VALIDACI nelze porovnat LoD soupravy A versus B
VALIDACE PARAMETRŮ VÝROBCEM: BOHUŽEL ČASTO NEPOSLOUŽÍ JAKO RELEVANTNÍ NÁSTROJ PRO ORIENTACI V KVALITĚ PCR DIAGNOSTIK
Je možné vytvořit systém validace parametrů výrobcem tak, abychom dostali do rukou použitelný obraz o fungování PCR diagnostika a nikoliv jen účelová data?
Experimentální model validace CMV PCR popisuje přesnost měření PCR kitu bez vlivu izolace* popisuje odchylky měření v rozsahu 10 10 LoD (c/ml) * Model počítá přesnost měření PCR Kitu za předpokladu účinnosti izolace 100%
Odchylka měřené hodnoty - c/ml - log10 1,50 1,25 Validace měření CMV - c/ml 1,00 0,75 0,50 0,25 0,00-0,25-0,50-0,75-1,00-1,25 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Nominální hodnota - c/ml-log10
Odchylka měřené hodnoty - c/ml - log10 1,50 1,25 1,00 Validace měření CMV - c/ml PŘESNOST MĚŘENÍ +/- 0,25 log10 0,75 0,50 0,25 0,00-0,25-0,50-0,75-1,00-1,25 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Nominální hodnota - c/ml-log10
Odchylka měřené hodnoty - c/ml - log10 1,50 1,25 1,00 Validace měření CMV - c/ml PŘESNOST MĚŘENÍ +/- 0,5 log10 0,75 0,50 0,25 0,00-0,25-0,50-0,75-1,00-1,25 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Nominální hodnota - c/ml-log10
Odchylka měřené hodnoty - c/ml - log10 1,50 1,25 1,00 Validace měření CMV - c/ml Pravděpodobný LoD 0,75 0,50 0,25 0,00-0,25-0,50-0,75-1,00-1,25 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Nominální hodnota - c/ml-log10
Odchylka měřené hodnoty - c/ml - log10 1,50 1,25 1,00 VALIDACE CMV PCR 10 10 c/ml - 10 3 c/ml (+/- 0,25 log10) 10 3 c/ml - 10 2 c/ml (+/- 0,5 log10) 0,75 LoD JE ZHRUBA 10 2 c/ml = LIMIT KVANTIFIKACE (+/- 0,5 log10) 0,50 0,25 0,00-0,25-0,50-0,75-1,00-1,25 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Nominální hodnota - c/ml-log10
Testování hypotézy Verifikace parametrů uživatelem = parametrům uvedeným při Validaci výrobcem
Verifikace CMV PCR Pomocí panelu EQA: QCMD Cytomegalovirus 09 AUG 2013 Izolace z 200 µl s elucí do 50 µl* * GeneProof PathogenFree DNA Isolation Kit
Sample Matrix Sample content QCMD 10,00 Plasma CMV(RS80)-clinical 3,19 2,00 Plasma CMV (AD169) 3,92 8,00 Plasma CMV(RS75)-clinical 2,58 9,00 Plasma CMV(RS80)-clinical 2,31 7,00 Plasma CMV (AD169) 2,91 1,00 Plasma CMV (AD169) 2,93 3,00 Plasma CMV (AD169) 2,64 6,00 Plasma CMV (AD169) 2,16 4,00 Plasma CMV (AD169) 1,90 Jakou přesnost měření můžeme očekávat u těchto vzorků na základě parametrů uvedených ve validaci?
Odchylka měřené hodnoty - c/ml - log10 1,50 1,25 1,00 0,75 Sample Matrix Sample content QCMD GeneProof CMV Diff QCMD/GP 10,00 Plasma CMV(RS80)-clinical 3,19 2,40 0,18 2,00 Plasma CMV (AD169) 3,92 3,32-0,12 8,00 Plasma CMV(RS75)-clinical 2,58 2,59-0,28 9,00 Plasma CMV(RS80)-clinical 2,31 3,88 0,05 7,00 Plasma CMV (AD169) 2,91 2,94-0,03 1,00 Plasma CMV (AD169) 2,93 3,01-0,08 3,00 Plasma CMV (AD169) 2,64 2,71-0,07 6,00 Plasma CMV (AD169) 2,16 2,09 0,08 4,00 Plasma CMV (AD169) 1,90 1,90-0,01 Validace 0,50 0,25 0,00-0,25-0,50-0,75-1,00-1,25 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Nominální hodnota - c/ml-log10
Odchylka měřené hodnoty - c/ml - log10 1,50 1,25 1,00 0,75 Sample Matrix Sample content QCMD GeneProof CMV Diff QCMD/GP 10,00 Plasma CMV(RS80)-clinical 3,19 2,40 0,18 2,00 Plasma CMV (AD169) 3,92 3,32-0,12 8,00 Plasma CMV(RS75)-clinical 2,58 2,59-0,28 9,00 Plasma CMV(RS80)-clinical 2,31 3,88 0,05 7,00 Plasma CMV (AD169) 2,91 2,94-0,03 1,00 Plasma CMV (AD169) 2,93 3,01-0,08 3,00 Plasma CMV (AD169) 2,64 2,71-0,07 6,00 Plasma CMV (AD169) 2,16 2,09 0,08 4,00 Plasma CMV (AD169) 1,90 1,90-0,01 Validace 0,50 0,25 0,00-0,25-0,50-0,75-1,00-1,25 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Nominální hodnota - c/ml-log10
Odchylka měření - c/ml - log10 0,75 Sample Matrix Sample content QCMD GeneProof CMV Diff QCMD/GP 10,00 Plasma CMV(RS80)-clinical 3,19 3,32 0,18 2,00 Plasma CMV (AD169) 3,92 3,88-0,12 8,00 Plasma CMV(RS75)-clinical 2,58 2,59-0,28 9,00 Plasma CMV(RS80)-clinical 2,31 2,48 0,05 7,00 Plasma CMV (AD169) 2,91 2,94-0,03 1,00 Plasma CMV (AD169) 2,93 3,01-0,08 3,00 Plasma CMV (AD169) 2,64 2,71-0,07 6,00 Plasma CMV (AD169) 2,16 2,09 0,08 4,00 Plasma CMV (AD169) 1,90 1,90-0,01 Verifikace 0,5 0,25 0-0,25-0,5 3,19 3,92 2,58 2,31 2,91 2,93 2,64 2,16 1,89-0,75 Nominální hodnota - c/ml-log10
Odchylka měření - c/ml - log10 0,75 Sample Matrix Sample content QCMD GeneProof CMV Diff QCMD/GP 10,00 Plasma CMV(RS80)-clinical 3,19 3,32 0,18 2,00 Plasma CMV (AD169) 3,92 3,88-0,12 8,00 Plasma CMV(RS75)-clinical 2,58 2,40-0,28 9,00 Plasma CMV(RS80)-clinical 2,31 2,59 0,05 7,00 Plasma CMV (AD169) 2,91 2,94-0,03 1,00 Plasma CMV (AD169) 2,93 3,01-0,08 3,00 Plasma CMV (AD169) 2,64 2,71-0,07 6,00 Plasma CMV (AD169) 2,16 2,09 0,08 4,00 Plasma CMV (AD169) 1,89 1,90-0,01 Verifikace 0,5 0,25 0-0,25-0,5 3,19 3,92 2,58 2,31 2,91 2,93 2,64 2,16 1,89-0,75 Nominální hodnota - c/ml-log10
QCMD Cytomegalovirus 09 AUG 2013 This maximum score was achieved by 7,8% of all datasets (167 datasets was analysed) Verifikace pomocí EQA = Validaci výrobcem DO 10 3 c/ml (+/- 0,25 log10) 10 3 c/ml LoD (+/- 0,5 log10)
Verifikace CMV PCR Pomocí testu v laboratoři uživatele: (Provedeno: Mgr. Jakub Mrázek, Zdravotní Ústav se sídlem v Ostravě) AcroMetrix CMV Quality Controls for Transplant Virus Testing Izolace z 200 µl s elucí do 100 µl* (série kvantitativně popsaných vzorků - 10 izolací/10 PCR měření v 10 dnech) * QIAamp MinElute Virus Spin Kit
Acrometrix (c/ml) log10 5,97 4,27 2,97 2,27 1,97 Výsledek měření (přepočteno na c/ml) log10 Den 1 2 3 4 5 6 7 8 9 10 Jakou přesnost měření můžeme očekávat u těchto vzorků na základě parametrů uvedených ve validaci?
Odchylka měřené hodnoty - c/ml - log10 Acrometrix log10 5,97 4,27 2,97 2,27 1,97 Den Výsledek měření log10 1 5,92 4,39 3,06 2,39 2,41 2 5,84 4,39 3,04 2,33 1,50 3 5,76 4,32 3,06 2,78 2,52 4 5,96 1,25 4,40 3,08 2,32 2,12 5 5,81 4,22 2,86 2,67 2,28 6 5,82 1,00 4,24 2,84 2,53 7 5,98 4,34 2,98 2,36 8 5,76 0,75 4,08 2,88 9 5,93 4,31 3,12 2,57 0,50 10 5,87 4,30 3,13 2,60 2,42 Validace 0,25 0,00-0,25-0,50-0,75-1,00-1,25 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Nominální hodnota - c/ml-log10
Odchylka měřené hodnoty - c/ml - log10 Acrometrix log10 5,97 4,27 2,97 2,27 1,97 Den Výsledek měření log10 1 5,92 4,39 3,06 2,39 2,41 2 5,84 4,39 3,04 2,33 1,50 3 5,76 4,32 3,06 2,78 2,52 4 5,96 1,25 4,40 3,08 2,32 2,12 5 5,81 4,22 2,86 2,67 2,28 6 5,82 1,00 4,24 2,84 2,53 7 5,98 4,34 2,98 2,36 8 5,76 0,75 4,08 2,88 9 5,93 4,31 3,12 2,57 0,50 10 5,87 4,30 3,13 2,60 2,42 Validace 0,25 0,00-0,25-0,50-0,75-1,00-1,25 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Nominální hodnota - c/ml-log10
Odchylka měřené hodnoty - c/ml log10 Acrometrix log10 5,97 4,27 2,97 2,27 1,97 Den Výsledek měření log10 1 5,92 4,39 3,06 2,39 2,41 2 5,84 4,39 3,04 2,33 3 5,76 4,32 3,06 2,78 2,52 4 5,96 4,40 3,08 2,32 2,12 5 5,81 4,22 2,86 2,67 2,28 6 5,82 4,24 2,84 2,53 7 5,98 4,34 2,98 2,36 8 5,76 4,08 2,88 9 5,93 4,31 3,12 2,57 10 5,87 4,30 3,13 2,60 2,42 0,75 CMV - Acrometrix Verifikace 0,50 0,25 0,00-0,25-0,50-0,75 5,97 4,27 2,97 2,27 1,97 Nominální hodnota - c/ml-log10
Odchylka měřené hodnoty - c/ml log10 Acrometrix log10 5,97 4,27 2,97 2,27 1,97 Den Výsledek měření log10 1 5,92 4,39 3,06 2,39 2,41 2 5,84 4,39 3,04 2,33 3 5,76 4,32 3,06 2,78 2,52 4 5,96 4,40 3,08 2,32 2,12 5 5,81 4,22 2,86 2,67 2,28 6 5,82 4,24 2,84 2,53 7 5,98 4,34 2,98 2,36 8 5,76 4,08 2,88 9 5,93 4,31 3,12 2,57 10 5,87 4,30 3,13 2,60 2,42 0,75 CMV - Acrometrix Verifikace 0,50 0,25 0,00-0,25-0,50-0,75 5,97 4,27 2,97 2,27 1,97 Nominální hodnota - c/ml-log10
Acrometrix log10 5,97 4,27 2,97 2,27 1,97 Den Výsledek měření log10 1 5,92 4,39 3,06 2,39 2,41 2 5,84 4,39 3,04 2,33 3 5,76 4,32 3,06 2,78 2,52 4 5,96 4,40 3,08 2,32 2,12 5 5,81 4,22 2,86 2,67 2,28 6 5,82 4,24 2,84 2,53 7 5,98 4,34 2,98 2,36 8 5,76 4,08 2,88 9 5,93 4,31 3,12 2,57 10 5,87 4,30 3,13 2,60 2,42 Verifikace Verifikace uživatelem = Validaci výrobcem 10 5,97 c/ml - 10 2,97 c/ml (+/- 0,25 log10) 10 2,27 c/ml LoD (+/- 0,5 log10)
Odchylka měřené hodnoty - c/ml - log10 1,50 1,25 1,00 Model validace měření CMV VERIFIKOVÁN V ROZSAHU 10 6 c/ml - LoD 0,75 0,50 0,25 0,00-0,25-0,50-0,75-1,00-1,25 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Nominální hodnota - c/ml-log10
Pozadí snahy výrobce o vydání co nejlepšího výsledku VALIDACE je často ovlivněno vnějším tlakem, a proto mějme na paměti,
že jsme to my všichni, kdo musíme požadovat od výrobce soupravy vytvoření plně porovnatelných a tedy jednotných výstupů validací
jejichž výsledkem je laboratorní hodnota, se kterou je schopna pracovat jak laboratoř, tak klinik u lůžka
Děkuji za pozornost