MUDr. Jaroslava Ambrožová, Oddìlení klinické biochemie a hematologie, Nemocnice Prachatice Srovnání metod NT-proBNP (Roche) a BNP (Abbott) Motto: Statistika nuda je, má však cenné údaje aneb, jak používat statistické nástroje ke zpracování dat nesprávnì w Porovnávání metod se provádí, pokud chceme zhodnotit relativní shodu mezi dvìma metodami, které mìøí stejnou biomedicínskou velièinu. Zpùsob: w Obvykle se provádí srovnání novì navržené metody s metodou referenèní nebo tzv. zlatým standardem, což je metoda, která pøedstavuje aktuálnì nejlepší metodu vzhledem k parametrùm správnosti (systematická chyba) a pøesnosti (opakovatelnost výsledkù). w Srovnání (srovnávací experiment) se provádí zmìøením urèitého standardního poètu objektù obìma metodami souèasnì, což pro parametrické zpracování obvykle èiní > 50 mìøení (Hendl, 1997). K nìco málo na úvod: Tabulka è.1 poskytuje základní seznámení s rodinou natriuretických peptidù, biomedicínskými velièinami èili entitami, jejichž mìøením se srovnávané metody zabývají. Tabulka è. 2 uvádí základní fakta o srovnávaných metodách. J Pøedpoklad prvního pohledu: OBÌ MÌØENÉ VELIÈINY SE SOBÌ NEROVNAJÍ Tab. è. 1: Základní seznámení s natriuretickými peptidy Obrázek è.1 pøedstavuje grafické znázornìní výsledkù získaných mìøením obou sledovaných biomedicinských entit porovnávanými metodami. Tab. è. 2: Základní údaje metody: BNP (Abbott), NT-proBNP (Roche) Obr. è. 1 J Závìr è. 1: Obrázek je dùkazem prvního pøedpokladu, a to, že trendy obou mìøených velièin se jistým zpùsobem sledují, jejich hodnoty se však výraznì nominálnì liší: èím vyšší NT-proBNP, tím vìtší rozdíl (Yeo KT, 2004). Základní popisné statistické charakteristiky velièin namìøených porovnávanými metodami uvádí tabulka è.3. Následující tøi obrázky pøedstavují odlišné zpùsoby grafického zobrazení základních popisných statistických charakteristik získaných výpoèty z dat namìøe- 19
ných porovnávanými metodami. Obrázek è. 2 je klasický Tukeyho krabicový graf, v nìmž je zøetelný výrazný rozdíl rozptylù obou metod, pøímkami znázornìné konfidenèní intervaly obou souborù dat; èervené kroužky odpovídají hodnotám, které je možné považovat za odlehlé bez pøedchozí stratifikace dat. Tab. è. 3: Základní popisné statistické charakteristiky Obr. è. 2: Tukeyho krabicový graf Obrázek è. 3 pøedstavuje bodový graf závislosti velièiny y na x. Obr. è. 3: Bodový graf závislosti velièiny y na x Lepší grafické zpracování namìøených dat poskytuje tzv. Youdenùv graf (obr. è. 4), v nìmž lze z ètvereèkù znázoròujících namìøené hodnoty a jejich soustøedìní podél smìrnice svírající 45 o s osou x zjistit pøítomnost proporcionální chyby srovnávaných metod. Zakroužkovaná oblast pøedstavuje velmi názornì 95 % konfidenèní interval namìøených údajù. Další nezbytnou souèástí popisu mìøených entit je zjiš ovaní typu jejich distribuce v daném statistickém výbìru. Ná- Obr. è. 4: Youdenùv graf sledují tedy grafy (obr. è. 5 a 6), které zobrazují: a) distribuèní køivku NT-proBNP vèetnì køivky normálního rozložení Obr. è. 5: Distribuèní køivka NT-proBNP b) distribuèní køivku BNP vèetnì køivky normálního rozložení Obr. è. 6: Distribuèní køivka BNP L Závìr è. 2: Mìøené entity (NT-proBNP a BNP) nemají v našem výbìru normální Gaussovské rozložení (Pche). Další èást tohoto sdìlení se zabývá nejèastìjšími zpùsoby èastokráte nesprávné aplikace nástrojù statistického zpracování dat, typickými pro srovnávací experimenty. Kapitola è. 1 - tj. obvyklé parafernálie užívané pro srovnávání metod: Korelaèní koeficient, párový t-test a regresní pøímka u Pro sumarizaci dat získaných srovnávacím pokusem je dùležité vybrat vhodné statistiky (Westgard 1974,1998). u Obvyklý odborný pøístup: parametrické metody pøedpokládající normální rozložení sledovaného parametru tj.: Pearsonùv korelaèní koeficient, párový t-test a jednoduchá regresní analýza mìøení získané referenèní metodou se považuje za nezávisle promìnnou a body prokládáme pøímkou. u Dùležité: Èetnost používání tìchto statistik není v pøímé souvislosti s jejich adekvátností (Pche). 1. Korelaèní koeficient u Výhoda: citlivý k náhodné chybì u Nevýhoda: a) citlivý k rozsahu rozmezí mìøení b) neodhalí pøítomnost proporcionální ani konstantní systematické chyby J Kouzlo: Zvìtšením rozsahu mìøení dosáhneme znaèného pøiblížení korelaèního koeficientu kà1(pche) Snad nejvìtší chyba spoèívá v tom, že pøisuzujeme dùležitost tomu, že korelaèní koeficient je významnì rùzný od nuly. Ve srovnávacích experimentech není tento typ uvažování na místì, pøesto se údaje o této významnosti pravidelnì objevují v hodnotících zprávách. Odpùrci korelaèního koeficientu tvrdí, 20
že tato statistika by se nemìla nikdy používat pøi hodnocení dat srovnávacích experimentù!!! a) Pearsonùv korelaèní koeficient - vzorec: Tab. è. 4: Výpoèet Pearsonova korelaèního koeficientu r z namìøených dat b) Spearmanùv koeficient korelace poøadí u Úèel: slouží k detekci souhlasného èi nesouhlasného trendu velièin Spearmanùv koeficient korelace poøadí - vzorec: Tab. è. 5: Výpoèet Spearmanova korelaèního koeficientu poøadí (èti ró, Pche) z namìøených dat c) Kendallùv korelaèní koeficient neparametrických testù - vzorec: kde C= poèet konkordantních, D = poèet nekonkordantních párù Párový t-test u Testovací statistika párového t-testu se poèítá pomocí smìrodatné odchylky diferencí s d párù mìøení a prùmìrné diference m d. Tyto statistiky se uvádìjí ve zprávách spolu se t-statistikou, která se poèítá podle vzorce: kde n je poèet mìøení u s d kvantifikuje náhodnou chybu zpùsobenou náhodnými chybami srovnávané i referenèní metody, ale neodráží specificky náhodnou chybu srovnávané metody, protože ji zvìtšuje náhodná chyba referenèní metody. Jestliže se velikosti náhodných chyb mìní podle úrovnì mìøení (náš pøípad, Pche), ovlivòuje to silnì hodnotu s d. Tato charakteristika pak odráží prùmìrnou variabilitu, která se obtížnì interpretuje. Bohužel také prùmìrná diference m d poskytuje hodnovìrný odhad systematické chyby pouze v pøípadì, kdy proporcionální chyba není pøítomna (v našich datech bohužel pøítomena je, Pche). Rada resp. návrh z pléna (Dr. F., J. Hradec, 2004): Použít neparametrickou obdobu párového testu (Wilcoxonùv U-test). L Závìr è. 4: Prùmìrná diference obou metod se výraznì liší. Pozn. pod èarou (pro Dr. F.): Wilcoxonùv tzv. U-test se také nehodí, nebo neparametrický test bez pøedpokladù, bohužel v tomto konkrétním pøípadì není splnìn pøedpoklad stejných rozptylù porovnávaných metod! Co dál??? K Zatímco korelace se zabývá vzájemným vztahem porovnávaných velièin, regresní analýza hledá matematický nástroj, který by závislou velièinu pøedpovìdìl na základì velièiny nezávislé... Následují proto pøíklady ménì èi více smysluplného užití rùzných regresních modelù na námi namìøená data 1. Lineární regrese u Použití: jen v pásmu lineárního vztahu mezi obìma metodami mìøení u Pøedpoklad: konstantnost smìrodatné chyby odhadu v celém rozmezí hodnot u Nevýhoda: neuvažuje náhodnou chybu referenèní metody V jednoduché regresi hledáme pøímku ve tvaru: y = a + bx Minimalizací souètu ètvercù odchylek bodù od hledané pøímky ve smìru kolmém na osu x vzhledem k parametrùm regresní pøímky (a,b). kde, pøièemž váhy w i jsou rùzné od jednièky pouze pøi vážené regresi. Lineární regrese, graf (obr. è. 7). Srovnání obou metod lineární regresí, graf, obr. è. 8, v nìmž obì mìøené velièiny mají na obou osách stejný rozsah. Standardní rezidua dle grafu, obr. è. 9, lineární regrese (rozdíly hodnot srovnávané metody od regresní pøímky). Tab. è. 7: Párový t-test - aplikace na namìøená data Tab. è. 6: Výpoèet Kendallovy τ-statistiky (èti tau, Pche) poøadí z namìøených dat L L Závìr è. 3: Ve všech pøedchozích pøípadech jmenovaných statistik bylo nutno zamítnout o nich nulovou hypotézu a pøijmout její alternativu, což nemá žádný vliv na získání objektivního závìru o pøípadné korelaci srovnávaných metod. Tab. è. 8: Wilcoxonùv párový U-test - aplikace na namìøená data Tab. è. 9: Lineární regrese, charakteristiky 21
vztahu mezi obìma metodami mìøení. Nelinearita v datech znehodnocuje odhady absolutního èlenu i smìrnice, což vede ke špatnému odhadu systematické chyby na jednotlivých rozhodovacích hladinách, kde se mìøení používá. Odhady koeficientù regresní pøímky jsou totiž velmi citlivé k vychýleným hodnotám (a ty se bohužel našich datech nacházejí, Pche). Obr. è. 7: Lineární regrese Obr. è. 8: Srovnání metod lineární regrese 2. Demingova regrese u Demingova metoda vážené, ortogonální regrese, která zohledòuje pøítomnost náhodných chyb u hodnocené i referenèní metody a hledá pøímku, která minimalizuje souèet ètvercù vzdálenosti bodù od ní. Vzdálenosti se mìøí pod úhlem od regresní pøímky, který je závislý na pomìru rozptylù charakterizujících náhodnou chybu obou metod. u ALE: Odhad regresního koeficientu se dìje z korelaèního koeficientu a smìrodatné odchylky => citlivé k vychýleným hodnotám. Obr. è. 11: Srovnání obou metod, Deming Kapitola è. 2 - neparametrické nástroje srovnávání: 1. Passing-Bablokova neparametrická metoda u Výhoda: neparametrická metoda, která nepøedpokládá normální rozložení namìøených hodnot. u Výhoda: necitlivost k náhodným chybám obou metod. u Odhad regresního koeficientu se dìje z mediánu èásteèných odhadù tohoto koeficientu. Tab. è. 10: Demingova regrese, charakteristiky Demingova regresní pøímka, graf, obr. è. 10. Tab. è. 10: Passing- Bablokova metoda konverze, charakteristiky Passing-Bablokova metoda konverze, obr. è. 12. Obr. è. 9: Standardní rezidua L Závìr è. 5: u Smìrnice svìdèí o existenci proporcionální systematické chyby sledované metody. u Rozložení standardních reziduí svìdèí o možné výhodnosti pøípadné stratifikace pøípadných dalších dat z pøedpokládaných následných srovnávacích experimentù do více než jednoho výbìrù, napø. dle klinické klasifikace (napø. NYHA). Jednoduchá lineární regresní analýza se mùže použít jen v pásmu lineárního Obr. è. 10: Demingova regresní pøímka Srovnání obou metod Demingovou regresí na grafu, obr. è. 11, v nìmž obì mìøené velièiny mají na obou osách stejný rozsah. L Závìr è. 6: Žádný markantní rozdíl ve srovnání s výsledkem lineární regrese. Smìrnice svìdèí o existenci proporcionální systematické chyby posuzované metody. Obr. è. 12: Passing-Bablokova metoda konverze Srovnání obou metod Passing-Bablokovou konverzí, graf, obr. è. 13, v nìmž obì mìøené velièiny mají na obou osách stejný rozsah. 22
Obr. è. 13: Srovnání metod Passing-Bablok novou konverzí 2. Test na linearitu Obr. è. 14: Test na linearitu(diagram CUSUM) Analýza reziduí Passing-Bablok (rozdíly hodnot srovnávané metody od regresní pøímky) obr. è. 15. Obr. è. 15: Analýza reziduí Passing-Bablok J Závìr è. 7: u Prùseèík => existence konstantní složky systematické chyby u Smìrnice => existence proporcionální složky systematické chyby u Test na linearitu: p > 0.1 (0,01>p<0,05) => potvrzuje oblasti nelineárního vztahu výsledkù obou metod u Je pøítomna tzv. heteroskedasticita v analýze reziduí a z toho vyplývá => složitìjší vztah sledovaných velièin: potøeba stratifikace dat?, pøípadné matematické transformace? 3. Bland Altmanùv rozdílový graf adekvátnìji hodnotí nepodobnost mìøení obìma metodami. Ve srovnávacích experimentech nás pøece zajímají pøedevším rozdíly (x-y) a ne rozdíly hodnot srovnávané metody od regresní pøímky. Na osu y proto nanášíme rozdíl hodnot (x-y), získaných referenèní a srovnávanou metodou a na osu x jejich prùmìr (x-y)/2, abychom vyrušili jev regrese k prùmìru a umìlou korelaci mezi hodnotami (x-y) a x. Graf na obr. è. 16, je doplnìn o 3 kontrolní èáry, které reprezentují prùmìr rozdílù, od nìhož jsou zakreslené pøímky ve vzdálenosti 1,96 s d na obì strany Tyto èáry se uplatòují pøi identifikaci vychýlených hodnot, pro posouzení podobnosti metod je ale lepší èáry volit na základì pøijatých kritérií o celkové povolené chybì. L Obr. è. 16: Bland Altmanùv rozdílový graf Závìr è. 8: Lineární trend patrný v položení ètvereèkù svìdèí o neshodì v identitì obou metod. Kapitola è. 3: Závìry èi uzávìry? Resumé: u Pøi srovnávání metod NT-proBNP (Roche) a BNP (Abbott) jsme obdrželi soubory hodnot nominálnì odlišných a neposkytujících jednoduchou matematickou funkcí srovnatelné výsledky. Dalo se to pøedpokládat, totiž že nelze srovnávat hrušky s jablky (Pche). u Metody poskytují použitelné výsledky s ohledem na pøísné dodržení podmínek stanovení a interpretaci dle pøíslušných, výrobcem stanovených rozhodovacích mezí. Mùj osobní uzávìr: Obì metody, by se nedají Puškvorcovou metodou srovnávat, se i na našem trhu bájeènì uplatní, nebo : 1. jedná se o metody potøebné s velkou diagnostickou negativní prediktivní hodnotou, 2. každá z nich má své fanoušky a vysokou úroveò diagnostické pøesnosti (Mueller T: Clin Chim Acta, 2004; 341: 41-8), 3. a rozhodující pro jejich uplatnìní bude: a) zájem klinikù b) CV reprodukovatelnosti, opakovatelnosti a správnosti dané metody v dané laboratoøi c) finanèní možnosti. Pozn.: 1. Ke zpracování dat bylo použito bìžných PC programù Excel Analyse-it vsn 1.71 a MedCalc vsn 7.4.1.2. 2. J, K, L = po øadì 1 standardní pozitivní, neutrální, negativní Pche. ROCHE - mezinárodní události a komentáøe n 28/6/2004 (Basilej - Švýcarsko, Raritan - N. Yersey, USA): Ortho-Clinical Diagnostics (souèást Johnson & Johnson Comp.) získává èásteèná práva na klíèový kardiomarker NT-proBNP Roche. Dohoda umožní Ortho-Clinical Diagnostics využít patentová práva Roche Diagnostics k vývoji, výrobì a prodeji NT-proBNP a doplnit tak svou nabídku kardiomarkerù. Vstup NT-proBNP Roche do obchodní sítì Ortho-Clinical Diagnostics významnì pøispìje k dostupnosti a využití tohoto kardiomarkeru mìstnavého srdeèního selhání a akutních koronárních syndromù. 23