Klíčová slova: srovnání metod, lineární regrese, Demingova regrese, Bland-Altmanův graf, statistická analýza

Transkript

1 Česká kinantropologie 6, 1997, 2, s Statistické přístupy k porovnání biomedicínských metod měření Jan Hendl Katedra základů kinantropologie a humanitních věd Univerzita Karlova v Praze, fakulta tělesné výchovy a sportu Souhrn Cílem příspěvku je poskytnout přehled o novějších grafických a statistických postupech, které jsou užitečné při srovnávání metod měření v biomedicínské oblasti. Zvláště se věnujeme posouzení jednoduché lineární regrese, jednoduché Demingovy regrese, Passing-Bablokovy regrese, Bland-Altmanova grafu a Demingova grafu, párového t- testu a korelačního koeficientu. Uvádíme některá pravidla pro jejich výběr a použití v dané situaci srovnávání. Klíčová slova: srovnání metod, lineární regrese, Demingova regrese, Bland-Altmanův graf, statistická analýza Úvod Porovnávání metod se provádí, pokud chceme zhodnotit relativní shodu mezi dvěma metodami, které měří stejnou biomedicínskou veličinu. Obvykle se provádí srovnání nově navržené metody s referenční metodou nebo tzv. zlatým standardem, což je metoda, která představuje aktuálně nejlepší metodu vzhledem k parametrům správnosti (systematická chyba) a přesnosti (opakovatelnost výsledků). Srovnání se provádí pomocí dat, které se získaly změřením určitého počtu objektů (např. vzorků krve nebo jedinců) oběma metodami současně. Měření jednoho objektu se provádí jenom jednou nebo několikrát, s cílem získat lepší odhady přesnosti metody nebo průměru změřené hodnoty u daného objektu. Někdy se popsaný sběru dat nazývá srovnávací experiment. Statistické zpracování takových dat využívá grafické metody k vhodné vizualizaci dat a různé analytické metody k numerickému odhadu vztahu mezi oběma metodami a přesnosti takového odhadu. V biomedicínské literatuře se téma výběru a používání 1

2 grafických a statistických technik objevuje poměrně často. Studie o hodnocení nových metod měření jsou totiž pozorně sledovány odbornou veřejností, která má zájem o stále lepší metody. Klinické rozhodování je obvykle závislé na velkém množství parametrů, které se měří nejrůznějšími metodami (v závislosti na výrobci, použitém principu, potřebné kvalitě, kapacitě, rychlosti, robustnosti, ekonomické náročnosti atd.) v mnoha typech klinických laboratoří (Hendl 1983). Také objektivizace stavu sportovce se děje pomocí nejrůznějších parametrů, přičemž naším cílem je jejich aktuální hodnotu změřit správně a spolehlivě. Je proto žádoucí rozvinout metodologii srovnávání metod, zvláště její statistickou část. Blahuš (1976) zpracovává podrobně tuto problematiku v souvislostech měření pohybových schopností a obecněji v rámci teorie testování. Náš příspěvek chce přehledně charakterizovat a vyhodnotit některé novější metodologické poznatky o používání technik pro vyhodnocení dat z porovnávacích pokusů, které se týkají kvantitativních metod měření v biomedicínské oblasti. Nejdříve však zmíníme tradiční postupy a důvody, proč je na místě jistá opatrnost při jejich používání. Korelační koeficient, párový t test a regresní přímka Je důležité vybrat vhodné statistiky pro sumarizaci dat získaných srovnávacím pokusem (Westgard 1974 a 1998). Obvykle se při jejich vyhodnocování používá Pearsonův korelační koeficient, párový t-test a jednoduchá regresní analýza, kde měření získané referenční metodou považujeme za nezávislé proměnou a body prokládáme přímkou. Četnost používání těchto statistik však nemusí být v přímé souvislosti s jejich adekvátností. Citlivost jmenovaných statistik k různým typům analytických chyb je přehledně vyjádřena v tabulce 1. Pouze ty statistiky, které jsou citlivé k předpokládanému typu analytické chyby, jsou užitečné. Vycházíme z modelu měření y = T + S + ε (1) kde y resp. T je naměřená resp. správná hodnota, S systematická chyba, ε náhodná chyba s nulovou střední hodnotou a rozptylem V y (ε). Je důležité si uvědomit, že tento model lze uplatnit jak pro srovnávanou, tak pro referenční metodu. 2

3 U systematické chyby rozlišujeme konstantní složku, která je stejná v celém rozsahu měření a proporcionální složku, která je úměrná hladině měření. Obě tyto složky mohou být způsobeny jinými mechanismy v měřícím procesu. Také V(ε) často závisí na hladině měření. Tab. 1 Korelační koeficient je citlivý k náhodné chybě. Proto se používá ve srovnávacím experimentu. Naneštěstí je citlivý také k rozmezí měření. Často zvětšením rozsahu měření, dosáhneme značného přiblížení korelačního koeficientu k 1. Snad největší chyba spočívá v tom, že přisuzujeme důležitost tomu, že korelační koeficient je významné různý od nuly. Ve srovnávacích experimentech není tento typ uvažování na místě, přesto se údaje o této významnosti pravidelně objevují v hodnotících zprávách. Závažná je skutečnost, že korelační koeficient neodhaluje ani přítomnost proporcionální chyby ani chyby konstantní. Odpůrci korelačního koeficientu tvrdí, že tato statistika by se neměla nikdy používat při hodnocení dat srovnávacích experimentů. Testovací statistiku párového t-testu počítáme pomocí směrodatné odchylky diferencí s d párů měření a průměrné diference m d. Tyto statistiky se uvádějí ve zprávách o srovnávacích experimentech spolu s t-statistikou, kterou počítáme podle vzorce md t = (2) ( s / n) d kde n je počet měřených objektů. Průměrná diference poskytuje hodnověrný odhad systematické chyby pouze v případě, kdy proporcionální chyba není přítomna. Také testování pomocí t-statistiky má význam pouze v této souvislosti. Charakteristika s d kvantifikuje náhodnou chybu způsobenou náhodnými chybami srovnávané i referenční metody. Neodráží specificky chybu srovnávané metody, protože ji zvětšuje náhodná chyba referenční metody. Jestliže se velikosti náhodných chyb mění podle úrovně měření, ovlivňuje to silně hodnotu s d. Tato charakteristika pak odráží průměrnou variabilitu, která se obtížně interpretuje. Bohužel je nutné přihlédnout ke skutečnosti, že s d také odráží proporcionální chybu, kterou je srovnávaná metoda zatížená.testovací statistiku t je nutné používat opatrně také vzhledem k námitkám, které uvádí Blahuš (2000). Lepší je nahradit t-statistku 3

4 intervalem spolehlivosti pro odhad systematické chyby. V českých časopisech se tento obrat (náhrada testů intervaly spolehlivosti) zatím stále moc neprosadil. V jednoduché regresi hledáme přímku ve tvaru y = a + bx (3) minimalizací součtu čtverců odchylek bodů od hledané přímky ve směru kolmém na osu x vzhledem k parametrům regresní přímky (a,b): kde 2 ˆ i i i (4) min S = w( y y ) y = a+ bx ˆi i přičemž váhy w i jsou různé od jedničky pouze při vážené regresi. Tímto způsobem získáme odhad absolutního členu přímky (a), což je průsečík přímky s osou Y a odhad b pro směrnici regresní přímky a odhad chyby při regresi s y.x. Každá z těchto statistik je citlivá k jinému typy chyb. Chyba s y.x odhaduje náhodnou chybu mezi metodami a má stejné omezení jako s d až na to, že s y.x není rušivě ovlivněna přítomností proporcionální systematické chyby. Konstantní chyba se může odhadovat pomocí průsečíku s osou Y a proporcionální chyba pomocí hodnoty 1-b. Celkovou chybu se odhadnout 95 % mezí (a + (1-b)x + 2 s y.x ). Regresní přímka má komplexnější použití, ale i zde musíme uvažovat několik omezení, které jsou způsobeny nelinearitou a odlehlými hodnotami. Jednoduchá lineární regresní analýza se může použít jenom v pásmu lineárního vztahu mezi oběma metodami měření. Nelinearita v datech znehodnocuje odhady absolutního členu i směrnice, což vede ke špatnému odhadu systematické chyby na jednotlivých rozhodovacích hladinách, kde se měření používá. Odhady koeficientů regresní přímky jsou velmi citlivé k vychýleným hodnotám. Proto bychom měli data vždy překontrolovat graficky. Jednoduchá regrese má další dvě omezení: a) neuvažuje náhodnou chybu u referenční metody, b) jedním z jejích předpokladů je konstantnost směrodatné chyby odhadu v celém rozmezí. S porušením předpokladu o stálosti rozptylu kolem regresní přímky se vyrovnáme použitím vážené regrese, pro kterou potřebujeme znát profil změn rozptýlenosti. Podle 4

5 toho volíme příslušné váhy, které jsou nepřímo úměrné rozptýlenosti měření hodnocené metody. Obě tyto metody prokládání přímkou vycházejí z toho, že referenční metoda má mnohem menší velikost náhodné chyby než hodnocená metoda. Při porušení tohoto předpokladu použijeme Demingovu metodu (Deming 1943), kterou se budeme zabývat ve zvláštním odstavci. Obr. 1 Na obr. 1 jsou modelově znázorněny tři přímky proložené body třemi metodamí: a) jednoduchá regrese, kdy y je závisle proměnná b) jednoduchá regrese, kdy x je závisle proměnná c) ortogonální regrese Metoda ortogonální regrese je jednoduchou variantou Demingovy regrese (víz dále). Směr regrese v metodě b) způsobuje, že dostaneme jinou prokládací přímku než v případě a), protože počítáme (podobně jako při ortogonální regresy) s jinými vzdálenostmi bodů od proložené přímky, jejichž čtverce sčítáme, když se opíráme o princip nejmenších čtverců. Nové způsoby zobrazení Některé redakce časopisů (např. Hollis 1996) dnes doporučují nahradit dosavadní statistické postupy přístupem, který navrhli Bland a Altman (1986). Tito autoři považují za optimání grafické znázornění dat pomocí modifikace grafu residuálních hodnot pro regresi, kdy nanášíme na osou y residuální hodnoty a na osu x hodnoty prediktoru. Jejich modifikace spočívá v tom, že na osu Y nanášíme rozdíl hodnot x y získaných referenční a srovnávanou metodou a na osu X jejich průměr (x+y)/2, abychom vyrušili jev regrese k průměru a umělou korelaci mezi hodnotami (x-y) a x. Bland-Altmanův graf, nazývaný též rozdílový graf, adekvátněji hodnotí nepodobnost měření oběma metodami. ve srovnávacích experimentech nás zajímá především rozdíly (x-y) a ne rozdíly hodnot srovnávané metody od regresní přímky. Graf je doplněn o 3 kontrolní čáry, které reprezentují průměr rozdílů, od něhož ještě zakreslíme přímky ve vzdálenosti 1,96s d na obě strany. Tento graf se široce uplatňuje v současné odborné biomedicínské literatuře. Autoři doporučují doplnit tento graf konfidenčním intervalem 5

6 pro průměrný rozdíl, průměrem rozdílů m d a jejich směrodatnou odchylkou s d. Jestliže inspekce odhalí trend v rozdílech (x-y), počítáme ještě korelaci mezi hodnotami (x-y) a (x+y)/2 a její statistickou významnost. Tato analýza posuzuje přítomnost proporcionální chyby. Bland-Altmanův graf je dnes populárnější než Demingův graf, který byl navržen mnohem dříve. Jeho idea spočívá v nanášení na osu Y poměru y/x a na osou Y hodnoty naměřené referenční metodou. Tento graf se doporučuje, pokud náhodná chyba metody roste s rostoucími hodnotami x. Jestliže zobrazujeme hodnoty (x,y) běžným bodovým grafem, doporučuje se v případě srovnávání metod zachovat na osách X a Y stejný rozsah hodnot a do grafu zakreslit přímku y=x. Rozdílový graf podle Blanda a Altmana např. použili Clasey et al. v práci o validititě metod pro měření složení těla u mladých a starších mužů a žen (n=74). Porovnávali celkem pět metod s referenční metodou, za kterou zvolili 4 kompartmentovou metodu Heymsfield 4-comp. Na obr. 2 je znázorněn vztah mezi metodou DEXA a referenční metodou v této studii, kde hodnoty odpovídající jedincům z jednotlivých skupin jsou označeny různými symboly. Kontrolní čáry jsou ve vzdálenosti 2s d od průměru rozdílů. Obr. 2 Demingova a Passing-Bablokova regrese Protože náhodné chyby ovlivňují jak srovnávanou tak referenční metodu není model jednoduché regrese adekvátní. Deming (1943) navrhl hledat vztah mezi hodnocenou a referenční metodou pomocí vážené regrese, kdy předpokládáme, že správné hodnoty jsou vázané lineárním vztahem a výsledky měření oběma metodami jsou zatíženy náhodnými chybami: x = xˆ + ε i i i y = yˆ + δ i i i (5) Optimální řešení dostaneme, když minimalizujeme vážený součet čtverců chyb vzhledem k parametrům regresní přímky (a,b): 2 2 ˆ ˆ i i i i i (6) min S = w( y y ) + v ( x x ) 6

7 kde yˆ = a+ bxˆ i i Z analýzy celé procedury plyne, že Demingova metoda hledá přímku, která minimalizuje součet čtverců vzdáleností bodů od přímky, přičemž vzdálenosti se měří pod úhlem od regresní přímky, který je závislý na poměru rozptylů charakterizujících náhodnou chybu obou metod (V x (ε)/v y (ε) = λ). Jestliže V x (ε) má nulovou hodnotu (nebo relativně malou vůči V y (ε)), získáme přímku odpovídající jednoduché regresi. Jestliže koeficient λ má hodnotu rovnou jedné, pak jsme získali přímku odpovídající hlavní komponentě. V tomto případě měříme vzdálenost kolmo na hledanou přímku. Z tohoto důvodu se celé proceduře někdy říká ortogonální regrese. Jestliže platí, že V x (ε)/v y (ε) = s x /s y, získáme přímku odpovídající standardizované hlavní komponentě. Zajímavé je, že explicitní tvar odhadu směrnice přímky má v tomto případě jednoduchou podobu b= s y /s x. Protože navíc uvedený předpoklad odpovídá často se vyskytujícím poměrů v datech, doporučuje se tento způsob proložení jako dobrá alternativa pro jednoduchou regresi. Všechny přímky získané Demingovou metodou procházejí těžištěm (m x, m y ). Z této vlastnosti odvodíme tvar pro odhad absolutního členu (srov. Zvára 1989, s.187). Uvedené způsoby regrese používají v explicitních výrazech pro odhad regresního koeficientu korelační koeficient a směrodatné odchylky. Naneštěstí tyto statistiky jsou velmi citlivé vůči vychýleným hodnotám. To vede k úvahám pokusit se pro parametry regresní přímky navrhnout neparametrickou proceduru. Tímto směrem postupovali Passing a Bablok (1983). Jejich procedura odhaduje regresní koeficient jako medián z částečných odhadů tohoto koeficientu předpisem: y bij = i à xi à y u x j (7) Absolutní člen regresní přímky se odhaduje jako medián z hodnot: a i = y i - bx i Passing a Bablok navrhli svojí neparametrickou metodu s cílem, aby jejich odhad byl kvalitní pro případ, že obě metody jsou zatíženy náhodnou chybou. V případě potřeby testujeme pomocí vhodných statistik specifické hypotézy o parametrech regresní přímky. Nejčastěji se zaměřujeme na hypotézu (a,b) = (0,1), která 7

8 odpovídá identitě obou metod. Příslušné statistiky najdeme v citované literatuře. Pro nejvíce potřebné výpočty odhadů regresní přímky, intervalů spolehlivost i sestrojení grafu pro všechny zde uvedené eventuality lze využít volně dostupný program P. Marquise (2002). Diskuse Čtenáři je potřebné zprostředkovat data o srovnávacím experimentu nejenom několika shrnujícími číselnými charakteristikami, ale i grafickým zobrazením. V mnoha srovnávacích studiích dnes autoři zcela vynechávají zobrazení pomocí standardního bodového grafu a nahrazují ho Bland-Altmanovým grafem. Hylfolt et al. (1997) vyhodnocovali vhodnost různých typů grafů, které se používají ve zprávách o srovnávacích experimentech. Jestliže je úkolem nalézt nejlepší funkční vztah mezi oběma metodami, pak použijeme bodový graf s nakreslenou regresní funkcí (přímkou). Ve srovnávacích experimentech však jde o zkoumání identity metod. V takovém případ je lepší data zobrazit rozdílovým grafem. Hylfolt et al. kritizují znázorňování pásů přijatelnosti přímkami ve vzdálenosti 1,96s d od průměru rozdílů doporučené Blandem a Altmanem, protože tyto čáry nevypovídají nic o potřebné kvalitě metody. Tyto čáry se uplatňují při identifikaci vychýlených hodnot, ale pro posouzení podobnosti metod, je lepší čáry volit na základě přijatých kritérií o celkové povolené chybě. Výhodou Demingovy i Passing-Bablokovy metody je, že obě dávají na rozdíl od jednoduché regrese metodou nejmenších čtverců jedinou prokládající přímku a zohledňují přítomnost náhodné chyb u hodnocené i referenční metody. Tyto metody analýzy nemají takovou popularitu jako rozdílový graf. Tradice používání korelačního koeficientu a jednoduché lineární regrese je stále silná. Přispívá k tomu i okolnost, že pokud autoři chtějí své výsledky srovnat z předešlými studiemi, musejí použít podobné statistické zpracování. Složitější parametrické způsoby prokládání není potřebné provádět, pokud korelační koeficient je větší než 0,99, protože pak jsou si všechna řešení prakticky rovná. V každém případě nalezené přímky procházejí těžištěm dat (m x, m y ) a nacházejí se v pásu který je určen oběma jednoduchými regresemi. Ten se zužuje s rostoucím korelačním koeficientem. 8

9 Passing a Bablok (1984) při popisu svého návrhu nové neparametrické metody uvedli výsledky simulační studie, v které srovnávali dosavadní způsoby prokládání dat přímkou. Uzavřeli, že obě metody (jednoduchá regrese a metoda hlavních komponent) jsou buď neadekvátní nebo málo přesné při porušení příslušných předpokladů ve srovnání s neparametrickou. Jejich výsledky podpořily rozšíření této metody v evropském prostoru. Linnet (1993) o 10 let později pomocí simulace a skutečných dat porovnával chování pěti metod (jednoduchá a vážená regrese, neparametrická regrese, Demingova základní metoda a rozšířená Demingova metoda při nekonstantním profilu rozptylu chyb). Zjistil nejlepší chování pro Demingovu obecnou metodu a v mnoha případech i pro Demingovu metodu při konstantním poměru rozptylů. K Passing-Bablokově metodě autor poznamenává, že dává nestranné výsledky pouze v případě, kdy složky náhodné chyby jsou u obou srovnávaných laboratorních metod stejné. Výhoda této metody spočívá hlavně v tom, že je resistentní vůči vychýleným hodnotám. Tato studie podpořila rozšíření Demingovy metody ve Spojených státech. Závěr a doporučení Před hodnocením srovnatelnosti metod je nutné se seznámit s příslušnou metodologií, která se v posledních letech neustále vyvíjela (Westgard 1998; Hendl, Kratochvíla 1983). Korelační koeficient by se neměl používat při odhadování a posuzování chyb měření hodnocené metody a nikdy neuvádíme jeho statistickou významnost. Může být užitečný pro vyhodnocení rozsahu použitého analytického rozmezí a při volbě metody pro proložení dat přímkou. Odhady analytických chyb pomocí párového t-testu a přidružených charakteristik použijeme, pokud není přítomna proporcionální složka systematické chyby a pokud průměr m x leží blízko hladině, která je pro rozhodování pomocí laboratorního měření důležitá. Uvedeme pak také interval spolehlivosti pro průměr diferencí a charakteristiky m x, s x, m d a s d. Nejlepší odhady systematických chyb získáme odhadem regresní přímky, kdy se doporučuje uvést parametry (a,b), s y.x, m x a s x. Testy o parametrech (a,b) regresní 9

10 přímky provádíme pomocí intervalů spolehlivosti. K nalezení přímky využijeme metodu standardizované hlavní komponenty nebo obecné Demingovy regrese, jestliže r je menší než 0,99 a graf neodhalil přítomnost vychýlených hodnot. Data graficky znázorňujeme Bland-Altmanovým grafem diferencí s vynesenými rozhodovacími mezemi, které jsou odvozené z požadované přesnosti a správnosti měření v daném kontextu rozhodovací situace v terénu. Pokud zdůrazňujeme mnohorozměrnost problému srovnání více měřících metod, použijeme mnohorozměrnou strukturní analýzu (Feldman, Schneider 1981), která se opírá o zobecnění modelu Deminga (1943). 10

11 Literatura 1. BLAHUŠ, P. Statistická významnost proti vědecké průkaznosti výsledků výzkumu. Čes. kinantropologie, 2000, 4(2), s BLAHUŠ, P. K teorii testování pohybových schopností. Praha : Univerzita Karlova, BLAND, J.M., ALTMAN, D. G. Statistical methods for assessing agreement between two methods of clinical measurement. Lancet, 1986; 1, s CLASEY,J. L., KANALEY,J. A. et al. Validity of methods of body composition assessment in young and older men and women. J. Appl.Phys., 1999, 86, 5, s DEMING,W.E. Statistical adjustment of data. New York : John Wiley & Sons, FELDMAN, U., SCHIDER, B. et al. A multivariate approach for the biometric of analytical mehods in clinical chemistry. J Clin Chem Clin Biochem 1981, 21, s HENDL, J., KRATOCHVÍLA, J. Statistické principy vyhodnocování kvality laboratorních metod. Praha : Knižnice Institutu pro další vzdělávání lékařů, HOLLIS, S. Analysis of method comparison studies [Editorial]. Ann. Clin. Biochem., 1996, 33, s HYLTOFT, P., P, STÖCKL, D. et al. Graphical interpretation of analytical data from comparison of a field method with a reference method by use of difference plots [Opinion]. Clin. Chem.,1997, 43, s LINT, K. Evaluation of regression procedures for method comparison studies. Clin. Chem., 1993, 39, s MARQUIS, P. Method Validator. A computer programm. ( vystaveno ) 12. PASSING, H, BABLOK, W. A new biometrical procedure for testing the equality of measurements from two different analytical methods. Application of linear regression procedures for method comparison studies in clinical chemistry, Part I. J Clin. Chem. Clin. Biochem., 1983, 21, s

12 13. PASSING, H, BABLOK, W. Comparison of several regression procedures for method comparison studies and determination of sample sizes. Application of linear regression procedures for method comparison studies in clinical chemistry, Part II. J. Clin. Chem. Clin. Biochem.,1984, 22, s WESTGARD J.O., CAREY, R. N, WOLD, S. Criteria for judging precision and accuracy in method development and evaluation. Clin. Chem., 1974, 20, s WESTGARD, J.O. Points of care in using statistics in method comparison studies [Editorial]. Clin. Chem., 1998, 44, s ZVÁRA, K. Regresní analýza. Praha : Akademia,

13 Statistical approaches for biomedical methods comparison studies The aim of this article is to present a panel of practical graphical and statistical procedures useful to solve problem of data analysis in method comparison studies in biomedicine. Specificaly we describe ordinary linear regression and simple Deming regresson procedures, Passing-Bablok regression, Bland-Altman and Deming plots, paired t-test and correlation coeficient. Some hints are given to allow selection of appropriate methods for actual situation. Keywords: method comparison, linear regression, Deming regression, Bland-Altman plot, statistical analysis doc.rndr. Jan Hendl UK FTVS, J. Martiho 31, Praha 6 hendl@ftvs.cuni.cz 13

14 Obr. 2 Proložení shluku bodů třemi metodami nejmenších čtverců s označením vzdáleností bodů, z kterých se počítají druhé mocniny. a) jednoduchá regrese, kdy y je závisle proměnná b) jednoduchá regrese, kdy x je závisle proměnná c) ortogonální regrese Vzdálenost pro ortogonální regresi m y Vzdálenost pro regresi, kde y je závisle proměnná Vzdálenost pro regresi, kde x je závisle proměnná m x 14

15 Obr. 1 Příklad použití rozdílový grafu podle Bland a Altmana pro srovnání dvou metod měření složení těla (4). 15

16 Tab. 1 Citlivost různých charakteristik při odhalování jednotlivých typů chyb měření Chyba Náhodná Konstantní Typy chyb Proporcionální Statistika Lin. regrese Směrnice ANO Průsečík ANO Chyba odhadu s y.x ANO Párový t-test Průměr diferencí ANO ANO Párová.směr.odch. ANO ANO Korelační koef. r ANO 16