Testy dobré shody Máme dvě veličiny, u kterých bychom chtěli prokázat závislost, TESTY DOBRÉ SHODY (angl. goodness-of-fit tests)

Podobné dokumenty
Testy dobré shody TESTY DOBRÉ SHODY (angl. goodness-of-fit tests), : veličiny X, Y jsou nezávislé nij eij

Test dobré shody v KONTINGENČNÍCH TABULKÁCH

You created this PDF from an application that is not licensed to print to novapdf printer (

Jana Vránová, 3. lékařská fakulta UK

= = 2368

Základy biostatistiky II. Veřejné zdravotnictví 3.LF UK - II

Příklad 1. Korelační pole. Řešení 1 ŘEŠENÉ PŘÍKLADY Z MV2 ČÁST 13

11. cvičení z PSI prosince hodnota pozorovaná četnost n i p X (i) = q i (1 q), i N 0.

analýza kategoriáln lních dat Prof. RNDr. Jana Zvárová, DrSc. Záznam epidemiologických dat Epidemiologické ukazatele

12. cvičení z PST. 20. prosince 2017

Přednáška X. Testování hypotéz o kvantitativních proměnných

Testování hypotéz. Testování hypotéz o rozdílu průměrů t-test pro nezávislé výběry t-test pro závislé výběry

4ST201 STATISTIKA CVIČENÍ Č. 7

ANALÝZA DAT V R 7. KONTINGENČNÍ TABULKA. Mgr. Markéta Pavlíková Katedra pravděpodobnosti a matematické statistiky MFF UK.

Epidemiologické ukazatele. lních dat. analýza kategoriáln. Prof. RNDr. Jana Zvárová, DrSc. Záznam epidemiologických dat. a I E

Název testu Předpoklady testu Testová statistika Nulové rozdělení. ( ) (p počet odhadovaných parametrů)

Mann-Whitney U-test. Znaménkový test. Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek

Rozhodnutí / Skutečnost platí neplatí Nezamítáme správně chyba 2. druhu Zamítáme chyba 1. druhu správně

6. Testování statistických hypotéz. KGG/STG Zimní semestr 6. Testování statistických hypotéz

Testování hypotéz testy o tvaru rozdělení. Jiří Neubauer. Katedra ekonometrie, FVL, UO Brno kancelář 69a, tel

Testování statistických hypotéz

Jednofaktorová analýza rozptylu

Příklad 1. Řešení 1 ŘEŠENÉ PŘÍKLADY Z MV2 ČÁST 11

Testování hypotéz. Testování hypotéz o rozdílu průměrů t-test pro nezávislé výběry t-test pro závislé výběry

Testy. Pavel Provinský. 19. listopadu 2013

2 ) 4, Φ 1 (1 0,005)

TESTOVÁNÍ HYPOTÉZ STATISTICKÁ HYPOTÉZA Statistické testy Testovací kritérium = B B > B < B B - B - B < 0 - B > 0 oboustranný test = B > B

STATISTICKÉ TESTY VÝZNAMNOSTI

Úvod do analýzy rozptylu

STATISTICKÉ TESTY VÝZNAMNOSTI

Ranní úvahy o statistice

Cvičení ze statistiky - 8. Filip Děchtěrenko

Statistické metody v ekonomii. Ing. Michael Rost, Ph.D.

Úkol 1.: Testování nezávislosti nominálních veličin V roce 1950 zkoumali Yule a Kendall barvu očí a vlasů u 6800 mužů.

Náhodné veličiny, náhodné chyby

Testování hypotéz. 1. vymezení základních pojmů 2. testování hypotéz o rozdílu průměrů 3. jednovýběrový t-test

Zpracování náhodného vektoru. Ing. Michal Dorda, Ph.D.

PSY117/454 Statistická analýza dat v psychologii Přednáška 10

INDUKTIVNÍ STATISTIKA

STATISTICKÉ ODHADY Odhady populačních charakteristik

Analýza dat z dotazníkových šetření

Přednáška XI. Asociace ve čtyřpolní tabulce a základy korelační analýzy

Kategorická data METODOLOGICKÝ PROSEMINÁŘ II TÝDEN 7 4. DUBNA dubna 2018 Lukáš Hájek, Karel Höfer Metodologický proseminář II 1

KONTINGENČNÍ TABULKY Komentované řešení pomocí programu Statistica

4EK211 Základy ekonometrie

Jednofaktorová analýza rozptylu

Statistické metody uţívané při ověřování platnosti hypotéz

5 Vícerozměrná data - kontingenční tabulky, testy nezávislosti, regresní analýza

Lékařská biofyzika, výpočetní technika I. Biostatistika Josef Tvrdík (doc. Ing. CSc.)

15. T e s t o v á n í h y p o t é z

Testování hypotéz. testujeme (většinou) tvrzení o parametru populace. tvrzení je nutno předem zformulovat

Lékařská biofyzika, výpočetní technika I. Biostatistika Josef Tvrdík (doc. Ing. CSc.)

JEDNOVÝBĚROVÉ TESTY. Komentované řešení pomocí programu Statistica

KGG/STG Statistika pro geografy

Testy statistických hypotéz

RNDr. Eva Janoušová doc. RNDr. Ladislav Dušek, Dr.

Testování hypotéz. 1 Jednovýběrové testy. 90/2 odhad času

Problematika analýzy rozptylu. Ing. Michael Rost, Ph.D.

STATISTICA Téma 6. Testy na základě jednoho a dvou výběrů

Normální (Gaussovo) rozdělení

Základy biostatistiky (MD710P09) ak. rok 2008/2009

Normální (Gaussovo) rozdělení

1 Tyto materiály byly vytvořeny za pomoci grantu FRVŠ číslo 1145/2004.

Testování statistických hypotéz

UNIVERZITA OBRANY Fakulta ekonomiky a managementu. Aplikace STAT1. Výsledek řešení projektu PRO HORR2011 a PRO GRAM

Příklad: Test nezávislosti kategoriálních znaků

Pravděpodobnost a matematická statistika

Příklady na testy hypotéz o parametrech normálního rozdělení

Vysoká škola báňská technická univerzita Ostrava. Fakulta elektrotechniky a informatiky

Pravděpodobnost a statistika, Biostatistika pro kombinované studium. Tutoriál č. 5: Bodové a intervalové odhady, testování hypotéz.

Výběrové charakteristiky a jejich rozdělení

Základy biostatistiky (MD710P09) ak. rok 2007/2008

SAMOSTATNÁ STUDENTSKÁ PRÁCE ZE STATISTIKY

TESTOVÁNÍ STATISTICKÝCH HYPOTÉZ ZÁKLADNÍ POJMY

NÁHODNÁ ČÍSLA. F(x) = 1 pro x 1. Náhodná čísla lze generovat některým z následujících generátorů náhodných čísel:

Statistika, Biostatistika pro kombinované studium. Jan Kracík

Kontrola: Sečteme-li sloupec,,četnost výskytu musí nám vyjít hodnota rozsahu souboru (našich 20 žáků)

Fisherův exaktní test

Tomáš Karel LS 2012/2013

Určujeme neznámé hodnoty parametru základního souboru. Pomocí výběrové charakteristiky vypočtené z náhodného výběru.

VYBRANÉ DVOUVÝBĚROVÉ TESTY. Martina Litschmannová

Pravděpodobnost a aplikovaná statistika

ADDS cviceni. Pavlina Kuranova

Testování hypotéz. 4. přednáška

KGG/STG Statistika pro geografy

MATEMATICKO STATISTICKÉ PARAMETRY ANALYTICKÝCH VÝSLEDKŮ

Regresní a korelační analýza

LIMITNÍ VĚTY DALŠÍ SPOJITÁ ROZDĚLENÍ PR. 8. cvičení

Tomáš Karel LS 2012/2013

Testování hypotéz o parametrech regresního modelu

Testování hypotéz o parametrech regresního modelu

5. Závislost dvou náhodných veličin různých typů (kategoriální a metrická veličina)

Katedra matematické analýzy a aplikací matematiky, Přírodovědecká fakulta, UP v Olomouci

Analýza rozptylu. Podle počtu analyzovaných faktorů rozlišujeme jednofaktorovou, dvoufaktorovou a vícefaktorovou analýzu rozptylu.

MÍRY ZÁVISLOSTI (KORELACE A REGRESE)

Jednovýběrový Wilcoxonův test a jeho asymptotická varianta (neparametrická obdoba jednovýběrového t-testu)

SEMESTRÁLNÍ PRÁCE. Leptání plasmou. Ing. Pavel Bouchalík

TECHNICKÁ UNIVERZITA V LIBERCI. Statistický rozbor dat z dotazníkového šetření

Transkript:

Testy dobré shody Máme dvě veličiny, u kterých bychom chtěli prokázat závislost, např. hmotnost a pohlaví narozených dětí. Běžný statistický postup pro ověření závislosti dvou veličin je zamítnutí jejich nezávislosti. Pokud bychom jejich nezávislost (H 0 - nulovou hypotézu) nemohli zamítnout, pak nemůžeme usuzovat na jejich závislost. TESTY DOBRÉ SHODY (angl. goodness-of-fit tests) ověřují, zda reálné četnosti získané statistickým šetřením se odlišují od očekávaných četností vypočtených na základě nulové hypotézy nezávislosti.

Zkoumané veličiny X a Y (váhu a pohlaví narozených dětí) uspořádáme do kontingenční tabulky. Skutečně naměřené Váha do 2 kg 2-3 kg 3-4 kg nad 4 kg Celkem (empirické) četnosti Chlapci 21 253 301 17 592 Holčičky 16 205 345 22 588 Tabulka 1 Celkem 37 458 646 39 1180 Pomocí marginálních četností (v šedém sloupci a šedém řádku) vypočteme tzv. očekávané neboli teoretické četnosti Váha do 2 kg 2-3 kg 3-4 kg nad 4 kg Celkem Tabulka 2 Chlapci 18,56 229,78 324,09 19,57 592 Holčičky 18,44 228,22 321,91 19,43 588 Celkem 37 458 646 39 1180

Nulovou hypotézu H 0 : veličiny váha a pohlaví jsou nezávislé zamítneme, když se pozorované četnosti n ij budou významně lišit od očekávaných četností e ij. Testovým kritériem je statistika, která má asymptomaticky (tj. pro dostatečně velké četnosti) rozdělení χ 2 s (r - 1)(s - 1) stupni volnosti r s ( nij eij ) 2 χ = e i= 1 j= 1 r - počet řádků, s - počet sloupců Stupeň volnosti - je počet řádků (sloupců) tabulky, do kterých je možno vložit libovolnou hodnotu a přitom dodržet stanovený řádkový (sloupcový) součet. Dostatečně velké četnosti jsou takové, kdy všechny očekávané četnosti jsou větší než 1 (>1) a naprostá většina očekávaných četností (alespoň 80%) je > 5. ij 2

Statistika chí-kvadrát - Tabulka 3 Váha do 2 kg 2-3 kg 3-4 kg nad 4 kg Celkem Chlapci 0,32 2,35 1,65 0,34 4,65 Holčičky 0,32 2,36 1,66 0,34 4,68 Celkem 0,64 4,71 3,30 0,68 9,33 V tabulce jsou vypočteny příspěvky chí-kvadrát každého políčka, jejich součet je výsledná testovací statistika. 2 Je-li testovací statistika větší než "kritická" hodnota rozdělení χ pro zvolenou hladinu významnosti, zamítáme nulovou hypotézu o shodě empirického a teoretického rozložení. Riziko, že hypotézu zamítneme neoprávněně, se rovná zvolené hladině významnosti α. V opačném případě přijímáme hypotézu o shodě. V našem příkladu je vypočtená statistika chí-kvadrát = 9,33 a kritická hodnota (pro zvolenou hladinu významnosti α = 0,05) = 7,81 9,33 > 7,81 => zamítáme nulovou hypotézu

Ověřit můžeme výsledek pomocí p-hodnoty, kterou vypočteme funkcí CHITEST s parametry (empirické četnosti; teoretické četnosti) V našem příkladu je =CHITEST(empirické četnosti; teoretické četnosti) = 0,025, tj. p-hodnota < hladina významnosti α 0,025 < 0,05 => zamítáme nulovou hypotézu Zamítneme-li hypotézu o nezávislosti, pak nás obvykle zajímá, které pozorované četnosti (která políčka kontingenční tabulky) se od četností očekávaných významně odchylují. Říkáme, že vyhledáváme zdroje závislosti. Jedna z nejjednodušších metod je posouzení příspěvků jednotlivých políček tabulky k hodnotě testové statistiky 2 viz TABULKA 3. r s ( nij eij ) 2 χ = e i= 1 j= 1 ij

Přesnější je ale užít tzv. standardizovaná residua normované normální rozdělení, tzn. významná jsou políčka s absolutní hodnotou standardizovaných residuí větší než 2 (směrodatné odchylky). n e, která mají přibližně Standardizované odchylky Tabulka 4 Váha do 2 kg 2-3 kg 3-4 kg nad 4 kg Celkem Chlapci 0,566 1,532-1,283-0,580 0,235 Holčičky -0,568-1,537 1,287 0,582-0,236 Celkem -0,002-0,005 0,004 0,002-0,001 Užijeme-li standardizovaná residua, podle jejich znaménka vidíme navíc, zda pozorovaná četnost je větší či menší než očekávaná. ij e ij ij

KONTINGENČNÍ TABULKA 2 x 2 Kontingenční tabulky často používáme v EPIDEMIOLOGII. Velmi často používáme právě tabulku 2 x 2 k zjištění, zda - výskyt vybrané diagnózy závisí na uvažované expozici - léčba nebo změna životního stylu má vliv na zdraví jedince - osvětové programy ovlivnily zdraví populace Náhodná veličina Y - např. onemocnění Náhodná veličina X - obvykle expozice ANO NE Celkem ANO a b a + b NE c d c + d Celkem a + c b + d a + b + c + d = n

K popisu četností v této tzv. čtyřpolní tabulce používáme pouze 4 hodnoty, proto je i pro zápis zjednodušeného výpočtu označujeme a, b, c, d χ 2 test nezávislosti v tabulce 2 x 2 Vzorec pro výpočet statistiky chí-kvadrát se zjednoduší na tvar: 2 2 ( ad bc) χ = n ( a + b)( a + c)( b + d)( c + d) Na příkladu testování vrozené vady kyčlí u dívek a chlapců (viz "6b_priklad_vady_kycli.xls") vidíme, že pro velké počty pozorovaných (a očekávaných) hodnot vychází CHITEST stejně jako výpočet podle zjednodušeného vzorce.

Pro malé pozorované (očekávané) četnosti můžeme test nezávislosti zpřesnit tzv. Yatesovou korekcí. Yatesova korekce 2 χ n 2 ( ad bc ) = 2 ( a + b)( a + c)( b + d)( c + d) n Tato veličina má opět rozdělení chí-kvadrát s jedním stupněm volnosti

Fischerův exaktní test Oba předchozí testy byly pouze přibližné a pro malé četnosti nejsou vhodné. V případě, že nejméně jedna očekávaná četnost je < 5 používáme Fischerův exaktní faktoriálový test. Spočívá v tom, že sestrojíme všechny možné tabulky, které mají stejné marginální četnosti jako původní tabulka a vybereme z nich ty, které jsou pro hypotézu nezávislosti ještě méně pravděpodobné než původní tabulka. Sečteme-li pravděpodobnosti těchto tabulek, získáme tak součet P, který je hodnotou Fischerova testu. V praxi se tento přesný test používá opravdu pro malé četnosti, protože s rostoucím n roste dramaticky i počet možných tabulek. Pokud i nejmenší hodnota ve čtyřpolní tabulce je dostatečně velká (> 5), zmíněné testy chí-kvadrát nebo Yatesova korekce jsou pro tyto četnosti dostatečně blízké přesnému testu.

Princip Fisherova exaktního testu si ukážeme na příkladu tabulky s veličinami KOUŘÍ a SPORTUJE: Sportuje ano ne Suma ano ne Suma ano ne Suma ano ne Suma Kouří ano 5 5 10 ano 6 4 10 ano 7 3 10 ano 8 2 10 ne 3 19 22 ne 2 20 22 ne 1 21 22 ne 0 22 22 Suma 8 24 32 Suma 8 24 32 Suma 8 24 32 Suma 8 24 32 V první tabulce jsou naměřené četnosti u 32 studentů právnické fakulty a chceme zjistit, zda spolu souvisí sport a kouření u studentů. Četnosti jsou pro test chí-kvadrát malé - nelze jej použít. Vypočteme proto pravděpodobnost pro všechny tabulky podle vzorce: ( a + b)!( c + d)!( a + c)!( b + d)! p i = n! a! b! c! d!, kde n je celková četnost v tabulce a a,b,c,d je označení políček zleva doprava a dolů.

Výsledná pravděpodobnost se určí jako součet pravděpodobností ve všech tabulkách, tj. p p = i V našem příkladu je to p = 0,036896 + 0,004611 + 0,000251 + 0,000004 = 0,041 Vypočtený výsledek nám sděluje, že první tabulka a tabulky ještě méně příznivé pro platnost hypotézy H 0 mohou nastat s pravděpodobností 0,041, tj. 4,1 %. Na hladině významnosti α = 0,05 tedy zamítáme nulovou hypotézu a přijímáme alternativní hypotézu, že sportování a kouření u studentů spolu souvisí.

MÍRY VZTAHU DVOU ALTERNATIVNÍCH VELIČIN Předchozí teorie testovala jen závislost nebo nezávislost dvou diskrétních veličin. Neříkala však nic o míře závislosti. Uvažujme opět čtyřpolní tabulku. a Vzorcem a + b vypočteme pravděpodobnost onemocnění u skupiny exponovaných, vzorcem c c + d u neexponovaných. Náhodná veličina Y - např. onemocnění Náhodná veličina X - obvykle expozice ANO NE Celkem ANO a b a + b NE c d c + d Celkem a + c b + d a + b + c + d

RELATIVNÍ RIZIKO Relativní riziko RR je podíl pravděpodobnosti onemocnění u exponovaných a neexponovaných: RR = a a + b c c + d = a ( c + d) c ( a + b) Pokud platí model nezávislosti, je očekávaná četnost v prvním políčku ( a + b)( a + c) O11 = a + b + c + d, analogicky vypočteme očekávané četnosti v ostatních polích a dosadíme je do vzorce pro relativní riziko. Dostaneme RR=1. Pokud nemoc nezávisí na expozici, RR -> 1. Pokud je onemocnění u exponovaných osob častější než u neexponovaných, je RR > 1. Opačně RR < 1 by znamenalo, že onemocnění nastalo častěji u osob neexponovaných.

KŘÍŽOVÝ POMĚR, PODÍL ŠANCÍ, SÁZKOVÝ POMĚR - anglicky ODDS RATIO Tato charakteristika (častěji používaná v anglosaských zemích) není založena na pojmu pravděpodobnosti, ale na pojmu ŠANCE NA ONEMOCNĚNÍ. Termín je převzat z oblasti sázek, kde se nepoužívá termín pravděpodobnost výhry, ale ŠANCE NA VÝHRU, tj. poměr mezi "výhrou" a "prohrou". Vypočteme podíl nemocných a zdravých a c u exponovaných osob i neexponovaných osob. Křížový poměr je b d Křížový poměr, podobně jako relativní riziko, je roven jedné, pokud jsou sledované veličiny nezávislé. a OR = b = c d ad bc

Jinak se ale hodnoty RR a OR liší: OR nabývá v případě kladné závislosti (vzniku onemocnění na expozici) vyšší hodnoty než než RR. V případě, že onemocnění nastalo častěji u osob neexponovaných, je OR nižší než RR (obě hodnoty jsou menší než jedna).

HYPOTÉZA SYMETRIE Mc Nemar Zatím jsme se zabývali hypotézou nezávislosti, ale v praxi nás zajímají i jiné hypotézy. Chceme například porovnat efekt léčby. Vlastně chceme pomocí tabulky četností provést obdobu "párového" testu, přestože nemáme jednotlivé páry hodnot, ale pouze počty naměřených hodnot. Na rozdíl od hypotézy nezávislosti zde naopak víme, že veličiny jsou závislé, protože jsme měřili na stejných datech. Představme si, že zjišťujeme, zda u dětí vybraného okresu závisí výskyt infektů horních cest dýchacích na věku. Výskyt onemocnění byl zjišťován v šesti měsících a ve třech letech věku.

Použití testu nezávislosti chí-kvadrát by bylo zcela chybné. U dětí, které byly zdravé v 6 měsících je zřejmě vyšší pravděpodobnost, že budou zdravé i ve 3 letech a naopak. Příslušné pozorované hodnoty jsou v tabulce: Onemocnění v 3. roce věku Onemocnění v 6. měsíci věku ANO NE Celkem ANO - nemocné 1439 108 1547 NE - zdravé 663 37 700 Celkem 2102 145 2247 Nás spíše zajímá, zda jsou stejné pravděpodobnosti že děti, které byly zdravé v 6 měsících, jsou nemocné ve 3 letech a že děti, které byly nemocné v 6 měsících, jsou zdravé ve 3 letech. Porovnáváme tedy políčka b a c v kontingenční tabulce.

Hypotéza vlastně ověřuje, zda je tabulka symetrická kolem hlavní úhlopříčky - platí-li p 12 = p 21. Takováto hypotéza je odlišná od hypotézy nezávislosti. Navíc nás v podstatě nezajímají hodnoty v polích a, d (p 11 a p 22 ), zajímají nás pouze případy, kdy došlo ke změně v jednom nebo druhém směru. 2 ( b c) K tomuto testu používáme tzv. Mc Nemarův test symetrie: M = b + c, kde M má rozložení chí-kvadrát s jedním stupněm volnosti viz 6b_symetrie_mcnemar.xls. Pokud test vyjde statisticky významný, znamená to, že tabulka není symetrická podle hlavní osy významně převažují děti, kterých je více (které nebyly nemocné ve 3 měsících, ale byly nemocné ve 3 letech).

Na podobném principu jako Yatesova korekce je založena přesnější varianta Mc 1 2 ( b c ) Nemarova testu: M = 2 b + c, kde M má opět rozložení chí-kvadrát s jedním stupněm volnosti. Testujeme vlastně hypotézu, zda pravděpodobnosti π 1, jejíž odhad je a π 2, jejíž odhad je c p2 = b + c, se rovnají. p 1 = b b + c Protože π 1 +π 2 = 1, testujeme hypotézu, že π 1 = 0,5 O Mc Nemarově testu se často hovoří jako o testu pro "párová" data.