MATEMATIKA MEZI... ANEB NĚCO MÁLO O DISKRIMINACI

Transkript

1 ROBUST 2000, c JČMF 2001 MATEMATIKA MEZI... ANEB NĚCO MÁLO O DISKRIMINACI ARNOŠT KOMÁREK Abstrakt. If somebody wants to distinguish objects from two groups,he can use a statistical model to achieve this target. Three possible statistical models are discussed a bit in this paper. Models are as follows: normal discriminant analysis (NDA),logistic regression (LR) and mixture of normal distributions (MND). The sense of this article is to reveal for another author s paper where those models are discussed many more. One of the supposed models (MND) is used for analyzis of the entrance examination at the Faculty of Law of the Charles University in Prague in We try to distinguish between honest and fraudulent candidates of studying at this college. Abstrakt. Vto state izuqaets diskriminacionny analiz dl statistixeskogo obsudeni prinimate nyh ekzamenov v Universitet Karla. Cílem příspěvku je upozornit na práci [1], jež se zabývá některými modely, pomocí nichž lze provádět diskriminaci. Konkrétně se jedná o modely normální diskriminační analýzy (NDA), logistické regrese (LR) a směsi normálníchrozdělení (MND). Vždy máme za úkol zařadit dané objekty do jedné za dvou skupin na základě hodnot jistýchznaků na nichnaměřených. Znaky naměřené na daném objektu můžeme reprezentovat pomocí hodnoty náhodného vektoru X a zařazení tohoto objektu pomocí hodnoty náhodné veličiny Y, jež nabývá hodnot 0 a 1, jelikož v naší práci rozlišujeme pouze mezi dvěma skupinami. Jednotlivé modely jsou potom definovány následovně. (LR): P (Y =1 X = x) =[1+exp( β 0 β x)] 1, P (Y =0 X = x) =[1+exp(β 0 + β x)] 1, kde β 0 a β jsou parametry modelu (β 0 R, β R p ). (NDA): P (Y =1)=λ (0, 1), L(X Y =0)=N p (µ 0, Σ), L(X Y =1)=N p (µ 1, Σ) Mathematics Subject Classification. Primary 62H30; Secondary 62P25. Klíčová slova. Diskriminační analýza. Tato práce vznikla za podpory grantu GAČR č. 201/00/0769 a grantu MSM

2 120 Arnošt Komárek Parametry jsou tentokrát λ, µ 1 µ 0 aσ. (MND): X má hustotu f(x) =λf 1 (x)+(1 λ)f 0 (x), kde f 1 je hustota N p (µ 1, Σ) a f 0 hustota N p (µ 0, Σ). Parametry jsou opět λ (0, 1), µ 1 µ 0 aσ. V práci [1] jsou jednotlivé modely podrobně popsány a porovnány. Jsou zde též uvedeny postupy pro odhadování neznámýchparametrů v jednotlivýchmodelechv praktickýchsituacích. Součástí je samozřejmě též odvození diskriminačníchpravidel. Na přiložené disketě je možno nalézt procedury v Matlabu pro výpočet odhadů. Na tomto místě poznamenejme, že modely (LR) a (NDA) vyžadují k sestavení diskriminační procedury učící skupinu objektů, zatímco model (MND) nikoliv. část práce [1] je věnována následujícímu příkladu, který se pokouší analyzovat výsledky přijímacíchzkoušek na Právnické fakultě UK v Praze v roce Tyto přijímací zkoušky jsou nechvalně známy možností, že někteří uchazeči o studium na zmíněné fakultě znali znění přijímacíchtestů před vlastní přijímací zkouškou. Pomocí studovanýchmodelů se pokusíme rozlišit studenty, kteří neznali zadání přijímacíchtestů (běžní studenti), a studenty, kteří mohli znát předem znění těchto testů (zvýhodnění studenti). K dispozici jsou výsledky jednotlivýchuchazečů v následující podobě: počet bodů za test z cizího jazyka (proměnná jazyk), z historie a všeobecného přehledu (proměnná historie) a za test z logiky (proměnná logika). Dále je u každého uchazeče uvedeno pořadové číslo termínu zkoušky, kterého se zúčastnil. Termínů bylo dohromady třináct, přitom ten třináctý byl náhradní za termín číslo dvanáct, který byl anulován kvůli podezření na podvodné jednání některýchuchazečů. V analýze nebudeme tedy pracovat s daty z třináctého termínu, neboť se ho zúčastnili studenti, kteří již přijímací zkoušku absolvovali v termínu dvanáctém. Přidání dat ze třináctého termínu do celého souboru by mohlo způsobit porušení nezávislosti jednotlivých pozorování. Každého z prvních dvanácti termínů se zúčastnil přibližně stejný počet uchazečů v rozmezí od 426 do 488. Za test z jazyka bylo přitom možné získat maximálně patnáct bodů, za test z historie a všeobecného přehledu maximálně čtyřicet pět bodů a za test z logiky maximálně čtyřicet bodů. Veličina Y, jež indikuje zařazení jednotlivých uchazečů, bude nabývat hodnoty jedna pro zvýhodněné a hodnoty nula pro běžné uchazeče. Diskriminaci budeme provádět na základě vektoru X, jehož složky budou odpovídat po řadě proměnným jazyk, historie, logika. Skupinu pro výpočet odhadů tvoří v tomto případě všichni uchazeči, kteří se zúčastnili jednoho z prvních dvanácti termínů. U žádného z nich nevíme, zda ho zařadit mezi běžné nebo zvýhodněné studenty. K sestavení diskriminační funkce tedy musíme nyní použít model směsi normálníchrozdělení. Pro podpoření domněnky, že zkoumaná data jsou skutečně směsí dvou normálníchrozdělení, jsou v [1] uvedeny histogramy dosažených bodů u jednotlivých testů zvlášť pro první a dvanáctý termín. Výsledky uchazečů z prvního termínu by směs tvořit neměly, naopak výsledky dvanáctého termínu by měly tvořit směs z rozdělení, z něhož pocházejí data u ostatních termínů a rozdělení, z něhož pocházejí data zvýhodněných uchazečů. Histogramy pro druhý až jedenáctý termín se od toho pro termín číslo jedna příliš neliší a proto nejsou uvedeny. My zařazujeme histogramy

3 Matematika mezi... aneb něco málo o diskriminaci 121 pro test z historie, jelikož zde se směs projevuje nejvíce a histogramy pro bodový součet. Směs dvou rozdělení lze odhalit v podstatě na všech histogramech odpovídajících dvanáctému termínu, přitom nejvíce se promíchání dat ze dvou výběrů projevuje právě u testu z historie a všeobecného přehledu. Naproti tomu histogramy prvního termínu poměrně dobře odpovídají hustotě normálního rozdělení. Na závěr ještě uvádíme tabulku s průměry výsledků jednotlivých testů a celkového bodového součtu zvlášť pro prvníchjedenáct termínů a pro termín dvanáctý. Průměry získaných bodů termín 12. termín (5110 studentů) (440 studentů) jazyk 10,11 10,95 historie 27,51 34,11 logika 28,64 32,05 bodový součet 66,27 77,11

4 122 Arnošt Komárek Z tabulky vidíme, že průměry dosaženýchbodů jsou u dvanáctého termínu vždy vyšší. Přitom rozdíl je věcně zanedbatelný pro jazyk a nejvyšší pro historii. Avšak statistické testy indikují významný rozdíl u všechuvažovanýchveličin. Jednostranný Wilcoxonův (Mannův-Whitneyův) test (s alternativou vyšších hodnot u dvanáctého termínu než u zbylých jedenácti termínů) dosahoval pro všechny uvažované veličiny hladiny nižší než 0,0001. Také tato zjištění nás utvrzují v domněnce, že máme co do činění se směsí dvou rozdělení. Podrobněji se lze s důvody, jež vedou k předpokladu, že data jsou směsí dvou rozdělení, seznámit na síti Internet na adrese kde je zveřejněn Komentář ke statistickému zpracování výsledků přijímacích zkoušek na Právnické fakultě UK v Praze v roce Pro vlastní sestavení diskriminační funkce použijeme výsledky všechuchazečů, kteří se zúčastnili prvníchdvanácti termínů. Takto získáme náhodný výběr ze směsi dvou rozdělení, přičemž nyní již promíchanost nevynikne tolik, jako v případě dvanáctého termínu. Prvních dvanácti termínů se zúčastnilo 5550 uchazečů. Odhady budeme počítat pomocí Matlabu. Po provedení výpočtů získáme následující výsledky: λ =0,062, µ 1 = 11,57 38,84, µ 0 = 10,09 27,32, Σ = 33,61 28,60 7,07 2,48 2,31 2,48 20,84 3,61 2,31 3,61 15,70 Vidíme, že odhad střední hodnoty bodových zisků běžných uchazečů je téměř shodný s průměry bodovýchzisků studentů, kteří se zúčastnili prvníchjedenácti termínů. Odhad střední hodnoty bodových zisků zvýhodněných uchazečů je o něco vyšší než průměr bodovýchzisků dosaženýchv rámci dvanáctého termínu. Tento fakt je způsoben skutečností, že dvanáctého termínu se zúčastnili též běžní studenti. Vzhledem k uvedenému se zdá, že data odpovídají domněnce, že prvníchjedenácti termínů se patrně nezúčastnil žádný zvýhodněný student. Z uvedených odhadů spočítáme odhady koeficientů v diskriminační funkci: β 0 = 25,92, β = 0,04 0,52. 0,20 Tedy uchazeče, který u přijímací zkoušky dosáhl bodového zisku reprezentovaného vektorem X =(jazyk, historie, logika), zařadíme mezi zvýhodněné, pokud 0,04 jazyk +0,52 historie +0,20 logika > 25,92. Pokud aplikujeme toto rozhodovací pravidlo na výsledky uvažovaných uchazečů, získáme následující odhady počtu běžných a zvýhodněných uchazečů na jednotlivýchtermínechpřijímací zkoušky. Odhady počtu běžnýchuchazečů jsou ve sloupci označeném nulou, počtu zvýhodněných uchazečů ve sloupci označeném jedničkou..

5 Matematika mezi... aneb něco málo o diskriminaci 123 Odhady počtu běžných a zvýhodněných uchazečů zařazení podíl termín 0 1 součet zvýhodněných (%) , , , , , , , , , , ,6 součet ,0 Samozřejmě, že ne každý uchazeč, který je podle našeho diskriminačního pravidla označen za zvýhodněného, jím skutečně je. Diskriminační funkce musí totiž pomocí roviny rozdělit jednoznačně trojrozměrný eukleidovský prostor na dvě části. Takto se do části se zvýhodněnými uchazeči může dostat i ten, který přirozeným způsobem (vlastními vědomostmi) dosáhl vyššího bodového zisku. Proto se mezi zvýhodněnými uchazeči objevují též studenti, kteří se zúčastnili jednoho z prvních jedenácti termínů, nikdy jichvšak není mnoho (maximálně 2,7 %). Naproti tomu v případě dvanáctého termínu bylo za zvýhodněné označeno 161 studentů, tj. 36,6 %, což podporuje domněnku, že někteří uchazeči, kteří se zúčastnili tohoto termínu přijímacích zkoušek, znali zadání testů předem. Pro srovnání ještě spočítáme odhady neznámých parametrů pouze s využitím dat z kritického dvanáctého termínu. Po provedení výpočtů dostaneme následující odhady: λ 12 =0,431, µ 12 1 = Σ 12 = 12,09 41,19 35,18, µ 12 0 = 6,83 1,47 1,64 1,47 12,12 2,74 1,64 2,74 14,92 10,08 28,75 29,68 Odhady µ 12 1, µ 12 0 a Σ 12 jsou poměrně blízké odhadům µ 1, µ 0, Σ. Odhad λ 12 sodhadem λ srovnávat nemůžeme, neboť se vztahuje k podílu zvýhodněných uchazečů v rámci dvanáctého termínu, který byl podstatně vyšší než v rámci celého přijímacího řízení. Odhady koeficientů v diskriminační funkci jsou následující: β 12 0 = 40,94, β12 =. 0,04 0,98 0,18 Pokud pomocí této diskriminační procedury zařadíme uchazeče, kteří se zúčastnili dvanáctého termínu, bude jich 185 označeno za zvýhodněné, což je o 24 více, než při diskriminaci prováděné pomocí původní procedury. Přitom žádný z uchazečů, který byl původní procedurou označen za zvýhodněného, nebude nyní nezvýhodněný. Nová procedura tedy pouze k původním zvýhodněným studentům přidala.,

6 124 Arnošt Komárek dalších24 uchazečů. Tato skutečnost může být způsobena faktem, že nyní byl podíl zvýhodněných uchazečů v učícím souboru podstatně vyšší, než při sestavování původní procedury. Zařazovat uchazeče z ostatních termínů pomocí procedury určené 12 koeficienty β 0 a β 12 nebude mít příliš velký smysl kvůli chybnému odhadu podílu zvýhodněných uchazečů v souboru všech studentů, kteří se zúčastnili přijímacích zkoušek. Upravíme-li tento odhad do tvaru λ 12,all = λ 12 počet uchazečů v 12. termínu 0, = =0,034 počet všechuchazečů 5550 a spočítáme pomocí µ 12 1, µ 12 0, Σ 12 a λ 12,all 12,all koeficienty β 0, β 12,all, jež vyjdou β 12,all 0 = 44,00, β12,all = 0,04 0,98 0,18 získáme diskriminační proceduru, pomocí níž již můžeme zařazovat též studenty z ostatních termínů. Tato procedura označí studenta za zvýhodněného, pokud 0,04 jazyk +0,98 historie +0,18 logika > 44,00. Toto rozhodovací pravidlo se na první pohled poměrně liší od původního pravidla založeného na β 0, β, ale pokud porovnáme rozhodnutí učiněná na základě těchto dvou procedur, zjistíme, že odlišnost není příliš velká, jak je možné se přesvědčit v následující tabulce, která obě procedury porovnává. Ve sloupci označeném 0 1 je počet uchazečů označených novou procedurou za zvýhodněné, ale starou za běžné, sloupec označený 1 0 obsahuje naopak počet uchazečů označených za zvýhodněné pouze původní procedurou. Sloupce původní a nová procedura přinášejí počty uchazečů, kteří byli označeni za zvýhodněné užitím příslušné diskriminační funkce. Porovnání dvou procedur původní nová počet odlišně termín procedura procedura zařazených součet Literatura. [1] Komárek A., Porovnání tří modelů, Diplomová práce MFF UK Praha, 2000 UK MFF, KPMS, Sokolovská 83, Praha komarek@karlin.mff.cuni.cz,