Klíčová slova prediktory absolvování studia medicíny, logistická regrese, ROC křivky

Transkript

1 STUDIUM SOUVISLOSTÍ MEZI ÚSPĚŠNOSTÍ STUDIA MEDICÍNY, ZNÁMKAMI STUDENTŮ NA STŘEDNÍ ŠKOLE A VÝSLEDKY PŘIJÍMACÍCH ZKOUŠEK 1 Čestmír Štuka, Petr Šimeček Anotace Studie analyzuje úspěšnost studentů přijatých v letech na 1. lékařskou fakultu UK. Ukazuje, že počet bodů získaných u přijímacích zkoušek je nepříliš dobrým prediktorem úspěšnosti studia, a navrhuje, jak přijímací řízení zefektivnit využitím znalosti známek ze střední školy. Klíčová slova prediktory absolvování studia medicíny, logistická regrese, ROC křivky Cílem naší studie bylo zhodnocení vlivu jednotlivých faktorů známých v době přijetí studenta na vysokou školu na úspěšnost (=úspěšné dokončení) studia medicíny. Při stanovení metodiky jsme se inspirovali předchozími pracemi Kožený et al. (2001) a Stránský, Štefanová (1998). Výše zmíněné práce studovaly pouze vzájemnou souvislost po dvojicích veličin, tedy obvykle nějakým způsobem kvantifikovanou závislost úspěšnosti a jednoho z faktorů. Interpretace takovýchto výsledků může být snadno zavádějící, viz známý příklad průkazné korelace mezi porodností a čapí populací v daném regionu z Disman (2002). V této studii ukazujeme, že samotný počet bodů u přijímacích zkoušek je nepříliš dobrým prediktorem úspěšnosti, a s využitím logistické regrese analyzujeme, co jsou skutečné předpoklady úspěšného absolvování studia medicíny. Naše závěry by mohly být užitečné například při racionalizaci přijímacího řízení. Práce je rozdělena do čtyř kapitol: V první kapitole se věnujeme popisu a přípravě dat. Druhá kapitola shrnuje použité metody. Ve třetí kapitole jsou uvedeny a ve čtvrté kapitole spolu s diskuzí interpretovány dosažené výsledky. Veškeré statistické analýzy byly provedeny ve volně dostupném prostředí R 2.1.1, grafy ROC křivek jsou nakresleny v SPSS. 1. Popis dat Data pochází od 673 českých a slovenských studentů 2, jež započali magisterské studium všeobecného lékařství nebo stomatologie na 1. lékařské fakultě Univerzity Karlovy v letech a toto 1 Tato práce byla podpořena z grantu GA ČR 201/05/H Pokud je autorům známo, jedná se o nejrozsáhlejší studii prediktorů úspěšnosti studia medicíny v ČR.

2 studium do roku 2005 ať již úspěšně či neúspěšně zakončili. Sedm (1%) studentů, jež mají studium přerušeno či stále ještě studují, není do studie zahrnuto. Pakliže studenti započali studium v tomto období vícekrát, je započítán pouze jejich první pokus. Navíc bylo ze studie vyřazeno 46 (7%) jedinců, o nichž nemáme dostupné všechny potřebné údaje, neboť se neúčastnili všech částí přijímací zkoušky (4 jedinci), údaje o jejich středoškolském studium jsou zjevně neadekvátní (9 jedinců) nebo na jejich přihlášce ke studiu chybějí známky z některých předmětů (33 jedinců). Vybraná populace se tedy skládá z 626 studentů, z nichž 463 (74%) studium úspěšně absolvovalo a 163 (26%) studia zanechalo. Z úspěšných studentů 341 ukončilo studium v řádném termínu (6 let), zatímco 122 jich potřebovalo dobu delší. Sledovanými atributy jsou pohlaví, typ středoškolského vzdělání (gymnaziální/jiné), počet bodů na jednotlivých částech přijímacích zkoušek (biologie, chemie, fyzika), průměrné známky za středoškolské studium z matematiky, fyziky, chemie, biologie a českého jazyka a průměrné známky z jednotlivých ročníků. Z těchto údajů byl dále dopočten součet bodů za přijímací zkoušky celkově, průměr z průměrů za jednotlivé ročníky a rozdíl průměrů v posledním a prvním ročníku střední školy zrcadlící zlepšení či zhoršení žáka během studia. Popisné statistiky jsou uvedeny v příloze. Před tím, než přistoupíme k samotné analýze, podívejme se podrobněji na jednotlivé faktory a vztahy mezi nimi. Pokud aplikuje podle Johnson, Wichern (2002) shlukovou analýzu nebo biplot na výsledky přijímacích zkoušek a známky ze střední školy (Obrázek 1), zjistíme, že jednotlivé části přijímacích zkoušek souvisejí více spolu navzájem než se středoškolskými známkami z odpovídajících předmětů. Zdá se tedy, že známky na vysvědčení nesou informaci do značné míry odlišnou od výsledků přijímacích zkoušek. SS.M SS.F SS.CJ SS.CH SS.B BODY.F BODY.CH BODY.B Dendrogram Vzdalenost Biplot Comp.1 Comp SS.M SS.F SS.CH SS.B SS.CJ BODY.CH BODY.B BODY.F absolvoval neabsolvoval Obr. 1: Dendrogram shlukové analýzy (Eukl. vzdálenost, úplné spoj.) a biplot

3 2. Přehled použitých metod Nejprve se budeme ve shodě s předchozími pracemi zabývat předpovědí úspěšnosti studia na základě jediného faktoru. K hodnocení jsme zvolili absolutní hodnotu Kruskalova gamma koeficientu (viz Agresti (2002), str.58). Tento koeficient nabývá hodnot z intervalu [ 1,1] a lze jej do jisté míry považovat za neparametrickou obdobu Pearsonova korelačního koeficientu: pakliže by všichni úspěšní studenti měli hodnotu zkoumaného faktoru vyšší (resp. nižší) než neúspěšní, byla by jeho hodnota 1 (resp. 1). Naopak pro kritéria s úspěchem studia nesouvisející by jeho hodnota měla být blízko 0. Podrobněji schopnost predikce vyšetříme pomocí tzv. ROC křivky, viz např. Zvárová (1998), tj. grafu, kde na osu x nanášíme podíl ze studentů neschopných dokončit studium, jež by byli přijati, a na osu y nanášíme podíl ze studentů schopných absolvovat, jež by byli přijati, při měnící se hraniční mezi klasifikace podle daného kritéria. Křivka tedy začíná v bodě [0,0] (nepřijmeme nikoho) a míří do bodu [1,1] (přijmeme všechny). Plochu pod ROC křivkou (AUC) lze interpretovat jako ukazatel kvality prediktoru. Výše uvedené metody nevypovídají nic o tom, jaké atributy zvolit, když se nechceme při predikci omezovat jen na jeden faktor. Kupříkladu to, že středoškolská známka z matematiky je dobrým prediktorem úspěšného studia, nevypovídá nic o tom, zda je užitečné tuto známku zahrnout do predikčního modelu, když již do něj zařadili známku z fyziky. Mnohem užitečnější se ukazuje přidat do modelu rozdíl mezi průměrem známek v posledním a prvním ročníku střední školy, což je sám o sobě poměrně špatný prediktor, nese ale "novou" informaci. Pro konstrukci predikcí na základě více faktorů budeme užívat logistickou regresi, tj. modely, u kterých je logit (logaritmus poměru šancí) na úspěšné dokončení studia popsán jako lineární kombinace prediktorů, viz např. Agresti (2002). Modely budeme porovnávat na základě Akaikeho informačního kritéria (AIC). Prediktor γ (s.e.) AUC (s.e.) Prediktor γ (s.e.) AUC (s.e.) SŠ matematika 0,31 (0,06) 0,64 (0,03) SŠ rozdíl ,05 (0,05) 0,53 (0,03) SŠ fyzika 0,35 (0,05) 0,66 (0,03) Body fyzika 0,28 (0,05) 0,64 (0,03) SŠ biologie 0,36 (0,06) 0,65 (0,03) Body biologie 0,12 (0,06) 0,56 (0,03) SŠ chemie 0,35 (0,05) 0,66 (0,03) Body chemie 0,31 (0,05) 0,65 (0,03) SŠ čes. jazyk 0,28 (0,06) 0,63 (0,03) Body celkem 0,28 (0,05) 0,64 (0,03) SŠ průměr 0,33 (0,05) 0,66 (0,03) Tab. 1: Kruskalovo gamma a plocha pod ROC křivkou u jednotlivých prediktorů

4 3. Výsledky V Tabulce 1 na předchozí straně je přehled Kruskalových gamma koeficientů a ploch pod ROC křivkami pro jednotlivé prediktory. Povšimněme si, že známky ze střední školy se zdají být lepšími prediktory než body z přijímacích zkoušek. To potvrzuje i Obrázek 2. Podíl přijatých z úspěšných studentů ROC Podíl přijatých z neúspěšných studentů Obr. 2: ROC křivky Referenční přímka Body celkem Body fyzika Body biologie Body chemie SŠ průměr SŠ čes. jazyk SŠ biologie SŠ chemie SŠ fyzika SŠ matematika U logistické regrese začneme modelem s výsledky přijímacích zkoušek. Koeficienty modelu predikce úspěchu studia v závislosti na bodech z biologie, chemie a fyziky, můžete vidět v Tab. 2. Povšimněme si znaménka u koeficientu b 1 značícího, že při daném výsledku přijímacího testu z fyziky a chemie, je test z biologie nejen neužitečný, ale dokonce matoucí (čím méně bodů, tím spíše bude student úspěšný)! logit(pst_úspěchu) = b 0 b 1 body_biologie b 2 body_fyzika b 3 body_chemie Koeficient Odhad s.e. Z hodnota p hodnota B 0-3, , , B 1-0, , ,082 0, B 2 0, , , B 3 0, , , Tab. 2: Model závislosti prav. úspěchu na výsledcích přijímacích zkoušek Model nyní obohatíme o zbylé prediktory a postupně budeme vyřazovat ty, jejichž odebrání vede ke snížení AIC (viz Tabulka 3) až získáme model předpovídající logit úspěšnosti studia na základě bodů z přijímacího testu z fyziky a chemie, průměrné středoškolské známky z biologie a chemie a rozdílu mezi průměrem v čtvrtém a prvním ročníku střední školy (viz Tabulka 4, podrobněji v příloze). Zdůrazněme ještě jednou, že nezařazení ostatních faktorů, tj. průměrné středoškolské známky z matematiky, českého jazyka a biologie, bodů za přijímací zkoušky z biologie,... do modelu v žádném případě neznamená, že by snad tyto s úspěšností studia nesouvisely. Jen jejich znalost není užitečná, pokud již známe faktory do modelu zahrnuté.

5 Veličiny v modelu pohlaví, body_fyzika, body_chemie, sš_matematika, sš_fyzika, sš_chemie, 653,52 sš_biologie, sš_čes_jazyk, typ_školy,sš_prům._prospěch, sš_rozdíl_prům. pohlaví, body_fyzika, body_chemie, sš_fyzika, sš_chemie, sš_biologie, 651,52 sš_čes_jazyk, typ_školy, sš_prům._prospěch, sš_rozdíl_prům. pohlaví, body_fyzika, body_chemie, sš_fyzika, sš_chemie, sš_biologie, 650,73 sš_čes_jazyk, typ_školy, sš_rozdíl_prům. body_fyzika, body_chemie, sš_fyzika, sš_chemie, sš_biologie, 648,97 sš_čes_jazyk, typ_školy, sš_rozdíl_prům. body_fyzika, body_chemie, sš_fyzika, sš_chemie, sš_biologie, typ_školy, 647,29 sš_rozdíl_prům. body_fyzika, body_chemie, sš_fyzika, sš_chemie, sš_biologie, 645,78 sš_rozdíl_prům. body_fyzika, body_chemie, sš_chemie, sš_biologie, sš_rozdíl_prům. 645,68 Tab. 3: Postupný výběr modelu na základě AIC kritéria Výsledek je poměrně robustní vůči drobným modifikacím. Pokud do modelu přidáme libovolný dříve vyloučený prediktor, hodnota AIC se zvýší. Dále pokud místo průměrů známek do modelu zahrneme čtverce těchto průměrů (progresivně znevýhodníme horší známky), výše popsaná procedura nalezne opět tentýž model. Stejně tomu bude, pokud závislost logitu pravděpodobnosti úspěchu na bodech z přijímacích zkoušek modelujeme (realističtěji) jako kvadratický polynom. logit(pst_úspěchu) = b 0 b 1 body_fyzika b 2 body_chemie b 3 sš_chemie b 4 sš_biologie b 5 rozdíl_mezi_4_a_1_průměrem Koeficient Odhad s.e. Z hodnota p hodnota b 0-2, , ,100 0, b 1 0, , ,949 0, b 2 0, , , b 3-0, , ,361 0, b 4-0, , ,934 0, b 5-0, , ,025 0, Tab. 4: Model závislosti logitu pravděpodobnosti úspěchu na zvolených prediktorech Abychom demonstrovali jakého zlepšení lze s pomocí tohoto modelu dosáhnout, zvažme úlohu klasifikace našich 626 studentů na dvě skupiny o 463 a 163 studentech (odpovídá počtu úspěšných a neúspěšných jedinců). V případě klasifikace podle bodů za přijímací zkoušky se dopustíme 272 (42%) chyb, podle průměrného prospěchu 176 chyb (28%), konečně podle navrženého kritéria jen 158 chyb (25%). Pokud vybereme z populace subpopulaci studentů, kteří studium dokončili, a "úspěšnými" pro tuto chvíli nazveme pouze ty z nich, kterým se to podařilo v 6 letech, můžeme zkoumat, jaké jsou prediktory AIC

6 absolvování studia v řádném termínu. Provedeme-li výběr modelu metodou analogickou k výše popsané, zjistíme, že mezi absolvujícími studenty je jednoznačným ukazatelem na včasné zakončení studia úspěch ve fyzice (jak na střední škole, tak u přijímacích zkoušek). 4. Závěr Naše studie poukázala na dva znepokojivé aspekty přijímacího řízení na 1. lékařské fakultě UK v letech Za prvé se zdá, že kvalita testů z biologie byla velice nízká a jejich přidaná hodnota k testům z fyziky a chemie zanedbatelná. Dále, výsledky studentů na střední škole byly zcela ignorovány, přestože tyto výsledky u studentů přijatých ke studiu predikují úspěšnost lépe než body z přijímacích zkoušek a kombinací obojího lze dosáhnout dalšího zlepšení. Je pochopitelně diskutabilní, a autoři této studie jsou si toho vědomi, nakolik je hodnocení prediktorů na základě přijatých studentů zobecnitelné na (nové) studenty ke studiu se hlásící, dále nakolik by změna přijímacího řízení mohla vést k deformaci hodnocení studentů na středních školách, zvláště těch hlásících se na medicínu, a do jaké míry lze úspěch studenta hodnotit jen základě schopnosti školu dokončit (a ne již např. podle studijních výsledků). Toto by spolu s lepším ošetřením chybějících pozorování a vícekrát ke studiu přijatých studentů mělo být předmětem dalšího výzkumu. Bližší zkoumání by si také zasluhovalo, proč právě studenti úspěšní ve fyzice spíše absolvují studium v řádném termínu a proč bylo ke studiu přijato i několik studentů s výrazně nižším počtem bodů na přijímacích zkouškách 3. Čestmír Štuka, stuka@cesnet.cz, 1. LF UK, Na Bojišti???, Praha. Petr Šimeček, 5r@matfyz.cz, ÚTIA AV ČR, Pod Vodárenskou věží 4, Praha. Reference: [1] A. Agresti: Categorical Data Analysis. Wiley, [2] M. Disman: Jak se vyrábí sociologická znalost. Karolinum, [3] R.A. Johnson, D.W. Wichern: Applied Multivariate Statistical Analysis, Wiley, [4] J. Kožený et al.: Akademická úspěšnost na střední škole: prediktor absolvování studia medicíny, Čs. psychol. 45, [5] P. Stránský, S. Štefanová: Mohou výsledky přijímacího řízení predikovat studijní výsledky v pregraduálním studiu medicíny? XXI. dny lékařské biofyziky, Horní Poříčí, [6] J. Zvárová: Základy statistiky pro biomed. obory. Karolinum, Rozdělení počtu bodů z přijímacích zkoušek má těžký levý chvost. Pokud se zaměříme na 12 (2%) studentů s méně než 200 body, zjistíme, že v řádném termínu z nich studium nedokončil nikdo a později jen jeden z nich.

7 Příloha popisné statistiky a kvalita navrženého kritéria Popisné statistiky: SŠ matematika SŠ fyzika SŠ chemie SŠ biologie SŠ čes. jazyk Body chemie Body biologie Body fyzika Body celkem SŠ průměr SŠ rozdíl prům. Popisné statistiky Minimum Maximum Průměr Sm. odchylka 1 4 2,01,705 4,00 1,7916, , ,664563, ,42,477 4,00 100, ,61 11, ,86 8, ,42 9, ,88 25, ,1500 1,552097, ,76 1,40,0259,28993 žena muž Pohlaví Frekvence % , , ,0 Typ středoškolského vzdělání gym. jiné Frekvence % ,8 26 4, ,0 Porovnání klasifikace na základě kritéria z modelu v Tab. 4 s průměrným prospěchem na střední škole a počtem bodů na přijímacích zkouškách: Kritérium = 0,02313 body_fyzika 0,03651 body_chemie 0,52205 sš_chemie 0,53240 sš_biologie 0,66876 rozdíl_mezi_4_a_1_průměrem Podíl přijatých z úspěšných studentů ROC Referenční přímka Námi navržené skóre Body celkem SŠ průměr Prediktor γ AUC Nové kritérium 0,45 0,72 SŠ průměr 0,33 0,66 Body přij. zkoušky 0,28 0,64 Tab. 5: Srovnání dle γ a AUC Podíl přijatých z neúspěšných studentů Obr. 3: Srovnání námi navrženého kritéria, průměru na střední škole a bodů z přijímacích zkoušek podle ROC křivek