ANALÝZA OBTÍŽNOSTI TESTU STUDIJNÍCH PŘEDPOKLADŮ NA EKONOMICKO SPRÁVNÍ A PRÁVNICKÉ FAKULTĚ MASARYKOVY UNIVERZITY V ROCE 04 Marie Budíková Katedra aplikované matematiky, Přírodovědecká fakulta, Masarykova univerzita Janáčkovo náměstí 2a, 2 00 Brno budikova@math.muni.cz Abstrakt: Příspěvek si klade za cíl analyzovat obtížnost položek jednotlivých subtestů testu studijních předpokladů, který na Ekonomicko správní fakultě a Právnické fakultě Masarykovy univerzity slouží jako jediný nástroj u přijímací zkoušky. Pomocí krabicových diagramů a dvouvýběrových t-testů je posuzována rozdílnost středních hodnot obtížnosti položek jednotlivých subtestů pro všechny uchazeče o studium na těchto dvou fakultách, dále pro přijaté uchazeče o studium na a a posléze pro přijaté a nepřijaté uchazeče o studium na a studium na. Klíčová slova: test studijních předpokladů, subtest, index obtížnosti, krabicový diagram, dvouvýběrový t-test 1. Úvod Na většině fakult Masarykovy univerzity je v přijímacím řízení již několik let používán test studijních předpokladů (nadále TSP). Test obsahuje osmdesát otázek (položek), rozdělených do osmi okruhů, které se nazývají subtesty. Každý z nich je zaměřen na určitou specifickou oblast. Prověřuje schopnosti myšlení verbálního, numerického, symbolického, analytického, kritického a vědeckého a vedle toho i prostorovou představivost a schopnost úsudků. Univerzitní veřejnost se zamýšlí nad tím, zda v přijímacím řízení na různých fakultách posílit vliv různých subtestů, např. pro přijetí na Přírodovědeckou fakultu zdůraznit subtest Numerické myšlení nebo na Filosofickou fakultu Verbální myšlení. Zajisté tedy bude užitečné posoudit, jak obtížné byly položky v jednotlivých subtestech pro uchazeče o studium na různých fakultách. 2. Základní informace o TSP 2.1. Hrubé skóre a vážené skóre Ke každé z osmdesáti položek existuje právě jedna správná odpověď a čtyři chybné odpovědi (tzv. distraktory). Pokud uchazeč zvolí správnou odpověď, získá za danou položku jeden bod, v opačném případě žádný bod. Celkový počet bodů získaných v TSP (tzv. hrubé skóre - HS) se tedy může pohybovat od 0 do bodů. Na řešení testu mají uchazeči minut. Vzhledem k velkému počtu uchazečů o studium na Masarykově univerzitě nelze konat přijímací zkoušky ve stejnou dobu. Z tohoto důvodu je vždy sestaveno několik variant TSP, přičemž pro každou variantu jsou vytvořeny tři verze lišící se pořadím odpovědí v jednotlivých položkách. Varianty se však poněkud mohou lišit obtížností. Aby se eliminoval vliv varianty, je hrubé skóre v rámci každé varianty přepočteno na výkon na percentilové stupnici (vážené skóre - VS). Vážené skóre umožňuje objektivní porovnání výkonu jedince s výkony ostatních uchazečů. Nabývá hodnot mezi 0 a. Uchazeč je ke studiu přijímán podle hodnot váženého skóre.
2.2. Subtesty v testu studijních předpokladů Položky v TSP jsou seskupeny po deseti do tzv. subtestů, které zjišťují schopnost uchazeče řešit úlohy různého typu. Přehled o subtestech podává následující tabulka 1: číslo subtestu název subtestu čísla položek 1 Verbální myšlení 1 2 Numerické myšlení 11 3 Symbolické myšlení 21 4 Prostorová představivost 31 5 Úsudky 41 6 Analytické myšlení 51 7 Základy vědeckého myšlení 61 8 Kritické myšlení 71 Tab. 1: Názvy subtestů v TSP Pro lepší představu o TSP je uvedeno několik ukázek úloh z jednotlivých subtestů. Subtest 1 Verbální myšlení Určete, ve které z následujících dvojic je významový vztah jejích členů vztahem nejpodobnější následující dvojici: redundance: nadbytečnost a) pes: zajíc b) dřevo: pila c) přání: touha d) kutil: mrkev e) krůta: kohout Subtest 2 Numerické myšlení 14 19 22 17 18 16 Vyberte nejmenší a největší číslo:,,,,,, 3 5 6 7 6 7 5 18 16 14 22 17 16 19 18 a), b), c), d) 3, e), 3 7 5 5 7 6 5 6 7 Subtest 3 Symbolické myšlení V níže uvedeném slově zjistěte, v kolika případech má dvojice po sobě následujících písmen (první a druhé, druhé a třetí atd.) pořadí podle abecedy, tj. první písmeno je v abecedě dříve než písmeno následující. Slovo obhospodařovat a) 7 b) 6 c) d) 9 e) 8 Subtest 4 Prostorová představivost Ke které z níže uvedených kostek patří zobrazená síť? (b)
Subtest 5 Úsudky Určete větu (z níže uvedených nožností), kterou lze z daných vět zaručeně platně odvodit: Žádné pohrabáče nejsou měkké. Všechny podušky jsou měkké. a) Žádné podušky nejsou pohrabáče. b) Některé podušky nejsou pohrabáče. c) Všechny podušky jsou pohrabáče. d) Podušky jsou příjemnější než pohrabáče. e) Některé podušky jsou pohrabáče. Subtest 6 Analytické myšlení Varování: Nebudeš-li si čistit zuby nebo budeš-li jíst bonbóny, budeš muset k zubaři. Vyberte situaci, která je v rozporu s tímto varováním: a) Alenka nejedla bonbóny a musela k zubaři. b) Nikdo nemusel k zubaři. c) Pepíček si čistil zuby a musel k zubaři. d) Michálek si čistil zuby, nejedl bonbóny a musel k zubaři. e) Frantík si nečistil zuby, jedl bonbóny a nemusel k zubaři. Subtest 7 Základy vědeckého myšlení Galénos z Pergamu je osobnost, kterou spojujeme s dějinami a) astronomie b) teologie c) přirozeného práva d) medicíny e) ekologie Subtest 8 Kritické myšlení Za diskriminaci při přijímání do zaměstnání nelze považovat v běžných situacích (tj. nejde-li o specifická povolání) výběr osoby na základě a) pohlaví b) sexuální orientace c) věku d) odborné způsobilosti e) náboženského přesvědčení 3. Test studijních předpokladů na Ekonomicko správní fakultě a Právnické fakultě 3.1. Výjimečnost a z hlediska TSP V rámci přijímacího řízení na některé fakulty MU nebo studijní obory na fakultách je nutné absolvovat nejenom TSP, ale také odborné testy. K těmto fakultám patří například Lékařská fakulta či Pedagogická fakulta, ke studijním oborům biologie či geografie na Přírodovědecké fakultě. V roce 04 pouze uchazeči o studium na a řešili jen TSP. Při analýze TSP se tedy zaměříme na uchazeče, kteří se hlásili ke studiu na těchto dvou fakultách. 3.2. Informace o přijetí V roce 04 podalo na přihlášku 7446 uchazečů, ke studiu bylo přijato 18 uchazečů (18,9%), nepřijato 38 (81,1%). Na se hlásilo 9448 uchazečů, ke studiu bylo přijato 756 uchazečů (8%), nepřijato 8692 (92%). Testujeme-li na asymptotické hladině významnosti 0,05 hypotézu, že podíly přijatých uchazečů jsou na obou fakultách stejné, poskytne Pearsonův chí-kvadrát test testovou statistiku 443,61 s jedním stupněm volnosti. Odpovídající p-hodnota je velmi blízká nule, tedy hypotézu o shodě podílů zamítáme na asymptotické hladině významnosti 0,05. Podíl šancí na přijetí na je OR = = 2, 68, tedy ucha- 18 8692 756 38 zeči o studium na mají 2,68 krát vyšší šanci na přijetí než uchazeči o studium na. Na obrázku 1 jsou absolutní a relativní četnosti přijatých a nepřijatých uchazečů znázorněny pomocí výsečových diagramů.
prijat; 18; 19% prijat; 756; 8% neprijat; 38; 81% neprijat; 8692; 92% Obr. 1: Výsečové diagramy absolutních a relativních četností přijatých a nepřijatých uchazečů 4. Analýza subtestů z hlediska jejich obtížnosti 4.1. Výpočet indexu obtížnosti n Index obtížnosti položky testu se počítá podle vzorce P = S, kde n S je počet n osob, které danou položku vyřešily správně a n je celkový počet osob. Je-li tedy daná položka obtížná, bude index obtížnosti blízký 0, je-li naopak snadná, bude tento index blízký. Je-li položka správně zkonstruovaná, její index obtížnosti by se měl nacházet v intervalu,. Položky s indexem obtížnosti pod jsou extrémně těžké, naopak položky s indexem obtížnosti nad jsou extrémně snadné. Graf indexů obtížnosti položek na obou fakultách vidíme na obrázku 2: Obr. 2: Průběh indexů obtížnosti položek TSP Lze konstatovat, že v průběhu indexů obtížnosti položek na obou sledovaných fakultách nejsou téměř žádné rozdíly. Tento dojem je podpořen provedením dvouvýběrového t-testu, jehož výsledek vidíme v tabulce 2: t sv p Sm.odch. Sm.odch. F-pomě P,79,75 0,0151 158 0,98 19,00 19,15 1,0157 Tab. 2: Výsledky dvouvýběrového t-testu pro celý TSP
Hodnota testové statistiky pro test hypotézy, že střední hodnota indexů obtížnosti je na obou fakultách stejná, je velmi malá (t = 0,0151), p-hodnota je blízká 1 (p = 0,988), tedy na hladině významnosti 0,05 nulovou hypotézu nezamítáme. 4.2. Obtížnost položek subtestů pro uchazeče o studium na a Zaměříme se nyní na hledání rozdílů v obtížnosti položek jednotlivých subtestů pro všechny uchazeče o studium na a. Obrázek 3 znázorňuje pomocí krabicových diagramů (je použita varianta krabicových diagramů s průměrem, směrodatnou chybou, minimem a maximem) indexy obtížnosti položek v jednotlivých subtestech. 1 2 3 4 5 6 7 8 P_ P_ Obr. 3: Krabicové diagramy obtížnosti položek v osmi subtestech pro a všichni Z těchto krabicových diagramů vyplývá, že první, sedmý a osmý subtest byly snazší pro uchazeče o studium na. Variabilita indexů obtížnosti v jednotlivých subtestech byla na obou fakultách srovnatelná. S výjimkou třetího subtestu vykazují indexy obtížnosti položek v subtestech jen malé odchylky od normálního rozložení, proto na vyhodnocení rozdílů v úrovni obtížnosti položek v subtestech použijeme dvouvýběrový t-test. Výsledky jsou zachyceny v tabulce 3: subtest 1 subtest 2 subtest 3 subtest 4 subtest 5 subtest 6 subtest 7 subtest 8 t sv p Sm.odch. Sm.odch. F-poměr p 77,25 78,38-0,5342 18 0,5997 5,00 4,44 1,2636 0,7331,48 49,01 0,3677 18 0,7174 9,12 8,83 1,0669 0,9248,21 78,61 0,1386 18 0,8913 24,83 26,48 1,1373 0,8511 73,97 72,14 0,22 18 0,8252 18,08 18,55 1,0527 0,93 49,56 48,67 0,1322 18 0,8963 14,81 15,26 1,06 0,91 45,31 44,59 0,19 18 0,84 8,18 8, 1,0055 0,9936 47,03 49,99-0,28 18 0,4912 9,47 9, 1,0157 0,9819 62,53 64,58-0,4835 18 0,6346 9,44 9,56 1,0268 0,9692 Tab. 3: Výsledky dvouvýběrového t-testu pro osm subtestů - všichni Ve všech osmi případech jsou p-hodnoty větší než hladina významnosti 0,05, tedy na této hladině nezamítáme hypotézu o shodě středních hodnot indexů obtížnosti položek v jednotlivých subtestech pro uchazeče o studium na a.
4.3. Obtížnost položek subtestů pro přijaté uchazeče o studium na a Nyní naše zkoumání omezíme pouze na přijaté uchazeče. Podívejme se na obrázek 4, který znázorňuje krabicové diagramy indexů obtížnosti položek jednotlivých subtestů pro uchazeče, kteří byli přijati ke studiu na či : 1 2 3 4 5 6 7 8 P P P P Obr. 4: Krabicové diagramy obtížnosti položek v osmi subtestech pro a - přijatí V tomto případě už je situace poněkud odlišná. Jsou pozorovatelné větší rozdíly jak v průměrech, tak ve směrodatných chybách. Testujeme-li pomocí dvouvýběrového t-testu hypotézu, že střední hodnoty indexů obtížnosti položek v jednotlivých subtestech jsou stejné pro uchazeče o studium na sledovaných dvou fakultách, dostaneme výsledky zaznamenané v tabulce 4: subtest 1 subtest 2 subtest 3 subtest 4 subtest 5 subtest 6 subtest 7 subtest 8 t sv p Sm.odch. Sm.odch. F-poměr p 86,16 89,29-1,6327 18 0,1199 4,79 3, 1,6817 0,47 65,99 71,01-1,1466 18 0,2666,47 9,03 1,3446 0,6663 87,22 88,93-0,19 18 0,86,49 19,37 1,1188 0,8699 86,08 87,34-0,2298 18 0,89 12, 12,00 1,0842 0,61 69,74 74,74-0,8843 18 0,3882 13,81 11,35 1,48 0,56 67,28 73,48-2,2761 18 0,0353 6,44 5,71 1,2716 0,7263 61,45 66,98-1,2243 18 0,2366,67 9,49 1,2627 0,7339 81,45 85,08-1,09 18 0,2867 8,05 6,67 1,4566 0,5843 Tab. 4: Výsledky dvouvýběrového t-testu pro osm subtestů - přijatí Všechny subtesty byly snazší pro přijaté uchazeče o studium na. Na hladině významnosti 0,05 se prokázala odlišnost ve střední hodnotě indexů obtížnosti položek šestého subtestu, tj. toho subtestu, který je zaměřen na analytické myšlení. Pro budoucí právníky byl tento subtest výrazně snazší než pro budoucí ekonomy. Získané výsledky ovšem nejsou překvapující, neboť výběr uchazečů na je mnohem přísnější než na.
4.4. Obtížnost položek subtestů pro přijaté a nepřijaté uchazeče o studium na a o studium na Nyní prozkoumáme rozdíly mezi přijatými a nepřijatými uchazeči z hlediska obtížnosti jednotlivých subtestů. Obrázek 5 znázorňuje krabicové diagramy obtížnosti položek v subtestech pro přijaté a nepřijaté uchazeče: 1 2 3 4 5 6 7 8 P N P P 1 2 3 4 5 6 7 8 P N P P Obr. 5: Krabicové diagramy obtížnosti položek v osmi subtestech pro přijaté a nepřijaté U obou fakult jsou pozorovatelné velmi výrazné rozdíly v obtížnosti položek jednotlivých subtestů pro přijaté a nepřijaté uchazeče. Použijeme dvouvýběrový t-test k testování hypotézy, že střední hodnoty indexů obtížnosti položek v jednotlivých subtestech jsou stejné pro přijaté a nepřijaté uchazeče. Výsledky pro jsou uvedeny v tabulce 5, pro v tabulce 6: subtest 1 subtest 2 subtest 3 subtest 4 subtest 5 subtest 6 subtest 7 nep rijat prijat t sv p Sm.odch. nep rijat Sm.odch. prijat F-poměr 75,17 86,16-4,9424 18 0,0001 5,15 4,79 1,1535 46,86 65,99-4,4 18 0,0003 8,85,47 1,09 78,57 87,22-0,8283 18 0,4183 25,93,49 1,18 71,15 86,08-2,0427 18 0,05 19,45 12, 2,4223 44,85 69,74-3,81 18 0,0013 15,31 13,81 1,2293,18 67,28-7,9798 18 0,0000 8,59 6,44 1,70 43,66 61,65-3,9871 18 0,0009 9,24,67 1,3343 Tab. 5: Výsledky dvouvýběrového t-testu pro osm subtestů přijatí a nepřijatí, subtest 1 subtest 2 subtest 3 subtest 4 subtest 5 subtest 6 subtest 7 neprijat prijat t sv p Sm.odch. neprijat Sm.odch. prijat F-poměr 77,43 89,29-6,3982 18 0,0000 4,55 3, 1,5141 47,09 71,01-5,9891 18 0,0000 8,82 9,03 1,0486 77,72 88,93-1,0626 18 0, 27,16 19,37 1,9658,82 87,34-2,3 18 0,0329 19,16 12,00 2,54 46, 74,74-4,6317 18 0,0002 15,67 11,35 1,68 42,07 73,48-9,7382 18 0,0000 8,45 5,71 2,18 48,52 66,98-4,3653 18 0,0004 9,43 9,49 1,0147 Tab. 6: Výsledky dvouvýběrového t-testu pro osm subtestů přijatí a nepřijatí,
Vidíme, že na obou fakultách jsme s rizikem omylu nejvýše 5% prokázali rozdíly ve střední hodnotě indexů obtížnosti položek subtestů číslo 1, 2, 5, 6, 7, 8 pro přijaté a nepřijaté uchazeče, na navíc ještě u subtestu číslo 4. Vzhledem k tomu, že stupně volnosti jsou pro všechny testové statistiky stejné, můžeme vliv jednotlivých subtestů na přijetí uchazeče posuzovat přímo pomocí hodnoty testové statistiky t. Na má největší vliv subtest číslo 6 Analytické myšlení a dále subtest číslo 8 Kritické myšlení. Rovněž na se jako nejvlivnější projevuje subtest číslo 6, na druhém místě se však ocitá subtest číslo 1 Verbální myšlení. Naopak subtesty číslo 3 Symbolické myšlení a číslo 4 Prostorová představivost se pro přijetí uchazečů jeví nejméně vlivné. Na obou fakultách byl pro přijaté uchazeče nejobtížnější subtest číslo 7 Základy vědeckého myšlení, pro nepřijaté uchazeče pak subtest číslo 6 Analytické myšlení. 5. Závěr Zaměřili jsme se analýzu testu studijních předpokladů na Ekonomicko správní fakultě a Právnické fakultě Masarykovy univerzity, přičemž jsme použili údaje z přihlášek z roku 04. Vzhledem k tomu, že uchazeč může podat přihlášku na několik fakult MU současně a přitom řeší TSP pouze jednou, není vyloučeno, že výsledky stejných uchazečů mohou být zahrnuty jak na, tak na. Naším hlavním cílem bylo zkoumání indexů obtížnosti položek v osmi subtestech, které tvoří TSP. S rizikem omylu nejvýše 5% jsme prokázali, že na obou sledovaných fakultách neexistuje rozdíl ve střední hodnotě indexů obtížnosti položek jednotlivých subtestů; pro přijaté uchazeče existuje rozdíl ve střední hodnotě indexů obtížnosti položek šestého subtestu Analytické myšlení, tento subtest byl výrazně snazší pro uchazeče o studium na ; pro přijaté a nepřijaté uchazeče o studium na existuje rozdíl ve střední hodnotě indexů obtížnosti položek subtestů číslo 1, 2, 5, 6, 7, 8, přičemž největší vliv na přijetí vykazují subtesty číslo 6 Analytické myšlení a dále číslo 8 Kritické myšlení ; pro přijaté a nepřijaté uchazeče o studium na existuje rozdíl ve střední hodnotě indexů obtížnosti položek subtestů číslo 1, 2, 4, 5, 6, 7, 8, přičemž největší vliv na přijetí vykazují subtesty číslo 6 Analytické myšlení a dále číslo 1 Verbální myšlení ; pro přijaté uchazeče na obou fakultách byl shodně nejobtížnější subtest číslo 7 Základy vědeckého myšlení, pro nepřijaté uchazeče pak subtest číslo 6 Analytické myšlení. Lze konstatovat, že o přijetí na a se uchází v podstatě stejný typ studentů. Výběr uchazečů o studium na je však přísnější než na (na bylo přijato pouze 8% uchazečů, na téměř 19%), proto jsou na větší rozdíly mezi přijatými a nepřijatými uchazeči než na. Literatura: [1] Anděl, J.: Matematická statistika. SNTL/Alfa Praha 1978. [2] Dan, J., Budíková, M.: Test studijních předpokladů TSP 04. Analytická studie. MU Brno 04. [3] STATISTICA for Windows. StatSoft, Inc. 00.