RNDr. Čestmír Štuka, Ph.D., MBA (1. LF UK) MUDr. Martin Vejražka, Ph.D. (1. LF UK) RNDr. Patrícia Martinková, Ph.D. (ÚI AV ČR) Mgr. Martin Komenda (LF MU) MUDr. Jan Trnka, Ph.D. (3. LF UK)
Testový cyklus Zpětná vazba Definování cílů výuky Plán testu (Blueprinting) Zkušenosti učitele Psaní a oponování otázek Banka úloh Pilotování testu Analýza výsledků testu (reliabilita, validita, položková analýza) Standardizace Realizace testu Ohodnocení studentů Volně upraveno podle: TAVAKOL, MohsenaRegDENNICK.Post Examination Analysis of Objective Tests. AMEE, 2011. AMEE guide; sv. 54. ISBN 978-1-903934-91-3.
Otázky MTF Multiple true/false Chlorid amonný má ve své molekule čtyři atomy vodíku rozpuštěním ve vodě dává zásaditý roztok uvolňuje po přidání hydroxidu sodného amoniak je silné oxidační činidlo
Otázky SBA Otázky s jedinou nejlepší odpovědí (single best answer, SBA) 32letý muž přichází pro 4 dny trvající, postupně progredujícíslabost končetin. Dosud byl zdráv, před 10 dny však prodělal infekci horních cest dýchacích. Je afebrilní, arteriální tlak má 130/80 mmhg, tepovou frekvenci 94 / min. Dýchání je mělké a nápadně zrychlené. V orientačním neurologickém nálezu dominuje symetrická slabost mimických svalů a svalů horních i dolních končetin. Čití je intaktní. Hluboké šlachové reflexy nelze vybavit. Zánikové jevy jsou negativní. Která z následujících diagnóz je nejpravděpodobnější? (Vyberte jedinou odpověď) akutní diseminovaná encefalomyelitida syndrom Guillain-Barré myasthenia gravis poliomyelitis polymyositis
Pět zásad tvorby SBA 1. Ptejte se na významné problémy Vyvarujte se chytáků 2. Testujte využití znalostí, nikoliv fakta sama Otázka bývá dlouhá, odpovědi krátké 3. Formulujte jasně a jednoznačně Odborník správně odpoví i se zakrytými odpověďmi 4. Pozor na slova většinou, zřídka, výjimečně, 5. Nabídnuté odpovědi musí být homogenní
Otázky SBA Pět zásad 5. Nabídnuté odpovědi musí být homogenní
Tvorba SBA Otázka MTF: Akutní intermitentní porfyrie je podmíněna poruchou biosyntézy kolagenu kortikosteroidů mastných kyselin hemu tyroxinu E-testování
Tvorba SBA Dosud zdravý 33letý muž přichází pro epizody křečovitých bolestí břicha a svalové slabosti, které se vyskytují v posledním půl roce. Podobné obtíže mívá teta a bratranec. V průběhu epizody je břicho vzedmuté, peristaltika obleněná. V neurologickém nálezu je snížená síla velkých svalů horních končetin. Nález odpovídá defektu biosyntetické dráhy pro (vyberte jedinou nejlepší odpověď) kolagen kortikosteroidy mastné kyseliny hem tyroxin
Standardizace testů Zajištění rovnosti podmínek, porovnatelnosti výsledků testovaných a různých verzí testu, aby zkoušení bylo: spravedlivé objektivní reprodukovatelné
Standardizace Standardizace jako zajištění rovnosti podmínek Standardizované testování ve staré Číně Hannibalův současník Čchin S'-chuang, který vládl malému, zaostalému státu Čchin, dobyl a podmanil všechna okolní království. Jeho následníci, aby udrželi dobytá území pod kontrolou, zrušili v 1. př. n. l. výsadní postavení aristokracie a státní správu svěřili centralizovanému byrokratickému aparátu, do nějž bylo třeba vybírat kompetentní a loajální úředníky. Uchazeči o státní službu skládali přísné písemnécísařské, nebo téžliterátské zkoušky. Tento systém výběru úředníků byl pak používán 2000 let. Testování bylo písemné, anonymizované a velmi důkladně chráněné.
Standardizace testů určení objektivní hranice pro úspěšné absolvování testu stanovení mezí pro klasifikaci testové skóre nemá vypovídací hodnotu o tom, jak student v testu obstál vyjádření výsledků testovaného vzhledem k výsledkům reprezentativního vzorku nebo k absolutním kritériím Absolutní standardizace - porovnává výkony studenta s pevnými kritérii Relativní standardizace - porovnává výsledky studentů mezi sebou
Relativní a absolutní standardizace E-testování
Relativní standardizace 0,4 četnost 0,3 0,2 34,1% 34,1% 0,1 0,1% 13,6% 13,6% 2,1% 2,1% 0,1% -4σ -3σ -2σ -1σ μ +1σ +2σ +3σ -4σ nedostatečně dobře velmi dobře výborně Nevztahuje se k obsahu testu, ale porovnává studenty mezi sebou Závislost hodnocení jednotlivce na výkonu dané skupiny V každém testu určitá část studentů neuspěje bez ohledu na znalosti Měřítkem směrodatná odchylka
Absolutní standardizace Frekventant kurzu první pomoci nesmí projít testem, pokud nezvládne základní kardiopulmonální resuscitaci. Jde tedy o absolutní kritéria pro průchod testem a tento krok se proto nazývá absolutní standardizace. Kritériem může být počet bodů, kterého musí frekventant dosáhnout. Např. 75% Při arbitrárním stanovení meze úspěšnosti mohou být testy příliš jednoduché, nebo naopak příliš obtížné EXPERTNÍ POSUDEK Angoffova a Ebelova metoda
Standardizace Co je smyslem vysokoškolského vzdělávání? První pohled vysokoškolské vzdělávání jako na šestiletý test inteligence, který třídí jednotlivce podle intelektuálních schopností a pracovních návyků. Tento přístup odráží zájem potenciálních zaměstnavatelů vybrat nejvhodnější kandidáty na omezený počet míst a pomáhá zajistit, aby na klíčová místa byli vybráni intelektuálně nejschopnější. Při studiu staví tento přístup studenty proti sobě, nechává je mezi sebou soutěžit. Druhý pohled smyslem vzdělávání je osvítit, posilovat a socializovat budoucí občany. Pedagog by se podle tohoto pohledu neměl tolik soustředit na rozřazování studentů podle schopností, ale pomoci jim najít správnou představu o světě a sobě samotných s cílem vybavit je znalostmi, intelektuálními nástroji a návyky, které z nich učiní informované a kulturně gramotné členy společnosti. při výuce medicíny
Standardizace Relativní standardizaceumožňuje zjistit, kteří studenti se naučili nejvíce, ale nezjistíme, jestli se studenti ve skutečnosti naučili dost. Absolutní standardizaceumožňuje zjistit, zda-li se studenti naučili dost, ale nemusíme být schopni určit, kteří studenti se naučili nejvíce.
Položkové banky Životní cyklus položky cena Cena uchovávání, sdílení Uchovávání, sdílení Položkové banky IDEAL Consortium 23 škol, 32 tis. otázek, Austrálie, Asie Medical Assessment Alliance 31 škol, 90 tis. otázek (německy) Medical Schools Council Assessment Alliance 31 škol GB, porovnatelnost vzdělání (od 2010 náhrada národní licenčních zkoušek)
Testové programy Položkové banky Adap vní testování Vlastnos položek Sta s cká analýza Teorie odpovědi na položku (IRT)
Moderní trendy Nové formáty otázek (SBA) Standardizace Sdílení otázek Položkové banky Týmová práce
Kam dál? Co nenajdeš v hlavě, najdeš v lexikonu! www.wikiskripta.eu/testy www.rogo.cz