Moderní trendy v hodnocení znalostí

HTML
DOWNLOAD

Rozměr: px

Začít zobrazení ze stránky:

Download "Moderní trendy v hodnocení znalostí"

Viktor Zeman
před 9 lety
Počet zobrazení:

1 RNDr. Čestmír Štuka, Ph.D., MBA (1. LF UK) MUDr. Martin Vejražka, Ph.D. (1. LF UK) RNDr. Patrícia Martinková, Ph.D. (ÚI AV ČR) Mgr. Martin Komenda (LF MU) MUDr. Jan Trnka, Ph.D. (3. LF UK)

Testový cyklus Zpětná vazba Definování cílů výuky Plán testu (Blueprinting) Zkušenosti učitele Psaní a oponování otázek Banka úloh Pilotování testu Analýza výsledků testu (reliabilita, validita,

2 Testový cyklus Zpětná vazba Definování cílů výuky Plán testu (Blueprinting) Zkušenosti učitele Psaní a oponování otázek Banka úloh Pilotování testu Analýza výsledků testu (reliabilita, validita, položková analýza) Standardizace Realizace testu Ohodnocení studentů Volně upraveno podle: TAVAKOL, MohsenaRegDENNICK.Post Examination Analysis of Objective Tests. AMEE, AMEE guide; sv. 54. ISBN

analýza) Standardizace Realizace testu Ohodnocení studentů Volně upraveno podle: TAVAKOL,

3 Otázky MTF Multiple true/false Chlorid amonný má ve své molekule čtyři atomy vodíku rozpuštěním ve vodě dává zásaditý roztok uvolňuje po přidání hydroxidu sodného amoniak je silné oxidační činidlo

ve vodě dává zásaditý roztok uvolňuje po přidání

4 Otázky SBA Otázky s jedinou nejlepší odpovědí (single best answer, SBA) 32letý muž přichází pro 4 dny trvající, postupně progredujícíslabost končetin. Dosud byl zdráv, před 10 dny však prodělal infekci horních cest dýchacích. Je afebrilní, arteriální tlak má 130/80 mmhg, tepovou frekvenci 94 / min. Dýchání je mělké a nápadně zrychlené. V orientačním neurologickém nálezu dominuje symetrická slabost mimických svalů a svalů horních i dolních končetin. Čití je intaktní. Hluboké šlachové reflexy nelze vybavit. Zánikové jevy jsou negativní. Která z následujících diagnóz je nejpravděpodobnější? (Vyberte jedinou odpověď) akutní diseminovaná encefalomyelitida syndrom Guillain-Barré myasthenia gravis poliomyelitis polymyositis

Dýchání je mělké a nápadně zrychlené. V orientačním neurologickém nálezu dominuje symetrická slabost mimických svalů a svalů horních i dolních končetin. Čití je intaktní.

5 Pět zásad tvorby SBA 1. Ptejte se na významné problémy Vyvarujte se chytáků 2. Testujte využití znalostí, nikoliv fakta sama Otázka bývá dlouhá, odpovědi krátké 3. Formulujte jasně a jednoznačně Odborník správně odpoví i se zakrytými odpověďmi 4. Pozor na slova většinou, zřídka, výjimečně, 5. Nabídnuté odpovědi musí být homogenní

3. Formulujte jasně a jednoznačně Odborník správně odpoví i se zakrytými odpověďmi

6 Otázky SBA Pět zásad 5. Nabídnuté odpovědi musí být homogenní

7 Tvorba SBA Otázka MTF: Akutní intermitentní porfyrie je podmíněna poruchou biosyntézy kolagenu kortikosteroidů mastných kyselin hemu tyroxinu E-testování

8 Tvorba SBA Dosud zdravý 33letý muž přichází pro epizody křečovitých bolestí břicha a svalové slabosti, které se vyskytují v posledním půl roce. Podobné obtíže mívá teta a bratranec. V průběhu epizody je břicho vzedmuté, peristaltika obleněná. V neurologickém nálezu je snížená síla velkých svalů horních končetin. Nález odpovídá defektu biosyntetické dráhy pro (vyberte jedinou nejlepší odpověď) kolagen kortikosteroidy mastné kyseliny hem tyroxin

V průběhu epizody je břicho vzedmuté, peristaltika obleněná.

9 Standardizace testů Zajištění rovnosti podmínek, porovnatelnosti výsledků testovaných a různých verzí testu, aby zkoušení bylo: spravedlivé objektivní reprodukovatelné

10 Standardizace Standardizace jako zajištění rovnosti podmínek Standardizované testování ve staré Číně Hannibalův současník Čchin S'-chuang, který vládl malému, zaostalému státu Čchin, dobyl a podmanil všechna okolní království. Jeho následníci, aby udrželi dobytá území pod kontrolou, zrušili v 1. př. n. l. výsadní postavení aristokracie a státní správu svěřili centralizovanému byrokratickému aparátu, do nějž bylo třeba vybírat kompetentní a loajální úředníky. Uchazeči o státní službu skládali přísné písemnécísařské, nebo téžliterátské zkoušky. Tento systém výběru úředníků byl pak používán 2000 let. Testování bylo písemné, anonymizované a velmi důkladně chráněné.

výsadní postavení aristokracie a státní správu svěřili centralizovanému byrokratickému aparátu, do nějž bylo třeba vybírat kompetentní a loajální úředníky.

11 Standardizace testů určení objektivní hranice pro úspěšné absolvování testu stanovení mezí pro klasifikaci testové skóre nemá vypovídací hodnotu o tom, jak student v testu obstál vyjádření výsledků testovaného vzhledem k výsledkům reprezentativního vzorku nebo k absolutním kritériím Absolutní standardizace - porovnává výkony studenta s pevnými kritérii Relativní standardizace - porovnává výsledky studentů mezi sebou

testovaného vzhledem k výsledkům reprezentativního vzorku nebo k absolutním kritériím Absolutní

12 Relativní a absolutní standardizace E-testování

13 Relativní standardizace 0,4 četnost 0,3 0,2 34,1% 34,1% 0,1 0,1% 13,6% 13,6% 2,1% 2,1% 0,1% -4σ -3σ -2σ -1σ μ +1σ +2σ +3σ -4σ nedostatečně dobře velmi dobře výborně Nevztahuje se k obsahu testu, ale porovnává studenty mezi sebou Závislost hodnocení jednotlivce na výkonu dané skupiny V každém testu určitá část studentů neuspěje bez ohledu na znalosti Měřítkem směrodatná odchylka

obsahu testu, ale porovnává studenty mezi sebou Závislost hodnocení jednotlivce na výkonu dané

14 Absolutní standardizace Frekventant kurzu první pomoci nesmí projít testem, pokud nezvládne základní kardiopulmonální resuscitaci. Jde tedy o absolutní kritéria pro průchod testem a tento krok se proto nazývá absolutní standardizace. Kritériem může být počet bodů, kterého musí frekventant dosáhnout. Např. 75% Při arbitrárním stanovení meze úspěšnosti mohou být testy příliš jednoduché, nebo naopak příliš obtížné EXPERTNÍ POSUDEK Angoffova a Ebelova metoda

Jde tedy o absolutní kritéria pro průchod testem a tento krok se proto nazývá absolutní standardizace.

15 Standardizace Co je smyslem vysokoškolského vzdělávání? První pohled vysokoškolské vzdělávání jako na šestiletý test inteligence, který třídí jednotlivce podle intelektuálních schopností a pracovních návyků. Tento přístup odráží zájem potenciálních zaměstnavatelů vybrat nejvhodnější kandidáty na omezený počet míst a pomáhá zajistit, aby na klíčová místa byli vybráni intelektuálně nejschopnější. Při studiu staví tento přístup studenty proti sobě, nechává je mezi sebou soutěžit. Druhý pohled smyslem vzdělávání je osvítit, posilovat a socializovat budoucí občany. Pedagog by se podle tohoto pohledu neměl tolik soustředit na rozřazování studentů podle schopností, ale pomoci jim najít správnou představu o světě a sobě samotných s cílem vybavit je znalostmi, intelektuálními nástroji a návyky, které z nich učiní informované a kulturně gramotné členy společnosti. při výuce medicíny

Tento přístup odráží zájem potenciálních zaměstnavatelů vybrat nejvhodnější kandidáty na omezený počet míst a pomáhá zajistit, aby na klíčová místa byli vybráni intelektuálně nejschopnější.

16 Standardizace Relativní standardizaceumožňuje zjistit, kteří studenti se naučili nejvíce, ale nezjistíme, jestli se studenti ve skutečnosti naučili dost. Absolutní standardizaceumožňuje zjistit, zda-li se studenti naučili dost, ale nemusíme být schopni určit, kteří studenti se naučili nejvíce.

17 Položkové banky Životní cyklus položky cena Cena uchovávání, sdílení Uchovávání, sdílení Položkové banky IDEAL Consortium 23 škol, 32 tis. otázek, Austrálie, Asie Medical Assessment Alliance 31 škol, 90 tis. otázek (německy) Medical Schools Council Assessment Alliance 31 škol GB, porovnatelnost vzdělání (od 2010 náhrada národní licenčních zkoušek)

otázek, Austrálie, Asie Medical Assessment Alliance 31 škol, 90 tis.

18 Testové programy Položkové banky Adap vní testování Vlastnos položek Sta s cká analýza Teorie odpovědi na položku (IRT)

19 Moderní trendy Nové formáty otázek (SBA) Standardizace Sdílení otázek Položkové banky Týmová práce

20 Kam dál? Co nenajdeš v hlavě, najdeš v lexikonu!

Podobné dokumenty

E-testování: Moderní trendy v hodnocení znalostí

E-testování: Moderní trendy v hodnocení znalostí RNDr. Čestmír Štuka, Ph.D., MBA (1. LF UK) MUDr. Martin Vejražka, Ph.D. (1. LF UK) Mgr. Martin Komenda (LF MU) RNDr. Patrícia Martinková, Ph.D.(ÚI AV ČR)