Zkušenosti s hodnocením získaného efektu elektronického vzdělávání lékařských knihovníků ČR

Rozměr: px

Začít zobrazení ze stránky:

Download "Zkušenosti s hodnocením získaného efektu elektronického vzdělávání lékařských knihovníků ČR"

Ivana Vávrová
před 8 lety
Počet zobrazení:

1 Zkušenosti s hodnocením získaného efektu elektronického vzdělávání lékařských knihovníků ČR Eva Lesenková, Helena Bouzková, Adéla Jarolímková, Jitka Feberová

2 Národní lékařská knihovna Veřejná specializovaná knihovna Získává a organizuje kvalitní a důvěryhodné klasické i elektronické informační zdroje a buduje z nich archivní i moderní informační fondy, které zpřístupňuje odborné i laické veřejnosti Doplňuje infrastrukturu zdravotnického výzkumu a odborného vzdělávání ve zdravotnictví Odborné činnosti Bibliographia Medica Čechoslovaca Český překlad tezauru MeSH (Medical Subject Headings) Knihovnický systém a portál Medvik Digitální knihovna Souborné katalogy, soubory autorit Dokumentační centrum WHO pro Českou republiku Zdravotnické muzeum Vzdělávání knihovníků ze zdravotnických knihoven Metodika, statistiky

3 Síť zdravotnických knihoven v ČR Zařízení řízené MZ ČR Zařízení mimorezortní Zařízení integrované Celkem ČR Lékařské fakulty a jiné VŠ Fakultní nemocnice Nemocnice Ostatní lůžková zařízení Odborné léčebné ústavy Hygienické stanice Léčebné lázně Vyšší a střední zdravotnické školy Ostatní zařízení Celkem

4 Celoživotní vzdělávání knihovnicko-informačních pracovníků ve zdravotnictví KONTINUITA OBDOBÍ ILF - ÚVLI IPVZ - VISZ - VISK NLK - Veřejné informační služby ve zdravotnictví (VISZ) - Klub lékařských knihoven při SKIP VISK2 - IPVZ NLK VISZ KLK VISK2 - IPVZ Program kontinuálního vzdělávání lékařských knihovníků Ústav vědeckých lékařských informací ( NLK) v kooperaci s ILF, později IPVZ Institutem postgraduálního vzdělávání ve zdravotnictví v Praze Mimoškolní vzdělávání knihovníků VISK 2

5 E-learningové kurzy NLK Moderní knihovnicko-informační práce v lékařských knihovnách Cíl: prohloubení znalostí v oblasti knihovnickoinformačních systémů ve zdravotnictví, v přístupu ke specializovaným zdrojům a pro využívání moderních vyhledávacích technologií Obsah: Systém knihoven v ČR, legislativa, lékařské knihovny Lékařská terminologie, MeSH Specializované informační zdroje pro medicínu Tutorovaný kurz, 6 týdnů LMS Moodle

6 Počty v % E-learningové kurzy NLK Přihlášených Začalo kurz Dokončilo kurz Pilotní kurz Podzim (10) Kurz 1 Jaro (92%) Kurz 2 Jaro (9) Máte zkušenost s e-learningem? % 79% 61% 39% 7% 8% Pilotní kurz Kurz 1 Kurz 2 ano ne

7 Hodnocení seminářů NLK/IPVZ Dotazník ke každému semináři/kurzu Organizační zajištění Náměty na další semináře/kurzy Kvalita přednášek Aktuálnost Odborná úroveň Pedagogická úroveň Přínos pro praxi

8 Výběr modelu hodnocení efektivity pro e-learning Modely evaluace firemního vzdělávání Donald L. Kirpatrick (1959) Reakce Učení Chování Výsledky Treadway Parker (1973)- Pracovní výkon, Výkon skupiny, Spokojenost účastníka, Získané znalosti Stephanie Jackson a Mary Jo Kulp (1979) Reakce, Schopnosti, Aplikace, Hodnota CIRO=Context, Input, Reaction, Outcome (Warr, Bird, Rakman, 1970) CIPP=Context, Input, Process, Products (Galvin 1983) Elwood F. Holton (1996) Phillips Five-Level ROI Framework (1997) reakce, učení, aplikace v práci, obchodní výsledky, návratnost investice

9 Kirkpatrickův čtyřúrovňový model Úroveň 4 - Výsledky Úroveň 3 - Chování Úroveň 2 - Učení Úroveň 1 - Reakce Do jaké míry jsou dosaženy plánované výsledky rozvojového projektu a následných podpůrných aktivit Do jaké míry účastníci využívají nové znalosti a dovednosti ve své každodenní práci Do jaké míry účastníci získali očekávané znalosti, dovednosti a přístupy díky své účasti na vzdělávacím projektu Do jaké míry byli účastníci spokojeni s tréninkovým kurzem

10 Aplikace modelu pro hodnocení e- learningového kurzu NLK Úroveň 3 Dotazník 3-6 měsíců po ukončení kurzu Úroveň 2 Srovnání výsledků pretestu a posttestu Hodnocení úkolů Úroveň 1 Hodnotící dotazník na závěr kurzu Diskuzní fórum Setkání s účastníky

11 Aplikace modelu pro hodnocení e- learningového kurzu NLK Pilotní kurz Úroveň 1 Úroveň 2 Úroveň 3 Hodnotící dotazník Diskuzní fórum Setkání s účastníky Pretest/ Posttest Úkoly Ano Ano Ano Ano Ano Ano Kurz 1 Ano Ano Ne Ano Ano Ne Kurz 2 Ano Ano Ne Ano Ano Ano Dotazník po 3 měs.

12 Úroveň 1 - Reakce Hodnotící dotazník 10 otázek Hodnocení formy kurzu spokojenost/nespokojenost s e-learningem Hodnocení náplně kurzu celkové hodnocení, hodnocení jednotlivých témat Aktuálnost Odborná úroveň Úroveň tutorování Přínos pro praxi Náměty a připomínky

13 Počty v % Úroveň 1 celková spokojenost Splnil kurz Vaše očekávání? % 78% 7 67% 6 5 Pilot % 17% 22% Kurz 1 Kurz 2 1 Zcela Částečně Vůbec ne

14 Počty v % Počty v % Úroveň 1 spokojenost s e-learningem Vyhovuje Vám e-learning? 10 97% 10 3% Pilot Kurz 1 Kurz 2 Ano Ne Zúčastnil/a byste se dalšího případného e-learningového kurzu? % 94% % 6% Pilot Kurz 1 Kurz 2 Název osy Ano Ne

15 Známka Známka Známka Úroveň 1 hodnocení jednotlivých lekcí Hodnocení lekce Systém knihoven 1,6 1,4 1,2 1 0,8 0,6 0,4 0,2 0 1,4 1,4 1,3 Aktuálnost 1,1 1,1 1,1 1,1 1,1 Odborná úroveň 1,3 Úroveň tutorování Hodnocení lekce Terminologie, MeSH 1,5 1,3 1,2 Přínos pro praxi Pilot Kurz 1 Kurz 2 1,4 1,2 1 0,8 0,6 0,4 Hodnocení lekce Informační zdroje 1,2 1,1 1,1 1,1 1,1 1,1 1,1 1, Pilot Kurz 1 Kurz 2 1,2 1 0,8 0,6 0,4 0,2 1,1 1,1 1,1 1,1 1,1 1,1 1, Pilot Kurz 1 Kurz 2 0,2 0 Aktuálnost Odborná úroveň Úroveň Přínos pro tutorování praxi 0 Aktuálnost Odborná úroveň Úroveň tutorování Přínos pro praxi

16 Úroveň 2 - Učení Srovnání pretestu a posttestu 17 shodných otázek (změněné pořadí) Plnění úkolů Celkem 14 praktických úkolů

17 Úroveň 2 - Učení Výsledky pretestu a posttestu v jednotlivých bězích kurzů Pretest Posttest 2 0 Pilot Kurz 1 Kurz 2 Běh kurzu Pilot Kurz 1 Kurz 2 Průměrný počet bodů Rozsah získaného počtu bodů Průměrný počet bodů Rozsah získaného počtu bodů Průměrný počet bodů Rozsah získaného počtu bodů Pretest Posttest

18 Úroveň 3 - Chování Dotazník rozeslaný 3 měsíce po absolvování kurzu 10 otázek Změny v praxi zavedené po absolvování kurzu Změny ve službách knihovny Změny ve vyhledávání Informování uživatelů knihovny o novinkách

19 Úroveň 3 změny v poskytovaných službách 7 Provedli jste na základě znalostí získaných v kurzu nějaké změny ve vámi poskytovaných službách? Ano Ne 2 1 Pilotní kurz Kurz 2

20 Úroveň 3 nově využívané zdroje a služby Které činnosti nebo služby NLK, o kterých jste se dozvěděli v kurzu, nově používáte ve své praxi? 1 Pilot Kurz 2

21 Úroveň 3 rozšíření přístupu k informačním zdrojům 9 V jaké oblasti jste rozšířili přístupy k informačním zdrojům? Pilotní kurz Kurz Katalogy Databáze Elektronické časopisy Vyhledávání odborných informací na internetu Medicína založená na důkazu (EBM)

22 Úroveň 3 informování uživatelů 12 Upozorňujete uživatele na zdroje o nichž jste se dozvěděli v kurzu? Ano Ne 2 Pilotní kurz Kurz 2

23 Úroveň 3 změny ve způsobu vyhledávání Používali jste před absolvováním kurzu při vyhledávání deskriptory MeSH? Pilotní kurz Kurz 2 45% 4 35% 3 25% 2 15% 1 5% Ano Ne O kolik procent se přibližně zvýšilo používání deskriptorů MeSH oproti vaší předchozí praxi? Pilotní kurz Kurz 2

24 Problémy s hodnocením Formulace otázek v dotaznících (úroveň 1 a 3) Příliš jednoduché úkoly, problém s hodnotící škálou (úroveň 2) Pouze subjektivní pohled na provedené změny (úroveň 3) Chybí hodnocení celkového přínosu pro knihovnu zvýšil se počet uživatelů, hodnotí uživatelé služby knihovny jako kvalitnější

25 Budoucnost Nový e-learningový kurz pro pokročilé, od Obtížnější pre- a posttest, náročnější úkoly, autotesty ke každé lekci Nový hodnotící dotazník i dotazník na změny v praxi související s absolvováním kurzu

Podobné dokumenty

PhDr. E. Lesenková, Ph.D. Mgr. A. Jarolímková, Ph.D. PhDr. H. Bouzková

PhDr. E. Lesenková, Ph.D. Mgr. A. Jarolímková, Ph.D. PhDr. H. Bouzková Proč e-learning? Výhody pro vás - potenciální účastníky školení Alternativa ke klasickým kurzům a seminářům pořádaným v NLK či IPVZ