Přírodovědecká fakulta Univerzity Palackého Pracovní komise RVŠ pro kvalitu VŠ a její hodnocení Centrum pro studium vysokého školství, v.v.i. pořádají Seminář o hodnocení akademických pracovníků z pohledu Standardů a směrnic pro hodnocení kvality v Evropském prostoru vysokoškolského vzdělávání 22. 10. 2012 Olomouc
Program semináře 10:00 10:10 Zahájení semináře 10:10 10:40 Talašová, J.: Model hodnocení akademických pracovníků vytvořený na PřF UP 10:40 11:00 Stoklasa, J.: Srovnání modelů hodnocení akademických pracovníků na University of Turku, Lappeenranta University of Technology a PřF UP 11:00 11:30 Holeček, P.: Prezentace informačního systému pro hodnocení akademických pracovníků IS HAP 11:30 12:00 Münsterová, E.: Informace o mezinárodním projektu QUESTE-SI 12:00 13:00 Přestávka na oběd 13:00 13:15 Šebková, H.: Informace o mezinárodním projektu IBAR 13:15 13:30 Roskovec, Vl.: Evropské standardy a směrnice a kvalita akademických pracovníků 13:30 14:00 Diskuse k oběma příspěvkům 14:00 15:00 Panelová diskuse na téma Kdo je dobrý vysokoškolský učitel (moderuje H. Šebková) 15:00 Závěr semináře
Seminář o hodnocení akademických pracovníků Pracovní komise RVŠ pro kvalitu VŠ a její hodnocení Centrum pro studium vysokého školství PřF UP, Olomouc, 22.10.2012 Model hodnocení akademických pracovníků vytvořený na PřF UP Jana Talašová, Jan Stoklasa IPN KVALITA Zajišťování a hodnocení kvality v systému terciálního vzdělávání
Obsah Představení modelu vytvořeného na PřF UP Zkušenosti z pilotního testování tohoto modelu Srovnání s jinými zahraničními i tuzemskými modely Závěr
Představení modelu hodnocení akademických pracovníků vyvinutého na PřF UP
Historie vývoje modelu hodnocení AP PřF UP (2006) - záměr vytvořit model pro hodnocení akademických pracovníků (pedagogika a VaV) Za tím účelem studováno: hodnocení kvality v terciárním vzdělávání (ESG), řízení lidských zdrojů obecně, existující modely rutinně používané v zahraničí (USA, Kanada, Austrálie ) a později i modely vznikající v ČR. Postupně navrženy 2 třídy matematických modelů hodnocení. Pilotní testování finálního modelu na datech PřF UP (2009, 2010, 2011) a FIS VŠE (2011). Od r. 2010 je pilotní testování systému součástí IPN Kvalita PřF UP (2012) IS HAP, SW implementace modelu hodnocení
Hledání jasně srozumitelného modelu V první etapě (2006-2009) vytvořené matematické modely hodnocení: agregace dílčích hodnocení v pedagogice a VaV pomocí stále sofistikovanějších agregačních operátorů (WA, OWA, WOWA), výsledné modely byly bohužel obtížně srozumitelné pro hodnotitele i hodnocené akademické pracovníky. Pro konečné řešení (od r. 2010) bylo použito jazykově orientované fuzzy modelování jazykové hodnotící škály, jazykově definované báze hodnotících pravidel: navržený model byl jednoznačně podpořen AS PřF (2010), vzhledem ke srozumitelnosti pro všechny zainteresované.
Cíle modelu hodnocení postihnout všechny typy aktivit akademických pracovníků, využívat jen měřitelná a snadno ověřitelná data, být snadno použitelný a dobře srozumitelný, odrážet přínos akademického pracovníka pro fakultu, akceptovat individuální zaměření akademických pracovníků (víc na pedagogiku nebo víc na VaV), oceňovat excelentní výkon v každé ze dvou hodnocených oblastí (pedagogika, VaV) a celkově zajišťovat co nejlepší informační podporu v oblasti řízení lidských zdrojů.
Základní charakteristika modelu Cílem je periodické roční hodnocení výkonu akademických pracovníků ve dvou hlavních oblastech: pedagogická činnost vědeckovýzkumná činnost Rozdílné požadavky jsou kladeny na různé pracovní pozice: asistent, odborný asistent, docent, profesor (doktorand, výzkumný pracovník, lektor) Model rovněž zohledňuje: zatížení pracovníka akademickými funkcemi a manažerskou činností a počítá celkové vytížení akademického pracovníka.
Postup hodnocení - přehledně 1. Vyplnění aktivit a výsledků do dotazníku 2. Výpočet bodových hodnocení v pedagogice, VaV 3. Výpočet standardizovaných hodnocení (vzhledem k pracovním pozicím) v pedagogice, VaV 4. Výpočet celkového hodnocení (pedagogika + VaV) 5. Výpočet celkového vytížení pracovníka (celkové hodnocení + zatížení akad. funkcemi)
Hodnocené činnosti 1. Pedagogická oblast: a) Pedagogická činnost spojená s výukou b) Pedagogická činnost spojená s vedením studentů c) Organizační činnost spojená s rozvojem studia 2. Vědeckovýzkumná oblast: a) Bodované výsledky VaV b) Další výstupy VaV c) Organizační činnost spojená s VaV 3. Akademické funkce a manažerská činnost
Hodnocené činnosti - pedagogika 1a) Pedagogická činnost spojená s výukou: Počet hodin přednášek (součet týdenních hodin za LS a ZS) Počet hodin cvičení (součet týdenních hodin za LS a ZS) Počet zkoušených studentů v daném roce Počet udělených kolokvií Počet udělených zápočtů Počet zkoušených studentů u státních závěrečných zkoušek Počet zkoušených studentů u státních doktorských zkoušek Počet skript nebo e-lerningových studijních opor
Hodnocené činnosti - pedagogika 1b) Pedagogická činnost spojená s vedením studentů: Počet bakalářských/diplomových prací Počet oponentních posudků na bakalářské/diplomové práce Počet doktorandů, kteří předložili disertačních práci k obhajobě, počet ostatních vedených doktorandů Počet oponentních posudků na disertační práce Počet vedených prací SVOČ Počet oponentních posudků na práce SVOČ.
Hodnocené činnosti - pedagogika 1c) Organizační činnost spojená s rozvojem studia: Garant studijního oboru Předseda rady doktorského studijního oboru Příprava akreditace/reakreditace studijního oboru Koordinátor projektu mezinárodní spolupráce (Erasmus ) Koordinátor studentských praxí Hlavní řešitel grantu organizačně-pedagogického charakteru Organizátor soutěží SVOČ (O cenu děkana PřF ) Organizátor středoškolských soutěží (olympiády, Klokan ) Organizátor akcí sloužících k přímé propagaci studia (Den otevřených dveří, Gaudeamus)
Hodnocené činnosti věda a výzkum 2a) Výsledky VaV započitatelné dle platné metodiky: Článek v impaktovaném časopise, v recenzovaném časopise Odborná kniha Článek ve sborníku Patent Poloprovoz, ověřená technologie, odrůda, plemeno Prototyp, uplatněná metodika, funkční vzorek, autorizovaný software, užitný a průmyslový vzor Výzkumná zpráva, která je výsledkem obsahujícím utajované informace
Hodnocené činnosti věda a výzkum 2b) Další výstupy VaV: Článek v recenzovaném časopise nebo recenzovaném sborníku nespadající do hodnocení v rámci bodu 2a) s přiměřeně nižším bodovým hodnocením Zvaná přednáška na mezinárodní nebo tuzemské konferenci Příspěvek na mezinárodní nebo tuzemské konferenci Zvaná přednáška na zahraniční nebo tuzemské univerzitě Recenze článku do impaktovaného/neimpaktovaného časopisu nebo sborníku, recenze knihy Oponentní posudek habilitační práce Oponentní posudek přihlášky grantového projektu/závěrečné zprávy grantového projektu
Hodnocené činnosti věda a výzkum 2c) Organizační činnosti související s VaV: Hlavní řešitel /člen týmu grantu výzkumného charakteru Člen výboru mezinárodní/národní vědecké společnosti Člen organizačního výboru mezinárodní/národní konference Šéfredaktor/člen redakční rady odborného časopisu Popularizace vědního oboru na středních školách (vedení prací SOČ, Badatel, Otevřená věda atp.) Popularizace vědního oboru v médiích a na veřejných akcích
Akademické funkce a manažerská činnost Zohlednění časového zatížení akademického pracovníka vykonávajícího následující funkce: rektor, děkan prorektor, proděkan předseda akademického senátu UP, PřF UP člen akademického senátu UP, PřF UP zástupce v Radě vysokých škol zástupce PřF UP a UP v dalších institucích a výborech (FRVŠ, ) předseda VPRO vedoucí katedry tajemník katedry.
Výpočet bodového hodnocení pro každou oblast hodnocení Akademický pracovník v dané pracovní pozici zadá kvantitativní údaje o svých činnostech v dané oblasti hodnocení např. počty týdenních hodin přednášek v LS a ZS Pro jednotku každé z činností je stanoveno bodové hodnocení dle relativní časové náročnosti a důležitosti této aktivity v rámci dané skupiny činností např. výuka nového předmětu je 2x náročnější než rutinní výuka. Bodová hodnocení pracovníka za danou skupinu činností se sečtou.
Výpočet standardizovaných hodnocení pro danou oblast a pracovní pozici Standardizovaná hodnocení h 1,h 2 akademického pracovníka v pedagogice a VaV představují násobky standardu určeného pro danou oblast hodnocení a danou pracovní pozici: bi,j h i, i 1,2, j 1,2,3,4 st b i,j kde: b i,j... dosažené bodové hodnocení akademického pracovníka na j-té pozici (1=asistent, 2=odb.asistent, 3=docent, 4=profesor) v i-té oblasti hodnocení (1=pedagogika, 2=výzkum), b i,j st... standardní bodové hodnocení pro i-tou oblast a j-tou pozici.
Výpočet celkového hodnocení v pedagogice+vav - jazykové fuzzy škály pro vstupní proměnné Jazyková fuzzy škála první vstupní proměnné: Jazyková fuzzy škála druhé vstupní proměnné:
Výpočet celkového hodnocení v pedagogice+vav - jazykově zadaná agregační funkce Báze fuzzy pravidel: Celkový výkon pracovníka v pedagogice a VaV Vědeckovýzkumná činnost výkon pracovníka Velmi nízký Nízký Standardní Vysoký Extrémní Velmi nízký Nevyhovující Nevyhovující Substandardní Standardní Velmi dobrý Pedagogická činnost výkon pracovníka Nízký Nevyhovující Nevyhovující Substandardní Velmi dobrý Vynikající Standardní Substandardní Substandardní Standardní Velmi dobrý Vynikající Vysoký Standardní Velmi dobrý Velmi dobrý Vynikající Vynikající Extrémní Velmi dobrý Vynikající Vynikající Vynikající Vynikající
Výpočet celkového hodnocení v pedagogice+vav - inferenční algoritmus Sugeno-Yasukawa Výsledná agregační hodnotící funkce H=f(h 1,h 2 ):
Výpočet celkového hodnocení v pedagogice+vav - jazyková interpretace výsledku Jazyková fuzzy škála výstupní proměnné: Vypočtené hodnocení H je interpretováno jazykově: Je-li např. H=1,6, tj. VD(H)=0,8 a V(H)=0,2, pak celkové hodnocení je z 80% velmi dobré a z 20% vynikající.
Výpočet celkového vytížení pracovníka - analogicky Celkové vytížení pracovníka Zatížení pracovníka akademickými funkcemi a manažerskou činností Téměř žádné Menší Výrazné Extrémní Celkový výkon pracovníka ve výuce, vědě a výzkumu Nevyhovující Velmi nízké Nízké Standardní Extrémní Substandardní Nízké Standardní Vysoké Extrémní Standardní Standardní Vysoké Extrémní Extrémní Velmi dobrý Vysoké Extrémní Extrémní Extrémní Vynikající Extrémní Extrémní Extrémní Extrémní
Ukázka hodnocení akademického pracovníka v IS HAP
Zkušenosti z pilotního testování modelu hodnocení akademických pracovníků
Testování modelu hodnocení Přírodovědecká fakulta UP v Olomouci: 2010 Katedra experimentální fyziky 2011 14 kateder a pracovišť 2012 10 vybraných kateder (po dvou z každého oboru) Získané zkušenosti: Vítáno uložení všech informací o činnosti akademického pracovníka na jednom formuláři Vyhovuje jednotná struktura činností napříč obory Vyhovují jednotné standardy pro všechny obory fakulty Požadovány byly datové pumpy z jiných systémů (STAG, ) a uživatelský komfort nutnost implementace modelu v podobě klasického informačního systému IS HAP
Oponentura modelu hodnocení a IS HAP Realizace oponentury zadaná děkanem PřF: duben - květen 2012 Oponenti: Celková filozofie hodnocení a matematický model: prof. Ramík (OPF SU Opava) Softwarové řešení, IS HAP: Katedra informatiky PřF UP Výsledky oponentury: jednoznačně pozitivní Rozhodnutí děkana PřF UP: od r. 2012 rutinní využívání IS HAP na PřF UP
Testování modelu hodnocení Fakulta informatiky a statistiky VŠE Praha: 2012 testování v rámci celé fakulty Získané zkušenosti: Vyhovuje struktura hodnocených činností (minimální úpravy). Nastavením parametrů modelu je možné model přizpůsobit fakultě s velmi odlišným typem studijních oborů. Do systému lze relativně snadno zapracovat speciální požadavky uživatele (zde specifický model hodnocení publikační činnosti).
Ohlasy modelu hodnocení a IS HAPu Zájem z českých VŠ: Jihočeská univerzita Vysoká škola finanční a správní UJEP v Ústí nad Labem Technická univerzita v Liberci Masarykova univerzita Systém hodnocení je třeba začlenit do různorodých informačních systémů univerzit, IS HAP je k tomu dobře připraven. Ohlas ze zahraničí: Slovensko - UKF v Nitře Finsko univerzity v Turku a Lappeenrantě Itálie univerzity v Trentu a Benátkách Zájem o společný výzkum v oblasti modelů hodnocení akademických pracovníků.
Srovnání se zahraničními a tuzemskými modely
Analyzované zahraniční modely Texas A&M University, Kingsville, USA, University of Wisconsin, Oshkosh, USA University of Technology, Sydney, Austrálie Flinders University, Adelaide, Jižní Austrálie Wayne State University, Detroit, Kanada Společné rysy modelů: Výrazná role hodnotitelů (vedoucí pracovníci nebo profesionální hodnotitelé) Uplatnění poznatků z teorie řízení lidských zdrojů Není přímá vazba na finance
Analyzované tuzemské modely Masarykova univerzita v Brně Právnická fakulta Univerzita Tomáše Bati ve Zlíně Fakulta aplikované informatiky UJEP v Ústí nad Labem Fakulta životního prostředí Univerzita Pardubice Dopravní fakulta Společné rysy modelů: Snaha eliminovat subjektivní vliv hodnotitele Bodování činností, popř. převedení na hodiny a dělení fondu pracovní doby mezi jednotlivé oblasti Snaha o přímou vazbu na finanční ohodnocení
Závěr
Přednosti navrženého modelu hodnocení IS HAP slouží informační podpoře řízení lidských zdrojů v akademickém prostředí. Využití nástrojů jazykově orientovaného fuzzy modelování zaručuje dobrou srozumitelnost modelu hodnocení i jeho výstupů jak pro hodnotitele, tak hodnocené (verbální popisy). Model hodnocení je možné pomocí volitelných parametrů nastavit na podmínky vysokých škol velmi rozdílného typu, přizpůsobit jej různým cílům řízení. IS HAP je zpracován tak, aby jej bylo možné dobře napojit na jiné informační systémy.
Děkuji za pozornost Kontakty: doc. RNDr. Jana Talašová, CSc. e-mail: jana.talasova@upol.cz Mgr. et Mgr. Jan Stoklasa e-mail: jan.stoklasa@upol.cz
Literatura 1. Torra, V., Narukawa, Y.: Modeling Decisions. Springer, Heidelberg, 2007, ISBN 978-3-540-68789-4 2. Sugeno, M. & Yasukawa, T.: A fuzzy-logic-based approach to qualitative modeling. IEEE Transactions on fuzzy systems, 1 (1), 1993, pp. 7-31. 3. Stoklasa, J., Talašová, J., Holeček, P: Academic staff performance evaluation variants of models. Acta Polytechnica Hungarica 8 (3), 2011, pp. 91 111.