Charles University Prague FACULTY OF EDUCATION Education Policy Centre Malátova 17, 150 00 Praha 5 Tel.: +420 221 900 537 e-mail: ryskar@uvrs.pedf.cuni.cz Přidaná hodnota ve vzdělávání Perspektivy v českém vzdělávacím systému Radim Ryška
I. Modely přidané hodnoty a systém evaluace II. Projekt OECD III. Data pro modely přidané hodnoty IV. Ukázka výsledků
Pojem přidané hodnoty ve vzdělávání určení přidané hodnoty jako zvýšení měřitelných výsledků vzdělávání během určitého časového období V české perspektivě je možné vnímat diskuze o potřebě měření přidané hodnoty v mnohem širší perspektivě, jež může přinést nové pohledy na požadované funkce školy
Přidaná hodnota ve vzdělávání širší kontext Srovnání s jinými školami a regiony [zabránit pokřivení hodnocení z důvodu měření výsledků pouze v jediném okamţiku, aniţ by se brala v úvahu různá úroveň na začátku vzdělávání nebo další kontextuální informace jako je sociálně ekonomický status] Z hlediska úspěšného pracovního a osobního života jednotlivce [tj. být si mnohem jasněji vědomi, jaká část přidané hodnoty se ve skutečnosti měří]
I. Modely přidané hodnoty a systém evaluace - Změny ve vzdělávacím systému v 90.letech (centralizace decentralizace): ad hoc evaluační aktivity - Bílá kniha 2000: systematický přístup k vytváření systému evaluace v českém vzdělávacím systému - Dlouhodobý záměr rozvoje vzdělávacího systému v ČR 2002: Rámcový projekt evaluace ve vzdělávání
Evaluace na úrovni studenta: Scio - Kalibro vyvinuly nástroje pro externí evaluaci ţáků a škol, uţívány jen v omezeném rozsahu, podle rozhodnutí školy Centrum pro zjišťování výsledků vzdělávání (transformovaný CERMAT) zabezpečuje národní část maturity a předpokládá vývoj dalších nástrojů externí evaluace
Evaluace na školní úrovni: ČŠI: postupně rozšiřuje své zaměření od pouhého sledování, jak jsou plněny předpisy k hodnocení podmínek vzdělávání, vzdělávacího procesu a výstupů vzdělávání; zavedla rovněţ nový typ inspekce s tematickým zaměřením na určitý typ školy či určitý problém Kurikulární reforma: národní rámcové programy vzdělávání školní vzdělávací programy zavedena povinnost škol provádět periodicky vlastní hodnocení, zpracování výročních zpráv školy, ale i ústřední orgány (ministerstvo, ČŠI) a kraje
Evaluace na národní a mezinárodní úrovni: zapojení České republiky se do řady mezinárodních projektů, šetření a systému zjišťování mezinárodních ukazatelů (OECD, EU) INES (mezinárodní zjišťování indikátorů) ČR od 1992 PISA zapojení ČR od počátku projektu TIMSS TIMSS-R RLS PIRLS CivED Socrates Effective School Self-Evaluation
Rámcový projekt evaluace vzdělávání nový koncept evaluace klíčový pro správné fungování decentralizovaného a participativního vzdělávacího systému zahrnuje monitorování, systematické sledování stavu základního a středního školství a získávání informací o něm, součástí je rovněţ vlastní examinace a realizace zkoušek vytváří se tak ucelený systém evaluace, v širším pojetí rozvíjí se evaluační prostředí či kultura zaloţená na sebereflexi kaţdého článku vzdělávacího systému v kaţdé fázi jeho činnosti
Vytváření komplexního evaluačního systému zahrnuje čtyři hlavní oblasti: 1. hodnocení a examinace žáků průběžně a v uzlových místech vzdělávací dráhy 2. příprava a uplatnění nástrojů externí evaluace 3. vlastní hodnocení škol 4. evaluace a hodnocení na národní a mezinárodní úrovni
1. Hodnocení a examinace ţáků průběţně a v uzlových místech vzdělávací dráhy zaměřeno na ţákův školní pokrok v několika oblastech činností v kaţdém předmětu včetně ţákova sebehodnocení Ověřování vzdělávacích výsledků žáků 5. a 9. ročníků základní školy Reforma maturity Reform závěrečné zkoušky odborných programů bez maturity
2. Příprava a uplatnění nástrojů externí evaluace Tyto nástroje mají funkce ve více úrovních: pro zajištění vlastního hodnocení a examinace žáků pro externí hodnocení škol pro vlastní evaluaci škol pro hodnocení na regionální či národní úrovni pro vyhodnocení dílčích výstupů a jednotlivých oborů rámcových i školních vzdělávacích programů
3. Vlastní hodnocení škol by se mělo stát jedním z nejúčinnějších nástrojů pro zvyšování kvality a efektivity vzdělávání významným podkladem pro efektivní komunikaci s rodiči, školskou správou a sociálními partnery při zvyšování společného zodpovědnosti za rozvoj školy nedílnou součástí procesu vypracovávání dlouhodobého záměru školy, výroční zprávy a školního vzdělávacího programu Poskytne jedny z nejdůleţitějších vstupů pro hodnocení školy Českou školní inspekcí
4. Evaluace a hodnocení na národní a mezinárodní úrovni Bude pokračovat účast v mezinárodních projektech (PISA), které umožňují identifikaci vlastních výsledků v mezinárodním srovnání Je nutné významně posílit využívání výstupů mezinárodních projektů ve vzdělávací politice státu Pozvednout celkové povědomí o dosažených výsledcích Promítnout je rovněž do práce jednotlivých škol
Další kritéria pro hodnocení škol situace absolventů na trhu práce úspěch při vstupu na další úroveň vzdělávání účast studentů v rozmanitých soutěžích a prezentacích své práce podmínky v nichž školy fungují sníţení případů kriminálního a patologického chování zapojení do činností místních komunit
Informace o historii a počátku projektu Projekt byl iniciován Norskem a diskutován ve Vzdělávacím výboru OECD 6.-7.4. 2005 se zaměřením na přidanou hodnotu na školní úrovni vzdělávání. Společné zasedání Vzdělávacího výboru a Řídící rady Centra pro vzdělávací výzkum a inovace dne 8.11.2005 potvrdilo politickou relevanci a důleţitost mezinárodní spolupráce v otázkách přidané hodnoty ve vzdělávání, která se uskuteční v rámci INES (Education Indicators Programme). Společné zasedání 28.3.2006 diskutovalo návrh projektu, který byl dopracován a zemím poslán v květnu 2006. Doprovodný expertní podklad byl připraven Henry Braunem. Projekt OECD: Development of Valueadded models in Education systems V současné době se k projektu přidalo 13 zemí: Austrálie, Belgie, Česká republika, Dánsko, Francie Norsko, Nizozemsko, Portugalsko, Slovinsko, Španělsko, Švédsko, USA, Velká Británie
Projekt OECD: Development of Valueadded models in Education systems Východiska projektu Vzdělávací prostředí je významně ovlivňováno stále sílící autonomií škol. To vyvolává potřebu fungujícího evaluačního prostředí, které dokáţe efektivně zhodnotit fungování škol, ale i další prvky vzdělávacího systému. Obecně je v zemích OECD však moţné v této oblasti pozorovat jen pomalý postup, liší se však mezi jednotlivými zeměmi. V různé míře se tak země zabývají i jednou z klíčových otázek, jakou je identifikace přidané hodnoty na úrovni jednotlivé školy, tedy jaký je její příspěvek k výsledkům učení svých ţáků. Přidaná hodnota by měla být protiváhou k ţebříčkům škol, které se vytvářejí v některých zemích a jejichţ působení je spíše kontroverzní.
Obsah a cíle projektu Prostřednictvím vytvoření skupiny expertů bude vypracován přehled přístupů k určování přidané hodnoty ve vzdělávání, s nimiţ existují zkušenosti v zúčastněných zemích. Budou identifikovány moţnosti a omezení současných modelů a metod tak, aby bylo moţné provést analýzy technických a politických problémů, jeţ je nutné překonat, aby bylo moţné vyprodukovat co nejpřesnější způsoby měření přidané hodnoty. Projekt OECD: Development of Valueadded models in Education systems Dalším cílem je rovněţ analyzovat důsledky rozvoje modelů k měření přidané hodnoty na rozvoj školy i vzdělávacího systému. Dále pak identifikovat kritéria pro výstupy modelů přidané hodnoty, které by umoţňovaly ve středně aţ dlouhodobém výhledu srovnání mezi zeměmi.
Hlavní výstupy projektu Nejdůleţitějším výstupem celého projektu bude syntetická studie připravená expertní skupinou. Bude zahrnovat : celkový pohled na přidanou hodnotu ve vzdělávání definice přidané hodnoty souhrnný pohled na modely přidané hodnoty, včetně statistické dimenze jejich popisu analýzu výhod a nevýhod jednotlivých modelů popis poţadovaných standardů a pravidel při návrhu modelů přidané hodnoty Projekt OECD: Development of Valueadded models in Education systems analýzu potřebných dat pro tyto modely pohled na moţnosti mezinárodních indikátorů přidané hodnoty, které by bylo moţné budovat ve střednědobém výhledu
Časový harmonogram projektu Země odevzdají zpracované podkladové zprávy říjen 2006 První setkání expertní skupiny: Modely přidané hodnoty v zemích OECD listopad 2006 Druhé setkání expertní skupiny: Zvýšení společného porozumění únor 2007 Třetí setkání expertní skupiny: Vývoj modelů přidané hodnoty květen 2007 Čtvrté setkání expertní skupiny: Projekt OECD: Development of Valueadded models in Education systems Mezinárodní srovnání v modelech přidané hodnoty červen 2007 Distribuce první verze celé studie září 2007 Zveřejnění studie únor 2008
Modely přidané hodnoty a systém evaluace Projekt OECD Data pro modely přidané hodnoty Ukázka výsledků
III. Data pro modely přidané hodnoty Projekt Spektrum Národní hodnotící zkouška osobní sloţka ţáka Závěrečné hodnocení příslušných ročníků (vysvědčení) Průběžné didaktické testy Průběžné posuzování ve vyučování, projekty, mimoškolní aktivity Identifikační údaje údaje o dosavadní žákově vzdělávací dráze, údaje o rodině, jejím složení, příp. zdravotním stavu tradiční způsoby ověřování dosažených dovedností písemnými pracemi, testy, ústním zkoušením, rozhovory, referáty, experimenty apod. jednotné a standardizované moderní vyučovací testy metody formou pro žákovských tematické testy v průběhu žáky v 5. a 9. projektů celé povinné školní docházky ročníku aktivity základní mimo školy vyučování zpětná vazba o postupu žáka po vzdělávací dráze, o jeho pololetní akceleraci a závěrečné či stagnaci ve vysvědčení vzdělávacím procesu hodnocení z hlediska klasifikačním dosahování stupněm, klíčových slovně, kompetencí nebo nebo kombinací jejich obou dílčích způsobů aspektů
Projekt Spektrum Není explicitně určen k určování přidané hodnoty Ale implicitně obsahuje velké mnoţství dat a rozmanitých metod hodnocení, které je moţné vyuţít pro MODELY PŘIDANÉ HODNOTY podpora korekce žebříčků škol informace o úspěchu kurikulární reformy jak školy fungují ve srovnání s jinými školamu informace pro rodiče, ředitele škol, řídící orgány škol, politiky
STŘEDNÍ ŠKOLY: Státní část maturitní zkoušky Kombinace s národní zkouškou v 9. třídě základní školy poskytuje možnost pro identifikaci přidané hodnoty
Projekt Vektor Projekt společnosti Scio zahájen 2005, první výstupy přidané hodnoty budou v 2008 Vstupní modul - 1. ročník středních škol orientován na maturitní předměty Výstupní modul - studenti na konci 3. nebo počátku 4. ročníku střední školy
Projekt Vektor - METODOLOGIE Přidaná hodnota je určována prostřednictvím výsledků individuálních testů ve vstupním a výstupním modulu Zatím není moţné u mnoha ukazatelů vyjádřit, co znamená výborné či nedostatečné zvládnutí určité měřené dovednosti - jediné, co je moţné, je porovnání, jak určitou dovednost zvládají ţáci různých škol a jak se v tom zlepšují Přidaná hodnota je tedy určována na základě srovnání výsledků jednotlivých škol a vztaţení výsledku určité školy oproti školám vybrané skupiny škol Toto se provede v obou ročnících testování. Rozdíl výkonů jednotlivých škol, příp. tříd a ţáků pak představuje přidanou hodnotu.
Projekt Vektor studentský dotazník umoţňuje hodnotit širší kontext a aspekty vzdělávání, jakými jsou vzdělávací cesta, vzdělání rodičů, sociální prostředí, vnitřní charakteristiky školy, aspirace k dalšímu studiu, vztah a charakteristiky vzdělávání na základní škole Výhledově, dotazník pro ředitele škol, učitele (příp. rodiče) pro hodnocení rozmanitých jevů v řízení škol, školních procesů, kvality a kvalifikace učitelů, školního klimatu, vybavení s cílem postiţení jejich vlivu na přidanou hodnotu
Určení přidané hodnoty přístup STŘEDISKA VZDĚLÁVACÍ POLITIKY Výzkumný charakter data 75 středních škol Důvod: Interpretace výsledků státní maturity vzít do úvahy strukturu studentů a jejich SES (social economic status) poskytnout školám, veřejné správě i širší veřejnosti odpovídající znalostmi a metodologickou podporu pro korektní interpretaci výsledků Přidaná hodnota je měřena jako rozdíl mezi výsledky ţáků vybraných středních škol u maturity (2003) a výsledky dosaţenými v projektu PISA na počátku vzdělávání ve střední škole (2000) Srovnává pozici škol na počátku a konci středního vzdělávání
Určení přidané hodnoty přístup STŘEDISKA VZDĚLÁVACÍ POLITIKY Nutné korekce data z různých zdrojů: Maturita nanečisto (2003) & projekt PISA (2000) testování nebylo zaměřeno na stejné oblasti znalostí a dovedností použity různé statistické metody pro převedení výsledků obou testovacích procesů na srovnatelný průměrný výsledek srovnávaly se odchylky jednotlivých škol od průměru všech středních škol srovnávají se tedy poměrné výsledky jednotlivých škol na začátku a na konci středního vzdělávání PLUS přechod absolventů do terciárního vzdělávání přechod na trh práce nezaměstnanost absolventů jednotlivých škol
Určení přidané hodnoty přístup STŘEDISKA VZDĚLÁVACÍ POLITIKY Hlavním smyslem takového měření přidané hodnoty bylo srovnání tří hlavních proudů českého středního vzdělávání a analýzy faktorů, které mají na výsledky vliv. Dalším hlavním cílem bylo přímé propojení s údaji o uplatnění absolventů na trhu práce a při přechodu do terciárního vzdělávání.
ANGLIE: východiska měření přidané hodnoty Klíčové úrovně a Národní kurikulum Věk odpovídá klíčovým úrovním: žáci vstupují do následující úrovně zároveň. Foundation stage: (3 5 let) školky, první rok primární školy. Neexistují srovnatelná národní data. Key Stage 1: ( 5 7 let) Sbírána data o výsledcích v 7 letech. Testy ze čtení, psaní a matematiky. Od roku 2005 jsou testy užívány jen informativně pro učitele o výsledcích žáků výsledky neshromažďovány centrálně. Key Stage 2: (7 11 let) Národní data výsledků testů a hodnocení učitelů z angličtiny, matematiky a přírodních věd sbírány ve věku 11 let
ANGLIE: východiska měření přidané hodnoty Klíčové úrovně a Národní kurikulum Key Stage 3: (11-14 let) Národní data výsledků testů a hodnocení učitelů z angličtiny, matematiky a přírodních věd sbírány ve věku 14 let Key Stage 4: (14-16 let) Závěrečné období povinné školní docházky žáci směřují k dosažení rozmanitých akademických a odborných kvalifikací, zčásti prostřednictvím závěrečné práce. Hlavní kvalifikací je GCSE (The General Certificate of Secondary Education), data jsou však shromažďována ve velmi širokém spektru kvalifikací. Počet předmětů je u studentů rozdílný. (Až 8 předmětů je zahrnuto do modelů přidané hodnoty.) Key Stage 5: (16-17/18/19 let) Pokrývá pouze ty, kteří pokračují ve vzdělávání. Zahrnuje široké spektrum kvalifikací.
ANGLIE: východiska měření přidané hodnoty vývoj Prosté výsledky pro každou úroveň poprvé publikovány v roce 1992 Přidaná hodnota založená na výsledcích předchozí úrovně od roku 2002 Přidaná hodnota založená na výsledcích předchozí úrovně se zahrnutím kontextuálních faktorů, které napomáhají vysvětlit odchylky ve výsledcích, avšak jsou mimo přímou kontrolu školy 2005
White British Traveller of Irish heritage Gypsy/ Roma Any other white background White and Black Caribbean White and Black African White and Asian Any other mixed background Irish Indian Pakistani Bangladeshi Any other Asian background Caribbean Black African Any other black background Any other ethnic group Chinese Unclassified Adjustment toks4 point score prediction ANGLIE: východiska měření přidané hodnoty Klíčové úrovně a Národní kurikulum Příklad kontextuálního faktoru: Vliv etnika +80 +40 24.5 27.1 32.1 23.0 35.6 29.7 25.3 0 0.0 0.1 12.5-0.5 6.3 13.3 5.1 15.0 8.2-40 -26.0-35.6-45.1-80
ANGLIE VYUŢITÍ VÝSLEDKŮ MĚŘENÍ PŘIDANÉ HODNOTY Accountability Publikované výsledky Školní inspekce (Ofsted - Office for Standards in Education (England) Financování škol a platy učitelů nejsou ovlivněny výsledky přidané hodnoty Improvement Poskytnutí detailních dat školám (RAISEonline) Specifické projekty jako např. London Families Partneří poskytující podporu školám v jejich zlepšení, včetně cílené podpory Sebe-evaluace škol Školské sítě a spolupráce
ANGLIE VYUŢITÍ VÝSLEDKŮ MĚŘENÍ PŘIDANÉ HODNOTY Národní úroveň: vláda Celkové trendy míry progrese Celkové míry školních efektů Pokrok u vymezených skupin žáků Pokrok u vymezených skupin škol Stanovení národních cílů Místní úroveň: školy Accountability škol: roční míry přidané hodnoty Zlepšení na úrovni školy: data a grafy rozmanitých výsledků přidané hodnoty Stanovení cílů školy a žáků
MĚŘENÍ PŘIDANÉ HODNOTY V JINÝCH ZEMÍCH USA největší tradice liší se mezi státy EVAAS model (Sanders) * jeden z nejkomplexnějších modelů * longitudální sledování v mnoha předmětech DVAAS (Dallas Value-Added Accountability system) REACH (Rate of Expected Academic Change) Nizozemsko víceúrovňové modely, dlouhodobost sledování, min. 3 roky před nějakým postihem nedělají žebříčky Polsko zabudování do širšího sledování fungování školy Norsko zájem o rozvoj, iniciace projektu
DĚKUJI ZA POZORNOST