Měření přidané hodnoty škol v Anglii

Transkript

1 Přehled přístupů používaných v letech Mgr. Eva Potužníková Ústav výzkumu a rozvoje vzdělávání PedF UK XXV. výroční konference ČAPV, Hradec Králové,

2 Měření přidané hodnoty škol metoda převzatá z ekonomie používá se k posuzování efektivity škol cílem je identifikovat vzdělávací přínos, kterým škola přispívá k učení žáků nad rámec vlivu individuálních dispozic, rodinného zázemí a dalších faktorů, které také ovlivňují učení žáků snaha o překonání nespravedlivého posuzování škol na základě jednorázových výsledků testů, které odrážejí kumulativní účinek školních a mimoškolních vlivů OECD (2008). Measuring improvements in learning outcomes: Best practices to assess the value-added of schools. Paris: OECD Publishing. Ryška, R. (2009). Evaluace a přidaná hodnota ve vzdělávání. Praha: Univerzita Karlova, Pedagogická fakulta. Středisko vzdělávací politiky (2008). Zjišťování přidané hodnoty. Celková zpráva projektu LS0602. Praha: Univerzita Karlova.

3 Definice přidané hodnoty školy Příspěvek školy k pokroku žáka vůči předem stanoveným či předepsaným vzdělávacím cílům (např. v kognitivní oblasti). Tento příspěvek je očištěn od jiných faktorů, které také přispívají k pokroku žáka v učení. (OECD, 2008) Míry přidané hodnoty jsou ty, které se snaží určit vzdělávací hodnotu, kterou škola přidává k tomu a nad to, co by mohlo být predikováno na základě zázemí a předchozích výsledků žáků školy. (Downes & Vindurampulle, 2007). zaměření na pokrok žáka měření ve dvou časových bodech porovnávání skutečného výsledku s očekávaným výsledkem Downes, D., & Vindurampulle, O. (2007). Value-added measures for school improvement. Melbourne: Department of Education and Early Childhood Development. OECD (2008). Measuring improvements in learning outcomes: Best practices to assess the value-added of schools. Paris: OECD Publishing.

4 Zdroj:

5 Anglie časová řada 1988 národní kurikulum, zavedení systému jednotného testování 1992 žebříčky sekundárních škol 1996 žebříčky primárních škol 2002 prostá přidaná hodnota pro sekundární školy (primární školy 2003) 2006 kontextově vázaná přidaná hodnota 2011 očekávaný pokrok 2016 progress 8 Ježková, V., Dvořák, D., Chapman, Ch., et al. (2010). Školní vzdělávání ve Velké Británii. Praha: Karolinum. Kelly, A., & Downey, C. (2010). Value-added measures for schools in England: looking inside the black box of complex metrics. Educational Assessment, Evaluation & Accountability, 22(3), Leckie, G., & Goldstein, H. (2017). The evolution of school league tables in England : contextual value-added, expected progress and progress 8. British Educational Research Journal. doi: /berj.3264

6 Žebříčky škol podle hrubých výsledků primární školy výsledky testů na konci KS2 (matematika, angl., dříve i science) sekundární školy podíl žáků, kteří složili alespoň 5 zkoušek GCSE se známkou A* C cílem bylo zvýšit kvalitu škol působením tržních mechanismů nezohledňují odlišné složení žáků z hlediska socioekonomického původu rizikem je zúžení výuky (teaching to test), napětí a stres, podceňování profesionality učitelů, jednostranné zaměření pozornosti na hraniční žáky C/D

7 Prostá přidaná hodnota (VA) očekávaný výsledek predikován na základě předchozího výsledku tzv. median method (Ray, 2006) očekávaný výsledek pro každého žáka byl definován jako medián z výsledků všech žáků, kteří v předchozím klíčovém období dosáhli stejné úrovně výkonu jako daný žák výhody: jednoduchost, srozumitelnost nevýhody: vysoká korelace mezi VA a hrubým výsledkem školy (Gorard, 2008) Gorard, S. (2008). The value-added of primary schools: what is it really measuring? Educational Review, 60(2), Ray, A. (2006). School value-added measures in England. A paper for the OECD project on the development of value-added models in education systems. London: Department for Education and Skills

8 Kontextově vázaná přidaná hodnota (CVA) očekávaný výsledek predikován na základě předchozího výsledku a tzv. kontextových proměnných kontextové proměnné: pohlaví, specifické vzdělávací potřeby, etnický původ, nárok na bezplatný oběd, mateřský jazyk, meziškolní mobilita, věk, institucionální péče, index příjmové deprivace místa bydliště IDACI výhody: větší přesnost, spravedlivost nevýhody: složitost výpočtu, nutnost získat kontextová data, nesrozumitelnost pro veřejnost, implicitně nižší nároky na znevýhodněné žáky

9 Očekávaný pokrok (expected progress) podíl žáků, kteří se v průběhu sekundární školy zlepšili alespoň o 3 úrovně národního kurikula není to míra přidané hodnoty výhody: srozumitelnost, přímá vazba na národní kurikulum KS2 test Úroveň 3 Úroveň 4 Úroveň 5 a vyšší nevýhody: hraniční žáci, snižování nároků na KS2, nezohledňuje rozdílný pokrok matematika 2014 očekávaný pokrok učinilo 96 % žáků začínajících na úrovni 5A, ale jen 20 % žáků začínajících na úrovni 3C (Leckie & Goldstein, 2017) Leckie, G., & Goldstein, H. (2017). The evolution of school league tables in England : contextual valueadded, expected progress and progress 8. British Educational Research Journal. doi: /berj.3264 GCSE D C B a vyšší

10 Progress 8 (P8) výpočet založen na novém indikátoru úspěšnosti u zkoušek GCSE (attainment 8/A8 celkový počet bodů z 8 předmětů včetně angličtiny a matematiky) návrat k metodologii přidané hodnoty porovnává se rozdíl mezi skutečným a očekávaným výsledkem definovaným jako celostátní průměr hodnoty A8 žáků s podobným výsledkem na konci KS2 výhody: širší kurikulum (8 předmětů), ke školnímu skóru přispívají všichni žáci nevýhody: nezohledňuje socioekonomické a demografické charakteristiky žáků Další informace:

11 Příklad výpočtu P8 Výsledek žáka XY v KS2 testu Očekávaná hodnota A8 Skutečná hodnota A8 Progress 8 5,1 59,92 67 (67 59,92)/10 = 0,71 Průměr výsledku z matematiky a čtení přepočtený na fine grades Průměrná hodnota A8 všech žáků s výsledkem 5,1 na KS2 Přibližně o ¾ stupně lepší výsledek v každém předmětu, než by se očekávalo přidaná hodnota školy průměr skórů P8 všech žáků školy inspekce pokud P8 < 0,5 a horní hranice 95% konfidenčního intervalu < 0 od roku 2021 plánován nový systém výpočtu P8 v návaznosti na změny národního kurikula a KS2 testů v roce 2016

12 Závěry nejpřesnější mírou přidané hodnoty se zdá být CVA nepřeceňovat význam indikátorů přidané hodnoty testové výsledky a z nich odvozené indikátory používat k monitoringu, autoevaluaci a podpoře neúspěšných škol, ne pro účely akontability tendence zavádět nové způsoby hodnocení, které více spoléhají na učitelovo posouzení žákovských výkonů podle jednotného hodnoticího rámce (Department for Education, 2014) Department for Education (2014). National curriculum and assessment from September 2014: information for schools. Děkuji za pozornost.