Modul 3 Indikátory ke sledování přírodovědné gramotnosti

Modul 3 Indikátory ke sledování přírodovědné gramotnosti Modul 3 popisuje základní přístup k volbě nových indikátorů pro sledování podpory rozvoje přírodovědné gramotnosti, uvádí východiska pro jejich výběr, jejich základní rozdělení a zapracování do nových nástrojů pro sledování přírodovědné gramotnosti. Klíčová slova modulu indikátor podmínek indikátor procesu indikátor výsledku indikátorový list Co se rozumí indikátorem Obecně je indikátor (ukazatel) míra, která svědčí o určitém jevu, slouží jako vodítko, s jehož pomocí bude úroveň dosažených cílů prokazatelná. Určuje přesný popis žádoucí kvality. Indikátory jsou tedy určitým způsobem měřitelné údaje a vypovídají o současném stavu sledovaného jevu. Představují objektivní argumenty pro rozhodování, na jejich základě můžeme vyhodnotit stávající stav sledované reality jako uspokojivý nebo jako zralý pro změnu. Indikátory mohou být kvalitativní, semikvantitativní a kvantitativní. Indikátory pro sledování přírodovědné gramotnosti odůvodnění expertním týmem Účelem indikátorů v obecném smyslu je spolehlivé zhodnocení vlastností určitých objektů (nebo systémů těchto objektů) či procesů, které v těchto objektech nebo mezi nimi probíhají (viz např. Janoušková & Maršák 2008; Janoušková et al., 2010). Zmíněné objekty mohou být fyzikální (např. atomy či planety), chemické (molekuly a jejich systémy), biologické (živé systémy) či sociální (např. rodiny, školy, vzdělávací systémy, ekologické systémy). V užším pojetí pak lze indikátory považovat za nástroje vytvářené a zaváděné za účelem hodnocení a informování, tedy zejména proto, aby umožnily posoudit, zda bylo dosaženo předem definovaných záměrů, resp. cílů vymezených v dané oblasti zkoumání a zda jsou za daných podmínek záměry, resp. cíle dosahovány optimálním způsobem (viz např. Ogawa & Collom, 2000; Shavelson et al., 1991). Takové druhy indikátorů jsou využívány v nadnárodních uskupeních např. pro mezinárodní srovnávání různých parametrů vzdělávání např. v OECD, EU, UNECE, na úrovni národní např. pro účely informování a rozhodování decizní sféry, na lokální úrovni např. pro účely informování a rozhodování zřizovatelů škol, či na úrovni škol jako součást autoevaluačních procesů. Indikátory ČŠI mají charakter indikátorů využívaných na národní úrovni, neboť mají být aplikované v prostředí škol v ČR. Jejich účelem je evaluace kvality výuky směřující k získání konkrétních gramotností, přičemž vyvinuté indikátory mají být do značné míry také nástrojem komunikace mezi Českou školní inspekcí a odbornou veřejností (školami, výzkumnými pracovišti, vysokými školami), Českou školní inspekcí a decizní sférou a následně pravděpodobně decizní sférou a laickou veřejností. 1/6

Jaké druhy indikátorů mohou být s výhodou využity? Indikátory můžeme dělit podle mnoha kritérií. Nejzákladnější rozdělení je na indikátory kvantitativní a kvalitativní. Kvantitativní indikátory jsou charakterizovány číselnou hodnotou (např. počet žáků ve třídě, investice do vzdělávání, věková struktura učitelů). Kvalitativní indikátory mají nejčastěji podobu nějaké slovní výpovědi (např. slovní hodnocení žáků ve výuce, písemné či slovní vyjádření žáka při zkoušení). Velmi často jsou v pedagogické praxi využívány indikátory semikvantitativní, kdy se slovnímu vyjádření přiřadí dle předem stanoveného algoritmu číslice (např. známka od 1 do 5) a s touto číslicí se dále pracuje jako s číslem (např. se počítá průměr známek). Je však nutné si uvědomit, že číslice zde slouží pouze jako prostředek pro snadnější zpracování primárně kvalitativní výpovědi (viz např. Bunge, 1996; Shavelson, 1991; Průcha, 1996; Fitz Gibbon, 1996, 2002; Vašťatková 2006). Častou kategorií uváděnou v různých indikátorových sadách jsou tzv. kontextové indikátory nebo také indikátory podmínek (viz např. Education Statistics Council, 2012;Sheer et al., 2011; Janoušková et al., 2010; Oaks, 1989; Canadian). Tyto indikátory udávají základní informace, které velmi rychle vedou uživatele k vytvoření základní představy o faktu popisovaném indikátory. V našem případě do této kategorie byly zařazeny indikátory týkající se zejména technických, materiálních a personálních podmínek školy, například odbornost vyučujícího, počet hodin předmětu, ve kterém jsou cíle dané gramotnosti naplňovány, či materiální a technické vybavení pro realizaci žákovských pokusů. Příklady dalších konkrétních indikátorů: rozmanitost didaktických materiálů využívaných ve výuce výuka v dělené třídě volitelné předměty, ve kterých je rozvíjena přírodovědná gramotnost Tento typ indikátorů poskytne skutečně jen první vhled do kontextu škol. Může ovšem naznačit, do jaké míry škola vytváří podmínky pro naplňování cílů gramotnosti. Například jen omezené portfolio laboratorní techniky naznačuje, že množství prováděných experimentů je omezené či je může provádět jen omezený počet žáků, pokud např. množství laboratorních sad neodpovídá počtu žáků. Indikátory podmínek však samy o sobě k dostatečné podrobnému popisu problematiky nestačí. Používají se proto další indikátory, tzv. indikátory procesu (viz např. UNESCO; Stecher, 2005; Porter, 1991; Kuh et al., 1997; Sheerens, 2011). Indikátory procesu slouží k popisu procesů a aktivit v oblasti vzdělávání, které ve výuce probíhají proto, aby žáci dosáhli vytyčených cílů. Zatímco indikátory podmínek tedy pouze popisují existenci či neexistenci nějakého faktu (techniky, didaktických materiálů apod.), indikátory procesu popisují, jakým způsobem jsou např. didaktické materiály, technika atd. prakticky využívány. Přitom je účelné dělit je z pohledu činnosti učitele a činnosti žáka. Příklady okruhů indikátorů uvádíme níže. Příklady sad indikátorů hodnotících činnost vyučujícího: Využívání digitálních technologií ve výuce např. jak často jsou využívány interaktivní tabule, jaký software je využíván a do jaké míry jej vyučující je schopen ovládnout (vizualizace či používání virtuálních modelů může žákům významně napomoci k pochopení 2/6

učiva přírodních věd). Využívání didaktických materiálů např. jakou kvalitu mají využívané materiály (např. zda obsahují moderní poznatky, mají relevanci pro rozvoj přírodovědné gramotnosti), a jak je schopen vyučující využít jejich potenciálu ve výuce (rozvíjí látku v nich uvedenou, aktivizuje žáky apod.). Správné zvládnutí metody a formy výuky, kterou vyučující volí týká se zejména heuristických, badatelsky orientovaných metod, formy kooperativního učení, skupinové výuky. I ve frontální výuce lze však sledovat schopnost vyučujícího žáky zaujmout, strukturu sdělovaných poznatků vyzdvižení podstatných informací apod. Příklady sad indikátorů hodnotících činnost žáků: Využívání digitálních technologií ve výuce schopnost pracovat s digitálními technologiemi, např. řešit v rámci softwaru instalovaného na interaktivní tabuli zadané úkoly, využívat aktivně výpočetní techniku při tvorbě protokolů laboratorních prací, např. Excelu při tvorbě grafů apod. Schopnost práce s nabízenými didaktickými materiály např. schopnost orientace v učebnici (textu), řešení učebních úloh, aktivní spolupráce s vyučujícím při diskuzi nad texty didaktických materiálů. Kooperace žáků s vyučujícím při aplikaci konkrétních metod výuky např. schopnost žáků pracovat ve skupinách (skupinová výuka), vyvozovat s vyučujícím závěry z demonstrovaného pokusu (heuristická metoda) apod. Indikátory procesu lze efektivně propojit s indikátory kontextu, jak již bylo naznačeno výše. Je např. zbytečné mít velké množství interaktivních tabulí, které jsou využívány pouze jako promítací plátno. Může být kontraproduktivní využívat výukovou metodu, která není vyučujícímu blízká. To zpravidla neumožní ani žákům dosáhnout cíle jednoduše. Logické spojení mezi indikátory kontextu a procesu může školám pomoci odhalit silné stránky či nedostatky, a to např. i ve vztahu k jejich hospodaření. Poslední skupinou indikátorů navržených týmem jsou indikátory výsledku. Ty se používají k hodnocení změn a zlepšení, ke kterým došlo účinkem implementace konkrétních postupů zavedených školou pro dosažení cílů konkrétní gramotnosti (viz např. Sheerens, 2011; Janoušková et al., 2010). Indikátory výsledku by se měly zaměřit na: rovinu kognitivní (např. osvojení si poznatků), rovinu afektivní (např. hodnotový systém žáka ve vztahu ke gramotnosti, oblíbenost přírodovědných oborů žákem), rovinu psychomotorickou (schopnost manipulace s relevantními předměty zpravidla základy laboratorní techniky, práce s mikroskopem nebo zapojování obvodů). Zpracování a popis indikátorů Indikátory byly týmem zpracovány do podoby jednotných indikátorových listů. Indikátorový list obsahuje: popis účelu indikátoru/indikátorové sady, způsob sledování a získávání dat, 3/6

způsob kvantifikace (vyhodnocování) indikátoru, popisy dosažených hodnot indikátorů, časové určení indikátorů, perioda sledování a vazba na další indikátory. Účelem indikátorových listů je co nejlépe popsat způsob získávání dat a jejich vyhodnocení, umožňují celý proces hodnocení přírodovědné gramotnosti standardizovat. Výhodnost tvorby indikátorových listů spatřuje expertní tým zejména v tom, že mohou být standardizovaně a cíleně dále dotvářeny nové indikátory, kompatibilní s indikátory již vytvořenými. Může tak vznikat stále širší portfolio indikátorů pro evaluaci na úrovni škol. Podkapitola: Příklady sledování indikátorů, záznam dat a způsoby vyhodnocení V rámci přírodovědné gramotnosti je sledována celá škála indikátorů, které jsou organizovány do indikátorových sad. Tyto sady jsou uspořádány tak, aby tvořily samostatné indikátorové nástroje dotazníky, check-listy či záznamové archy. V rámci jedné inspekce je tak možno sledovat širokou škálu parametrů přírodovědné gramotnosti. Konkrétními nástroji vytvořenými pro hodnocení přírodovědné gramotností jsou: Sebehodnoticí dotazník pro žáka žákovská reflexe přírodovědných předmětů, Sebehodnoticí dotazník pro učitele učitelská reflexe vlastní výuky přírodovědných předmětů, Check-list podmínky rozvoje přírodovědné gramotnosti a Záznamový arch přímého sledování rozvoje přírodovědné gramotnosti (inspekční hospitační záznam). Doplňkovými indikátory jsou úlohy pro ověřování výstupních znalostí žáků v oblasti přírodovědné gramotnosti. Ty mohou být využity v případě, že by záměrem inspekce bylo ověřit vědomosti a dovednosti žáků ve výuce (zadáním jedné nebo více vybraných úloh). Indikátory check-listy Převážná většina vytvořených indikátorů má kvalitativní nebo semikvantitativní charakter. U kvalitativních indikátorů (typické pro Check-list podmínky rozvoje přírodovědné gramotnosti) bylo snahou vytvořit indikátory jako dichotomická vyjádření (ANO/NE), z check-listu je zřejmé, u kterých položek je preferována konkrétní odpověď ANO/NE. V některých případech existuje u indikátoru kromě jednoho z vyjádření ANO/NE také kvantifikace (např. minimální počet experimentů, jež mají být ve výuce realizované v daném období). U těchto indikátorů je četnost uvedená vedle odpovědi nepodkročitelným minimem pro posuzování standardního stavu rozvoje přírodovědné gramotnosti. Indikátory dotazníky Většina indikátorů v dotaznících pro reflexi přírodovědných předmětů žáky a učiteli má semikvantitativní charakter. Znamená to, že žáci i učitelé volí na škále zpravidla pětistupňové jednu z nejvíce vyhovujících odpovědí. Pětistupňové škály jsou dostatečně podrobné pro adekvátní popis vybraných parametrů přírodovědné gramotnosti ve školách a zároveň svým rozsahem nadměrně nezatěžují žáky a učitele při vyplňování dotazníků. Položky stupnice k jednotlivým výrokům, k nimž zaujímají žáci a učitelé postoje, se mohou lišit. Dotazníky vyplněné žáky konkrétního ročníku a učitelem vyučujícím tyto žáky by optimálně měly být v konkrétních položkách vyhodnocovány proti sobě, aby bylo zřejmé, jaký je soulad/nesoulad mezi vnímáním žáků a učitelem (viz příklad níže). V dlouhodobém horizontu lze díky indikátorům získat rozsáhlé informace o oblíbenosti předmětů žáky, aktivitách, které se majoritně ve výuce odehrávají, o subjektivním vnímání míry pochopení učiva konkrétních vzdělávacích oborů žáky atp. To napomůže dalšímu směrování národní vzdělávací politiky a umožní školám a dalším relevantním subjektům (vysokým školám, výzkumným pracovištím, subjektům působícím v neformálním vzdělávání atp.) soustředit se na problematické aspekty rozvoje přírodovědné gramotnosti. 4/6

Konkrétní způsoby vyhodnocování jsou uvedeny v jednotlivých indikátorových listech doprovázející příslušné nástroje/indikátorové sady. Příklad indikátoru a jeho dílčích ukazatelů Ukázka indikátoru žákovského dotazníku. U každého z tvrzení vyberte odpověď, která nejlépe odpovídá skutečnosti. Rozumím tomu, co se učíme. fyzika chemie přírodopis zeměpis Ukázka analogického indikátoru v dotazníku učitele. Moji žáci rozumí tomu, co je učím. fyzika chemie přírodopis zeměpis Pozn.: Učitel hodnotí výhradně ty předměty, které vyučuje v daném ročníku. Postupy při vyhodnocování zjištěných informací Vyhodnocení budou vytvářet školní inspektoři na základě sběru potřebných dat a informací jak sami, tak s využitím odpovídajících elektronických nástrojů (různé formy tzv. reportů) v elektronickém systému ČŠI InspIS. S jejich pomocí pak následně provedou příslušné zpracování a vyhodnocení do textové i přehledné vizuální podoby. Získané informace budou napomáhat celkovému zhodnocení situace v oblasti přírodovědné gramotnosti ve škole, ať již z hlediska podmínek, rozvoje, či výsledků dosažených v této oblasti. Takto získané informace se promítnou také do inspekční zprávy, která tak podá relevantní zpětnou vazbu škole v rámci externího hodnocení. Zároveň díky tomu, že škola bude o nově nastaveném hodnocení účinnosti podpory přírodovědné gramotnosti, včetně některých nástrojů, předem vědět (a bude jimi disponovat), bude moci situaci v oblasti přírodovědné gramotnosti sledovat průběžně také sama v rámci vlastního hodnocení. Tímto tak bude moci získat dvojí zpětnou vazbu. Toto vše bude doplněno, jak bylo již výše zmíněno, příklady tzv. inspirativní praxe škol, které bude Česká školní inspekce se souhlasem těchto škol zprostředkovávat dalším školám prostřednictvím elektronického systému InspIS. Souhrnné zpracování a analýza dat získaných v rámci zjišťování a hodnocení přírodovědné gramotnosti, včetně jejich vyhodnocení a interpretace, mohou být samozřejmě prováděny i na úrovni vzdělávací soustavy, a to v návaznosti na různá zadání. Tato práce s daty probíhá centrálně, ve speciálním útvaru ČŠI pro zpracování a analýzu dat. Výsledné analýzy a zjištění 5/6

jsou pak často podnětem pro další, specifičtěji zaměřená zjišťování. Tyto analýzy obecně mohou mít následně různou podobu (např. výroční zprávy České školní inspekce, tematické zprávy, analytické studie a další materiály). Výstupní materiály a další publikace jsou průběžně uveřejňovány na webových stránkách ČŠI www.csicr.cz a souvisejících odkazech. 6/6