Studie proveditelnosti počítačem adaptovaného testování v prostředí českých škol

Rozměr: px
Začít zobrazení ze stránky:

Download "Studie proveditelnosti počítačem adaptovaného testování v prostředí českých škol"

Transkript

1 Studie proveditelnosti počítačem adaptovaného testování v prostředí českých škol Autorský tým: Mgr. Zuzana Filípková, PhD. Doc. PhDr. Petr Byčkovský, CSc. S využitím podkladů PhDr. Jitky Houfkové, PhD., a Mgr. Jany Burešové Praha, duben 2008

2 Obsah 1 Počátky a vývoj adaptivního testování Počítačový adaptivní test (CAT) pojetí, druhy a banka úloh Proces administrace a skórování CAT (přehled) Stručně o teorii odpovědi na položku (item response theory, IRT) Výhody a nevýhody CAT oproti konvenčním testům Literatura... 24

3 1 Počátky a vývoj adaptivního testování Adaptivní testování prošlo v USA dlouhým vývojem, k rozvoji počítačového adaptivního testování (computer adaptive testing, CAT) přispěla zásadním způsobem teorie odpovědi na položku. U nás zatím bohužel o nějakém vývoji CAT nemůže být vůbec řeč. Adaptivní testování vzniklo pro účely výkonových testů a je v nich také v současnosti nejvíce rozvíjeno, zejména v dichotomně skórovaných testech, i když adaptivní testy se objevují i v psychologii v oblasti diagnostiky (testy osobnosti, Jelínek; Květoň; Denglerová 2006). Adaptivním testováním se zejména v USA zabývá mnoho expertů, např.: Drasgow a Olson-Buchanan (1999), Sands, Waters a McBride (1997), Wainer (2000), Weiss (1983) a stále se v této oblasti vedou výzkumy. U nás se adaptivnímu testování zatím dostatečně nevěnuje žádný odborník. Adaptivní testování je testovací metodologie, která vyžaduje počítač nejen pro své zadávání, i když adaptivní přístupy, dvou- (nejjednodušší a nejstarší) a víceúrovňové (fixní větvené modely - pyramidové, skokové a stratifikované) existovaly již před nástupem počítačů (Jelínek, Květoň, Denglerová, 2006; Weiss 1973). Adaptivní testování se objevilo již na počátku 20. stol. První adaptivní testy První adaptivní test vytvořil Alfred Binet společně se svým spolupracovníkem Theodorem Simonem (Binet & Simon, 1905). Šlo o tzv. Binet IQ test. Test se používá v moderní verzi dodnes. Binetův test se skládal ze setu testových úloh seřazených podle chronologického věku. Administrace tohoto testu byla zcela adaptivní. Binet zařadil úlohy pro určitou věkovou mentální úroveň, pokud cca. 50% dětí daného věku odpovědělo úlohu správně. V původní verzi zahrnoval test 9 věkových úrovní (od 3 do 11 let). Tyto úlohy tvořily Binetovu banku úloh pro adaptivní test. Úlohy byly zadávány po deseti individuálně školeným psychologem, který okamžitě odpovědi vyhodnocoval, a podle nich zadával testovanému úlohy vyšší (když odpověděl většinu z nich správně) či nižší věkové úrovně (když většinu chybně). Testování bylo ukončeno, pokud byly u testovaného identifikovány jak základní ( basal ), tak stropní (horní, ceiling ) věková úroveň. Stropní úroveň definoval Binet jako věkovou úroveň, na které testovaný nezodpoví ani jednu úlohu správně; základní úroveň naopak jako tu, na které odpoví všechny úlohy správně. Konečný skór testovaného v Binetově testu je založen na podskupině úloh, které zodpověděl správně. Paralelně s vojenským testováním probíhal od počátku 20. století vývoj přijímacích testů na amerických univerzitách. K tomuto účelu byla založena organizace College Board. Úspěch vojenského testovacího programu ovlivnil College Board a ta začala s vývojem testu studijních předpokladů Scholastic Aptitude Test (SAT) byl SAT, který se skládal z 9 (1928 z 8 a 1929 ze 7) subtestů, poprvé zadán. V roce 1934 se profesor Benjamin Wood z Kolumbijské univerzity spojil s inženýry z IBM, aby společně vytvořili mechanický přístroj na skórování testů. Vynález prvního takového přístroje se připisuje středoškolskému učiteli B. Johnsonovi. Organizace Educational Testing Service a College Board vyvinuly CAT testovací systém pro IBM počítače pro testování základních dovedností v angličtině a matematice na úrovni střední školy (Abernathy, 1986; Ward aj., 1986). Poté následovaly další adaptivní testovací systémy např. od Assessment Systems Corporation (MicroCAT), Psychological Corporation či The Waterford Testing Center (více Bunderson, Inouye, Olsen, 1989). Počítačové adaptivní testy V 50. letech se začalo s využíváním počítačů při testování. Systémy počítačem řízeného testování (CAI Computer Assisted Instructions) byly ovlivněny behaviorální psychologií. Jednalo se o jednoduché lineární programy. Z lineárních programů byly později v 60. letech vyvinuty programy větvené, které již nabízely určité přizpůsobení studentovi a obsahovaly rozdělující podmínky. Příklad podmínky: Pokud byla otázka 2 zodpovězena správně, polož otázku 10, v opačném

4 případě polož otázku 3. Tyto programy byly v 70. letech nahrazeny výukovými systémy, které byly schopny vytvořit novou sadu otázek z různých úloh banky, ale přizpůsobení studentovi bylo velmi omezené a neodpovídalo potřebám jednotlivců. Programy obsahovaly předem pevně dané větve a smyčky otázek a neposkytovaly možnost úplného přizpůsobení hladině vědomostí testovaných jedinců. Větší výzkum v oblasti testů s využitím výpočetní techniky provedl až F. Lord ve 2. pol. 60. let a na počátku 70. let 20. století. Pracoval jak na teoretické struktuře hromadně zadávaného, ale individuálně ušitého testu pro úroveň schopností testovaného, tak i na mnohých praktických detailech. První pokusy implementovat adaptivní testy byly neobratné a/ nebo drahé. Americká armáda však brzy rozpoznala potencionální výhody adaptivního testování a podpořila finančně rozsáhlý teoretický výzkum. Studie zaměřené na adaptivní testování se systematicky objevují v odborném tisku od 70. let 20. století. Nicméně první reálnou příležitostí vyzkoušet adaptivní testování byla až dostupnost cenově příznivých výkonných počítačů v 80. letech. První vojenský prototyp počítačového adaptivního testu (computer adaptive test, CAT) byl vyvinut pro Apple III počítače ve výzkumném centru Naval Personnel Research and Development Center (NPRDC) v roce Tento prototyp byl určen k první širokoplošné počítačové adaptivní administraci subtestů z testu ASVAB 1. V roce 1973 navrhl Weiss (Weiss 1973) počítačovou variantu Binetova testu, kterou nazval stratifikovaný nebo-li stradaptivní test (The stratified adaptive computerized ability test).. Poté následovaly další stradaptivní testy (Weiss, 1979). Weissův test používal stejnou strukturu banky úloh jako Binetův test, úlohy byly uspořádány po deseti do věkových mentálních úrovní dle obtížnosti (tzv. strata = vrstva). Podobně jako v Binetově testu používá stratifikovaný test proměnlivou startovací úroveň, a tím dovoluje začít na jakékoli úrovni obtížnosti přiměřené každému testovanému. Stratifikovaný test se od Binetova liší v tom, že je zadána vždy pouze jedna úloha a skórována. Další úloha je zadána na základě předchozí odpovědi. Pokud je odpověď správná, je testovanému zadána úloha z následující těžší vrstvy. Když testovaný odpoví chybně, bude mu zadána úloha z nejbližší nižší vrstvy. Tento proces pokračuje tak dlouho, dokud není splněno kritérium k ukončení testu. Test je ukončen, když jsou všechny úlohy nebo pět po sobě následujících úloh v určité vrstvě zodpovězeny chybně. Obr. 0 zobrazuje příklad záznamu odpovědí v stradaptivním testu. V tomto testu byla zvolena za startovací úroveň mentální úroveň 9. První úloha (1) byla zadána a zodpovězena správně (+), a tak další úloha byla zadána z úrovně 9,5. Po správné odpovědi (2+) byla potom zadána úloha z úrovně 10. Protože tato úloha byla zodpovězena chybně (3-), byla následně zadána opět úloha z nejbližší nižší úrovně 9,5, která byla vyřešena správně (4+). Proces pokračoval tímto způsobem až do zadání 31. úlohy. Úloha 30 byla zodpovězena chybně, ale protože z úrovně 9 bylo zadáno již deset úloh, musela být 31. úloha zadána z úrovně nižší, tedy 8, 5. Protože z úrovně 10 byly všechny úlohy zodpovězeny chybně (jako poslední úloha 44), byla mentální úrověň 10 identifikována jako stropní úroveň. Sloupec s hodnotami poměrů správných odpovědí (proportion correct) poukazuje na typické výsledky stratifikovaného testu. Jak očekáváno, tyto poměry se zvyšují (od 0 do 1) se snižující se obtížností úlohy (mentální úrovně). Celkový poměr správných odpovědí je na optimální úrovni roven 0, byl vytvořen pro americkou armádu test Army Alpha (revize původního testu Examination a, který obsahoval 10 subtestů) o 8 subtestech. Tento test měl již známky podobnosti ke kognitivním částem moderního testu Armed Services Vocational Aptitude Battery (ASVAB) používaného v současnosti americkou armádou. Army Alpha a Army Beta (určen pro negramotné a ne anglicky mluvící brance) byly společně prvním širokoplošným testováním IQ (2 milióny mužů byly jím otestovány; Wainer 2000). Testovací vojenské programy se staly rozsáhlejšími za 2. světové války. V roce 1939 následovalo přepracování Army Alpha, tzv. Army General Classification Test (AGCT), který obsahoval 4 části. Posledním předchůdcem nynějšího testu ASVAB byl Armed Forces Qualification Test (AFQT).

5 Obr. 0 Příklad záznamu odpovědí v stratifikovaném testu (Weiss 1973) V roce 1974 publikoval M. D. Reckase informace o interaktivním počítačovém programu pro adaptabilní testování založené na jednoparametrovém logickém modelu (1PL model). Mezi další testy odvozené od Binetova testu patří například Lordova Flexilevel testing procedure (1980), Henningova Step Procedure (1987) a Lewisovy a Sheehanovy Testlety (1990), viz [ ]. Tyto testy pracují se sety úloh rozdělené podle obtížnosti. Testovací software předloží testovanému celý vybraný set úloh a teprve na základě jeho odpovědí na všechny úlohy v setu je určována úroveň obtížnosti následujícího setu otázek. V posledních letech se staly počítačové adaptivní testy široce používané, řada testovacích programů v USA, ale i v Evropě je zařadila do své nabídky. Jde např. o počítačovou adaptivní verzi testu Graduate Management Admission Test (GMAT), testu studijních předpokladů pro uchazeče o doktorské studium Graduate Record Examination (GRE) 2 či o test pro získání licence zdravotní sestry National Council Licensure Examinations (NCLEX) 3 používané v USA. Počítačové adaptivní verze některých dalších amerických testů jsou zatím ve výzkumných fázích, např. testy studijních předpokladů ACT (American College Testing Program), SAT (Scholastic Assessment Test) či test pro udělení lékařské licence USMLE TM (Medical Licencing Examination). Výčet některých aktuálně dostupných počítačových adaptivních testů je uveden v tab V roce 1993 poprvé zveřejnila největší světová testovací organizace ETS počítačovou adaptivní verzi testu GRE. Použití testu GRE v papírové verzi ETS pozvolna redukuje. 3 Nursing Boards zcela přešla již 1994 od papírové verze testu NCLEX k počítačovému adaptivnímu testu.

6 Tab. 1 Přehled některých počítačových adaptivních testů název testu zkratka kdo ho vytvořil popis testu internetový odkaz Test pro potřeby Graduate Graduate Management GMAT ETS (USA) Management Admission Test GMAT Admission Council. Graduate Record Examination National Council Licensure Examinations Armed Services Vocational Aptitude Test Battery Adaptive Matrices Test CAT of Written English for Spanish Speakers Computerized Adaptive Test of English GRE NCLEX ASVAB AMT CATE ETS (USA) NCSBN (National Council of State Boards of Nursing; USA) U.S. Department of Defence (USA) Dr. Schuhfried GmbH (Rakousko) CAT research group at the Autonoma University of Madrid English Language and Learning Support of the Information and Learning Resource Services at Middlesex University (Velká Británie) Test studijních předpokladů používaný v USA při přijímacím řízení na postgraduální studium. Test pro udělení licence pro zdravotní sestry. Multiple-ability test battery. Částí Vienna Test System, mimoverbální hodnocení všeobecné inteligence založené na deduktivním úsudku. Test z angličtiny pro Španěle, je zadáván on-line. Test angličtiny pro uchazeče o studium, kteří nemají angličtinu jako rodný jazyk. s placementtests wts/amt ecatpdf.pdf V současné době je pozornost odborníků věnována i možnostem a úskalím zadávání CAT testů prostřednictvím internetu.

7 2 Počítačový adaptivní test (CAT) pojetí, druhy a banka úloh Co je adaptivní počítačový test? Adaptivní (přizpůsobivé) testování prostřednictvím počítačů (computer-adaptive testing, CAT) je metoda zadávání a zpracování testů, která přizpůsobuje výběr testovacích úloh schopnostem testované osoby. Proto je také někdy nazýváno testováním na míru (tailored testing). Adaptivní počítačový test (computer adaptive test, CAT) je test, při kterém testovací software vybírá úlohy pro testovaného z relativně velké banky úloh podle jeho odpovědi/odpovědí na úlohu/úlohy předešlou/předešlé. Pokud testovaný odpoví správně, dostane úlohu obtížnější, pokud chybně, je mu zadána úloha snadnější. Volbou obtížnosti úloh se testovací software přibližuje úrovni schopnosti zkoušeného. Test většinou končí, když se výkon zkoušeného na dané úrovni schopnosti ukáže být jeho nejvyšším možným výkonem. S CAT je během testovacího procesu postupně odhadována relativní úroveň schopností testovaného vzhledem k referenční skupině (norm group) a testovací úlohy jsou vybírány na základě okamžitého odhadu schopností. Zkoušení tak dostávají úlohy, které maximalizují získání informací o jejich schopnostech. Díky tomu obdrží zkoušení jen velice málo úloh, které jsou pro ně příliš těžké nebo příliš lehké. Tento výběr testovacích úloh podle úrovně zkoušeného vede ke snížení standardní odchylky a k větší přesnosti testu při menším množství testových úloh. Adaptivní testování tedy vyžaduje aparát, který by dovedl smysluplným způsobem popsat úlohy a rozdíly mezi nimi, určit efektivní pravidla pro aktuální výběr úloh k zadání a dospět k výslednému skóru, aniž by byl závislý na konkrétním souboru zadaných úloh (Wainer; Mislevy 2000). Nejvhodnějším matematickým aparátem se ukazuje být teorie odpovědi na položku (IRT), a proto je na ní také založena většina současných adaptivních testů (např. Goldstein, Wood, 1989; Lord, 1980; Van der Linden, Hambleton, 1997; Wainer, 2000; Embretson, Reise 2000; Baker, Kim 2004). Na tvorbu CAT byly vyvinuty speciální software, např. nejnovější je program FastTEST Professional Testing System Version 2.0 (Fast TEST Pro) z roku 2006 od americké Assessment Systems Corporation ( Druhy CAT Adaptivní testy se od sebe liší tím, zda jsou v nich úlohy vybírány a posléze zadávány testovaným individuálně či baleny do bloků/ setů (multilevel či multistage tests, např. Jodoin 2003) nebo dokonce do malých testíků. Ve všech případech jsou vybírány na základě předchozí odpovědi či odpovědí na všechny úlohy v bloku. Nejjednodušším modelem adaptivního testu je test tvořený z tzv. screening testu (neadaptivní povahy), na jehož základě je podle jeho odpovědí testovanému přidělen buď test nižší či vyšší obtížnosti, opět s lineárním uspořádáním úloh. Drasgow; Luecht; Bennett (2006) rozlišují tři modely počítačového adaptivního testování: - CAT na úrovni úloh (item-level computer-adaptive testing); - CAT založený na testletech a počítačové mastery testy (testlet-based CAT and computerized mastery tests); - Strukturované počítačové adaptivní vícestupňové testy (Structured computer-adaptive structured computer-adaptive multistage tests). CAT na úrovni úloh (Item-level computer-adaptive testing) V tomto modelu se přizpůsobuje obtížnost testu každému testovanému na míru, a to úloha po úloze. Výběr úloh vychází z výkonu testovaného v úloze předchozí. CAT se tedy postupně vyvíjí v reálném čase pomocí software. Primárním kritériem je zde maximalizovat informační funkci testu, a tím minimalizovat chybu měření výsledku testovaného v testu. Obr. 1 zobrazuje, co se děje během CAT se skóry schopností testovaných (od -3 do +3; Ability Estimate, svislá osa) a asociovanými standardními chybami pro dva hypotetické testované (Examinee A, Examinee B) v testu o 50 adaptivně zadávaných úlohách (Item Sequence, vodorovná osa). Z obr. 1 je vidět, že

8 oba testovaní dostali na začátku úlohu průměrné obtížnosti (schopnost rovna nule, uprostřed svislé osy). Po zadání první úlohy se odhady schopností těchto testovaných začínají odlišovat, až dosáhnou přibližných skutečných hodnot schopností (-1 u testovaného B, +1 u testovaného A). Z obr. 1 je patrné, že testovanému A byly zadávány těžší úlohy než testovanému B. Také zde vidíme, jak rychle při testování klesá rozptyl chyby odhadů schopnosti a jak se zlepšuje efektivita testu. Obr. 1 Úrovně schopností a standardní chyby pro CAT o 50 úlohách pro dva hypotetické testované Obr. 2 ukazuje efektivitu CAT oproti testu s náhodně vybranými úlohami. Graf zobrazuje průměrné standardní chyby odhadů schopnosti testovaných v průběhu zadávání 50 úloh (vodorovná osa). Chyby odhadů jsou průměrovány u testovaných mající rozdílné skóry schopností. Z obr. 2 je patrné, jak chyby měření v obou případech postupně klesají, i když u adaptivního testu více. Např. CAT po zadání 20 úloh dosahuje téměř stejnou efektivitu jako test s 50 náhodně vybranými úlohami (viz obr. 2). Obr. 2 Průměrné standardní chyby pro CAT o 50-ti úlohách ve srovnání s testem s náhodně vybranými úlohami

9 CAT založený na testletech a počítačové mastery testy (Testlet-Based CAT and Computerized Mastery Tests) CAT založený na testletech (testletem rozumíme sadu úloh či mini-test ) zahrnuje adaptivní administraci předem sestavených sad úloh testovaným. Jednotkou testu zde tedy není jednotlivá úloha, ale testlet. Po zadání testletu jsou všechny úlohy v něm okamžitě skórovány a na jejich základě je potom vybírán další testlet. Test je ukončen po zadání posledního testletu či po dasažení jiného ukončovacího kritéria. U takovýchto testů je banka úloh uspořádána do testletů, ve kterých se úlohy vyskytují právě jednou a neopakují se. Je tedy zřejmé, že tyto testy jsou jen částečně adaptivní, protože úlohy v rámci testletu jsou zadávány lineárně a nikoli adaptivním způsobem. CAT založený na testletech je podobný k počítačovému mastery testu (PMT). V originálním PMT jsou testlety vybírány náhodně z banky paralelních testletů. Test pokračuje obvykle nad rámec nějakého minimálního počtu testletů dokud není dosaženo předem stanovené minimální hodnoty standardní chyby ve vztahu k tomu, zda testovaný napsal test úspěšně či neúspěšně. Strukturované počítačové adaptivní vícestupňové testy (Structured computer-adaptive multistage tests = ca-mst) Strukturované počítačové adaptivní vícestupňové testy jsou adaptivní testy s vlastní administrací používající opět testlety. Základní jednotkou je zde tzv. modul či testlet. Tyto moduly jsou předem sestaveny ze sady úloh o různém počtu od několika úloh až po např. 100 úloh. Z perspektivy testovaného se jeví ca-mst funkčně jako vícestupňové lineární testy. Obr. 3 zobrazuje třífázový ca-mst jako sérii tří modulů/ testletů. Po každé fázi probíhá skórování a následné nasměrování do další fáze, které je z velké části pro testované skryté. Z psychometrického hlediska splňuje každá série tří testletů statistické i obsahové požadavky. Testlety jsou baleny do tzv. panelů. Každý panel obsahuje čtyři až sedm (i více) testletů. Testlety jsou explicitně určeny pro konkrétní fázi a specifickou cestu uvnitř panelu (lehčí, průměrnou, těžší) založenou na průměrné obtížnosti testletu. Násobné (Multiple) panely mohou obsahovat i stejné úlohy. Obr. 3 představuje jeden z možných návrhů vícestupňového panelu typu (1-3-3 multistage panel design). Jeden testlet je přidělen fázi 1 (A, stage 1), tři fázi 2 (B, C, D) a tři další testlety fázi 3 (E, F, G). Obtížnost každého testletu se určuje pomocí IRT informačních funkcí. Existuje tedy sedm explicitních cílových informačních funkcí testu tvořících základ pro panel typu (viz obr. 3). Jde o tyto cesty: A+B+E, A+B+F, A+C+E, A+C+F, A+C+G, A+D+F a A+D+G. Mícháním testletů uvnitř panelů mohou být vytvořeny stovky nových panelů, pokud je banka úloh dostatečně rozsáhlá. Skórování odpovědí testovaných a výběr dalších úloh v reálném čase lze zjednodušit pomocí předem vytvořené tabulky odpovědí score routing table pro každý panel. Mechanismus skórování a výběru úloh využívá kumulativní četnost správných odpovědí a předem stanovených hraničních skórů k napodobení kritéria maximální informace používaného v CAT. Taková tabulka je skrytou součástí panelu, příklad našeho panelu vyžaduje deset hodnot skórů: A B, A C, A D, A+B E, A+B F, A+C E, A+C F, A+C G, A+D F a A+D G.

10 Obr. 4 Příklad uspořádání počítačového adaptivního vícestupňového testového panelu Počítačové adaptivní testy se používají k různým účelům: A) Buď chceme na jejich základě umístit každého testovaného podle jeho výkonu podél osy schopnosti nebo B) jen roztřídit testované do dvou či více širších kategorií (adaptive mastery testing, Kingsbury; Zara 1989 či computerized mastery testing, Sheehan; Lewis 1992). Dále se zaměřujeme kvůli zaměření této studie na adaptivní testy typu A) s individuálně zadávanými úlohami. Banka úloh Úlohy pro adaptivní test jsou shromažďovány v dostatečně velkém počtu v tzv. bance (někdy také databázi) úloh (item bank), která obsahuje min. 100 různorodých, dostatečně citlivých úloh (jak dobře úloha rozlišuje mezi studenty s různými schopnostmi) různých obtížností, vytvořená pro dané úrovně schopnosti θ (theta) testovaných a danou tématickou oblast. Obtížnost a citlivost úloh jsou získávány jako výsledek aplikace teorie testů. Existují různé modely, které je možno použít pro určení vlastností úlohy. Všechny modely předpokládají vztah mezi neměřitelnou schopností θ, měření. V případě CAT se zdá být nejvhodnější (viz výše) teorie odpovědi na položku (item response theory, IRT). Banka úloh by měla při použití IRT modelů obsahovat minimálně o 100% až 200% více testových úloh, než je úloh do testu navrhovaných. Davey; Pitoniak uvádějí, že by v bance mělo být 5 až 10 paralelních testových forem, i když ve skutečnosti je to trochu komplikovanější (Davey; Pitoniak 2006). Úlohy v CAT bance jsou většinou kvůli okamžitému (v reálném čase) automatickému (elektronickému) skórování úlohy uzavřené s výběrem odpovědi 4 nebo úlohy otevřené se stručnou odpovědí. Na úlohy v CAT jsou samozřejmě kladeny stejně velké nároky jako na profesionální neadaptivní úlohy. V posledních letech však technologie pokročila kupředu a již dnes lze automaticky skórovat i krátké (open-ended items, Burstein 2003, Burstein; Chodorow, Leacock 2004). a dokonce i komplexní, široké otevřené úlohy z medicíny (Clauser; Schuwirth 2002). Formát úloh může být vzhledem k schopnostem počítače složitý (např. s komplexní grafikou či video nahrávkou). Banku je třeba navrhovat velmi pečlivě s ohledem na to, že testovaným je zadáváno při zachování stejné přesnosti méně úloh než v neadaptivním testu. Jednotlivé úlohy banky je proto zapotřebí kalibrovat, tj. odhadnout pro každou úlohu jednotlivé statistické parametry (obtížnost, citlivost) v závislosti na používaném IRT modelu. Toto odhadování musí probíhat na dostatečně velkém souboru osob, i když charakteristiky úloh nejsou na tomto souboru závislé a měření 4 Zahrnují vedle tradičních úloh s výběrem odpovědi (multiple choice) úlohy dichotomické (alternativní či true- false), přiřazovací či pořádací.

11 schopnosti testovaného lze interpretovat i mimo populaci, pro kterou byl test standardizován (Hambleton 1991). Proces kalibrace je zdlouhavý, drahý a vyžaduje sběr empirických dat od velkého počtu testovaných. Obvykle je základem studie skupina i více testovaných. Snaha vyhnout se potřebě obrovských empirických výzkumů vede k používání systémů umělé inteligence a strojového učení (machine learning), kdy se empirická data nahrazují výsledkem namodelovaných postupů řešení úloh. Byl například vypracován CBAT-2 algoritmus, který vytváří vyrovnaný test zaměřený na přesně vymezenou část obsahu školního kurikula. Uvažování v rámci IRT je většinou unidimenzionální, proto bývá potřeba při budování banky úloh řešit problém multidimenzionality, např. vyvážením obsahu (content balancing, více např. Kingsbury; Zara 1991, Leung; Chang; Hau 2003) či rozdělením obsahu podle témat do jednotlivých subtestů (multiple scales, více např. Gialluca; Weiss 1979). Nastavení vyváženého obsahu se provádí z toho důvodu, aby žádná část testované oblasti nebyla testována výrazně více než jiná. Také je třeba dbát na to, aby některé úlohy neřešilo mnohem více testovaných (studentů) než úlohy jiné. Může to být dáno drobnými odlišnostmi v obtížnosti a rozlišovací schopnosti úloh, které vedou k jejich častějšímu výběru. Úloha, která by se objevovala ve většině testů, by se mohla stát veřejně známou a ovlivnit tak průběh testu. Přílišné nadužívání úloh je tedy nežádoucí. Stejně tak položka, která by se v testech příliš nevyskytovala, by byla zbytečně připravována. Proto některé testovací algoritmy sledují četnost použití jednotlivých úloh a při překročení stanoveného limitu, jsou takové úlohy dočasně vyřazeny z dalšího testování. Tak se v testu postupně objeví všechny úlohy. Otázkou však zůstává, zda odstranění některých úloh (zvláště těch, které se ukázaly jako vhodné) nezmění výsledky testů. Při ověřování vlivu použití kontroly četnosti na testy se ukázalo, že tímto způsobem může dojít k určitému snížení přesnosti měření a také k určitému prodloužení testů (T.J.H.M. Eggen, 2004, ). Pokud není velké riziko prozrazení úloh, nemusí se omezení počtu použití aplikovat. 3 Proces administrace a skórování CAT (přehled) Proces administrace počítačového adaptivního testu se skládá ze dvou základních kroků: z výběru úlohy a z odhadu úrovně schopnosti testovaného. Oba kroky se vždy po zodpovězení úlohy testovaným opakují. Při zadávání adaptivního testu vybírá počítač na základě předem zjištěných parametrů (určených IRT kalibrací úloh v bance) takové úlohy, které o daném testovaném s určitou odhadovanou úrovní schopnosti θ podávají maximální množství informace. Nejcitlivější úloha rozlišuje mezi jedinci, u kterých se úroveň θ vyskytuje v blízkosti hodnoty obtížnosti dané úlohy. Počítačový adaptivní test založený na IRT pracuje následovně (viz obr. 5). Cílem testu je zjistit, co testovaný ví o daném tématu. Jinými slovy chceme co možná nejpřesněji odhadnout úroveň jeho schopnosti θ. výběr úlohy z banky zadání úlohy použití odpovědi k zpřesnění odhadu schopnosti testovaného Banka úloh výběr další úlohy z banky NE Test ukončen? ANO výpočet konečného odhadu schopnosti testovaného Obr. 5 Proces administrace CAT (upraveno podle Davey; Pitoniak 2006) Nejprve počítač vytvoří počáteční odhad schopnosti θ testovaného, který buď může být pro všechny testované shodný (průměr schopností předešlých testovaných) nebo může být stanoven pro každého testovaného zvlášť na základě nějaké dostupné informace o něm (např. výkon v předchozích testech, známka, informace od učitele). Odpověď testovaného je poté okamžitě skórována a podle množství informace, kterou úloha podává na aktuální úrovni jeho schopnosti θ

12 počítač vybírá (s určitou tolerancí) z banky úloh úlohu s maximálním množstvím informace. 5 Ta je obvykle vybírána podle tzv. pravidla kroku (step-rule). Odpoví-li testovaný na první úlohu správně, je původní odhad jeho schopnosti θ zvýšen o určité číslo (často o 0,5 či 1), když chybně, je odhad snížen o stejné číslo. Tento postup se opakuje do té doby, dokud testovaný nezíská vzorek odpovědí (response pattern) skládající se minimálně z jedné chybné a jedné správné odpovědi. Poté se pro výpočet nového odhadu θ, který je založen na všech předchozích odpovědích, použije metoda maximální věrohodnosti 6 (maximum likelihood estimation). Po zadání a skórování každé další úlohy je odhad θ testovaného opět upraven a na jeho základě vybrána další ještě nezadaná úloha, která poskytuje největší informaci. Odhad schopnosti testovaného je s každým krokem zpřesňován. Proces počítačového adaptivního testování (zpravidla konvergentního) znázorňuje obr. 6. schopnost θ testovaného Obr. 6 Proces výběru úloh (upraveno podle Alessi; Trollip 2001) Obr. 7-9 objasňují výběr úloh podle maximální informace v CAT. Na obr. 7 vidíme kromě informačních křivek 10ti úloh počáteční odhad schopnosti θ = 0 pro hypotetického testovaného (viz svislá čára). Vodorovná osa je osa schopnosti θ testovaného, svislá osa určuje množství informace. Hodnoty informace jsou vypočteny pro všechny úlohy na této úrovni θ. Z obr. 7 je zřejmé, že úloha 6 podává největší množství informace ze všech 10 úloh pro úroveň schopnosti θ = 0 (viz svislá čára). Proto je tato úloha počítačem vybrána, zadána testovanému a poté okamžitě skórována. Obr. 7 Informační funkce 10 úloh Na základě tohoto skóru (zde: chybně) je určen nový odhad θ = -1 (zde: použit krok o velikosti 1). Podle množství informace je dále vybrána úloha 4 (obr.8), protože poskytuje pro θ = -1 nejvíce informace, a skórována. 5 6 Množství informace se stanovuje pomocí informační funkce z IRT. Metodou maximální věrohodnosti se odhaduje schopnost jedince jako maximální hodnota určité pravděpodobnostní funkce (Hambleton 1991). Jiná běžně používaná metoda pro odhad θ testovaného je Bayesova metoda odhadu.

13 Obr. 8 Informační funkce 9 úloh Za předpokladu, že úlohu 4 testovaný zodpoví správně, čímž získáme vzorek jedné chybné a jedné správné dopovědi, můžeme použít metodu maximální věrohodnosti k dalšímu odhadu θ. Výsledkem je θ = -0,5. Dále tedy byla vybrána úloha 5 (obr. 9). Obr. 9 Informační funkce 8 úloh Tento proces pokračuje tak dlouho, dokud není splněno kritérium pro ukončení testu. Kritéria pro ukončení testu U adaptivních testů fixní délky je test ukončen po vyčerpání všech úloh. Všem testovaným je tedy zadán stejný počet úloh bez ohledu na chybu měření asociovanou s jejich skórem. U CAT variabilní délky končí test, když je dosaženo předem stanovené přesnosti měření. Jednou z důležitých charakteristik CAT je to, že kritérium ukončení CAT se může lišit podle cílů testování (zda jde o testy rozlišující či ověřující). S každým odhadem θ je spojena standardní chyba odhadu (standard error of estimate, SEM), protože pokaždé, kdy počítačový program počítá odhad schopnosti θ, je málo pravděpodobné, aby byl tento odhad naprosto přesný. Avšak je možné udat interval, v kterém se odhad bude pohybovat. Tento interval se zmenšuje, je-li zadáno více úloh, což je zřejmé, protože odhad se zpřesní, když se nashromáždí více informací. Program ukončí zadávání úloh v okamžiku, když chyba odhadu je přijatelně malá, tedy když je jisté, že daný odhad je dostatečně blízko k reálné úrovni schopnosti testovaného.

14 4 Stručně o teorii odpovědi na položku (item response theory, IRT) Problematika teorie odpovědi na položku (IRT) je velmi rozsáhlá a zásadně přesahuje rámec této studie, proto dále uvádíme pouze přehled jejích základních myšlenek. Otázka odhadu položkových parametrů a odhadu úrovně schopnosti testovaných je pro svůj poměrně složitý matematický aparát pouze nastíněna, je nutné ji řešit za pomocí software (viz např. Embretson; Reise 2000, Hambleton; Swaminathan; Rogers 1991). I když u nás ještě teorie odpovědi na položku (item response theory, IRT) není zatím příliš známa 7, její pojetí a metodologie byly vyvinuty před více než tři čtvrtě stoletím. Na prakticky aplikovatelné úrovni byla zpracována v posledních 20 letech a ve světě se běžně používá při vývoji nástrojů pro širokoplošné testování. Testy (tedy i jednotlivé úlohy) vyvinuté na základě teorie odpovědi na položku 8 (item response theory, IRT) překonávají nedostatky testů vytvořených pomocí klasické teorie testu (KTT). Nejdůležitějšími z nich je závislost charakteristik úloh (tím se míní zejména obtížnost a citlivost úloh) na souboru testovaných, kterým byly položky zadány, a skutečnost, že KTT nahlíží na položky výhradně v kontextu konkrétního testu, tj. položky nejsou od celku testu oddělitelné (položky jsou korelovány s celkovým skórem). Nelze předpokládat, jak testovaný v úloze odpoví. Oproti tomu IRT uvažuje o položkách a jejich vlastnostech samostatně, nezávisle na souboru testovaných. IRT modely popisují očekávaný vztah charakteristik úloh (položkových parametrů) a úrovně měřeného latentního rysu/ schopnosti (charakterizuje testované, řídí jejich odpovědi, avšak je na charakteristikách položek nezávislá) pomocí pravděpodobnosti správné odpovědi. Tento vztah lze matematicky popsat tzv. charakteristickou křivkou nebo-li funkcí položky (viz dále). IRT předpoklady Pro dichotomická a polytomická data bylo vyvinuto množství různých IRT modelů. My se zaměříme na IRT pro binárně (dichotomicky) skórované úlohy, která je založena na dvou základních předpokladech (Hambleton; Swaminathan; Rogers 1991): 1) odpověď testovaného na příslušnou testovou položku lze předpovědět či vysvětlit souborem latentních rysů nebo-li schopností testovaného (označených řeckým písmenem theta θ ). Latentní rysy nejsou přímo měřitelné, ale předpokládá se, že se projevují v chování testovaného a ovlivňují jeho odpovědi. Jsou na testu nezávislé. 2) vztah mezi odpovědí testovaného v testové položce a jeho schopnostmi může být matematicky popsán funkcí pravděpodobnosti správné odpovědi na položku P(θ), tzv. charakteristickou křivkou/ funkcí položky (item charakteristic curve/ function, ICC). Tato křivka esovitého tvaru zachycuje, jak při rostoucí úrovni schopnosti θ roste pravděpodobnost správné odpovědi. Tvar a polohu křivky (viz obr.10) určují podle zvoleného modelu jeden až tři parametry obtížnost (b), diskriminační schopnost (citlivost) úlohy (a) a pseudonáhodný parametr hádání (c). 7 O IRT informovali zatím jen Komenda (2003), Denglerová (2003, 2005), Urbánek; Šimeček (2001), Jelínek; Květoň; Denglerová (2006). 8 Položka je jinými slovy úloha.

15 parametru a parametru b P( ) parametru c Obr. 10 Ukázka charakteristické křivky položky (upraveno podle Chong 2006) IRT modely Vztah mezi úrovní latentního rysu/ schopnosti a pravděpodobností správné odpovědi P( ) na dichotomicky skórovanou položku lze popsat více či méně přesně třemi různými unidimenzionálními modely 9 nebo-li logistickými funkcemi (Hambleton; Swaminathan; Rogers 1991). Modely zahrnující různé parametry, kde parametr b je obtížnost, a rozlišovací schopnost and c pseudonáhodný faktor. 1-parametrový logistický model nebo-li Raschův model Nejjednodušším a současně nejrozšířenějším IRT modelem, nazývaným podle dánského matematika Raschův model, je 1-parametrový model, který obsahuje pouze parametr obtížnosti. Tento model je tedy vhodný pro testy složené z přibližně stejně citlivých úloh. D( bi ) e Má tvar Pi ( ), i = 1, 2,.., n, kde D( bi ) 1 e P i ( ) je pravděpodobnost, že náhodně vybraný testovaný se schopností vyřeší úlohu i správně; nabývá hodnot od 0 do 1 D je konstanta rovna 1,7, pomocí které se distribuční funkce normálního rozdělení (ogiva) převádí na výhodnější logistickou funkci (protože obě funkce mají velmi podobný průběh) b je parametr obtížnosti úlohy (viz výše) je úroveň schopnosti (latentního rysu) testovaného Obr. 11 zobrazuje charakteristické křivky dvou úloh, které se liší jen s ohledem na obtížnost. Úloha 2 je snazší než úloha 1, protože bod X 1 leží vzhledem k ose blíže k nule než X 2. ICC úlohy 1 leží více vpravo. 9 Vedle unidimenzionálních modelů (jsou nejjednodušší, pracují pouze s jedním latentním rysem) existují pro binární data také multidimenzionální modely, v kterých dvě nebo více úrovní latentního rysu ovlivňují výkon testovaného (více viz např. Embretson; Reise 2000). Řada modelů vznikla také pro polytomické formáty odpovědí na položky či pro škály.

16 P i (θ) úloha 2 úloha ŽCC Obr. 11 ICC úloh 1 a 2 s rozdílnou obtížností Vodorovnou osu tvoří úroveň schopnosti testovaného, svislou pravděpodobnost správné odpovědi na úlohu (upraveno podle Urbina 2004). 2-parametrový logistický model nebo-li Lordův model 2-parametrový model poprvé zavedl v 50. letech 20. stol. Lord, v 60. letech 20. století se jím zabýval Birnbaum. Tento model, zřejmě zobecněním 1-parametrového modelu, uvažuje vedle obtížnosti položky (b) také její citlivost (a). Používá se u otevřených úloh. Dai ( bi ) e Má tvar Pi ( ), i = 1, 2,.., n, kde Dai ( bi ) 1 e a je parametr vystihující diskriminační schopnost položky 10. Na obr. 12 jsou charakteristické křivky dvou úloh, které se liší v obtížnosti a citlivosti. Úroveň schopnosti asociovaná s 50% pravděpodobností správné odpovědi je trochu vyšší u úlohy 1 (x 1 ) než u úlohy 2 (x 2 ). Kromě toho stoupání (strmost) těchto dvou křivek, které ukazuje poměr změny ve schopnostech a změny v pravděpodobnosti správné odpovědi, se liší. Úloha 2 jakožto strmější v prostředním úseku je citlivější než úloha 1. Křivky, které se protínají jako v tomto případě, jsou nežádoucí. P i (θ) úloha 2 úloha 1 Obr. 12 ICC úloh 1 a 2 s rozdílnou obtížností a citlivostí. Vodorovnou osu tvoří úroveň schopnosti testovaného, svislou pravděpodobnost správné odpovědi na úlohu (upraveno podle Urbina 2004). 3-parametrový logistický model θ 10 Ostatní proměnné a konstanta D jsou shodné s 1-parametrovým modelem.

17 3-parametrový model, který je vhodný pro úlohy s výběrem odpovědi, navrhl Birnbaum. Tento model je dán tvarem Dai ( bi ) e Pi ( ) ci (1 ci ), i = 1, 2,.., n, kde Dai ( bi ) 1 e c je parametr hádání a nabývá hodnot od 0 do 1, ale ze své povahy by neměl být vyšší než 1/k, kde k je počet nabídek pro položku Kromě parametrů a a b zahrnuje 3-parametrový model také parametr hádání c, jehož hodnota vyjadřuje pravděpodobnost dosažení správné odpovědi při tzv. slepém hádání nezávisle na schopnosti (u úlohy se 4 nabízenými odpověďmi je pravděpodobnost uhádnutí 0,25). U tohoto modelu již díky parametru c není dolní asymptotou charakteristické křivky úlohy hodnota 0 jako u 1- a 2-parametrického, ale c. Tím je parametr obtížnosti položky určen bodem na škále schopnosti, v němž P( ) = (1 + c)/2. Parametr a je stále úměrný strmosti ICC v bodě b = 0, přičemž zde je tato strmost rovna a(1 - c)/4. Obr. 13 zobrazuje ICC křivky dvou úloh, které se liší třemi parametry: a, b a c. ICC úlohy 1 je strmější než ICC úlohy 2, tj. úloha 2 zřejmě nerozlišuje mezi jedinci různých úrovní tak dobře jako úloha 1. Dle ICC úlohy 2 lze usoudit, že i testovaní nízkých úrovní jsou schopni správně uhádnout odpověď na úlohu 2, parametr c je u této úlohy vyšší než u úlohy 1 (blíže k 0 na svislé ose). Navíc 50% pravděpodobnost úspěchu je asociovaná s vyšší úrovní schopnosti (X 2 ) u úlohy 2. Úloha 2 je tedy obtížnější než úloha 1. Úloha 2 je proto zřejmě z hlediska měřitelných charakteristik méně vhodná než úloha 1. P i (θ) úloha 1 úloha 2 Obr. 13 ICC úloh 1 a 2 s rozdílnou obtížností, citlivostí a různým parametrem hádání. Vodorovnou osu tvoří úroveň schopnosti testovaného, svislou pravděpodobnost správné odpovědi na úlohu (upraveno podle Urbina 2004). θ Informační funkce testu Co se týče přesnosti měření testu, hlavním rozdílem mezi IRT skóry a tradičními testovými skóry 11 je to, že IRT skóry mají rozdílnou přesnost (chybu měření) pro různé úrovně schopnosti (proficiency) testovaných. Reliabilitě testových skórů v KTT odpovídá v IRT množství informace, které test podává svými úlohami. Množství informace o jednotlivých položkách lze matematicky určit tzv. informačními funkcemi (IIF, item information function) zvonovitého tvaru. Informační funkce testu I ( ) pro danou je definována jako součet informačních funkcí I ( ) jednotlivých položek pro tuto, protože úlohy jsou na sobě nezávislé (Hambleton; Swaminathan; Rogers 1991): n Pi ( ) ) I i ( ), kde i ( ) I( i 1 2 I, i = 1, 2,.., n, P ( ) Q ( ) i i i 11 V KTT je standardní chyba měření konstantní pro všechny dosažené skóry a je specifická pro danou populaci.

18 kde P ( ) je charakteristická funkce položky i, Q ( ) 1 P ( ) a P ( ) je první derivace P ( ). i Ze vzorce plyne, že hodnota informační funkce testu závisí na počtu úloh v testu a průměrné hodnotě parametrů citlivosti testových úloh dle zvoleného IRT modelu. Jelikož s počtem položek roste množství informace, měří test jako celek danou schopnost mnohem přesněji než jedna položka. Tvar této funkce závisí na rozložení hodnot parametrů obtížnosti úloh po ose schopnosti a na rozložení a průměrné hodnotě parametrů citlivosti testových úloh. Úloha měří schopnost s největší přesností, tj. nejlépe rozlišuje mezi testovanými s úrovní schopnosti odpovídající hodnotě parametru b obtížnosti úlohy. To znamená, maximální hodnoty dosahuje informační funkce v blízkosti hodnoty parametru obtížnosti dané položky (viz obr. 4-5). Množství informace poskytované úlohou klesá se vzdalováním úrovně schopnosti od obtížnosti úlohy a přibližováním k nule na obou koncích osy schopnosti. Je-li množství informace malé (viz obr. 4-5, úloha 6), nedá se schopnost přesně odhadnout a odhady budou široce rozprostřeny kolem skutečné schopnosti. Takové úlohy jsou statisticky téměř nepoužitelné do testu. Je-li množství informace velké, může být hodnota schopnosti testovaného odhadována přesně, tzn. všechny odhady budou rozumně blízko ke skutečné hodnotě dané úrovně schopnosti. Parametr citlivosti úlohy značně ovlivňuje maximální množství informace pro odhad schopnosti, která je dána úlohou (viz obr 4-5, informační křivky úloh 1 a 2. Hodnoty a < 1 vedou k nízké hodnotě množství informace testu, hodnoty a > 1,7 vedou k vysoké hodnotě množství informace testu. Protože množství informace testu snižují hodnoty c > 0 pro nízké úrovně schopnosti a velké hodnoty c obecně pro všechny úrovně schopnosti (u 3-parametrového modelu), je tendence přizpůsobovat data spíše 1- či 2-parametrovému modelu (kde c = 0, např. Hambleton aj. 1991, Baker 2001). i i i i theta Obr. 14 Ukázka informačních křivek šesti úloh, které se liší množstvím informace, které podávají pro danou úroveň schopnosti (upraveno podle Hambleton aj. 1991) Na obr. 14 jsou informační křivky šesti úloh, které se liší množstvím informace, které podávají pro danou úroveň schopnosti testovaných. Úloha 1 podává nejvíce informace pro = 1, (maximální hodnota informační funkce), pro = -1 a = 3 již žádnou. V úloze 2 se maximum informace soustřeďuje také kolem = 1, na obou svých koncích potom podává stejně málo informace. Úloha 3 podává sice nejvíce informace opět pro = 1, ale mnohem méně než úlohy 1 a 2. Úloha 4 podává nejvíce informace pro = -1,5, atd. Na základě maximálních hodnot informace lze usuzovat, že úlohy 1, 2, 3 jsou těžší než úlohy 4 a 5. Nejméně citlivá je úloha 6, protože podává velmi málo informace pro všechny schopnostní úrovně. Množství informace, které test podává pro hodnotu, je v inverzním vztahu k přesnosti (vyjádřena standardní chybou měření), s kterou je schopnost odhadována:

19 In formation Standard Error 1 SE ( ˆ ), I( ) kde SE ( ˆ ) je standardní chyba odhadu úrovně testovaných testem s informačním přínosem I ( ) (Urbánek; Šimeček 2001). Ta je koncepčně ekvivalentní k standardní chybě měření v KTT, ale na rozdíl od chyby měření v KTT umožňuje zobecnění na různé populace. Čím více informace test na dané úrovni schopnosti poskytuje, tím menší je chyba, s níž je úroveň schopnosti odhadována (viz obr. 15). TEST0001 FORM: Scale Score 0 Obr. 15 Ukázka informační funkce testu a standardní chyby měření v testu OSP, varianta A, PedF UK 2006 (výstup z programu BILOG-MG). Kalibrace aneb stanovení položkových parametrů Stanovení položkových parametrů (tj. kalibraci) a (citlivosti), b (obtížnosti), c ( hádání ) předchází zpravidla klasická položková analýza, pomocí které vyřadíme úlohy s velmi malou citlivostí (hodnota ukazatele citlivosti blízko nuly nebo záporná), abychom zaručili konvergenci při kalibraci parametrů. K výběru dobrých položek se využívá jejich informačních funkcí (informace úloh se liší pro různé úrovně schopnosti testovaných), pomocí kterých můžeme vybrat s velkou přesností úlohy odpovídající námi zvolené úrovni schopnosti. Úlohy s vyššími hodnotami parametru a poskytují více informace o skórování testovaných a tím větší přesnost. Chceme-li například vytvořit test s takovým hraničním skórem, který vytřídí 50% testovaných, vybereme úlohy s vysokými hodnotami a a s hodnotami b blízko nuly (průměrná schopnost ). Podle informačních funkcí položek vybereme tedy takové, které podávají maximální informaci pro hodnoty = 0. Nakonec zkontrolujeme náš výběr pomocí informační funkce testu, která je výsledným součtem informačních funkcí jednotlivých položek, a křivky standardní chyby. Standardní chyba by měla být pro oblast okolo = 0 co nejmenší. Parametry položek Obtížnost položky

20 Obtížnost položky je vyjádřena parametrem b (difficulty parametr nebo threshold), který teoreticky může nabývat hodnot od - do +, ale v praxi se jeho hodnota pohybuje mezi -3 a 3 (Baker 2001). Čím větší je b, tím obtížnější je úloha. Graficky je obtížnost úlohy dána polohou charakteristické křivky (ICC) vzhledem k ose schopností θ. Jde o bod na ose schopnosti, pro který je pravděpodobnost správné odpovědi rovna 0,5, resp. (1+c)/2 u 3-parametrového modelu. Čím je ICC položena více doprava vzhledem k vodorovné ose θ, tím těžší je úloha. Sečteme-li charakteristické funkce položek v celém testu, můžeme výslednou charakteristickou funkci testu použít k předpovídání skórů testovaných s danou úrovní schopností θ. Je-li test složen z relativně obtížných úloh, je charakteristická funkce testu posunuta doprava a testovaní mají tendenci k nižším očekávaným skórům než je tomu u relativně snadných položek. Citlivost (diskriminační schopnost) položky Diskriminační schopnost položky je dána parametrem a (discrimination parameter), který teoreticky může nabývat hodnot od - do + (Baker 2001), ale v praxi se jeho hodnota pohybuje obvykle mezi 0 a 2,8 (Baker 2001). Čím větší je hodnota a, tím lépe úloha rozlišuje mezi testovanými nalevo a napravo od své polohy. Graficky se citlivost úlohy projevuje strmostí ICC v jejím prostředním úseku. Čím větší sklon má křivka (čím je strmější), tím má úloha lepší rozlišovací schopnost, tím je citlivější. Strmost křivky, a tím také parametr a dosahuje své maximální hodnoty v bodě, ve kterém se úroveň schopnosti θ rovná obtížnosti položky. To znamená, b označuje bod na ose schopnosti θ, v kterém úloha nejlépe rozlišuje mezi testovanými. Negativní parametr a citlivosti značí něco chybného v úloze. Buď se jedná o úlohu s technickými nedostatky nebo jde o dezinformaci zpravidla mezi studenty s vysokou úrovní schopnosti. Baker (2001) uvádí doporučené hodnoty parametru a (viz tab. 2). Tab. 2 Doporučené hodnoty parametru citlivosti a pro logistické modely položek. a (logistický) a (normální) citlivost úlohy 0 0 žádná 0,01-0,34 0,006-0,2 velmi nízká 0,35-0,64 0,206-0,376 Nízká 0,65-1,34 0,382-0,788 Přiměřená 1,35-1,69 0,794-0,994 Vysoká 1,7 1 velmi vysoká + + perfektní Pro převod z logistického modelu na model podobný normální ogivě je potřeba hodnoty vydělit číslem 1,7 (normal ogive model value, scaling factor). Uhádnutelnost položky Uhádnutelnost položky je dána tzv. pseudonáhodným parametrem c (guessing parameter, pseudochance-level parameter), který udává, jak velká je pravděpodobnost uhádnutí správné odpovědi na všech úrovních osy schopnosti. Jeho hodnota se teoreticky pohybuje mezi 0 a 1, v praxi většinou mezi 0 a 0,35 (Baker 2001). Čím je tento parametr vyšší, tím výše na svislé ose P(θ) je dolní asymptota charakteristické křivky položky. Když b < 0 a a < 1, pak c není zřejmé (Baker 2001). 2 Pokud data odpovídají zvolenému modelu, což se většinou zjišťuje statisticky testem či grafickou metodou pomocí specializovaného software 12, můžeme sebraná data o testových a položkových skórech využít k odhadování parametrů testových položek, které rozmístí testované a 12 Četné statistické metody k ověření vhodnosti modelu uvádějí např. Hambleton; Swaminathan; Rogers 1991, Orlando; Thissen 2000 aj.s

Využití software ITEMAN k položkové analýze a analýze výsledků testů

Využití software ITEMAN k položkové analýze a analýze výsledků testů 11. konference ČAPV Sociální a kulturní souvislosti výchovy a vzdělávání Využití software ITEMAN k položkové analýze a analýze výsledků testů Petr Byčkovský, Marie Marková Postup při návrhu a ověření testu

Více

KGG/STG Statistika pro geografy

KGG/STG Statistika pro geografy KGG/STG Statistika pro geografy 5. Odhady parametrů základního souboru Mgr. David Fiedor 16. března 2015 Vztahy mezi výběrovým a základním souborem Osnova 1 Úvod, pojmy Vztahy mezi výběrovým a základním

Více

7. Rozdělení pravděpodobnosti ve statistice

7. Rozdělení pravděpodobnosti ve statistice 7. Rozdělení pravděpodobnosti ve statistice Statistika nuda je, má však cenné údaje, neklesejte na mysli, ona nám to vyčíslí Jednou z úloh statistiky je odhad (výpočet) hodnot statistického znaku x i,

Více

Souběžná validita testů SAT a OSP

Souběžná validita testů SAT a OSP Souběžná validita testů SAT a OSP www.scio.cz 15. ledna 2013 Souběžná validita testů SAT a OSP Abstrakt Pro testování obecných studijních dovedností existuje mnoho testů. Některé jsou všeobecně známé a

Více

Neuronové časové řady (ANN-TS)

Neuronové časové řady (ANN-TS) Neuronové časové řady (ANN-TS) Menu: QCExpert Prediktivní metody Neuronové časové řady Tento modul (Artificial Neural Network Time Series ANN-TS) využívá modelovacího potenciálu neuronové sítě k predikci

Více

Úvod do problematiky měření

Úvod do problematiky měření 1/18 Lord Kelvin: "Když to, o čem mluvíte, můžete změřit, a vyjádřit to pomocí čísel, něco o tom víte. Ale když to nemůžete vyjádřit číselně, je vaše znalost hubená a nedostatečná. Může to být začátek

Více

Automatická detekce anomálií při geofyzikálním průzkumu. Lenka Kosková Třísková NTI TUL Doktorandský seminář, 8. 6. 2011

Automatická detekce anomálií při geofyzikálním průzkumu. Lenka Kosková Třísková NTI TUL Doktorandský seminář, 8. 6. 2011 Automatická detekce anomálií při geofyzikálním průzkumu Lenka Kosková Třísková NTI TUL Doktorandský seminář, 8. 6. 2011 Cíle doktorandské práce Seminář 10. 11. 2010 Najít, implementovat, ověřit a do praxe

Více

VYUŽITÍ PRAVDĚPODOBNOSTNÍ METODY MONTE CARLO V SOUDNÍM INŽENÝRSTVÍ

VYUŽITÍ PRAVDĚPODOBNOSTNÍ METODY MONTE CARLO V SOUDNÍM INŽENÝRSTVÍ VYUŽITÍ PRAVDĚPODOBNOSTNÍ METODY MONTE CARLO V SOUDNÍM INŽENÝRSTVÍ Michal Kořenář 1 Abstrakt Rozvoj výpočetní techniky v poslední době umožnil také rozvoj výpočetních metod, které nejsou založeny na bázi

Více

2 Zpracování naměřených dat. 2.1 Gaussův zákon chyb. 2.2 Náhodná veličina a její rozdělení

2 Zpracování naměřených dat. 2.1 Gaussův zákon chyb. 2.2 Náhodná veličina a její rozdělení 2 Zpracování naměřených dat Důležitou součástí každé experimentální práce je statistické zpracování naměřených dat. V této krátké kapitole se budeme věnovat určení intervalů spolehlivosti získaných výsledků

Více

JEDNOVÝBĚROVÉ TESTY. Komentované řešení pomocí programu Statistica

JEDNOVÝBĚROVÉ TESTY. Komentované řešení pomocí programu Statistica JEDNOVÝBĚROVÉ TESTY Komentované řešení pomocí programu Statistica Vstupní data Data umístěná v excelovském souboru překopírujeme do tabulky ve Statistice a pojmenujeme proměnné, viz prezentace k tématu

Více

Zpracování náhodného výběru. Ing. Michal Dorda, Ph.D.

Zpracování náhodného výběru. Ing. Michal Dorda, Ph.D. Zpracování náhodného výběru popisná statistika Ing. Michal Dorda, Ph.D. Základní pojmy Úkolem statistiky je na základě vlastností výběrového souboru usuzovat o vlastnostech celé populace. Populace(základní

Více

10. Předpovídání - aplikace regresní úlohy

10. Předpovídání - aplikace regresní úlohy 10. Předpovídání - aplikace regresní úlohy Regresní úloha (analýza) je označení pro statistickou metodu, pomocí nichž odhadujeme hodnotu náhodné veličiny (tzv. závislé proměnné, cílové proměnné, regresandu

Více

HTS Report. d2-r. d2-r. Jan Novák ID Datum administrace Standard 1. Vydání. Hogrefe Testcentrum, Praha

HTS Report. d2-r. d2-r. Jan Novák ID Datum administrace Standard 1. Vydání. Hogrefe Testcentrum, Praha HTS Report d2-r d2-r ID 8389-30 Datum administrace 13.06.2016 Standard 1. Vydání d2-r Přehled výsledků 2 / 16 PŘEHLED VÝSLEDKŮ Obsah Zpráva Obecné informace Jak rozumět výsledkům Výsledky Testový profil

Více

Popisná statistika. Komentované řešení pomocí MS Excel

Popisná statistika. Komentované řešení pomocí MS Excel Popisná statistika Komentované řešení pomocí MS Excel Vstupní data Máme k dispozici data o počtech bodů z 1. a 2. zápočtového testu z Matematiky I v zimním semestru 2015/2016 a to za všech 762 studentů,

Více

TESTOVÁNÍ V PSYCHOLOGII

TESTOVÁNÍ V PSYCHOLOGII Martin Jelínek, Petr Květon, Dalibor Vobořil Seznamte se spolu s námi se základními principy stále více populární teorie odpovědi na položku (Item Response Theory IRT). Kniha, kterou právě držíte v ruce,

Více

Pravděpodobnost v závislosti na proměnné x je zde modelován pomocí logistického modelu. exp x. x x x. log 1

Pravděpodobnost v závislosti na proměnné x je zde modelován pomocí logistického modelu. exp x. x x x. log 1 Logistická regrese Menu: QCExpert Regrese Logistická Modul Logistická regrese umožňuje analýzu dat, kdy odezva je binární, nebo frekvenční veličina vyjádřená hodnotami 0 nebo 1, případně poměry v intervalu

Více

PSY117/454 Statistická analýza dat v psychologii přednáška 8. Statistické usuzování, odhady

PSY117/454 Statistická analýza dat v psychologii přednáška 8. Statistické usuzování, odhady PSY117/454 Statistická analýza dat v psychologii přednáška 8 Statistické usuzování, odhady Výběr od deskripce k indukci Deskripce dat, odhad parametrů Usuzování = inference = indukce Počítá se s náhodným

Více

ADAPTIVITA INFORMAČNÍCH SYSTÉMŮ INFORMATION SYSTEM ADAPTIVITY

ADAPTIVITA INFORMAČNÍCH SYSTÉMŮ INFORMATION SYSTEM ADAPTIVITY ADAPTIVITA INFORMAČNÍCH SYSTÉMŮ INFORMATION SYSTEM ADAPTIVITY Roman Malo Mendelova zemědělská a lesnická univerzita v Brně Provozně ekonomická fakulta, Ústav informatiky, malo@pef.mendelu.cz Abstrakt Problematika

Více

Chyby měření 210DPSM

Chyby měření 210DPSM Chyby měření 210DPSM Jan Zatloukal Stručný přehled Zdroje a druhy chyb Systematické chyby měření Náhodné chyby měření Spojité a diskrétní náhodné veličiny Normální rozdělení a jeho vlastnosti Odhad parametrů

Více

MEZIROČNÍ POSUN VE ZNALOSTECH ŽÁKŮ 2005/06 2011/12

MEZIROČNÍ POSUN VE ZNALOSTECH ŽÁKŮ 2005/06 2011/12 MEZIROČNÍ POSUN VE ZNALOSTECH ŽÁKŮ /06 /12 Zhoršují se znalosti českých žáků? Testování Stonožka v 9. ročnících se v letošním roce neslo na vlně očekávání výsledků, které nám mají říct, jak si současní

Více

Matematika III. 27. listopadu Vysoká škola báňská - Technická univerzita Ostrava. Matematika III

Matematika III. 27. listopadu Vysoká škola báňská - Technická univerzita Ostrava. Matematika III Vysoká škola báňská - Technická univerzita Ostrava 27. listopadu 2017 Typy statistických znaků (proměnných) Typy proměnných: Kvalitativní proměnná (kategoriální, slovní,... ) Kvantitativní proměnná (numerická,

Více

Statistická analýza dat v psychologii. Věci, které můžeme přímo pozorovat, jsou téměř vždy pouze vzorky. Alfred North Whitehead

Statistická analýza dat v psychologii. Věci, které můžeme přímo pozorovat, jsou téměř vždy pouze vzorky. Alfred North Whitehead PSY117/454 Statistická analýza dat v psychologii Přednáška 8 Statistické usuzování, odhady Věci, které můžeme přímo pozorovat, jsou téměř vždy pouze vzorky. Alfred North Whitehead Barevná srdíčka kolegyně

Více

Určujeme neznámé hodnoty parametru základního souboru. Pomocí výběrové charakteristiky vypočtené z náhodného výběru.

Určujeme neznámé hodnoty parametru základního souboru. Pomocí výběrové charakteristiky vypočtené z náhodného výběru. 1 Statistické odhady Určujeme neznámé hodnoty parametru základního souboru. Pomocí výběrové charakteristiky vypočtené z náhodného výběru. Odhad lze provést jako: Bodový odhad o Jedna číselná hodnota Intervalový

Více

Dobývání znalostí. Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze

Dobývání znalostí. Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze Dobývání znalostí Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze Dobývání znalostí Pravděpodobnost a učení Doc. RNDr. Iveta Mrázová,

Více

1. Přednáška. Ing. Miroslav Šulai, MBA

1. Přednáška. Ing. Miroslav Šulai, MBA N_OFI_2 1. Přednáška Počet pravděpodobnosti Statistický aparát používaný ve financích Ing. Miroslav Šulai, MBA 1 Počet pravděpodobnosti -náhodné veličiny 2 Počet pravděpodobnosti -náhodné veličiny 3 Jevy

Více

Simulace. Simulace dat. Parametry

Simulace. Simulace dat. Parametry Simulace Simulace dat Menu: QCExpert Simulace Simulace dat Tento modul je určen pro generování pseudonáhodných dat s danými statistickými vlastnostmi. Nabízí čtyři typy rozdělení: normální, logaritmicko-normální,

Více

Obsah přednášky Jaká asi bude chyba modelu na nových datech?

Obsah přednášky Jaká asi bude chyba modelu na nových datech? Obsah přednášky Jaká asi bude chyba modelu na nových datech? Chyba modelu Bootstrap Cross Validation Vapnik-Chervonenkisova dimenze 2 Chyba skutečná a trénovací Máme 30 záznamů, rozhodli jsme se na jejich

Více

veličin, deskriptivní statistika Ing. Michael Rost, Ph.D.

veličin, deskriptivní statistika Ing. Michael Rost, Ph.D. Vybraná rozdělení spojitých náhodných veličin, deskriptivní statistika Ing. Michael Rost, Ph.D. Třídění Základním zpracováním dat je jejich třídění. Jde o uspořádání získaných dat, kde volba třídícího

Více

1 Tyto materiály byly vytvořeny za pomoci grantu FRVŠ číslo 1145/2004.

1 Tyto materiály byly vytvořeny za pomoci grantu FRVŠ číslo 1145/2004. Prostá regresní a korelační analýza 1 1 Tyto materiály byly vytvořeny za pomoci grantu FRVŠ číslo 1145/2004. Problematika závislosti V podstatě lze rozlišovat mezi závislostí nepodstatnou, čili náhodnou

Více

REGRESNÍ ANALÝZA V PROSTŘEDÍ MATLAB

REGRESNÍ ANALÝZA V PROSTŘEDÍ MATLAB 62 REGRESNÍ ANALÝZA V PROSTŘEDÍ MATLAB BEZOUŠKA VLADISLAV Abstrakt: Text se zabývá jednoduchým řešením metody nejmenších čtverců v prostředí Matlab pro obecné víceparametrové aproximační funkce. Celý postup

Více

24.11.2009 Václav Jirchář, ZTGB

24.11.2009 Václav Jirchář, ZTGB 24.11.2009 Václav Jirchář, ZTGB Síťová analýza 50.let V souvislosti s potřebou urychlit vývoj a výrobu raket POLARIS v USA při závodech ve zbrojení za studené války se SSSR V roce 1958 se díky aplikaci

Více

Diskrétní náhodná veličina

Diskrétní náhodná veličina Lekce Diskrétní náhodná veličina Výsledek náhodného pokusu může být vyjádřen slovně to vede k zavedení pojmu náhodného jevu Výsledek náhodného pokusu můžeme někdy vyjádřit i číselně, což vede k pojmu náhodné

Více

Statistické vyhodnocování ankety pilotního projektu Kvalita výuky na Západočeské univerzitě v Plzni

Statistické vyhodnocování ankety pilotního projektu Kvalita výuky na Západočeské univerzitě v Plzni Statistické vyhodnocování ankety pilotního projektu Kvalita výuky na Západočeské univerzitě v Plzni Kvantifikace dat Pro potřeby statistického zpracování byly odpovědi převedeny na kardinální intervalovou

Více

TIM - Test pro Identifikaci nadaných žáků v Matematice Kreativita při řešení matematických úloh

TIM - Test pro Identifikaci nadaných žáků v Matematice Kreativita při řešení matematických úloh TIM - Test pro Identifikaci nadaných žáků v Matematice Kreativita při řešení matematických úloh Hynek Cígler, Michal Jabůrek, Dana Juhová, Šárka Portešová, Ondřej Straka Katedra psychologie, Fakulta sociálních

Více

NĚKTERÉ VZÁJEMNÉ VAZBY A VZTAHY

NĚKTERÉ VZÁJEMNÉ VAZBY A VZTAHY NĚKTERÉ VZÁJEMNÉ VAZBY A VZTAHY Věra Semerádová - Alena Škaloudová OBSAH TESTOVÉ VÝSLEDKY A PROSPĚCH TESTOVÉ VÝSLEDKY, PROSPĚCH A VZDĚLÁNÍ RODIČŮ Průměrné hodnoty vybraných ukazatelů podle vzdělání otce

Více

pracovní list studenta

pracovní list studenta Výstup RVP: Klíčová slova: pracovní list studenta Funkce Petra Směšná žák chápe funkci jako vyjádření závislosti veličin, umí vyjádřit funkční vztah tabulkou, rovnicí i grafem, dovede vyjádřit reálné situace

Více

Statistické řízení jakosti - regulace procesu měřením a srovnáváním

Statistické řízení jakosti - regulace procesu měřením a srovnáváním Statistické řízení jakosti - regulace procesu měřením a srovnáváním Statistická regulace výrobního procesu (SPC) SPC = Statistical Process Control preventivní nástroj řízení jakosti, který na základě včasného

Více

Testování hypotéz. 1. vymezení základních pojmů 2. testování hypotéz o rozdílu průměrů 3. jednovýběrový t-test

Testování hypotéz. 1. vymezení základních pojmů 2. testování hypotéz o rozdílu průměrů 3. jednovýběrový t-test Testování hypotéz 1. vymezení základních pojmů 2. testování hypotéz o rozdílu průměrů 3. jednovýběrový t-test Testování hypotéz proces, kterým rozhodujeme, zda přijmeme nebo zamítneme nulovou hypotézu

Více

určité kognitivní (poznávací) schopnosti, které umožňují řešit problémy, učit se, přizpůsobovat se, zobecňovat apod.

určité kognitivní (poznávací) schopnosti, které umožňují řešit problémy, učit se, přizpůsobovat se, zobecňovat apod. Inteligence určité kognitivní (poznávací) schopnosti, které umožňují řešit problémy, učit se, přizpůsobovat se, zobecňovat apod. schopnost efektivně zpracovávat informace, úspěšně se adaptovat v životě

Více

Generování pseudonáhodných. Ing. Michal Dorda, Ph.D.

Generování pseudonáhodných. Ing. Michal Dorda, Ph.D. Generování pseudonáhodných čísel při simulaci Ing. Michal Dorda, Ph.D. 1 Úvodní poznámky V simulačních modelech se velice často vyskytují náhodné proměnné. Proto se budeme zabývat otázkou, jak při simulaci

Více

Náhodné (statistické) chyby přímých měření

Náhodné (statistické) chyby přímých měření Náhodné (statistické) chyby přímých měření Hodnoty náhodných chyb se nedají stanovit předem, ale na základě počtu pravděpodobnosti lze zjistit, která z možných naměřených hodnot je více a která je méně

Více

Povídání o testech a jejich hodnocení. Martin Chvál

Povídání o testech a jejich hodnocení. Martin Chvál Povídání o testech a jejich hodnocení Martin Chvál MFF UK, 24.6.2016 O čem? Posuzování obsahu testu a úloh Statistické charakteristiky testových úloh položková analýza Statistická analýza výsledků testování

Více

ASK. Test deduktivního a kreativního myšlení. HTS Report. Jan Ukázka ID Datum administrace Standard 1. vydání

ASK. Test deduktivního a kreativního myšlení. HTS Report. Jan Ukázka ID Datum administrace Standard 1. vydání ASK Test deduktivního a kreativního myšlení HTS Report ID 8389-226 Datum administrace 04.12.2018 Standard 1. vydání PŘEHLED VÝSLEDKŮ ASK 2/8 Přehled výsledků Analýza deduktivního a kreativního myšlení

Více

Regulační diagramy (RD)

Regulační diagramy (RD) Regulační diagramy (RD) Control Charts Patří k základním nástrojům vnitřní QC laboratoře či výrobního procesu (grafická pomůcka). Pomocí RD lze dlouhodobě sledovat stabilitu (chemického) měřícího systému.

Více

Martin Jelínek, Petr Květon, Dalibor Vobořil. TESTOVÁNÍ V PSYCHOLOGII Teorie odpovědi na položku a počítačové adaptivní testování

Martin Jelínek, Petr Květon, Dalibor Vobořil. TESTOVÁNÍ V PSYCHOLOGII Teorie odpovědi na položku a počítačové adaptivní testování Martin Jelínek, Petr Květon, Dalibor Vobořil TESTOVÁNÍ V PSYCHOLOGII Teorie odpovědi na položku a počítačové adaptivní testování Ukazka knihy z internetoveho knihkupectvi www.kosmas.cz Martin Jelínek,

Více

Všechno, co jste chtěli vědět z teorie pravděpodobnosti, z teorie informace a

Všechno, co jste chtěli vědět z teorie pravděpodobnosti, z teorie informace a Všechno, co jste chtěli vědět z teorie pravděpodobnosti, z teorie informace a báli jste se zeptat Jedinečnou funkcí statistiky je, že umožňuje vědci číselně vyjádřit nejistotu v jeho závěrech. (G. W. Snedecor)

Více

TESTOVÁNÍ V PSYCHOLOGII

TESTOVÁNÍ V PSYCHOLOGII Martin Jelínek, Petr Květon, Dalibor Vobořil Seznamte se spolu s námi se základními principy stále více populární teorie odpovědi na položku (Item Response Theory IRT). Kniha, kterou právě držíte v ruce,

Více

časovém horizontu na rozdíl od experimentu lépe odhalit chybné poznání reality.

časovém horizontu na rozdíl od experimentu lépe odhalit chybné poznání reality. Modelování dynamických systémů Matematické modelování dynamických systémů se využívá v různých oborech přírodních, technických, ekonomických a sociálních věd. Použití matematického modelu umožňuje popsat

Více

Pedagogicko psychologická diagnostika. PhDr. Denisa Denglerová, Ph. D.

Pedagogicko psychologická diagnostika. PhDr. Denisa Denglerová, Ph. D. Pedagogicko psychologická diagnostika PhDr. Denisa Denglerová, Ph. D. Základní studijní literatura Svoboda (2010). Psychologická diagnostika dospělých. Portál Úvodní kapitoly cca po stranu 50 plus adekvátní

Více

Inženýrská statistika pak představuje soubor postupů a aplikací teoretických principů v oblasti inženýrské činnosti.

Inženýrská statistika pak představuje soubor postupů a aplikací teoretických principů v oblasti inženýrské činnosti. Přednáška č. 1 Úvod do statistiky a počtu pravděpodobnosti Statistika Statistika je věda a postup jak rozvíjet lidské znalosti použitím empirických dat. Je založena na matematické statistice, která je

Více

oddělení Inteligentní Datové Analýzy (IDA)

oddělení Inteligentní Datové Analýzy (IDA) Vytěžování dat Filip Železný Katedra počítačů oddělení Inteligentní Datové Analýzy (IDA) 22. září 2014 Filip Železný (ČVUT) Vytěžování dat 22. září 2014 1 / 25 Odhad rozdělení Úloha: Vstup: data D = {

Více

1. Číselné posloupnosti - Definice posloupnosti, základní vlastnosti, operace s posloupnostmi, limita posloupnosti, vlastnosti limit posloupností,

1. Číselné posloupnosti - Definice posloupnosti, základní vlastnosti, operace s posloupnostmi, limita posloupnosti, vlastnosti limit posloupností, KMA/SZZS1 Matematika 1. Číselné posloupnosti - Definice posloupnosti, základní vlastnosti, operace s posloupnostmi, limita posloupnosti, vlastnosti limit posloupností, operace s limitami. 2. Limita funkce

Více

RNDr. Eva Janoušová doc. RNDr. Ladislav Dušek, Dr.

RNDr. Eva Janoušová doc. RNDr. Ladislav Dušek, Dr. Analýza dat pro Neurovědy RNDr. Eva Janoušová doc. RNDr. Ladislav Dušek, Dr. Jaro 2014 Institut biostatistiky Janoušová, a analýz Dušek: Analýza dat pro neurovědy Blok 7 Jak hodnotit vztah spojitých proměnných

Více

TECHNICKÁ UNIVERZITA V LIBERCI

TECHNICKÁ UNIVERZITA V LIBERCI TECHNICKÁ UNIVERZITA V LIBERCI Fakulta mechatroniky, informatiky a mezioborových studií Základní pojmy diagnostiky a statistických metod vyhodnocení Učební text Ivan Jaksch Liberec 2012 Materiál vznikl

Více

ZNALOSTI A DOVEDNOSTI ČESKÝCH MUŽŮ V OBLASTI INFORMAČNÍ BEZPEČNOSTI - VÝSLEDKY STATISTICKÉ ANALÝZY

ZNALOSTI A DOVEDNOSTI ČESKÝCH MUŽŮ V OBLASTI INFORMAČNÍ BEZPEČNOSTI - VÝSLEDKY STATISTICKÉ ANALÝZY ZNALOSTI A DOVEDNOSTI ČESKÝCH MUŽŮ V OBLASTI INFORMAČNÍ BEZPEČNOSTI - VÝSLEDKY STATISTICKÉ ANALÝZY Knowledge and skills of Czech men in the field of information security - the results of statistical analysis

Více

Metodologie pro Informační studia a knihovnictví 2

Metodologie pro Informační studia a knihovnictví 2 Metodologie pro Informační studia a knihovnictví 2 Modul 5: Popis nekategorizovaných dat Co se dozvíte v tomto modulu? Kdy používat modus, průměr a medián. Co je to směrodatná odchylka. Jak popsat distribuci

Více

Výsledky základní statistické charakteristiky

Výsledky základní statistické charakteristiky Výsledky základní statistické charakteristiky (viz - Vyhláška č. 343/00 Sb. o průběhu přijímacího řízení na vysokých školách a Vyhláška 76/004 Sb. kterou se mění vyhláška č. 343/00 Sb., o postupu a podmínkách

Více

Inferenční statistika - úvod. z-skóry normální rozdělení pravděpodobnost rozdělení výběrových průměrů

Inferenční statistika - úvod. z-skóry normální rozdělení pravděpodobnost rozdělení výběrových průměrů Inferenční statistika - úvod z-skóry normální rozdělení pravděpodobnost rozdělení výběrových průměrů Pravděpodobnost postupy induktivní statistiky vycházejí z teorie pravděpodobnosti pravděpodobnost, že

Více

Rozdělování dat do trénovacích a testovacích množin

Rozdělování dat do trénovacích a testovacích množin Rozdělování dat do trénovacích a testovacích množin Marcel Jiřina Rozpoznávání je důležitou metodou při zpracování reálných úloh. Rozpoznávání je definováno dvěma kroky a to pořízením dat o reálném rozpoznávaném

Více

1. Statistická analýza dat Jak vznikají informace Rozložení dat

1. Statistická analýza dat Jak vznikají informace Rozložení dat 1. Statistická analýza dat Jak vznikají informace Rozložení dat J. Jarkovský, L. Dušek, S. Littnerová, J. Kalina Význam statistické analýzy dat Sběr a vyhodnocování dat je způsobem k uchopení a pochopení

Více

OSA. maximalizace minimalizace 1/22

OSA. maximalizace minimalizace 1/22 OSA Systémová analýza metodika používaná k navrhování a racionalizaci systémů v podmínkách neurčitosti vyšší stupeň operační analýzy Operační analýza (výzkum) soubor metod umožňující řešit rozhodovací,

Více

Statistika pro geografy

Statistika pro geografy Statistika pro geografy 2. Popisná statistika Mgr. David Fiedor 23. února 2015 Osnova 1 2 3 Pojmy - Bodové rozdělení četností Absolutní četnost Absolutní četností hodnoty x j znaku x rozumíme počet statistických

Více

UŽIVATELSKÝ MANUÁL. Obecné informace pro uživatele a administrátory dotazníku. Abstraktní myšlení BASIC

UŽIVATELSKÝ MANUÁL. Obecné informace pro uživatele a administrátory dotazníku. Abstraktní myšlení BASIC UŽIVATELSKÝ MANUÁL Obecné informace pro uživatele a administrátory dotazníku Abstraktní myšlení BASIC 1. ZÁKLADNÍ INFORMACE O TESTU Test Abstraktní myšlení BASIC vychází z klasických inteligenčních testů

Více

Popisná statistika kvantitativní veličiny

Popisná statistika kvantitativní veličiny StatSoft Popisná statistika kvantitativní veličiny Protože nám surová data obvykle žádnou smysluplnou informaci neposkytnou, je žádoucí vyjádřit tyto ve zhuštěnější formě. V předchozím dílu jsme začali

Více

Testy dobré shody Máme dvě veličiny, u kterých bychom chtěli prokázat závislost, TESTY DOBRÉ SHODY (angl. goodness-of-fit tests)

Testy dobré shody Máme dvě veličiny, u kterých bychom chtěli prokázat závislost, TESTY DOBRÉ SHODY (angl. goodness-of-fit tests) Testy dobré shody Máme dvě veličiny, u kterých bychom chtěli prokázat závislost, např. hmotnost a pohlaví narozených dětí. Běžný statistický postup pro ověření závislosti dvou veličin je zamítnutí jejich

Více

METODOLOGIE I - METODOLOGIE KVANTITATIVNÍHO VÝZKUMU

METODOLOGIE I - METODOLOGIE KVANTITATIVNÍHO VÝZKUMU METODOLOGIE I - METODOLOGIE KVANTITATIVNÍHO VÝZKUMU vyučující doc. RNDr. Jiří Zháněl, Dr. M I 4 Metodologie I 7. ANALÝZA DAT (KVANTITATIVNÍ VÝZKUM) (MATEMATICKÁ) STATISTIKA DESKRIPTIVNÍ (popisná) ANALYTICKÁ

Více

Pearsonův korelační koeficient

Pearsonův korelační koeficient I I.I Pearsonův korelační koeficient Úvod Předpokládejme, že náhodně vybereme n objektů (nebo osob) ze zkoumané populace. Často se stává, že na každém z objektů měříme ne pouze jednu, ale několik kvantitativních

Více

5. Náhodná veličina. 2. Házíme hrací kostkou dokud nepadne šestka. Náhodná veličina nabývá hodnot z posloupnosti {1, 2, 3,...}.

5. Náhodná veličina. 2. Házíme hrací kostkou dokud nepadne šestka. Náhodná veličina nabývá hodnot z posloupnosti {1, 2, 3,...}. 5. Náhodná veličina Poznámka: Pro popis náhodného pokusu jsme zavedli pojem jevového pole S jako množiny všech možných výsledků a pravděpodobnost náhodných jevů P jako míru výskytů jednotlivých výsledků.

Více

Statistická analýza jednorozměrných dat

Statistická analýza jednorozměrných dat Statistická analýza jednorozměrných dat Prof. RNDr. Milan Meloun, DrSc. Univerzita Pardubice, Pardubice 31.ledna 2011 Tato prezentace je spolufinancována Evropským sociálním fondem a státním rozpočtem

Více

Nejistota měření. Thomas Hesse HBM Darmstadt

Nejistota měření. Thomas Hesse HBM Darmstadt Nejistota měření Thomas Hesse HBM Darmstadt Prof. Werner Richter: Výsledek měření bez určení nejistoty měření je nejistý, takový výsledek je lépe ignorovat" V podstatě je výsledek měření aproximací nebo

Více

Test z teorie VÝBĚROVÉ CHARAKTERISTIKY A INTERVALOVÉ ODHADY

Test z teorie VÝBĚROVÉ CHARAKTERISTIKY A INTERVALOVÉ ODHADY VÝBĚROVÉ CHARAKTERISTIKY A INTERVALOVÉ ODHADY Test z teorie 1. Střední hodnota pevně zvolené náhodné veličiny je a) náhodná veličina, b) konstanta, c) náhodný jev, d) výběrová charakteristika. 2. Výběrový

Více

STATISTICKÝ SOUBOR. je množina sledovaných objektů - statistických jednotek, které mají z hlediska statistického zkoumání společné vlastnosti

STATISTICKÝ SOUBOR. je množina sledovaných objektů - statistických jednotek, které mají z hlediska statistického zkoumání společné vlastnosti ZÁKLADNÍ STATISTICKÉ POJMY HROMADNÝ JEV Statistika pracuje s tzv. HROMADNÝMI JEVY cílem statistického zpracování dat je podání informace o vlastnostech a zákonitostech hromadných jevů: velkého počtu jedinců

Více

Téma 4: Stratifikované a pokročilé simulační metody

Téma 4: Stratifikované a pokročilé simulační metody 0.007 0.006 0.005 0.004 0.003 0.002 0.001 Dlouhodobé nahodilé Std Distribution: Gumbel Min. EV I Mean Requested: 140 Obtained: 141 Std Requested: 75.5 Obtained: 73.2-100 0 100 200 300 Mean Std Téma 4:

Více

P13: Statistické postupy vyhodnocování únavových zkoušek, aplikace normálního, Weibullova rozdělení, apod.

P13: Statistické postupy vyhodnocování únavových zkoušek, aplikace normálního, Weibullova rozdělení, apod. P13: Statistické postupy vyhodnocování únavových zkoušek, aplikace normálního, Weibullova rozdělení, apod. Matematický přístup k výsledkům únavových zkoušek Náhodnost výsledků únavových zkoušek. Únavové

Více

Pracovní celky 3.2, 3.3 a 3.4 Sémantická harmonizace - Srovnání a přiřazení datových modelů

Pracovní celky 3.2, 3.3 a 3.4 Sémantická harmonizace - Srovnání a přiřazení datových modelů Pracovní celky 3.2, 3.3 a 3.4 Sémantická harmonizace - Srovnání a datových modelů Obsah Seznam tabulek... 1 Seznam obrázků... 1 1 Úvod... 2 2 Metody sémantické harmonizace... 2 3 Dvojjazyčné katalogy objektů

Více

Odhady - Sdružené rozdělení pravděpodobnosti

Odhady - Sdružené rozdělení pravděpodobnosti Odhady - Sdružené rozdělení pravděpodobnosti 4. listopadu 203 Kdybych chtěl znát maximum informací o náhodné veličině, musel bych znát všechny hodnoty, které mohou padnout, a jejich pravděpodobnosti. Tedy

Více

STATISTICKÉ ODHADY Odhady populačních charakteristik

STATISTICKÉ ODHADY Odhady populačních charakteristik STATISTICKÉ ODHADY Odhady populačních charakteristik Jak stanovit charakteristiky rozložení sledované veličiny v základní populaci? Populaci většinou nemáme celou k dispozici, musíme se spokojit jen s

Více

KGG/STG Statistika pro geografy

KGG/STG Statistika pro geografy KGG/STG Statistika pro geografy 4. Teoretická rozdělení Mgr. David Fiedor 9. března 2015 Osnova Úvod 1 Úvod 2 3 4 5 Vybraná rozdělení náhodných proměnných normální rozdělení normované normální rozdělení

Více

POPISNÁ STATISTIKA Komentované řešení pomocí programu Statistica

POPISNÁ STATISTIKA Komentované řešení pomocí programu Statistica POPISNÁ STATISTIKA Komentované řešení pomocí programu Statistica Program Statistica I Statistica je velmi podobná Excelu. Na základní úrovni je to klikací program určený ke statistickému zpracování dat.

Více

Kapacita jako náhodná veličina a její měření. Ing. Igor Mikolášek, Ing. Martin Bambušek Centrum dopravního výzkumu, v. v. i.

Kapacita jako náhodná veličina a její měření. Ing. Igor Mikolášek, Ing. Martin Bambušek Centrum dopravního výzkumu, v. v. i. Kapacita jako náhodná veličina a její měření Ing. Igor Mikolášek, Ing. Martin Bambušek Centrum dopravního výzkumu, v. v. i. Obsah Kapacita pozemních komunikací Funkce přežití Kaplan-Meier a parametrické

Více

Základy teorie pravděpodobnosti

Základy teorie pravděpodobnosti Základy teorie pravděpodobnosti Náhodná veličina Roman Biskup (zapálený) statistik ve výslužbě, aktuálně analytik v praxi ;-) roman.biskup(at)email.cz 12. února 2012 Statistika by Birom Základy teorie

Více

Úvodem Dříve les než stromy 3 Operace s maticemi

Úvodem Dříve les než stromy 3 Operace s maticemi Obsah 1 Úvodem 13 2 Dříve les než stromy 17 2.1 Nejednoznačnost terminologie 17 2.2 Volba metody analýzy dat 23 2.3 Přehled vybraných vícerozměrných metod 25 2.3.1 Metoda hlavních komponent 26 2.3.2 Faktorová

Více

Numerické metody zpracování výsledků

Numerické metody zpracování výsledků Numerické metody zpracování výsledků Měření fyzikální veličiny provádíme obvykle tak, že měříme hodnoty y jedné fyzikální veličiny při určitých hodnotách x druhé veličiny, na které měřená veličina závisí.

Více

VYUŽITÍ SIMULACE PŘI MODELOVÁNÍ PROVOZU NA SVÁŽNÉM PAHRBKU SEŘAĎOVACÍ STANICE

VYUŽITÍ SIMULACE PŘI MODELOVÁNÍ PROVOZU NA SVÁŽNÉM PAHRBKU SEŘAĎOVACÍ STANICE VYUŽITÍ SIMULACE PŘI MODELOVÁNÍ PROVOZU NA SVÁŽNÉM PAHRBKU SEŘAĎOVACÍ STANICE 1 Úvod Michal Dorda, Dušan Teichmann VŠB - TU Ostrava, Fakulta strojní, Institut dopravy Seřaďovací stanice jsou železniční

Více

Lineární regrese. Komentované řešení pomocí MS Excel

Lineární regrese. Komentované řešení pomocí MS Excel Lineární regrese Komentované řešení pomocí MS Excel Vstupní data Tabulka se vstupními daty je umístěna v oblasti A1:B11 (viz. obrázek) na listu cela data Postup Základní výpočty - regrese Výpočet základních

Více

Pravděpodobnost, náhoda, kostky

Pravděpodobnost, náhoda, kostky Pravděpodobnost, náhoda, kostky Radek Pelánek IV122 Výhled pravděpodobnost náhodná čísla lineární regrese detekce shluků Dnes lehce nesourodá směs úloh souvisejících s pravděpodobností připomenutí, souvislosti

Více

Adaptivní test COMPACT

Adaptivní test COMPACT ajt 2012/1/10 0:08 page 1 #1 Masarykova univerzita Adaptivní test COMPACT Tamara Váňová Jiří Procházka Denisa Denglerová Brno 2012 ajt 2012/1/10 0:08 page 2 #2 Publikace vznikla v rámci projektu CZ.1.07/2.2.00/07.0442

Více

Biostatistika Cvičení 7

Biostatistika Cvičení 7 TEST Z TEORIE 1. Střední hodnota pevně zvolené náhodné veličiny je a) náhodná veličina, b) konstanta, c) náhodný jev, d) výběrová charakteristika. 2. Výběrový průměr je a) náhodná veličina, b) konstanta,

Více

Příručka k měsíčním zprávám ING fondů

Příručka k měsíčním zprávám ING fondů Příručka k měsíčním zprávám ING fondů ING Investment Management vydává každý měsíc aktuální zprávu ke každému fondu, která obsahuje základní informace o fondu, jeho aktuální výkonnosti, složení portfolia

Více

VÝBĚR A JEHO REPREZENTATIVNOST

VÝBĚR A JEHO REPREZENTATIVNOST VÝBĚR A JEHO REPREZENTATIVNOST Induktivní, analytická statistika se snaží odhadnout charakteristiky populace pomocí malého vzorku, který se nazývá VÝBĚR neboli VÝBĚROVÝ SOUBOR. REPREZENTATIVNOST VÝBĚRU:

Více

Úloha 5: Spektrometrie záření α

Úloha 5: Spektrometrie záření α Petra Suková, 3.ročník 1 Úloha 5: Spektrometrie záření α 1 Zadání 1. Proveďte energetickou kalibraci α-spektrometru a určete jeho rozlišení. 2. Určeteabsolutníaktivitukalibračníhoradioizotopu 241 Am. 3.

Více

Numerická matematika 1

Numerická matematika 1 Numerická matematika 1 Obsah 1 Řešení nelineárních rovnic 3 1.1 Metoda půlení intervalu....................... 3 1.2 Metoda jednoduché iterace..................... 4 1.3 Newtonova metoda..........................

Více

Metodologie pro Informační studia a knihovnictví 2

Metodologie pro Informační studia a knihovnictví 2 Metodologie pro Informační studia a knihovnictví 2 Modul V: Nekategorizovaná data Metodologie pro ISK 2, jaro 2014. Ladislava Z. Suchá Metodologie pro Informační studia a knihovnictví 2 Modul 5: Popis

Více

Semestrální projekt. Vyhodnocení přesnosti sebelokalizace VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ. Fakulta elektrotechniky a komunikačních technologií

Semestrální projekt. Vyhodnocení přesnosti sebelokalizace VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ. Fakulta elektrotechniky a komunikačních technologií VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ Fakulta elektrotechniky a komunikačních technologií Semestrální projekt Vyhodnocení přesnosti sebelokalizace Vedoucí práce: Ing. Tomáš Jílek Vypracovali: Michaela Homzová,

Více

Analýza reziduí gyroskopu

Analýza reziduí gyroskopu Analýza reziduí gyroskopu Petr Šimeček Cílem studie bylo analyzovat přesnost tří neznámých gyroskopů, jež pro účely této studie budeme nazývat Gyroskop 1, Gyroskop 2 a Gyroskop 3. U prvních dvou gyroskopů

Více

Faculty of Nuclear Sciences and Physical Engineering Czech Technical University in Prague

Faculty of Nuclear Sciences and Physical Engineering Czech Technical University in Prague 1 / 40 regula Faculty of Nuclear Sciences and Physical Engineering Czech Technical University in Prague regula 1 2 3 4 5 regula 6 7 8 2 / 40 2 / 40 regula Iterační pro nelineární e Bud f reálná funkce

Více

Přejímka jedním výběrem

Přejímka jedním výběrem Přejímka jedním výběrem Menu: QCExpert Přejímka Jedním výběrem Statistická přejímka jedním výběrem slouží k rozhodnutí, zda dané množství nějakých výrobků vyhovuje našim požadavkům na kvalitu, která je

Více

Statistika. Klíčové kompetence V rámci výuky statistiky jsou naplňovány tyto klíčové kompetence: řešení problémů, komunikativní,

Statistika. Klíčové kompetence V rámci výuky statistiky jsou naplňovány tyto klíčové kompetence: řešení problémů, komunikativní, Dodatek č. 5. Školního vzdělávacího programu Obchodní akademie Lysá nad Labem, obor 63-41-M/02 Obchodní akademie, platného od 1. 9. 2012 - platnost od 1. 9. 2015 Statistika je povinný předmět pro 2. ročník,

Více

Stanovení nejistot při výpočtu kontaminace zasaženého území

Stanovení nejistot při výpočtu kontaminace zasaženého území Stanovení nejistot při výpočtu kontaminace zasaženého území Michal Balatka Abstrakt Hodnocení ekologického rizika kontaminovaných území představuje komplexní úlohu, která vyžaduje celou řadu vstupních

Více

Test z teorie VÝBĚROVÉ CHARAKTERISTIKY A INTERVALOVÉ ODHADY

Test z teorie VÝBĚROVÉ CHARAKTERISTIKY A INTERVALOVÉ ODHADY VÝBĚROVÉ CHARAKTERISTIKY A INTERVALOVÉ ODHADY Test z teorie 1. Střední hodnota pevně zvolené náhodné veličiny je a) náhodná veličina, b) konstanta, c) náhodný jev, d) výběrová charakteristika. 2. Výběrový

Více