Hloubka dat. a její použití pro klasifikaci
|
|
- Miluše Marešová
- před 7 lety
- Počet zobrazení:
Transkript
1 Hloubka dat a její použití pro klasifikaci Daniel Hlubinka, Lukáš Kotík, Ondřej Vencálek, Stanislav Nagy a Miroslav Šiman Univerzita Karlova v Praze Matematicko-fyzikální fakulta Katedra pravděpodobnosti a matematické statistiky Novohradské statistické dny Nové Hrady, červen 2012
2 Úvod Co je vlastně hloubka dat? Zcela obecně: přiřazení pořadí mnohorozměrné náhodné veličině. Klidně i nekonečněrozměrné (funkcionální proměnné). Bud X : (Ω,F, P) (E,E, P X ) náhodná veličina. Hloubka je funkce rozdělení náhodné veličiny a bodů ve výběrovém prostoru: D : (E,P E ) R + (příp. [0, 1]). Můžeme používat různá značení. Nejčastěji D(x, Q) = D Q (x), případně D(x) bude-li jasné o jaké rozdělení se jedná.
3 Jaké podmínky na hloubku klást? Hloubka by měla zohledňovat polohu bodu s ohledem na rozdělení. Typicky se jedná o částečné lineární uspořádání. Hloubku každých dvou bodů lze porovnat, body se stejnou hloubkou tvoří kontury hloubky. Tyto kontury lze chápat jako variantu kvantilů rozdělení mnohorozměrných náhodných veličin (které nelze přirozeně definovat kvůli absenci lineárního uspořádání). Jak název napovídá, body u okraje nosiče rozdělení by měly mít malou hloubku, naopak budy uprostřed rozdělení by měly mít hloubku velkou.
4 Intuitivní pojetí hloubky Ochrana krále: Důležitá osoba musí mít ze všech stran krytá záda. Musí být ukryta nejhlouběji v okruhu svých strážců. Slavnostní večeře: Význační hosté jsou uprostřed a s klesajícím významem hostů se zvětšuje vzdálenost jejich sezení od centra. Uspořádání zevnitř-ven: Data, která jsou uvnitř pravděpodobnostního rozdělení dostanou velkou hloubku, data vně dostanou malou hloubku. Opak odlehlosti: Čím větší hloubka, tím méně jsou data odlehlá a naopak.
5 Serflingův průvodce po hloubce Liu (1990) udává několik žádoucích vlastností hloubky. H1 Hloubka má být afinně invariantní funkcí. H2 Hloubka má být maximální v centru symetrie rozdělení. H3 Hloubka má klesat směrem od nejhlubšího bodu. H4 Hloubka má jít nule pro body jdoucí k nekonečnu (od nejhlubšího bodu). Serfling a Zuo (2000) pak zkoumají jednotlivé hloubky s ohledem na H1 H4 a jako statistickou hloubku definují nezápornou omezenou funkci splňující H1 H4.
6 Serflingův průvodce po hloubce Serfling a Zuo (2000) dále dělí hloubku na několik typů: A D(x, P) = E P h(x; X 1,...,X r ), kde h je libovolná nezáporná omezená měřitelná funkce měřící blízkost bodu x k bodům x 1,...,x r. B D(x, P) = ( 1+E P h(x; X 1,...,X r ) ) 1, kde h je libovolná nezáporná neomezená měřitelná funkce měřící vzdálenost bodu x od bodů x 1,...,x r. C D(x, P) = ( 1+O(x, P) ) 1, kde O(x, P) je funkce udávající odlehlost bodu x vzhledem k rozdělení P. D D(x, P;H) = inf H H P[x H], kde H je vhodná třída měřitelných množin.
7 Hloubka je globální funkcionál Přirozeně se naskýtá otázka: je hustota hloubkou? Mohla by být v širším smyslu; hloubka ale je zavedena jako funkcionál zdůrazňující globální nebo alespoň ne limitní charakter pravděpodobnostní míry. V některých případech ale hloubka a hustota úzce souvisejí: z vlastností H1 H4 plyne, že pro unimodální elipticky symetrická absolutně spojitá rozdělení musí existovat neklesající funkce φ : R + R + propojující hloubku a hustotu, tj D(x, P) = φ ( f P (x) ), kde f P je hustota rozdělení P vůči Lebesgueově míře. Hustotu tedy nebudeme považovat za hloubkový funkcionál.
8 Hloubka a kvantil Označme úrovňové množiny a kontury hloubky L(D, P, q)= {x : D(x, P) q}, C(D, P, q)= L(D, P, q)\l (D, P, q) kde L je vnitřek množiny. Kontura hloubky může být použita jako mnohorozměrná analogie kvantilu. Je tedy žádoucí, aby definice hloubky použitá na jednorozměrná data definovala kvantil (ve skutečnosti dva symetrické kvantily). Vnoření jednotlivých úrovňových množin hloubky je samozřejmostí.
9 Kvantil a hloubka Pokud máme vhodnou definici mnohorozměrného kvantilu ve smyslu uzavřených (do sebe vnořených) kontur Q(P, p), lze definovat hloubku pomocí jejích kontur množin C ( D, P,ψ(p) ) = Q(P, p) pro nějakou klesající ψ. Čím větší kvantil, tím má menší hloubku (je dál od středu). Aby šlo o rozumnou hloubku, je nutné aby kvantil měl rozumné vlastnosti. Kvantil a hloubka se tedy dají v určitém případě sjednotit do jednoho pojmu.
10 Hloubka = kvantil C 1 2α Mnohorozměrným mediánem je bod s největší hloubkou. Body se stejnou hloubkou tvoří kvantilové kontury. Hloubka zobecňuje kvantil do více rozměrů. Místo dvojice kvantilů q α a q 1 α máme kvantilovou konturu C 1 2α.
11 Neparametrické hloubky Hloubkových funkcí je možná více, než matematiků zabývajících se jimi. Historicky první a nejznámější je poloprostorová hloubka definovaná poprvé v článku (Tukey, 1975). Poloprostorová hloubka je typický představitel hloubky typu D. Velkou popularitu získala i simplexová hloubka definovaná v (Liu, 1990). Simplexová hloubka zastupuje hloubky typu A. Hloubku typu C reprezentuje například Mahalanobisova hloubka D(x, P) = ( 1+MD(x, P) ) 1, hloubku typu B pak například hloubka založená na objemu náhodného simplexu.
12 Semiparametrické kvantily Pro mnohorozměrné kvantily je možné použít definici regresních kvantilů. Místo regresní přímky (křivky), ale volíme vhodnou třídu uzavřených křivek a místo uspořádání větší/menší volíme uspořádání uvnitř/vně (spolu se vzdáleností od křivky). Typicky volme parametrický tvar křivky, proto jde o semiparametrický přístup. Vhodné jsou například elipsy. Pak jde o eliptické kvantily. Vhodnout volbou ztrátové funkce snadno dostaneme přírozenou afinní ekvivarianci eliptických kvantilů a tím pádem afinní invarianci příslušné hloubky.
13 Mnoho rozměrů, problémy na obzoru Někdy lze říci, že nějaký bod není moc hluboko a jiný je. Ale někdy to tak jednoznačné není.
14 Hloubka a klasifikace Chaudhuri a Ghosh (2005) zkoumali klasifikaci pomocí maximální hloubky. To se zdá být přirozeným postupem a hloubkovou analogií k věrohodnostní klasifikaci. Bohužel bayesovská optimalita může být zaručena pouze pro unimodální elipticky symetrická rozdělení se stejnou varianční maticí. Na druhou stanu: to není překvapivé, protože v tom případě větší hloubka odpovídá vyšší hustotě.
15 Nestejné rozptyly jsou problém Představme si dvě rozdělení: N(0, 1) a N(0, 4). Klasifikace pomocí hustot dává bayesovskou optimalitu: klasifikujme do N(0, 1), pokud x < ( ) 8 1/2 3 log 2. Proti tomu stojí fakt, že každý bod kromě počátku má hloubku větší vůči N(0, 1) než vůči N(0, 4). Hlavní důvod je v invarianci hloubky (na rozdíl od hustoty, která invariantní není).
16 D-D diagram pro dva výběry Vykreslíme dvojice ( D(x, P 1 ), D(x, P 2 ) ), kde za bod x dosazujeme pozorované body. Pamatujeme si, které pozorování patří ke kterému výběru a na této tréninkové skupině zvolíme nejvhodnější klasifikační kritérium. Tento postup se poprvé objevuje v preprintu (Cuesta-Albertos a kol., ).
17 Jak obelstít invarianci? Místo maximální hloubky najdeme jiné pravidlo na klasifikaci.
18 Jak obelstít invarianci? Napříkladu změnou směrnice obcházíme afinní invarianci hloubky. Namísto klasifikace D(x, P 1 ) D(x, P 2 ) > 1 k = 1 použijeme pro nějakou vhodnou konstantu c pravidlo D(x, P 1 ) D(x, P 2 ) > c k = 1. To nápadně připomíná test poměrem věrohodností. Ale zároveň se můžeme ptát, proč tak trváme na invarianci hloubky, když ji potom obcházíme.
19 Invariance hloubky O užitečnosti invariance pro statistické metody píše Serfling (2010). Jednorozměrné kvantily jsou ekvivariantní vůči libovolné rostoucí transformaci. Něco podobného ve více rozměrech je nedosažitelné. Afinní invariance hloubky a z ní plynoucí afinní ekvivariance kvantilu založeného na hloubce je asi nejsilnější rozumný požadavek na invarianci.
20 Klasifikace pomocí hloubky Klasifikovat mnohorozměrná data pomocí bayesovského kriteria (věrohodnostně) je náročné. Je složité a asymptoticky pomalé odhadnout hustoty. Hloubka dat může být vhodnou alternativou redukce dimenze ke známé metodě hlavních komponent. Hloubka redukuje rozměr opravdu důkladně; na jednorozměrnou hodnotu. Jak jsme viděli, je potřeba ještě druhý krok: vhodný klasifikátor založený na hloubce. Nabízí se, opět jakési bayesovské kritérium: odhadnout hustotu jednotlivých výběrů v D-D diagramu. Počet rozměrů je roven počtu tříd.
21 Na hloubce záleží Dvoustupňová klasifikace pomocí hloubky. Spočítejme hloubku každého bodu tréninkového výběru vůči všem rozdělením. Krok 1: místo původního pozorování použijme vektor y = ( D(x, P 1 ),...,D(x, P k ) ) redukce dimenze. Krok 2: na pozorováních Y odlad me nějaké vhodné klasifikační pravidlo. Toto pravidlo použijme na nová pozorování, respektive na jejich vektor hloubek vůči všem rozdělením. V obou krocích je možné hledat optimální volbu.
22 Globální a přeci lokální Pokud má hloubka být co nejvhodnější pro klasifikaci z hlediska bayesovského pravidla, musí nějakým způsobem zohledňovat lokální vlastnosti rozdělení, nebo klasifikační pravidlo založené na hloubce musí být v nějakém smyslu lokální. Nabízejí se tedy dvě možnosti. Použijeme lokální variantu hloubky. Klasifikační pravidlo nebude založené jen na hodnotě hloubky.
23 Lokální hloubka K definici hloubky přiřadíme váhovou funkci. Například vážená poloprostorová hloubka: každý bod v daném poloprostoru dostane váhu odpovídající jeho vzdálenosti od směrového vektoru a od dělící nadroviny. Typicky ztratíme afinní invarianci hloubky, někdy i jednoznačnost nejhlubšího bodu. Získáme hloubkové kontury, které jsou poněkud bližší konturám hustoty. Výsledky klasifikace pomocí D-D diagramu se zlepší Symetrickou variantu dostaneme vydělením vážených pravděpodobností protilehlých poloprostorů.
24 Nejblíže hlubocí sousedé Pozorování je zařazeno do skupiny, kde Lebesgueova míra množiny nejblíže hlubokých sousedů je nejmenší Jde o obdobu metody k nejbližších sousedů; blízkost není dána geometrickou vzdáleností, ale hloubkou. Tato metoda je podstatně lepší než metoda největší hloubky. Asymptotická optimalita se dá dokázat pro i pro nestejná elipticky symetrická rozdělení.
25 Hloubka a nekonečněrozměrné veličiny Hloubka nepotřebuje k definici hustotu ani distribuční funkci. Je vhodná i pro funkcionální data (není třeba se zabývat rozdělením na funkčních prostorech). Většina současných definic jsou hloubky typu A. Kromě funkčních hodnot lze do výpočtu zapojit i další charakteristiky funkcí. Například derivace.
26 Klasifikace funkcionálních dat Tato data sestávají z funkcí s mírně odlišnou střední hodnotou a velmi rozdílnou kovarianční strukturou. Ukážeme si, jak moc závisí na volbě hloubkového funkcionálu.
27 Hloubka Lopez-Pintado (2009) GLP GLP
28 Hloubka zahrnující funkční hodnoty i derivace AKLP AKLP
29 Hloubka zahrnující hlavně derivaci RKLP RKLP
30 Ještě více názorný příklad GLP GLP AKLP AKLP RKLP RKLP
Hloubka dat. kontury, klasifikace a konzistence. Daniel Hlubinka
Hloubka dat kontury, klasifikace a konzistence Daniel Hlubinka Univerzita Karlova v Praze Matematicko-fyzikální fakulta Katedra pravděpodobnosti a matematické statistiky Robust Němčičky 2012 Hloubka Co
VíceOdhad parametrů N(µ, σ 2 )
Odhad parametrů N(µ, σ 2 ) Mějme statistický soubor x 1, x 2,, x n modelovaný jako realizaci náhodného výběru z normálního rozdělení N(µ, σ 2 ) s neznámými parametry µ a σ. Jaký je maximální věrohodný
VíceZáklady teorie pravděpodobnosti
Základy teorie pravděpodobnosti Náhodná veličina Roman Biskup (zapálený) statistik ve výslužbě, aktuálně analytik v praxi ;-) roman.biskup(at)email.cz 12. února 2012 Statistika by Birom Základy teorie
VíceAVDAT Náhodný vektor, mnohorozměrné rozdělení
AVDAT Náhodný vektor, mnohorozměrné rozdělení Josef Tvrdík Katedra informatiky Přírodovědecká fakulta Ostravská univerzita Opakování, náhodná veličina, rozdělení Náhodná veličina zobrazuje elementární
Více1. Číselné posloupnosti - Definice posloupnosti, základní vlastnosti, operace s posloupnostmi, limita posloupnosti, vlastnosti limit posloupností,
KMA/SZZS1 Matematika 1. Číselné posloupnosti - Definice posloupnosti, základní vlastnosti, operace s posloupnostmi, limita posloupnosti, vlastnosti limit posloupností, operace s limitami. 2. Limita funkce
Více10. cvičení z PST. 5. prosince T = (n 1) S2 X. (n 1) s2 x σ 2 q χ 2 (n 1) (1 α 2 ). q χ 2 (n 1) 2. 2 x. (n 1) s. x = 1 6. x i = 457.
0 cvičení z PST 5 prosince 208 0 (intervalový odhad pro rozptyl) Soubor (70, 84, 89, 70, 74, 70) je náhodným výběrem z normálního rozdělení N(µ, σ 2 ) Určete oboustranný symetrický 95% interval spolehlivosti
VíceOdhad parametrů N(µ, σ 2 )
Odhad parametrů N(µ, σ 2 ) Mějme statistický soubor x 1, x 2,, x n modelovaný jako realizaci náhodného výběru z normálního rozdělení N(µ, σ 2 ) s neznámými parametry µ a σ. Jaký je maximální věrohodný
VíceDefinice spojité náhodné veličiny zjednodušená verze
Definice spojité náhodné veličiny zjednodušená verze Náhodná veličina X se nazývá spojitá, jestliže existuje nezáporná funkce f : R R taková, že pro každé a, b R { }, a < b, platí P(a < X < b) = b a f
VíceJiří Neubauer. Katedra ekonometrie, FVL, UO Brno kancelář 69a, tel
Katedra ekonometrie, FVL, UO Brno kancelář 69a, tel. 973 442029 email:jiri.neubauer@unob.cz Výsledky některých náhodných pokusů jsou přímo vyjádřeny číselně (např. při hodu kostkou padne 6). Náhodnou veličinou
VícePřijímací zkouška na navazující magisterské studium 2017
Přijímací zkouška na navazující magisterské studium 27 Studijní program: Studijní obor: Matematika Finanční a pojistná matematika Varianta A Řešení příkladů pečlivě odůvodněte. Věnujte pozornost ověření
VícePRAVDĚPODOBNOST A STATISTIKA. Neparametrické testy hypotéz čast 1
PRAVDĚPODOBNOST A STATISTIKA Neparametrické testy hypotéz čast 1 Neparametrické testy hypotéz - úvod Neparametrické testy statistických hypotéz se používají v případech, kdy neznáme rozdělení pozorované
VícePoznámky k předmětu Aplikovaná statistika, 4. téma
Poznámky k předmětu Aplikovaná statistika, 4. téma 4. Náhodné vektory V praxi se nám může hodit postihnout více vlastností jednoho objektu najednou, např. výšku, váhu a pohlaví člověka; rychlost chemické
Více9. T r a n s f o r m a c e n á h o d n é v e l i č i n y
9. T r a n s f o r m a c e n á h o d n é v e l i č i n y Při popisu procesů zpracováváme vstupní údaj, hodnotu x tak, že výstupní hodnota y závisí nějakým způsobem na vstupní, je její funkcí y = f(x).
VíceMatematika pro informatiky
(FIT ČVUT v Praze) Konvexní analýza 13.týden 1 / 1 Matematika pro informatiky Jaroslav Milota Fakulta informačních technologíı České vysoké učení technické v Praze Letní semestr 2010/11 Extrémy funkce
VícePřijímací zkouška na navazující magisterské studium 2014
Přijímací zkouška na navazující magisterské studium 24 Příklad (25 bodů) Spočtěte Studijní program: Studijní obor: Matematika Finanční a pojistná matematika Varianta A M x 2 dxdy, kde M = {(x, y) R 2 ;
VícePoznámky k předmětu Aplikovaná statistika, 4. téma
Poznámky k předmětu Aplikovaná statistika, 4. téma 4. Náhodné vektory V praxi se nám může hodit postihnout více vlastností jednoho objektu najednou, např. výšku, váhu a pohlaví člověka; rychlost chemické
VícePravděpodobnost a aplikovaná statistika
Pravděpodobnost a aplikovaná statistika MGR. JANA SEKNIČKOVÁ, PH.D. 2. KAPITOLA PODMÍNĚNÁ PRAVDĚPODOBNOST 3. KAPITOLA NÁHODNÁ VELIČINA 9.11.2017 Opakování Uveďte příklad aplikace geometrické definice pravděpodobnosti
VíceNeparametrické metody
Neparametrické metody Dosud jsme se zabývali statistickými metodami, které zahrnovaly předpoklady o rozdělení dat. Zpravidla jsme předpokládali normální rozdělení. Např. Grubbsův test odlehlých hodnot
VíceCharakterizace rozdělení
Charakterizace rozdělení Momenty f(x) f(x) f(x) μ >μ 1 σ 1 σ >σ 1 g 1 g σ μ 1 μ x μ x x N K MK = x f( x) dx 1 M K = x N CK = ( x M ) f( x) dx ( xi M 1 C = 1 K 1) N i= 1 K i K N i= 1 K μ = E ( X ) = xf
VíceNormální (Gaussovo) rozdělení
Normální (Gaussovo) rozdělení Normální (Gaussovo) rozdělení popisuje vlastnosti náhodné spojité veličiny, která vzniká složením různých náhodných vlivů, které jsou navzájem nezávislé, kterých je velký
VíceVýběrové charakteristiky a jejich rozdělení
Katedra ekonometrie, FVL, UO Brno kancelář 69a, tel. 973 442029 email:jiri.neubauer@unob.cz Statistické šetření úplné (vyčerpávající) neúplné (výběrové) U výběrového šetření se snažíme o to, aby výběrový
Více7. Rozdělení pravděpodobnosti ve statistice
7. Rozdělení pravděpodobnosti ve statistice Statistika nuda je, má však cenné údaje, neklesejte na mysli, ona nám to vyčíslí Jednou z úloh statistiky je odhad (výpočet) hodnot statistického znaku x i,
VíceChyby měření 210DPSM
Chyby měření 210DPSM Jan Zatloukal Stručný přehled Zdroje a druhy chyb Systematické chyby měření Náhodné chyby měření Spojité a diskrétní náhodné veličiny Normální rozdělení a jeho vlastnosti Odhad parametrů
VícePožadavky k písemné přijímací zkoušce z matematiky do navazujícího magisterského studia pro neučitelské obory
Požadavky k písemné přijímací zkoušce z matematiky do navazujícího magisterského studia pro neučitelské obory Zkouška ověřuje znalost základních pojmů, porozumění teorii a schopnost aplikovat teorii při
VícePRŮZKUMOVÁ ANALÝZA JEDNOROZMĚRNÝCH DAT Exploratory Data Analysis (EDA)
PRŮZKUMOVÁ ANALÝZA JEDNOROZMĚRNÝCH DAT Exploratory Data Analysis (EDA) Reprezentativní náhodný výběr: 1. Prvky výběru x i jsou vzájemně nezávislé. 2. Výběr je homogenní, tj. všechna x i jsou ze stejného
VícePravděpodobnost a statistika, Biostatistika pro kombinované studium. Jan Kracík
Pravděpodobnost a statistika, Biostatistika pro kombinované studium Letní semestr 2017/2018 Tutoriál č. 2:, náhodný vektor Jan Kracík jan.kracik@vsb.cz náhodná veličina rozdělení pravděpodobnosti náhodné
VíceAVDAT Mnohorozměrné metody, metody klasifikace
AVDAT Mnohorozměrné metody, metody klasifikace Josef Tvrdík Katedra informatiky Přírodovědecká fakulta Ostravská univerzita Mnohorozměrné metody Regrese jedna náhodná veličina je vysvětlována pomocí jiných
VíceŘešení. Označme po řadě F (z) Odtud plyne, že
Úloha Nechť ~ R(, ) a Y = Jinak řečeno, Y je odmocnina čísla vybraného zcela náhodně z intervalu (, ) Popište rozdělení veličiny Y a určete jeho modus, medián, střední hodnotu a rozptyl Řešení Označme
VíceStřední hodnota a rozptyl náhodné. kvantilu. Ing. Michael Rost, Ph.D.
Střední hodnota a rozptyl náhodné veličiny, vybraná rozdělení diskrétních a spojitých náhodných veličin, pojem kvantilu Ing. Michael Rost, Ph.D. Príklad Předpokládejme že máme náhodnou veličinu X která
VíceBakalářské studium na MFF UK v Praze Obecná matematika Zaměření: Stochastika. 1 Úvodní poznámky. Verze: 13. června 2013
Bakalářské studium na MFF UK v Praze Obecná matematika Zaměření: Stochastika Podrobnější rozpis okruhů otázek pro třetí část SZZ Verze: 13. června 2013 1 Úvodní poznámky 6 Smyslem SZZ by nemělo být toliko
VíceMatematika I 12a Euklidovská geometrie
Matematika I 12a Euklidovská geometrie Jan Slovák Masarykova univerzita Fakulta informatiky 3. 12. 2012 Obsah přednášky 1 Euklidovské prostory 2 Odchylky podprostorů 3 Standardní úlohy 4 Objemy Plán přednášky
VíceNáhodný vektor a jeho charakteristiky
Náhodný vektor a jeho číselné charakteristiky 1 Náhodný vektor a jeho charakteristiky V následující kapitole budeme věnovat pozornost pouze dvourozměřnému náhodnému vektoru, i když uvedené pojmy a jejich
Více9. T r a n s f o r m a c e n á h o d n é v e l i č i n y
9. T r a n s f o r m a c e n á h o d n é v e l i č i n Při popisu procesů zpracováváme vstupní údaj, hodnotu x tak, že výstupní hodnota závisí nějakým způsobem na vstupní, je její funkcí = f(x). Pokud
VíceLineární klasifikátory
Lineární klasifikátory Lineární klasifikátory obsah: perceptronový algoritmus základní verze varianta perceptronového algoritmu přihrádkový algoritmus podpůrné vektorové stroje Lineární klasifikátor navrhnout
VíceTéma 22. Ondřej Nývlt
Téma 22 Ondřej Nývlt nyvlto1@fel.cvut.cz Náhodná veličina a náhodný vektor. Distribuční funkce, hustota a pravděpodobnostní funkce náhodné veličiny. Střední hodnota a rozptyl náhodné veličiny. Sdružené
VíceUČENÍ BEZ UČITELE. Václav Hlaváč
UČENÍ BEZ UČITELE Václav Hlaváč Fakulta elektrotechnická ČVUT v Praze katedra kybernetiky, Centrum strojového vnímání hlavac@fel.cvut.cz, http://cmp.felk.cvut.cz/~hlavac 1/22 OBSAH PŘEDNÁŠKY ÚVOD Učení
VíceMATEMATICKÁ STATISTIKA. Katedra matematiky a didaktiky matematiky Technická univerzita v Liberci
MATEMATICKÁ STATISTIKA Dana Černá http://www.fp.tul.cz/kmd/ Katedra matematiky a didaktiky matematiky Technická univerzita v Liberci Matematická statistika Matematická statistika se zabývá matematickým
VíceMnohorozměrná statistická data
Mnohorozměrná statistická data Ekonometrie Jiří Neubauer Katedra ekonometrie FVL UO Brno kancelář 69a, tel. 973 442029 email:jiri.neubauer@unob.cz Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná
VíceNáhodný vektor. Náhodný vektor. Hustota náhodného vektoru. Hustota náhodného vektoru. Náhodný vektor je dvojice náhodných veličin (X, Y ) T = ( X
Náhodný vektor Náhodný vektor zatím jsme sledovali jednu náhodnou veličinu, její rozdělení a charakteristiky často potřebujeme vyšetřovat vzájemný vztah několika náhodných veličin musíme sledovat jejich
VíceX = x, y = h(x) Y = y. hodnotám x a jedné hodnotě y. Dostaneme tabulku hodnot pravděpodobnostní
..08 8cv7.tex 7. cvičení - transformace náhodné veličiny Definice pojmů a základní vzorce Je-li X náhodná veličina a h : R R je měřitelná funkce, pak náhodnou veličinu Y, která je definovaná vztahem X
VíceNáhodná proměnná. Náhodná proměnná může mít rozdělení diskrétní (x 1. , x 2. ; x 2. spojité (<x 1
Náhodná proměnná Náhodná proměnná může mít rozdělení diskrétní (x 1, x 2,,x n ) spojité () Poznámky: 1. Fyzikální veličiny jsou zpravidla spojité, ale změřené hodnoty jsou diskrétní. 2. Pokud
VíceStatistika II. Jiří Neubauer
Statistika II Katedra ekonometrie FVL UO Brno kancelář 69a, tel. 973 442029 email:jiri.neubauer@unob.cz Zaměříme se především na popis dvourozměrných náhodných veličin (vektorů). Definice Nechť X a Y jsou
Více2 Hlavní charakteristiky v analýze přežití
2 Hlavní charakteristiky v analýze přežití Předpokládané výstupy z výuky: 1. Student umí definovat funkci přežití, rizikovou funkci a kumulativní rizikovou funkci a zná funkční vazby mezi nimi 2. Student
VíceZákladní spádové metody
Základní spádové metody Petr Tichý 23. října 2013 1 Metody typu line search Problém Idea metod min f(x), f : x R Rn R. n Dána počáteční aproximace x 0. Iterační proces (krok k): (a) zvol směr d k, (b)
VícePravděpodobnost a matematická statistika
Pravděpodobnost a matematická statistika Příklady k přijímacím zkouškám na doktorské studium 1 Popisná statistika Určete aritmetický průměr dat, zadaných tabulkou hodnot x i a četností n i x i 1 2 3 n
VícePrůzkumová analýza dat
Průzkumová analýza dat Proč zkoumat data? Základ průzkumové analýzy dat položil John Tukey ve svém díle Exploratory Data Analysis (odtud zkratka EDA). Často se stává, že data, se kterými pracujeme, se
VíceCvičení 5. Přednášející: Mgr. Rudolf B. Blažek, Ph.D. prof. RNDr. Roman Kotecký, DrSc.
5 Přednášející: Mgr. Rudolf B. Blažek, Ph.D. prof. RNDr. Roman Kotecký, DrSc. Katedra počítačových systémů Katedra teoretické informatiky Fakulta informačních technologií České vysoké učení technické v
Více5. Náhodná veličina. 2. Házíme hrací kostkou dokud nepadne šestka. Náhodná veličina nabývá hodnot z posloupnosti {1, 2, 3,...}.
5. Náhodná veličina Poznámka: Pro popis náhodného pokusu jsme zavedli pojem jevového pole S jako množiny všech možných výsledků a pravděpodobnost náhodných jevů P jako míru výskytů jednotlivých výsledků.
VíceZadání a řešení testu z matematiky a zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia od jara 2017
Zadání a řešení testu z matematiky a zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia od jara 207 Zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia
Víceletní semestr Katedra pravděpodobnosti a matematické statistiky Matematicko-fyzikální fakulta Univerzity Karlovy Matematická statistika vektory
Šárka Hudecová Katedra pravděpodobnosti a matematické statistiky Matematicko-fyzikální fakulta Univerzity Karlovy letní semestr 202 Založeno na materiálech doc. Michala Kulicha Náhodný vektor často potřebujeme
VíceNormální (Gaussovo) rozdělení
Normální (Gaussovo) rozdělení f x = 1 2 exp x 2 2 2 f(x) je funkce hustoty pravděpodobnosti, symetrická vůči poloze maxima x = μ μ střední hodnota σ směrodatná odchylka (tzv. pološířka křivky mezi inflexními
VíceVybraná rozdělení náhodné veličiny
3.3 Vybraná rozdělení náhodné veličiny 0,16 0,14 0,12 0,1 0,08 0,06 0,04 0,02 0 Rozdělení Z 3 4 5 6 7 8 9 10 11 12 13 14 15 Život je umění vytvářet uspokojivé závěry na základě nedostatečných předpokladů.
Více8 Střední hodnota a rozptyl
Břetislav Fajmon, UMAT FEKT, VUT Brno Této přednášce odpovídá kapitola 10 ze skript [1]. Také je k dispozici sbírka úloh [2], kde si můžete procvičit příklady z kapitol 2, 3 a 4. K samostatnému procvičení
VíceMATEMATICKÁ STATISTIKA - XP01MST
MATEMATICKÁ STATISTIKA - XP01MST 1. Úvod. Matematická statistika (statistics) se zabývá vyšetřováním zákonitostí, které v sobě obsahují prvek náhody. Zpracováním hodnot, které jsou výstupem sledovaného
VíceTéma 2: Pravděpodobnostní vyjádření náhodných veličin
0.05 0.0 0.05 0.0 0.005 Nominální napětí v pásnici Std Mean 40 60 80 00 0 40 60 Std Téma : Pravděpodobnostní vyjádření náhodných veličin Přednáška z předmětu: Spolehlivost a bezpečnost staveb 4. ročník
VíceNeparametrické testy
Neparametrické testy Dosud jsme se zabývali statistickými metodami, které zahrnovaly předpoklady o rozdělení dat. Zpravidla jsme předpokládali normální (Gaussovo) rozdělení. Například: Grubbsův test odlehlých
Více7 Regresní modely v analýze přežití
7 Regresní modely v analýze přežití Předpokládané výstupy z výuky: 1. Student rozumí významu regresního modelování dat o přežití 2. Student dokáže definovat pojmy poměr rizik a základní riziková funkce
VíceZadání a řešení testu z matematiky a zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia od jara 2014
Zadání a řešení testu z matematiky a zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia od jara 2014 Zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia
VíceLWS při heteroskedasticitě
Stochastické modelování v ekonomii a financích Petr Jonáš 7. prosince 2009 Obsah 1 2 3 4 5 47 1 Předpoklad 1: Y i = X i β 0 + e i i = 1,..., n. (X i, e i) je posloupnost nezávislých nestejně rozdělených
VíceMnohorozměrná statistická data
Statistika II Katedra ekonometrie FVL UO Brno kancelář 69a, tel. 973 442029 email:jiri.neubauer@unob.cz Statistický znak, statistický soubor Jednotlivé objekty nebo subjekty, které jsou při statistickém
VíceNáhodný vektor. Náhodný vektor. Hustota náhodného vektoru. Hustota náhodného vektoru. Náhodný vektor je dvojice náhodných veličin (X, Y ) T = ( X
Náhodný vektor Náhodný vektor zatím jsme sledovali jednu náhodnou veličinu, její rozdělení a charakteristik často potřebujeme všetřovat vzájemný vztah několika náhodných veličin musíme sledovat jejich
VíceZadání a řešení testu z matematiky a zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia od podzimu 2014
Zadání a řešení testu z matematiky a zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia od podzimu 204 Zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia
VícePraktická statistika. Petr Ponížil Eva Kutálková
Praktická statistika Petr Ponížil Eva Kutálková Zápis výsledků měření Předpokládejme, že známe hodnotu napětí U = 238,9 V i její chybu 3,3 V. Hodnotu veličiny zapíšeme na tolik míst, aby až poslední bylo
VíceDefinice 7.1 Nechť je dán pravděpodobnostní prostor (Ω, A, P). Zobrazení. nebo ekvivalentně
7 Náhodný vektor Nezávislost náhodných veličin Definice 7 Nechť je dán pravděpodobnostní prostor (Ω, A, P) Zobrazení X : Ω R n, které je A-měřitelné, se nazývá (n-rozměrný) náhodný vektor Měřitelností
VíceRNDr. Eva Janoušová doc. RNDr. Ladislav Dušek, Dr.
Analýza dat pro Neurovědy RNDr. Eva Janoušová doc. RNDr. Ladislav Dušek, Dr. Jaro 2014 Institut biostatistiky Janoušová, a analýz Dušek: Analýza dat pro neurovědy Blok 3 Jak a kdy použít parametrické a
Více15. T e s t o v á n í h y p o t é z
15. T e s t o v á n í h y p o t é z Na základě hodnot náhodného výběru činíme rozhodnutí o platnosti hypotézy o hodnotách parametrů rozdělení nebo o jeho vlastnostech. Rozeznáváme dva základní typy testů:
VícePRAVDĚPODOBNOST A STATISTIKA. Odhady parametrů Postačující statistiky
PRAVDĚPODOBNOS A SAISIKA Odhady parametrů SP3 Připomenutí pojmů Připomenutí pojmů z S1P a SP2 odhady Nechť X,, je náhodný výběr z rozdělení s distribuční funkcí. 1 X,, X ) ( 1 n Statistika se nazývá bodovým
VíceOdhady Parametrů Lineární Regrese
Odhady Parametrů Lineární Regrese Mgr. Rudolf B. Blažek, Ph.D. prof. RNDr. Roman Kotecký, DrSc. Katedra počítačových systémů Katedra teoretické informatiky Fakulta informačních technologií České vysoké
VíceZadání a řešení testu z matematiky a zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia od podzimu 2016
Zadání a řešení testu z matematiky a zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia od podzimu 2016 Zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia
Více5 Vícerozměrná data - kontingenční tabulky, testy nezávislosti, regresní analýza
5 Vícerozměrná data - kontingenční tabulky, testy nezávislosti, regresní analýza 5.1 Vícerozměrná data a vícerozměrná rozdělení Při zpracování vícerozměrných dat se hledají souvislosti mezi dvěma, případně
VíceKGG/STG Statistika pro geografy
KGG/STG Statistika pro geografy 5. Odhady parametrů základního souboru Mgr. David Fiedor 16. března 2015 Vztahy mezi výběrovým a základním souborem Osnova 1 Úvod, pojmy Vztahy mezi výběrovým a základním
VíceNáhodné chyby přímých měření
Náhodné chyby přímých měření Hodnoty náhodných chyb se nedají stanovit předem, ale na základě počtu pravděpodobnosti lze zjistit, která z možných naměřených hodnot je více a která je méně pravděpodobná.
VíceNáhodná veličina a její charakteristiky. Před provedením pokusu jeho výsledek a tedy ani sledovanou hodnotu neznáte. Proto je proměnná, která
Náhodná veličina a její charakteristiky Náhodná veličina a její charakteristiky Představte si, že provádíte náhodný pokus, jehož výsledek jste schopni ohodnotit nějakým číslem. Před provedením pokusu jeho
Více6 Lineární geometrie. 6.1 Lineární variety
6 Lineární geometrie Motivace. Pojem lineární varieta, který budeme v této kapitole studovat z nejrůznějších úhlů pohledu, není žádnou umělou konstrukcí. Příkladem lineární variety je totiž množina řešení
VíceBAYESOVSKÉ ODHADY. Michal Friesl V NĚKTERÝCH MODELECH. Katedra matematiky Fakulta aplikovaných věd Západočeská univerzita v Plzni
BAYESOVSKÉ ODHADY V NĚKTERÝCH MODELECH Michal Friesl Katedra matematiky Fakulta aplikovaných věd Západočeská univerzita v Plzni Slunce Řidiči IQ Regrese Přežití Obvyklý model Pozorování X = (X 1,..., X
VíceStručný úvod do testování statistických hypotéz
Stručný úvod do testování statistických hypotéz 1. Formulujeme hypotézu (předpokládáme, že pozorovaný jev je pouze náhodný). 2. Zvolíme hladinu významnosti testu a, tj. riziko, s nímž jsme ochotni se smířit.
VíceModerní technologie ve studiu aplikované fyziky CZ.1.07/2.2.00/ Množiny, funkce
Moderní technologie ve studiu aplikované fyziky CZ.1.07/2.2.00/07.0018 2. Množiny, funkce MNOŽIN, ZÁKLDNÍ POJMY Pojem množiny patří v matematice ke stěžejním. Nelze jej zavést ve formě definice pomocí
Vícez Matematické statistiky 1 1 Konvergence posloupnosti náhodných veličin
Příklady k procvičení z Matematické statistiky Poslední úprava. listopadu 207. Konvergence posloupnosti náhodných veličin. Necht X, X 2... jsou nezávislé veličiny s rovnoměrným rozdělením na [0, ]. Definujme
VíceÚvodem Dříve les než stromy 3 Operace s maticemi
Obsah 1 Úvodem 13 2 Dříve les než stromy 17 2.1 Nejednoznačnost terminologie 17 2.2 Volba metody analýzy dat 23 2.3 Přehled vybraných vícerozměrných metod 25 2.3.1 Metoda hlavních komponent 26 2.3.2 Faktorová
VíceZáklady teorie odhadu parametrů bodový odhad
Katedra ekonometrie, FVL, UO Brno kancelář 69a, tel. 973 442029 email:jiri.neubauer@unob.cz Odhady parametrů Úkolem výběrového šetření je podat informaci o neznámé hodnotě charakteristiky základního souboru
VíceOmezenost funkce. Definice. (shora, zdola) omezená na množině M D(f ) tuto vlastnost. nazývá se (shora, zdola) omezená tuto vlastnost má množina
Přednáška č. 5 Vlastnosti funkcí Jiří Fišer 22. října 2007 Jiří Fišer (KMA, PřF UP Olomouc) KMA MMAN1 Přednáška č. 4 22. října 2007 1 / 1 Omezenost funkce Definice Funkce f se nazývá (shora, zdola) omezená
Vícenaopak více variant odpovědí, bude otázka hodnocena jako nesprávně zodpovězená.
Datum:... Jméno:... Přijímací řízení pro akademický rok 28/9 na magisterské studijní obor Finanční informatiky a statistika Písemná část přijímací zkoušky z matematiky Za každou správnou odpověd se získávají
VíceMatematická analýza III.
2. Parciální derivace Miroslav Hušek, Lucie Loukotová UJEP 2010 Parciální derivace jsou zobecněním derivace funkce jedné proměnné. V této kapitole poznáme jejich základní vlastnosti a využití. Co bychom
VíceKGG/STG Statistika pro geografy
KGG/STG Statistika pro geografy 4. Teoretická rozdělení Mgr. David Fiedor 9. března 2015 Osnova Úvod 1 Úvod 2 3 4 5 Vybraná rozdělení náhodných proměnných normální rozdělení normované normální rozdělení
Vícetransformace je posunutí plus lineární transformace má svou matici vzhledem k homogenním souřadnicím [1]
[1] Afinní transformace je posunutí plus lineární transformace má svou matici vzhledem k homogenním souřadnicím využití například v počítačové grafice Evropský sociální fond Praha & EU. Investujeme do
VíceTestování hypotéz o parametrech regresního modelu
Testování hypotéz o parametrech regresního modelu Ekonometrie Jiří Neubauer Katedra kvantitativních metod FVL UO Brno kancelář 69a, tel. 973 442029 email:jiri.neubauer@unob.cz Jiří Neubauer (Katedra UO
VíceTestování hypotéz o parametrech regresního modelu
Statistika II Katedra ekonometrie FVL UO Brno kancelář 69a, tel. 973 442029 email:jiri.neubauer@unob.cz Lineární regresní model kde Y = Xβ + e, y 1 e 1 β y 2 Y =., e = e 2 x 11 x 1 1k., X =....... β 2,
VíceNMSA202 PRAVDĚPODOBNOST A MATEMATICKÁ STATISTIKA POZNÁMKY O ZKOUŠCE
Datum poslední aktualizace: 13. června 2014 NMSA202 PRAVDĚPODOBNOST A MATEMATICKÁ STATISTIKA POZNÁMKY O ZKOUŠCE Zkouška má písemnou a ústní část. Nejdříve je písemná část, která se dále dělí na početní
VíceMatematická analýza pro informatiky I.
Matematická analýza pro informatiky I. 10. přednáška Diferenciální počet funkcí více proměnných (II) Jan Tomeček jan.tomecek@upol.cz http://aix-slx.upol.cz/ tomecek/index Univerzita Palackého v Olomouci
VíceANALÝZA A KLASIFIKACE DAT
ANALÝZA A KLASIFIKACE DAT prof. Ing. Jiří Holčík, CSc. INVESTICE Institut DO biostatistiky ROZVOJE VZDĚLÁVÁNÍ a analýz IV. LINEÁRNÍ KLASIFIKACE PRINCIPY KLASIFIKACE pomocí diskriminačních funkcí funkcí,
VíceDetekce interakčních sil v proudu vozidel
Detekce interakčních sil v proudu vozidel (ANEB OBECNĚJŠÍ POHLED NA POJEM VZDÁLENOSTI V MATEMATICE) Doc. Mgr. Milan Krbálek, Ph.D. Katedra matematiky Fakulta jaderná a fyzikálně inženýrská České vysoké
VíceAplikovaná numerická matematika
Aplikovaná numerická matematika 6. Metoda nejmenších čtverců doc. Ing. Róbert Lórencz, CSc. České vysoké učení technické v Praze Fakulta informačních technologií Katedra počítačových systémů Příprava studijních
VíceNáhodné (statistické) chyby přímých měření
Náhodné (statistické) chyby přímých měření Hodnoty náhodných chyb se nedají stanovit předem, ale na základě počtu pravděpodobnosti lze zjistit, která z možných naměřených hodnot je více a která je méně
VíceKGG/STG Statistika pro geografy
KGG/STG Statistika pro geografy 9. Korelační analýza Mgr. David Fiedor 20. dubna 2015 Analýza závislostí v řadě geografických disciplín studujeme jevy, u kterých vyšetřujeme nikoliv pouze jednu vlastnost
VíceOct 19th Charles University in Prague, Faculty of Mathematics and Physics. Multidimensional estimators. Základní pojmy.
Charles University in Prague, Faculty of Mathematics and Physics Oct 19th 2009 Influence Function Stejné jako pro jednorozměrný případ až na Θ R p. Influence Function IF (x; T, F) = lim h 0 T [(1 h)f +
VícePRAVDĚPODOBNOST A STATISTIKA
PRAVDĚPODOBNOST A STATISTIKA Náhodná proměnná Náhodná veličina slouží k popisu výsledku pokusu. Před provedením pokusu jeho výsledek a tedy ani sledovanou hodnotu neznáme. Přesto bychom chtěli tento pokus
Více