O bayesovském uèeí EORIE PRO PRAXI Iva Nagy, Petr Nedoma, Miroslav Kárý, Leka Pavelková, Pavel Ettler Èláek podává základí iormace o bayesovském pøístupu k idetiikaci systémù, o tzv. bayesovském uèeí. Výklad je demostrová a jedoduchém pøíkladu, kterým je hod poteciálì poškozeou micí. Jsou zde vyzdvižey pøedosti bayesovského uèeí ve srováí s obvyklým uèeím metodami klasické statistiky. yto pøedosti spoèívají pøedevším v možosti zahrout apriorí iormace do procesu odhadováí a možosti dát smysl i odhadùm z velmi malého možství dat. Klíèová slova: Model systému, apriorí hustota pravdìpodobosti, aposteriorí hustota pravdìpodobosti, vìrohodostí ukce, bodové odhady parametrù, pøedpovìï budoucích dat.. Úvod Statistika slouží pro pozáváí a pøedvídáí jevù v reálých podmíkách eurèitosti. Její popisé i aalytické ástroje jsou mimoøádì bohaté ([], [2], [3] a je specialisté jsou schopi je úèiì využít. I ti jsou však èasto ucei zkoušet, která z dostupých a poteciálì slibých metod je vhodá v uvažovaém kokrétím pøípadì. Bayesovská statistika je mohdy chápáa jako jeda variata ze zmíìého arzeálu statistiky. eto pøíspìvek, který je úvodem k dalším dvìma èlákùm zamìøeým a praxi, se pokouší ukázat bayesovskou statistiku jako zpùsob myšleí, který: - umožòuje erozporì využít teoretickou, experimetálí a expertí zalost, - poskytuje eje odhady ezámých velièi, ale i iormaci o jejich pøesostech, a to i v koeèých èasech pozorováí, - soustøeïuje pozorost uživatele a modelováí jeho speciického problému a ikoliv a výbìr statistické metody. Výzam pro praxi zvláštì posledího rysu elze pøeceit; pøípadé eúspìchy ve zpracováí ejsou subjektiví chybou zpùsobeou špatým výbìrem metody, ale buï jsou dáy objektivì, ebo mohou být zlepšey lepším modelováím. V tomto èláku budeme zmíìé vlastosti ilustrovat a školím pøíkladu odhadováí vlastostí hodù s poškozeou micí. ím uvedeme specialisty z jiých oblastí do myšlekové struktury bayesovského zpracováí iormací, aiž bychom text pøetížili techickými detaily. Pøíspìvek slouží jako úvod ke zmiòovaým èlákùm a mùže být využi i jako úvod systematiètìjšího studia, pro které je možé doporuèit [4], [5]. 2. Parametrický model pozorovaých dat Házíme opakovaì micí a sledujeme, zda pade rub, ozaèeý èíslem, èi líc, ozaèeý èíslem. 2. Pozorovaá data Pozorovaá data tvoøí posloupost ( [ y; y2... y ] v íž y t { ;} y ( kde y t ozaèuje výsledek t-tého pokusu. Poz.: V souvislosti se zavedeým zaèeím poslouposti dat používáme toto zaèeí: y(t [y(t ; y t ]. o je tøeba chápat v souladu s kovecí jazyka Matlab, kdy [a ; [a 2 ; a 3 ]] [a ; a 2 ; a 3 ]. Modelovaý proces je áhodý, ebo ejsme schopi zajistit trvale stejé podmíky házeí. Jsme tedy schopi ejvýše staovit stupeò oèekáváí rùzých možých výsledkù, staovit pravdìpodobosti (y( všech možých kokrétích výsledkù y(. Jako pøíklad jedé takové poslouposti výsledkù uveïme ( [ ; ; ; ; ; ; ; ; ; ] y (2 2.2 eoretický model Pro zpracováí a využití výsledkù pokusu je tøeba tyto pravdìpodobosti (y( popsat, je tøeba vytvoøit model procesu házeí. Proto uvažujeme možé chováí procesu, vytváøíme jeho teoretický model. Zde apø. pøedpokládáme, že výsledek t-tého hodu eí ovlivì ai výsledky hodù miulých ai budoucích. Dále pøedpokládáme, že pravdìpodobost líce Θ se emìí s èíslem hodu, tj. s èasem t. Protože evíme, zda mice je poškozeá èi ikoliv, je teoreticky motivovaý parametrizovaý model procesu v jedom èasovém okamžiku t yt ( y Θ Θ ( Θ t yt Θ ; { ; } yt 2.3 Vìrohodostí ukce (3 eto model je zám až a ezámý èasovì epromìý parametr Θ. Ozaèíme-li ν ; poèet, kolikrát se v poslouposti y( vyskytl líc, a ν ; kolikrát rub, tj. ν ; y t t ( ν ; y t t lze model celé soustavy zapsat ve tvaru ( y( Θ ( y Θ t Θ yt t t yt ν; ( Θ Θ ( Θ ν; (4 V prví rovosti jsme využili podmíku ezávislosti hodù. Pravdìpodobost pozorovaých dat s kokrétì dosazeým pozorováím a ahlížeá jako ukce ezámého parametru se azývá vìrohodostí ukce. Pro zdùrazìí této závislosti je ozaèováa L (Θ (y( mìøeá data Θ V ašem pøípadì L ν ( ; ν; Θ Θ ( Θ s pevými hodotami ν ; a ν ;. Pro vzorek (2 je L Θ 7 ( Θ 3. Poz.: Zde použité pøedpoklady ejsou uiverzálí. Napøíklad výsledek t-tého pokusu mùže dyamicky záviset a ìkolika èi všech pøedchozích pokusech. Pak by bylo uté zvolit jiou parametrizaci a vìrohodostí ukce by mohla dostat obecìjší tvar ( y( Θ y y( t ( t, Θ t Ai uvažovaá data ejsou jedozaèì dáa. Napøíklad bychom jako vstup u t do procesu házeí mohli uvažovat, zda pøed t-tým hodem položíme a dlaò mici avrch lícem (u t èi rubem (u t. Pak by potøebý parametrizovaý model dosáhl svého (témìø ejobecìjšího tvaru ( y(, u( Θ ( yt y( t, u( t, Θ t ( u y( t, u( t, Θ t modelující obecý dyamický øízeý proces. Slovo témìø zameá, že máme ještì možost pøipustit zmìy ezámého parametru Θ a modelovat mìící se vlastosti mice, která mùže apø. padat do bláta a mìit s každým hodem své yzikálí vlastosti. yto možosti zde dále erozvíjíme. Uvádíme je však proto, abychom zdùrazili, že volba spoleèì zpracovávaých dat a parametrizovaého modelu je hlavím ástrojem pøi øešeí kokrétích problémù. 56 (22 èíslo 7 AUOMA
3. Problémy uèeí Na uvažovaém pøíkladu ukážeme, jak bayesovskou metodikou øešit problémy uèeí, tj. odhadováí parametru modelu a pøedpovídáí budoucích hodot dat. Lze ukázat, že výsledky uèeí jsou základími prvky potøebými pro øešeí rozhodovacích úloh, jako je testováí hypotéz o alterativích modelech, ávrh systému sázeí a budoucí hody, ávrhy diagostických systémù, zpìtovazebího øízeí èi poradích systémù pro operátory ([5], [6], [7]. Zde se omezíme a odhadováí, tj. a kvatitativí výroky o ezámém parametru založeé a pozorovaých datech, a a pøedpovídáí, tj. a kvatitativí výroky o budoucích datech založeé a datech pozorovaých. 4. Obvyklé uèeí Pro pochopeí možostí bayesovského uèeí aèrteme stadardí (klasický, isherovský pøístup k problémùm uèeí. Vìrohodostí ukce L (Θ øíká, jak je pravdìpodobý pozorovaý datový vzorek pro rùzé hodoty parametru. Lze tedy oèekávat, že ejlepší odhad Θ ^ parametru Θ maximalizuje vìrohodostí ukci. eto maximálì vìrohodý odhad se vskutku hojì používá. Odhad, jako ukce áhodých dat, je áhodý a je možé studovat jeho rozložeí i asymptotické vlastosti, tj. chováí pro. Odvodit rozložeí maximálì vìrohodého odhadu je obecì obtížé. Byla však dokázáa øada obecých dobrých, asymptoticky zaruèeých vlastostí ([], [2]. Pro házeí micí je maximálì vìrohodý odhad dá vztahem ν; ν; Θ ν + ν (5 ; ; ν ; kde je relativí èetost padlých lícù v celém vzorku. Pro kokrétí výbìr (2 je ^ Θ,7. Odpovídající pøedpovìï další hodoty dat ^y je možé zkostruovat a základì parametrizovaého modelu (3 (y + Θ, ^ pøièemž ezámá hodota parametru Θ se ahradí jeho odhadem Θ ^. Budoucím hodotám y + pøiøazujeme pravdìpodobosti (y + ^Θ. Pro kokrétí výbìr (2 oèekáváme, že v jedeáctém hodu pade líc s pravdìpodobostí ^Θ,7 a rub s pravdìpodobostí ^Θ,3. Protože klasické postupy vycházejí pouze z amìøeého datového vzorku, výsledky mohou být pro velmi krátké èasové horizoty erozumé. Ze stejého dùvodu elze do procesu odhadováí zavést expertí zalost. Napøíklad eí ormálí prostor pro zalost vycházející z hodoceí vzhledu a stupì poškozeí mice. 4. Pøíklad krátkého horizotu pøi klasickém uèeí Nerozumost odhadu s krátkým horizotem budeme demostrovat pro jediý pozorovaý hod s. Podle (5 je odhadem ^Θ parametru Θ relativí èetost padlých lícù pøi jedom hodu, tj. ^Θ, jestliže padl líc, a ^Θ v pøípadì, že padul rub. udíž aše pøedpovìï je (y 2 ^Θ ^ Θ, že s jistotou v ásledujícím hodu pade to, co padlo právì teï. 5. Bayesovské uèeí 5. Bayesùv vzorec Parametry odhadujeme podle Bayesova vzorce. V ìm vystupují hustoty pravdìpodobosti (zkratkou hp dvou typù objektù. Jsou to data y(, esoucí iormaci o ezámých parametrech, a tyto parametry Θ. Bayesùv vzorec s tìmito objekty má tvar ( Θ y( y( Θ ( y( ( ( Θ ( y( Θ ( Θ (6 kde jsou (Θ (Θ y( apriorí hp, vyjadøující oèekáváí rùzých hodot Θ pøiøazeých expertem ještì pøed zaèátkem odhadováí, (y( ^Θ vìrohodostí ukce (4, (Θ y( aposteriorí hp, která vyjadøuje expertí stupeò oèekáváí rùzých hodot Θ, korigovaý pozorovaými daty y(, Θ ;. Poz.: Aposteriorí hustota pravdìpodobosti (Θ y( je ukcí Θ a data y( zde vystupují jako kostaty. Faktor /(y( je proto je pouhá ormalizaèí kostata, kterou jsme vypustili a ahradili zamékem úmìrosti. Normalizaèí kostatu lze kdykoliv dopoèítat tak, aby itegrál z hp byl jedotkový. Dosadíme-li za vìrohodostí ukci podle (4, dostaeme odhad parametru Θ ve tvaru ( Θ y( ( y Θ Θ y( Θ ν; t ( ν; ( Θ Θ y( t ( (7 Poz.: Apriorí hp ese výchozí iormaci o parametru Θ (apø. pohledem a mici zjistíme, že eí tak pøíliš poškozeá, a že jako výchozí lze uvažovat hodotu,5. ato iormace mùže být buï expertí, tj. zadaá a základì zkušeosti, ebo mùže být získáa a základì tzv. apriorích dat, tj. dat zmìøeých do zaèátku odhadováí. EORIE PRO PRAXI Kombiací expertí zalosti s apriorími daty je metoda tzv. iktivích dat, kdy expert sestavuje iktiví pokus tak, aby data z ìho odpovídala jeho apriorím pøedstavám. Pomocí ich je potom vytvoøea apriorí hp (Θ y(. V Bayesovì vztahu vystupuje vìrohodostí ukce a apriorí hp v souèiu. Z výpoèetích dùvodù je vhodé, aby obì hp mìly strukturálì shodý tvar. 5.2 Apriorí hustota pravdìpodobosti pro hod micí Apriorí hp zavedeme v obdobém tvaru, jako má vìrohodostí ukce ( ( ; y Θ ( Θ ; Θ (8 kde ; a ; jsou apriorí statistiky, blíže popsaé v kap. 5.4, a v expoetu je vyèleìa z ormálì výpoèetích dùvodù. 5.3 Aposteriorí hustota pravdìpodobosti pro hod micí Uvedeou volbou apriorí hp zajistíme stejý tvar aposteriorí hp, tj. ( ( ; y Θ ( Θ ; Θ (9 5.4 Pøepoèet statistik pro hod micí Rekursi pro statistiky dostaeme dosazeím (8 a (9 do Bayesova vztahu (7 a porováím expoetù. ak dostaeme kde ν ν ; ; ; ; + ν + ν ; ; y τ ; ( τ je poèet padlých rubù a ; yτ τ ( je poèet padlých lícù v hodech. Pro odhad tedy staèí kromì apriorích statistik ; a ; pamatovat si je dvì èísla ν ; a ν ;, ve kterých je uložea iormace získaá z dat. Odtud je také vidìt výzam promìých ; a ;. Lze je chápat jako poèty dat ve iktivím experimetu. 5.5 Výsledky pro hod micí Bayesovským odhadem je obecì aposteriorí hp, která udává rozdìleí pravdìpodobosti pro všechy možé hodoty ezámého parametru. Bodovým odhadem Θ, miimalizujícím kvadratickou vzdáleost odhadu od skuteèé AUOMA (22 èíslo 7 57
(Θ y( 4 2 2 3 4 5 6 7 8 9 2 4 6 8 (Θ y( 2 5 5 EORIE PRO PRAXI 2 4 8 6 Obr.. Odhadováí s rùzou délkou datového vzorku a ulovou apriorí iormací hodoty parametru po mìøeích, je podmíìá støedí hodota aposteriorí hp Θ E Θ [ Θ y( ] ( Θ y( dθ ; ; + ; ( Je vidìt, že teto výraz je ormálì shodý s výsledkem (5, který jsme obdrželi metodou maximálí vìrohodosti. Statistiky ; a ; jsou ale souètem èetosti pøíslušé stray ν ; a ν ; a apriorích statistik ; a ;. Apriorí iormace jej tak mùže výrazì ovlivit. Lze ukázat, že rozptyl D odhadu Θ, vyjadøující eurèitost odhadu ^Θ, je ( Θ y( Θ ( Θ D (2 odkud je vidìt, že odhad parametru se prùbìžì zpøesòuje v tom smyslu, že eurèitost aposteriorí hp je -krát meší ež apriorí hp. Pøedpovìï budoucí hodoty dat y + je udáa prediktiví hp y y ( y y( + + + + ( y Θ ( Θ y( dθ ( y+ y( y y( Θ ( + Θ (3 (4 Pro bodový odhad ^y + tedy platí ormálì stejý vztah jako pøi klasickém uèeí. Jeho výzam je však poìkud jiý, zvláštì v pøípadì krátkého horizotu. Uvedeé skuteèosti budeme ilustrovat v ásledujících pøíkladech. 5.6 Pøíklad krátkého horizotu pøi bayesovském uèeí Budeme sledovat pøíklad (4. krátkého horizotu z kapitoly 4. o klasickém uèeí a ukážeme jeho bayesovské øešeí. Budeme opìt uvažovat odhad parametrù a predikci budoucího hodu y 2 pøi jediém pozorovaém hodu v. Pøitom chceme zajistit stejé podmíky experimetu, tj. v pøípadì bayesovského uèeí chceme uvažovat co ejslabší apriorí iormaci. u vyjádøíme pomocí rovomìrého rozdìleí apriorí hp. Podle (8 takovou hp dostaeme v pøípadì volby ; ;. Statistiky v èase budou podle ( ; ; + y + ( y Odtud plye ; Θ ; + ; y Θ 2 3 y Θ 3 Pøedpovìï výsledku budoucího hodu (apø. pøedpovìï líce je (y 2 y ^Θ rova 2/3 pro pøípad, že v prvího hodu padl líc, a /3 pro pøípad, že v prvím hodu padl rub. Pøedpovìï budoucího výstupu eí jedozaèá ebo, ale pøipouští vždy s pravdìpodobostí /3 i druhou alterativu. 5.7 Pøíklad bodových odhadù pøi uèeí Uvažujeme pøíklad hodu poškozeou micí, kdy z deseti hodù padl sedmkrát líc (viz datový soubor (2. Ukážeme výpoèet odhadu parametru Θ pomocí obvyklého a bayesovského uèeí. 5.7. Obvyklé uèeí Poèet lícù je 7, poèet hodù. Odhad parametru Θ je Θ 7 7, 5.7.2 Bayesovské uèeí se slabší apriorí iormací Pøedpokládejme, že poškozeí mice je zaedbatelé, a tedy obì pravdìpodobosti by mìly být stejé a rovy,5. outo skuteèostí si ale ejsme pøíliš jisti. Zvolíme proto apriorí statistiky ; a ;, které odpovídají dvìma apriorím datùm. Apriorí hp potom odpovídá odhadu /(+,5, koeèé statistiky jsou ; + 7 8 a ; + 3 4 a koeèý odhad je 8 Θ, 6 2 5.7.3 Bayesovské uèeí se silìjší apriorí iormací Uvažujeme stejou situaci jako v pøedchozím pøípadì, ale již jsme se z døívìjších pokusù pøesvìdèili, že tak malé poškozeí, jaké je u aší mice, emá témìø žádý vliv. Statistiky proto volíme ; a ;, odpovídající dvìma stùm apriorích dat. Apriorí odhad je stejý: /(+,5, koeèé statistiky jsou ; + 7 7 a ; + 3 3. Koeèý odhad je 7 Θ, 5 2 Vidíme, že obì apriorí iormace pøitáhly výsledek k a priori pøedpokládaé hodotì,5, avšak vìtší hodoty statistik mají proti iormaci z dat vìtší vliv. Je to pochopitelé. Prví apriorí iormace odpovídá jedou a priori zmìøeému líci a jedomu rubu. Druhá odpovídá lícùm a rubùm. Proti im vždy stojí deset zmìøeých dat a odhad je optimálím kompromisem mezi apriorí iormací a iormací získaou z dat. Úplým popisem parametru Θ je ale aposteriorí hp. Na dalším pøíkladu ukážeme její vývoj bìhem rekursivího odhadu a její výsledý tvar pro rùzou apriorí iormaci. 5.7.4 Pøíklad aposteriorí hustoty pravdìpodobosti pøi bayesovském uèeí Uvažujeme stejý hod micí jako v pøedchozím pøíkladu, ale budeme sledovat celou 58 (22 èíslo 7 AUOMA
aposteriorí hp ezámého parametru Θ, a to pro rùzý poèet mìøeých dat a rùzou apriorí iormaci. Data budeme získávat a simulovaém experimetu, kde volíme skuteèou, tj. simulovaou, hodotu parametru Θ,4. Pro ilustraci budeme v jedotlivých pøípadech uvádìt trojrozmìrý gra, ve kterém budou za sebou øazey hp parametrù tak, jak se mìily s pøibývajícím poètem zpracovaých dat. Nejstarší prùbìhy hp jsou v grau vzadu, smìrem dopøedu postupují ovìjší. Zdrojový kód simulace v jazyce Matlab je uvede v tab. a lze si jej stáhout z adresy http://www.automa.cz/dowload/588.txt 5.7.5 Srováí krátkého a dlouhého datového vzorku Se zvìtšujícím se poètem zpracovaých dat se zpøesòuje odhad. o se projeví sižováím rozptylu aposteriorí hp. Na obr. jsou dva experimety s parametrem Θ,4. Levý je s deseti daty, pravý se 5 daty. Z levé èásti obr. je patré, že aposteriorí hp z malého datového vzorku je dosti eurèitá (má velký rozptyl šíøku. Pravá èást obr. ukazuje, jak se s pøibývajícím poètem zpracovaých dat aposteriorí hp postupì zpøesòuje (rozptyl klesá. Koeèý prùbìh (ejvíce vpøedu je již dosti pøesý. Zaèátky a obou èástech obr. (tj. prùbìhy úplì vzadu jsou velmi ejisté a roztìkaé. Je to dáo tím, že oba starty jsou bez jakékoliv apriorí iormace a saží se pøesì respektovat veškerou iormaci, kterou jedotlivá data pøiášejí. 5.7.6 Vliv slabé apriorí iormace eto experimet (obr. 2 odpovídá pøedchozímu se 5 daty, a zaèátku je ale aplikováa apriorí iormace. váøíme se, jako bychom ezali skuteèou hodotu parametru Θ, a zadáme apriorí iormaci odpovídající epoškozeé mici. Nejdøíve použijeme slabou iormaci s hodotami apriorích statistik ; ;. Levý obrázek EORIE PRO PRAXI ukazuje vývoj aposteriorí hp, pravý vývoj bodového odhadu. Z obr. 2 je patré, že poèáteèí vývoj aposteriorí hp se hezky uklidil. Navíc hodota koeicietu byla urèea správì, protože a koci experimetu byla e zcela správá apriorí iormace pøebita mìøeými daty a hodota parametru Θ se odhadla správì: ^Θ,4. 5.7.7 Vliv silé apriorí iormace Jde o stejý experimet, jako je pøedchozí, ale s apriorími statistikami ; ;. Výsledek ukážeme a obdobých obrázcích, jako jsou pøedchozí. Z obr. 3 je vidìt, že použitá apriorí iormace byla pøíliš silá edovolila, aby se prosadila správá hodota parametru, která je,4. 6. Závìr Èláek je úvodem do problematiky bayesovského uèeí. Po ìm budou ásledovat další (Θ y( 2 ^Q,,9,8,7,6,5 5,4,3 5 2 4 6 8,2,, 2 4 6 8 2 4 Obr. 2. Odhadováí se slabou apriorí iormací (Θ y( 2 ^Q,,9,8,7,6,5 5,4,3 5 2 4 6 8,2,, 2 4 6 8 2 4 Obr. 3. Odhadováí se silou apriorí iormací AUOMA (22 èíslo 7 59
dva èláky, zabývající se teorií a aplikací bayesovského pøístupu k odhadováí smìsí v praxi. y se používají k modelováí složitých systémù pro podporu operátorù. Metody bayesovského uèeí jsou pøedkládáy v jedoduché podobì a ejjedodušším statistickém pøíkladu, kterým je hod poteciálì poškozeou micí. Na tomto pøíkladu jsou ilustrováy základí pricipy bayesovského uèeí, jsou vyzdvižey jejich pøedosti a provedeo srováí s obvyklým uèeím metodami klasické statistiky. V závìru pøíspìvku jsou uvedey výsledky experimetù pro simulovaý pokus hodu micí a demostrová vliv apriorí iormace pøi bayesovském uèeí. Pøíklad je simulová v jazyce Matlab a jeho zdrojový kód je pro pøípadé zájemce rovìž uvede ebo si jej lze stáhout a adrese www.automa.cz/dowload/588.txt. Všem, kdo si s ím zkusí pohrát, pøejeme pøíjemou zábavu. eto výzkum byl èásteèì podporová gratem EU IS-999-258 a gratem GA ÈR è. 2/99/564. Literatura: [] HÁLE, J. LIKEŠ, J.: Základy poètu pravdìpodobosti a matematické statistiky. Praha, SNL 974. [2] ANDÌL, J.: Matematická statistika. Praha, SNL978. [3] RAO, R. C.: Lieárí metody statistické idukce a jejich aplikace. Praha, Academia 978. [4] PEERKA, V.: Bayesia approach to system idetiicatio. I reds ad Progress i System Idetiicatio. P. Eykho (Ed.. Oxord, Pergamo Press 98. Pp. 239-34. [5] BEREC, L.: Algorithm or Determiatio o Model Structure o Predicted ad/or Cotrolled Process. ech. Rep., 842, Praha, ÚIA AV ÈR 995. [6] KÁRNÝ, M. NAGY, I. NOVOVIÈOVÁ J.: Quasi-bayes approach to multi-model ault detectio ad isolatio. I: Adaptive Cotrol ad Sigal Processig. Joh Willey ad Sos, vol. 6, 22, o., pp. 6-83. ab. Výpis programu [7] KÁRNÝ, M. BÖHM, J. GUY,. V. JIR- SA, L. KANOURAS, A. NAGY, I. NE- DOMA, P. QUINN, A. ESAØ, L. PAR- RY, D. ICHÝ, M.: Prodactool backgroud theory, algorithms ad sotware. ech. Rep., 2 (drat o the report. Iva Nagy, Fakulta dopraví ÈVU a Ústav teorie iormace a automatizace AV ÈR (agy@d.cvut.cz, EORIE PRO PRAXI % Vývoj aposteriorí hp pri hodu micí s P(líchs % s apriorí hp zadaou pomocí statistik a clc, clear all, cl, rad( seed,25 % Zadáí vstupích údaju h.; % krok diskretizace 5; % pocet kroku simulace hs.4; % simulovaá pravdepodobost lícu 2; 2; % pocátecí hodoty statistik hvh:h:; ytix(rad(,+hs; hm[]; hh[]; homas Bayes geiálí outsider Z èetých matematikù a všestraých vìdcù, kteøí v 8. a 9. století vytvoøili základí práce v oblasti teorie pravdìpodobosti a statistiky, jsou ejèastìji uvádìi bratøi Beroulliové, Euler, Laplace, de Moivre, Gauss a další. Èleem této vybraé spoleèosti svìtem uzávaých vìdcù se stal i aglický duchoví, geiálí outsider homas Bayes. Pocházel z rodiy duchovího, který patøil ke skupiì prvích šesti veøejì vysvìceých okoormistických duchovích v Aglii. (Poz. red.: Nokoormisté se v sedmáctém století odštìpili od státí aglikáské církve. Požadovali ezávislost aglikáské církve a státu, mj. to, aby jmeováí duchovích epodléhalo souhlasu státích orgáù a aby aglický paovík estál automaticky v èele církve. Odmítali i ìkteré církeví ceremoiály. Stejì jako otec, byl % diskretizace hodot parametru % simulace mice % Cyklus pro cas (zpracováí dat or t:legth(yt +yt(t; +-yt(t; % prepocet statistik ht[]; or hhv hh^(*(-h^(; % kostrukce aposteriorí hp ht[ht h]; ed htht/sum(ht/h; hm[ht; hm]; % ormováí hp he/(+; hh[hh he]; % bodové odhady ed % Kresleí výsledku igure( subplot(2,waterall(hm, grid o, view(-2,75 subplot(22,plot(hh, x, markersize,3,grid o,axis([,,,] i homas vysvìce okoormistickým duchovím a zpoèátku pùsobil jako otcùv pomocík ve staršovstvu presbyteriáské církve v Holboru. V roce 72 se stal duchovím v presbyteriáské kapli v ubridge Wells, 6 kilometrù jižì od Lodýa. uto ukci vykoával až do roku 752, kdy odešel do peze, ale ve svém dosavadím pùsobišti žil adále. Stal se zámožým starým mládecem, a pøestože žil v proviciálích podmíkách, udržoval kotakty s moha vzdìlaými pøáteli. Bayes byl roku 742 zvole èleem Royal Society, avzdory tomu, že v oblasti matematiky publikoval za svého života pouze jedu práci, a to avíc aoymì. Šlo o Itroductio to the Doctrie o Fluxios (736 Úvod do auky o iiitesimálím poètu; a vysvìtleou uveïme, že termíem luxioal calculus Petr Nedoma, Miroslav Kárý, Leka Pavelková, Ústav teorie iormace a automatizace AV ÈR ({edoma, school, pavelkov}@utia.cas.cz, Pavel Ettler, Compureg Plzeò (ettler@compureg.cz Lektoroval: Pro. Ig. Vladimír Maøík, DrSc., katedra kyberetiky FEL ÈVU Praha (marik@labe.elk.cvut.cz I. Newto ozaèoval iiitesimálí poèet. Bayes touto svou prací ostøe esouhlasì reagoval a spis he Aalyst (736, ve kterém irský teolog a ilozo, biskup George Berkeley (685 753, apadl logické základy Newtoova iiitesimálího poètu. Druhým Bayesovým spisem, jež vyšel za jeho života, byl Divie Beevolece (73 Božská dobrotivost. Bayesova teorie pravdìpodobosti byla uvedea v jeho práci Essay towards solvig a problem i the doctrie o chaces (Esej smìrovaá k øešeí problému ve vìdì o áhodì, publikovaé ve Philosophical rasactios o the Royal Society o Lodo (Filozoická pojedáí lodýské Královské spoleèosti v roce 746 tedy již po Bayesovì smrti. Bayesovu práci zaslal do Royal Society jeho pøítel Richard Price, který ji ašel v písemostech pozùstalosti. 6 (22 èíslo 7 AUOMA
Bayes se touto svou prací stal jedím ze zakladatelù iduktiví statistiky (statistická aalýza opírající se o vzorky tvoøící malé podíly základího statistického souboru. V dobì, kdy poèet pravdìpodobosti byl víceméì ve svých poèátcích, Bayes se již zabýval problémem, jak by bylo možé uvádìt pozdìjší zkušeosti do souladu s apriorími pøedpoklady, resp. jak takové zkušeosti zmìí ásledé hodoceí situace proti apriorím pøedpokladùm. Šlo tedy do jisté míry o dyamické ovìøováí hypotéz, vèetì korektury tìchto hypotéz. Klasická matematická statistika Bayesovu teorii Bayesova vìta øíká, jak zmìit apriorí pravdìpodobost dodateèou iormací odmítá. Bezpochyby k tomu pøispìl i zmatek v tom, co Bayes skuteèì øekl, co myslel a co bylo pozdìjším výkladem do jeho úvah vložeo. EORIE PRO PRAXI Pøestože klasická matematická statistika uvrhla Bayesovu vìtu do klatby, objevili se její dùsledí obhájci. Patøí mezi ì apø. i jede z ejvýzamìjších statistikù moderí doby Leoard Savage. Bayesova teorie tak právì v posledích letech prožívá své zovuzrozeí. (Jose Heøma Leoard J. Savage zovuobjevitel bayesovského uèeí Leoard Jimmie Savage se arodil 2. listopadu 97 v Detroitu (USA. Vystudoval matematiku a Michigaské uiverzitì. Habilitoval prací a téma metrika a diereciálí geometrie. Léta 94 942 strávil v Pricetou v Istitute or Advaced Study. Zde se setkal s výzamým matematikem vo Neumaem a pod jeho vlivem se v roce 944 stal èleem Statistical Research Group a Kolumbijské uiverzitì (USA. V roce 954 vydal kihu he Foudatios o Statistic (Základy statistiky. o je jeho zøejmì ejvýzamìjší dílo. V kize jsou popsáy pricipy subjektiví statistiky a úèelových ukcí. Speciálí pøípady tìchto ukcí byly objevey vo Neumaem a Morgesterem v jejich pracích o teorii her. Další Savegeho prací je How to gamble i you must: Iequalities or stochastic processes (965, apsaá spoleèì s L. Dubisem. Další Savageho publikace a èláky se týkají statistické dedukce. Uvedl v ich mj. testy baysovských hypotéz a postup pro bayesovské odhady. Jeho bayesovský pøístup je v rozporu s klasickou statistikou, reprezetovaou v moderí dobì pøedevším matematikem Fisherem. Ne evýzamé jsou i Savageho práce o ilozoických základech statistiky. (Bk AUOMA (22 èíslo 7 6