Teorie informace Obsah. Kybernetika. Radim Farana Podklady pro výuku

Transkript

1 Teorie Radim Farana Podklady pro výuku Obsah Seznámení s problematikou a obsahem studovaného předmětu. Základní pojmy z Teorie, jednotka, informační obsah zprávy, střední délka zprávy, redundance. Kód. Přenosový řetězec. Kybernetika Wiener: Kybernetika je věda o řízení a sdělování v živých organismech a ve strojích. Wiener, Norbert * Columbia, Mo. USA Stockholm ale také: Kybernetika je věda o sběru, přenosu a zpracování. 1

2 Informatika Informatika je věda o zpracování, zejména za pomoci automatizovaných prostředků Shannon, Claude Elwood * Petoskey, Mich. USA Medford, Mas. USA raphy/shannon.html Kybernetika Informatika Informace Informací nazýváme abstraktní veličinu, která může být přechovávána v určitých objektech, předávána určitými objekty, zpracovávána v určitých objektech a použita k řízení určitých objektů. Jako objekt přitom chápeme živé organismy, technická zařízení nebo soustavy těchto prvků. také: Informace je sdělitelný poznatek, který má smysl a snižuje nejistotu. Jednotka Jednotka je takové množství, které získáme potvrzením, že nastala jedna ze dvou stejně pravděpodobných možností. svítí : nesvítí 50 : 50

3 Zavedla v roce 1998 celosvětová standardizační organizace IEC (International Electrotechnical Commission) Informační obsah zprávy Pravděpodobnost informační obsah P(x) = 0,5 => k(x) = 1 j. P(x) = 0,5 => k(x) = j. P(x) = 0,15 => k(x) = j. 1 j. P(x) = 1/[ k(x) ] k(x) = - log P(x) [j.] Zpráva A, B C, D, E 1 j. 1 j. A B C D, E 1 j. D E Jednotky Volba základu logaritmu je tedy pouze otázkou volby konstanty měrné jednotky (viz norma IEC/ISO 80000, Díl 1). U binárních logaritmů je jednotkou shannon [Sh]. U přirozených logaritmů jednotka nat [nat]. U dekadických logaritmů hartley, [Hart] 1 Sh 0,69 nat 0,01 Hart 1 nat 1,4 Sh 0,44 Hart 1 Hart, Sh,0 nat Násobky Oproti desítkové soustavě jsou násobky odvozeny od binární soustavy Násobek Předpona Symbol Celý název Odvozeno od 10 kilobinary: kibi Ki ( 10 ) 1 kilo: (10 ) 1 0 mebi Mi 0 gibi Gi 40 tebi Ti 50 pebi Pi 60 exbi Ei megabinary: ( 10 ) mega: (10 ) gigabinary: ( 10 ) giga: (10 ) terabinary: ( 10 ) 4 tera: (10 ) 4 petabinary: ( 10 ) 5 peta: (10 ) 5 exabinary: ( 10 ) 6 exa: (10 ) 6

4 Informace, zpráva, sdělení Zprávu chápeme jako relaci mezi zdrojem a odběratelem, při které dochází k přenosu Sdělení je vhodným způsobem upravená zpráva, zejména pro potřeby přenosu. Informační kanál Sdělení Zdroj Zpráva Příjemce Entropie zdroje Shannon, Wiener: představuje míru organizace, entropie míru neorganizovanosti H(z) = P(i).k(i) [Sh] Entropie Zpráva P(i) je střední k(i) P(i).k(i) hodnota Pro míry zdroj se shodnou potřebné A 0,50 k odstranění 0,500 neurčitosti, která je B 0,50 0,500 H(z) = n.[(1/n).log dána konečným počtem vzájemně se (n)] C 0,50 0,500 H(z) = log vylučujících D 0,15 jevů. 0,75 (n) E 0,15 0,75 H(z) =,50 pravděpodobností všech zpráv: pro n = 5 H(z) =, Informace, data, znalost Data jsou vyjádření skutečností formálním způsobem tak, aby je bylo možné přenášet nebo zpracovat. Znalost je to, co jednotlivec vlastní (ví) po osvojení dat a po jejich začlenění do souvislostí. Je výsledkem poznávacího procesu za předpokladu uvědomělé činnosti. 4

5 Kód Popis přiřazení kódových slov jednotlivým zprávám (kódová kniha). Kódové slovo je posloupnost znaků použité abecedy. Abeceda je množina znaků (binární abeceda Z = {0, 1}, jeden znak = bit) Minimální délka kódového slova: N * (x) = - log (P(x)) [bit] Pozn.: maximální informační obsah 1 bitu = 1 Sh. Charakteristiky kódu Střední délka kódového slova: L = P(i).N(i) [bit] Redundance R = L - H (protože L H, neboť N(i) N * (i)) Zpráva P(i) k(i) P(i).k(i) A B C D E 0,50 0,50 0,50 0,15 0,15 0,500 0,500 0,500 0,75 0,75 N(i) P(i).N(i) 1,000 1,000 1,50 0,750 0,875 H(z) =,50 L = 4,875 R =,65 Přenosový řetězec Zdroj Kódovací člen Vysílač Přenosový kanál Přijímač Dekódovací člen Příjemce zkreslení útlum šumy Přenosový kanál spojitý (analogový), diskrétní (v úrovni) neboli kvantovaný, číslicový (diskrétní v čase). Rychlost přenosu v p = k(x) / t [bit.s -1 ] 5

6 Vlastnosti přenosového kanálu P(0) P(0,0) 0 0 Přenosový kanál bezšumový, P(0,1) = P(1,0) = 0 šumový, podle výskytu chyb: bezpamětový (chyby jsou náhodné), paměťový (chyby jsou shlukové). šumový, podle vlivu šumu: symetrický, P(0,1) = P(1, 0), nesymetrický. P(1,0) = P(1) - P(1,1) P(0,1) = P(0) - P(0,0) P(1) 1 1 P(1,1) Teorie pravděpodobnosti Každému jevu A E (množina všech přípustných jevů, jistý jev) je přiřazeno jako pravděpodobnost číslo P(A), přičemž platí následující axiomy: pravděpodobnost je nezáporná, tj. P(A) 0; pravděpodobnost sjednocení konečně mnoha nebo spočetně mnoha vzájemně neslučitelných jevů A 1 E, A E,... je rovna součtu pravděpodobností těchto jevů, tj. P(A 1 A...) = P(A 1 ) + P(A ) +...; pravděpodobnost jistého jevu E je rovna 1, tj. P(E) = 1. 6