Teorie informace Obsah. Kybernetika. Radim Farana Podklady pro výuku

Transkript

1 Teorie Radim Farana Podklady pro výuku Obsah Seznámení s problematikou a obsahem studovaného předmětu. Základní pojmy z Teorie, jednotka, informační obsah zprávy, střední délka zprávy, redundance. Kód. Přenosový řetězec. Kybernetika Wiener: Kybernetika je věda o řízení a sdělování v živých organismech a ve strojích. Wiener, Norbert * Columbia, Mo. USA Stockholm ale také: Kybernetika je věda o sběru, přenosu a zpracování. 1

2 Informatika Informatika je věda o zpracování, zejména za pomoci automatizovaných prostředků Shannon, Claude Elwood * Petoskey, Mich. USA Medford, Mas. USA raphy/shannon.html Kybernetika Informatika Informace Informací nazýváme abstraktní veličinu, která může být přechovávána v určitých objektech, předávána určitými objekty, zpracovávána v určitých objektech a použita k řízení určitých objektů. Jako objekt přitom chápeme živé organismy, technická zařízení nebo soustavy těchto prvků. také: Informace je sdělitelný poznatek, který má smysl a snižuje nejistotu. Jednotka Jednotka je takové množství, které získáme potvrzením, že nastala jedna ze dvou stejně pravděpodobných možností. svítí : nesvítí 50 : 50

3 Zavedla v roce 1998 celosvětová standardizační organizace IEC (International Electrotechnical Commission) Informační obsah zprávy Pravděpodobnost informační obsah P(x) = 0,5 => k(x) = 1 jedn. P(x) = 0,5 => k(x) = jedn. P(x) = 0,15 => k(x) = jedn. 1 jedn. P(x) = 1/[ k(x) ] k(x) = - log P(x) [jedn.] Zpráva A, B C, D, E 1 jedn. 1 jedn. A B C D, E 1 jedn. D E Jednotky Volba základu logaritmu je tedy pouze otázkou volby konstanty měrné jednotky (viz norma IEC/ISO 80000, Díl 1). U binárních logaritmů je jednotkou shannon [Sh]. U přirozených logaritmů jednotka nat [nat]. U dekadických logaritmů hartley, [Hart] 1 Sh 0,69 nat 0,01 Hart 1 nat 1,4 Sh 0,44 Hart 1 Hart, Sh,0 nat Násobky Oproti desítkové soustavě jsou násobky odvozeny od binární soustavy Násobek Předpona Symbol Celý název Odvozeno od 10 kilobinary: kibi Ki ( 10 ) 1 kilo: (10 ) 1 0 mebi Mi 0 gibi Gi 40 tebi Ti 50 pebi Pi 60 exbi Ei megabinary: ( 10 ) mega: (10 ) gigabinary: ( 10 ) giga: (10 ) terabinary: ( 10 ) 4 tera: (10 ) 4 petabinary: ( 10 ) 5 peta: (10 ) 5 exabinary: ( 10 ) 6 exa: (10 ) 6

4 Informace, zpráva, sdělení Zprávu chápeme jako relaci mezi zdrojem a odběratelem, při které dochází k přenosu Sdělení je vhodným způsobem upravená zpráva, zejména pro potřeby přenosu. Informační kanál Sdělení Zdroj Zpráva Příjemce Entropie zdroje Shannon, Wiener: představuje míru organizace, entropie míru neorganizovanosti H(z) = P(i).k(i) [Sh] Entropie Zpráva P(i) je střední k(i) P(i).k(i) hodnota Pro míry zdroj se shodnou potřebné A 0,50 k odstranění 0,500 neurčitosti, která je B 0,50 0,500 H(z) = n.[(1/n).log dána konečným počtem vzájemně se (n)] C 0,50 0,500 H(z) = log vylučujících D 0,15 jevů. 0,75 (n) E 0,15 0,75 H(z) =,50 pravděpodobností všech zpráv: pro n = 5 H(z) =, Informace, data, znalost Data jsou vyjádření skutečností formálním způsobem tak, aby je bylo možné přenášet nebo zpracovat. Znalost je to, co jednotlivec vlastní (ví) po osvojení dat a po jejich začlenění do souvislostí. Je výsledkem poznávacího procesu za předpokladu uvědomělé činnosti. 4

5 ČSN ISO/IEC 8-1:1998 Informační technologie - Slovník - Část 1: Základní termíny Informace: Poznatek (znalost) týkající se jakýchkoliv objektů, např. faktů, událostí, věcí, procesů, myšlenek nebo pojmů, které mají v daném kontextu specifický význam. Data: Opakovaně interpretovatelná formalizovaná podoba vhodná pro komunikaci, vyhodnocování nebo zpracování. Zpracování informací: Systematické provádění operací s mi, zahrnující zpracování dat a případně i datovou komunikaci a automatizaci kancelářských prací. Datová komunikace: Přesun dat mezi funkčními jednotkami podle souboru pravidel řídících přenos dat. Funkční jednotka: Entita technického nebo programového vybavení, nebo obou, schopná vyhovět danému účelu. Automatizace kancelářských prací: Integrace kancelářských prací pomocí systému zpracování dat. Systém zpracování dat: Jeden nebo více počítačů, periferních zařízení a programů použitých pro zpracování dat. Zpracování dat: Systematické provádění operací s daty např. aritmetické nebo logické operace s daty nebo třídění dat, sestavování nebo kompilace programů a dále operace s textem např. úprava, třídění, slučování, ukládání, vyhledávání, zobrazování nebo tisk ČSN ISO/IEC 8-1: Kód Popis přiřazení kódových slov jednotlivým zprávám (kódová kniha). Kódové slovo je posloupnost znaků použité abecedy. Abeceda je množina znaků (binární abeceda Z = {0, 1}, jeden znak = bit) Minimální délka kódového slova: N * (x) = - log (P(x)) [bit] Pozn.: maximální informační obsah 1 bitu = 1 Sh. 5

6 Charakteristiky kódu Střední délka kódového slova: L = P(i).N(i) [bit] Redundance R = L - H (protože L H, neboť N(i) N * (i)) Zpráva P(i) k(i) P(i).k(i) A B C D E 0,50 0,50 0,50 0,15 0,15 0,500 0,500 0,500 0,75 0,75 N(i) P(i).N(i) 1,000 1,000 1,50 0,750 0,875 H(z) =,50 L = 4,875 R =,65 Přenosový řetězec Zdroj Kódovací člen Vysílač Přenosový kanál Přijímač Dekódovací člen Příjemce zkreslení útlum šumy Přenosový kanál spojitý (analogový), diskrétní (v úrovni) neboli kvantovaný, číslicový (diskrétní v čase). Rychlost přenosu v p = k(x) / t [bit.s -1 ] Vlastnosti přenosového kanálu P(0) P(0,0) 0 0 Přenosový kanál bezšumový, P(0,1) = P(1,0) = 0 šumový, podle výskytu chyb: bezpamětový (chyby jsou náhodné), paměťový (chyby jsou shlukové). šumový, podle vlivu šumu: symetrický, P(0,1) = P(1, 0), nesymetrický. P(1,0) = P(1) - P(1,1) P(0,1) = P(0) - P(0,0) P(1) 1 1 P(1,1) 6

7 Teorie pravděpodobnosti Každému jevu A E (množina všech přípustných jevů, jistý jev) je přiřazeno jako pravděpodobnost číslo P(A), přičemž platí následující axiomy: pravděpodobnost je nezáporná, tj. P(A) 0; pravděpodobnost sjednocení konečně mnoha nebo spočetně mnoha vzájemně neslučitelných jevů A 1 E, A E,... je rovna součtu pravděpodobností těchto jevů, tj. P(A 1 A...) = P(A 1 ) + P(A ) +...; pravděpodobnost jistého jevu E je rovna 1, tj. P(E) = 1. 7