Osnova přednášky 2/44 Informace v počítači Ing Pavel Haluza ústav informatiky PEF MENDELU v Brně haluza@mendelucz základní pojmy měření množství informace ve zprávě přenos a kódování dat parita kontrolní součet samoopravný kód Údaje, data 3/44 Interpretace dat 4/44 Údaje hodnota libovolné reálné veličiny příklad: 167 cm Data zprávy nebo výroky, které mohou (ale nemusí) snižovat neznalost daného jevu (neurčitost, entropii) jakékoli vyjádření (reprezentace) skutečnosti, schopné přenosu, uchování, interpretace či zpracování sama o sobě jsou nehmotná, i když pro jejich uložení potřebujeme hmotné médium příklad: Průměrná výška ženy je 167 cm Data v počítači jedničky a nuly Pro člověka musí být zobrazeny Zobrazení stejné posloupnosti jedniček a nul může být provedeno nekonečně mnoha způsoby Interpretace zobrazení přisouzení významu zobrazeným údajům Datový typ definován oborem povolených hodnot a kolekcí povolených operací Implementace přisouzení datového typu posloupnosti binárních hodnot v paměti počítače Modeluje objektivní realitu hodnoty jsou zobrazeny pro vstup i výstup
Informace, znalosti 5/44 Jak informaci chápat? 6/44 Informace snižují neurčitost a vyvolávají změnu stavu či chování příjemce změna stavu po přijetí zprávy je tím větší, čím větším je informace pro příjemce překvapením množství informace ve zprávě je relativní vzhledem k určitému příjemci a určité situaci každou informaci lze považovat za součást dat, ale každá data nemusí obsahovat informaci Znalosti ucelený komplex informací o nějaké objektivní realitě výsledek poznávacího procesu, předpoklad uvědomělé činnosti, umožňují porozumět skutečnosti příklad: Průměrná žena je docela malá Kvalitativní hledisko získávání, uchovávání, zpracování a přenos informací zkoumá informatika Kvantitativní hledisko množství informace ve zprávě a jeho měření kódování a dekódování zpráv přenos zpráv zkoumá teorie informace Pojem informace 7/44 Informační systém 8/44 Mnoho různých definic podle toho, co autoři definice považovali za nejdůležitější Informace je obsah jakéhokoli oznámení, údaje o čemkoli, s určením pro přenos v prostoru a čase V nejširším slova smyslu je to obsah vztahů mezi materiálními objekty, projevující se změnami těchto objektů Informace je obsah zprávy, sdělení, objasnění, vysvětlení, poučení Informace jsou údaje, čísla, znaky, povely, instrukce, příkazy, zprávy apod Za informace považujeme také podněty a vjemy přijímané a vysílané živými organismy Systém komplex prvků a vazeb ve vzájemné interakci (definice v teorii systémů) Informační systém dynamický systém, jehož vazby tvoří informace a prvky systému jsou místa transformace informací Úkol IS poskytovat potřebné informace v požadovaném rozsahu, lhůtách, podrobnostech i formě Dílčí úlohy IS sběr informací, přenos, redukce, archivace, zpracování, distribuce
9/44 10/44 Americký fyzik Claude Shannon (1916 2001) položení základů teorie informace stanovení možností měření informačního množství Informace je míra množství neurčitosti nebo nejistoty o nějakém náhodném ději odstraněná realizací tohoto děje Množství informace ve zprávě tedy měříme podle toho, o kolik se sníží neurčitost nebo nejistota, když zprávu přijmeme a pochopíme Pojem informační entropie míra neurčitosti, která se po přijetí zprávy odstraňuje a vyjadřuje tak množství informace obsažené ve zprávě Jak kvantifikovat rozšíření okruhu znalostí příjemce? Pravděpodobnost zprávy spojeno s individuálními vlastnostmi příjemce (Shannon) Jev náhodný proces s n možnými realizacemi tah sportky, účast na přednášce, semafor na křižovatce aj Realizace jevu jeden projev, získání výsledku vytažení 6 čísel, konkrétní počet osob na přednášce, svítící zelená na semaforu aj Požadované vlastnosti funkce pro výpočet množství informace Jev X má n realizací, množství informace je tedy funkcí n Jediná realizace jevu X pokud n = 1, jedná se o jev jistý množství informace je rovno nule Současně probíhající nezávislé jevy X a Y p(x, y) = p(x) p(y) množství informace je dáno součtem množství informace u jednotlivých jevů: f(x, y) = f(x) + f(y) Porovnání pro dva odlišné jevy X a Y jev X má n realizací, jev Y má m realizací je-li m > n, pak chceme i f(m) > f(n) 11/44 Výpočet vlastní informace Jediná funkce, která vyhovuje uvedeným podmínkám, je logaritmus I(x) = log n Předpokládáme, že pravděpodobnost každé realizace je stejná, tedy kde n je počet realizací Úpravou dostáváme p(x) = 1 n, n = 1 p(x) 12/44
Výpočet vlastní informace 13/44 Aplikace vlastní informace 14/44 Vlastní informace výsledku realizace x I(x) = log p(x) Základ logaritmu principiálně není podstatný, ale používají se logaritmy o základu 2 (výsledek v bitech) I(x) = log 2 p(x) Vlastní informace se nazývá též částečná informace Počítání s logaritmy log a x = log b x log b a = log a b log b x Výpočet vlastní informace v bitech = výpočet prostoru pro zadaný počet hodnot příklad: barevná hloubka rastrového obrazu Velikost prostoru v počítači pro určitý údaj hodnocení úspornosti příklad: uložení 6 tažených čísel Sportky znaky, čísla malá, velká, souhrn, kódování Příklad: věta s nezávislými současně vzniklými realizacemi (Auto 1B1 8877 černé barvy přijelo na křižovatku Horní Jasanová v 19:10 hodin) log 2 x = log 2 10 log x = 3,322 log x Řešený příklad 15/44 Entropie 16/44 Jakou vlastní informaci nese zpráva o výsledku losování určitých 5 čísel z 20? Aplikujeme vztah pro výpočet vlastní informace I(x) = log 2 p(x) Jaká je pravděpodobnost vytažení konkrétní pětice čísel? Dosadíme do vzorce 1 1 I(x) = log 2 ( 20 ) = log 2 15 504 = 13,92 5 V jakých jednotkách je výsledek a co nám výsledná hodnota říká? Jak spočítat informační množství celého jevu? Pomůžeme si shrnutím všech vlastních informací jednotlivých realizací Předpokládejme, že jev X má n realizací x1, x2,, x n s pravděpodobnostmi p(x1), p(x2),, p(x n) Entropie H(X) je dána určitou střední hodnotou vlastních informací všech realizací jevů n n H(X) = p(x i) log 2 p(x i) = p(x i) I(x i) i=1 Entropie zahrnující informační množství celého jevu se nazývá též úplná informace i=1
Příklad 17/44 Příklad 18/44 Počáteční situace soutěžící v televizní soutěži má na výběr ze čtyř odpovědí na zadanou otázku správnou odpověď však nezná a dokonce ani žádnou variantu nepreferuje Nejistota soutěžícího v této situaci správná odpověď může být se stejnou pravděpodobností kterákoliv ze čtyř nabídnutých Následující situace soutěžící požádá o nápovědu 50 na 50 na výběr už má jen dvě varianty Nejistota soutěžícího v této situaci správná odpověď může být se stejnou pravděpodobností kterákoliv ze dvou nabídnutých p(xi) = 0,5 p(xi) = 0,25 Hodnota informační entropie soutěžícího H(X) = 4 0,25 log 2 0,25 = log 2 0,25 = 2 Hodnota informační entropie soutěžícího H(X) = 2 0,5 log 2 0,5 = log 2 0,5 = 1 Příklad 19/44 Odvození nejmenší míry informace 20/44 Následující situace soutěžící si vybere jednu variantu a odpoví na otázku vzápětí se dozví správnou odpověď Nejistota soutěžícího v této situaci správnou odpověď soutěžící v tuto chvíli již zná p(x) = 1 Entropie nabývá nejvyšší hodnoty při stejné pravděpodobnosti výskytu realizací x i Potom platí H(X) = log 2 p(x) Nejmenší jednotka míry informace (1 bit) je odvozena od entropie jevu, který má jen dvě stejně pravděpodobné realizace Hodnota informační entropie soutěžícího H(X) = 2 0,5 log 2 0,5 = log 2 0,5 = 1 H(X) = 1 log 2 1 = log 2 1 = 0
Řešený příklad 21/44 Signál 22/44 Vypočtěte entropii zdroje zpráv: Na železničním návěstidle je možné nastavit návěstí Stůj, které svítí 80 % času, a pak dalších 5 různých návěští s přibližně stejnou pravděpodobností Možné realizace jevu X x1 p(x1) = 0,8 x2 p(x2) = 0,04 x3 p(x3) = 0,04 x4 p(x4) = 0,04 x5 p(x5) = 0,04 x6 p(x6) = 0,04 Dosadíme do vzorce H(X) = (0,8 log 2 0,8 + 5 0,04 log 2 0,04) = 1,19 Základní podmínkou využívání informací je jejich výměna mezi příjemci a odesilateli Informace má nehmotnou povahu, přenos musí být proveden nějakým fyzikálním procesem Nositelem informace nazýváme signál Fyzikální veličinu lze matematicky modelovat funkcí prostoru a času s = f(x, y, z, t), kde s je libovolný signál vyjádřený nezávislými souřadnicemi místa (x, y, z) a časovým parametrem t Dělení signálů dle časového parametru t 23/44 Diskrétní signál 24/44 Spojité každý časový okamžik signálu nese určitou informaci telefonní rozhovory Diskrétní signál nese informaci jen v některých okamžicích telegrafní zprávy vzorkování před přenosem Statické hodnota t nemá vliv na hodnotu signálu kniha, mapa Dynamické hodnota signálu závisí na hodnotě t televizní přenos po přenosu zkresleno rekonstrukce
Komunikace 25/44 Kódování informace 26/44 Informační vazba vzniká mezi dvěma systémy tvorbou, přenosem a výměnou informace Informační vazba umožňuje tzv komunikaci Komunikace jedním směrem tvoří jednoduchý komunikační řetěz Základní podmínkou komunikace je vytvoření signálního komunikačního kanálu Informaci je pro tento účel nutné transformovat, tj vyjádřit v jiném jazyce s jinou abecedou Přiřazení znaků jedné abecedy znakům jiné abecedy se nazývá kódování, inverzní postup pak dekódování Předpis, který toto přiřazování definuje, se nazývá kód zdroj kódování přenosový kanál dekódování cíl Kvalita kódování, redundance 27/44 Způsoby kódování 28/44 Z hlediska optimálního přenosu je efektivní kód, který obsahuje minimální počet informačních prvků, každý znak kódu tedy má maximální entropii Maximální entropii má kód, kde všechny znaky abecedy jsou stejně možné a jejich vzájemný výskyt není závislý Kvantitativně je hospodárnost kódu vyčíslitelná redundancí (nadbytečností) R = 1 H Hmax H entropie jazyka Hmax maximální entropie při použití téže abecedy Redundance evropských jazyků je větší než 0,5 (0,75?) Rovnoměrné kódování každému znaku je přiřazen stejně dlouhý kód obvykle je jednodušší, rychlejší na zpracování, ale méně hospodárné Baudotovo kódování Nerovnoměrné kódování každému znaku je přiřazen jinak dlouhý kód pro konstrukci a zpracování je obtížnější, může však být maximálně hospodárné Shannon Fanovo kódování, Huffmanovo kódování
Příklady kódů 29/44 Zjištění efektivnosti kódu výpočtem entropie 30/44 Zdroj produkuje 4 nezávislé znak A, B, C, D Stejné pravděpodobnosti Znak p 1 (x) Kód 1 Kód 2 A 0,250 00 0 B 0,250 01 10 C 0,250 10 110 D 0,250 11 111 Který kód je efektivnější? Různé pravděpodobnosti Znak p 2 (x) Kód 1 Kód 2 A 0,500 00 0 B 0,250 01 10 C 0,125 10 110 D 0,125 11 111 Znak p(x) Výskytů Kód 1 0 1 Kód 2 0 1 A 0,250 250 00 500 0 0 250 0 B 0,250 250 01 250 250 10 250 250 C 0,250 250 10 250 250 110 250 500 D 0,250 250 11 0 500 111 0 750 Zpráva 1000 1000 1000 750 1500 ( 1000 H(X1) = 2000 log 1000 2 2000 + 1000 ) 2000 log 1000 2 = 1,000 2000 ( 750 H(X2) = 2250 log 750 2 2250 + 1500 ) 2250 log 1500 2 = 0,918 2250 Zjištění efektivnosti kódu výpočtem entropie 31/44 Výpočet optimálního kódu 32/44 Znak p(x) Výskytů Kód 1 0 1 Kód 2 0 1 A 0,500 500 00 1000 0 0 500 0 B 0,250 250 01 250 250 10 250 250 C 0,125 125 10 125 125 110 125 250 D 0,125 125 11 0 250 111 0 375 Zpráva 1000 1375 625 875 875 ( 1375 H(X1) = 2000 log 1375 2 2000 + 625 ) 2000 log 625 2 = 0,896 2000 ( 875 H(X2) = 1750 log 875 2 1750 + 875 ) 1750 log 875 2 = 1,000 1750 Shannon Fanův algoritmus Znaky uspořádáme sestupně podle pravděpodobnosti jejich výskytu Vypočteme kumulativní pravděpodobnosti Rozdělíme znaky do dvou skupin tak, aby jejich součtové pravděpodobnosti byly blízké 0,5 Předchozí krok opakujeme tak dlouho, dokud existují vícečlenné skupiny znaků
Shannon Fanův algoritmus 33/44 Proč zabezpečovat? 34/44 Znak p(x) s(x) Skupiny Výsledek x1 0,30 1,00 0 00 0 x2 0,24 0,70 1 01 x3 0,20 0,46 0 10 x4 0,15 0,26 1 0 110 1 x5 0,11 0,11 1 111 ( 139 H(X) = 246 log 139 2 246 + 107 ) 246 log 107 2 = 0,988 246 R = 1 0,988 = 0,012 1 Při přenosu může nastat chyba vlivem technické nedokonalosti přenosového kanálu Při přenosu může nepovolaná osoba číst přenášená data Při přenosu může nepovolaná osoba modifikovat přenášená data Zabezpečení proti technickým nedokonalostem přenosu Chyba změna 0 1 nebo 1 0 Násobnost chyby počet chyb v jednotce dat jednonásobná chyba například jedna chyba v přeneseném bytu dvojnásobná chyba, vícenásobná chyba četnost chyb s násobností obvykle prudce klesá (např 0,001/s; 0,000 03/s) četnost chyb je velmi relativní, záleží na zařízení 35/44 Detekce chyby Detekce chyby zjištění, že v přeneseném úseku nastala chyba, není však známo přesné místo Možnosti detekce parita kontrolní součet Obojí na podobném principu detekce chyb s lichou násobností jednoduchá realizace široké použití 36/44
Parita Kontrolní součet Detekce parita 37/44 Detekce kontrolní součet 38/44 Parita doplnění binárních jedniček na sudý počet sudá parita lichý počet lichá parita Jednoduchá parita jeden paritní bit Kombinovaná parita více paritních bitů Příklady: jednoduchá parita realizovaná devátým bitem (operační paměť) sudá: 01010110 0 lichá: 01010110 1 jednoduchá parita realizovaná osmým bitem (Internet) sudá: 01010110 lichá: 11010110 kombinovaná parita pracuje na stejném principu, ale paritních bitů je vícenásobná (první čtveřice, druhá, liché bity, sudé bity) sudá: 01011001 0011 Kontrolní součet přídavný údaj vypočtený z dat zvoleným způsobem a kontrolovaný stejným postupem na přijímací straně Používají se různé varianty pro různé účely podélná parita CRC (Cyclic Redundancy Check) hashování (otisk prstu, miniatura) MD5 (Message Digest Algorithm) SHA (Secure Hash Algorithm) Kontrolní součet Kontrolní součet Podélná parita 39/44 Oprava chyb 40/44 Operace aritmetického součtu bez přenosu do vyššího řádu (XOR) 01101010 11001011 00101010 10001011 Detekce místa chyby pak stačí provést opravu inverzí příslušného bitu Jednoduchá detekce kombinovanou paritou nebo kombinací příčné a podélné parity Složitější detekce použitím samoopravného kódu Každý bit kontrolního součtu doplňuje počet binárních jedniček v příslušném řádu na sudý počet Proto se kontrolnímu součtu někdy říká podélná parita
Kontrolní součet Samoopravný kód Kombinace parit 41/44 Samoopravný kód 42/44 Chyba se projeví v několika místech podle hodnoty paritních bitů lze zjistit místo chyby 01101010 01001011 10101010 10001011 01101010 01011011 10101010 10001011 Kód schopný detekovat místo chyby Příklad: Hammingův kód založen na existenci povolených a zakázaných kódových kombinací Hammingova vzdálenost určuje se pro dvě hodnoty a je rovna počtu rozdílných bitů x = 011010111010 y = 001010101110 h = 3 Samoopravný kód Samoopravný kód Princip Hammingova kódu 43/44 Detekce a oprava chyby 44/44 Povolené hodnoty kódové kombinace, které mají od sebe navzájem Hammingovu vzdálenost minimálně k Zakázané hodnoty všechny ostatní kódové kombinace, jejich podstatně více než povolených Přenos kódové informace získá-li se po přenosu zakázaná kombinace, buď je detekována chyba, nebo se podle Hammingovy vzdálenosti určí nejbližší povolená hodnota Kód (část): povolené hodnoty vyznačeny, k = 4 100101101010 100101101000 100101101001 100101101101 100101100101 Přenos: 100101100101 100101100101 OK 100101100101 100101101101 Oprava 100101100101 100101101001 Detekce Násobnost chyby < k/2 oprava, násobnost = k/2 detekce