Aplikovaná numerická matematika

Aplikovaná numerická matematika 1. Úvod do ANM doc. Ing. Róbert Lórencz, CSc. České vysoké učení technické v Praze Fakulta informačních technologií Katedra počítačových systémů Příprava studijních programů Informatika pro novou fakultu ČVUT je spolufinancována Evropským sociálním fondem a rozpočtem Hlavního města Prahy v rámci Operačního programu Praha adaptabilita (OPPA) projektem CZ.2.17/3.1.00/31952 Příprava a zavedení nových studijních programů Informatika na ČVUT v Praze. Praha & EU: Investujeme do vaší budoucnosti R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 1 / 30

Obsah přednášky Numerické výpočty, vznik chyb při zpracování dat Chyby a jejích odhad Chyby při výpočtu hodnot funkcí Obrácena úloha k výpočtu hodnot funkci Podmíněnost úloh Numerická stabilita metody - algoritmu Aritmetika s pohyblivou řádovou čárkou Zaokrouhlovací chyby v aritmetice s konečnou přesností R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 2 / 30

Numerické výpočty, vznik chyb při zpracování dat (1) Numerická matematika se zabývá postupy, pomocí kterých je možné řešit matematické problémy aritmetickými operacemi. Při fyzikálních problémech obyčejně vytvoříme vhodný matematický model, který se svými vlastnostmi podobá fyzikální realitě, ale nemusí opisovat skutečnost přesně. Častokrát se musí nahradit některé matematické operace nebo postupy přibližnými řešeními jako např.: hodnoty derivace nebo integrálu. Vhodně zvolenou numerickou metodou převedeme matematickou úlohu na numerickou úlohu. To znamená jednoznačný popis funkčního vztahu mezi konečným počtem vstupných a výstupních údaj. R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 3 / 30

Numerické výpočty, vznik chyb při zpracování dat (2) Numerické řešní problémů je obyčejně zatíženo chybami: chyby způsobné aproximaci modelů, tkz. chyby matematického modelu numerickou metodou nahradíme všechny teoretický nekonečné procesy konečnými a tento typ chyb jsou chyby metody operace prováděné na počítači nejsou úplně přesné protože získané hodnoty jsou zaokrouhlované, potom se dopouštíme zaokrouhlovacích chyb Nesmíme ještě zapomenout na skutečnost, že fyzikální realitu nám popisují naměřená data, která jsou také zatížená chybami souvisejícími s procesem měření, tj. např. chyby metody měření, chyby měřících přístrojů, statistické fluktuace atd. R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 4 / 30

Chyby a jejích odhad (1) Definice chyby Necht x je přesná hodnota a x je přibližná hodnota čísla. Potom pro chybu E přibližné hodnoty platí: x =? E = (? x) =? E = x x Definice absolutní chyby a jejího odhadu Pro absolutní chybu E přibližného čísla x platí: E = x x. Odhadem absolutní chyby je každé nezáporné číslo ε(x) x x Je zřejmé, že platí: x ε(x) x x + ε(x). Zapisujeme: x = x ± ε(x) R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 5 / 30

Chyby a jejích odhad (2) Definice relativní chyby a jejího teoretického odhadu Relativní chybou přibližného čísla x je nezáporné číslo R = E x Teoretický odhad relativní chyby přibližného čísla x je číslo δ(x), pro které platí: R δ(x), obvykle δ(x) = ε(x) x. Příklad: V případě úpravy přesného čísla x zaokrouhlováním na n desetinných míst je ε(x) = 0, 5.10 n. Když poznáme aproximaci x čísla x říkáme, že k -te desetinné místo aproximace x je platné pokud platí: x x 0, 5.10 k. Číslo a = 1, 4142 je aproximací 2 na 4 desetinné místa, protože: 2 1, 4142 = 1, 4142135... 1, 4142 < 0, 5.10 4. R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 6 / 30

Chyby při výpočtu hodnot funkcí (1) Chyba při výpočtu hodnot funkcí Jaký je odhad chyby, která vznikne při výpočtu funkční hodnoty funkce f, která je diferencovatelná v def. oblasti, X = (x i ), X = (x i ) a ε(x i ) x i x i jsou "dostatečně"malé, a kde i = 1, 2,..., n. Odhad absolutní chyby funkční hodnoty ε(u), kde u = f (X) pomocí Taylorova rozvoje při zanedbání druhých a vyšších členů můžeme vyjádřit: u u = f (X) f (X) n i=1 f (X) x i ε(x i) = ε(u) Pro odhad relativní chyby funkční hodnoty dostáváme: δ(u) = ε(u) = 1 n f (X) u u x i ε(x i) i=1 R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 7 / 30

Obrácená úloha k výpočtu hodnot funkce (1) Obrácená úloha k výpočtu hodnot funkce Určete odhady absolutních chyb ε(x i ) přibližných hodnot x i tak aby absolutní chyba funkční hodnoty funkce n reálných proměnných nebyla větší než předem zadaná hodnota ε(u). 1. Předpoklad: všechny parciální diferenciály f (X) x i ε(x i), i = 1, 2,..., n mají stejný vliv na absolutní chybu ε(u) funkce u = f (X), tj. n f (X) ε(u) = x i ε(x f (X) i) = n x i ε(x i), i = 1, 2,..., n. i=1 R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 8 / 30

Obrácená úloha k výpočtu hodnot funkce (2) ε(u) Potom pro i = 1, 2,..., n dostáváme: ε(x i ) = f (X). n x i 2. Za předpokladu, že odhady absolutních chyb ε(x i ) jsou stejné, tj. ε(x 1 ) = ε(x 2 ) = = ε(x n ) = ε platí: ε = ε(u) n f (X). x i i=1 3. Za předpokladu, že všech relativních chyb vstupních proměnných jsou stejné ε(x 1 ) x 1 = ε(x 2) x 2 = = ε(x n) x n = k R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 9 / 30

Obrácená úloha k výpočtu hodnot funkce (3) Potom pro odhad ε(x i ) pro i = 1, 2,..., n dostáváme: ε(x i ) = k x i = x i ε(u) n x i f (X). x i Příklad: Necht poloměr kruhu r =. 25 cm. S jakou přesností musí být určen poloměr r a číslo x =. π, tak, aby plocha kruhu S = xr 2 byla určená s přesností ε( S) = 0, 1 cm 2? Předpokládejme, že odhady relativních chyb vstupních proměnných x a r jsou stejné. Potom pro odhad absolutních chyb ε( x) a ε( r) platí podle předchozího vztahu 3, 14 0, 1 ε( x) = 3, 14 25 2 + 2 3, 14 25 2 = 5 10 5, ε( r) = i=1 25 0, 1 3, 14 25 2 + 2 3, 14 25 2 = 4, 2 10 4. R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 10 / 30

Podmíněnost úloh (1) Řešení numerických úloh - postup, který přiřazuje vstupným údajům výstupní Je důležité ptát se jakým způsobem ovlivňuji chyby vstupních hodnot přesnost výsledku. Definice podmíněnosti úloh Úloha je dobře podmíněná, pokud malé chyby vstupních údajů relativně málo změní výstupní údaje. V opačném případě budeme mluvit o špatně podmíněných úlohách. Jako míru podmíněnosti definuje číslo podmíněnosti úlohy C, které určuje velikost změn C = relativní chyba výstupních dat relativní chyba vstupních dat R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 11 / 30

Podmíněnost úloh (2) Poznámka Pro dobře podmíněné úlohy je C 1. Pro C 1 říkáme o špatně podmíněné úloze. Příklad: Špatně podmíněnou úlohu je tato soustava lineárních rovnic: 2x + 6y = 8 2x + 6.00001y = 8.00001 Řešení: x = 1 a y = 1. Pro malou relativní změnu u prvků a 22 a b 2 má soustava 2x + 6y = 8 2x + 5.99999y = 8.00002 řešení: x = 10 a y = 2. Prvky inverzní matice jsou řádu 10 5. Malá změna vstupních dat způsobila velký rozdíl v řešení. R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 12 / 30

Numerická stabilita metody - algoritmus Počítač má konečný počet stavů aritmetika s konečnou přesností zaokrouhlovací chyby. Numerický výpočet je ovlivněn zaokrouhlovacími chybami vznikající při numerických výpočtech prováděných na počítači v aritmetice s konečnou přesností. Zajímá nás, zda je algoritmus stabilní vůči zaokrouhlovacím chybám, tj. jestli výsledek výpočtu je dostatečně přesná aproximace řešení. Na to má vliv existence a šíření zaokrouhlovacích chyb při provádění elementárních aritmetických operací Bude záležet na algoritmu a na pořadí prováděných aritmetických operací v tomto algoritmu. R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 13 / 30

Aritmetika s pohyblivou řádovou čárkou (1) Při zvoleném typu zobrazeni čísel a při předepsané délce pamět ového místa je možné v počítači zobrazit pouze konečný počet čísel - počítač má konečný počet stavů! Potom mluvíme o konečné aritmetice - aritmetice s konečnou přesností. Množina reálních čísel je v počítači reprezentovaná svojí konečnou podmnožinou F R, kterou nazýváme soustavou čísel s pohyblivou řádovou čárkou (floating point number systém). Její prvky lze zapsat ve tvaru y = ±m β e t, kde celé číslo β je základem (obvykle 2), celé číslo t určuje přesnost, celé číslo m je mantisa v rozsahu 0 m < β t 1 a celočíselné e je exponent. R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 14 / 30

Aritmetika s pohyblivou řádovou čárkou (2) Množina F je plně určena parametry β, t a horní resp. dolní mezí celočíselného exponentu, e min e e max. Prvky y konečné množiny F můžeme názorněji zapsat ve tvaru: y = ±β e ( d 1 β + d 2 β 2 + + d t β t ) = ±βe 0.d 1 d 2... d t, kde pro číslici d i platí: 0 d i β 1. Zápis 0.d 1 d 2... d t představuje číslo v číselné soustavě se základem β. Pokud m β t 1 pro y 0 pak d 1 0 a tento systém nazýváme normalizovaný R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 15 / 30

Aritmetika s pohyblivou řádovou čárkou (3) IEEE standardní aritmetiky IEEE - β = 2 a rozlišuje dva základní formáty čísel v pohyblivé řádové čárce: jednoduchá přesnost ± exponent mantisa s g 1... g 8 d 2... d 24 dvojitá přesnost ± exponent mantisa s g 1... g 11 d 2... d 53 V případě jednoduché přesnosti je na exponent vyhrazeno 8 bitů a je možné v nich representovat číslo 0 až 255. Číslo (0000 0000) 2 = 0 a číslo (1111 1111) 2 = 255 mají speciální význam. R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 16 / 30

Aritmetika s pohyblivou řádovou čárkou (4) Potom pro exponent zbývají hodnoty 1 až 254, Hodnota exponentu je vyjádřená pomocí aditivního kódu, pro který platí (e + 126) < 1, 254 >, tj. hodnota exponentu e je v rozmezí e min = 125 e 128 = e max. Pro mantisu je vyhrazeno 23 bitů a vzhledem k normalizaci je cifra d 1 = 1 a nezapisuje se. Potom pro nenulové číslo uložené v pohyblivé řádové čárce a jednoduché přesnosti platí y = ±2 (g 1...g 8 ) 2 126 (0.1d 2 d 3... d 24 ) 2 a potom 2 126 y (1 2 24 )2 128 10 38. R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 17 / 30

Aritmetika s pohyblivou řádovou čárkou (5) Pro čísla v pohyblivé řádové čárce platí, že nejsou vzhledem k R rovnoměrně rozložena. Pro rozdíl po sobě jdoucí dvou čísel z množiny F, y 2 > y 1, mající stejný exponent e platí y 2 y 1 = 2 e 2 24. Zavedení strojové přesnosti ε M - vzdálenost čísla 1.0 od nejbližšího vyššího čísla, charakterizujeme rozložení čísel v množině F. Potom platí ε M = 2 1 2 24 = 2 23 a vzdálenost libovolného normalizovaného čísla x od svých sousedů je z intervalu < ε M x /2, ε M x >. V případě pouze normalizovaných čísel množiny F by nebylo možné zobrazit žádné z čísel z intervalu < 2 126, 2 126 >. R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 18 / 30

Aritmetika s pohyblivou řádovou čárkou (6) Proto IEEE aritmetika pro množinu F definuje tzv. subnormální čísla, tj. nenulová nenormalizovaná čísla s exponentem (0000 0000) 2 = 0, definované vztahem a pro jednoduchou přesnost y = ±m β e min t, 0 < m < β t 1, y = ±m 2 149, 0 < m < 2 23. Pokud mantisa i exponent jsou nulové, dostaneme reprezentaci ±0, kde norma zajišt uje: +0 = 0. Pro exponent rovný 255 = (1111 1111) 2 a mantisa je nulová zajišt uje norma, že zobrazené číslo je definováno jako ±. Pokud je exponent rovný 255 = (1111 1111) 2 a mantisa je nenulová pak je obsah interpretován jako NaN (Not a Number). R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 19 / 30

Aritmetika s pohyblivou řádovou čárkou (7) Tabulka pro jednoduchou přesnost. exponent numerická hodnota čísla (0000 0000) 2 = (0) 10 ±(0.0d 2 d 3... d 24 ) 2 2 125 (0000 0001) 2 = (1) 10 ±(0.1d 2 d 3... d 24 ) 2 2 125.. (0111 1110) 2 = (126) 10 ±(0.1d 2 d 3... d 24 ) 2 2 0 (0111 1111) 2 = (127) 10 ±(0.1d 2 d 3... d 24 ) 2 2 1.. (1111 1110) 2 = (254) 10 ±(0.1d 2 d 3... d 24 ) 2 2 128 (1111 1111) 2 = (255) 10 ± pokud d 2 = d 3 =... d 24 = 0 NaN jinak R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 20 / 30

Aritmetika s pohyblivou řádovou čárkou (8) Pokud v v IEEE aritmetice nastane vyjímečný případ, je výsledek generován podle nasledující tabulky. typ vyjímky příklad výsledek nedefinovaná 0/0,0, NaN operace 1 přetečení ± dělení nenulového ± čísla nulou podtečení subnormální čísla Přetečení je případ, kdy je přesný výsledek operace v absolutní hodnotě větší, než největší číslo z F. Podtečení je případ, kdy je přesný výsledek operace v absolutní hodnotě menší, než nejmenší kladné normalizované číslo. R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 21 / 30

Aritmetika s pohyblivou řádovou čárkou (9) Charakteristiky pro aritmetiku s dvojitou přesnosti je možné analogicky odvodit. Porovnání IEEE aritmetiky s s jednoduchou a dvojitou přesnosti uvadí nasledující tabulka. přesnost #bitů m e zaokrouh. rozsah jednotka u jednod. 32 23(+1) 8 2 24 10 ±38 5.96 10 8 dvojitá 64 52(+1) 11 2 53 10 ±308 1.11 10 8 R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 22 / 30

Aritmetika s pohyblivou řádovou čárkou (10) Přesnost zobrazení reálného čísla v IEEE aritmetice Přesnost aproximace je charakterizována zaokrouhlovací jednotkou u = (1/2)β 1 t = (1/2)2 23 = 2 24. Věta Necht x R leží mezi nejmenším a největším číslem množiny F. Označíme-li flp zobrazení z R do F, pak platí kde u je zaokrouhlovací jednotka. flp(x) = x(1 + δ), δ < u, Pro matematické operace (+,,, /) v IEEE aritmetice platí, že se vykonají jako kdyby byly nejprve provedeny přesně (s nekonečnou přesnosti) a pak je výsledek zaokrouhlen na nejbližší číslo F. V případě nerozhodnosti se zaokrouhluje dolů. R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 23 / 30

Aritmetika s pohyblivou řádovou čárkou (11) Jsou-li x, y, F, pak platí flp(x ± y) = (x ± y)(1 + δ 1 ) δ 1 u flp(x y) = (x y)(1 + δ 2 ) δ 2 u flp(x/y) = (x/y)(1 + δ 3 ) δ 3 u Zdá se, že zaokrouhlovací chyby jsou velmi malé (viz Věta), a tudíž dá se předpokládat, že vliv na provádění numerických výpočtů nebude velký, kromě velkého počtu operací s extrémně velikými čísly. Ale... R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 24 / 30

Zaokrouhlovací chyby v aritmetice s konečnou přesností (1) Problém krácení cancellation. Uvažujme funkci f (x) = (1 cos x)/x 2. Pro x = 1, 2 10 5 je hodnota c = cos x zaokrouhlená na 10 desetinných míst rovna c = 0, 999 999 999 9. S vyčíslením hodnoty f (1, 2 10 5 ) (1 c)/x 2 = 10 10 /(1, 44 10 10 ) = 0, 6944..., a to je špatně, protože 0 f (x) 1/2 pro x 0. Přestože hodnota cos x byla aproximována s přesností na 10 desetinných míst, výsledek výpočtu neaproximuje správnou hodnotu ani s přesností na 1 desetinné místo. Výpočet (1 cos x) byl proveden přesně, ale hodnota c byla určená nepřesně vzhledem k operaci odečítání a následného dělení číslem x 2 = 1, 44 10 10. R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 25 / 30

Zaokrouhlovací chyby v aritmetice s konečnou přesností (2) Díky krácení platných cifer stejného řádu u poslední operace dělení byl výpočet f (x) proveden nepřesně. Takto se významnost nepatrné chyby hodnoty c posunula o deset řádů a značně ovlivnila celý další výpočet, byt byl proveden přesně katastrofické krácení. Popišme si krácení pomocí vztahů uvedené věty a vztahů na slidu č. 24. Necht x a ỹ jsou zatížené jistou chybou, potom x = x(1 + x) a ỹ = y(1 + y). Necht chyby x resp. y jsou malé vzhledem k velikosti hodnot x resp. y a mohou být způsobené předcházejícím výpočtem a následným zaokrouhlením, pak platí x = flp(x), ỹ = flp(y) a x u, y u. R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 26 / 30

Zaokrouhlovací chyby v aritmetice s konečnou přesností (3) Proved me přesný součet čísel s = x + ỹ s tím, že čísla x a ỹ mohou mít opačná znaménka, tj. součet představouje ve skutečnosti rozdíl: kde s = x + ỹ = x(1 + x) + y(1 + y) = x + y + x x + y y = (x + y)(1 + s), s = x x + y x + y x + y y. Malé hodnoty x a y nezaručují malou hodnotu s, protože pokud x (x + y) a zároveň x 0, nebo y (x + y) a zároveň y 0, bude chyba relativně velká. Je vidět, že krácení způsobuje "zesílení"předchozích chyb obsažených v datech. Pokud dojde ke krácení při odečtení dvou přesných hodnot nestává se samotné krácení nebezpečným. R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 27 / 30

Zaokrouhlovací chyby v aritmetice s konečnou přesností (4) Problém špatné formulace úlohy. Pokusme se najít dobrou numerickou aproximaci hodnoty e s použitím vztahu e = lim n (1 + 1/n) n, kde limitu nahradíme prostým výpočtem hodnoty f (x) = (1 + 1/n) n pro dostatečně velké n. Použitím aritmetiky s jednoduchou přesností je pro n = 10 lepší aproximaci čísla e než pro n = 10 7. Příčina: sčítání 1 + 1/n pro n 1, tj. sčítání relativně velkého čísla s malým. Hodnota druhého sčítance je řádově stejná jako hodnota zaokrouhlovací jednotky! další operace umocnění na n-tou spůsobuje velkou chybu. R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 28 / 30

Zaokrouhlovací chyby v aritmetice s konečnou přesností (5) Problém sčítání řad. Z teorie Fourierových řad platí k=1 k 2 = π2 6. Za předpokladu, že uvedenou identitu nepoznáme, pokusíme se najít součet řady numerickým sčítáním ( ((1 + 2 2 ) + 3 2 ) + 4 2 ) + ) + m 2 ), kde m je určené jako nejmenší celé číslo, jehož zahrnutí do výpočtu již nezmění vypočtený součet, tj. m 2 < (m 1 k=1 k 2) u, R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 29 / 30

Zaokrouhlovací chyby v aritmetice s konečnou přesností (6) kde u je zaokrouhlovací jednotka. Výsledek výpočtu bude nepřesný a to z důvodu pomalé konvergence řady, tj. zbytek řady k 2 > m 2. k=m Řešení uvedeného problému je v použití speciálních technik zvyšujících přesnost nebo použití vhodné identity a řady konvergující mnohem rychleji. Změna pořadí sčítanců není řešením! R. Lórencz (ČVUT FIT) Úvod do ANM PI-ANM, 2011, Předn. 1. 30 / 30