Faster Gradient Descent Methods
|
|
- Oldřich Hruda
- před 5 lety
- Počet zobrazení:
Transkript
1 Faster Gradient Descent Methods Rychlejší gradientní spádové metody Ing. Lukáš Pospíšil, Ing. Martin Menšík Katedra aplikované matematiky, VŠB - Technická univerzita Ostrava Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 1/28
2 Osnova prezentace Motivace Stochastické metody Barzilai-Borweinova metoda Numerické testy Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 2/28
3 Motivace Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 3/28
4 Základní úloha kvadratického programování Úloha Nalezněte minimum ryze konvexní kvadratické funkce, tj. 1 x = arg min x R n 2 x T Ax b T x, ekvivalentně řešte soustavu lineárních rovnic Ax = b, kde A R n,n je SPD, b R n, x R n. (Nalezněte kořeny rovnice g(x) := Ax b = 0) Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 4/28
5 Iterační metody Krylovovské metody Metody tvořící ortogonální bázi podprostoru K m = {g 0, Ag 0,..., A m 1 g 0 } Velmi rychlé Velmi náchylné na chybu sdružené gradienty (CG), Lanzosova metoda,... Gradientní spádové metody Minimalizace ve směru gradientu Velmi stabilní Velmi pomalé Richardsonova metoda, metoda největšího spádu Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 5/28
6 Gradientní spádové metody Obecná spádová metoda x k+1 = x k 1 β k g k Metoda největšího spádu x k+1 = x k (g k, g k ) (Ag k, g k ) g k Richardsonova metoda s optimální délkou kroku 2 x k+1 = x k λ A max + λ A min g k Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 6/28
7 Rekurentní výpočet gradientu Jelikož x k+1 = x k 1 β k g k, lze jednoduše upravit g k+1 = Ax k+1 b = A(x k 1 β k g k ) b = g k 1 β k Ag k. µ (k) α = (Aα g k, g k ) (g k, g k ). Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 7/28
8 Stochastická volba délky kroku Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 8/28
9 Pravděpodobnostní míra nad gradientem Pro jednoduchost předpokládejme (bez újmy na obecnosti) A za diagonální matici A = diag{λ 1,..., λ d }, kde 0 < m = λ 1 λ d = M < z k = g k (gk, g k ) p (k+1) i = p (k) i = {z k } 2 i (λ i β k ) 2 βk 2 2β kµ (k) 1 + µ (k) 2 Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 9/28
10 Atraktivní (přitažlivé) extrémy (okraje) p Mějme posloupnost β k > 0, β k {m, M} pro všechna k s distribuční funkcí F (β) s nosičem m, M, kde 0 < m M < a navíc platí: log(β λ) 2 df (β) < max{ log(m β) 2 df (β), λ {λ 2,..., λ d 1 } Pak existují konstanty C > 0, k 0 > 0, 0 θ < 1 takové, že: d 1 i=2 = p (k) i CΘ k k > k 0 log(m β) 2 df (β)} Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 10/28
11 Výhodné n-tice Pro pokles budeme volit opakující se n-tice {β 0,..., β N } symetrické podle středu spektra - m+m 2 Odhad R R2 2 (β m)(m β) (β) = β(m + M β) 1 N R N = (β j m) 2 N+1 j=0 β 2 j Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 11/28
12 a dostáváme se tak k... ( M m + 2 ɛ(m m ɛ) R arcsin,ɛ = M + m + 2 (M ɛ)(m + ɛ) ) 2 R arcsin,ɛ = R (1 + 4 ɛ(m m)) + O(ɛ), ɛ 0 Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 12/28
13 Algoritmus vyberme malé kladné τ, např. τ = 10 6, z 0 = 0 pro k = 0, 1 volme β k = µ (k) 1 a začněme s odhady m, M pro k > 1, nastavme ɛ k = τ(m m) pro k = 2j: z j = z j 1 + ϕ a β 2j = m k + ɛ k + (cos(πz j ) + 1)(M m 2ɛ) pro k = 2j + 1 : β 2j+1 = M + m β 2j vylepšeme odhad m, M V algoritmu je použita konstanta ϕ = 1 2 ( 5 1). Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 13/28
14 Problémy s nepřesností Gradient g k+1 se obvykle počítá rekurzivně: g k+1 = A (k+1) x k+1 b = (A (k+1) x k b) 1 β k A (k+1) g k = g k 1 β k A (k+1) g k Problém vězí v nepřesné aplikaci A: g k = A (k) x k b A (k+1) x k b = g k Ignorace vede k výsledu... ale špatnému! Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 14/28
15 Řešení leží v kompromisu Máme dva způsoby ja získat g k+1 Rekurzivní g k+1 = g k 1 β k A (k+1) g k PRO: poskytuje kvalitní odhad spektra CON: vede k špatnému výsledku Restartovaný g k+1 = A (k+1) x k+1 b PRO: vede ke správnému výsledku CON: odhad spektra je velmi slabý Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 15/28
16 Barzilai-Borweinova metoda Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 16/28
17 Odvození Metoda sečen (modifikace Newtonovy metody) Nalezněte kořeny rovnice g(x) = 0, g : R R x k+1 = x k x k x k 1 g k g k 1 g k (pokud g na a, b x k splňuje určité podmínky) Metoda sečen je spádová metoda x k+1 = x k 1 β k g k β k = g k g k 1 x k x k 1 Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 17/28
18 Odvození Metoda sečen v nd? Nalezněte kořeny rovnice g(x) = Ax b = 0, g : R n R n. β k = g k g k 1 x k x k 1 nelze dosadit Místo toho řešme tzv. secant equation metodou nejmenších čtverců, tj. (x k x k 1 )β k = g k g k 1 β k := arg min β R (x k x k 1 )β (g k g k 1 ) 2 2. Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 18/28
19 Odvození Metoda sečen v nd? Označme s k := x k x k 1, y k := g k g k 1, pak řešením minimalizační úlohy β k := arg min β R s kβ y k 2 2. je (z nutné podmínky existence minima) Hotovo? β k = (s k, y k ) (s k, s k ). Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 19/28
20 Překvapení Menší úprava a překvapení Jelikož y k = g k g k 1 = (Ax k b) (Ax k 1 b) = As k s k = x k x k 1 = (x k 1 β 1 k g k 1) x k 1 = β 1 k pak dosazením g k 1 β k = (s k, As k ) (s k, s k ) = ( β 1 k g k 1, β 1 k Ag k 1) ( β 1 g k 1, β 1 g k 1) = (Ag k 1, g k 1) (g k 1, g k 1 ). k k Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 20/28
21 Překvapení Menší úprava a překvapení Tedy Barzilai-Borweinova metoda má předpis x k+1 = x k (g k 1, g k 1 ) (Ag k 1, g k 1 ) g k. metoda největšího spádu s opožděním. Rekurentní výpočet gradientu Navíc g k+1 = Ax k+1 b = A(x k 1 β k g k ) b = g k 1 β k Ag k. Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 21/28
22 Konvergence spádových metod Konvergence spádových metod g k = γ k 1 v γ k n v n kde v 1,..., v k je ortogonální báze z vlastních vektorů a γi k souřadnice vektoru g k v této bázi. Jelikož g k+1 = g k 1 Ag k β k jsou pak dosazením a úpravou i = 1,..., n : γ k+1 i = ( 1 λ ) i γi k β k Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 22/28
23 Konvergence spádových metod Konvergence spádových metod Dále také ( n ) n g k 2 2 = (g k, g k ) = γi k v i, γi k v i = i=1 i=1 n (γi k ) 2 i=1 lim g k 2 = 0 lim k k γk i = 0, i = 1,..., n ( ) Proto chování funkcí 1 λ i β k je v otázkách konvergence kĺıčové. Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 23/28
24 Rychlost konvergence BB metody Rychlost konvergence BB metody Necht minimalizovaná kvadratická funkce f je ryze konvexní. Necht {x k } je posloupnost generovaná metodou BB. Pak existuje konečné k takové, že g k = 0 posloupnost { g k 2 } konverguje k nule R-lineárně, konkrétně g k 2 ( ) 1 k.c g 1 2, 2 kde C R je konstanta závislá na λ max a λ min. Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 24/28
25 Numerické testy Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 25/28
26 Numerický test 1 - jednoduchá matice Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 26/28
27 Numerický test 2-3D elektrostatika (Doc. Lukáš) Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 27/28
28 Děkujeme za pozornost J. Barzilai, J. M. Borwein: Two point step size gradient methods. IMA Journal of Numerical Analysis, 8: , M. Raydan: Convergence properities of the Barzilai and Borwein gradient method. Rice University, Dai, Y.H., Liao, L.-Z.: R-linear convergence of the Barzilai and Borwein gradient method. IMA J. Numer.Anal. 26, 1 10 (2002) L. Pronzato, A. Zhigljavsky: Gradient algorithm for quadratic optimization with fast convergence rates. Springer, Ing. Lukáš Pospíšil, Ing. Martin Menšík Faster Gradient Descent Methods 28/28
Základní spádové metody
Základní spádové metody Petr Tichý 23. října 2013 1 Metody typu line search Problém Idea metod min f(x), f : x R Rn R. n Dána počáteční aproximace x 0. Iterační proces (krok k): (a) zvol směr d k, (b)
Vícestránkách přednášejícího.
Předmět: MA 4 Dnešní látka Iterační metoda Jacobiova iterační metoda Gaussova-Seidelova iterační metoda Superrelaxační metoda (metoda SOR) Metoda sdružených gradientů Četba: Text o lineární algebře v Příručce
VíceArnoldiho a Lanczosova metoda
Arnoldiho a Lanczosova metoda 1 Částečný problém vlastních čísel Ne vždy je potřeba (a někdy to není ani technicky možné) nalézt celé spektrum dané matice (velké řídké matice). Úloze, ve které chceme aproximovat
VíceAplikovaná numerická matematika
Aplikovaná numerická matematika 6. Metoda nejmenších čtverců doc. Ing. Róbert Lórencz, CSc. České vysoké učení technické v Praze Fakulta informačních technologií Katedra počítačových systémů Příprava studijních
VícePROSTORY SE SKALÁRNÍM SOUČINEM. Definice Nechť L je lineární vektorový prostor nad R. Zobrazení L L R splňující vlastnosti
PROSTORY SE SKALÁRNÍM SOUČINEM Definice Nechť L je lineární vektorový prostor nad R. Zobrazení L L R splňující vlastnosti 1. (x, x) 0 x L, (x, x) = 0 x = 0, 2. (x, y) = (y, x) x, y L, 3. (λx, y) = λ(x,
VíceDnešní látka Opakování: normy vektorů a matic, podmíněnost matic Jacobiova iterační metoda Gaussova-Seidelova iterační metoda
Předmět: MA 4 Dnešní látka Opakování: normy vektorů a matic, podmíněnost matic Jacobiova iterační metoda Gaussova-Seidelova iterační metoda Četba: Text o lineární algebře v Příručce přežití na webových
VíceAplikovaná numerická matematika - ANM
Aplikovaná numerická matematika - ANM 3 Řešení soustav lineárních rovnic iterační metody doc Ing Róbert Lórencz, CSc České vysoké učení technické v Praze Fakulta informačních technologií Katedra počítačových
VíceDRN: Kořeny funkce numericky
DRN: Kořeny funkce numericky Kořenem funkce f rozumíme libovolné číslo r splňující f(r) = 0. Fakt. Nechť f je funkce na intervalu a, b. Jestliže f(a) f(b) < 0 (tj. f(a) a f(b) mají opačná znaménka) a f
VíceLineární algebra rekonstrukce obrazu
Lineární algebra rekonstrukce obrazu Prezentace práce pro matematický seminář 0 Mdx Theuer 20. října 2011 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 1 / 19 Obsah Matematická reprezentace
Více3. Přednáška: Line search
Úloha: 3. Přednáška: Line search min f(x), x R n kde x R n, n 1 a f : R n R je dvakrát spojitě diferencovatelná. Iterační algoritmy: Začínám v x 0 a vytvářím posloupnost iterací {x k } k=0, tak, aby minimum
VíceNelineární optimalizace a numerické metody (MI NON)
Nelineární optimalizace a numerické metody (MI NON) Magisterský program: Informatika Obor: Teoretická informatika Katedra: 18101 Katedra teoretické informatiky Jaroslav Kruis Evropský sociální fond Praha
VíceInterpolace, ortogonální polynomy, Gaussova kvadratura
Interpolace, ortogonální polynomy, Gaussova kvadratura Petr Tichý 20. listopadu 2013 1 Úloha Lagrangeovy interpolace Dán omezený uzavřený interval [a, b] a v něm n + 1 různých bodů x 0, x 1,..., x n. Nechť
VíceMetody vnitřních bodů pro řešení úlohy lineární elasticity s daným třením
Metody vnitřních bodů pro řešení úlohy lineární elasticity s daným třením J. Machalová, P. Ženčák, R. Kučera Katedra matematické analýzy a aplikací matematiky PřF UP Olomouc Katedra matematiky a deskriptivní
VíceLineární programování
Lineární programování Petr Tichý 19. prosince 2012 1 Outline 1 Lineární programování 2 Optimalita a dualita 3 Geometrie úlohy 4 Simplexová metoda 2 Lineární programování Lineární program (1) min f(x) za
VíceČetba: Texty o lineární algebře (odkazy na webových stránkách přednášejícího).
Předmět: MA 4 Dnešní látka Vlastní čísla a vektory Google Normovaný lineární prostor Normy matic a vektorů Symetrické matice, pozitivně definitní matice Gaussova eliminační metoda, podmíněnost matic Četba:
VíceSoustavy lineárních rovnic-numerické řešení. October 2, 2008
Soustavy lineárních rovnic-numerické řešení October 2, 2008 (Systém lin. rovnic) Systém rovnic a 11 x 1 + a 12 x 2 + + a 1n x n = b 1 a 21 x 1 + a 22 x 2 + + a 2n x n = b 2... a n1 x 1 + a n2 x 2 + + a
VíceMatematika I A ukázkový test 1 pro 2014/2015
Matematika I A ukázkový test 1 pro 2014/2015 1. Je dána soustava rovnic s parametrem a R x y + z = 1 x + y + 3z = 1 (2a 1)x + (a + 1)y + z = 1 a a) Napište Frobeniovu větu (existence i počet řešení). b)
Více15 Maticový a vektorový počet II
M. Rokyta, MFF UK: Aplikovaná matematika III kap. 15: Maticový a vektorový počet II 1 15 Maticový a vektorový počet II 15.1 Úvod Opakování z 1. ročníku (z kapitoly 8) Označení. Množinu všech reálných resp.
VíceEUKLIDOVSKÉ PROSTORY
EUKLIDOVSKÉ PROSTORY Necht L je lineární vektorový prostor nad tělesem reálných čísel R. Zobrazení (.,.) : L L R splňující vlastnosti 1. (x, x) 0 x L, (x, x) = 0 x = 0, 2. (x, y) = (y, x) x, y L, 3. (λx,
VíceDnešní látka: Literatura: Kapitoly 3 a 4 ze skript Karel Rektorys: Matematika 43, ČVUT, Praha, Text přednášky na webové stránce přednášejícího.
Předmět: MA4 Dnešní látka: Od okrajových úloh v 1D k o. ú. ve 2D Laplaceův diferenciální operátor Variačně formulované okrajové úlohy pro parciální diferenciální rovnice a metody jejich přibližného řešení
Více(Poznámka: V MA 43 je věta formulována trochu odlišně.)
Předmět: MA4 Dnešní látka Variačně formulované okrajové úlohy: zúplnění prostoru funkcí přibližné řešení minim. úlohy metoda konečných prvků jiný pohled na zobecněné řešení stejný způsob numerické aproximace
VíceTypy příkladů na písemnou část zkoušky 2NU a vzorová řešení (doc. Martišek 2017)
Typy příkladů na písemnou část zkoušky NU a vzorová řešení (doc. Martišek 07). Vhodnou iterační metodou (tj. metodou se zaručenou konvergencí) řešte soustavu: x +x +4x 3 = 3.5 x 3x +x 3 =.5 x +x +x 3 =.5
VíceOrtogonální projekce a ortogonální zobrazení
Drsná matematika I 9. přednáška Ortogonální projekce a ortogonální zobrazení Jan Slovák Masarykova univerzita Fakulta informatiky 27. 4. 2010 Obsah přednášky 1 Literatura 2 Projekce a ortogonální zobrazení
VíceVektory a matice. Obsah. Aplikovaná matematika I. Carl Friedrich Gauss. Základní pojmy a operace
Vektory a matice Aplikovaná matematika I Dana Říhová Mendelu Brno Obsah 1 Vektory Základní pojmy a operace Lineární závislost a nezávislost vektorů 2 Matice Základní pojmy, druhy matic Operace s maticemi
VíceCo jsme udělali: Au = f, u D(A)
Předmět: MA4 Dnešní látka: Od okrajových úloh v 1D k o. ú. ve 2D Laplaceův diferenciální operátor Variačně formulované okrajové úlohy pro parciální diferenciální rovnice a metody jejich přibližného řešení
VíceNumerická matematika 1
Numerická matematika 1 Obsah 1 Řešení nelineárních rovnic 3 1.1 Metoda půlení intervalu....................... 3 1.2 Metoda jednoduché iterace..................... 4 1.3 Newtonova metoda..........................
VíceČetba: Texty o lineární algebře (odkazy na webových stránkách přednášejícího).
Předmět: MA 4 Dnešní látka Lineární (vektorový) prostor Normovaný lineární prostor Normy matic a vektorů Symetrické matice, pozitivně definitní matice Gaussova eliminační metoda, podmíněnost matic Četba:
VíceČetba: Texty o lineární algebře (odkazy na webových stránkách přednášejícího).
Předmět: MA 4 Dnešní látka Vektorový (lineární) prostor (připomenutí) Normovaný lineární prostor Normy matic a vektorů Symetrické matice, pozitivně definitní matice Gaussova eliminační metoda, podmíněnost
VíceKapitola 5. SLAR - gradientní metody
23.3.2o7 Kapitola 5. SLAR - gradientní metody Metody na řešení SLAR přímé (GEM, metoda LU-rozkladu) iterační (Jacobiova m., Gauss-Seidelova m., metoda SOR) gradientní X X Motivace Uvažujme kvadratickou
VíceFaculty of Nuclear Sciences and Physical Engineering Czech Technical University in Prague
1 / 40 regula Faculty of Nuclear Sciences and Physical Engineering Czech Technical University in Prague regula 1 2 3 4 5 regula 6 7 8 2 / 40 2 / 40 regula Iterační pro nelineární e Bud f reálná funkce
VícePrincip gradientních optimalizačních metod
Princip gradientních optimalizačních metod Tomáš Kroupa 20. května 2014 Tento studijní materiál je spolufinancován Evropským sociálním fondem a státním rozpočtem České republiky. Obsah Úkol a základní
Více10 Funkce více proměnných
M. Rokyta, MFF UK: Aplikovaná matematika II kap. 10: Funkce více proměnných 16 10 Funkce více proměnných 10.1 Základní pojmy Definice. Eukleidovskou vzdáleností bodů x = (x 1,...,x n ), y = (y 1,...,y
VíceVYBRANÉ PARTIE Z NUMERICKÉ MATEMATIKY
VYBRANÉ PARTIE Z NUMERICKÉ MATEMATIKY Jan Krejčí 31. srpna 2006 jkrejci@physics.ujep.cz http://physics.ujep.cz/~jkrejci Obsah 1 Přímé metody řešení soustav lineárních rovnic 3 1.1 Gaussova eliminace...............................
VíceSoustavy lineárních rovnic-numerické řešení
Soustavy lineárních rovnic-numerické řešení November 9, 2008 Soustavy lineárních rovnic-numerické řešení 1 / 52 (Systém lin. rovnic) Systém rovnic a 11 x 1 + a 12 x 2 + + a 1n x n = b 1 a 21 x 1 + a 22
VícePodobnostní transformace
Schurova věta 1 Podobnostní transformace a výpočet vlastních čísel Obecný princip: Úloha: Řešíme-li matematickou úlohu, je často velmi vhodné hledat její ekvivalentní formulaci tak, aby se řešení úlohy
Více1 0 0 u 22 u 23 l 31. l u11
LU dekompozice Jedná se o rozklad matice A na dvě trojúhelníkové matice L a U, A=LU. Matice L je dolní trojúhelníková s jedničkami na diagonále a matice U je horní trojúhelníková. a a2 a3 a 2 a 22 a 23
VíceNumerické metody a programování. Lekce 4
Numerické metody a programování Lekce 4 Linarní algebra soustava lineárních algebraických rovnic a 11 a 12 x 2 a 1, N x N = b 1 a 21 a 22 x 2 a 2, N x N = b 2 a M,1 a M,2 x 2 a M,N x N = b M zkráceně A
VíceÚvod do optimalizace, metody hladké optimalizace
Evropský sociální fond Investujeme do vaší budoucnosti Úvod do optimalizace, metody hladké optimalizace Matematika pro informatiky, FIT ČVUT Martin Holeňa, 13. týden LS 2010/2011 O čem to bude? Příklady
Více7. Lineární vektorové prostory
7. Lineární vektorové prostory Tomáš Salač MÚ UK, MFF UK LS 2017/18 Tomáš Salač ( MÚ UK, MFF UK ) 7. Lineární vektorové prostory LS 2017/18 1 / 62 7.1 Definice a příklady Definice 7.1 Množina G s binární
Více1 Determinanty a inverzní matice
Determinanty a inverzní matice Definice Necht A = (a ij ) je matice typu (n, n), n 2 Subdeterminantem A ij matice A příslušným pozici (i, j) nazýváme determinant matice, která vznikne z A vypuštěním i-tého
VícePrimitivní funkce a Riemann uv integrál Lineární algebra Taylor uv polynom Extrémy funkcí více prom ˇenných Matematika III Matematika III Program
Program Primitivní funkce a Riemannův integrál Program Primitivní funkce a Riemannův integrál Lineární algebra Program Primitivní funkce a Riemannův integrál Lineární algebra Taylorův polynom Program Primitivní
Více2. Schurova věta. Petr Tichý. 3. října 2012
2. Schurova věta Petr Tichý 3. října 2012 1 Podobnostní transformace a výpočet vlastních čísel Obecný princip: Úloha: Řešíme-li matematickou úlohu, je často velmi vhodné hledat její ekvivalentní formulaci
Vícex 2 = a 2 + tv 2 tedy (a 1, a 2 ) T + [(v 1, v 2 )] T A + V Příklad. U = R n neprázdná množina řešení soustavy Ax = b.
1. Afinní podprostory 1.1. Motivace. Uvažujme R 3. Jeho všechny vektorové podprostory jsou počátek, přímky a roviny procházející počátkem a celé R 3. Chceme-li v R 3 dělat geometrii potřebujeme i jiné
VíceNumerické metody a programování. Lekce 8
Numerické metody a programování Lekce 8 Optimalizace hledáme bod x, ve kterém funkce jedné nebo více proměnných f x má minimum (maximum) maximalizace f x je totéž jako minimalizace f x Minimum funkce lokální:
VíceProgram SMP pro kombinované studium
Zadání příkladů k procvičení na seminář Program SMP pro kombinované studium Nejdůležitější typy příkladů - minimum znalostí před zkouškovou písemkou 1) Matice 1. Pro matice 1 0 2 1 0 3 B = 7 3 4 4 2 0
VíceOdhad parametrů N(µ, σ 2 )
Odhad parametrů N(µ, σ 2 ) Mějme statistický soubor x 1, x 2,, x n modelovaný jako realizaci náhodného výběru z normálního rozdělení N(µ, σ 2 ) s neznámými parametry µ a σ. Jaký je maximální věrohodný
VíceČebyševovy aproximace
Čebyševovy aproximace Čebyševova aproximace je tzv hledání nejlepší stejnoměrné aproximace funkce v daném intervalu Hledáme funkci h x, která v intervalu a,b minimalizuje maximální absolutní hodnotu rozdílu
Více1 Projekce a projektory
Cvičení 3 - zadání a řešení úloh Základy numerické matematiky - NMNM20 Verze z 5. října 208 Projekce a projektory Opakování ortogonální projekce Definice (Ortogonální projekce). Uvažujme V vektorový prostor
VíceFP - SEMINÁŘ Z NUMERICKÉ MATEMATIKY. Katedra matematiky a didaktiky matematiky Technická univerzita v Liberci
FP - SEMINÁŘ Z NUMERICKÉ MATEMATIKY Dana Černá http://www.fp.tul.cz/kmd/ Katedra matematiky a didaktiky matematiky Technická univerzita v Liberci OBSAH A CÍLE SEMINÁŘE: Opakování a procvičení vybraných
VíceÚlohy k přednášce NMAG 101 a 120: Lineární algebra a geometrie 1 a 2,
Úlohy k přednášce NMAG a : Lineární algebra a geometrie a Verze ze dne. května Toto je seznam přímočarých příkladů k přednášce. Úlohy z tohoto seznamu je nezbytně nutné umět řešit. Podobné typy úloh se
VíceSingulární rozklad. Petr Tichý. 31. října 2013
Singulární rozklad Petr Tichý 31. října 2013 1 Outline 1 Úvod a motivace 2 Zavedení singulárního rozkladu a jeho vlastnosti 3 Výpočet a náklady na výpočet singulárního rozkladu 4 Moor-Penroseova pseudoinverze
VíceDnešní látka Variačně formulované okrajové úlohy zúplnění prostoru funkcí. Lineární zobrazení.
Předmět: MA4 Dnešní látka Variačně formulované okrajové úlohy zúplnění prostoru funkcí. Lineární zobrazení. Literatura: Kapitola 2 a)-c) a kapitola 4 a)-c) ze skript Karel Rektorys: Matematika 43, ČVUT,
VíceLiteratura: Kapitola 2 d) ze skript Karel Rektorys: Matematika 43, ČVUT, Praha, Text přednášky na webové stránce přednášejícího.
Předmět: MA4 Dnešní látka: Metoda sítí v 1D. Myšlenka náhrada derivací diferenčními podíly Přibližné řešení okrajových úloh Aproximace vlastních čísel Literatura: Kapitola 2 d) ze skript Karel Rektorys:
VíceDiferenˇcní rovnice Diferenciální rovnice Matematika IV Matematika IV Program
Program Diferenční rovnice Program Diferenční rovnice Diferenciální rovnice Program Frisch a Samuelson: Systém je dynamický, jestliže jeho chování v čase je určeno funkcionální rovnicí, jejíž neznámé závisí
VíceAVDAT Nelineární regresní model
AVDAT Nelineární regresní model Josef Tvrdík Katedra informatiky Přírodovědecká fakulta Ostravská univerzita Nelineární regresní model Ey i = f (x i, β) kde x i je k-členný vektor vysvětlujících proměnných
VíceLineární klasifikátory
Lineární klasifikátory Lineární klasifikátory obsah: perceptronový algoritmus základní verze varianta perceptronového algoritmu přihrádkový algoritmus podpůrné vektorové stroje Lineární klasifikátor navrhnout
VíceEXTRÉMY FUNKCÍ VÍCE PROMĚNNÝCH
EXTRÉMY FUNKCÍ VÍCE PROMĚNNÝCH ÚLOHY ŘEŠITELNÉ BEZ VĚTY O MULTIPLIKÁTORECH Nalezněte absolutní extrémy funkce f na množině M. 1. f(x y) = x + y; M = {x y R 2 ; x 2 + y 2 1} 2. f(x y) = e x ; M = {x y R
VíceUčební texty k státní bakalářské zkoušce Matematika Skalární součin. študenti MFF 15. augusta 2008
Učební texty k státní bakalářské zkoušce Matematika Skalární součin študenti MFF 15. augusta 2008 1 10 Skalární součin Požadavky Vlastnosti v reálném i komplexním případě Norma Cauchy-Schwarzova nerovnost
VíceOdhad parametrů N(µ, σ 2 )
Odhad parametrů N(µ, σ 2 ) Mějme statistický soubor x 1, x 2,, x n modelovaný jako realizaci náhodného výběru z normálního rozdělení N(µ, σ 2 ) s neznámými parametry µ a σ. Jaký je maximální věrohodný
VíceDMA Přednáška Rekurentní rovnice. takovou, že po dosazení odpovídajících členů do dané rovnice dostáváme pro všechna n n 0 + m pravdivý výrok.
DMA Přednáška Rekurentní rovnice Rekurentní rovnice či rekurzivní rovnice pro posloupnost {a n } je vztah a n+1 = G(a n, a n 1,..., a n m ), n n 0 + m, kde G je nějaká funkce m + 1 proměnných. Jejím řešením
Více8 Matice a determinanty
M Rokyta, MFF UK: Aplikovaná matematika II kap 8: Matice a determinanty 1 8 Matice a determinanty 81 Matice - definice a základní vlastnosti Definice Reálnou resp komplexní maticí A typu m n nazveme obdélníkovou
VíceVlastní (charakteristická) čísla a vlastní (charakteristické) Pro zadanou čtvercovou matici A budeme řešit maticovou
1 Vlastní (charakteristická) čísla a vlastní (charakteristické) vektory matice Pro zadanou čtvercovou matici A budeme řešit maticovou rovnici A x = λ x, kde x je neznámá matice o jednom sloupci (sloupcový
Více0 0 a 2,n. JACOBIOVA ITERAČNÍ METODA. Ax = b (D + L + U)x = b Dx = (L + U)x + b x = D 1 (L + U)x + D 1 b. (i) + T J
6 Jacobiova a Gaussova-Seidelova iterační metoda pro řešení systémů lin rovnic Kateřina Konečná/ ITERAČNÍ METODY PRO ŘEŠENÍ SYSTÉMŮ LINEÁRNÍCH ROVNIC Budeme se zabývat řešením soustavy lineárních rovnic
VíceLineární algebra : Skalární součin a ortogonalita
Lineární algebra : Skalární součin a ortogonalita (15. přednáška) František Štampach, Karel Klouda frantisek.stampach@fit.cvut.cz, karel.klouda@fit.cvut.cz Katedra aplikované matematiky Fakulta informačních
VíceNumerické řešení nelineárních rovnic
Numerické řešení nelineárních rovnic Mirko Navara http://cmp.felk.cvut.cz/ navara/ Centrum strojového vnímání, katedra kybernetiky FEL ČVUT Karlovo náměstí, budova G, místnost 104a http://math.feld.cvut.cz/nemecek/nummet.html
VíceM5170: Matematické programování
M5170: Matematické programování Petr Zemánek (Masarykova Univerzita, Brno) Kapitola 3: Numerické metody řešení úloh matematického programování I (verze: 13. listopadu 2018) Obecný úvod Nyní se již konečně
VíceKlasifikace a rozpoznávání. Lineární klasifikátory
Klasifikace a rozpoznávání Lineární klasifikátory Opakování - Skalární součin x = x1 x 2 w = w T x = w 1 w 2 x 1 x 2 w1 w 2 = w 1 x 1 + w 2 x 2 x. w w T x w Lineární klasifikátor y(x) = w T x + w 0 Vyber
VíceÚlohy nejmenších čtverců
Úlohy nejmenších čtverců Petr Tichý 7. listopadu 2012 1 Problémy nejmenších čtverců Ax b Řešení Ax = b nemusí existovat, a pokud existuje, nemusí být jednoznačné. Často má smysl hledat x tak, že Ax b.
VíceDRN: Soustavy linárních rovnic numericky, norma
DRN: Soustavy linárních rovnic numericky, norma Algoritmus (GEM: Gaussova eliminace s částečným pivotováním pro převod rozšířené regulární matice na horní trojúhelníkový tvar). Zadána matice C = (c i,j
VíceMatematická analýza pro informatiky I.
Matematická analýza pro informatiky I. 10. přednáška Diferenciální počet funkcí více proměnných (II) Jan Tomeček jan.tomecek@upol.cz http://aix-slx.upol.cz/ tomecek/index Univerzita Palackého v Olomouci
VíceFunkce v ıce promˇ enn ych Extr emy Pˇredn aˇska p at a 12.bˇrezna 2018
Funkce více proměnných Extrémy Přednáška pátá 12.března 2018 Zdroje informací Diferenciální počet http://homen.vsb.cz/~kre40/esfmat2/fceviceprom.html http://www.studopory.vsb.cz/studijnimaterialy/sbirka_uloh/pdf/7.pdf
VíceMatematika 4 FSV UK, LS Miroslav Zelený
Matematika 4 FSV UK, LS 2017-18 Miroslav Zelený 13. Diferenční rovnice 14. Diferenciální rovnice se separovanými prom. 15. Lineární diferenciální rovnice prvního řádu 16. Lineární diferenciální rovnice
VíceM5170: Matematické programování
M5170: Matematické programování Petr Zemánek (Masarykova Univerzita, Brno) Kapitola 3: Numerické metody řešení úloh matematického programování I (verze: 28. ledna 2019) Obecný úvod Nyní se již konečně
VíceFaculty of Nuclear Sciences and Physical Engineering Czech Technical University in Prague
Tomáš Faculty of Nuclear Sciences and Physical Engineering Czech Technical University in Prague 1 / 63 1 2 3 4 5 6 7 8 9 10 11 2 / 63 Aritmetický vektor Definition 1 Aritmetický vektor x je uspořádaná
VícePrincip řešení soustavy rovnic
Princip řešení soustavy rovnic Tomáš Kroupa 20. května 2014 Tento studijní materiál je spolufinancován Evropským sociálním fondem a státním rozpočtem České republiky. Obsah Formulace úlohy Metody řešení
VíceNumerické metody 6. května FJFI ČVUT v Praze
Extrémy funkcí Numerické metody 6. května 2018 FJFI ČVUT v Praze 1 Úvod Úvod 1D Více dimenzí Kombinatorika Lineární programování Programy 1 Úvod Úvod - Úloha Snažíme se najít extrém funkce, at už jedné
VíceSoustavy linea rnı ch rovnic
[1] Soustavy lineárních rovnic vlastnosti množin řešení metody hledání řešení nejednoznačnost zápisu řešení a) soustavy, 10, b) P. Olšák, FEL ČVUT, c) P. Olšák 2010, d) BI-LIN, e) L, f) 2009/2010, g)l.
VíceMatematika I A ukázkový test 1 pro 2011/2012. x + y + 3z = 1 (2a 1)x + (a + 1)y + z = 1 a
Matematika I A ukázkový test 1 pro 2011/2012 1. Je dána soustava rovnic s parametrem a R x y + z = 1 a) Napište Frobeniovu větu. x + y + 3z = 1 (2a 1)x + (a + 1)y + z = 1 a b) Vyšetřete počet řešení soustavy
VíceKatedra matematiky Fakulty jaderné a fyzikálně inženýrské ČVUT v Praze Příjmení a jméno ➊ ➋ ➌ ➍ ➎ ➏ Bonus
Zkoušková písemná práce č. 1 z předmětu 01MAB4 pondělí 25. května 2015, 9:00 11:00 Vypočítejte integrál y d(, y), kde Ω Objekt Ω načrtněte do obrázku! Ω = { (, y) R 2 :, y 0 4 + y 4 1 ( 4 + y 4 ) 3 16
VíceFREDHOLMOVA ALTERNATIVA
FREDHOLMOVA ALTERNATIVA Pavel Jirásek 1 Abstrakt. V tomto článku se snažíme shrnout dosavadní výsledky týkající se Fredholmovy alternativy (FA). Postupně zmíníme FA na prostorech konečné dimenze, FA pro
VíceLWS při heteroskedasticitě
Stochastické modelování v ekonomii a financích Petr Jonáš 7. prosince 2009 Obsah 1 2 3 4 5 47 1 Předpoklad 1: Y i = X i β 0 + e i i = 1,..., n. (X i, e i) je posloupnost nezávislých nestejně rozdělených
VíceVlastní čísla a vlastní vektory
Vlastní čísla a vlastní vektory 1 Motivace Uvažujme lineární prostor všech vázaných vektorů v rovině, které procházejí počátkem, a lineární zobrazení tohoto prostoru do sebe(lineární transformaci, endomorfismus)
Více1 Báze a dimenze vektorového prostoru 1
1 Báze a dimenze vektorového prostoru 1 Báze a dimenze vektorového prostoru 1 2 Aritmetické vektorové prostory 7 3 Eukleidovské vektorové prostory 9 Levá vnější operace Definice 5.1 Necht A B. Levou vnější
VíceNumerické metody a programování. Lekce 7
Numerické metody a programování Lekce 7 Řešení nelineárních rovnic hledáme řešení x problému f x = 0 strategie: odhad řešení iterační proces postupného zpřesňování řešení výpočet skončen pokud je splněno
VíceVěta o sedlovém bodu a Fredholmova alternativa
Věta o sedlovém bodu a Fredholmova alternativa Petr Tomiczek Fakulta Aplikovaných věd Západočeská univerzita Plzeň 2006 obsah 1 Rozklad Hilbertova prostoru Uzavřený lineární a samoadjungovaný operátor
Více2.6. VLASTNÍ ČÍSLA A VEKTORY MATIC
.6. VLASTNÍ ČÍSLA A VEKTORY MATIC V této kapitole se dozvíte: jak jsou definována vlastní (charakteristická) čísla a vektory čtvercové matice; co je to charakteristická matice a charakteristický polynom
Více7 Konvexní množiny. min c T x. při splnění tzv. podmínek přípustnosti, tj. x = vyhovuje podmínkám: A x = b a x i 0 pro každé i n.
7 Konvexní množiny Motivace. Lineární programování (LP) řeší problém nalezení minima (resp. maxima) lineárního funkcionálu na jisté konvexní množině. Z bohaté škály úloh z této oblasti jmenujme alespoň
Vícefakulty MENDELU v Brně (LDF) s ohledem na disciplíny společného základu (reg. č. CZ.1.07/2.2.00/28.
Extrémy Vyšší matematika LDF MENDELU Podpořeno projektem Průřezová inovace studijních programů Lesnické a dřevařské fakulty MENDELU v Brně (LDF) s ohledem na disciplíny společného základu http://akademie.ldf.mendelu.cz/cz
VíceBAKALÁŘSKÁ PRÁCE. Numerické metody jednorozměrné minimalizace
UNIVERZITA PALACKÉHO V OLOMOUCI PŘÍRODOVĚDECKÁ FAKULTA KATEDRA MATEMATICKÉ ANALÝZY A APLIKACÍ MATEMATIKY BAKALÁŘSKÁ PRÁCE Numerické metody jednorozměrné minimalizace Vedoucí bakalářské práce: RNDr. Horymír
VíceEva Fišerová a Karel Hron. Katedra matematické analýzy a aplikací matematiky Přírodovědecká fakulta Univerzity Palackého v Olomouci.
Ortogonální regrese pro 3-složkové kompoziční data využitím lineárních modelů Eva Fišerová a Karel Hron Katedra matematické analýzy a aplikací matematiky Přírodovědecká fakulta Univerzity Palackého v Olomouci
Vícea vlastních vektorů Příklad: Stanovte taková čísla λ, pro která má homogenní soustava Av = λv nenulové (A λ i I) v = 0.
Výpočet vlastních čísel a vlastních vektorů S pojmem vlastního čísla jsme se již setkali například u iteračních metod pro řešení soustavy lineárních algebraických rovnic. Velikosti vlastních čísel iterační
VíceLiteratura: Kapitoly 3, 4 a 2 d) ze skript Karel Rektorys: Matematika 43, ČVUT, Praha, Text přednášky na webové stránce přednášejícího.
Předmět: MA4 Dnešní látka: Nehomogenní okrajové podmínky. Pokračování OÚ pro PDR (jen pro fajnšmekry). Jednoznačnost zobecněného řešení. Metoda sítí v 1D. Přibližné řešení okrajových úloh. Aproximace vlastních
VíceKatedra aplikované matematiky FEI VŠB Technická univerzita Ostrava
Lineární algebra 9. přednáška: Ortogonalita Dalibor Lukáš Katedra aplikované matematiky FEI VŠB Technická univerzita Ostrava email: dalibor.lukas@vsb.cz http://www.am.vsb.cz/lukas/la Text byl vytvořen
VíceSoustavy. Terminologie. Dva pohledy na soustavu lin. rovnic. Definice: Necht A = (a i,j ) R m,n je matice, b R m,1 je jednosloupcová.
[1] Terminologie [2] Soustavy lineárních rovnic vlastnosti množin řešení metody hledání řešení nejednoznačnost zápisu řešení Definice: Necht A = (a i,j ) R m,n je matice, b R m,1 je jednosloupcová matice.
VíceNumerické metody optimalizace - úvod
Numerické metody optimalizace - úvod Petr Tichý 16. února 2015 1 Organizace přednášek a cvičení 13 přednášek a cvičení. Zápočet: úloha programování a testování úloh v Matlabu. Další informace na blogu
VíceHledání extrémů funkcí
Hledání extrémů funkcí Budeme se zabývat téměř výhradně hledáním minima. Přes nost nalezeného extrému Obecně není hledání extrému tak přesné jako řešení rovnic. Demonstrovat to můžeme na příkladu hledání
Víceftp://math.feld.cvut.cz/pub/olsak/linal/
Petr Olšák Výcuc z textu Lineární algebra určeno pro promítání na přednášce Úvod do algebry http://www.olsak.net/linal.html ftp://math.feld.cvut.cz/pub/olsak/linal/ http://math.feld.cvut.cz/skripta/ua/
Vícez textu Lineární algebra
2 Úvodní poznámky Petr Olšák Výcuc z textu Lineární algebra určeno pro promítání na přednášce Úvod do algebry http://www.olsak.net/linal.html ftp://math.feld.cvut.cz/pub/olsak/linal/ http://math.feld.cvut.cz/skripta/ua/
VíceLineární algebra : Změna báze
Lineární algebra : Změna báze (13. přednáška) František Štampach, Karel Klouda LS 2013/2014 vytvořeno: 8. dubna 2014, 10:47 1 2 13.1 Matice přechodu Definice 1. Nechť X = (x 1,..., x n ) a Y = (y 1,...,
Vícevyjádřete ve tvaru lineární kombinace čtverců (lineární kombinace druhých mocnin). Rozhodněte o definitnosti kvadratické formy κ(x).
Řešené příklady z lineární algebry - část 6 Typové příklady s řešením Příklad 6.: Kvadratickou formu κ(x) = x x 6x 6x x + 8x x 8x x vyjádřete ve tvaru lineární kombinace čtverců (lineární kombinace druhých
Více