Metamodeling Nejmodernjší oblast optimalizace Urena zejména pro praktické aplikace s velkými výpoetními nároky Vychází z myšlenky, že reálné optimalizaní problémy nejsou sice konvexní, ale jsou do znané míry hladké Cíl: najít aproximaci (meta-model) M problému (modelu) P tak aby: M bylo mén výpoetn nároné než P Aby minimum M a P bylo totožné Moderní metody optimalizace 1
Meta-modely v optimalizaci Náhrada úelové funkce Minimum v meta-modelu je rovné minimu vodního modelu íklad optimalizaní úlohy: min = 2 sin(12 4) f x oblast zájmu Moderní metody optimalizace 2
Meta-modely v optimalizaci Náhrada omezující funkce Hyperplocha rozdlující doménu na oblast ípustnou a nepípustnou je co nejvíce shodná jak v pvodním modelu, tak v meta-modelu íklad optimalizaní úlohy: min = 3.7 + 4 vzhledem sin 1.1 sin 0 0 Oblast zájmu (kivka pro 2D) Moderní metody optimalizace 3
Tvorba meta-modelu Pvodní model je poteba vyhodnotit v nkterých bodech, tzv. bodech návrhu experimentu (DoE z Design of experiment ) Hodnoty odezvy pvodního modelu se proloží kivkou Moderní metody optimalizace 4
Struktura obecného meta-modelu DoE Výbr modelu Nastavení modelu Píklad techniky Faktoriální polynom Regrese minima tverc Centrální kompozitní D-optimální Pln náhodné Latin Hypercube Ru vybrané Ortogonální pole Spliny Realizace náhodného pole Množina funkcí a terminál Váhová regrese minima tverc Nejlepší lineární prediktor Genetický algoritmus Metoda plochy odezvy Kriging Genetické programování Sí neuron Zptná propagace BP Neuronové sít Rozhodovací strom Funkce s radiální bází Minimalizace Entropie Induktivní uení Moderní metody optimalizace 5
Aproximaní meta-modely Též zvané regresní modely Odezva získaná pomocí metamodelu a pvodního modelu se liší Zástupci: Lineární regrese Kvadratická, polynomiální regrese Moving Least Squares Polynomiální chaos atd. vodní model Meta-model Body DoE vodní model: = 2 sin(12 4) Typ meta-modelu: Polynomiální chaos s Legendrovými polynomy 3. stupn Moderní metody optimalizace 6
Interpolaní meta-modely Odezva získaná pomocí meta-modelu a pvodního modelu je totožná Zástupci: Radiální báze Kriging Support vector Machines vodní model Meta-model Body DoE vodní model: = 2 sin(12 4) Typ meta-modelu: Radiální báze Moderní metody optimalizace 7
Problém poduení a peuení Moderní metody optimalizace 8
Problém poduení a peuení ešení: ti nezávislé sady dat Trénovací Testovací Validaní Moderní metody optimalizace 9
Návrh experiment Metody generování: Náhodný návrh LHS návrh Optimální návrh Optimální LHS návrh Faktoriální návrh ídká ížka ídká ížka KPU GQU Moderní metody optimalizace 10
DoE design of experiments Faktoriální návrhy (Návrh experiment) a) Pln faktoriální b) áste faktoriální c) Kompositní Moderní metody optimalizace 11
DoE Náhodná ísla pseudo-náhodná matematické posloupnosti nap. funkce rand() kvazi-náhodná náhodná, ale rovnomrn rozložená matematické posloupnosti (Sobolovy sekvence) metody založené na kvazi-verzi metody Monte Carlo (Latin Hypercube Sampling) Moderní metody optimalizace 12
DoE Metoda Monte Carlo simulaní metoda využívající pseudonáhodná ísla generuje náhodné vektory s pedepsaným náhodným rozdlením Metoda kvazi-monte Carlo využívá kvazi-náhodná ísla Moderní metody optimalizace 13
Metoda LHS Latin Hypercube Sampling simulaní metoda typu (kvazi-)monte Carlo využívá kvazi-náhodná ísla vyžaduje ádov mén simulací než Monte Carlo metoda rozdlení defininího na N sim stejn pravdpodobných disjunktních interval výbr vzork ze sted interval zmna poadí hodnot vzork, nikoliv zmna hodnot Moderní metody optimalizace 14
Metoda LHS realizace promnné x 1 x 2... x n 3 4 5 6 7 8 9-4 -3-2 -1 0 1 2 1 2 3 4 5 6 7 32 34 36 38 40 42 44 4 5 6 7 8 9 10 73 76 79 82 85 88 91 6 7 8 9 10 11 12 Moderní metody optimalizace 15
Optimal Latin Hypercube Sampling cíl: optimalizovat rovnomrnost rozdlení navržených vektor metody: maximalizace entropie maximalizace minimální vzdálenosti mezi body kritérium založené na potenciální energii minimalizace rozdílu mezi získanou a edepsanou korelaní maticí optimalizaní algoritmus: simulované žíhání Moderní metody optimalizace 16
Rovnomrné rozprostení návrhu Audze Eglais (AE) [P. Audze, V. Eglais,1977] - potenciální energie Euklidovská maximin vzdálenost (EMM) [M. Johnson,1990] Modifikovaná L 2 diskrepance (ML2) [T. M. Cioppa, 2007] D-optimalita (Dopt) [Kirsten Smith, 1918; M. Hofwing, 2010] Moderní metody optimalizace 17
Ortogonalita návrhu íslo podmínnosti (CN) [T. M. Cioppa, 2007] Pearsonv korelaní koeficient (PMCC) Spearmanv koeficient poadové korelace (SRCC) Kendallv koeficient poadové korelace (KRCC) Moderní metody optimalizace 18
Lineární regrese Model: + - vysvtlující veliina (regresor) - vysvtlovaná veliina (odezva regrese) - reziduální odchylka, = 0, Var poadové íslo promnné celkový poet promnných, nebo koeficienty matice návrhu experiment, také zvána jako Valdermondova matice Odhad parametr nap. pomocí metody nejmenších tverc: = Minimální poet bod DoE: +1 Moderní metody optimalizace 19
íklad jednoduché lineární regrese Ve zkušebn chtli zjistit, jaká je závislost mezi výkonností téhož výrobku za skutených podmínek provozu. Za tímto úelem bylo vybráno 10 výrobk. U každého byla zmena jak výkonnost v testu X, tak výkonnost za skutených podmínek provozu Y. Namené údaje jsou uvedeny v tabulce. Pedpokládejte lineární závislost. x y 121 140 153 169 132 114 84 90 102 91 111 105 163 152 81 60 151 133 129 125 [Slovní zadání píkladu pevzato ze skript prof. Jaruškové Pravdpodobnost a matematická statistika, ísla zmna] Moderní metody optimalizace 20
íklad jednoduché lineární regrese x = [121, 153, 132, 84, 102, 111, 163, 81, 151, 129]; y = [140, 169, 114, 90, 91, 105, 152, 60, 133, 125]; Psi = [ones(1,10) x]; % matice návrhu experiment Beta_app = (Psi * Psi)\(Psi *y ) Beta_app = -8.99340124551449 1.0341760492707 x y 121 140 153 169 132 114 84 90 102 91 111 105 163 152 81 60 151 133 129 125 Model: 8.9934 + 1.0341 Moderní metody optimalizace 21
Regrese zahrnující interakci veliin Model: = + + - vysvtlující veliina (regresor) - vysvtlovaná veliina (odezva regrese) poet vysvtlujících veliin, - koeficienty Minimální poet bod DoE: 1 + () P. pro = 3: = + + + + + + Odhad parametr nap. pomocí metody nejmenších tverc = - matice návrhu experimentu (tzv. Vandermondova matice) odezva pvodního modelu Moderní metody optimalizace 22
Kvadratická regrese Model: - vysvtlující veliina (regresor) - vysvtlovaná veliina (odezva regrese) poet vysvtlujících veliin,, - koeficienty = + + P. pro = 3: = + + + + + + + + + Minimální poet bod DoE: 1 + + () Moderní metody optimalizace 23
íklad jednoduché kvadratické regrese x = [-5, -3, 0, 2, 4]; y = [26.274046,9.0840786,1.5915102,4.2260288,17.378550]; Psi = [ones(1,5) x x.^2]; % matice návrhu experiment Beta_app = (Psi *Psi)\(Psi *y ) Beta_app = 0.679526827730912 0.047343996311551 1.02317162054266 x y -5 26.274046-3 9.0840786 0 1.5915102 2 4.2260288 4 17.378550 Model: = 0,67953 + 0,04734 + 1,02317 Moderní metody optimalizace 24
Polynomiální regrese pro 1 vysvtlující vel. Model: = + + + = - vysvtlující veliina (regresor) - vysvtlovaná veliina (odezva regrese) celkový stupe polynomu, - koeficienty Odhad parametr nap. pomocí metody nejmenších tverc = - matice návrhu experimentu (tzv. Vandermondova matice) odezva pvodního modelu Moderní metody optimalizace 25
Polynomiální regrese Pascalv trojúhelník pro kompletní polynomy ve 2D (pro 2 vysvtlující veliiny) 1 Konstantní Min. 1 bod x y Lineární Min. 3 body x 2 xy y 2 Kvadratický Min. 6 bod x 3 x 2 y xy 2 y 3 Kubický Min. 10 bod x 4 x 3 y x 2 y 2 xy 3 y 4 Polynom 4. ádu Min. 15 bod Polynom m. ádu Min. (m+1)! Pro více neznámých obdobn, poet bod DoE roste se stupnm polynom a zárove s potem vysvtlujících veliin Minimální poet bod DoE:!!! Moderní metody optimalizace 26
Moderní metody optimalizace 27 Kriging (neznámá) funkce: aproximace: ) ( ) ( ) ( x Z x x f y normáln rozdlená náhodná chyba s nenulovou kovariancí ) ( ) 1 ( ) ( 1 x r R y x T y )] ( ([ )] ( ) ( Cov[, ) ( 0, ) ( 2 2 j i j i i i R Z V Z E x x R x Z x Z 1 1 )) ( 1 (1 ) ( ) ( 1 ) ( 1 2 1 1 2 R x r R x z R x r x T T T V N k j k i k k j i x x 1 2 exp ), ( x x R
Kriging Moderní metody optimalizace 28
Kriging predikované hodnoty jsou pesné ve známých bodech predikce chyby jsou velké na hrubé ploše a malé na hladké ploše predikce chyby rostou se vzdáleností od známých bod Moderní metody optimalizace 29
RBFN (Radial-Basis Function Network) (Sít s radiální bází) Funkce je aproximována: y ( x) N i1 Bázové funkce : xx 2 / h i h i i ( x) ( x) e i r y (x) 1 2 3 n N Váhy i vypoteny z rovnosti funkních hodnot funkce a její aproximace v N bodech x i... vede na soustavu lineárních rovnic! Trénovací body Moderní metody optimalizace 30
Radiální báze Model: = = - odezva meta-modelu - vysvtlující veliina - váhové koeficienty vektor bázových funkcí - Euklidovská norma centra bázových funkcí poet bod DoE prokládaných meta-modelem Moderní metody optimalizace 31
Radiální báze Model: = = Bázové funkce: Fixní =, =, = ln(), Parametrické =e, = +, =, =, =e, Moderní metody optimalizace 32
Radiální báze Model: = = Nejjednodušší pípad centra bázových funkcí se ztotožní s body návrhu experimentu Odhad parametr =, = () () () = () Je-li soustava špatn podmínná, pak se dá k diagonále matice íst malé íslo Moderní metody optimalizace 33
Ilustrativní píklad radiálních bází Pvodní model: = Meta-model: radiální báze s lineárními fixními bázemi = Body návrhu experimentu = 4,2,6 Odezvy pvodního modelu = 16,4,36 Centra bází: () = 4, () = 2, () =6 = ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) = =,,,,,,,,, Moderní metody optimalizace 34
Ilustrativní píklad radiálních bází = =,,,,,,,,, = Centra bází: () = 4, () = 2, () =6 3 = = = 4 +8 2 +0 6 =21+81+03=10 3 =3 =9 Moderní metody optimalizace 35
Kombinace aproximaních a interpolaních meta-model Vhodné využít výhody obou typ meta-model Nap. kombinace lineární regrese a radiálních bází Data X, odezvy y Výpoet regresních koeficient pro LR a odezev Model LR: = + + = odezvy = + Odetení hodnot odezvy pvodního modelu a odezvy LR a získání chyby = Moderní metody optimalizace 36
Kombinace aproximaních a interpolaních meta-model Aproximace chyby pomocí radiálních bází Model: = = Váhové koeficienty = Celková aproximace: () = () + () Moderní metody optimalizace 37
Problém Aproximaní nástroje obvykle vybrány tak, aby byly zna jednodušší než optimalizovaný problém Aproximace pouze na základ výsledk z DoE obvykle nepopisuje problém dostate => nutnost iteraního postupu Moderní metody optimalizace 38
Algoritmus 1. DoE vytvoí nová ešení, ohodnotí je na P 2. Pidání nových ešení do M 3. Nastavení (aproximace) M 4. Optimalizace M získání nových ešení 5. Ohodnocení nových ešení na P 6. Pokud ne konvergence, návrat do bodu 2 Moderní metody optimalizace 39
Algoritmus 1. Inicializace optimalizaního algoritmu OA obvykle DoE, ohodnocení pomocí P, nastavení M 2. Vytvoení nových ešení OA 3. M vytvoí odhad hodnot nových ešení 4. OA si podle odhadu M vybere, která ešení spoítá pomocí P 5. ešení ohodnocená P vložena do M, nastavení M 6. Pokud OA iteruje, tak pokrauje bodem 2 Moderní metody optimalizace 40
Porovnání a Použití algoritm závisí na de v schopnosti meta-modelu vrn popsat tvar problému: Algoritmus je založen na úplné de (meta-model ídí optimalizaci) Algoritmus je naopak založen na znané nede (optimalizace pokud chce, tak použije meta-model) Moderní metody optimalizace 41
RBFN (Radial-Basis Function Network) (Sít s radiální bází) Funkce je aproximována: y ( x) N i1 Bázové funkce : xx 2 / h i h i i ( x) ( x) e i r Váhy i vypoteny z rovnosti funkních hodnot funkce a její aproximace v N bodech x i Na aproximaci nalezeno optimum pomocí GA Pidání dalších trénovacích bod Optimum nalezené GA Náhodný bod Bod ve smru lepšího ze dvou posledních optim získaných GA (jednoduchý gradient) Moderní metody optimalizace 42
RBFN Jednoduchý testovací íklad ex1 2 2 0.01 x10 0.01 y15 x, y 10e sinx Moderní metody optimalizace 43
RBFN ešení úlohy ex1 s využitím algoritmu GRADE jako optimalizaní metody Moderní metody optimalizace 44
RBFN Moderní metody optimalizace 45
Adaptive sampling around LSF [Roos, 2006] Moderní metody optimalizace 46
Surrogate Model Appropriate number of sampling points is needed Adaptive updating procedure Multi-objective optimization problem Maximization of the nearest distance of the added point from already sampled points (like minimax metric) To be as close as possible to the approximate limit state surface Moderní metody optimalizace 47
Multi-objective adaptive sampling 2D, 27 points Moderní metody optimalizace 48
Multi-objective adaptive sampling 12D, 65 points Moderní metody optimalizace 49
Implemented Meta-Models RBFN from Matlab Neural Network based CTU implementation of RBFN with different polynomial regression parts Kriging DACE toolbox in Matlab with different polynomial regression parts with regression part found by Genetic Programming Moderní metody optimalizace 50
Adaptive update of meta-model Contours of the example (left) and starting DoE (right). Note that the red contour is for F(x) = 0. Moderní metody optimalizace 51
Pareto front (top), contours of the problem with DoEs (middle) and DoEs points (bottom). Key: Red added and computed solutions, Blue points that were too close to other Pareto front points, Green the remaining points of population and Blue empty points the original DoE. Moderní metody optimalizace 52
Quality of a metamodel RBFN (Matlab) Kriging Moderní metody optimalizace 53
Quality of updating procedure Moderní metody optimalizace 54
Reference [1] Jin, Y. (2003) A comprehensive survey of fitness approximation in evolutionary computation. Soft Computing Journal, 9(1):3-12. [2] T. W. Simpson, J. D. Peplinski, P. N. Koch and J. K. Allen. (2001) Metamodels for Computer-based Engineering Design: Survey and recommendations. Engineering with Computers 17: 129 150. [3] H. Nakayama, K. Inoue and Y.Yoshimori (2004) Approximate optimization using computational intelligence and its application to reinforcement of cable-stayed bridges, ECCOMAS. [4] M. K. Karakasis and K. C. Giannakoglou (2004) On the use of surrogate evaulation models in multi-objective evolutionary algorithms, ECCOMAS. [5] Ibrahimbegovi, A., Knopf-Lenoir, C., Kuerová, A., Villon, P., (2004) Optimal design and optimal control of elastic structures undergoing finite rotations, International Journal for Numerical Methods in Engineering. Moderní metody optimalizace 55
Reference [6] Forrester, A., Sobester A., and Keane A., (2008) Engineering design via surrogate modelling: a practical guide. John Wiley & Sons. [7] Weise, Thomas, et al. "Why is optimization difficult?" Nature- Inspired Algorithms for Optimisation. Springer Berlin Heidelberg, 2009. 1-50. [8] D. C. Montgomery. Design and Analysis of Experiments, 5th Edition. Wiley, June 2000. [9] R. H. Myers and D. C. Montgomery. Response Surface Methodology: Process and Product Optimization Using Designed Experiments. New York: Wiley, 1995. Moderní metody optimalizace 56
i píprav této pednášky byla použita ada materiál laskav poskytnutých Ing. Adélou Pospíšilovou ze Stavební fakulty VUT. Ostatní zdroje jsou ocitovány v míst použití. Prosba. V pípad, že v textu objevíte njakou chybu nebo budete mít námt na jeho vylepšení, ozvte se prosím na matej.leps@fsv.cvut.cz. Datum poslední revize: 16.12.2018 Verze: 001 Moderní metody optimalizace 57