Metamodeling. Moderní metody optimalizace 1

Transkript

1 Metamodeling Nejmodernjší oblast optimalizace Urena zejména pro praktické aplikace s velkými výpoetními nároky Vychází z myšlenky, že reálné optimalizaní problémy nejsou sice konvexní, ale jsou do znané míry hladké Cíl: najít aproximaci (meta-model) M problému (modelu) P tak aby: M bylo mén výpoetn nároné než P Aby minimum M a P bylo totožné Moderní metody optimalizace 1

2 Meta-modely v optimalizaci Náhrada úelové funkce Minimum v meta-modelu je rovné minimu vodního modelu íklad optimalizaní úlohy: min = 2 sin(12 4) f x oblast zájmu Moderní metody optimalizace 2

3 Meta-modely v optimalizaci Náhrada omezující funkce Hyperplocha rozdlující doménu na oblast ípustnou a nepípustnou je co nejvíce shodná jak v pvodním modelu, tak v meta-modelu íklad optimalizaní úlohy: min = vzhledem sin 1.1 sin 0 0 Oblast zájmu (kivka pro 2D) Moderní metody optimalizace 3

4 Tvorba meta-modelu Pvodní model je poteba vyhodnotit v nkterých bodech, tzv. bodech návrhu experimentu (DoE z Design of experiment ) Hodnoty odezvy pvodního modelu se proloží kivkou Moderní metody optimalizace 4

5 Struktura obecného meta-modelu DoE Výbr modelu Nastavení modelu Píklad techniky Faktoriální polynom Regrese minima tverc Centrální kompozitní D-optimální Pln náhodné Latin Hypercube Ru vybrané Ortogonální pole Spliny Realizace náhodného pole Množina funkcí a terminál Váhová regrese minima tverc Nejlepší lineární prediktor Genetický algoritmus Metoda plochy odezvy Kriging Genetické programování Sí neuron Zptná propagace BP Neuronové sít Rozhodovací strom Funkce s radiální bází Minimalizace Entropie Induktivní uení Moderní metody optimalizace 5

6 Aproximaní meta-modely Též zvané regresní modely Odezva získaná pomocí metamodelu a pvodního modelu se liší Zástupci: Lineární regrese Kvadratická, polynomiální regrese Moving Least Squares Polynomiální chaos atd. vodní model Meta-model Body DoE vodní model: = 2 sin(12 4) Typ meta-modelu: Polynomiální chaos s Legendrovými polynomy 3. stupn Moderní metody optimalizace 6

7 Interpolaní meta-modely Odezva získaná pomocí meta-modelu a pvodního modelu je totožná Zástupci: Radiální báze Kriging Support vector Machines vodní model Meta-model Body DoE vodní model: = 2 sin(12 4) Typ meta-modelu: Radiální báze Moderní metody optimalizace 7

8 Problém poduení a peuení Moderní metody optimalizace 8

9 Problém poduení a peuení ešení: ti nezávislé sady dat Trénovací Testovací Validaní Moderní metody optimalizace 9

10 Návrh experiment Metody generování: Náhodný návrh LHS návrh Optimální návrh Optimální LHS návrh Faktoriální návrh ídká ížka ídká ížka KPU GQU Moderní metody optimalizace 10

11 DoE design of experiments Faktoriální návrhy (Návrh experiment) a) Pln faktoriální b) áste faktoriální c) Kompositní Moderní metody optimalizace 11

12 DoE Náhodná ísla pseudo-náhodná matematické posloupnosti nap. funkce rand() kvazi-náhodná náhodná, ale rovnomrn rozložená matematické posloupnosti (Sobolovy sekvence) metody založené na kvazi-verzi metody Monte Carlo (Latin Hypercube Sampling) Moderní metody optimalizace 12

13 DoE Metoda Monte Carlo simulaní metoda využívající pseudonáhodná ísla generuje náhodné vektory s pedepsaným náhodným rozdlením Metoda kvazi-monte Carlo využívá kvazi-náhodná ísla Moderní metody optimalizace 13

14 Metoda LHS Latin Hypercube Sampling simulaní metoda typu (kvazi-)monte Carlo využívá kvazi-náhodná ísla vyžaduje ádov mén simulací než Monte Carlo metoda rozdlení defininího na N sim stejn pravdpodobných disjunktních interval výbr vzork ze sted interval zmna poadí hodnot vzork, nikoliv zmna hodnot Moderní metody optimalizace 14

15 Metoda LHS realizace promnné x 1 x 2... x n Moderní metody optimalizace 15

16 Optimal Latin Hypercube Sampling cíl: optimalizovat rovnomrnost rozdlení navržených vektor metody: maximalizace entropie maximalizace minimální vzdálenosti mezi body kritérium založené na potenciální energii minimalizace rozdílu mezi získanou a edepsanou korelaní maticí optimalizaní algoritmus: simulované žíhání Moderní metody optimalizace 16

17 Rovnomrné rozprostení návrhu Audze Eglais (AE) [P. Audze, V. Eglais,1977] - potenciální energie Euklidovská maximin vzdálenost (EMM) [M. Johnson,1990] Modifikovaná L 2 diskrepance (ML2) [T. M. Cioppa, 2007] D-optimalita (Dopt) [Kirsten Smith, 1918; M. Hofwing, 2010] Moderní metody optimalizace 17

18 Ortogonalita návrhu íslo podmínnosti (CN) [T. M. Cioppa, 2007] Pearsonv korelaní koeficient (PMCC) Spearmanv koeficient poadové korelace (SRCC) Kendallv koeficient poadové korelace (KRCC) Moderní metody optimalizace 18

19 Lineární regrese Model: + - vysvtlující veliina (regresor) - vysvtlovaná veliina (odezva regrese) - reziduální odchylka, = 0, Var poadové íslo promnné celkový poet promnných, nebo koeficienty matice návrhu experiment, také zvána jako Valdermondova matice Odhad parametr nap. pomocí metody nejmenších tverc: = Minimální poet bod DoE: +1 Moderní metody optimalizace 19

20 íklad jednoduché lineární regrese Ve zkušebn chtli zjistit, jaká je závislost mezi výkonností téhož výrobku za skutených podmínek provozu. Za tímto úelem bylo vybráno 10 výrobk. U každého byla zmena jak výkonnost v testu X, tak výkonnost za skutených podmínek provozu Y. Namené údaje jsou uvedeny v tabulce. Pedpokládejte lineární závislost. x y [Slovní zadání píkladu pevzato ze skript prof. Jaruškové Pravdpodobnost a matematická statistika, ísla zmna] Moderní metody optimalizace 20

21 íklad jednoduché lineární regrese x = [121, 153, 132, 84, 102, 111, 163, 81, 151, 129]; y = [140, 169, 114, 90, 91, 105, 152, 60, 133, 125]; Psi = [ones(1,10) x]; % matice návrhu experiment Beta_app = (Psi * Psi)\(Psi *y ) Beta_app = x y Model: Moderní metody optimalizace 21

22 Regrese zahrnující interakci veliin Model: = vysvtlující veliina (regresor) - vysvtlovaná veliina (odezva regrese) poet vysvtlujících veliin, - koeficienty Minimální poet bod DoE: 1 + () P. pro = 3: = Odhad parametr nap. pomocí metody nejmenších tverc = - matice návrhu experimentu (tzv. Vandermondova matice) odezva pvodního modelu Moderní metody optimalizace 22

23 Kvadratická regrese Model: - vysvtlující veliina (regresor) - vysvtlovaná veliina (odezva regrese) poet vysvtlujících veliin,, - koeficienty = + + P. pro = 3: = Minimální poet bod DoE: () Moderní metody optimalizace 23

24 íklad jednoduché kvadratické regrese x = [-5, -3, 0, 2, 4]; y = [ , , , , ]; Psi = [ones(1,5) x x.^2]; % matice návrhu experiment Beta_app = (Psi *Psi)\(Psi *y ) Beta_app = x y Model: = 0, , ,02317 Moderní metody optimalizace 24

25 Polynomiální regrese pro 1 vysvtlující vel. Model: = = - vysvtlující veliina (regresor) - vysvtlovaná veliina (odezva regrese) celkový stupe polynomu, - koeficienty Odhad parametr nap. pomocí metody nejmenších tverc = - matice návrhu experimentu (tzv. Vandermondova matice) odezva pvodního modelu Moderní metody optimalizace 25

26 Polynomiální regrese Pascalv trojúhelník pro kompletní polynomy ve 2D (pro 2 vysvtlující veliiny) 1 Konstantní Min. 1 bod x y Lineární Min. 3 body x 2 xy y 2 Kvadratický Min. 6 bod x 3 x 2 y xy 2 y 3 Kubický Min. 10 bod x 4 x 3 y x 2 y 2 xy 3 y 4 Polynom 4. ádu Min. 15 bod Polynom m. ádu Min. (m+1)! Pro více neznámých obdobn, poet bod DoE roste se stupnm polynom a zárove s potem vysvtlujících veliin Minimální poet bod DoE:!!! Moderní metody optimalizace 26

27 Moderní metody optimalizace 27 Kriging (neznámá) funkce: aproximace: ) ( ) ( ) ( x Z x x f y normáln rozdlená náhodná chyba s nenulovou kovariancí ) ( ) 1 ( ) ( 1 x r R y x T y )] ( ([ )] ( ) ( Cov[, ) ( 0, ) ( 2 2 j i j i i i R Z V Z E x x R x Z x Z 1 1 )) ( 1 (1 ) ( ) ( 1 ) ( R x r R x z R x r x T T T V N k j k i k k j i x x 1 2 exp ), ( x x R

28 Kriging Moderní metody optimalizace 28

29 Kriging predikované hodnoty jsou pesné ve známých bodech predikce chyby jsou velké na hrubé ploše a malé na hladké ploše predikce chyby rostou se vzdáleností od známých bod Moderní metody optimalizace 29

30 RBFN (Radial-Basis Function Network) (Sít s radiální bází) Funkce je aproximována: y ( x) N i1 Bázové funkce : xx 2 / h i h i i ( x) ( x) e i r y (x) n N Váhy i vypoteny z rovnosti funkních hodnot funkce a její aproximace v N bodech x i... vede na soustavu lineárních rovnic! Trénovací body Moderní metody optimalizace 30

31 Radiální báze Model: = = - odezva meta-modelu - vysvtlující veliina - váhové koeficienty vektor bázových funkcí - Euklidovská norma centra bázových funkcí poet bod DoE prokládaných meta-modelem Moderní metody optimalizace 31

32 Radiální báze Model: = = Bázové funkce: Fixní =, =, = ln(), Parametrické =e, = +, =, =, =e, Moderní metody optimalizace 32

33 Radiální báze Model: = = Nejjednodušší pípad centra bázových funkcí se ztotožní s body návrhu experimentu Odhad parametr =, = () () () = () Je-li soustava špatn podmínná, pak se dá k diagonále matice íst malé íslo Moderní metody optimalizace 33

34 Ilustrativní píklad radiálních bází Pvodní model: = Meta-model: radiální báze s lineárními fixními bázemi = Body návrhu experimentu = 4,2,6 Odezvy pvodního modelu = 16,4,36 Centra bází: () = 4, () = 2, () =6 = ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) = =,,,,,,,,, Moderní metody optimalizace 34

35 Ilustrativní píklad radiálních bází = =,,,,,,,,, = Centra bází: () = 4, () = 2, () =6 3 = = = = =10 3 =3 =9 Moderní metody optimalizace 35

36 Kombinace aproximaních a interpolaních meta-model Vhodné využít výhody obou typ meta-model Nap. kombinace lineární regrese a radiálních bází Data X, odezvy y Výpoet regresních koeficient pro LR a odezev Model LR: = + + = odezvy = + Odetení hodnot odezvy pvodního modelu a odezvy LR a získání chyby = Moderní metody optimalizace 36

37 Kombinace aproximaních a interpolaních meta-model Aproximace chyby pomocí radiálních bází Model: = = Váhové koeficienty = Celková aproximace: () = () + () Moderní metody optimalizace 37

38 Problém Aproximaní nástroje obvykle vybrány tak, aby byly zna jednodušší než optimalizovaný problém Aproximace pouze na základ výsledk z DoE obvykle nepopisuje problém dostate => nutnost iteraního postupu Moderní metody optimalizace 38

39 Algoritmus 1. DoE vytvoí nová ešení, ohodnotí je na P 2. Pidání nových ešení do M 3. Nastavení (aproximace) M 4. Optimalizace M získání nových ešení 5. Ohodnocení nových ešení na P 6. Pokud ne konvergence, návrat do bodu 2 Moderní metody optimalizace 39

40 Algoritmus 1. Inicializace optimalizaního algoritmu OA obvykle DoE, ohodnocení pomocí P, nastavení M 2. Vytvoení nových ešení OA 3. M vytvoí odhad hodnot nových ešení 4. OA si podle odhadu M vybere, která ešení spoítá pomocí P 5. ešení ohodnocená P vložena do M, nastavení M 6. Pokud OA iteruje, tak pokrauje bodem 2 Moderní metody optimalizace 40

41 Porovnání a Použití algoritm závisí na de v schopnosti meta-modelu vrn popsat tvar problému: Algoritmus je založen na úplné de (meta-model ídí optimalizaci) Algoritmus je naopak založen na znané nede (optimalizace pokud chce, tak použije meta-model) Moderní metody optimalizace 41

42 RBFN (Radial-Basis Function Network) (Sít s radiální bází) Funkce je aproximována: y ( x) N i1 Bázové funkce : xx 2 / h i h i i ( x) ( x) e i r Váhy i vypoteny z rovnosti funkních hodnot funkce a její aproximace v N bodech x i Na aproximaci nalezeno optimum pomocí GA Pidání dalších trénovacích bod Optimum nalezené GA Náhodný bod Bod ve smru lepšího ze dvou posledních optim získaných GA (jednoduchý gradient) Moderní metody optimalizace 42

43 RBFN Jednoduchý testovací íklad ex x y15 x, y 10e sinx Moderní metody optimalizace 43

44 RBFN ešení úlohy ex1 s využitím algoritmu GRADE jako optimalizaní metody Moderní metody optimalizace 44

45 RBFN Moderní metody optimalizace 45

46 Adaptive sampling around LSF [Roos, 2006] Moderní metody optimalizace 46

47 Surrogate Model Appropriate number of sampling points is needed Adaptive updating procedure Multi-objective optimization problem Maximization of the nearest distance of the added point from already sampled points (like minimax metric) To be as close as possible to the approximate limit state surface Moderní metody optimalizace 47

48 Multi-objective adaptive sampling 2D, 27 points Moderní metody optimalizace 48

49 Multi-objective adaptive sampling 12D, 65 points Moderní metody optimalizace 49

50 Implemented Meta-Models RBFN from Matlab Neural Network based CTU implementation of RBFN with different polynomial regression parts Kriging DACE toolbox in Matlab with different polynomial regression parts with regression part found by Genetic Programming Moderní metody optimalizace 50

51 Adaptive update of meta-model Contours of the example (left) and starting DoE (right). Note that the red contour is for F(x) = 0. Moderní metody optimalizace 51

52 Pareto front (top), contours of the problem with DoEs (middle) and DoEs points (bottom). Key: Red added and computed solutions, Blue points that were too close to other Pareto front points, Green the remaining points of population and Blue empty points the original DoE. Moderní metody optimalizace 52

53 Quality of a metamodel RBFN (Matlab) Kriging Moderní metody optimalizace 53

54 Quality of updating procedure Moderní metody optimalizace 54

55 Reference [1] Jin, Y. (2003) A comprehensive survey of fitness approximation in evolutionary computation. Soft Computing Journal, 9(1):3-12. [2] T. W. Simpson, J. D. Peplinski, P. N. Koch and J. K. Allen. (2001) Metamodels for Computer-based Engineering Design: Survey and recommendations. Engineering with Computers 17: [3] H. Nakayama, K. Inoue and Y.Yoshimori (2004) Approximate optimization using computational intelligence and its application to reinforcement of cable-stayed bridges, ECCOMAS. [4] M. K. Karakasis and K. C. Giannakoglou (2004) On the use of surrogate evaulation models in multi-objective evolutionary algorithms, ECCOMAS. [5] Ibrahimbegovi, A., Knopf-Lenoir, C., Kuerová, A., Villon, P., (2004) Optimal design and optimal control of elastic structures undergoing finite rotations, International Journal for Numerical Methods in Engineering. Moderní metody optimalizace 55

56 Reference [6] Forrester, A., Sobester A., and Keane A., (2008) Engineering design via surrogate modelling: a practical guide. John Wiley & Sons. [7] Weise, Thomas, et al. "Why is optimization difficult?" Nature- Inspired Algorithms for Optimisation. Springer Berlin Heidelberg, [8] D. C. Montgomery. Design and Analysis of Experiments, 5th Edition. Wiley, June [9] R. H. Myers and D. C. Montgomery. Response Surface Methodology: Process and Product Optimization Using Designed Experiments. New York: Wiley, Moderní metody optimalizace 56

57 i píprav této pednášky byla použita ada materiál laskav poskytnutých Ing. Adélou Pospíšilovou ze Stavební fakulty VUT. Ostatní zdroje jsou ocitovány v míst použití. Prosba. V pípad, že v textu objevíte njakou chybu nebo budete mít námt na jeho vylepšení, ozvte se prosím na matej.leps@fsv.cvut.cz. Datum poslední revize: Verze: 001 Moderní metody optimalizace 57