Design of experiment Návrh experimentu

Transkript

1 Design of experiment Návrh experimentu

2 Cíl kurzu Seznámit studenty s metodologií, postupy a software pro návrh experimentu pomocí teorie a praktických ukázek Kurz je úspěšný pokud: Student si uvědomí jak sám provádí experimenty Student si pamatuje co je DOE a proč se používá Student šíří nabité poznání dále Vyučující poslední den přednáší pro více než dva studenty

3 Osnova Den 1. DOE teorie + software + příklady Den 2. Praktická ukázka (vrtulník - soutěž týmů)

4 Osnova Den 1. DOE teorie + software + příklady Co je to experiment Jak experimentujeme Co je DOE K čemu je to dobré Kroky DOE Předpoklady DOE DOE v krocích Software Příklady Matematika v pozadí F test, ANOVA

5 Osnova Den 2. Praktická ukázka (soutěž týmů) Zadání úlohy Poznání problému Návrh experimentu Měření Vyhodnocení experimentu Soutěž Vyhlášení vítězů

6 DOE - vrtulník Návrh konstrukce papírového vrtulníku Na začátku je třeba prozkoumat úlohu Zjistit všechny možné faktory Cíl 1) maximalizovat dobu letu vrtulníku 2) dosáhnout požadovanou dobu letu vrtulníku

7 Co je to experiment Experiment je test nebo série testů kdy se ze změn vstupních proměnných nebo faktorů systému (řízených X neřízených) snažíme určit vztahy mezi změnami vstupu a změnami pozorovanými na výstupu systému (Montgomery, 2001) Co se stane s výstupem když kombinujeme vstupy a nastavení systému Experimentování je vědecká metoda, která má za cíl testování hypotéz čí existujících teorií Vyplňuje mezeru mezi teorií a skutečností

8 Každodenní experiment Experiment je jednou ze základních metod poznání Experiment je starý jako lidstvo samo Neandrtálec Co se stane když sním tuhle krásnou zelenou houbu Chytrý neandrtálec - testování nesmí ovlivnit normální chování systému provede test na kolegovi neandrtálci Experiment v každodenním životě Fotografie objektiv, expozičníčas, ISO,. Pěstování květin frekvence zalévání, světlo, povídání (experimentálně neprokázané) Nejlevnější studentské jídlo? Jaký další experiment vás napadá?

9 Průmyslový experiment Výrobní proces je jednou z oblastí s největším počtem experimentů Zisk = velká motivace pro experimentování (optimalizaci) Produkce sýra: Cíl : dosažení požadované chuti a vůně, konzistence a ceny Vstupní proměnné: Suroviny Doba a teplota zrání U průmyslového experimentu jde nejčastěji o maximalizaci zisku

10 Vědecký experiment Experiment je nedílnou součástí vědecké práce Použití k ověření hypotéz Maximalizace výtěžnosti proteinu Cíl maximální množství proteinu Vstupní proměnné: Otáčky třepačky Médium Teplota Počáteční OD

11 Jak experimentujeme Zamyslete se nad tím jak provádíte experiment Máme systém, který neznáme, se dvěma vstupy a jedním výstupem Jak nalezneme maximální hodnotu výstupu při nejmenším počtu měření?

12 Standardní přístup One factor at a time (OFAT) Změna pouze jednoho parametru ostatní zafixované Nejprve měníme X1 a po nalezení optima měníme X2 Optimum nalezené pomocí OFAT Responce surface Skutečné optimum

13 Standardní přístup Nevýhody OFAT: Nemusí najít skutečné optimum Neurčíme jaký vliv má daný faktor na výstup systému Nelze zjistit vzájemné interakce mezi faktory Není znám počet experimentů Pro každý sledovaný výstup systému je nutné provést OFAT samostatně Minimální poznání systému a jeho chování Jde to udělat lépe? Nejpřesnější experiment změřit vše

14 DOE - SixSigma DOE Design Of Experiement Návrh experimentu či experimentální design Metoda pro návrh efektivního experimetnu Je součástí SixSigma metodologie Strategie řízení a zlepšování procesů (kvality firmy) Vyvinuto Motorola 1986, zdokonaleno Honeywell Sada nástrojů pro řízení procesů - DMAIC SixSigma - šest směrodatných odchylek

15 Motivační příklad Co musíme vědět před prováděním experimentu? Co od experimentu očekáváme?

16 Motivační příklad Co musíme vědět před návrhem: Znalost procesu Vstupní proměnné Měřitelné Neměřitelné Neznámé Znalost limitů Chyby měření Co od návrhu očekáváme: Lépe poznat proces Nalézt významné faktory Zjistit, které proměnné jsou na sobě závislé Vytvořit matematický model pro predikci a optimalizaci Udělat to co nejefektivněji

17 Standardní přístup Optimalizace procesu Jak provést optimalizaci procesu s dvěma vstupními parametry a jedním výstupem? Proces je reprezentován rovnicí do které dosazujeme OFAT

18 DOE Historie 1920 full faktorial design - Fisher 1930 fractional factorial design 1935 první použití pro optimalizaci produkce brambor 1950 DOE Taguchi vytvořil jednoduché a srozumitelné nástroje a postupy pro DOE 1950 současnost velmi sporadické využití DOE Nejrozšířenější technikou provádění experimentu je stále OFAT

19 DOE co to je Množina nástrojů a postupů pro optimální návrh a vyhodnocení plánovaného experimentu Plánovaný experiment : cílená změna vstupních faktorů Bez cílených změn nelze poznat proces Základní kroky DOE: Definice nebo popis problému Stanovení sledované proměnné response Výběr faktorů a úrovní Výběr plánu experimentu Provedení experimentu Analýza dat Závěry a doporučení

20 DOE cíl Co nejvíce poznat proces Co nejmenší počet měření Matematický model systému možnost optimalizace faktorů Určení vlivu řiditelných a neřiditelných proměnných na systém Neřiditelné proměnné odpovídají za variabilitu výsledného produktu Snažíme se najít optimální nastavenířiditelných proměnných, tak abychom minimalizovali vliv neřiditelných proměnných Nastavit faktory tak, abychom dosáhli požadovaného výstupu Nastavit faktory tak, aby byla variabilita výstupu co nejmenší

21 DOE - responce Poskytuje užitečnou informaci o procesu Více odezev cena X kvalita Často se sleduje aritmetický průměr nebo směrodatná odchylka zákazníkem požadované charakteristiky Kvalita měřicího procesu při malé přesnosti měření se dají odhalit pouze velké efekty zvolených faktorů.

22 DOE - faktory Nutná znalost procesu Osvědčuje se kombinace praktických zkušeností a teoretických vědomostí Musí se vybrat faktory, jež se budou v procesu měnit Vybrat důležité faktory V jaké oblasti se budou měnit Ve kterých hodnotách faktorů se budou provádět měření

23 DOE - Pojmy Vstupní proměnné faktory Spojitéči kategorické Stroje nebo přístroje a jejich nastavení Různé technologie nebo metody výroby Používaný vstupní materiál Operátoři nebo směny Vše, co transformuje vstupní materiál na výstupní produkt Výstupní proměnná odezva (responce) Odezva může obsahovat jednu nebo více jakostních charakteristik (objektivní X subjektivní) Je to ta veličina nebo ty veličiny, jež sledujeme, abychom zlepšili proces či uspokojili zákazníka

24 DOE - stručně Určit nastavení faktorů pro měření odezvy Výstupem je tabulka hodnot pro měření Měřený výstup se zapisuje do této tabulky Počet měření závisí na počtu faktorů, počtu úrovní a počtu replikací Určit významné faktory - ANOVA Určit vliv faktorů na výstup metoda nejstrmějšího spádu Ověřit splnění předpokladů Určit matematický model popisující systém

25 DOE plán a provedení experimentu Plán experimentu: matice s hodnotami faktorů Počet sloupců = počet faktorů Počet řádků = počet měření = počet úrovnípočet faktorů * počet replikací 3 faktory Faktor na spodní úrovni -, faktor na horní úrovni + Zobrazení v 3D prostoru

26 DOE plán a provedení experimentu Počet opakovaní měření Pořadí jednotlivých měření - znáhodnění Výběr typu návrhu experimentu Dodržení návrhu experimentu Chyby provedené při experimentu mohou zásadně ovlivnit výsledek analýzy

27 DOE analýza naměřených dat Ruční analýza - Excel Statistickéči DOE software: Unscrambler Minitab Design expert Musíme rozumět jednotlivým krokům

28 DOE kroky efektivního designu Definice problému: Stanovení cíle Počet faktorů a jejich limity DOE responce: Nalezení nejdůležitějších faktorů, hodně faktorů Nalezení hlavních efektů a interakcí, malé množství faktorů Optimalizace,málo faktorů Diskuze expertů First screening Advanced screening Optimization DOE Optimalizace, hodně faktorů Nelze pomocí DOE

29 DOE typ úkolu Cíl Předpoklad Problém Nevýhody Typ návrhu First screening Najít hlavní efekty Hodně faktorů Najít hlavní efekty a určit jejich vliv na systém Není možné rozlišit mezi vlivem hlavních faktorů a interakcí Fractional factorial Advaced screening Najít hlavní efekty a interakce Málo faktorů Interakce mezi dvojicemi faktorů, Detekovat nelinearitu Exponenciální množství experimetů Full factorial Fractional factorial

30 DOE typ návrhu Full factorial dvě úrovně Počet měření = 2^n, n = počet faktorů Hlavní efekty a interakce Fractional factorial dvě úrovně Počet měření = 2^(n p), p = velikost částečného faktoriálu Nejistota:

31 DOE počet opakování měření Odhalení chyby měření Hodnota výstupu Vliv faktoru na výstup faktor

32 DOE znáhodnění Odhalení neznámých faktorů Pokovení materiálu v lázní Kvalita pokovení Teplota T1 Teplota T2 čas Jaká teplota je lepší?

33 DOE centrální vzorek Očekáváme nelinearitu v závislosti výstupu na vstupu? Skutečná odezva Hodnota výstupu Předpokládaná odezva faktor

34 DOE uspořádání do bloků Využívá ke snížení variability náhodné složky V případě, kdy očekáváme významnou variabilitu odezvy a daný faktor nelze z experimentů vyloučit Experimenty jsou uspořádány do bloků, tak aby v rámci bloku probíhaly experimenty za podobných podmínek Vliv operátora, směny, dávky,

35 DOE analýza dat 1. Popis dat pomocí modelu 2. Vyhodnocení modelu 3. Vyhodnocení jednotlivých faktorů a interakcí Analýza efektů ANOVA analýza variance Testování významnosti Regrese MLR: multiple linear regression PLS: partial least squares regression Výsledek Vliv faktoru na výsledek Významnost faktoru

36 DOE - model Modely používané pro DOE: Lineární model pro hlavní faktory: Lineární model pro hlavní faktory a interakce:

37 DOE určení vlivu faktorů Cílem je zjistit jaký vliv má faktor na výstupní proměnnou a jak významný faktor je Vliv faktoru metoda nejstrmějšího spádu Významnost faktorů ANOVA ANalysis Of Variance Testování hypotéz o vlivu faktorů Testování na 5% hladině významnosti P hodnota - určuje významnost daného faktoru Testování hypotéz významnosti jednotlivých faktorů Jakou měrou přispívají jednotlivé faktory k varianci výstupu

38 Pěkné obrázky Graf hlavních faktorů graf interakcí

39 DOE ANOVA Předpoklad odezva systému má normální rozdělení DOE vyšetřování faktorů = Multi way ANOVA Měří efekt jednotlivých faktorů najednou Nejdůležitější pro nás ANOVA table Příklad na 2 way ANOVA pro dva faktory

40 DOE ANOVA T-test používá se k porovnání dvou náhodných proměnný, porovnání středních hodnot dvou proměnných (musí mít stejné rozptyly) Pokud chceme testovat více proměnných je lepší použít ANOVA protože se dopouštíme menší chyby než použitím T testu pro všechny kombinace proměnných ANOVA se používá k testování hypotéz, že proměnné neovlivňují odezvu testujeme jestli různé úrovně faktoru ovlivňují odezvu

41 DOE ANOVA P-hodnota typickým výstupem počítačových programů pro testování hypotéz Udává mezní hladinu významnosti, při které bychom hypotézu ještě zamítali Hypotézu H0 zamítneme na hladině významnosti alfa, právě když p-hodnota < alfa V případě DOE platí, že hypotézu o tom, že faktor neovlivňuje významně odezvu zamítneme pokud P- hodnota je menší než alfa

42 DOE ANOVA Hladina významnosti alfa = 0,05, 0,01 0,001 Udává nám pravděpodobnost správnosti rozhodnutí o zamítnutí hypotézy (chyba 1. druhu) Pokud nám testování hypotézy na hladině významnosti alfa=0,05 řekne, že můžeme hypotézu zamítnout, pak víme, že správnost tohoto rozhodnutí je 95% Čím nižší hladina významnosti tím důvěryhodnější výsledky V případě DOE potřebujeme vědět, zda můžeme hypotézu zamítnout, proto používáme hladinu významnosti

43 DOE ANOVA T-test test o rozdílu středních hodnot n1 a n2 dvou nezávislých náhodných výběrů V našem případě odpovídají dva výběry různým nastavením faktoru, který ovlivňuje odezvu systému y Testem zjistíme zda má změna faktoru vliv na odezvu systému Pokud se potvrdí hypotéza o rovnosti středních hodnot pak změna faktoru nemá významný vliv na odezvu Pokud se hypotéza o rovnosti středních hodnot zamítne pak změna faktoru má významný vliv na odezvu

44 DOE ANOVA Jak již bylo výše uvedeno, při jedno faktorové analýze rozptylu se předpokládá, že k nezávislých výběrů hodnot znaku Y pochází z normálních rozdělení se stejnými rozptyly. To znamená, že před vlastním testem by měl být ověřen předpoklad o normalitě a předpoklad stejných rozptylech. K ověření předpokladu o normalitě lze použít některý z testů hypotéz o modelu rozdělení, ale v praxi se od toho obvykle upouští. Mimo jiné i proto, že pokud odchylky skutečného rozdělení od normálního rozdělení nejsou příliš markantní, neovlivňují zpravidla závěry, k nimž se při analýze rozptylu dochází. Navíc máme v mnoha praktických úlohách, zejména v psychologickém a pedagogickém výzkumu, dobré důvody být o normalitě studovaných proměnných přesvědčeni.

45 DOE 2 way ANOVA Hlavní myšlenka: rozdělit varianci do dvou tříd Variance mezi faktory Variance v rámci jednoho faktoru Jestliže je variance mezi faktory větší než uvnitř faktoru můžeme říci, že je zde významný rozdíl mezi faktory 2 way ANOVA dva faktory Variance je rozdělena do čtyř tříd Faktor A Faktor B Kombinace faktorů A a B Variance uvnitř tříd

46 DOE 2 way ANOVA 3 samostatné statistické testy (založené na F testu) Porovnání prvních tří zdrojů variance s variancí uvnitř tříd Výpočet p hodnoty pro každý test testujeme jednotlivé hypotézy, že faktor není významným zdrojem variance Na základě velikosti p hodnoty můžeme určit významnost daného faktoru

47 DOE 2 way ANOVA Dva faktory: A B Faktor A má a úrovní (2) Faktor B má b úrovní (2) Kombinace úrovní faktorů = ab Každá kombinace má r opakování Yijk odezva systému pro i úroveň faktoru A, j úroveň faktoru B a r opakování

48 DOE 2 way ANOVA

49 DOE 2 way ANOVA DF = stupeň volnosti = počet úrovní - 1 SS = součet čtverců = součet mocnin vzdáleností měření od střední hodnoty MS = mean squares = SS/DF normalizace variance pro porovnání F hodnota poměr mezi SS pro danou třídu a všechny třídy P hodnota = 1/F, hodnota menší než 0.05 určuje významný faktor

50 DOE - ANOVA table

51 DOE kroky efektivního designu Definice problému: Stanovení cíle Počet faktorů a jejich limity DOE responce: Nalezení nejdůležitějších faktorů, hodně faktorů Nalezení hlavních efektů a interakcí, malé množství faktorů Optimalizace,málo faktorů Diskuze expertů First screening Advanced screening Optimization DOE Optimalizace, hodně faktorů Nelze pomocí DOE

52 Přirovnání Snažit se poznat systém pomocí DOE z již změřených dat je jako volat doktora na pitevnu Již změřená data jsou většinou nepoužitelná měření za nevhodných podmínek Neznalost podmínek měření

53 DOE ukázka na konkrétním příkladu Unsrambler Výroba sýra Faktory Přídavná sušina 0-3 PH 5,7 6,1 Sušina Zrání 2-8 After creaming Chlazení 5 15 Odezva Tvar Lepivost

54 Ústav fyzikální biologie