Počítačová simulace logistických procesů II 3. přednáška Analýza dat Jan Fábry 15.10.2017
Počítačová simulace logistických procesů II Obsah předmětu I. Úvod, organizace, semestrální projekty, projekty Škoda II. III. IV. Vysvětlení témat semestrálního projektu Analýza dat Analýza dat V. Plant Simulation VI. VII. VIII. IX. Plant Simulation, pojmový model Struktura simulačního modelu Tvorba simulačního modelu Stochastické procesy a jejich zohlednění v modelu, optimalizace na bázi simulace X. Simulační experimentování XI. XII. Důsledky na reálný systém, Process Designer Rozhraní (Process Designer, MALAGA, TriCAD) 2
Struktura přednášky Co je to analýza dat? Analýza vstupních dat vs. analýza výstupních dat. Získávání dat z různých datových zdrojů. Analytické výstupy. Obecné principy zpracování dat. Nástroje pro analýzu dat: MS Access, MS Excel, APP. 3
Cíl přednášky Seznámit posluchače s přístupem k analýze dat. Vymezit základní pojmy, které se týkají analýzy dat pro potřeby simulačního modelování. 4
čas postupy závislost časové řady koeficient datamining porozumění rozdělení bloky extrém modus matematika proces aritmetický průměr statistika data trend medián metody 3. přednáška Analýza dat Co nás napadne pod pojmem analýza dat v souvislosti se simulací procesů? informace historická data Analýza dat graf čísla struktura otázky pečlivost analýza výsledků variabilita popisná statistika databáze minimum filtry odchylka náhodná veličina maximum ruční měření odhad tabulka rozsah dat fáze robotické pracoviště různé úhly pohledu testy pravidla párování dat sběr dat vizualizace očekávání manuální pracoviště software přesnost interpretace simulační výstupy znalost rozptyl 5
Motivace - Proč je užitečná analýza dat? Příklad: Plavec se rozhoduje zda má skočit do vody. Bude mu stačit jedna informace o průměrné hloubce vody? Je bezpečné jednat dle této informace, nebo budeme potřebovat analyzovat další informace? 2) min. hloubka vody = 2 m!!! 1) Ø hloubka vody = 5 m 6
3. přednáška Analýza dat Analýza dat Úkolem analýzy dat je syntéza, organizace, redukce a sumarizace informací s cílem dát výsledkům význam. Cílem našeho konání je tedy vytěžit informace z dat získaných analýzou. Vstupní data Statistiky, grafy Znalost systému Přehled průchodů evidenčním bodem >> Montaz << C:\Dokumenty\AA_APP\V41\ZdrojDatabaze\DataExp_V2.mdb Tabulka: Hodinovka_A06_253 28.1 27.1 26.1 25.1 24.1 23.1 22.1 21.1 20.1 19.1 18.1 17.1 Dny 16.1 15.1 14.1 13.1 12.1 11.1 10.1 9.1 8.1 7.1 6.1 5.1 4.1 Analýza 3.1 2.1 1.1 31.12 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Čas [h] Ing. Vladimír Karpeta (VPS3/2) 16.02.2012 20:36 Syntéza Analýza velikosti bloku prošlých objektů EB >> Montaz << Tabulka: Hodinovka_A06_253 Název pole znaku: BEO Hodnota znaku: A06 Datum a čas vzniku bloku na EB(Montaz) Průměrná hodnota = 2,024 Medián = 1 Modus = 1 Směr.odchylka = 1,777 Počet = 6773 Součet = 13707 1. kvartil = 1 3. kvartil = 2 4000 3000 0 2000 1000 30.01. 25.01. 20.01. 15.01. 10.01. 05.01. 25 24 23 22 21 20 19 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 0 31.12. Velikost bloku >> BEO(A06) << C:\Dokumenty\AA_APP\V41\ZdrojDatabaze\DataExp_V2.mdb Absolutní četnost Rozpětí (max.;min.) = 21 Minimum = 1 Maximum = 22 Nejmenší(10) = 1 Největší(10) = 16 Vyhodnocované období: (01.01.2000 22:00; 27.01.2000 22:00> Ing. Vladimír Karpeta (VPS3/2) 17.2.2012 9:33 Protikladem je syntéza dat. Tímto způsobem se snažíme složit více informací do jednoho celku. Často tak můžeme několik kusých informací povýšit na znalost systému. 7
Analýza vstupních a výstupních dat Analýza vstupních dat se provádí z vnějších zdrojů za účelem získat z dat informace pro simulační experimentování. Vstupní data pro simulační modelování lze získat z řady zdrojů: Historická data z již realizované výroby: data z výrobních systémů (např. data o průchodech evidenčními body), ruční náměry nebo evidence. Realizované simulační testy. Plánovaný stav. Analýza výstupních dat se provádí za účelem vyhodnocení simulačních experimentů (to však nevylučuje možnost jejich využití jako vstupních dat). Výstupní data simulačního modelu: Hodnoty sledovaných proměnných. 8
Postup analýzy dat Zdroje dat Ruční měření Sběr dat Data Zpracování dat Analýza dat Znalost Vstupy Automatický systém Výstupy Syntéza Model Zpětná vazba Plán 9
Zdroje dat Ruční měření Ruční náměry mohou mít podobu náměrů s ručním zápisem, nebo jen četnosti určitých jevů v časové období. Plusy Technicky nenáročné Široké spektrum oblasti použití Mínusy Časová náročnost zpracování dat Chybovost a nepřesnost Využití pro kratší časová období Automatický systém Automatizovaný systém může mít podobu čtečky, radaru, kamery. Jedná se o technické zařízení s automatickým záznamem dat. Plusy Automatický záznam Záznam dlouhých čas. období Zápis dat do digitální formy Mínusy Vznik duplicitních zápisů Nenačtení objektů Finanční náročnost Model můžeme považovat za generátor Plusy Mínusy Model dat 100% kvality. Kvalita výstupů se však odvíjí také od kvality vstupních dat modelu a jeho přesnosti vůči reálnému nebo plánovanému systému. Bez duplicit (100% data) Možnost kdykoliv replikovat data Možnost změn vstup. podmínek Nutnost mít validní model Práce specialisty Softwarové licence Plán bývá často prvním zdrojem dat. Plusy Mínusy Tento typ vstupních dat se využívá Test budoucích stavů Pouze koncepční data Plán zejména v koncepčních fázích simulačních projektů. Relativně dostupná data Menší přesnost vstupních dat Východiskem bývají průměry 10
Data Vstupní data pro analýzu dat: Hodnoty si lze představit jako číselné vyjádření měřené velečiny přiřazené určitému prvku (stroji, pracovišti, oblasti). Datové řady jsou agregovaným zápisem řady událostí ve formě např. textového souboru či tabulky. Obvykle se používají pro zápis dat z evidenčních bodů. Každý takový záznam obsahuje datum, čas průchodu, ID a Název EB. Posloupnosti jsou sledem charakteristik vybraného znaku, které nás v analýze zajímají. Tento typ vstupů se používá např. pro analýzy velikosti bloků, nebo veličin z nich odvozených (např. počty manipulačních prostředků v systému). Hodnoty Posloupnosti dat Datové řady 11
Zpracování dat Formát dat Sjednocení formátu (úprava vstupních dat na jednotný formát) Párování dat Párování dat (srovnání datových řad z různých EB dle primárního klíče) Kompletizace dat Kompletizace dat (ucelení dat po dílčích obdobích do jednoho celku) Odstranění duplicitních průchodů Odstranění duplicit (zajištění jedinečnosti vstupních dat) 12
Zpracování dat Formát dat DD.MM.RRRR_HH:MM:SS.SSSS RR.M.D_HH:MM:SS DD-MM-RR_HH-MM-SS.S DD.MM.RRRR_HH:MM:SS.SSSS Párování dat EB1 ID778;18:56:12 ID779;18:58:24 ID780;18:57:18 + EB2 ID779;19:26:48 ID778;19:27:35 ID780;19:28:15 ID778;18:56:12;19:27:35 ID779;18:58:24;19:26:48 ID780;18:57:18;19:28:15 Kompletizace dat Leden Únor Březen Data + + Odstranění duplicitních průchodů ID778;18:56:12 ID778;18:58:37 ID778;18:59:14 ID779;18:59:24 ID780;19:00:18 ID780;19:01:13 První průchod ID778;18:56:12 ID778;18:58:37 ID778;18:59:14 ID779;18:59:24 ID780;19:00:18 ID780;19:01:13 ID778;18:56:12 ID778;18:58:37 ID778;18:59:14 ID779;18:59:24 ID780;19:00:18 ID780;19:01:13 Poslední průchod ID778;18:56:12 ID778;18:58:37 ID778;18:59:14 ID779;18:59:24 ID780;19:00:18 ID780;19:01:13 13
Typy analytických výstupů Tabulky: Běžná tabulka výstupů, Šachovnicová tabulka (analýza vztahů mezi objekty), Kontingenční tabulka (křížová tabulka vzájemného vztahu dvou statistických znaků). Diagramy: Sankeyův diagram intenzity materiálového toku, Diagram P-Q, který zaznamenává sériovost výroby (produkt, množství). Schémata: Schéma pevnosti vztahů a vazeb mezi jednotlivými oblastmi výrobní společnosti, Schéma dispozičního řešení výrobní společnosti, Blokové schéma výroby (návaznost procesů). Grafy: Bodový (tečkogram), spojnicový, sloupcový, pruhový, obálkový, paprskový graf. 14
Znalost Interpretace výsledků dílčích analýz: Každá dílčí analýza s sebou nese informace Dílčí analýza Dílčí analýza Dílčí analýza Dílčí analýza o určité charakteristice (dosažená průchodnost, velikost bloku, doba průchodu, obsazenost systému apod.). Hledání závislostí Hledání závislostí Hledání závislostí: Povýší informace na znalost o systému (např. doba průchodu vs. obsazenost systému). Interpretace výsledků všech analýz: Znalost Charakteristiky jsou na sobě závislé. Důsledky na reálný systém: V reálném systému stačí sledovat pouze jednu ze dvou charakteristik! Reálný systém 15
Obecné principy zpracování dat seskupování dat Seskupování je operace třídění dat do skupin tak, aby prvky každé skupiny sdílely společný atribut. Klíčem pro seskupování je určitý znak (v našem případě hodnoty A až D). Seskupování dat bývá jedním z prvních kroků při analýze. Pomůže nám určit zastoupení jednotlivých znaků ve zdrojovém souboru, případně jejich podíl. A) B) C) D) Zdrojová data: A B C D A C C A B Seskupení dle znaku: A A A B B C C C D 16
Obecné principy zpracování dat filtrování dat Filtrování je operace omezení skupiny výsledků pouze na prvky, které splňují zadané podmínky. Lze je tedy označit za výběr. Zdrojová data: A 1 B 2 C 3 D 4 A 5 C 6 C 7 A 8 B 9 C 10 D 11 A 12 C 13 A 14 B 15 A 16 B 17 C 18 Filtrování je možné provést rovněž za několika podmínek. Tím se výběr dat ještě více zpřesní, ale zároveň se obvykle omezí rozsah výstupních hodnot. Filtrování dle znaku: 1) A A žlutá 2) C A červená A 1 A 8 A 14 C 6 C 13 A 16 3) B A D A zelená D 4 B 9 D 11 B 15 17
Obecné principy zpracování dat řazení dat Řazení dat je operace třídění dat na základě pořadí jednoho nebo více atributů. Klíčem pro řazení je primární znak (v našem případě hodnoty A až I, případně hodnota indexu). Zdrojová data: A 3 F 1 I 8 B 5 D 2 G 4 E 9 H 7 C 6 Řazení dat: 1) vzestupně dle hodnoty A 3 B 5 C 6 D 2 E 9 F 1 G 4 H 7 I 8 Řazení dat se v praxi nejčastěji provádí na základě ID (jednoznačná identifikace prvku), nebo na základě času průchodu určitého prvku. 2) sestupně dle indexu E 9 I 8 H 7 C 6 B 5 G 4 A 3 D 2 F 1 18
Obecné principy zpracování dat párování více EB Párování více EB se využívá ke Zdrojová data: spojování a porovnávání dat z více EB. 1. EB 2. EB Párovaná data Podmínkou párování je existence A 3 Znak 1 D 2 Znak 2 A 3 Znak 1 Znak 2 jedinečného identifikačního znaku F 1 Znak 1 B 5 Znak 2 B 5 Znak 1 Znak 2 daného prvku na obou EB, tzv. primární klíč. Takovým způsobem I 8 Znak 1 A 3 Znak 2 C 6 Znak 1 Znak 2 lze jedinečným znakům (zde prvky A až B 5 Znak 1 F 1 Znak 2 D 2 Znak 1 Znak 2 I) přiřazovat libovolné parametry jednotlivých prvků (zde Znak_1 a D 2 Znak 1 H 7 Znak 2 Párování E 9 Znak 1 Znak 2 Znak_2). Prakticky si lze pod znaky G 4 Znak 1 C 6 Znak 2 F 1 Znak 1 Znak 2 představit Datum, čas průchodu, barvu, bližší specifikaci typu apod. E 9 Znak 1 G 4 Znak 2 G 4 Znak 1 Znak 2 H 7 Znak 1 I 8 Znak 2 H 7 Znak 1 Znak 2 C 6 Znak 1 E 9 Znak 2 I 8 Znak 1 Znak 2 19
Obecné principy zpracování dat připodobnění dat Metodou připodobnění lze získat pseudoreálná data o sekvenci jednotlivých typů z realizované výroby, byť dané typy nebyly dosud vyráběny. Data z realizované výroby se připodobní na základě procentuálního zastoupení jednotlivých typů k požadavkům na cílovou sekvenci typů. Je však nutné podotknout, že metodu je možné použít tehdy, pokud celkový objem produkce zůstal zachován a nedošlo v rámci výroby k významným strukturálním změnám v topologii a řízení výroby. Cíl získat sekvenci typů s reálným promícháním typů, kde: X 40% Y 40% Z 20% Zdrojová data (sekvence z realizované výroby): A B E B A E C A C Propočet procentuálního zastoupení typů zdrojových dat: A 30% B 20% C 20% D 10% E 20% Připodobnění dat: Připodobnění B + C = X 40% A + D = Y 40% E = Z 20% Výsledná sekvence: Y X Z X Y Z X Y X D Y 20
Obecné principy zpracování dat odvozené vzorce Na podkladě analýzy dat lze vyvozovat rovněž další odvozené charakteristiky. Jednou z nich je věrnost výrobního programu. Zajímá se o to, zda je splněna výroba v rámci časového období plán vs. reálná výroba. Nezáleží přitom na pořadí zakázek, jak byly založeny na začátku výroby až po její dokončení. Cílem je stabilita a vyváženost výroby podle výrobního plánu a včasné dodávky zákazníkům. Konkrétním důvodem je eliminovat plýtvání (zejména nadprodukci). Plán: 1 2 3 4 5 6 7 Reálná výroba: 0 3 4 5 2 7 6 1 2 Věrnost výrobního programu: 3 VVP* = = 60% 5 VVP* = Počet příslušných ks Celkový počet ks * Věrnost výrobního programu vzorec sledující okno zakázek (5), které porovnává plán s realizovanou výrobou. V ideálním případě je shoda 100%, tzn. že ve vybraném okně nalezneme na ve výrobě všechny zakázky tak, jak jsme je plánovali před realizací produkce. 21
Obecné principy zpracování dat hodinová produkce vs. průměrná produkce Celkem Mimo sledované období Typ X Pokud je nutné v analýzách srovnat více období, je nutné aby období byla ekvivalentní. Tím je myšleno to, že období nejsou ničím ovlivněny (například přestávkou). Příkladem je sledování průměrné hodinové produkce. Pokud bychom data neočistili o období ovlivněné přestávkami (10:00 11:00 a 18:00 19:00), dostali bychom zkreslená data o průměrné hodinové produkci. Rovněž bychom neměli brát na zřetel průchody, které jsou mimo sledované období. 22
Prostoj Prostoj Prostoj Prostoj Prostoj Prostoj 3. přednáška Analýza dat Obecné principy zpracování dat prostoje vs. přestávky Existují stroje a zařízení, která pracují nepřetržitě i v době zastavení výrobní linky z důvodu plánované pauzy (typické je to např. pro dopravníkovou techniku). Pokud budeme mít k dispozici data z automatických systémů, měli bychom tato data očistit o prostoje, které nastaly o pauzách. V případě výpočtu MTTR, poruchovosti zařízení by totiž mohla mít tato data zkreslena prostoji, které nastaly právě v období pauzy. Přestávka Přestávka 23
Obecné principy zpracování dat sekvence dat vs. velikost bloku 2:1 2:1 1) Ideální sekvence (devět vozidel) 2) Náhodná sekvence (devět vozidel) 3) Sekvence na bázi dat z již realizované výroby (devět vozidel) 2:1! +1 +1 +1? 24
Nástroje pro analýzu dat MS Access Ideálním nástrojem zejména pro přípravu analytických dat (filtrování, spojování dat) je MS Access. Na základě jednoduchých dotazů jsme schopni velmi rychle pracovat s databázemi čítajícími stovky tisíc záznamů. Výstupy lze dále zpracovávat v dalších aplikacích (např. pro tvorbu grafů v prostředí MS Excel). 25
S použitím filtru modelový klíč 3V32KD 3. přednáška Analýza dat Nástroje pro analýzu dat MS Excel (filtry) Úkolem filtru je nalézt ve zdrojovém souboru cílové záznamy, splňující definované charakteristiky. V prostředí MS Excel je možné využívat rovněž vícenásobné filtrování (dle více charakteristických znaků zároveň). Užitím filtru učiníme ze zdrojového souboru výběrový soubor. Zdrojový soubor čítá 13332 záznamů Výběrový soubor čítá 2 záznamy 26
Nástroje pro analýzu dat APP (Analyser of production processes) Aplikace vznikla jako univerzální nástroj, který má sloužit k analýzám dat z rozličných datových zdrojů (výrobní data, simulační data, jiné datové zdroje). Z toho pohledu je aplikace univerzální, neboť umí prakticky jakákoliv strukturovaná data ve formě txt i csv souboru transformovat pro další práci s nimi. Na základě vyvinuté metodiky pak umí dle standardních rutin a postupů importovaná data analyzovat. Na tomto podkladě pak můžeme výstupy patřičným způsobem interpretovat a vyvozovat z nich relevantní závěry. APP vznikla za podpory grantu IGA Škoda Auto č. TP/07/01 pod názvem Progresivní pohled na průběh výrobního procesu s využitím komplexní systémové analýzy dat o průchodu zakázky evidenčními body. 27
Nástroje pro analýzu dat APP (Analyser of production processes) 28
Nástroje pro analýzu dat APP (Analýzy z jednoho EB) Průchod dat jedním EB - grafický náhled + časové ohraničení 29
Nástroje pro analýzu dat APP (Analýzy z jednoho EB) Popisná statistika průchodů jedním EB 30
Nástroje pro analýzu dat APP (Analýzy ze dvou EB) Průběh obsazenosti mezi IN-EB a OUT-EB 31
Nástroje pro analýzu dat APP (Analýzy ze dvou EB) Analýza dodržení sekvence mezi IN-EB a OUT-EB 32
Otázky z dané problematiky Co je to analýza dat a k čemu se používá (vzhledem k času kdy je prováděná)? Jaký je typický postup při analýze dat? Které zdroje dat můžeme při analýzách využít? Jaké kroky provádíme při zpracování dat? K čemu je užitečné filtrování dat? Co je myšleno párováním dat z více EB? Jaký je vztah hodinové a denní produkce z pohledu analýzy dat? Jaký je vztah sekvence a velikosti bloku výrobků? Jak se mají prostoje k přestávkám z pohledu průměrné poruchovosti? Které softwarové nástroje nám pomáhají při analýze dat a jak konkrétně? 33
34 Děkuji.