Fenomén Big Data Pohled technický

HTML
DOWNLOAD

Rozměr: px

Začít zobrazení ze stránky:

Download "Fenomén Big Data Pohled technický"

Štěpán Špringl
před 10 lety
Počet zobrazení:

1 Fenomén Big Data Pohled technický Diribet / Q-DAS Konference Homo Digitalis,

2 Motivace Běžná situace při rozhodování: Mám více dat, než jsem schopen zpracovat Mám pocit nedostatku informací Více dat Pocit nedostatku informací Více možných rozhodnutí Zhoršená rozhodovací schopnost

3 Rozhodování na základě informace Rozhodovací Systém Lidský člověk, team, společnost Automatizovaný např. bezpečnostní prvek v autě, automatizovaná regulace výrobního procesu 3 skupiny problémů Absence informace v systému chybí, není k dispozici Ignorance informace je k dispozici, ale systém jí nezpracovává Chyba informace je k dispozici, systém ji zpracuje nesprávně Přidaná informace řeší jen problém typu Absence Intuitivní odhad, že informace se nachází ve velkém množství dat

chybí, není k dispozici Ignorance informace je k dispozici, ale systém jí nezpracovává Chyba informace je k dispozici,

4 Zdroje dat Big Data Informace o počasí rostoucí počet čidel a rostoucí vzorkovací frekvence Velký hadronový urychlovač (LHC): čidel při Hz Informace o spotřebitelském chování, telefonní sítě, sociální sítě Výrobní stroj, automobil, domácí spotřebič Virtuální simulace

při 40 000 000 Hz Informace o spotřebitelském chování, telefonní sítě,

5 Kde začínají Big Data? Definice Nejednotná, vágní definice Obecně: Množství dat je větší, než je možné efektivně zpracovat Objektivní rozvoj kompetencí ke zpracování velkého množství dat Vývoj nových technik, výkonného hardware, posun poznání Big Data jako slogan Vychází vstříc (nedůvodné) poptávce po množství metrik Populární (marketingové) zaříkávadlo

efektivně zpracovat Objektivní rozvoj kompetencí ke zpracování velkého množství dat

6 Analytický stroj Augusta Ada King, hraběnka z Lovelace Článek o Babbageově analytickém stroji (1843) První programátor(ka) Konceptuální přerod z počítacího stroje na analytický stroj, který umí řešit problém jakékoliv komplexnosti Poetická věda : Rozvíjela hypotézy a kladla si otázky o tom, jak se jednotlivci a společnost vztahují k výpočetní technice jako nástroji pro spolupráci

umí řešit problém jakékoliv komplexnosti Poetická věda : Rozvíjela hypotézy a kladla si otázky

7 Velká čísla =

8 Taková normální optimalizační úloha Stroj (auto, bagr, frézka) 400 parametrů, každý jen 2 možnosti (min, max) Například kontrola tolerančního řetězce Počet elementárních částic ve vesmíru Každá částice provede výpočtů za vteřinu (Tera Herz) Výpočetní čas = Hz 600 tisíc krát stáří vesmíru

řetězce Počet elementárních částic ve vesmíru Každá částice provede výpočtů

9 Technologie s Big Data - příklady Data Mining (Information Mining) Vyhledávání schémat/vzorů ve velkých souborech dat (anomálie, shluky, klasifikace, regrese,...) informace o (dříve) neznámých vlastnostech dat Strojové učení Program se mění podle dat Predikce na základě poznaných vlastností Umělá inteligence, optimalizace Učitel versus dříví v lese Tvorba předsudků, předporozumění

..) informace o (dříve) neznámých vlastnostech dat Strojové učení Program se mění podle dat

10 Technologie s Big Data - příklady Multilinear subspace learning nízkodimenzionální reprezentace vysokodimenzionálního tenzoru Problém inicializace, Lokální optimum mechanický příklad: Tenzometr Statistický strojní překlad (1949, 1980) E.g. Google Translate Statistický model na textovém korpusu Nepředvídatelný výsledek Genetické algoritmy Heuristické algoritmy mimikující přirozený výběr Problém nulté populace, evoluce nemá předvídavost

11 Technologie pro zpracování Big Data Vizualizace Florence Nightingale 1850 Charles Minard (6D) 1866

12 Florence Nightingale Klínový diagram

13 Charles Minard Vizualizace Big Data Svět potřebuje moudré inspektory silnic a mostů v důchodu!

14 Aplikační příklad Best Fit v metrologii Scan bodů na povrchu měřeného objektu Porovnání s CAD modelem Výhody Není třeba stavět program měření Není třeba metrologická kompetence Intuitivní přečtení výsledku Rychlé a atraktivní předvedení Nevýhody Všechny body mají stejnou váhu Chybí informace o funkčních rozměrech Neodpovídá na otázku je díl v toleranci?

Intuitivní přečtení výsledku Rychlé a atraktivní předvedení Nevýhody Všechny body mají

15 Aplikační příklad Best Fit v metrologii Na každou komplikovanou otázku existuje nejméně jedna jednoduchá, srozumitelná, nesprávná odpověď

16 Informace versus Kompetence Informaci lze vnímat jen skrze kompetenci Kompetence k podstatě problému Technická, sociologická, medicínská,... Čím vyšší je odborná kompetence, tím vyšší je užitek z dat a jejich analýzy Kompetenci nelze nahradit daty / informacemi Karl Pearson parafráze: Statistika je gramatikou technické kompetence

.. Čím vyšší je odborná kompetence, tím vyšší je užitek z dat a jejich analýzy

Statistické a matematické metody Pozoruhodné vlastnosti: Metoda není nástroj Ostrá logika Ryzí abstraktnost Výstup je v jasném a logickém vztahu ke vstupu It is not box of chocolates, we know what we

17 Statistické a matematické metody Pozoruhodné vlastnosti: Metoda není nástroj Ostrá logika Ryzí abstraktnost Výstup je v jasném a logickém vztahu ke vstupu It is not box of chocolates, we know what we re gonna get Metody dávají smysl samy sobě, nevztahují se k žádnému reálnému problému. Praktická náplň přichází jen aplikací Aplikace Praktický problém Statistický problém Úskalí: Aplikace Je technický problém správně přeložen do statistického? Je statistický výsledek relevantní k technickému problému? Je logické pozadí metody ve vztahu k technickým/fyzikálním vlastnostem? Vede řešení k závěru? Může být závěr ověřen jinou metodou? Čas do poruchy výrobku A a B je zamlžen nejistotou Je životnost B alespoň tak dobrá jako A? Nejasná logika Praktický závěr Životnost B je nejméně taková, jako životnost A. Aplikace H0: Výběr z B je podřadný výběru z A H1: Výběr z B je nepodřadný výběru z A Známá logika Statistický výsledek H0 zamítnuta na úrovni α.

Praktická náplň přichází jen aplikací Aplikace Praktický problém Statistický problém Úskalí: Aplikace Je technický problém správně přeložen do statistického?

18 Interakce Informace a jejího okolí Vlastnosti okolí mají vliv na vnímání informace Odbornost, profesní kontext, kulturní kontext Informace a její forma má vliv na vlastnosti okolí Rychlá dostupnost informace umožní věnovat čas její interpretaci Snadná dostupnost informace negativně ovlivní krátkodobou pamět Porušená krátkodobá pamět zabraňuje učení / tvorbě kompetence

okolí Rychlá dostupnost informace umožní věnovat čas její interpretaci Snadná dostupnost

19 Závěry, teze Metody pro zpracování Big Data přináší (nové) příležitosti pro získání informací Nové technologie umožňují komplexnější analýzy a nové způsoby prezentace jejich výsledku Neexistuje záruka, že v datech je (potřebná) informace obsažena Neexistuje záruka, že příležitost bude využita Každé použití statistiky je z podstaty doprovozeno ztrátou informace, tím spíše při velké destilaci z velkých dat Člověku je třeba poskytnout takový výstup (a průběh) analýzy, aby Byl srozumitelný, odpovídající oprávněně očekávané kompetenci Mohl zapojit kritický pohled na výsledek a proces jeho vzniku Mohl informaci vnímat v jejím kontextu Vznik a použití informace bylo efektivní (výsledek, čas, peníze)

ztrátou informace, tím spíše při velké destilaci z velkých dat Člověku je třeba poskytnout takový výstup (a průběh) analýzy, aby Byl srozumitelný, odpovídající oprávněně

Podobné dokumenty

Moderní systémy pro získávání znalostí z informací a dat

Moderní systémy pro získávání znalostí z informací a dat Jan Žižka IBA Institut biostatistiky a analýz PřF & LF, Masarykova universita Kamenice 126/3, 625 00 Brno Email: zizka@iba.muni.cz Bioinformatika: