Analytické systémy nad Hadoopom. Lukáš Antalov, Vedoucí týmu vývoje

Rozměr: px

Začít zobrazení ze stránky:

Download "Analytické systémy nad Hadoopom. Lukáš Antalov, Vedoucí týmu vývoje"

Gabriela Mašková
před 7 lety
Počet zobrazení:

1 Analytické systémy nad Hadoopom Lukáš Antalov, Vedoucí týmu vývoje

2 Outline Big Data Hadoop Štatistiky Sklik.cz Webová analytika

3 Big Data

4 Big Data sú všade 200 Londýnskych dopravných kamier 8 TB / deň Približný objem správ na Twittery 1.2 PB / rok Databáza transakcií Wal-Mart (2010) 2.5 PB Google Web Index 5.5+ PB Zdroj: Phillip B. Gibbons, Data- Intensive Compu>ng Symposium

5 Prečo sú Big Data dôležité? Pomáhajú * Pochopiť business Poznať produkty, zákazníkov či konkurenciu Zvýšiť obrat z predajov Zlepšiť služby Znížiť náklady

6 Prečo sú Big Data dôležité? Pomáhajú * Pochopiť business Poznať produkty, zákazníkov či konkurenciu Zvýšiť obrat z predajov Zlepšiť služby Znížiť náklady *) Pokiaľ dokážeme efektívne pracovať s datami

8 Seznam.cz & Hadoop

9 Seznam.cz & Big Data Fulltext (600 TB) Webová analytika (285 TB) Sklik (40 TB)

10 Apache Hadoop Škálovatelnosť Škálovanie pridávaním ďaľších strojov Lokálne spracovávanie nezahlcuje sieť dátami

11 Apache Hadoop Škálovatelnosť Škálovanie pridávaním ďaľších strojov Lokálne spracovávanie nezahlcuje sieť dátami Flexibilita Akékoľvek typy dát (blobs, dokumenty, záznamy,.) V ľubovolnej forme (štrukturované, neštrukturované)

12 Apache Hadoop Škálovatelnosť Škálovanie pridávaním ďaľších strojov Lokálne spracovávanie nezahlcuje sieť dátami Flexibilita Akékoľvek typy dát (blobs, dokumenty, záznamy,.) V ľubovolnej forme (štrukturované, neštrukturované) Účinnosť Cenovo dostupné (~20k/1 TB) Zjednotený storage, metadata, bezpečnosť Spoľahlivý a výkonný distribuovaný súborový systém MapReduce programovací framework

13 Hadoop Ecosystem Hive DWH systém SQL-like jazyk zvaný HiveQL HBase Stĺpcovo orientovaná databáza ZooKeeper Centralizovaná služba na udržiavanie informacií

14 Hadoop Ecosystem Hive DWH systém SQL-like jazyk zvaný HiveQL HBase Stĺpcovo orientovaná databáza ZooKeeper Centralizovaná služba na udržiavanie informacií Je toho viac: Cascading, Scribe, Cassandra, Hypertable, Voldemort Pig, Howl, Oozie, Chukwa, Mahout Sqoop, Flume, Avro

15 MapReduce v jednoduchosti Zdroj: hbps://developers.google.com/appengine/docs/python/dataprocessing/overview

16 Apache Hive Infraštruktúra pre dátový sklad Systém pre správu a dotazovanie nad štrukturovanými dátami Ukladá data na HDFS Používa MapReduce na výpočty Poskytuje SQL-like dotazovací jazyk zvaný HiveQL Ľahko rozšíritelný

17 Apache HBase Stĺpcovo orientovaná databáza Horizontálne škálovatelná ACID garancia na úrovni riadkov Veľmi nízka latencia Zápis: 1-3ms, 1k-10k zápisov / sec / stroj Čítanie: 0-3ms cache, 10-30ms disk, 10-40k čítaní z cache / sec / stroj Regiony a ich balancovanie

18 Štatistiky Sklik.cz 60 GB 50 GB 40 GB 30 GB 20 GB 10 GB

19 Štatistiky Sklik.cz 60 GB 50 GB 40 GB 30 GB 20 GB 10 GB

20 Webová analytika Zber dát Klientskú časť zabezpečuje javascript Logovanie do JSON formátu V špičke req / sec ~ 500 GB / deň

21 Webová analytika Zber dát Klientskú časť zabezpečuje javascript Logovanie do JSON formátu V špičke req / sec ~ 500 GB / deň Spracovávanie dát MapReduce + Hive Normalizácia dát v dimenziách regulárne výrazy, rozsahy, kategórie Stromová štruktúra

22 Webová analytika Zber dát Klientskú časť zabezpečuje javascript Logovanie do JSON formátu V špičke req / sec ~ 500 GB / deň Spracovávanie dát MapReduce + Hive Normalizácia dát v dimenziách regulárne výrazy, rozsahy, kategórie Stromová štruktúra

23 Typické workflow Predpočítanie dát návštevy (MapReduce) Samotný výpočet (Hive) Tvorba dimenzií z výsledku dotazu Agregácia (C++ alebo MapReduce) Uloženie výsledku v OLAP databázach Zmazanie medzivýpočtov

24 Nenáročné na použitie Definícia dimenzií Výber z dostupných metrik Voľba granularit Na základe konfigurácie sa vygeneruje HiveQL dotaz! Možnosť Ad hoc dotazov pre analytikov

25 Záver Hadoop! Pochopiť silu HBase Experimentovať Vytvárať query-centric schémy Monitorovať a optimalizovať

26 Děkuji za pozornost Lukáš Antalov, Vedoucí týmu účet

Podobné dokumenty

BIG DATA je oveľa viac ako Hadoop. Martin Pavlík

BIG DATA je oveľa viac ako Hadoop Martin Pavlík Analýza všech dostupných dat? Big data =? = Buzzword? = Hadoop? Hadoop Jen ke zpracování nestrukturovaných dat? Mentální posun něco za něco 2 Big data =