Více o službách a referencích najdete na GTS.cz a GTSworkingworld.com

Transkript

1 Bigdata pro začátečníky Bez názvu-31 ob1 Bigdata_def.indd 7 a pokročilé :12 6/21/12 3:25 PM

2 Všechny firmy bojují s nekončícím nárůstem objemu dat, vyvolávajícím tlak na jejich efektivní správu a zabezpečení. Tento boj zpravidla nemá vítěze. Řešení nespočívá v nákupu novějších, větších, efektivnějších či výkonnějších serverů a úložišť dat pro IT, které se o TO přece postará. GTS Data Storage je na míru vytvořené řešení pro ukládání dat, které je vysoce efektivní, bezpečné a škálovatelné. Využívá mimo jiné prověřenou infrastrukturu datových center a spolehlivou datovou konektivitu. GTS nabízí v garantované kvalitě komplexní portfolio telco a ICT služeb zákazníkům z oblasti firem a veřejné správy. Více o službách a referencích najdete na GTS.cz a GTSworkingworld.com Vyberte si seminář zdarma

3 EDITORIAL RADAN DOLEJŠ, ŠÉFREDAKTOR COMPUTERWORLDU Sázka na jistotu Big data nejsou žádným prázdným marketinkovým slovem. Jde o funkční a existující technologii, která si zaslouží vaši pozornost. Téměř 70 procent společností používá, nebo alespoň zvažuje či plánuje používání big dat. Toliko podle průzkumu softwarového integrátora Informatica Corporation. Největším důvodem pro zpracovávání big dat je nezvladatelně rychle rostoucí objem zpracovávaných dat. Roste také potřeba analyzovat události v sociálních sítích, zpracovávat komunikaci prostřednictvím mobilních telefonů a také řídit komunikaci mezi přístroji (machine-to-machine). K největším problémům, které respondenti u big dat vidí, patří zejména stále ještě nevyspělé nástroje pro zpracování velkých objemů dat, absence podpory při práci s daty v reálném čase, nevyjasněné otázky ohledně bezpečnosti a soukromí a nedostatek zkušených vývojářů pro práci s big daty. Průzkumu se zúčastnilo na 600 odborníků z celého světa. Výsledky takového průzkumu tedy nelze hodit za hlavu. To nechceme udělat ani my ve vydavatelství IDG. Proto jsme v redakcích Computerworldu a CIO Business Worldu připravili pro vás speciální letní přílohu Big data pro začátečníky a pokročilé. Kromě redakčních článků, které by vás měly do problematiky zasvětit, přinášíme také pohledy firem, které mají k tématu co říci. Věřím, že vám tento průvodce big daty bude nápomocný. Přeji vám příjemné čtení

4 Obsah 6 Big data majestátně vstupují do firem 9 Zamezí big data i atakům hackerů? 18 Otevřené úložné systémy se ZFS 20 Posuňte byznys 22 Správné informace ve správný čas 23 Data jsou důležitější než virtualizace! 24 Big data jedinou cestou je komplexní řešení 26 Velká data jsou výzvou 10 Připravte se na big data 12 Open source a big data 14 Hadoop: Velká příležitost pro korporátní data 27 Abeceda velkých dat 28 In -memory computing, bič na spoutání big data 30 S patřičným výkonem přeměníte big data ve znalosti 32 Big data budou časem norma 34 Big data (nejen) v marketingu 36 Velká data vyžadují špičková datová centra 37 Výkonná datová infrastruktura pro nejnáročnější prostředí 38 Příležitost pro IT profesionály 4 BIG DATA 2012

5 IT & Business Regatta CIO BUSINESS WORLD CUP září 2012 Kaštela, Chorvatsko Nově 2 kategorie lodí: FIRST 45 a FIRST 35 Až 20 lodí na startu!

6 Big data majestátně vstupují do firem Nová sada technologií pro dolování informací slibuje navždy změnit způsob, jakým využíváme obrovská úložiště dat zvýší se rychlost a zároveň se i sníží cena. STACY COLLETTOVÁ Předpovědi jsme slyšeli všichni: Do roku 2020 se množství elektronicky uložených dat zvýší na 35 bilionů gigabajtů, což je 44násobek od roku Pro šiřitele poplašných zpráv je to zlověstná předpověď soudného dne pro úložiště. Pro oportunisty informace o zlatém dole, jehož bohatost bude odkrývána s rozvojem pokročilých technologií. Vstupte do světa označovaného pojmem big data (rozsáhlá data). Vzniká skupina technologií dolování dat, která více než kdy předtím zrychluje a zlevňuje Vytvoření etapy pro rozsáhlá data Big data určená pro běžné korporátní zákazníky se v této době objevila do jisté míry i díky nižší ceně vztažené k výpočetnímu výkonu a díky tomu, že jsou počítače schopny zpracovávat více úloh najednou. Ceny operačních pamětí také poklesly a společnosti mohou na rozdíl od minulosti zpracovávat řadu dat přímo v nich. A co více, je snadnější propojovat počítače do serverových clusterů. Kombinace těchto tří faktorů způsobila vznik pojmu big data, prohlašuje Carl Olofson, analytik správy databází v IDC. Ale ne každá společnost s obrovskými datovými sklady může říci, že využívá technologii big data. Aby vznikl nárok označovat technologii právě tímto pojmem, musí podle IDC splňovat alespoň dvě ze tří kritérií, která IBM definovala jako tři V : variety (různorodost), volume (objem) a velocity (rychlost). Různorodost znamená, že se data nacházejí ve strukturovaných i nestrukturovaných podobách. Objem představuje to, že je množství shromažďovaných a analyzovaných dat opravdu velmi velké. A konečně rychlost se vztahuje k tomu, že data musejí být zpracovávána rychle. Nejde vždy o stovky terabajtů, vysvětluje Olofson. V závislosti na případu použití může být několik set gigabajtů docela velké množství z důvodu důrazu na další parametr, kterým je rychlost nebo čas. Pokud lze provést analytický proces na datech o objemu 300 GB v řádu sekund, zatímco dříve to trvalo hodinu, tak to významně mění možnosti práce s daty či toho, co lze dělat s výsledky takže tím vzniká další hodnota. Big data je tedy již dostupná aplikace, která splňuje alespoň dvě ze tří uvedených kritérií. ukládání, manipulaci i analýzu velkých objemů dat. Technologie big dat se stávají díky využití prostředí superpočítačů dostupné pro velké množství organizací, a to změní způsob, jakým podnikají. Stejně jako cloud byl také pojem big data předmětem velkého humbuku a velké míry nejasnosti. Požádali jsme analytiky a nadšence z oboru, aby vysvětlili, o co jde a o co naopak nikoli, a také aby odhadli, co mohou big data přinést do budoucnosti dolování dat. 6 BIG DATA 2012 Nemůžeme tyto věci jen dělat správně, ale musíme je také provádět za cenu dostupnou pro většinu, vysvětluje. Některé z velkých superpočítačů v minulosti nabízely silný multiprocesing systémů, které byly propojeny dohromady v rámci těsně provázaných clusterů. Jejich cena ale šla do stovek tisíc dolarů nebo více, protože šlo o specializovaný hardware. Nyní si lze pořídit tento druh konfigurací s využitím levných komoditních řešení. To dovolilo zpracovat více dat rychleji a levněji. Souvislost s open source Mnoho lidí považuje platformu Hadoop a big data za synonyma. To je omyl, vysvětluje Olofson. Některé implementace Teradata, MySQL či chytrých clusterových technologií, které nevyužívají Hadoop, lze také za big data považovat. Platforma Hadoop, aplikační prostředí pro big data, získala v nedávné minulosti většinu pozornosti, protože je založena na principu MapReduce, což je přístup běžný v oblasti supercomputingu, který byl zjednodušen a v elegantní podobě vytvořen v rámci projektu z velké části placeného společností Google. Hadoop je převažující implementací kombinace úzce souvisejících projektů Apache včetně databáze HBase, která je použita právě v prostředí MapReduce. Softwaroví vývojáři zareagovali přípravou mnoha různých technik, jejichž cílem je optimální využití platformy Hadoop a podobných pokročilých technologií mnoho z nich přitom bylo vyvinuto v komunitách open source. Vytvořili závratnou rozmanitost takzvaných NoSQL databází, které jsou většinou založeny na párování klíčových hodnot a jež pomocí různých technik optimalizují propustnost, různorodost nebo velikost, uvádí Olofson. Technologie open source ale nejsou komerčně podporovány, takže se budou tyto

7 pro smartphony Je standard AES stále ještě dostatečný? ČTVRTLETNÍK O INFORMAČNÍ BEZPEČNOSTI 49 Kč 1,96 ZÁŘÍ 3/2011 věci muset chvíli vyvíjet a tříbit, což může trvat několik let. To je rodící se aspekt big dat, který ještě chvíli neponese ovoce pro obecný trh, dodává Olofson. Modernizované RDBMS Oboroví pozorovatelé se neshodnou, zda upgradované systémy správy relačních databází lze také považovat za technologii big dat. Myslím si, že vyhovují kritériím rychlejší, větší a levnější, tvrdí Olofson. Podle něho například Teradata zajistila vyšší dostupnost svého systému, který je škálovatelným clusterovým prostředím. Ostatní však nesouhlasí. Zpracování, které běžně děláte pomocí RDBMS s využitím standardních nástrojů BI, to skutečně nejsou big data, prohlašuje Marcus Collins, analytik správy dat v agentuře Gartner. Takové zpracování tady je dlouho. Takže kdo tedy skutečně analyzuje big data? Ještě před rokem byly primárními uživateli technologie big dat velké webové společnosti jako například Facebook nebo Yahoo, které chtěly analyzovat data ohledně klikání svých uživatelů. Dnes však dochází k přesunu směrem k libovolným firmám, které pracují s velkými objemy informací, tvrdí Collins. Banky, služby, zpravodajské komunity všichni se přidávají k trendu big dat. Některé z technologií jsou aktivně využívány těmi, kdo jsou v problematické situaci, protože je již nyní potřebují například jsou závislí na tvorbě webových služeb řízených sociálními médii. Proto také k rozvoji těchto projektů intenzivně přispívají. Také v ostatních oborech si firmy uvědomují, že pro ně mají informace větší hodnotu, než dosud předpokládaly, takže se pravděpodobně brzy také stanou významnými uživateli technologií big dat. Spojte si to s dostupným výkonným hardwarem i softwarem a je tu záplava příležitostí pro transformaci podnikání. Například společnost TRA pomáhá organizacím měřit hodnotu televizní reklamy srovnáváním odvysílané inzerce s nákupním chováním u maloobchodních pokladen. Pro zjištění těchto souvislostí sbírá uvedená firma data z digitálních videorekordérů poskytovatele kabelové televize a programů věrnostních karet potravinových obchodů. Tři mýty o rozsáhlých datech Existuje velké množství zmatku ohledně definice rozsáhlých dat a jejich použitelnosti. Uvádíme tři mýty o rozsáhlých datech: 1. Relační databáze nemohou růst do velmi velkých objemů, a proto je nelze považovat za technologii pro big data. (Není to pravda.) 2. Hadoop nebo rozšířeně libovolné prostředí s MapReduce je nejlepší volbou pro big data, a to nezávisle na pracovní zátěži nebo případu použití. (Také to není pravda.) 3. Éra schématických systémů správy databází je u konce. Vývoj schématu při nasazení big dat jen překáží. (Absurdní nepravda.) Zdroj: IDC, The Big Deal About Big Data, únor 2011 Systém big dat, s nímž pracuje TRA, zpracovává obrovské množství dat, která reprezentují přesné zachycení zvyků sledování televize u 1,7 milionu domácností. U TRA je nasazena databáze Kognitio WX2, která společnosti umožňuje rychle načítat, profilovat a analyzovat informace, sbírat podrobné údaje o zobrazení reklamy z digitálních videorekordérů, integrovat je s podrobnými daty z prodejen a následně vytvářet zakázkové reporty. Kognitio využívá technologii in -memory, takže v operační paměti může být polovina naší současné databáze. To znamená, že čas odezvy na dotazy našich zákazníků může být v řádu sekund namísto nedávných hodin či dnů, pochvaluje si výkonný ředitel TRA Mark Lieberman. Databáze běží na komoditním hardwaru, přičemž TRA užívá svoji vlastní aplikaci, která zprostředkovává data uživatelům a je naprogramována na platformě Visual Studio.Net. Greg Belkin, analytik společnosti Aberdeen Group, potvrzuje, že nástroje používané firmou TRA i dalšími mají požadovanou rychlost, objem a různorodost, aby je bylo možno označovat za big data. To všechno je v maloobchodě velmi důležité, protože existuje mnoho prudce rostoucích zdrojů dat, které nebylo tradičním způsobem možné zkoumat, jako jsou například weby sociálních médií, digitální videorekordéry či data z věrnostních karet potravinových obchodů, prohlašuje Belkin. Tato data jsou tak komplexní a je jich tolik, že je nelze analyzovat tradičními databázovými metodami, takže se prodejci obracejí k platformám big dat. Podobně proměnila technologie big dat i podnikání firmy Catalina Marketing. Ta provozuje obrovskou databázi informací Inzerce COMPUTERWORLD na papíru, v počítači, mobilu i tabletu za jednu cenu! Roční předplatné tištěné a elektronické verze Computerworldu nyní jen za 429 korun. Jako bonus navíc i roční předplatné tištěné verze CIO Business World a SecurityWorld. Přečtěte si svůj Computerworld opravdu kdekoliv. nyní jen za 429 Kč! Za jedno zvýhodněné né předplatné nyní získáte Computerworld nejen v tištěné variantě, ale také jeho elektronickou verzi vhodnou pro stolní počítače, mobily i tablety. + Máte mobily pod kontrolou? Přehled bezpečnostního softwaru Kam kráčí šifrování Podniková SOA Souhrn hrozeb, jež jí hrozí Přitažlivá správa zranitelností Zabraňte nebezpečným situacím hned v zárodku Zvýhodněné předplatné objednávejte na adrese

8 NoSQL zastiňuje starší RDBMS IT oddělení se obracejí na moderní architektury NoSQL a NewSQL namísto tradičních relačních databází. Ty sice zřejmě v dohledné době neskončí, ale dny jejich slávy jsou zřejmě u konce. PAUL KRILL Relační databáze, dlouho kritizovaná část nasazení podnikového softwaru, jsou nyní nuceny sdílet trh s technologiemi lépe vybavenými pro ukládání nových datových struktur a pro práci s moderními hardwarovými systémy. Spolehlivé RDBMS od dodavatelů softwaru, jako IBM, Microsoft nebo Oracle, jsou stále masivně využívány a všechny budou nadále ovládat základní funkce, jako jsou například finanční transakce. Databáze NoSQL a technologie rozsáhlých dat jako Apache Hadoop a MapReduce ale mají místo na scéně, kde se něco děje. NoSQL představuje databáze, které jsou nerelační, horizontálně škálovatelné, distribuované a open source. Mohou sloužit jako záložní úložiště pro servery webových aplikací, systémy správy obsahu, strukturovaný záznam událostí, úložiště mobilních aplikací na straně serveru a úložiště dokumentů, tvrdí Dwight Merriman, spoluautor NoSQL databáze MongoDB. Průkopník databází Michael Stonebraker, hlavní architekt Ingres RDBMS a současný technologický ředitel VoltDB, rovněž kritizuje zastaralé SQL systémy RDBMS a podporuje řešení označované jako NewSQL, které podle něho zachovává SQL a relační model stejně jako ACID (atomicita, konzistentnost, izolace a odolnost) a nabízí přitom výkon a škálovatelnost. NewSQL eliminuje díky běhu databáze v operační paměti potřebu vyrovnávací paměti, která spotřebovává IT prostředky. Odstraňuje také nutnost zámků při spouštění jediného vlákna na serveru. vztahujících se k zákaznické věrnosti. Má velikost 2,5 petabajtu a obsahuje údaje o několikaleté historii nakupování u více než 190 milionů prodejců potravin. Její největší databáze má neuvěřitelných 425 miliard řádků a každý den přibývá dalších 625 milionů řádků. Prostřednictvím analýzy dat pomáhá Catalina hlavním výrobcům spotřebitelského zboží a řetězcům supermarketů předpovídat, co budou zákazníci pravděpodobně kupovat a kdo se bude zajímat o nové produkty. Chtěli jsme přinést technologii pro data, a nikoli data pro technologii, prohlašuje Eric Williams, viceprezident a ředitel IT společnosti Catalina. Nyní už existuje řešení, které společnostem jako SAS umožní přesunout své analytické technologie přímo do databáze. To exponenciálně změnilo celou naši korporaci. Tyto věci jsme samozřejmě dříve také dělali, ale s výraznými limity, které nám nedovolily dosáhnout vytoužených cílů. Museli jsme využívat nástroje vyvinuté svépomocí, které byly ve svých možnostech skutečně velmi omezené. Přínos technologie big dat změnil celou naši organizaci. Kromě určitého open source softwaru v proprietárních systémech využívá Catalina řešení SAS Analytics na platformě appli ance datového skladu Netezza. Korporace vyvíjejí technologii tak, aby fungovala na obecném hardwaru založeném na procesorech Intelu to dovoluje využívat funkce sekundárních či terciárních produktů (například skórovacích řešení SAS Analytics) přímo na platformě Netezza, která provozuje příslušnou databázi, vysvětluje Williams. Možnost vzít tuto technologii a použít ji rovněž k operacím nad databází přinesla společnosti Catalina zrychlení dolování dat z původního časového rámce týdnů na nynější hodiny. Big data od základu mění také způsob, jakým funguje Bank of America, tvrdí Abhishek Mehta, nedávný šéf divize pro big data a analytiku této banky. Pohlížím na platformu Hadoop jako na Linux před 20 lety. Všichni jsme viděli, co Linux udělal ve sféře podnikového softwaru. Přinesl masivní změny existujícího podnikového IT prostředí. Hadoop udělá totéž. Kromě analýzy transakcí a dat o kliknutích umožňuje Hadoop bance Bank of America rychle vyřešit podnikatelské problémy. Nyní můžeme jako banka vážně přemýšlet o efektivní eliminaci podvodů, tvrdí Mehta. Můžeme vytvořit model sledující každý výskyt možného podvodu pět let dozadu pro každého klienta namísto současného vzorkování, vytváření modelů a zjišťování výjimek z nich vybočujících. Takové dny jsou u konce. Odvětví služeb teprve začíná chápat velká množství dostupných dat a jimi nesenou hodnotu. Jedna z organizací využívá Hadoop na analýzu dat ze svých inteligentních měřičů, které jsou primárně využívány k automatizaci platebního procesu, ale sbírají také informace o výkyvech odběru elektrického proudu příslušným zákazníkem. Pokud tyto informace shromáždíte a podíváte se na vzory, můžete identifikovat blížící se selhání místního infrastrukturního modulu, jako je třeba transformátor, ještě předtím než k němu skutečně dojde, vysvětluje Olofson z IDC. Nebo pokud dojde k výpadku dodávky energie, způsobí to výkyvy, které pomohou poruchu detekovat. Časem podle něho budou dodavatelé energie využívat rozsáhlá data ke zlepšování služeb zákazníkům a ke snížení provozních nákladů díky detailnímu monitoringu elektrické sítě, detekcí problémů a schopnosti upravovat sítě. Bude to ale vyžadovat významné investice do obnovy stárnoucí infrastruktury. Marketingoví specialisté na obchodní značky zase experimentují s platformou Hadoop v oblasti analýzy sentimentu na základě dat ze sociálních médií. Objevují se už i poskytovatelé služby, která využívá Hadoop k prosévání Twitteru podle požadavků svých klientů. Přitom například zjišťují, co přispěvatelé říkají a co si myslí o konkrétních produktech. Obezřetné zavádění Technologie big dat se rychle vyvíjí. Společnosti, jež ji využívají, mají IT personál, který je výjimečně schopný a dokáže zajistit přizpůsobení změnám technologie i požadavkům vlastní firmy. Pokud se situace u vás liší, raději využívejte poskytovatele služby možná cloudové služby nebo vyčkejte, než dojde k dosažení bodu, kdy bude k dispozici dostatek ověřených softwarových produktů a služeb, které je budou podporovat, doporučuje Olofson. Budete mít něco, čemu budou lidé ve vaší firmě rozumět. Dolování dat se bezpochyby navždy změnilo. Analytici však tvrdí, že technologie rozsáhlých dat zcela nenahradí současné nástroje datových skladů. Současný datamaining je založen na vytváření relativně důmyslných modelů s nepříliš velkými objemy dat, prohlašuje Collins z Gartneru. Big data ale nyní pracují s obrovským množstvím dat, takže by se mohlo stát, že by již nebyly ony důmyslné modely natolik potřebné. To může znamenat posun ve způsobu dolování dat. Podle mého názoru se ve skutečnosti rozšíří trh datových skladů, prohlašuje Olofson. Budou využívat technologii jako Map- Reduce (ať už s rozšířením Hadoop nebo nějakým jiným na komerční bázi) k vytváření zajímavých dat postavených na produktech business intelligence, která dříve nemohla být získána. Potom budou kvůli opětovnému využití a sledování historických vzorů tato data ukládat do datových skladů a rozšiřovat tak jejich využití. Collins uvádí, že rozsah představuje další výzvu spolu se skutečností, že neexistují ustanovené architektonické vzory pro nasazování a využívání big dat. Některé problémy samy vymizí s příchodem nových nástrojů, ale technologie big dat jsou stále z velké části programovým rozhraním což je pro BI krokem zpět, vysvětluje Collins. Například Hadoop je spíše systém pro nadšence. Úsilí v oblasti BI bylo zaměřeno na zavedení užitečných ukazatelů na desktopy patřičných pracovníků, a to s využitím uživatelsky velmi přívětivého rozhraní. S platformou Hadoop jsme se dostali o krok zpět. Noví dodavatelé ale určitě pomohou situaci napravit. Technologie rozsáhlých dat musí vykročit ze sféry IT a musíme dát nástroje do rukou uživatelů z řad firemních oddělení, dodává Collins. To se ještě nestalo. 8 BIG DATA 2012

9 Zamezí big data i atakům hackerů? Rozvoj technologií pro big data podle všeho dá vzniknout datovým specialistům zaměřeným na bezpečnost, kteří budou mít nástroje a potřebné znalosti k odhalování útoků skrytých vetřelců, jejichž záměrem je krást vysoce citlivá data. ELLEN MESSMEROVÁ Chytání počítačových zlodějů při činu ve stále rostoucích sítích se ukazuje jako velmi obtížné a big data pro tuto činnost přinášejí novou naději. Je však opodstatněná? Scott Crawford, badatel firmy Enterprise Management Associates, je o tom přesvědčen. Analytici pracující se statistikami budou schopni identifikovat anomálie, ale nerozumějí bezpečnosti, poznamenal během nedávné konference firmy RSA zamě řené na téma big dat. Crawford předpovídá, že se v blízké době objeví řešení využívající bezpečnostní algoritmy pro big data. Všiml si, že už dnes organizace jako Red Lambda a Palantir to jsou schopny dělat pomocí náročné matematické analýzy zaměřené na hledání anomálií. Někteří analytici uvádějí, že záměr útočníka skrývat se je vlastně anomálií v obecně dobrém chování síťových uživatelů uvnitř sítě, kde se útočník často schovává. V současné době dokážou skrytí útočníci projít tradiční obranou, jako jsou systémy IPS, firewally a antiviry, poukazuje Neil MacDonald, analytik Gartneru. Tyto ničivé útoky mající za cíl infiltraci a krádež velmi citlivých dat jsou někdy označovány jako sofistikované ataky typu APT (Advanced Persistent Threats) a jsou prováděny osobami schopnými účinně skrývat svou přítomnost uvnitř podnikových sítí. MacDonald je přesvědčen, že v současné době prostě nelze rozlišit dobré a zlé síťové aktivity. Abyste dokázali zaznamenat odchylky od tzv. klasických aktivit, musíte nejdřív vědět, jak vypadají. Inovované nástroje SIEM Big data nabízejí nové možnosti pro bezpečnostní analýzy, což by mohlo znamenat, že jeden typ dnes využívaných bezpečnostních nástrojů SIEM (Security Information and Event Management) a podobné nástroje, nemusí být pro tyto účely dostatečně vhodný, takže bude nutný vývoj jiného produktu. Do určité míry již tento proces započal, tvrdí MacDonald a poukazuje mj. na produkt RSA NetWitness pro detekci hrozeb nebo na HP ArcSight SIM. Některé začínající firmy, jako třeba CrowdStrike, prohlašují, že problém APT budou schopny řešit zcela inovátorskými způsoby. Budou se však produkty SIEM vyvíjet tak, aby byly schopné zpracovat big data související s podnikáním, nebo nikoli? A není celá myšlenka, že budou rozsáhlá firemní data přidána k tradičnějším datům SIEM z různých firewallů, serverů, systémů IPS apod., aby jim poskytla smysluplnou inteligenci v souvislosti s hledáním útočníků, jen krásnou iluzí? Lidé nemohou požadované odpovědi dostat od současných nástrojů SIEM, tvrdí analytik John Kindervag ze společnosti Forrester. Podle něho se bude muset objevit něco nového, kde budou mít nástroje SIEM roli pouhé komponenty. Jon Oltsik se skupinou Enterprise Strategy Group jsou ale nejskeptičtější, že by technologie big data byla odpovědí na problém útoků APT. Obávám se, že budeme ukládat větší množství dat a nebudeme vědět, co s nimi dělat, tvrdí Oltsik. Šéfové zabezpečení v současných podnicích podle něho nejsou nijak výraz ně nakloněni myšlence, že by byla tech nologie big data nějakým zvláštním přínosem pro zabezpečení jejich infrastruktury. Když mluvím s CSO a zeptám se jich na big data, doslova se smějí, popisuje Oltsik současnou situaci. Přesto jsou však výsledky některých raných osvojitelů použití big dat pro bezpečnostní účely nadějné. Například bankovní holding Zions Bancorporation vytvořil obrovské úložiště pro aktivní analýzy kombinace dat ze zabezpečení v reálném čase a firemních dat. Cílem je zjišťovat phishingové útoky, předcházet podvodům a odrážet pokusy hackerů o vniknutí. Tvoří ho datový sklad Zettaset využívající Hadoop pro distribuované aplikace s vysokými nároky na práci s daty. Dodavatelé produktů SIEM ale prohlašují, že rozruch okolo big dat a zabezpečení teprve začíná. Je to cesta, kudy se musejí produkty SIEM do budoucna vydat, říká Matt Ulmer, ředitel produktového managementu společnosti NetIQ, která je výrobcem produktu SIEM s názvem Sentinel. Ulmer tvrdí, že bezpečnostní odvětví je teprve na počátku cesty k nalezení modelu SIEM se začleněnou firemní inteligencí. Big data mohou odhalit to, co se vymyká běžnému modelu, tvrdí Ulmer. Ulmer však zdůrazňuje, že není snadné definovat to, co je dobré. Upozorňuje, že útočník může převzít účet, takže je otázka, zda jde o zaměstnance nebo o útočníka. Tajné útoky podle něho probíhají jen pár sekund každý den, takže cílem je definovat důvěryhodného zaměstnance tak, aby byl odlišen od útočníka. Big data k tomu mohou poskytnout velkou pomoc. Překážky v cestě Ulmer však dodává, že koncept zabezpečení s využitím big dat bude z mnoha praktických důvodů čelit překážkám. Jedním z praktických omezení pro dosažení živatoschopných produktů je současný obecný tlak na přesunutí podnikových dat do cloudu, kde je tradiční po užití SIEM obtížnější než při jejich nasazení v rámci infrastruktury podnikové sítě. Další překážkou je, že CSO věřící v mož nosti technologie big data budou muset vytvářet nové strategie a doporučení. V době, kdy jsou s vedením firem řešeny další podnikové problémy, například zda povolit používání osobních mobilních zařízení pro firemní účely (BYOD), může být zavedení technologie big dat do oblasti bezpečnosti obtížně prosaditelné

10 Připravte se na big data Už máte svůj plán pro big data? Pokud ne, možná budete chtít o nějakém přemýšlet. BETH STACKPOLEOVÁ Technologie big dat je oslavována (nebo medializována, záleží na úhlu pohledu) jako klíčový strategický projekt podniku budoucnosti. To znamená, že je jen otázkou času, než firemní manažeři budou chtít vědět, co si o tom myslí jejich oddělení IT. Co jim říci? Aby bylo jasno, zvládání velkých objemů dat není pro většinu IT oddělení nic neznámého, ale jak analytici říkají, big data se od technologií datových skladů, dolování dat a business intelligence, které přišly dříve, skutečně liší. Data jsou generována s větší rychlostí a variabilitou než kdykoli dříve a na rozdíl od údajů v minulosti je většina z nich v nestrukturované a surové podobě (někdy se pro ně používá název gray data ). Blogy, sociální sítě, senzory strojů a nástroje využívající údaje o poloze vytvářejí zcela nový vesmír nestrukturovaných dat, která když jsou rychle zachytávána, spravována a analyzována mohou pomoci společnostem odhalit fakta a vzory, které v minulosti nebylo možné spolehlivě rozpoznat. Dlouhou dobu jsme shromažďovali data, ale bylo to velmi limitované produkce byla hojná, ale nikdo s tím nebyl schopen něco významnějšího udělat, říká Paul Gustafson, ředitel technologických programů Leading Edge Forum společnosti Computer Sciences. Docházelo k archivaci dat a k modelování v souvislosti s podnikovými procesy, ale ne k modelování v rámci širšího souboru základních znalostí o podniku. Mantrou je posun od sběru k souvislostem. Jak tvrdí Eric Williams, ředitel IT společnosti Catalina Marketing, je to příležitost vstoupit do kanceláře výkonného ředitele a prohlásit: Mohu změnit firmu a poskytovat znalosti na dosah ruky během několika sekund za cenu, která nebyla před několika lety vůbec do sažitelná. Williams by to měl vědět Catalina udržuje 2,5petabajtovou věrnostní databázi zákazníků, která obsahuje údaje o více než 190 milionech klientů největších maloobchodních potravinářských řetězců v USA. Tyto informace jsou používány k výrobě pokladních kuponů podle historie nákupů. Williams i další pozorovatelé říkají, že při přechodu organizací do éry prediktivní inteligence v reálném čase musejí techničtí manažeři své podnikové architektury pro správu informací vyvíjet tak, aby podporovaly pokročilé analýzy datových skladů, které mají velikost terabajtů či dokonce petabajtů (a s potenciálem rozšíření na exabajty a zettabajty). Lidé z IT vždy říkají, že chtějí najít způsob, jak se dostat blíže potřebám podniku a big data nabízejí příležitost udělat přesně to, prohlašuje Williams. Chytří IT lídři by neměli čekat, že se mozaika poskládá sama, a měli by začít připravovat sebe a své organizace na prosazení transformace, radí Mark Beyer ze společnosti Gartner. Uvádíme pět hlavních akcí, které by měli techničtí manažeři nyní provést, aby vytvořili správné základy pro budoucí éru podnikových big dat. 1Proveďte inventuru dat Téměř každá organizace má přístup ke stabilnímu toku nestrukturovaných dat ať už pocházejí například ze sociálních sítí nebo ze senzorů sledujících výrobní prostory. Jen proto, že produkuje tento silný tok informací, však ještě neznamená, že je potřeba ukládat a zkoumat každý bajt. S počáteční vlnou očekávání kolem big dat cítí lidé umělou potřebu pochopit všechna data pocházející z webových protokolů nebo senzorů, tvrdí Neil Raden, analytik společnosti Constellation Research. Část této touhy může mít počátek v enormní snaze dodavatelů i konzultantů, kteří dychtí po příležitosti nasadit v podnicích platformy pro big data. Existuje určitý tlak od lidí, kteří tuto technologii komercionalizují, poznamenává Raden. Inteligentní IT manažeři by měli místo toho vytvořit určitý filtr, který jim pomůže zjistit, jaké údaje jsou a jaké nejsou pro organizaci důležité. Prvním dobrým krokem je udělat si podrobný přehled, jaká data jsou vy tvářena interně, a určit i externí zdroje dat, pokud existují, aby se zaplnily mezery ve znalostech a získal se další pohled na firmu, prohlašuje Raden. 10 BIG DATA 2012

11 Jakmile se rozběhne zjišťování rozsahu dat, IT oddělení by se mělo zaměřit na velmi dobře zaměřené projekty, které mohou být použity k prezentaci výsledků na rozdíl od monstrózních projektů big dat. Nemusíte utratit několik milionů dolarů na zahájení projektu, abyste zjistili, zda se vůbec vyplatí, připomíná Raden. 2Nechte převládnout podnikatelské potřeby Možná jste to už slyšeli dříve přizpůsobení IT samotnému podnikání je pro tuto iniciativu rozhodující, stejně jako jsou big data potřebná pro rozsah a rozmanitost informací. Řada prvních příležitostí pro big data se totiž objevila v oblastech mimo IT segment například oddělení marketingu se snažilo analyzovat komunikaci sociálních sítí, aby získalo lepší představu o požadavcích zákazníků a nákupních trendech. Zatímco specialisté v konkrétních oborech na podnikatelské straně mohou rozeznat příležitosti pro vydělávání peněz, je povinností oddělení IT postarat se o sdílení informací a koncepci sdružování dat, které jsou nedílnou součástí strategie pro big data. To není něco, co mohou udělat oddělení IT samostatně, upozorňuje Dave Patton, hlavní analytik pro správu informací ve společnosti PricewaterhouseCoopers. Pokud není iniciativa přizpůsobena podnikatelským cílům firmy, bude těžké dosáhnout úspěchu. Na počátku iniciativy big dat ve společnosti Catalina Marketing sezval Williams dohromady firemní manažery a skupinu pro plánování a analýzy, aby společně vytvořili podnikatelský záměr. Tento pohled identifikoval oblasti, kde by mohly nové poznatky přinést hodnotu například při určování následných nákupů podle položek v nákupním košíku nebo pomocí analýz dalších nákupů na základě produktových nabídek. Tým plánování a analýz použil čísla ke kvantifikaci, které výsledky by znamenaly některé kroky, pokud jde například o zvýšení prodejů. 3Znovu posuďte infrastrukturu Beyer z Gartneru i další experti jsou přesvědčeni, že ve většině společností budou iniciativy spojené s big daty vyžadovat zásadní změny v infrastruktuře serverů, úložišť a architektuře správy informací. IT manažeři musejí být připraveni rozšířit své systémy, aby zvládli neustále rostoucí sklady strukturovaných a nestrukturovaných dat. To vyžaduje zjistit nejlepší přístup pro vytváření rozšiřitelných a škálovatelných systémů a vyvinout plán pro integraci všech dílčích systémů, které budou do analýzy big dat zapojeny. V současné době má většina podniků různorodé oddělené systémy pro mzdy, pro správu zákazníků či pro marketing, tvrdí Anjul Bhambhri, viceprezident produktů big data společnosti IBM. CIO potřebují strategii pro integraci těchto separátních řešení a k vybudování,systému systémů. Chcete přece klást otázky, na které budou odpovědi získány vyhodnocením dat ze všech odpovídajících zdrojů. 4Naučte se tuto technologii Svět big dat přichází s dlouhým seznamem nových zkratek a technologií, se kterými se pravděpodobně ředitel IT dosud nikdy nesetkal. Největší pozornost je věnována nástrojům open source. Technologie jako Hadoop, MapReduce či NoSQL získávají dobrou pověst díky jejich implementaci webovými giganty, jako jsou Google a Facebook, kteří díky ní spravují své studnice informací. Mnohé z těchto technologií jsou ale stále poměrně nezralé a vyžadují personál s velmi specifickými schopnostmi, přestože už nyní existují i v komerčně dostupných podobách. Další technologie, které jsou důležité pro svět big dat, zahrnují analytiku v rámci databází, sloupcové databáze a appliance datových skladů. IT manažeři a jejich týmy budou muset tyto nové nástroje pochopit, aby byli schopni přijímat správná rozhodnutí. 5Připravte personál Většina podnikových IT oddělení výrazně postrádá talenty potřebné k provádění kroků spojených s big daty chybějí jim experti na Hadoop i takzvaní datoví vědci. Analytické schopnosti jsou v tomto směru zřejmě nejdůležitější a je to oblast, kde má většina IT personálu největší mezery. Společnost McKinsey očekává, že jen v samotných Spojených státech bude do roku 2018 potřeba dalších 140 tisíc až 190 tisíc odborníků v oblasti statistických metod a technologií pro analýzu dat. McKinsey navíc předpokládá buď v oblasti podnikání, nebo techniky potřebu dalších 1,5 milionu datově gramotných manažerů, kteří budou mít oficiální výcvik v prediktivní analýze a statistice. U některých firem tedy bude personalistika pravděpodobně jedním z nejproblematičtějších aspektů iniciativ big dat. Technologie big data rozhodně vyžaduje jiný způsob myšlení a dovedností v řadě oblastí, připomíná Rick Cowan, ředitel IT společnosti True Textiles. Jako u středně velké firmy bylo pro nás obtížné získat pracovníky a zajistit, aby udrželi krok s neustále se měnícím prostředím, říká Cowan. Kvůli vyřešení svých potřeb začal s rekvalifikací programátorů a databázových analytiků, aby zvládli pokročilé analýzy. Vedoucí IT oddělení se budou muset sami změnit, aby v novém světě vynikli. Zatímco nejlepší techničtí manažeři minulosti byli částečně knihovníkem informací a zčásti inženýrem infrastruktury, budoucí manažeři IT budou kombinací datového vědce a inženýra podnikových procesů, jak tvrdí Beyer z Gartneru. Ředitelé IT kdysi spravovali infrastrukturu podle daných firemních pokynů, což je protiklad k těm současným, kteří jsou schopni identifikovat příležitosti a prosazovat inovativní využití informací. To je transformace, která musí nastat

12 Open source a big data Náklady, flexibilita a dostupnost kvalifikovaných pracovníků jsou hlavními důvody pro boom softwaru open source. Hadoop, R a NoSQL jsou nyní nosné sloupy mnoha velkých podniků v oblasti strategií big dat, ať už jde o správu nestrukturovaných dat nebo o složité statistické analýzy. BRIAN BLOOM Společnost SAP nedávno vydala nový produkt, BusinessObjects Predictive Analysis, software integrující algoritmy z open source jazyka R, který je značně používán v akademické obci pro pokročilé statistické modelování. Několik týdnů předtím společnost Teradata oznámila, že její nové portfolio integrovaných analýz by mělo zahrnovat funkcionalitu R a stejně tak připojení ke GeoServeru, což je geolokační open source platforma založená na jazyce Java. Bezpočet dalších společností se snaží rychle začlenit podporu Hadoopu do svého portfolia. Všeobecné přijetí a horečnatá inovace James Kobielus, dřívější analytik Forresteru Research a nyní ředitel programu pro produktový marketing řešení analýz big dat v IBM, tvrdí, že open source přístupy mají potenciál nejrozšířenějšího přijetí a nejrychlejších inovací. Za prvé Kobielus vysvětluje, že stejně jako notoricky známé open source produkty od Mozilly až po Android získaly široké přijetí v IT komunitě po překonání některých porodních bolestí, open source software pro ukládání dat a analýzy dat je už dostatečně vyzrálý a nehrozí riziko, které zde existovalo před rokem. Za druhé Kobielus tvrdí, že platformy jako Hadoop, R či NoSQL mají oproti proprietárnímu softwaru výhodu, protože se dokázaly vyvinout rychleji. Jsou také mnoha různými stranami neustále rozvíjeny a zdokonalovány. Kobielus předpovídá, že ve světě big dat začne open source velmi brzy dominovat. Protože se v mnoha datových a analytických prostředích zmenšuje rozšířenost softwaru s uzavřeným kódem, budou mnozí zavedení dodavatelé rozvíjet své obchodní modely právě směrem k přístupům open source, říká Kobielus, A také prý rozjedou profesionální služby a systémovou integraci, aby pomohli zákazníkům v jejich cestě směrem k open source a cloudově orientované analýze. Mnoho z nich se zaměří na Hadoop a jazyk R. Forrester například považuje Hadoop za jádro nové generace EDW (Enterprise Datawarehouse) v cloudu a jazyk R za klíčovou programovací základnu přicházející vlny integrovaných nástrojů pro vývoj ve sféře big dat. Očekávám také, že se různé open source NoSQL databáze a nástroje spojí do bohatých alternativ k obsahu analytických nabídek s proprietárním kódem, dodává Kobielus. Model Red Hatu Různé podniky přistupují k integraci softwaru open source různými způsoby. Někteří, jako SAP, se rozhodli využívat svou vlastní interní odbornost pro vývoj produktů s funkcionalitou Hadoop nebo R, zatímco jiní (například Teradata) delegují velkou část práce na firmy jako Revolution Analytics, která je jakýmsi ekvivalentem Red Hatu v oblasti big dat. Tato společnost nabízí komerční verzi jazyka R zaměřenou na podniky, stejně jako to Red Hat dělá s Linuxem. Je to relativně malá společnost stojící vedle gigantů big dat a specializující se na úpravy jazyka R pro různé obchodní procesy, vysvětluje David Smith, viceprezident pro marketing a komunitu v Revolution Analytics. Zabýváme se zejména použitím pro opravdu velké objemy dat. Použití open source řešení ve svých vlastních produktech je způsob, jak se mohou firmy na trhu odlišit, říká Smith. Znamená to, že neděláte totéž co vaše konkurence. Smith uvádí, že pro organizace, které používají pokrokový vědecký přístup k analýzám big dat, jsou technologie open source přirozenou volbou. Tyto společnosti mívají alespoň částečné znalosti z oblasti datové vědy, průzkumu a zvláštností dat a skutečně tíhnou k open source technologiím, protože jsou díky nim flexibilní a poskytují možnosti různých způsobů pojetí práce s daty a zkoumání různých věcí, které s informacemi mohou dělat. Scott Gna u, pr ezident společnosti Teradata Labs, která spolupracuje s firmou Revolution Analytics, je přesvědčen, že velké podniky budou mít největší prospěch z komerčních balíčků technologií open source, které jim pomohou udržet koncentraci na svou vlastní podnikatelskou činnost. Je potřebné vytvořit velkou hodnotu přijetím některých novějších technologií, které jsou vyvíjeny v prostředí Hadoop a MapReduce, a nasazovat je jako software podnikové třídy, kde existuje spolehlivá správa verzí, škálovatelnost a dostupná podpora, vysvětluje Gnau. Výsledek musí být spolehlivý a ve formě balíčků, aby mohlo docházet k jednoduchému nasazení, protože hlavní proud potenciálních uživatelů nemá zájem suplovat práci vývojových firem. Will Davis, manažer produktového marketingu v EMC Greenplum, s tímto tvrzením souhlasí. Větší společnosti potřebují stabilnější a spolehlivou podobu open source platforem pro big data ať už si zajistí tuto dokonalost samy, nebo to pro ně udělá někdo jiný. Mnoho tradičních zákazníků EMC velkých společností ze seznamu Fortune BIG DATA 2012

13 skutečně potřebuje při nasazení této technologie využít její připravenost pro velké podniky, aby splňovala přísné smlouvy SLA a byla vždy k dispozici, popisuje Davis. Někteří raní osvojitelé open source technologií měli či získali vlastní znalosti, takže si mohli tyto systémy nasadit svépomocí, ale druhá vlna firem si přeje rychlou implementaci bez nutnosti mít vlastní talentovaný personál. Angažujte datové vědce V oblasti big dat je v současné době opravdu velká sháňka po talentovaných odbornících. Společnosti si uvědomují, že při provozu open source platforem budou v nejlepší pozici, aby přitáhly vyškolené pracovníky. Otevřené technologie, zejména jazyk R, jsou široce využívány v akademické sféře. Tito datoví vědci navíc s platformami open source lépe pracují. Například Imran Ahmad je badatelem, který vyvinul svůj vlastní algoritmus grid computingu jde o konkurenci technologie Hadoop s názvem Bileg a je založen na open source sadě nástrojů Globus Toolkit (GT4). Tento člověk, který je dnes prezidentem firmy Cloudanum, která vyvíjí technologie analýzy dat pro cloudová prostředí, prohlašuje, že zásadní výhodou platforem open source je, že lidé jako on mohou vidět i jejich matematický základ. Pokud je to open source, můžete se v tom vrtat a uvidíte, proč dostáváte tyto výsledky a proč jsou optimální, uvádí Ahmad. Proprietární software pro analýzy dat bude fungovat po většinu času docela dobře. Když však nastane neobvyklý scénář, nemusejí být vaše výsledky důvěryhodné. Mohou být na hony vzdáleny tomu, co hledáte, prohlašuje Ahmad. A to je děsivá situace. Inzerce Není divu, že nejchytřejší hlavy se znalostmi statistického modelování jsou také vysoce žádané, zejména proto, že je nabírají organizace v odvětvích, jako jsou finanční instituce. Najali spoustu lidí ze školy do oddělení datové vědy, oddělení výzkumu a vývoje a do oddělení modelování, uvádí Smith, a zjistili, že všichni z nich byli vyškoleni v oblasti jazyka R a ne třeba pro platformu SAS. Poskytujeme konzultační služby Greenplumu, říká Davis, což je náš tým datové vědy tvořený personálem s doktorátem. Tito lidé mají znalosti z různých oborů a úrovní a spolupracují se zákazníky, aby jim umožnili správně využívat vlastní data. Jason Kuo, marketingový manažer skupiny ve společnosti SAP, potvrzuje, že firmy požadující provádění složitých úloh, jako je prediktivní analýza, loví své pracovní síly na univerzitách. Uvádí, že jejich nový produkt, který obsa huje uživatelsky přívětivé rozhraní, usnadní datovým vědcům přechod do korporátního světa. Tito lidé přinášejí své znalosti jazyka R a další zkušenosti a ptají se na nástroje pro tento jazyk, vysvětluje. Je zajímavé, že v akademickém prostředí, ať už je to z jakéhokoli důvodu rozpočet nebo znalost, budou mnohem pravděpodobněji pracovat s jazykem R bez grafického uživatelského rozhraní. A nyní vkročí do firemního světa, kde jsou vyšší nároky, časový rámec projektů je kratší, dochází ke sledování návratnosti investic atd. Firmy jim mohou říci: Co potřebujete, abyste byli úspěšnější? Jak můžeme zvýšit vaši produktivitu? A mají pro tyto statistické specialisty rozpočet, se kterým se oni nikdy v minulosti nesetkali. Pokud je nemůžete porazit Paul Kent je viceprezidentem rozvoje analytické platformy společnosti SAS Institute. Tato firma leží na opačné straně oblasti big dat a vyvíjí proprietární algoritmy pro analýzu dat, které jsou alterna tivami k těm, jež se používají v open source jazycích, jako je třeba zmíněný R. Kent uvádí, že SAS do určité míry považuje open source komunitu za svého soupeře, se kterým musí udržet krok. V open source prostředích mohou být vyvi nuty nové techniky velmi rychle, zatímco jeho firma může potřebovat více času na jejich studium, než k nim pak může vytvořit odpovídající funkci v komerčním produktu. Trvá nám trochu déle, než zareagujeme na takovou techniku a než otestujeme všechny způsoby a obměny, jakými může být použita. Máme trochu pomalejší reakci. Uvádí však, že má SAS výhodu velké technické podpory segmentu a odborné znalosti, které umožňují zajistit použitelnost některých technik pro různé organizace, ať už jde o maloobchodní podniky, banky nebo zdravotnická zařízení. Síla SAS spočívá v použití matematiky pro jednotlivé oblasti, prohlašuje Kent. SAS však zároveň drží krok s trendy a rozhodl se dát svým zákazníkům stejné možnosti jako open source. Kent prohlašuje, že SAS postavil most k jazyku R stejně jako k platformě Hadoop. Když přichází open source komunita s dobrým nápadem, Kent tvrdí, že tomu SAS věnuje dostatečnou pozornost. Z dlouhodobé perspektivy je užitečnější vystavět most nebo rozhraní k takové myšlence, než se pokoušet předstírat, že vlastně neexistuje. Redakce časopisu Computerworld vyhlašuje 3. kolo soutěže IT produkt 2012 Cílem je vyzdvihnout produkty s takovými vlastnostmi, které přinášejí významné pozitivní odlišení od konkurenčních produktů stejné kategorie. Může přitom jít o celkově inovativní pojetí produktu, pozoruhodné funkční zdokonalení, výrazně zjednodušené ovládání nebo třeba o výjimečně příznivou cenu. Podrobná pravidla soutěže i další doplňující informace naleznete na adrese cw.cz/it-produkt Uzávěrka 3. kola přihlášek je O možnosti přihlásit produkty uvedené na trh po tomto datu se prosím informujte na itprodukt@idg.cz

14 Hadoop: Velká příležitost pro korporátní data Jedním z nesprávně chápaných aspektů big dat je, jak lze využívat existující databáze s enginy pro ukládání dat, které jsou ve své podstatě nerelační. Co je nutné udělat při přenášení dat ze systému správy relační databáze (RDBMS) do distribuovaných řešení? A jak nejlépe využit big data ve firmě? BRIAN PROFFITT Zřejmě nejpopulárnějším příkladem systému správy nerelační databáze (NDBMS, Non -Relational Database Management System) je Hadoop, distribuovaný datový framework, který se ukazuje jako hlavní tvář pro big data a tzv. NoSQL databáze. Ale i tyto definice zakrývají skutečnou povahu Hadoopu a způsobu fungování. Co tedy Hadoop skutečně je a jak mohou firmy a IT personál začít s jeho využíváním? Pro jaké organizace je Hadoop vhodný a kde můžete najít zdroje pro jeho implementaci? Co Hadoop není Existují dva aspekty, které je nutné v souvislosti s řešením Hadoop vyjasnit hned na začátku: Není to určitě systém, který by byl exkluzivně svázán s technologií big data, a není to ani nástroj NoSQL. I když je pravda, že Hadoop patří k nerelační třídě systémů správy dat, nebrání to jeho využití pro jazyk SQL. Není to ani NoSQL. Je to jen způsob, jak popsat databáze, kde SQL není nutně jediným systémem kladení dotazů, který lze užít. Ve skutečnosti lze dotazy jako SQL po užívat se systémem Hadoop poměrně snadno. Mnoho lidí spojuje Hadoop se správou skutečně obrovského množství dat. A to z dobrého důvodu: Úložiště Hadoopu je využíváno společnostmi Facebook či Yahoo, které si mnoho lidí správně spojuje s obrovskými objemy dat. Použití Hadoopu však sahá daleko za hranice big dat. Jednou z nejsilnějších schopností Hadoopu je škálování, které dovoluje její nasazení v nejvyšší kategorii firem jako zmíněný Facebook, ale také umožňuje škálování směrem dolů pro libovolně velkou společnost, která potřebuje levné úložiště a správu dat. Pro pochopení těchto širokých možností škálování a souvisejících důsledků je důležité porozumět, jak Hadoop pracuje. Co tedy Hadoop je Arun Murthy je muž, který Hadoop zná opravdu podrobně. Jako viceprezident je současným lídrem projektu Hadoop v organizaci Apache Software Foundation. A nejen to Murthy se zabýval technologií Hadoop od jejích počátků, kdy Yahoo pro své potřeby adaptovala datový open source framework společnosti Google poté, co byl Hadoop definován Dougem Cuttingem kvůli získání výhod z datového programovacího frameworku Map Reduce. Cutting je nyní zaměstnán ve společnosti Cloudera, která je komerčním dodavatelem řešení Hadoop, Murthy se stal v červnu 2011 spoluzakladatelem firmy Hortonworks s několika dalšími z týmu Hadoop společnosti Yahoo, a to včetně Erica Baldeschwielera, který je nyní výkonným ředitelem společnosti Hortonworks. Hadoop lze složit z několika součástí, ale největší dvě jsou framework MapReduce pro zpracování dat a distribuovaný souborový systém pro ukládání dat Hadoop Distributed Filesystem (HDFS), vysvětluje Murthy. HDFS je v mnoha směrech nejjednodušší součástí Hadoopu, co se týče samotného pochopení (i když ne vždy nejjednodušší pro správu). Přesně podle názvu distribuovaný souborový systém uloží data na jakékoli zařízení připojené k síti Hadoop. Samozřejmě že je v tom systém a není to jen nahodilé, ale ve srovnání s přísně řízenou infrastrukturou úložiště databází typu RDBMS se tomu dá říkat doslova chlívek. Ve skutečnosti je to právě ona flexibilita, která přináší Hadoopu vysokou hodnotu. Zatímco RDBMS často potřebuje skvěle vyladěné a zpravidla vyhrazené stroje, systém Hadoop může využívat výhody běžně prodávaných klasických serverů s několika dobrými pevnými disky. Namísto potýkání se s velkou režií správy související s ukládáním dat do tabulek relačních databází využívá Hadoop k ukládání dat více strojů a disků HDFS a automaticky vytváří redundanci dat ve víceuzlových systémech. Pokud jeden uzel selže nebo zpomalí, jsou data jinde stále dostupná. Tento přístup přináší významné úspory nákladů na úrovni hardwaru a správy. Je ale třeba poznamenat, že i když je HDFS obvyklým souborovým systémem používaným s technologií Hadoop, není v žádném případě jediným. Například Amazon pro svá řešení EC2 (Elastic Compute Cloud) adap toval svůj vlastní file systém S3 pro Hadoop. Data- Stax Brisk je zase distribuce Hadoopu, ve které je HDFS nahrazen souborovým systémem Apache CassandraFS. Pro oblast datových dotazů a analýz navíc využívá 14 BIG DATA 2012

15 datový sklad Hive tak dokáže zajistit sjednocení funkcí ukládání a analýz dat v reálném čase. Takové úpravy a přizpůsobení jsou díky open source podstatě technologie Hadoop značně zjednodušeny. Pochopení frameworku MapReduce je poněkud obtížnější. Murthy ho popisuje jako programovací model pro zpracování dat. Co to ale přesně znamená? Pro ilustraci na MapReduce je dobré pohlížet analogicky jako na databázový stroj, podobně jako je Jet strojem pro Microsoft Access (mnoho lidí si na to už ani nevzpomene). Když přijde žádost o informace, použije MapReduce dvě součásti: JobTracker, který je umístěn v takzvaném master uzlu Hadoopu, a komponenty TaskTracker, které jsou dostupné v každém uzlu Hadoopu. MapReduce rozdělí datové požadavky na oddělené sady úloh a poté použije Job- Tracker k zaslání úloh MapReduce jednotlivým Task Trackerům. Kvůli eliminaci síťové latence jsou úlohy přiřazeny tomu uzlu, kde jsou data, nebo alespoň k uzlu ve stejném racku. Na obrázku můžete vidět, že Hadoop není jen distribuovaný souborový systém doplněný o MapReduce. Schéma reprezentuje framework Hadoop od Hortonworks a ukazuje další komponenty, které lze pro Hadoop využívat: Inzerce Ambari (Správa) Zookeeper (Koordinace) HBase (Sloupcové úložiště NoSQL) Pig (Datové toky) HCatalog služba správy úložiště a tabulky pro data Hadoopu. Pig programové rozhraní a rozhraní datových toků pro MapReduce. Hive řešení datového skladu, které umožňuje použití jazyka podobného SQL (HiveQL) k vytváření dotazů vůči datům Ha doopu. Murthy uvádí, že právě Hive usnadňuje použití řešení Hadoop více, než by se dalo čekat od tzv. databáze NoSQL. Pomocí HiveQL mohou datoví analytici získávat z databáze Hadoop informace stejným způsobem, jako to jsou zvyklí dělat při používání RDBMS. Přechod na Hadoop ale samozřejmě bude předpokládat přivyknutí určitým změnám, protože mezi SQL a HiveQL určité rozdíly existují, ale nejsou až tak moc velké. MapReduce (Distribuovaný programovací framework) HCatalog (Správa schématu a tabulek) HDFS (Distribuovaný souborový systém Hadoop) Základní Apache Hadoop Nezbytné projekty Hadoop Otevřená API pro: Podoba frameworku Hadoop od Hortonworks Integrace dat Přesuny dat Hive (SQL) Správa aplikačních úloh Správa systému Všem datům stejná hodnota Úložiště dat bývala drahá, vysvětluje Murthy. Přibližně před pěti lety se velké podniky i malé a střední firmy ocitly v situaci, kdy sledovaly rostoucí řadu zdrojů dat: e -maily, výsledky vyhledávání, údaje o prodejích, skladové informace, data o zákaznících, o klikání na webu atd A to všechno se pokoušely zvládnout pomocí relační databáze, což ale bylo finančně velmi nákladné. Všechny tyto události a související okolnosti vedly organizace ke snaze snižovat náklady. Rozumná správa dat z tohoto pohledu obvykle zahrnovala snižování jejich objemu pomocí zmenšování vzorků. Tyto údaje vzniklé omezením vzorku, které Murthy nazývá jako his torické, by měly být automaticky klasifikovány podle určitých předpokladů prvním z nich je,

16 že některé údaje budou vždy důležitější než ostatní. Například priority u elektronického obchodování by byly založeny na předpokladu, že data o kreditních kartách jsou vždy důležitější než ta o produktech a ta zase důležitější než údaje o kliknutích na webu. Pokud jste se snažili provozovat obchodní model na nějaké dané množině předpokladů, nemělo by být těžké takové informace extrahovat a používat je pro obchodní rozhodování. Tyto informace by však vždy vycházely z těchto předpokladů co by se ale stalo, pokud by se změnily? Protože došlo k omezení vzorku dat, využíval by každý nový obchodní scénář převzorkovaná data, jež by na úložišti zbyla. Všechna původní surová data přitom již byla dříve ztracena. Z důvodu nákladů na úložiště založená na technologii RDBMS by tyto údaje byly často v rámci organizace silážovány. Svá specifická data by mělo obchodní oddělení, marketing, účetní oddělení atd. Rozhodování podle obchodního modelu by bylo omezeno na jednotlivé zkoumané části organizace nešlo by tedy o celek. Díky řešení Hadoop nejsou žádné předpoklady potřebné, protože uchováváte všechna data, prohlašuje Murthy. A to je možná největší přínos technologie Hadoop, přestože je často ukryt v pozadí za představou snížení finančních nákladů, které Hadoop umožní. Omezení vzorku je založeno na předpokladu, že některá data budou rozsáhlejší a důležitější než ostatní, vysvětluje Murthy a dodává: V rámci ekosystému Hadoop je všem datům přisuzována stejná hodnota. Protože ale v Hadoopu mají všechny údaje stejnou hodnotu a jsou stejně dostupné, mohou být obchodní modely kdykoli zkoumány pomocí surových dat, a to bez omezení. Navíc je možné stejně přistupovat k již dříve silážovaným datům a lze je shodně sdílet kvůli získání ucelenější analýzy podnikání organizace. Tento posun ve způsobu vnímání informací je obrovský, protože nyní ztrácí smysl původní pojem historická data. Protože mohou být údaje ukládány ve své surové podobě, bude docházet ke snížení velké části režie na správu, která je spojena s extrahováním, transformacemi a operacemi načítání (ETL, Extract, Transform and Load). Kolik zaplatíte? Není asi třeba příliš diskutovat, že nejvíce propagovaným přínosem Hadoop je jeho příznivá cena. Protože je celý framework tvořený open source softwarem pod licencí Apache Software, neexistují zde žádné licenční poplatky za základní software. 16 BIG DATA 2012 Kdy byste Hadoop neměli použít? Existují určitá omezení, která byste měli mít na paměti, pokud vaše firma o přecho du na Hadoop uvažuje. Pokud potřebujete interaktivní reporty s dobou odezvy menší než jedna sekunda nebo pokud využíváte data ve vícekrokových složitých transakcích, může být řešení RDBMS stále nejlepší volbou, protože Hadoop není v těchto oblastech příliš silný. Pokud jsou vaše údaje aktualizovány a měněny pomocí vkládání a mazání, je to další důvod, proč se řešení Hadoop vyhnout. Společnost Cloudera, která dodává komerční platformu Hadoop, využívá tzv. model open core základní software Hadoop je zdarma, ale za rozšíření od firmy Cloudera se platí licenční poplatky. Hortonworks, kterou Murthy spoluzakládal s několika členy týmu Hadoop z firmy Yahoo v první polovině roku 2011, udržuje všechen software bezplatný jako open source a generuje svůj obrat prostřednictvím školení a programů podpory. Zdroje dalších úspor: Na rozdíl od RDBMS nevyžaduje Hadoop drahý hardware ani špičkové procesory. Stačí jakýkoli běžně prodávaný server. To znamená, že příslušný uzel Hadoop potřebuje jen procesor, síťovou kartu a několik pevných disků, takže bude stát kolem čtyř tisíc dolarů, zatímco specifický systém pro provozování RDBMS by mohl stát asi deset až 14 tisíc dolarů za každý terabajt. Tak velký rozdíl jasně vysvětluje, proč Hadoop získává velkou pozornost. Je však třeba opatrnosti. Všechny tyto úspory nejsou alarmem, který by firmy nutil hromadně a okamžitě vytvářet migrační plány na Hadoop. Jak již bylo zmíněno na začátku, je potřeba mít techniky a administrátory, kteří mají specifický druh zkušeností, takže orga nizace mající zájem o nasazení Hadoo pu pravděpodobně budou muset na začátku investovat hodně peněz do zaměstnanců bez ohledu na to, zda nasadí komerční nebo bezplatnou verzi Hadoopu. Ve skutečnosti se stali kvalifikovaní inženýři zvládající Hadoop na trhu tak žádaní, že se dva největší aktéři ekosystému Hadoop Google a Facebook dostali do války nabídek ve výši několika milionů dolarů za odpovídající kvalifikované inženýry. Nezávisle na druhu vámi nasazeného softwaru tak můžete očekávat v tomto směru velké výdaje za kvalifikovaný personál. V závislosti na potřebách a lokalitě to mohou být ročně i miliony korun (nepočítaje v to další benefity pro zvýšení atraktivity nabídky). Neznehodnotí to úspory vzniklé v oblasti levnějšího hardwaru a softwaru? Pokud se pokusíme zanalyzovat nasazení systému Hadoop s využitím zcela bezplatného softwaru a budeme předpokládat 100 uzlů za čtyři tisíce dolarů amortizovaných za tři roky a inženýra placeného ročně částkou 150 tisíc dolarů, dostáváme toto: Hodinové náklady na hardware (za tři roky): 15,21 dolaru. Hodinové náklady na údržbu: 17,11 dolaru. To vytváří provozní náklady asi 32 dolarů za hodinu pro celý systém, což je přibližně dolarů celkem ročně (nepočítaje v to elektrickou energii). Nyní se podívejme na podobně velký systém RDBMS v roce 2008 počítala společnost Oracle za databázový stroj se 168 TB úložného prostoru 650 tisíc dolarů za hardware a 1,68 milionu dolarů za software, což je cena systému na horní hranici (14 tisíc dolarů za terabajt). Při předpokladu ročního platu správce databáze Oracle asi 95 tisíc dolarů vycházejí provozní náklady takto: Hodinové náklady na hardware (za tři roky): 88,60 dolaru. Hodinové náklady na údržbu: 10,27 dolaru. I při nižším platu administrátora Oraclu vůči luxusní výplatě inženýra pro Hadoop tedy dostáváme provozní náklady za systém Oraclu 98,87 dolaru za hodinu, což je přibližně dolarů ročně. To je ale ve srovnání s podobně velkým nasazením Hadoopu opravdu velký rozdíl více než trojnásobné roční výdaje. Ani předpoklad nejnižší hranice nákladů za RDBMS (tj. 10 tisíc dolarů za terabajt) tuto situaci o moc nezlepší. Při použití takového čísla jsou roční náklady dolarů, což je stále 1,8 více než náklady na distribuovaný systém Hadoop. Jde samozřejmě o provozní náklady a nejsou v nich zohledněny výdaje na migraci ani žádné náklady na průběžnou podporu Hadoopu, kterou byste mohli využívat od externího dodavatele. Dramatický rozdíl ve výdajích však znamená, že i při placení vysoce nadprůměrného platu správci systému Hadoop firmy stále ušetří z dlouhodobého hlediska obrovské množství financí. Pokud se pro vaši organizaci zdá být Hadoop dobrou volbou, můžete si stáhnout open source software, který zahrnuje datový framework, a relativně snadno jej vyzkoušejte. Implementace Hadoopu Stejně jako mnoho dalších nadějných technologií, zejména ze světa open source, i platforma Hadoop těží z výhod kutilského přístupu IT oddělení, které ji chtějí vyzkoušet.

17 V současnosti Hadoop získává mnoho pozornosti v technologických médiích i na konferencích, takže se o tuto technologii začínají zajímat i vrcholoví firemní manažeři a chtějí vědět, kolik by Hadoop mohl jejich společnostem ušetřit. Existují dva samostatné vektory přijetí zdola nahoru a od exekutivy. Zdola nahoru: Plíživé experimentální nasazení Takzvaná stínová IT mohou být pro firmu požehnáním, anebo prokletím. Častokrát se stalo, že experimentální či testovací konfigurace se nakonec firmě neuvěřitelným způsobem vyplatila a přinesla jí celkově velký užitek. Například Linux byl jednou z takových přínosných stínových IT technologií na přelomu století. Nyní takovým řešením může být Hadoop, tvrdí Arun Murthy. Při plíživé metodě nasazení se obvykle objeví pár techniků, kteří stáhnou a nasadí Hadoop na jeden uzel nebo možná na malý cluster se čtyřmi či pěti uzly. Potom se obvykle stává to, co Murthy viděl ve své praxi již mnohokrát IT personál využívající cluster Hadoop si začne uvědomovat hodnotu této sady nástrojů. Často si i ostatní divize ve společnosti vytvoří vlastní clustery Hadoop. Nakonec se hodnota Hadoopu významně zvýší (díky škálovatelnosti nosného distribuovaného souborového systému) a oddělené clustery Hadoop jsou propojeny do jednoho velkého clusteru třeba s asi 50 uzly. Murthy tvrdí, že přesně toto se stalo, když společnosti Yahoo a Facebook poprvé zaváděly Hadoop. Jakmile se hodnota Hadoopu stala pro všechny oddělené týmy a aplikace zřejmou, bylo zjevné, že ideální by bylo vše zkombinovat do jedné velké sítě s Hadoopem. Samozřejmě že ne všechny společnosti potřebují škálování systému až tisíců uzlů, jako to udělaly Facebook a Yahoo, ale obecný princip je stále stejný. Shora dolů: Podle příkazu šéfů Další běžný způsob nasazení Hadoopu je na základě pokynu vrcholového vedení. Firemní manažeři sledující trendy si všimnou informací o velmi nízkých nákladech na ukládání dat v systému Hadoop a začnou formálně zkoumat, zda je toto řešení vhodné i pro jejich společnost. To je prostor pro dodavatele, jako je Hortonworks. Tato firma obvykle spolupracuje s potenciálním novým klientem a vytvoří pro něho malou sadu doporučení založenou na jeho potřebách. Také nasadí malý cluster pro lokální ověření konceptu Hadoop, který má mezi 20 až 100 uzly, a nechá zákazníka, aby sám posoudil hodnotu navrženého projek tu. Tento formální proces je podobný tomu, co nabízejí další dodavatelé ekosystému Hadoop, jako jsou Cloudera či MapR. Tak má zákazník ohledně konzultací a podpory pro Hadoop velké možnosti výběru. Použijte Sqoop Ať už si to budete zajišťovat svépomocí nebo si na to někoho najmete, v určitý moment budete potřebovat provést migraci svých dat z existujícího úložiště do systému Hadoop. Pravděpodobně nejlepším nástrojem pro tento úkon, zejména pro migraci z RDBMS, je produkt Sqoop ( SQL -to -Ha - doop ) společnosti Cloudera. Sqoop je aplikace, jež využívá příkazovou řádku a dokáže importovat jednotlivé tabulky nebo celé databáze do distribuovaného souborového systému Hadoop (HDFS). Sqoop využívá Java konektor DBInput- Format, který umožňuje MapReduce získat data z relační databáze přes rozhraní JDBC, které se nachází v databázích MySQL, Postgresql, Oracle a většině dalších populárních klasických databází. Sqoop také vygeneruje třídy Java potřebné pro MapReduce ke komunikaci s daty a takzvaně deserializuje řádky záznamů do oddělených polí informací. Sqoop můžete použít rovněž pro importování dat RDBMS přímo do datového skladu Hive. Díky této funkci nemusíte pro přípravu svých dat na migraci do systému Hadoop udělat o moc více než jen rozumné úkony, jako je vedle klasické údržby RDBMS třeba deduplikace dat. Prozkoumejte Hive Jak bylo již popsáno na začátku Hive je součást frameworku Hadoop, která analytikům umožňuje vytvářet strukturu dat a dotazy v HDFS. Data lze sumarizovat, vytvářet dotazy a analyzovat pomocí jazyka HiveQL (Hive Query Language), který je velmi podobný SQL, takže pro analytiky není obtížné tento jazyk pro takové operace používat. Hive také umožňuje programátorům MapReduce přímo připojit své vlastní datové funkce Map a Reduce pro případ, že by jazyk HiveQL nebyl schopen poskytnout potřebné informace. Při posuzování vhodnosti Hive je nutná opatrnost, protože Hadoop je systémem dávkového zpracování a jeho úlohy mají vysokou latenci, která se nakonec projevuje u dotazů Hive (v minutách, nikoli sekundách). Hive proto není dobrým systémem pro zpracování dat v reálném čase. Pokud potřebujete tento typ úlohy, zvažte použití řešení Apache Cassandra, které je open source DDMS (distributed database management sy stem) a je pro splnění potřeb v reálném čase mnohem lepší

18 Otevřené úložné systémy se ZFS od Abacusu Unified Nexenta Storage (UNS) společnosti Abacus představuje otevřené řešení, které kombinuje standardizovaný hardware Supermicro s operačním systémem NexentaStor a je využitelný nejen pro big data. Hlavní výhody Unified Nexenta Storage Otevřenost Systém je založený na open source produktu NexentaCore. Data uložená na discích nejsou uzamčena pod proprietárním operačním systémem. Jakýkoli server či PC s podporou ZFS data zpřístupní. Upgrade hardware není vázaný na jednoho dodavatele šasi je vybaveno hotswap rámečky ve všech diskových pozicích. Uživatele tedy nečeká žádné nepříjemné překvapení v podobě předražených disků ve značkových hotswap rámečcích. Stejně tak jsou používány běžné paměti a procesory. Díky použití standardizovaných serverových komponent je nízká nejen pořizovací cena, ale i pozdější upgrade. Škálovatelnost a robustnost: 128bitová architektura umožňuje takřka neomezenou škálovatelnost. Velikost jednoho souboru, počet a hloubka adresářů i celková kapacita jsou prakticky bez omezení. Pokud budete dělat každou vteřinu milion snapshotů(!), jedinečná 128bitová architektura vám je umožní generovat tímto šíleným tempem po dobu 600 tisíc let! Řada konkurenčních řešení pro ukládání dat je rozšiřitelná pouze pomocí proprietární diskových polic. Výjimečnou vlastností Unified Nexenta Storage je možnost zvýšit kapacitu připojením SAS2 JBOD police. Stejně jednoduše lze zvýšit šířku pásma a/nebo IOPS výkon prostým doplněním běžných Ethernet nebo FC portů. Díky originální, vícevrstvé architektuře čtecí (ARC, L2ARC) a zápisové (ZIL) cache lze využít libovolnou kapacitu RAM a SSD pro zvýšení výkonu. RAM a MLC SSD je vhodné využít pro čtecí cache. Spolehlivější SLC SSD pak pro vyrovnávací paměť pro zápis. Univerzálnost Jeden unifikovaný systém pro všechny požadavky UNS funguje souběžně jako: SAN úložiště s protokoly iscsi a FC, NAS úložiště s podporou CIFS, NFSv3, NFSv4, HTTP a FTP server. Nejenže maximální kapacita není omezena, ale máte k dispozici vlastnosti, za které se u tradičních storage řešení hodně připlácí prohledávatelné snapshoty, HA (aktiv -aktiv) clustering, NFS single name space, deduplikace, několik úrovní synchronní a asynchronní replikace, SSD cache. UNS je plně připraveno pro cloud a virtualizaci Unified Nexenta Storage si rozumí s VMware, MS Hyper -V i Xenem. Bezpečí pro uložená data Díky Copy -On -Write (COW) transakčnímu způsobu práce jsou data na UNS vždy bezpečně uložena. Výjimečný 128bitový souborový systém ZFS automaticky dohledává a opravuje chyby na spících datech. Jednoduchá správa a údržba, dosažitelná odkudkoli UNS je vybaveno komfortním webovým rozhraním i příkazovou řádkou. Samozřejmostí je podpora SNMP protokolu. K dispozici je také plnohodnotný IPMI modul včetně KVM- -over -Ethernet a Virtual Media over LAN, které vám zaručí plnou kontrolu nad systémem od okamžiku zapnutí. Co je SAS2 JBOD? V případě, že potřebujete vytvořit úložiště s kapacitou větší, než kolik vám umožní šasi serveru, nebo potřebujete zvětšit diskovou kapacitu serveru, jehož všechny hotswapy jsou plné, představuje pro vás SAS2 technologie ideální levné a výkonné řešení. Výhodami SAS2 JBOD boxů jsou jejich nízká cena a snadná škálovatelnost kapacity. Celé SAS2 úložiště funguje tak, že na začátku je jeden výkonný SAS2 RAID nebo HBA řadič (v serveru či SAN poli) a za něj se postupně připojují jednotlivé SAS2 JBOD. SAS2 JBOD je prakticky šasi pro mnoho disků s tzv. SAS2 expandérem, který zajišťuje distribuci dat, která do JBOD přišla jedním SAS2 kabelem mezi jednotlivé SAS/SATA disky. Pro SAS2 JBOD se používá také někdy označení disková police. Pro zajištění vysoké dostupnosti je nutné umožnit přístup k jednomu disku ze dvou řadičů či řídicích serverů souběžně (active- -active) SAS2 JBOD tedy musí být dvoucestný stejně jako SAS disky, které jsou vybaveny dvěma IO porty. V nabídce výrobce Supermicro je řada SAS2 JBOD boxů pro 3,5" i 2,5" disky. Použití oboustranných JBOD šasi Supermicro umožňuje osadit do jednoho 45U racku téměř 1 PB kapacity ve 2 TB discích. 18 BIG DATA 2012

19 Unified Nexenta Storage společnosti Abacus je dostupný v několika variantách, které se liší maximální kapacitou, rozšiřitelností a využitím prvků vysoké dostupnosti. UNS1 základní storage box v několika rackmount provedeních od 2U pro 12 hotswap disků 3,5" po 4U pro 36 hotswap disků 3,5". Všechny varianty jsou vybaveny redundantními zdroji s vysokou účinností a dostatkem rozšiřujících pozic pro I/O porty. UNS1 je ideální pro zálohování. UNS HA box unikátní HA storage box obsahující dvojici HA aktiv-aktiv uzlů v kompaktním 3U šasi pro 16 hotswap disků 3,5". Vhodné pro instalace do kapacity 32 TB s požadavkem na vysokou dostupnost. O společnosti Abacus electric, s. r. o. ( Abacus electric, s. r. o., je největším lokálním výrobcem serverů s certifikací ISO9001 a dvacetiletou tradicí na trhu. Dodává široký sortiment serverů a storage zařízení pro webhosting, virtualizaci, privátní i veřejný cloud, HPC, ukládání dat a další aplikace. Díky partnerství s klíčovými výrobci (Supermicro, AMD, Intel, 3Ware/LSI, Areca, Asus, Mellanox, Nexenta, Promise, QLogic, WD) je sortiment serverů a storage řešení výjimečné svou šíří a vlastnostmi (nabídka sahá od 1 U s hloubkou 25 cm po 8procesorové stroje s 80 fyzickými jádry). UNS HA Head výkonný řídicí box určený pro nasazení ve dvojici v rámci HA Nexenta Clusteru se sdílenými SAS2 JBOD boxy. Výhodou je rozšiřitelnost paměti RAM, kterou lze využít jako čtecí cache až do kapacity 768 MB, a šest volných slotů PCI Express třetí generace, každý s prostupností 16 GB/s. Samozřejmostí jsou redundantní zdroje s vysokou účinností. Vhodným doplňkem rozsáhlejších instalací s více SAS2 JBOD boxy je 16portový SAS2 switch. Co je LSI SAS2 switch? Doposud byla SAS úložiště považována za typický Direct -Attached -Stora ge (DAS), tedy za zařízení, které lze připojit pouze k jednomu či dvěma serverům. Uvedením SAS2 switche firmou LSI se z levného a velmi výkonného SAS konceptu stává základ SAN struktury. LSI6160 je první 16portový 1U SAS2 switch s rychlostí každého portu 24 Gbs (2krát více než 10GbE iscsi a 3krát více než FC 8Gbs). Porty switche jsou plně konfigurovatelné, lze nastavit tzv. zoning v souladu se standardem T10 (SCSI). Hlavní předností proti starší FC technologii je, kromě trojnásobné rychlosti, také výrazně nižší cena a spotřeba. Jak funguje ZFS a Copy-on-Write? Data v ZFS jsou organizována ve stromové struktuře. Kořen stromu se nazývá Uberblock a z něho vede odkaz na první dvojici podřízených ukazatelů. Každý ukazatel ve stromu obsahuje kontrolní součet dvou podřízených bloků. Tento kontrolní součet je opakovaně verifikován při každém čtení některého z podřízených bloků. Blok obsahující data není nikdy přepsán, namísto toho je vytvořen nový, do kterého jsou modifikovaná data zapsána (obrázek 2). Po té, co jsou vlastní data zapsána, dochází obdobným způsobem k postupné modifikaci metadat, tedy nadřízených ukazatelů, a to směrem zdola nahoru (obrázek 3). Na závěr je vytvo řen nový Uberblock. Předchozí Uberblock tak ukazuje na původní verzi dat a lze ho použít jako odkaz na snapshot či zahodit (obrázek 4). 1. Všechna data jsou zapsaná 2. Nový požadavek na zápis 3. COW nadřízených ukazatelů 4. Vytvoření nového Uberblocku a m i snapshotu O společnosti Supermicro ( Super Micro Computer, Inc. (NASDAQ: SMCI), vyvíjí, vyrábí a dodává energeticky efektivní, optimalizované servery architektury x86. Firma vyrábí široké portfolio serverů, high -endových pracovních stanic, storage systémů a dalších serverových komponent souhrnně nazývaných Server Building Blocks Solutions. O sp olečnosti Nexenta Systems ( Nexenta Systems je lídrem trhu v oblasti podnikových open storage řešení. Hlavní produkt NexentaStor je založen na OpenSolaris /open storage ZFS technologiích. Servery Supermicro a Hadoop ( Serverové řešení Supermicro představuje díky své univerzálnosti a škálovatelnosti ideální platformu nejen pro NexentaStor, ale pro všechny otevřené, neproprietární implementace v oblasti big dat. Společností Cloudera, lídrem trhu v oblasti implementace Apache Hadoop, jsou certifikovány servery Supermicro pro Hadoop/Cloudera cluster

20 Posuňte byznys IT oddělení nemusí čekat, až bude požádáno o analýzu dat, o které se dosud staralo pouze ve smyslu jejich ukládání. Může aktivně přicházet s inspirativními nápady, co všechno je v datech ukryto za informace a jak je předvést a použít ve vhodné formě, říkají Vladimír Kyša, BRS partner territory representative společnosti EMC, a Luděk Šafář, manager tech consultant společnosti EMC. LUKÁŠ ERBEN V minulém roce EMC začalo mluvit o definitivním konci páskových systémů. Jaká je realita například v Česku? Jak rychle zákazníci tuto technologii skutečně odstavují? EMC na trend odklonu od páskových technologií směrem k diskově orientovaným úložištím v oblasti zálohování poukazuje již několik let a snaží se jej spoluvytvářet. Výrazně vyšší dynamiku tento trend získal právě uvedením deduplikačních diskových technologií v oblasti zálohování (DataDomain/Avamar). Provozní finanční úspory těchto řešení oproti klasickým páskám jsou zřejmé i pro většinou konzervativní středoevropské zákazníky. Pokud firmy nenahradí páskové zařízení úplně, snaží se jej úspěšně minimalizovat využitím deduplikačních zařízení alespoň pro operativní zálohy s možností rychlé a elegantní obnovy v kombinaci s dlouhodobou zálohou na pásku. První zákazník, který kompletně vyměnil páskovou technologii za zálohu na deduplikační zařízení, se v Česku objevil již v roce 2007 a každým rokem přibývají desítky dalších. 20 BIG DATA 2012 Jak mohou nové technologie úložišť pomoci při zvyšování efektivity či škálování virtualizace v datových centrech a jaké mají v tomto směru zpravidla rezervy čeští zákazníci? Nastavený technologický trend spěje k plné virtualizaci nejen ve světě aplikačních serverů, ale i úložiště jako takového. Už existující možnosti tzv. federated storage, které dovolují použít zařízení jiných výrobců jako samostatnou úložnou vrstvu, čímž dochází ke sjednocení rozhraní pro správu a obecně pokročilé funkce úložiště, jsou významným krokem k dalšímu zvýšení efektivity v oblasti správy dat. Naši zákazníci na lokálním trhu jsou většinou velmi konzervativní a nevyužívají plně možnosti, které jim nabízejí zejména high -end řady diskových polí, jako je thin provisioning umožňující nabídnout uživatelům více kapacity, než je fyzicky v diskovém poli osazená, nebo FAST -Cache, která poskytuje cílené využití speciálních technologií EFD disků pro nejnáročnější aplikace. Nicméně tlak na snižování nákladů společně s rostoucí důvěrou v tyto pokročilé technologie neustále posouvá hranice jejich využití směrem ke standardnímu nasazení. EMC pokračuje ve významných akvizicích, jako byly Isilon, RSA, Greenplum a nově například Pivotal Labs. Který z těchto přírůstků má pro váš tuzemský byznys největší význam? Krátkodobý dopad na trh v České republice je velmi těžké odhadnout. Akviziční strategie EMC dává smysl v celistvosti, nikoliv v jednotlivých nákupech. Každá ze zmíněných investic, a stejně tak další jako specializovaný koncept diskového pole XtremeIO, nám umožňuje poskytovat zákazníkům koncepční a ucelený přístup k poskytování infrastruktury a služeb při přechodu na cloud. Na letošním EMC Worldu bylo představeno 42 novinek od nejvýkonnějších a největších systémů VMAX 40K přes škálovatelné NAS OS Isilon OneFS podporující nestrukturovaná data, úložiště VNX, novinky Data Domain a Avamar, virtuální storage EMC VPLEX až po cloudová řešení, jako jsou Atmos či DataBridge. Které z těchto nebo jiných novinek jsou podle vás nejdůležitější či nejrelevantnější pro tuzemský trh? Nejdůležitější zprávou pro lokální trh je zejména masivní investice do zkvalitnění celého portfolia EMC, které je mezi našimi zákazníky zastoupené. Každé z uvedených oznámení si svého adresáta v ČR najde klienti využívají téměř všechny naše produkty a samozřejmě vítají další posun v nabídce jejich funkčností. Vladimír Kyša, BRS partner territory representative společnosti EMC Velká data a menší zákazníci Řada firem dnes chápe nejen oblast big dat, ale též pokročilých datových úložišť jako cosi, co se jich netýká. Můžete nabídnout nějaké příklady toho, co nasazení kvalitnějších technologií pro ukládání a zejména další využívání dat může přinést středně velkým podnikům? Otázka v sobě kombinuje dva možné přístupy ke zpracování dat. Prvním z nich je maximalizace úspor při ukládání dat. K tomu pomáhají nejen pokročilé technologie úložišť umožňující využívání různých vrstev (tierů) s rozličnou kvalitativní charakteristikou, jako doba přístupu, rychlost přenosu dat, typ a architektura použitých disků, a cenou, ale důležitý je i způsob, jakým jsou technologie obecně nakupovány. Zde pozorujeme přechod od investičních nákupů k modelům jako služba. Ve stejném duchu pomáhají změněné koncepční přístupy v oblastech ochrany dat, jako jsou deduplikace a archivace. Naproti tomu klíčovým přínosem big dat je hodnota vyplývající přímo z obchodních procesů v podnicích, kdy informace v datech obsažené mohou významně přispět ke kvalitě služeb nabízených zákazníkům a obchodní efektivitě. Klasickými případy z této oblasti jsou analýzy nákupního chování, korelační mechanizmy, skoring klientů apod. Popsané přístupy umožňují významně ovlivnit přesnost odhadu budoucích trendů a dovolují podnikům mnohem lépe plnit přání svých klientů. Můžete zhodnotit aktuální stav v oblasti storage jako služba na českém trhu? Jak