Zp soby vyuºití datových úloºi² CESNET. Michal Strnad

Transkript

1 Zp soby vyuºití datových úloºi² CESNET Michal Strnad

2 P ehled infrastruktura dostupná na CESNETu sluºby úloºi² podle r zných typ pouºití smysl úloºi²t a zamý²lené pouºití synchronizace a sdílení dat zálohy, archivy, sdílení klasickými metodami speciální sluºby správa uºivatel a modely pouºití výhledy rozvoje sluºeb volitelná témata o ekávané rychlosti p enos dat velká data

3 ćst I Infrastruktura

4 Infrastruktura Děčín Liberec Plzeň Praha Hradec Králové Pardubice PIONIER Opava Karviná Ostrava Olomouc AMS-IX NIX Jihlava Zlín České Budějovice Brno GÉANT Internet ACONET SANET

5 Infrastruktura celková hrubá kapacita cca 21 PB Plze (od pol. 2012) v areálu ZƒU cca 500 TB disk, 4800 TB pásek, 3584 TB SGI COPAN SGI Data Migration Facility, CXFS Jihlava (2013) Krajský ú ad Jihlava 1041 TB disk, 3744 TB pásek, 2934 TB MAID Brno (2013) rektorát VUT Brno 498 TB disk, 3500 TB pásek, 2116 TB MAID e²ení IBM zaloºené na GPFS a TSM

6 Knihovna v Plzni

7 Úloºi²t jsou hierarchická vrstvy médií r zné kapacity a rychlosti rychlé disky/pomalej²í disky/maid/pásky drahý provoz levn j²í provoz a automatizovaný systém pro p esuny dat mezi nimi déle nepouºívaná data do pomalej²ích vrstev pro uºivatele transparentní, resp. tém transparentní p ístup k dlouho nepouºitému souboru trvá déle uºivatel m to obvykle nevadí

8 Zapln ní archivu v Plzni

9 ƒást II Sluºby datových úloºi² motivace

10 Smysl externího úloºi²t uºivatelé rad ji drºí data na vlastním za ízení... to ale nedává rozumné garance dlouhodobého uchovávání pouºívají se nevhodná média, chybí systematická pé e data je lépe uchovávat v ºivém systému konsolidace zdroj národní úloºi²t v deckých dat umoº uje po ídit za ízení dostate né velikosti spravované specializovaným týmem s moºností sdílení dat mezi skupinami uºivatel

11 Cíl: dlouhodobé uchování dat pot eba dlouhodob uchovávat v decká data vzr stá uchování primárních dat z experiment a výpo t s ohledem na potenciál jejich dal²ího vyuºití k návratu a revizi publikovaných výsledk uchování zaji² ujeme na úrovni zachování binárních dat (bitstream) správce úloºi²t nerozumí odborné povaze dat ani nem ºe rozhodovat o smysluplnosti jejich archivace proto ned láme LTP (Long-Term Preservation) bitstream je nicmén p edpokladem pro uchování dat dal²í kopie, geogracké repliky, redundance v systému

12 Organiza n -právní pohled data uºivatel zásadn pat í uºivatel m srovnejte s provozními podmínkami komer ních poskytovatel

13 ƒást III Sluºby datových úloºi²

14 Jednorázové zaslání souboru FileSender: webová sluºba pro jednorázový p enos (velkých) soubor velkých: aktuáln 500 GB p ispíváme i k jeho vývoji alespo jedna strana komunikace musí být oprávn ný uºivatel infrastruktury autentizace federací eduid.cz oprávn ný uºivatel m ºe nahrát soubor a poslat mu oznámení lze poslat komukoli pozvánku testovací verze na

15 Synchronizace a sdílení dat pokud hledáte zp sob, jak a p itom owncloud synchronizovat data mezi svými po íta i i mobilními za ízeními mít je zárove dostupná p es web moci data sdílet data nejsou p íli² velká

16 owncloud cloudové úloºi²t se synchronizací soubor pro osobní po íta e (Windows, Linux, Mac OS X) mobilní Android, Apple (klient pod 1 Euro) a webové rozhraní data se synchronizují p es úloºi²t na po íta i jsou i lokáln, na mobilní p i otev ení data lze sdílet konkrétní osob nebo kdo zná odkaz kalendá, kontakty registrace federací na standardní limit 100 GB na uºivatele

17 owncloud po et uºivatel

18 Klasické moºnosti vyuºití úloºi² zálohy archivace uºivatelé mají primární data u sebe na úloºi²t odkládají zálohu pro p ípad havárie bu pro zálohování jednotlivých stroj nebo i agregovan IT odd lení zálohuje celou katedru uºivatelé na úloºi²t odkládají cenná primární data data nejsou asto vyuºívána uºivatelé nemají prost edky pro jejich uchovávání individuální p ístup koncových uºivatel vs. laboratorní archivá

19 Klasické moºnosti vyuºití úloºi² sdílení dat distribuovaný tým pot ebuje spole n pracovat nad v t²ími objemy dat, p ípadn je zve ej ovat typicky koncoví uºivatelé n co jiného distribuce obsahu, jiné speciální aplikace

20 Standardní p ístup k soubor m pokud chcete p ipojit souborový systém nebo p ená²et soubory NFSv4 (známé uºivatel m MetaCentra) rsync, scp, FTPS obvykle autentizované systémem Kerberos existují GUI klienti i nástroje pro p íkazovou ádku pro hlavní platformy CIFS (známý sí ový disk z Windows) Globus vysokorychlostní p enosy

21 Globus d íve zvaný GlobusOnline klikací FTP na steroidech kopírování velkého objemu dat ízené pomocí webového rozhraní mezi koncovými body úloºi²ti podporujícími Globus nebo lokálním strojem

22 Jak za ít pouºívat souborový p ístup pokud chcete vyuºívat souborov orientované protokoly dosta uje prefabrikovaná politika migrací dat ukládáte jen individuální data pot ebujete ukládat nejvý²e jednotky TB tak se jen zaregistrujte na vyºaduje to ov ení uºivatele z akademické instituce lenství se po roce prodluºuje jako indikace, ºe uºivatel je²t ví o svých datech kódové ozna ení: VO Storage

23 Jak se stát uºivatelem snadno 2 pokud pot ebujete (t eba okamºit ) i výpo etní zdroje a vyhovují podmínky podobné jako ve VO Storage tak se zaregistrujte do MetaCentra na jestli to nesta í, tak...

24 Jak se stát uºivatelem snadno 2 pokud pot ebujete (t eba okamºit ) i výpo etní zdroje a vyhovují podmínky podobné jako ve VO Storage tak se zaregistrujte do MetaCentra na jestli to nesta í, tak... ale aº za chvilku

25 Správa uºivatelských ú t systém Perun uºivatel (osoba) má (ideáln ) jedinou identitu v infrastruktu e pot ebujeme ov ení identity a p íslu²nosti k oprávn né instituci pro to? zodpovídáme v projektu za to, komu sluºby poskytujeme (akademické komunit ), ídíme mnoho r zných sluºeb na identitu uºivatele jsou navázány jednotlivé mechanismy p ístupu ke zdroj m ízeno lenstvím ve virtuálních organizacích uºivatelé v²e ídí p es webové rozhraní

26 Úloºi²t pro náro n j²í nesta í VO Storage? zaloºíme vám virtuální organizaci! VO je skupina uºivatel se spole ným zájmem, kte í vystupují jako celek VO má správce, který jedná s poskytovatelem zdroj rozhoduje o podmínkách lenství jednotlivých uºivatel dohoda o poskytování zdroj mezi VO a správcem zdroje popisuje nastavení technických parametr velikost poskytovaného prostoru pouºité p ístupové protokoly politika ukládání dat, po ty kopií/replik VO m ºe vyuºívat r zné typy zdroj

27 Náro n j²í poºadavky prakticky napi²te nám na du-support@cesnet.cz domluvíme se, co pot ebujete opravdu to pot ebujeme pochopit kolik dat máte, jak s nimi pracujete,... p ipravíme konguraci úloºi²t zaloºíme virtuální organizaci organiza ní jednotka pro správu uºivatel pozveme vás do ní a pový²íme na administrátora dál si uºivatele spravujete sami, vytvá íte skupiny,... ukládáte data p es FTP/rsync/NFSv4/... my se staráme, aby na se vytvá ely jejich repliky,...

28 Stav shrnutí na²ím dlouhodobým zám rem je spolupracovat se skupinami, které mají velká data pomoci s ukládáním pomoci se zpracováním na²e úloºi²t jsou v b ºném provozu zde popsané sluºby jsou k dispozici dva reºimy sluºeb: p ihla²te se vs. napi²te nám pro napi²te nám sluºby vºdy pot ebujeme pochopit zám ry uºivatele vyºaduje komunikaci a jisté úsilí na obou stranách

29 Výhled cílem je udrºet úloºi²t s otev eným p ístupem pro v deckou komunitu ideové pilí e rozvoje 1. technologie a její provoz 2. organizace dat (Hadoop, databáze) 3. aplikace analýza velkých dat v etn schopnosti fungovat jako testovací prost edí pro takové aplikace 4. dlouhodobé uchování dat poskytnutí nástroj pro práci aplika ního knihovníka 5. Open Access repozitá publikací a dat body 2 a 3 v úzké spolupráci s národním gridem MetaCentrum

30 Kontakty uºivatelská podpora:

31 Záloha

32 ... to uº jsou velká data? lze o ekávat propustnosti n kolika stovek MB/s na 10Gbit/s p ipojení bez v t²ích zásah na gigabitu 5080 MB/s pokud v nujete pozornost vylad ní systém na 10Gbit/s p ípojce, tak dosáhnete aº 400 MB/s to zahrnuje lad ní parametr TCP/IP stacku jádra OS a pot ebujete íst ze/psát na 810 rota ních disk pro dosaºení takového toku pro tak málo? úloºi²t mají vnit ní propustnost 2,5 GB/s navenek a dovnit hierarchie limit technologie za p ijatelné náklady p istupuje více uºivatel sou asn synchronními protokoly

33 Co znamená 400 MB/s? m jme t eba 100 TB dat tedy MB, tedy sekund cca 69 hodin to je necelé t i dny takºe 1 PB by se p ená²el m síc pro to v bec podporujete? uºivatelé tato rozhraní cht jí jsou zvyklí na standardní POSIX souborové systémy

34 Intermezzo: co znamená 10 Mbit/s p ípojka? úloºi²t vyºadují rozumné p ipojení uºivatele jak dlouho bude uºivatel linkou o teoretické propustnosti 10 Mbit/s kopírovat 20 TB? 20 TB = Mbit 160 mil. Mbit / (10 Mbit/s * sekund za den) 185 dn p i plném teoretickém vytíºení linky reáln ekn me rok na druhou stranu pln posta í p ipojení do sdílené páte e pro p enosy dat na úloºi²t s disky obvykle není t eba lambda

35 Big Data wikipedia: Big data is an all-encompassing term for any collection of data sets so large and complex that it becomes dicult to process them using traditional data processing applications. z toho obecn plyne: cena, rychlost, pohodlí vyberte si nejvý²e dv z nich ;) pro nás jsou data velká, kdyº se jim uºivatelé musí p izp sobit tedy kdyº nelze nasadit standardní techniky a dosáhnout pro uºivatele p ijatelného výsledku specializované nástroje vyºadují zna né úsilí p i nasazování

36 Jak se to d lá vzdáme se bohatosti POSIX souborového systému typicky ponecháme pouze operace uloº soubor a stáhni soubor ve velkých datech nelze mít miliardy mali kých soubor p íklad: odhad moºností zpracování dat byl sou ástí návrhu LHC p íklad: dcache jeden ze systém správy dat vyvinutých pro CERN pro ukládání PB objem na heterogenních úloºi²tích jsme také jeden z uzl