Datová úloºi²t CESNET

Rozměr: px

Začít zobrazení ze stránky:

Download "Datová úloºi²t CESNET"

Karolína Kovářová
před 5 lety
Počet zobrazení:

1 Datová úloºi²t CESNET Michal Strnad

2 P ehled pro má smysl budovat národní datová úloºi²t pro v decká data budovaná infrastruktura jak úloºi²t pouºít p ístupové mechanismy správa uºivatel na úloºi²tích pouºití pro náro n j²í uºivatele speciální aplikace

3 Smysl externího úloºi²t uºivatelé rad ji drºí data na vlastním za ízení... to ale nedává rozumné garance dlouhodobého uchovávání pouºívají se nevhodná média, chybí systematická pé e data je lépe uchovávat v ºivém systému konsolidace zdroj národní úloºi²t v deckých dat umoº uje po ídit za ízení dostate né velikosti spravované specializovaným týmem s moºností sdílení dat mezi skupinami uºivatel

4 Cíl: dlouhodobé uchování dat pot eba dlouhodob uchovávat v decká data vzr stá uchování primárních dat z experiment a výpo t s ohledem na potenciál jejich dal²ího vyuºití k návratu a revizi publikovaných výsledk

5 Moºnosti vyuºití datových úloºi² zálohy archivace sdílení dat uºivatelé mají primární data u sebe na úloºi²t odkládají zálohu pro p ípad havárie uºivatelé na úloºi²t odkládají cenná primární data data nejsou asto vyuºívána uºivatelé nemají prost edky pro jejich uchovávání distribuovaný tým pot ebuje spole n pracovat nad v t²ími objemy dat, p ípadn je zve ej ovat n co jiného distribuce obsahu, jiné speciální aplikace

6 Moºnosti vyuºití datových úloºi² a naopak: na co se vzdálené úloºi²t p íli² nehodí interaktivní práce zejména s velkým mnoºstvím malých soubor ukládání dat s pot ebou p ístupu v reálném ase prioritou je spolehlivost uloºení p ímý provoz systém s nutností 24/7 p ístupu toto není úloºi²t pod vá² SAP na to je obecn vzdálené úloºi²t nevhodné vhodné pouºití pro podobné scéná e primární 24/7 data u uºivatele, na CESNET zálohy/repliky rozd lení ºivotn d leºitých dat vs. nice to have dat

7 Infrastruktura Děčín Liberec Plzeň Praha Hradec Králové Pardubice PIONIER Opava Karviná Ostrava Olomouc AMS-IX NIX Jihlava Zlín České Budějovice Brno GÉANT Internet ACONET SANET

8 Infrastruktura trojice úloºi² : Plze, Jihlava, Brno celková hrubá kapacita cca 22 PB Plze v pilotním provozu od kv tna Nyní jiº v produkci. v areálu ZƒU SGI Data Migration Facility, CXFS pásková knihovna Innite Storage Jihlava a Brno dodáno v kv tnu 2013 probíhá uvád ní do zku²ebního provozu, testovací uºivatelé e²ení IBM zaloºené na GPFS

9 Knihovna v Plzni

10 Úloºi²t jsou hierarchická vrstvy médií r zné kapacity a rychlosti rychlé disky/pomalej²í disky/maid/pásky drahý provoz levn j²í provoz a automatizovaný systém pro p esuny dat mezi nimi déle nepouºívaná data do pomalej²ích vrstev pro uºivatele transparentní, resp. tém transparentní p ístup k dlouho nepouºitému souboru trvá déle uºivatel m to obvykle nevadí

11 Zapln ní pásek a vypínatelných disk v Plzni

12 Jak na úloºi²t p ená²et data motivace v t²ina software p edpokládá pouºití lokálních disk vzdálené sí ové disky se chovají jako lokální by nemají vysoký výkon p i práci s malými soubory je nutno podporovat ²kálu p ístupových protokol pro r zné p ípady pouºití drºíme se nicmén spí²e klasických protokol

13 P enos dat na úloºi²t souborové speciální NFSv4 (známé uºivatel m MetaCentra) rsync, scp, SFTP, FTPS obvykle autentizované systémem Kerberos existují GUI klienti i nástroje pro p íkazovou ádku pro hlavní platformy Globus Online vysokorychlostní p enosy výhledov CIFS (známý sí ový disk z Windows) gridové úloºi²t v systému dcache FileSender owncloud bloková za ízení (není preferováno)

14 FileSender webová sluºba pro jednorázový p enos (velkých) soubor velkých: aktuáln 500 GB p ispíváme i k jeho vývoji alespo jedna strana komunikace musí být oprávn ný uºivatel infrastruktury autentizace federací eduid.cz oprávn ný uºivatel m ºe nahrát soubor a poslat mu oznámení lze poslat komukoli pozvánku testovací verze na

15 FileSender - demo Demo

16 OwnCloud Webové rozhraní pro p ístup k Va²im dat m Data lze automaticky synchronizovat mezi svými po íta i (GNU/Linux, Win, Mac OS X) a mobilními za ízeními nebo je sdílet s kolegy Dále poskytuje platformu pro sdílení kontakt a kalendá autentizace federací eduid.cz není nutné se registrovat, ú et je vám automaticky zaloºen p i prvním p ihlá²ení sluºba byla spu²t na > testovací reºim

17 OwnCloud - demo Quick demo

18 Ostatní speciální protokoly/aplikace GlobusOnline dcache klikací FTP na steroidech kopírování velkého objemu dat ízené pomocí webového rozhraní mezi koncovými body úloºi²ti podporujícími GlobusOnline nebo lokálním strojem jeden ze systém správy dat vyvinutých pro CERN pro ukládání PB objem

19 Jak se stát uºivatelem snadno pokud chcete vyuºívat souborov orientované protokoly dosta uje prefabrikovaná politika migrací dat ukládáte jen individuální data pot ebujete ukládat nejvý²e jednotky TB tak se jen zaregistrujte na vyºaduje to ov ení uºivatele z akademické instituce lenství se po roce prodluºuje jako indikace, ºe uºivatel je²t ví o svých datech kódové ozna ení: VO Storage jestli to nesta í, tak...

20 Jak se stát uºivatelem snadno pokud chcete vyuºívat souborov orientované protokoly dosta uje prefabrikovaná politika migrací dat ukládáte jen individuální data pot ebujete ukládat nejvý²e jednotky TB tak se jen zaregistrujte na vyºaduje to ov ení uºivatele z akademické instituce lenství se po roce prodluºuje jako indikace, ºe uºivatel je²t ví o svých datech kódové ozna ení: VO Storage jestli to nesta í, tak... ale aº za chvilku

21 Správa uºivatelských ú t jednotná správa uºivatelských ú t v infrastruktu e systém Perun pro to? zodpovídáme v projektu za to, komu sluºby poskytujeme (akademické komunit ), ídíme mnoho r zných sluºeb identita uºivatele je podchycena centráln ov ena proti federaci eduid.cz alternativní mechanismus pro ne leny federace je k dispozici na identitu uºivatele jsou navázány jednotlivé mechanismy p ístupu k dat m uºivatel má jednotné webové rozhraní pro správu ú tu

22 Úloºi²t pro náro n j²í nesta í VO Storage? zaloºíme vám virtuální organizaci! VO je skupina uºivatel se spole ným zájmem, kte í vystupují jako celek VO má správce, který jedná s poskytovatelem zdroj rozhoduje o podmínkách lenství jednotlivých uºivatel dohoda o poskytování zdroj mezi VO a správcem zdroje popisuje nastavení technických parametr velikost poskytovaného prostoru pouºité p ístupové protokoly politika ukládání dat, po ty kopií/replik VO m ºe vyuºívat r zné typy zdroj

23 Zaloºení VO prakticky napi²te nám na domluvíme se, co pot ebujete opravdu to pot ebujeme pochopit kolik dat máte, jak s nimi pracujete,... p ipravíme konguraci úloºi²t zaloºíme virtuální organizaci pozveme vás do ní a pový²íme na administrátora dál si uºivatele spravujete sami, vytvá íte skupiny,... ukládáte data p es FTP/rsync/NFSv4/... my se staráme, aby na se vytvá ely jejich repliky,...

24 Aktuální stav úloºi²t v Plzni v produkci p ichází na n j uºivatelé individuální se mohou p ihlásit do VO Storage p ipojeno do MetaCentra FileSender v provozu p ímo pro uºivatele z MetaCentra postupn obsluhujeme zájemce o náro n j²í vyuºívání vºdy vyºaduje komunikaci pro velká data (desítky TB+): nezbytná technická znalost uºivatel úloºi²t v Brn a Jihlav p ichází na n j "testovací"uºivatelé

25 Práce s úloºi²t m - demo Demo

26 Kontakty uºivatelská podpora: (RT systém)

Podobné dokumenty

Datová úložiště CESNET. David Antoš

Datová úložiště CESNET. David Antoš Datová úložiště CESNET David Antoš Přehled proč má smysl budovat národní datová úložiště pro vědecká data budovaná infrastruktura jak úložiště použít přístupové mechanismy správa uživatelů na úložištích