Datová úloºi²t CESNET Michal Strnad 2. 3. 2014
P ehled pro má smysl budovat národní datová úloºi²t pro v decká data budovaná infrastruktura jak úloºi²t pouºít p ístupové mechanismy správa uºivatel na úloºi²tích pouºití pro náro n j²í uºivatele speciální aplikace
Smysl externího úloºi²t uºivatelé rad ji drºí data na vlastním za ízení... to ale nedává rozumné garance dlouhodobého uchovávání pouºívají se nevhodná média, chybí systematická pé e data je lépe uchovávat v ºivém systému konsolidace zdroj národní úloºi²t v deckých dat umoº uje po ídit za ízení dostate né velikosti spravované specializovaným týmem s moºností sdílení dat mezi skupinami uºivatel
Cíl: dlouhodobé uchování dat pot eba dlouhodob uchovávat v decká data vzr stá uchování primárních dat z experiment a výpo t s ohledem na potenciál jejich dal²ího vyuºití k návratu a revizi publikovaných výsledk
Moºnosti vyuºití datových úloºi² zálohy archivace sdílení dat uºivatelé mají primární data u sebe na úloºi²t odkládají zálohu pro p ípad havárie uºivatelé na úloºi²t odkládají cenná primární data data nejsou asto vyuºívána uºivatelé nemají prost edky pro jejich uchovávání distribuovaný tým pot ebuje spole n pracovat nad v t²ími objemy dat, p ípadn je zve ej ovat n co jiného distribuce obsahu, jiné speciální aplikace
Moºnosti vyuºití datových úloºi² a naopak: na co se vzdálené úloºi²t p íli² nehodí interaktivní práce zejména s velkým mnoºstvím malých soubor ukládání dat s pot ebou p ístupu v reálném ase prioritou je spolehlivost uloºení p ímý provoz systém s nutností 24/7 p ístupu toto není úloºi²t pod vá² SAP na to je obecn vzdálené úloºi²t nevhodné vhodné pouºití pro podobné scéná e primární 24/7 data u uºivatele, na CESNET zálohy/repliky rozd lení ºivotn d leºitých dat vs. nice to have dat
Infrastruktura Děčín Liberec Plzeň Praha Hradec Králové Pardubice PIONIER Opava Karviná Ostrava Olomouc AMS-IX NIX Jihlava Zlín České Budějovice Brno GÉANT Internet ACONET SANET
Infrastruktura trojice úloºi² : Plze, Jihlava, Brno celková hrubá kapacita cca 22 PB Plze v pilotním provozu od kv tna 2012. Nyní jiº v produkci. v areálu ZƒU SGI Data Migration Facility, CXFS pásková knihovna Innite Storage Jihlava a Brno dodáno v kv tnu 2013 probíhá uvád ní do zku²ebního provozu, testovací uºivatelé e²ení IBM zaloºené na GPFS
Knihovna v Plzni
Úloºi²t jsou hierarchická vrstvy médií r zné kapacity a rychlosti rychlé disky/pomalej²í disky/maid/pásky drahý provoz levn j²í provoz a automatizovaný systém pro p esuny dat mezi nimi déle nepouºívaná data do pomalej²ích vrstev pro uºivatele transparentní, resp. tém transparentní p ístup k dlouho nepouºitému souboru trvá déle uºivatel m to obvykle nevadí
Zapln ní pásek a vypínatelných disk v Plzni
Jak na úloºi²t p ená²et data motivace v t²ina software p edpokládá pouºití lokálních disk vzdálené sí ové disky se chovají jako lokální by nemají vysoký výkon p i práci s malými soubory je nutno podporovat ²kálu p ístupových protokol pro r zné p ípady pouºití drºíme se nicmén spí²e klasických protokol
P enos dat na úloºi²t souborové speciální NFSv4 (známé uºivatel m MetaCentra) rsync, scp, SFTP, FTPS obvykle autentizované systémem Kerberos existují GUI klienti i nástroje pro p íkazovou ádku pro hlavní platformy Globus Online vysokorychlostní p enosy výhledov CIFS (známý sí ový disk z Windows) gridové úloºi²t v systému dcache FileSender owncloud bloková za ízení (není preferováno)
FileSender webová sluºba pro jednorázový p enos (velkých) soubor velkých: aktuáln 500 GB p ispíváme i k jeho vývoji http://filesender.cesnet.cz alespo jedna strana komunikace musí být oprávn ný uºivatel infrastruktury autentizace federací eduid.cz oprávn ný uºivatel m ºe nahrát soubor a poslat mu oznámení lze poslat komukoli pozvánku testovací verze na http://filesender2.cesnet.cz
FileSender - demo Demo
OwnCloud Webové rozhraní pro p ístup k Va²im dat m Data lze automaticky synchronizovat mezi svými po íta i (GNU/Linux, Win, Mac OS X) a mobilními za ízeními nebo je sdílet s kolegy Dále poskytuje platformu pro sdílení kontakt a kalendá https://owncloud.cesnet.cz autentizace federací eduid.cz není nutné se registrovat, ú et je vám automaticky zaloºen p i prvním p ihlá²ení sluºba byla spu²t na 26. 2. 2013 -> testovací reºim
OwnCloud - demo Quick demo
Ostatní speciální protokoly/aplikace GlobusOnline dcache klikací FTP na steroidech kopírování velkého objemu dat ízené pomocí webového rozhraní mezi koncovými body úloºi²ti podporujícími GlobusOnline nebo lokálním strojem jeden ze systém správy dat vyvinutých pro CERN pro ukládání PB objem
Jak se stát uºivatelem snadno pokud chcete vyuºívat souborov orientované protokoly dosta uje prefabrikovaná politika migrací dat ukládáte jen individuální data pot ebujete ukládat nejvý²e jednotky TB tak se jen zaregistrujte na http://du.cesnet.cz vyºaduje to ov ení uºivatele z akademické instituce lenství se po roce prodluºuje jako indikace, ºe uºivatel je²t ví o svých datech kódové ozna ení: VO Storage jestli to nesta í, tak...
Jak se stát uºivatelem snadno pokud chcete vyuºívat souborov orientované protokoly dosta uje prefabrikovaná politika migrací dat ukládáte jen individuální data pot ebujete ukládat nejvý²e jednotky TB tak se jen zaregistrujte na http://du.cesnet.cz vyºaduje to ov ení uºivatele z akademické instituce lenství se po roce prodluºuje jako indikace, ºe uºivatel je²t ví o svých datech kódové ozna ení: VO Storage jestli to nesta í, tak... ale aº za chvilku
Správa uºivatelských ú t jednotná správa uºivatelských ú t v infrastruktu e systém Perun pro to? zodpovídáme v projektu za to, komu sluºby poskytujeme (akademické komunit ), ídíme mnoho r zných sluºeb identita uºivatele je podchycena centráln ov ena proti federaci eduid.cz alternativní mechanismus pro ne leny federace je k dispozici na identitu uºivatele jsou navázány jednotlivé mechanismy p ístupu k dat m uºivatel má jednotné webové rozhraní pro správu ú tu
Úloºi²t pro náro n j²í nesta í VO Storage? zaloºíme vám virtuální organizaci! VO je skupina uºivatel se spole ným zájmem, kte í vystupují jako celek VO má správce, který jedná s poskytovatelem zdroj rozhoduje o podmínkách lenství jednotlivých uºivatel dohoda o poskytování zdroj mezi VO a správcem zdroje popisuje nastavení technických parametr velikost poskytovaného prostoru pouºité p ístupové protokoly politika ukládání dat, po ty kopií/replik VO m ºe vyuºívat r zné typy zdroj
Zaloºení VO prakticky napi²te nám na du-support@cesnet.cz domluvíme se, co pot ebujete opravdu to pot ebujeme pochopit kolik dat máte, jak s nimi pracujete,... p ipravíme konguraci úloºi²t zaloºíme virtuální organizaci pozveme vás do ní a pový²íme na administrátora dál si uºivatele spravujete sami, vytvá íte skupiny,... ukládáte data p es FTP/rsync/NFSv4/... my se staráme, aby na se vytvá ely jejich repliky,...
Aktuální stav úloºi²t v Plzni v produkci p ichází na n j uºivatelé individuální se mohou p ihlásit do VO Storage p ipojeno do MetaCentra FileSender v provozu p ímo pro uºivatele z MetaCentra postupn obsluhujeme zájemce o náro n j²í vyuºívání vºdy vyºaduje komunikaci pro velká data (desítky TB+): nezbytná technická znalost uºivatel úloºi²t v Brn a Jihlav p ichází na n j "testovací"uºivatelé
Práce s úloºi²t m - demo Demo
Kontakty http://du.cesnet.cz uºivatelská podpora: du-support@cesnet.cz (RT systém)