Způsoby využití datových úložišť CESNET Petr Benedikt
Přehled infrastruktura specifikace datových center struktura úložišť migrační politiky smysl datových úložišť poskytované služby filesender owncloud přímý přístup k souborovému systému Globus VO Storage Perun - správa uživatelů Kontakty
ČÁST I INFRASTRUKTURA
Infrastruktura Děčín Liberec Hradec Králové PIONIER Plzeň Praha Pardubice Opava Karviná Ostrava Olomouc AMS-IX NIX Jihlava Zlín České Budějovice Brno GÉANT Internet ACONET SANET
Infrastruktura celková hrubá kapacita cca 22 PB Plzeň (od pol. 2012) ~ 8.5 PB v areálu ZČU cca 500 TB disků, 4800 TB pásek, 3584 TB SGI COPAN SGI Data Migration Facility, CXFS Jihlava (2013) ~ 7.5 PB Krajský úřad Jihlava 1041 TB disků, 3744 TB pásek, 2934 TB MAID řešení IBM založené na GPFS a TSM Brno (2013) ~ 6 PB rektorát VUT Brno 498 TB disků, 3500 TB pásek, 2116 TB MAID řešení IBM založené na GPFS a TSM
Knihovna v Plzni
HSM = hierarchická úložiště různé druhy médií (tier) rychlé disky pomalejší disky MAID pásky dostupná kapacita: nízká vysoká náklady na provoz: drahý levný přístupová doba: nízká vysoká rychlost přístupu: vysoká nízká
Migrační politiky automatizovaný systém pro přesuny dat mezi nimi déle nepoužívaná data na pomalejších vrstvy pro uživatele transparentní, resp. téměř transparentní přístup k dlouho nepoužitému souboru trvá déle aplikace / uživatel s tím musí počítat tape - SATA MAID páska tape_tape - tape + záloha na pásku disk_only - data jsou jen na discích, nikdy se nepřesouvají cache_tape - tape_tape s předřazenými FC disky (pouze v Plzni pro VO Storage)
Zaplnění archivu v Plzni https://du.cesnet.cz/cs/statistiky/start
ČÁST II SLUŽBY DATOVÝCH ÚLOŽIŠŤ
Smysl externího úložiště běžný scénář: uživatelé mají svá data na svých strojích / externích discích / NAS serverech apod. použití nevhodných médií chybí systematická péče nemají prostředky na vyšší kapacitu / zálohy apod. centrální úložiště vědeckých dat možnosti pořídit zařízení dostatečné velikosti spravované specializovaným týmem možnost sdílení dat mezi skupinami uživatelů možnosti zálohování / archivace do geograficky oddělených poloh
Cíl: dlouhodobé uchování dat potřeby pro uchování dat stále roste primární data z experimentů a výpočtů s ohledem na potenciál jejich dalšího využití k návratu a revizi publikovaných výsledků potřeba zajištění konzistence dat zajištění na úrovni zachování binárních dat (bitstream) správce úložiště nerozumí odborné povaze dat ani nemůže rozhodovat o smysluplnosti jejich archivace proto neděláme LTP (Long-Term Preservation) bitstream je nicméně předpokladem pro uchování dat další kopie, geografické repliky, redundance v systému
Organizačně-právní pohled data uživatelů zásadně patří uživatelům srovnejte s provozními podmínkami komerčních poskytovatelů Pokud nahrajete, odešlete, uložíte nebo přijmete obsah do nebo prostřednictvím našich služeb, poskytujete společnosti XXX (a subjektům, se kterými společnost XXX spolupracuje) celosvětově platnou licenci k užití, hostování, uchovávání, reprodukování, upravení, vytvoření odvozených děl
ČÁST III AKTUÁLNĚ POSKYTOVANÉ SLUŽBY
FileSender FileSender: webová služba pro jednorázový přenos velkých souborů velkých : aktuálně 500 GB přispíváme i k jeho vývoji https://filesender.cesnet.cz alespoň jedna strana komunikace musí být oprávněný uživatel infrastruktury autentizace federací eduid.cz i edugain autentizovaný uživatel může nahrát soubor a komukoliv odeslat adresu ke stažení lze odeslat i pozvánku testovací verze https://filesender2.cesnet.cz
owncloud cloudové úložiště se synchronizací souborů klienti dostupné pro: osobní počítače (Windows, Linux, OS X) mobilní zařízení (Android, ios) webové rozhraní přístup přes protokol WebDAV data se synchronizují přes úložiště na počítači jsou i lokálně mobilní zařízení stahují na žádost data lze sdílet konkrétnímu uživateli owncloudu nebo přes unikátní odkaz současná spolupráce nad dokumenty kalendář, kontakty registrace federací na https://owncloud.cesnet.cz standardní limit 100 GB / uživatel
owncloud - počet uživatelů
Klasické možnosti využití úložišť zálohy úživatelé mají primární data u sebe na úložiště odkládají zálohu pro případ havárie buď pro zálohování jednotlivých strojů nebo i agregovaně - IT oddělení zálohuje celou katedru archivace uživatelé na úložiště odkládají cenná primární data data nejsou často využívána uživatelé nemají prostředky pro jejich uchování individuální přístup koncových uživatelů vs. laboratorní archivář
Klasické možnosti využití úložišť sdílení dat distribuovaný tým potřebuje společně pracovat nad většími objemy dat, případně je zveřejňovat typicky koncoví uživatelé něco jiného distribuce obsahu jiné speciální aplikace
Možnosti přístupu k souborům podporované přenosové protokoly a nástroje NFSv4 (známé uživatelům MetaCentra) rsync, ssh/scp, ftp/ftps/sftp Globus - vysokorychlostní point-to-point přenosy autentizace systémem Kerberos použitelné nástroje nástroje pro příkazovou řádku GUI klienti podpora všech hlavních platforem připravujeme také CIFS ( síťový disk pro Windows)
Globus dříve označovaný GlobusOnline klikací FTP na steroidech kopírování velkého objemu dat řízené pomocí webového rozhraní mezi koncovými body - úložiště podporující Globus nebo lokální stroje služba dostupná na https://www.globus.org/
Jak se stát uživatelem - snadno pokud chcete využívat souborově orientované protokoly dostačuje prefabrikovaná politika migrací dat ukládáte jen individuální data potřebujete ukládat nejvýše jednotky TB tak se jen zaregistrujte na http://du.cesnet.cz vyžaduje to ověření uživatele z akademické instituce členství se po roce prodlužuje jako indikace, že uživatel ještě ví o svých datech kódové označení: VO Storage
Jak se stát uživatelem - snadno 2 pokud potřebujete (třeba okamžitě) i výpočetní zdroje a vyhovují podmínky podobné jako ve VO Storage tak se zaregistrujte do MetaCentra na http://metavo.metacentrum.cz/ jestli to nestačí, tak...
Jak se stát uživatelem - snadno 2 pokud potřebujete (třeba okamžitě) i výpočetní zdroje a vyhovují podmínky podobné jako ve VO Storage tak se zaregistrujte do MetaCentra na http://metavo.metacentrum.cz/ jestli to nestačí, tak... ale až za chvilku
Správa uživatelských účtů systém Perun uživatel (osoba) má (ideálně) jedinou identitu v infrastruktuře potřebujeme ověření identity a příslušnosti k oprávněné instituci proč to? zodpovídáme v projektu za to, komu služby poskytujeme (akademické komunitě), řídíme mnoho různých služeb na identitu uživatele jsou navázány jednotlivé mechanismy přístupu ke zdrojům řízeno členstvím ve virtuálních organizacích uživatelé vše řídí přes webové rozhraní
Úložiště pro náročnější nestačí VO Storage? založíme vám virtuální organizaci! VO = Virtuální organizace: skupina uživatelů se společným zájmem, kteří vystupují jako celek má správce, který: jedná s poskytovatelem zdrojů rozhoduje o podmínkách členství jednotlivých uživatelů může využívat různé typy zdrojů dohoda o poskytování zdrojů mezi VO a správcem zdroje popisuje nastavení technických parametrů velikost poskytovaného prostoru použité přístupové protokoly politika ukládání dat, počty kopií/replik
Založení VO prakticky napište nám na du-support@cesnet.cz domluvíme se, co potřebujete opravdu to potřebujeme pochopit kolik dat máte, jak s nimi pracujete,... připravíme kon guraci úložiště založíme virtuální organizaci pozveme vás do ní a povýšíme na administrátora dál si uživatele spravujete sami, vytváříte skupiny, ukládáte data přes FTP/rsync/NFSv4/... my se staráme, aby na se vytvářely jejich repliky,
Kontakty http://du.cesnet.cz uživatelská podpora: du-support@cesnet.cz Děkuji za pozornost!