DATOVÁ ÚLOŽIŠTĚ CESNET

Podobné dokumenty
Datová úložiště CESNET

DATOVÁ ÚLOŽIŠTĚ. David Antoš CESNET

Způsoby využití datových úložišť CESNET

Způsoby využití datových úložišť CESNET

Způsoby využití datových úložišť CESNET. David Antoš

Datová úložiště CESNET. David Antoš

Datová úložiště CESNET. David Antoš

Způsoby využití datových úložišť CESNET. Petr Benedikt

Datová úložiště CESNET

Datová úložiště CESNET. David Antoš

Datová úložiště v MetaCentru a okolí. David Antoš

Datová úložiště v MetaCentru a okolí II. David Antoš Oddělení datových úložišť

Způsoby využití datových úložišť CESNET

DATOVÁ ÚLOŽIŠTĚ CESNET, FAIR DATA

Datová úloºi²t CESNET

Jakub Šesták. ESEJ DO PŘEDMĚTU DIGITÁLNÍ KNIHOVNY

CESNET - Datová úložiště

Datová úloºi²t CESNET

Zp soby vyuºití datových úloºi² CESNET. Michal Strnad

Služby ÚVT pro VaV & IT pro CEITEC. David Antoš

Cloudy a gridy v národní einfrastruktuře

Souborové systémy a práce s daty David Antoš

CESNET, GRIDy a přenosy dat

Střední úložiště. Uživatelská dokumentace Zřízení přístupu

Konsolidace zálohování a archivace dat Připojení k DÚ CESNET

Provozní řád zálohování virtuální infrastrukury

DATA ULOŽENÁ NA VĚČNÉ ČASY. (ICZ DESA / Microsoft Azure) Mikulov Michal Matoušek (ICZ) / Václav Koudele (Microsoft)

Integrace datových služeb vědecko-výukové skupiny

Datové centrum a Regionální SAN kraje Vysočina. Projekt digitalizace a. Petr Pavlinec, KrÚ kraje Vysočina. Září 2009

MetaCentrum. Martin Kuba CESNET

Virtualizace MetaCentra

Realizace datového centra kraje Vysočina Regionální SAN kraje Vysočina

MetaCentrum. Tomáš Rebok MetaCentrum NGI, CESNET z.s.p.o. CERIT-SC, Masarykova Univerzita Olomouc,

Novinky z vývoje v MetaCentru

Služby e-infrastruktury CESNET. Tomáš Košňar CESNET z. s. p. o.

Služby e-infrastruktury CESNET

Cloud Slovník pojmů. J. Vrzal, verze 0.9

CERIT SCIENTIFIC CLOUD. Centrum CERIT-SC. Luděk Matyska. Praha, Seminář MetaCentra,

aktivita CESNETu společně MU, UK a ZČU sdružuje výpočetní prostředky

Dlouhodobé a důvěryhodné uchovávání elektronických dokumentů

Konsolidace zálohování a archivace dat

MetaCentrum. Miroslav Ruda. březen 2017, Brno CESNET

Souhrnný pohled na služby e-infrastruktury CESNET

Souhrnný pohled na služby e-infrastruktury CESNET

Souhrnný pohled na služby e-infrastruktury CESNET

Souhrnný pohled na služby e-infrastruktury CESNET

2012 (červen) Microsoft Sharepoint Portal Server. Microsoft Live Communications Server 2003 Řešení pro online komunikaci. Microsoft Exchange

Data Protection Delivery Center, s. r. o. JEDNODUCHOST, SPOLEHLIVOST a VÝKONNOST. DPDC Protection. zálohování dat

Výpočetní zdroje v MetaCentru a jejich využití

CESNET. Národní e-infrastruktura. Ing. Jan Gruntorád, CSc. ředitel CESNET, z.s.p.o.

KRAJSKÉ DIGITÁLNÍ ÚLOŽIŠTĚ

JSEM ELEKTRONICKÁ IDENTITA. VĚŘÍTE MI? Jiří Bořík CESNET Olomouc

Koncepce rozvoje knihoven ČR na léta Priorita 2: Trvalé uchování digitálních dokumentů

Datová úložiště. Zdroj: IBM

Služby e-infrastruktury CESNET a IPv6

Integrace datových služeb vědecko- výukové

Řešení pro dlouhodobé ukládání dat

METACENTRUM. Miroslav Ruda CESNET. Seminář MetaCentra, Praha

Historie, současnost a budoucnost sdružení CESNET. Ing. Jan Gruntorád, CSc. ředitel CESNET, z.s.p.o Praha

Novinky v ASEPu a zkušenosti s vkládáním plných textů

MARIE PACS. Cloud computing a integrace v oblasti systémů PACS ehealth Days Výstaviště Brno,

Představení e-infrastruktury CESNET Ing. Jan Gruntorád, CSc. ředitel CESNET, z.s.p.o.

Řešení pro střednědobé a dlouhodobé ukládání dokumentů ve veřejné správě

Zálohovaní dat. Dostupné technologie. Zálohování Bacula (pásková knihovna MU)

2. setkání interních auditorů ze zdravotních pojišťoven

Projekt digitalizace a ukládání v regionech. Petr Pavlinec, KrÚ kraje Vysočina Březen 2010

Hardware - minulý rok

Služby e-infrastruktury CESNET

Národní archiv v Praze PRŮZKUM SPISOVÉ SLUŽBY Pouze pro interní potřebu Národního archivu a příslušné organizace!

MetaCentrum a e-infrastruktura CESNET

Jednotlivé hovory lze ukládat nekomprimované ve formátu wav. Dále pak lze ukládat hovory ve formátu mp3 s libovolným bitrate a také jako text.

Moderní privátní cloud pro město na platformě OpenStack a Kubernetes

Aktuální stav. Martin Kuba CESNET a ÚVT MU

Alternativy k SAP HANA appliance? Představení možnosti TDI a cloudové infrastruktury

Technologická centra krajů a ORP

Souhrnný pohled na služby e-infrastruktury CESNET

METACentrum zastřešení českých gridových aktivit

1. Organizace dokumentu. 2. Zabezpečení jako priorita. 3. Cloudová infrastruktura Hybrid Ads

TSM for Virtual Environments Data Protection for VMware v6.3. Ondřej Bláha CEE+R Tivoli Storage Team Leader. TSM architektura IBM Corporation

Gridy v České republice. Luděk Matyska Masarykova univerzita v Brně CESNET, z.s.p.o.

Světový den zálohování Co byste dělali VY, kdybyste přišli o všechno?

Sluţba Karlovarského kraje pro ukládání dokumentů a dat na území kraje

TECHNICKÁ SPECIFIKACE

MetaCentrum. Miroslav Ruda. listopad 2013 CESNET

MetaCentrum. Martin Kuba CESNET

Archivace relačních databází

DIGITÁLNÍ IDENTITY. Jiří Bořík CESNET. konference e-infrastruktury CESNET 2019 Praha

Provozní statistiky centra CERIT-SC

Martin Kuba, Daniel Kouřil seminář řešitelů, Žďár n.s. 1

10. setkání interních auditorů v oblasti průmyslu

METACentrum Český národní gridovýprojekt. Projekt METACentrum. Jan Kmuníček ÚVT MU & CESNET. meta.cesnet.cz

Věc: Dodatečné informace ve veřejné zakázce číslo s názvem NDA - zadávací řízení na dodavatele technologií ICT a implementaci a vývoj SW".

Acronis. Lukáš Valenta

Případové studie a kulatý stůl. Dalibor Kačmář, Microsoft

Bezpečnost v Gridech. Daniel Kouřil EGEE kurz 12. prosince Enabling Grids for E-sciencE.

CEITEC a jeho IT požadavky. RNDr. Radka Svobodová Vařeková, Ph.D.

Ukládání a archivace dat

DOBRÉ PRAKTIKY ŘÍZENÍ INFORMATIKY APLIKOVATELNÉ VE VEŘEJNÉ SPRÁVĚ

Datová úloºi²t CESNET

Na co se ptát poskytovatele cloudových služeb?

Transkript:

DATOVÁ ÚLOŽIŠTĚ CESNET David Antoš CESNET 29. 1. 2019

Přehled proč budujeme národní datová úložiště pro vědu a výzkum hlavní výhody úložišť typické případy užití úložišť plány rozvoje infrastruktury a služeb D.A., Datová úložiště CESNET, CESNET, 2/21

Proč úložiště v infrastruktuře uživatelé raději drží data na vlastním zařízení... to ale nedává rozumné garance dlouhodobého uchovávání používají se nevhodná média, chybí systematická péče data je lépe uchovávat v živém systému konsolidace zdrojů národní úložiště vědeckých dat umožňuje pořídit zařízení dostatečné velikosti spravované specializovaným týmem s možností sdílení dat mezi skupinami uživatelů napříč institucemi D.A., Datová úložiště CESNET, CESNET, 3/21

Cíl: dlouhodobé uchování dat potřeba dlouhodobě uchovávat vědecká data vzrůstá uchování zajišťujeme na úrovni zachování binárních dat (bit-stream) správce úložiště nerozumí odborné povaze dat ani nemůže rozhodovat o smysluplnosti jejich archivace proto sami nezajišťujeme plné LTP (Long-Term Preservation) bit-stream je nicméně předpokladem pro uchování dat další kopie, geografické repliky, redundance v systému, kontrolní součty kurátorství dat je vždy role uživatelské skupiny D.A., Datová úložiště CESNET, CESNET, 4/21

Organizačně-právní pohled služba je provozována v rámci komunity CESNET je vlastněn univerzitami a AV ČR data uživatelů zásadně patří uživatelům úložiště jsou na území ČR srovnejte s provozními podmínkami komerčních poskytovatelů D.A., Datová úložiště CESNET, CESNET, 5/21

Jednorázové zaslání souboru FileSender: webová služba pro jednorázový přenos (velkých) souborů velkých : aktuálně 500 GB přispíváme i k jeho vývoji http://filesender.cesnet.cz alespoň jedna strana komunikace musí být oprávněný uživatel infrastruktury autentizace federací eduid.cz oprávněný uživatel může nahrát soubor a poslat druhé straně oznámení lze poslat komukoli pozvánku testovací verze na http://filesender2.cesnet.cz D.A., Datová úložiště CESNET, CESNET, 6/21

Synchronizace a sdílení dat pokud hledáte způsob, jak synchronizovat data mezi svými počítači i mobilními zařízeními mít je zároveň dostupná přes web moci data sdílet a přitom data nejsou příliš velká owncloud D.A., Datová úložiště CESNET, CESNET, 7/21

owncloud sync n share ( cloudové ) úložiště pro osobní počítače (Windows, Linux, Mac OS X) mobilní Android, Apple (klient pod 1 Euro) a webové rozhraní data se synchronizují přes úložiště na počítači jsou i lokálně, na mobilní při otevření data lze sdílet konkrétní osobě nebo kdo zná odkaz registrace federací na http://owncloud.cesnet.cz standardní limit 100 GB na uživatele 12.800 registrovaných uživatelů D.A., Datová úložiště CESNET, CESNET, 8/21

Využití souborových úložišť I zálohy uživatelé mají primární data u sebe na úložiště odkládají zálohu pro případ havárie buď pro zálohování jednotlivých strojů nebo i agregovaně IT oddělení zálohuje celou katedru archivace uživatelé na úložiště odkládají cenná primární data data nejsou často využívána uživatelé nemají prostředky pro jejich uchovávání individuální přístup koncových uživatelů vs. laboratorní archivář D.A., Datová úložiště CESNET, CESNET, 9/21

Využití souborových úložišť II sdílení dat distribuovaný tým potřebuje společně pracovat nad většími objemy dat, případně je zveřejňovat typicky koncoví uživatelé něco jiného distribuce obsahu, jiné speciální aplikace D.A., Datová úložiště CESNET, CESNET, 10/21

Standardní přístup k souborům přístupy k souborovému systému NFSv4 (známé uživatelům MetaCentra) rsync, scp, FTPS obvykle autentizované systémem Kerberos existují GUI klienti i nástroje pro příkazovou řádku pro hlavní platformy CIFS (známý síťový disk z Windows) Globus vysokorychlostní přenosy D.A., Datová úložiště CESNET, CESNET, 11/21

Jak používat souborový přístup pokud chcete využívat souborově orientované protokoly dostačuje prefabrikovaná politika migrací dat v případě HSM ukládáte jen individuální data potřebujete ukládat nejvýše jednotky TB tak se jen zaregistrujte na http://du.cesnet.cz vyžaduje to ověření uživatele z akademické instituce členství se po roce prodlužuje jako indikace, že uživatel ještě ví o svých datech kódové označení: VO Storage D.A., Datová úložiště CESNET, CESNET, 12/21

Soubory pro náročnější nestačí VO Storage? založíme vám virtuální organizaci! VO je skupina uživatelů se společným zájmem, kteří vystupují jako celek VO má správce, který jedná s poskytovatelem zdrojů řídí členství jednotlivých uživatelů dohoda o poskytování zdrojů mezi VO a správcem zdroje popisuje nastavení technických parametrů velikost poskytovaného prostoru použité přístupové protokoly politika ukládání dat, počty kopií/replik které zařízení bude použito VO může využívat různé typy zdrojů D.A., Datová úložiště CESNET, CESNET, 13/21

Zálohy vs. archivy úložiště není nekonečné rozdělili jsme proto dva hlavní typy použití data trvalé hodnoty archiv je omezen kvótou, tj. objemem dat zálohy jsou omezeny časem uložení dnes jeden rok pak je správce úložiště smí smazat(!) samozřejmě předtím vlastníka dat upozorní při rozumné zálohovací strategii se data rotují platí na hierarchickém úložišti v Ostravě a polích na starých HSM je vše považováno za archiv D.A., Datová úložiště CESNET, CESNET, 14/21

Infrastruktura I trojice hierarchických úložišť z let 2011-13 Plzeň téměř odstavena data z Jihlavy se stěhují a bude odstavena Brno musí ještě rok vydržet hierarchické úložiště z přelomu 2017/18 v Ostravě 17 PB pásek diskové pole v Jihlavě cca 9 PB disků cluster pro objektové úložiště v Jihlavě pro pilotní provoz technologie D.A., Datová úložiště CESNET, CESNET, 15/21

Infrastruktura II plány 2019 cluster pro objektové úložiště pro další investiční projekt (2020 2022) cca 30 mil. Kč ročně převážně objektová úložiště máte-li vhodné nevyužité serverovny aspoň 60 kw, místo na 5 racků motorgenerátor... tak bychom o tom rádi věděli (support@cesnet.cz) D.A., Datová úložiště CESNET, CESNET, 16/21

Komunitní úložiště komunitní modely budování úložišť s HSM není snadné podpořit model a co kdybych vám koupil disky/pásky/... jsme monolitický poskytovatel kapacity chceme umět podpořit scénář typu chtěl bych na tři místa uložit 500 TB dat tak si kupte 1500 TB a zapojte se k nám 500 budete mít přímo u sebe, další dvě repliky zařídí infrastruktura, zbylou kapacitu úložiště použijeme pro repliky ostatních a provozovali bychom dostatečnou infrastrukturu pro pokrytí nárazových a dočasných potřeb D.A., Datová úložiště CESNET, CESNET, 17/21

Objektová úložiště získali jsme laboratorní zkušenost s Cephem připravujeme pilotní projekt s uživateli pořídili jsme cluster pro Ceph RBD pro zálohování S3 pro individuální uživatele a zálohování případně zpětná kompatibilita s protokoly z HSM, tj. použít Ceph jen pro back-end a exportovat souborový systém z front-endů D.A., Datová úložiště CESNET, CESNET, 18/21

Dlouhodobá garantovaná úložiště implementace repozitářů pro garantované dlouhodobé uložení dat po dlouhých úvahách a konzultacích s pracovní skupinou: jen binárně spolehlivé úložiště které dostane archivní informační balíček (OAIS) bude ho periodicky kontrolovat to vše je třeba zapsat do auditních zpráv a umět reagovat na nalezení chyby dat opravit z jiné repliky nadstandardní služba brzy spustíme pilotní provoz D.A., Datová úložiště CESNET, CESNET, 19/21

Shrnutí předávání souborů FileSender sync n share owncloud klasické ukládání souborů a objektů hierarchické datové úložiště s páskovou knihovnou a protokoly jako NFSv4, scp, rsync,... vznikající infrastruktura objektových úložišť s možností zapojení vlastních zdrojů uživatelské skupiny dlouhodobá garantovaná úložiště D.A., Datová úložiště CESNET, CESNET, 20/21

Kontakty http://du.cesnet.cz uživatelská podpora: support@cesnet.cz D.A., Datová úložiště CESNET, CESNET, 21/21