Datová úložiště CESNET. David Antoš

Rozměr: px

Začít zobrazení ze stránky:

Download "Datová úložiště CESNET. David Antoš"

Vlastimil Dvořák
před 8 lety
Počet zobrazení:

1 Datová úložiště CESNET David Antoš

2 Přehled cíle datových úložišť možnosti využití výhledy budoucího rozvoje podpora projektů FR prakticky výhled plánů datových úložišť D.A. (CESNET) Datová úložiště CESNET 2 / 11

3 Cíl: dlouhodobé uchování dat cíl: dlouhodobé uchovávání (vědeckých) dat uchování zajišťujeme na úrovni zachování binárních dat (bitstream) správce úložiště nerozumí odborné povaze dat ani nemůže rozhodovat o smysluplnosti jejich archivace proto (zatím) neděláme LTP (Long-Term Preservation) bitstream je nicméně předpokladem pro uchování dat další kopie, geografické repliky, redundance v systému D.A. (CESNET) Datová úložiště CESNET 3 / 11

smysluplnosti jejich archivace proto (zatím) neděláme LTP (Long-Term Preservation) bitstream je nicméně

4 Možnosti využití datových úložišť zálohy uživatelé mají primární data u sebe na úložiště odkládají zálohu pro případ havárie archivace uživatelé na úložiště odkládají cenná primární data data nejsou často využívána uživatelé nemají prostředky pro jejich uchovávání sdílení dat distribuovaný tým potřebuje společně pracovat nad většími objemy dat, případně je zveřejňovat něco jiného distribuce obsahu, jiné speciální aplikace D.A. (CESNET) Datová úložiště CESNET 4 / 11

prostředky pro jejich uchovávání sdílení dat distribuovaný tým potřebuje společně pracovat nad většími objemy dat,

5 Možnosti využití datových úložišť a naopak: na co se vzdálené úložiště příliš nehodí interaktivní práce zejména s velkým množstvím malých souborů ukládání dat s potřebou přístupu v reálném čase prioritou je spolehlivost uložení přímý provoz systémů s nutností 24/7 přístupu toto není úložiště pod váš SAP na to je obecně vzdálené úložiště nevhodné vhodné použití pro podobné scénáře primární 24/7 data u uživatele, na CESNET zálohy/repliky rozdělení životně důležitých dat vs. nice to have dat D.A. (CESNET) Datová úložiště CESNET 5 / 11

přístupu toto není úložiště pod váš SAP na to je obecně vzdálené úložiště nevhodné vhodné použití pro podobné scénáře primární 24/7

6 Infrastruktura Děčín Liberec Plzeň Praha Hradec Králové Pardubice PIONIER Opava Karviná Ostrava Olomouc AMS-IX NIX Jihlava Zlín České Budějovice Brno GÉANT Internet ACONET SANET D.A. (CESNET) Datová úložiště CESNET 6 / 11

NIX Jihlava Zlín České Budějovice Brno GÉANT Internet

7 Přenos dat na úložiště souborové NFSv4 (známé uživatelům MetaCentra) rsync, scp, FTPS obvykle autentizované systémem Kerberos existují GUI klienti i nástroje pro příkazovou řádku pro hlavní platformy Globus Online vysokorychlostní přenosy výhledově CIFS (známý síťový disk z Windows) speciální aplikace gridové úložiště v systému dcache FileSender, owncloud, Globus je možno i jiné nutno řešit individuálně bloková zařízení (není preferováno) D.A. (CESNET) Datová úložiště CESNET 7 / 11

výhledově CIFS (známý síťový disk z Windows) speciální aplikace gridové úložiště v systému dcache FileSender, owncloud,

8 Výhled cílem je udržet úložiště s otevřeným přístupem pro vědeckou komunitu ideové pilíře rozvoje 1. technologie a její provoz 2. organizace dat (Hadoop, databáze) 3. aplikace analýza velkých dat včetně schopnosti fungovat jako testovací prostředí pro takové aplikace 4. dlouhodobé uchování dat poskytnutí nástrojů pro práci aplikačního knihovníka body 2 a 3 v úzké spolupráci s národním gridem MetaCentrum D.A. (CESNET) Datová úložiště CESNET 8 / 11

aplikace analýza velkých dat včetně schopnosti fungovat jako testovací prostředí pro takové aplikace 4.

9 Podpora projektu prakticky napište nám na domluvíme se, co potřebujete opravdu to potřebujeme pochopit kolik dat máte, jak s nimi pracujete,... připravíme konfiguraci úložiště typicky založíme virtuální organizaci dál si uživatele spravujete sami, vytváříte skupiny,... ukládáte data přes FTP/rsync/NFSv4/... my se staráme, aby na se vytvářely jejich repliky,... D.A. (CESNET) Datová úložiště CESNET 9 / 11

.. připravíme konfiguraci úložiště typicky založíme virtuální organizaci dál si uživatele spravujete sami,

10 Úložiště a Fond rozvoje Fond rozvoje vyhlašuje výzvu posuzuje projekty samostatně a nezávisle k posouzení si vyžádá stanovisko o proveditelnosti datová úložiště mohou podpořit pouze projekty ve kterých je to technicky možné které nejdou proti dlouhodobé strategii úložišť důsledky a doporučení projekty na standardní použití úložišť (zálohy, archivaci) jsou triviálně podpořitelné cokoli jiného nebo při jakýchkoli pochybnostech konzultujte předem D.A. (CESNET) Datová úložiště CESNET 10 / 11

proti dlouhodobé strategii úložišť důsledky a doporučení projekty na standardní použití úložišť (zálohy, archivaci) jsou

11 Kontakty uživatelská podpora: D.A. (CESNET) Datová úložiště CESNET 11 / 11

Podobné dokumenty

Datová úložiště CESNET. David Antoš

Datová úložiště CESNET. David Antoš Datová úložiště CESNET David Antoš Přehled proč má smysl budovat národní datová úložiště pro vědecká data budovaná infrastruktura jak úložiště použít přístupové mechanismy správa uživatelů na úložištích