Datová úloºi²t CESNET

Transkript

1 Datová úloºi²t CESNET Michal Strnad

2 Agenda Infrastruktura Jak úloºi²t pouºít P ístupové protokoly owncloud

3 Infrastruktura Děčín Liberec Plzeň Praha Hradec Králové Pardubice PIONIER Opava Karviná Ostrava Olomouc AMS-IX NIX Jihlava Zlín České Budějovice Brno GÉANT Internet ACONET SANET

4 Moºnosti vyuºití datových úloºi² zálohy uºivatelé mají primární data u sebe na úloºi²t odkládají zálohu pro p ípad havárie archivace uºivatelé na úloºi²t odkládají cenná primární data data nejsou asto vyuºívána uºivatelé nemají prost edky pro jejich uchovávání sdílení dat distribuovaný tým pot ebuje spole n pracovat nad v t²ími objemy dat, p ípadn je zve ej ovat n co jiného distribuce obsahu, jiné speciální aplikace

5 Moºnosti vyuºití datových úloºi² a naopak: na co se vzdálené úloºi²t p íli² nehodí interaktivní práce zejména s velkým mnoºstvím malých soubor ukládání dat s pot ebou p ístupu v reálném ase prioritou je spolehlivost uloºení

6 P enos dat na úloºi²t souborové NFSv4 (známé uºivatel m MetaCentra) rsync, scp, SFTP FTPS obvykle autentizované systémem Kerberos existují GUI klienti i nástroje pro p íkazovou ádku pro hlavní platformy Globus Online vysokorychlostní p enosy výhledov CIFS (známý sí ový disk z Windows) speciální gridové úloºi²t v systému dcache FileSender owncloud

7 FileSender webová sluºba pro p enos (velkých) soubor velkých: aktuáln 500 GB (pouze s HTML5) p ispíváme i k jeho vývoji alespo jedna strana komunikace musí být oprávn ný uºivatel infrastruktury autentizace federací eduid.cz oprávn ný uºivatel m ºe nahrát soubor a poslat mu oznámení lze poslat komukoli pozvánku testovací verze na

8 Jak se stát uºivatelem snadno pokud chcete vyuºívat souborov orientované protokoly dosta uje prefabrikovaná politika migrací dat ukládáte jen individuální data pot ebujete ukládat nejvý²e jednotky TB tak se jen zaregistrujte na vyºaduje to ov ení uºivatele z akademické instituce lenství se po roce prodluºuje jako indikace, ºe uºivatel je²t ví o svých datech kódové ozna ení: VO Storage

9 Úloºi²t pro náro n j²í nesta í VO Storage? zaloºíme vám virtuální organizaci! VO je skupina uºivatel se spole ným zájmem, kte í vystupují jako celek VO má správce, který jedná s poskytovatelem zdroj rozhoduje o podmínkách lenství jednotlivých uºivatel dohoda o poskytování zdroj mezi VO a správcem zdroje popisuje nastavení technických parametr velikost poskytovaného prostoru pouºité p ístupové protokoly politika ukládání dat, po ty kopií/replik VO m ºe vyuºívat r zné typy zdroj

10 Zaloºení VO prakticky napi²te nám na domluvíme se, co pot ebujete opravdu to pot ebujeme pochopit kolik dat máte, jak s nimi pracujete,... p ipravíme konguraci úloºi²t zaloºíme virtuální organizaci pozveme vás do ní a pový²íme na administrátora dál si uºivatele spravujete sami, vytvá íte skupiny,... ukládáte data p es FTP/rsync/NFSv4/... my se staráme, aby na se vytvá ely jejich repliky,...

11 Kam se po registraci p ipojit? Aktuální adresy server (host ) pro jednotlivá datacentra: ssh.dux.cesnet.cz ftp.dux.cesnet.cz nfs.dux.cesnet.cz X nahra te podle následujího klí e: Plze -> 1 Jihlava -> 2 Brno -> 3

12 Ad esá ová struktura P íklad pro uºivatele user s lenstvím ve dvou VO (nap. VO_cern a VO_storage), kde kaºdá z nich pouºívá dv migra ní politiky: /home/user:.bash_history.ssh \ authorized_keys VO_cern tape_tape > /exports/tape_tape/vo_cern/home/user VO_cern disk_only > /exports/disk_only/vo_cern/home/user VO_storage tape_tape > /exports/tape_tape/vo_storage/home/user \ VO_storage cache_tape > /exports/cache_tape/vo_storage/home/user

13 Migra ní politiky tape - SATA -> MAID tape_tape -> tape + záloha na pásku disk_only - data jsou jen na discích, nikdy se nep esouvají cache_tape - FC disky, jedna kopie na páskách a SATA discích

14 owncloud Nejen webový p ístup k va²im dat m Cloudové úloºi²t se synchronizací soubor

15 K emu je dobrá dal²í cloudová sluºba? Use-cases Distribuovaný tým pot ebuje spole n pracovat s daty, p ípadn je zve ej ovat (sdílení formou "kdo zná link") Automatická synchronizace mezi po íta i a mobilními za ízeními. Na po íta i jsou i lokáln, na mobilní p i otev ení Poskytuje platformu pro sdílení kontakt, kalendá a úkol Vhodn j²í pro men²í objemy dat

16 Under the Hood PHP + JavaScript WebDAV, CardDAV, CalDAV PostgreSQL + Apache

17 Klientské aplikace Pro vybrané platformy (aktuáln Windows, OS X, Linux, Android, ios) je k dispozici nativní klient, který zp ístupní va²e data z owncloud na daném za ízení Pro pouºití desktopového klienta je nutné si nastavit pro n j heslo

18 owncloud u CESNETu Uloºení dat organizované standardním zp sobem do sloºek a soubor s celkovou kapacitou 100 GB zdarma, jen je nutné se autentizovat pomocí federace eduid.cz není nutné se registrovat, ú et je vám automaticky zaloºen p i prvním p ihlá²ení Sluºba byla spu²t na Data jsou denn zálohována a sluºba b ºí v reºimu high-availability

19 Známé problémy P ihlásil jsem se p es jiného poskytovatele identit, neº p i svém prvním p ihlá²ení a nevidím svá data Nahrával jsem soubor p es webové rozhraní a po skon ení uploadu ho nikde nevidím V Internet Explorer 11 nefunguje správn JavaScript

20 owncloud - demo Quick demo

21 Sumarizace Single ú et vs. separátní VO FileSender OwnCloud

22 Q and A uºivatelská podpora: du-support@cesnet.cz (RT systém)