Datová úloºi²t CESNET 2. 11. 2014
Agenda Infrastruktura Jak úloºi²t pouºít P ístupové protokoly owncloud
Infrastruktura Děčín Liberec Plzeň Praha Hradec Králové Pardubice PIONIER Opava Karviná Ostrava Olomouc AMS-IX NIX Jihlava Zlín České Budějovice Brno GÉANT Internet ACONET SANET
Moºnosti vyuºití datových úloºi² zálohy uºivatelé mají primární data u sebe na úloºi²t odkládají zálohu pro p ípad havárie archivace uºivatelé na úloºi²t odkládají cenná primární data data nejsou asto vyuºívána uºivatelé nemají prost edky pro jejich uchovávání sdílení dat distribuovaný tým pot ebuje spole n pracovat nad v t²ími objemy dat, p ípadn je zve ej ovat n co jiného distribuce obsahu, jiné speciální aplikace
Moºnosti vyuºití datových úloºi² a naopak: na co se vzdálené úloºi²t p íli² nehodí interaktivní práce zejména s velkým mnoºstvím malých soubor ukládání dat s pot ebou p ístupu v reálném ase prioritou je spolehlivost uloºení
P enos dat na úloºi²t souborové NFSv4 (známé uºivatel m MetaCentra) rsync, scp, SFTP FTPS obvykle autentizované systémem Kerberos existují GUI klienti i nástroje pro p íkazovou ádku pro hlavní platformy Globus Online vysokorychlostní p enosy výhledov CIFS (známý sí ový disk z Windows) speciální gridové úloºi²t v systému dcache FileSender owncloud
FileSender webová sluºba pro p enos (velkých) soubor velkých: aktuáln 500 GB (pouze s HTML5) p ispíváme i k jeho vývoji http://filesender.cesnet.cz alespo jedna strana komunikace musí být oprávn ný uºivatel infrastruktury autentizace federací eduid.cz oprávn ný uºivatel m ºe nahrát soubor a poslat mu oznámení lze poslat komukoli pozvánku testovací verze na http://filesender2.cesnet.cz
Jak se stát uºivatelem snadno pokud chcete vyuºívat souborov orientované protokoly dosta uje prefabrikovaná politika migrací dat ukládáte jen individuální data pot ebujete ukládat nejvý²e jednotky TB tak se jen zaregistrujte na http://du.cesnet.cz vyºaduje to ov ení uºivatele z akademické instituce lenství se po roce prodluºuje jako indikace, ºe uºivatel je²t ví o svých datech kódové ozna ení: VO Storage
Úloºi²t pro náro n j²í nesta í VO Storage? zaloºíme vám virtuální organizaci! VO je skupina uºivatel se spole ným zájmem, kte í vystupují jako celek VO má správce, který jedná s poskytovatelem zdroj rozhoduje o podmínkách lenství jednotlivých uºivatel dohoda o poskytování zdroj mezi VO a správcem zdroje popisuje nastavení technických parametr velikost poskytovaného prostoru pouºité p ístupové protokoly politika ukládání dat, po ty kopií/replik VO m ºe vyuºívat r zné typy zdroj
Zaloºení VO prakticky napi²te nám na du-support@cesnet.cz domluvíme se, co pot ebujete opravdu to pot ebujeme pochopit kolik dat máte, jak s nimi pracujete,... p ipravíme konguraci úloºi²t zaloºíme virtuální organizaci pozveme vás do ní a pový²íme na administrátora dál si uºivatele spravujete sami, vytvá íte skupiny,... ukládáte data p es FTP/rsync/NFSv4/... my se staráme, aby na se vytvá ely jejich repliky,...
Kam se po registraci p ipojit? Aktuální adresy server (host ) pro jednotlivá datacentra: ssh.dux.cesnet.cz ftp.dux.cesnet.cz nfs.dux.cesnet.cz X nahra te podle následujího klí e: Plze -> 1 Jihlava -> 2 Brno -> 3
Ad esá ová struktura P íklad pro uºivatele user s lenstvím ve dvou VO (nap. VO_cern a VO_storage), kde kaºdá z nich pouºívá dv migra ní politiky: /home/user:.bash_history.ssh \ authorized_keys VO_cern tape_tape > /exports/tape_tape/vo_cern/home/user VO_cern disk_only > /exports/disk_only/vo_cern/home/user VO_storage tape_tape > /exports/tape_tape/vo_storage/home/user \ VO_storage cache_tape > /exports/cache_tape/vo_storage/home/user
Migra ní politiky tape - SATA -> MAID tape_tape -> tape + záloha na pásku disk_only - data jsou jen na discích, nikdy se nep esouvají cache_tape - FC disky, jedna kopie na páskách a SATA discích
owncloud Nejen webový p ístup k va²im dat m Cloudové úloºi²t se synchronizací soubor
K emu je dobrá dal²í cloudová sluºba? Use-cases Distribuovaný tým pot ebuje spole n pracovat s daty, p ípadn je zve ej ovat (sdílení formou "kdo zná link") Automatická synchronizace mezi po íta i a mobilními za ízeními. Na po íta i jsou i lokáln, na mobilní p i otev ení Poskytuje platformu pro sdílení kontakt, kalendá a úkol Vhodn j²í pro men²í objemy dat
Under the Hood PHP + JavaScript WebDAV, CardDAV, CalDAV PostgreSQL + Apache
Klientské aplikace Pro vybrané platformy (aktuáln Windows, OS X, Linux, Android, ios) je k dispozici nativní klient, který zp ístupní va²e data z owncloud na daném za ízení Pro pouºití desktopového klienta je nutné si nastavit pro n j heslo
owncloud u CESNETu Uloºení dat organizované standardním zp sobem do sloºek a soubor s celkovou kapacitou 100 GB https://owncloud.cesnet.cz zdarma, jen je nutné se autentizovat pomocí federace eduid.cz ú et je vám automaticky zaloºen p i prvním p ihlá²ení (není pot eba vypl ovat ºádný formulá ) Sluºba byla spu²t na 26. 2. 2014 Data jsou denn zálohována a sluºba b ºí v reºimu high-availability
Známé problémy P ihlásil jsem se p es jiného poskytovatele identit, neº p i svém prvním p ihlá²ení a nevidím svá data Nahrával jsem soubor p es webové rozhraní a po skon ení uploadu ho nikde nevidím V Internet Explorer 11 nefunguje správn JavaScript
owncloud - demo Quick demo
Sumarizace Single ú et vs. separátní VO FileSender owncloud
Q and A Web datových úloºi² http://du.cesnet.cz Uºivatelská podpora du-support@cesnet.cz (RT systém) Moje mali kost michal.strnad@cesnet.cz
2. 11. 2014
Obsah prezentace Zálohování obecně Aplikace pro zálohování Odbočení k DU CESNET Závěr Vyvolejte IRQ kdykoliv budete mít libovolný dotaz.
Co se může stát? Manipulace s daty (mazání, formátování, uvedení zařízení do továrního nastavení) Poškození pamět ového média (CD/DVD, pád notebooku, disk/řadič odejde do křemíkového nebe...) Ztráta (krádež, nepořádek, zapomenutí, malware) Přírodní živly (požár, povodeň, bouřka) Chyba administrátora (nejčastěji)
Filozofie zálohování Pro definici co zálohovat se běžně používají include a exclude seznamy. V include listu říkáte, co chcete zálohovat, a v exclude naopak, co nechcete. Řekněme, že chcete zálohovat vše kromě toho, co definujete v exclude seznamu: Include: * Exclude: /proc, /sys, /dev Druhý způsob je výčet konkrétních adresářů: Include: /home/uzivatel, /root, /mnt/data
Jak zálohovat Úplná záloha (Full backup) - zde je vytvářena záložní kopie všech souborů (resp. těch, které určíme k zálohování). Zabírá nejvíce času i prostoru. Inkrementální (Incremental backup) - zálohují se pouze změněné soubory od poslední inkrementální zálohy, resp. od úplné, jedná-li se o první inkrementální zálohu. Diferenciální (Differential backup) - zálohují se pouze změněné soubory od poslední úplné zálohy.
Kam zálohovat? Disky (RAID), MAIDy Pásky Online storage Papír, kamenná deska...
Best practices Report provedených i neprovedených záloh (monitoring). Šifrujte zálohy pro zajištění důvěrnosti dat. V případě přenosu dat po síti, kterou nemáte pod kontrolou, šifrujte i přenos dat. Kontrolujte zálohy (tzv. verifikace). Označte si zálohy - co obsahují, datum vytvoření. Ukládejte zálohy na různá místa. Pokud by došlo k lokální katastrofě (např. požár), tak pravděpodobně ztratíte zálohy zde uskladněné.
SW pro zálohování Co používáte vy?
rsync Prakticky na všech distribucích již předinstalován Pod sebou má SSH Používá ho velká část jiných aplikací (např. rsnapshot) Skriptování... Zálohování pomocí hard linků Co záloha to kompletní strom Existuje grafická nadstavba Grsync
Duplicity Udržuje lokální i vzdálenou databázi Potřeba mít místo na lokálnim disku! Nepodporuje hard linky Má podporu pro Amazon S3, Google Cloud Storage, Rackspace Cloud Files Zabudované šifrování (GPG) Na Windows pod Cygwin GUI nadstavba Déjà Dup
BackupPC SSH, rsync, nebo SMB protokolu Klidně i zálohovat "lokální" data pomocí FUSE Ručně vynucené zálohování nebo plánovač Deduplikace napříč stoji a časem Mac OSX, Linux, WinXX
BackupPC - vnitřnosti Backend složený z Perl modulů V případě antipatií dostupné CGI webové rozhraní
"Enterprise" kandidáti Bacula IBM TSM Amanda NetWorker...
Bacula It comes in the night and sucks the essence from your computers.
Feature Podpora NDMP protokolu Konsolidace záloh
Whitebox
Behavior Více SD - load balancing Více Directoru - failover Ve windows může běžet FD jako služba, tzn. nikdo nemusí být ani přihlášen Kontrola změn like rsync Kompresi, šifrování si volí uživatel sám u sebe multi-streaming Záloha na popud serveru
Management? Pěkne po staru - editace konfigů Bacula-traymonitor - read-only breport - emaily Bweb
Testovací sady Padesát milionů malých (512B) souborů. Přesně: 49999896 (velikost 197038MB) Přenos trval 3 hod 15 min Pomalejší přenos je dán nutností zápisu/čtení do kalatogu. Pro každý soubor je potřeba vytvořit jeden záznam...
Best practices Zasílání reportů (plaintext nebo breport) PostgreSQL Zapnout autolabeling Extrahovat ze všech konfiguráků nastavení pro jednoho klienta Plno věcí není zdokumentovaných -> forum romanum
Pasti, pasti, pastičky Pokud změníte cokoliv ve file setu, tak se provede full backup, ikdyž je vše ostatní již odzálohované Pozor na synchronizaci času Nastavení UTF-8 v systému
Závěr první části Zálohujte, zálohujte a zálohujte Zálohy je potřeba automatizovat Vyberte si libovolný nástroj dle vašich potřeb a hlavně ho používejte! :-) Více úložišt kvůli degradaci média a přírodním katastrofám Bud te paranoidní a počítejte vždy s nejhorším!
Datové úložiště Datové úložiště CESNET