Distribuované souborové systémy (DFS)



Podobné dokumenty
Distribuované souborové systémy (DFS) Přednášky z Distribuovaných systémů Ing. Jiří Ledvina, CSc.

Operační systémy 1. Přednáška číslo Souborové systémy

Systém souborů (file system, FS)

Příprava na zk. z KIV/DS

Konzistentnost. Přednášky z distribuovaných systémů

Přednáška 2. Systémy souborů OS UNIX. Nástroje pro práci se souborovým systémem. Úvod do Operačních Systémů Přednáška 2

Principy počítačů a operačních systémů

Základy počítačových sítí Model počítačové sítě, protokoly

Přednáška. Systémy souborů. FAT, NTFS, UFS, ZFS. Katedra počítačových systémů FIT, České vysoké učení technické v Praze Jan Trdlička, 2012

Identifikátor materiálu: ICT-3-03

Souborové systémy Mgr. Josef Horálek

Operační systémy 1. Přednáška číslo Struktura odkládacích zařízení

9. Sítě MS Windows. Distribuce Windows. Obchodní označení. Jednoduchý OS pro osobní počítače, pouze FAT, základní podpora peer to peer sítí,

Operační systémy 2. Struktura odkládacích zařízení Přednáška číslo 10

Operační systémy. Jednoduché stránkování. Virtuální paměť. Příklad: jednoduché stránkování. Virtuální paměť se stránkování. Memory Management Unit

Paměťová média. Motto dne: Z Berkeley vzešly dvě důležité věci LSD a BSD. Nevěříme, že je to náhoda.

Disková pole (RAID) 1

Relační vrstva SMB-Síťový komunikační protokol aplikační vrstvy, který slouží ke sdílenému přístupu k souborům, tiskárnám, sériovým portům.

Souborové služby. Richard Biječek

Datová úložiště. Zdroj: IBM

Maturitní okruhy pro 1.KŠPA Kladno, s.r.o. Počítačové sítě a komunikace

Provádí ochranu sítě před napadením (ochrana počítačů nestačí) Odděluje uživatele (prvek nespolehlivosti) od prvků ochrany

TECHNICKÁ SPECIFIKACE

POČÍTAČOVÉ SÍTĚ A KOMUNIKACE OBOR: INFORMAČNÍ TECHNOLOGIE

IMPLEMENTACE OPERAČNÍHO SYSTÉMU LINUX DO VÝUKY INFORMAČNÍCH TECHNOLOGIÍ

MODERNÍ SOUBOROVÉ SYSTÉMY - ZFS. Richard Janča

Správa počítačové sítě Novell NetWare

monolitická vrstvená virtuální počítač / stroj modulární struktura Klient server struktura

Disková pole (RAID) 1

VYSOKÁ ŠKOLA BÁŇSKÁ TECHNICKÁ UNIVERZITA OSTRAVA FAKULTA STROJNÍ DATABÁZOVÉ SYSTÉMY ARCHITEKTURA DATABÁZOVÝCH SYSTÉMŮ. Ing. Lukáš OTTE, Ph.D.

Přednáška. Správa paměti II. Katedra počítačových systémů FIT, České vysoké učení technické v Praze Jan Trdlička, 2012

2010/2011 ZS P i r i nc č py po ít č čů a SOUBOROVÝ SUBSYSTÉM

7. Aplikační vrstva. Aplikační vrstva. Počítačové sítě I. 1 (5) KST/IPS1. Studijní cíl. Představíme si funkci aplikační vrstvy a jednotlivé protokoly.

POČÍTAČOVÉ SÍTĚ A KOMUNIKACE

Systém souborů Mgr. Josef Horálek

Paměťový podsystém počítače

Maturitní témata pro 1.KŠPA Kladno, s.r.o. Počítačové sítě a komunikace

Komunikace. Úrovová architektura protokol. Úrovová architektura protokol (2) Pednášky z distribuovaných systém

Úvod Úrovňová architektura sítě Prvky síťové architektury Historie Příklady

Počítačové sítě Systém pro přenos souborů protokol FTP

File Transfer Protocol (FTP)

Data Protection Delivery Center, s. r. o. JEDNODUCHOST, SPOLEHLIVOST a VÝKONNOST. DPDC Protection. zálohování dat

MASSIV. Middleware pro tvorbu online her

Úvod 17 ČÁST 1. Kapitola 1: Principy návrhu doménové struktury služby Active Directory 21

Radim Dolák Gymnázium a Obchodní akademie Orlová

Microsoft SharePoint Portal Server Zvýšená týmová produktivita a úspora času při správě dokumentů ve společnosti Makro Cash & Carry ČR

Přednášky z distribuovaných systémů Jiří Ledvina 2002

TSM for Virtual Environments Data Protection for VMware v6.3. Ondřej Bláha CEE+R Tivoli Storage Team Leader. TSM architektura IBM Corporation

Registrační číslo projektu: CZ.1.07/1.5.00/ Elektronická podpora zkvalitnění výuky CZ.1.07 Vzděláním pro konkurenceschopnost

Windows Server 2003 Active Directory

Replikace je proces kopírování a udržování databázových objektů, které tvoří distribuovaný databázový systém. Změny aplikované na jednu část jsou

Pár odpovědí jsem nenašla nikde, a tak jsem je logicky odvodila, a nebo jsem ponechala odpověď z pefky, proto je možné, že někde bude chyba.

Systém adresace paměti

Co je Symantec pcanywhere 12.0? Hlavní výhody Snadné a bezpečné vzdálené připojení Hodnota Důvěra

ProjectWise V8 XM Edition

Hodinový rozpis kurzu Správce počítačové sítě (100 hod.)

Principy operačních systémů. Lekce 7: Souborový systém

InternetovéTechnologie

OPERAČNÍ SYSTÉMY. Operační systém je prostředník mezi hardwarem (technickým vybavením počítače) a určitým programem, který uživatel používá.

MS WINDOWS II. Jádro. Správa objektů. Správa procesů. Zabezpečení. Správa paměti

Struktura a architektura počítačů (BI-SAP) 11

2.2 Acronis True Image 19

Proč počítačovou sí? 9 Výhody sítí 9 Druhy sítí 9. Základní prvky sítě 10 Vybavení počítače 10 Prvky sítě mimo PC 10 Klasické dělení součástí sítí 10

Přednáška. Vstup/Výstup. Katedra počítačových systémů FIT, České vysoké učení technické v Praze Jan Trdlička, 2012

RadioBase 3 Databázový subsystém pro správu dat vysílačů plošného pokrytí

VPN - Virtual private networks

Přidělování paměti II Mgr. Josef Horálek

Faculty of Nuclear Sciences and Physical Engineering Czech Technical University in Prague

Acronis. Lukáš Valenta

Přístup k transportní vrstvě z vrstvy aplikační rozhraní služeb služby pro systémové aplikace, služby pro uživatelské aplikace DNS

Souborové systémy a logická struktura dat (principy, porovnání, příklady).

IPZ laboratoře Struktura pevného disku L305 Cvičení 1 Cvičící:

Projektování distribuovaných systémů Lekce 2 Ing. Jiří ledvina, CSc

Efektivní ochrana dat ve virtualizovaném prostředí. Marek Bradáč

Kapitola 13: Transakce. Koncept transakce. ACID vlastnosti

Profilová část maturitní zkoušky 2014/2015

Provozní řád zálohování virtuální infrastrukury

X36PKO Úvod Jan Kubr - X36PKO 1 2/2006

Distribuovaný systém je takový systém propojení množiny nezávislých počítačů, který poskytuje uživateli dojem jednotného systému.

CHARAKTERISTIKA VEŘEJNÉ ZAKÁZKY

OPERAČNÍ SYSTÉM. Informační a komunikační technologie

Souborový systém (File System FS) Souborové systémy. Souborová fragmentace. Disková fragmentace. Organizace dat na pevném disku

Systém souborů. Účel souborového systému. Organizace dat na disku

Disková pole (RAID) 1

Počítačové sítě Teoretická průprava II. Ing. František Kovařík

PSK2-14. Služby internetu. World Wide Web -- www

Počítačové sítě. Lekce 4: Síťová architektura TCP/IP

Maturitní otázky z předmětu PROGRAMOVÁNÍ

Protokol TELNET. Schéma funkčních modulů komunikace protokolem TELNET. Telnet klient. login shell. Telnet server TCP/IP.

Příloha č.2 - Technická specifikace předmětu veřejné zakázky

Střední odborná škola a Střední odborné učiliště, Hořovice

Operační systémy 2. Firewally, NFS Přednáška číslo 7b

Úvod do informačních služeb Internetu

Počítačová síť. je skupina počítačů (uzlů), popřípadě periferií, které jsou vzájemně propojeny tak, aby mohly mezi sebou komunikovat.

Instalace OS, nastavení systému

RADOM, s.r.o. Pardubice Czech Republic

X.25 Frame Relay. Frame Relay

Faculty of Nuclear Sciences and Physical Engineering Czech Technical University in Prague

O b s a h ÚVOD. Kapitola 1 HARDWAROVÉ PRVKY SÍTÍ

Transkript:

Distribuované souborové systémy (DFS) Přednášky z Distribuovaných systémů Ing. Jiří Ledvina, CSc. Přístup k souborům FTP, telnet Explicitní přístup Spojení ke vzdáleným zdrojům přímo řídí uživatel Např. editování souboru Přenos na lokální disk Modifikace Uložení na původní místo Existuje však požadavek větší transparentnosti Přistupovat ke vzdáleným zdrojům jako k lokálním V oblasti přístupu k souborům Souborové systémy, síťové souborové systémy, distribuované souborové systémy 4.11.2007 Distribuované systémy 2

Souborový systém Organizace souborů Vyhledávání Sdílení Uchovávání Označování Ochrana Organizace adresářů Adresářové služby Spojení jména souboru s indentifikátorem souboru Kontrola přístupových práv Operace na nižší úrovni Diskové operace, využití vyrovnávacích pamětí, 4.11.2007 Distribuované systémy 3 Klasický systém ovládání souborů Symbolic File system Převod jména souboru na jeho jednoznačný identifikátor Dovoluje jednoduše označit jeden fyzický soubor více jmény Basic File System Zpřístupnění adresářové položky pro zadaný identifikátor souboru Každý soubor je reprezentován pouze jednou, zde je uloženo kde se nachází a jaká jsou k němu přístupová práva File Access Control Kontrola přístupových práv k souboru (přístupová matice, přístupový vektor, capabilities) 4.11.2007 Distribuované systémy 4

Klasický systém ovládání souborů Logical File System Převod pozice v souboru na adresu první slabiky v souboru a výpočet čísla logického bloku včetně posunutí Physical File System Převod logického čísla bloku a posunutí na číslo fyzického bloku a posunutí v bloku Device Access Převod fyzického čísla bloku a posunutí na skutečné umístění bloku na vnějším médiu (sektor, stopa, cylindr) Memory Management Organizace paměti na vnějším médiu 4.11.2007 Distribuované systémy 5 Vlastnosti distribuovaného souborového systému Transparentnost přístupu Klienti nevnímají, že soubory jsou na vzdálených serverech Transparentnost umístění Konzistentní prostor jmen souborů (stejně označení lokální i vzdálené soubory) Transparentnost souběžných přístupů Koherentní (vnitřně provázané) modifikace Transparentnost chyb Schopnost klienta fungovat správně i po chybě serveru Heterogenita Schopnost zajistit operace se soubory na různých programových i technických platformách 4.11.2007 Distribuované systémy 6

Vlastnosti distribuovaného souborového systému Škálovatelnost Schopnost spolupracovat s (libovolným od několika po několik tisíců) počtem klientů bez omezení Transparentnost replikací Klienti nerozpoznají replikace Systém udržuje koherentní (konzistentní) data Transparentnost migrace Soubory se mohou přemisťovat bez vědomí klientů Jemná distribuce dat Snaha o umístění objektů blízko procesů, které je využívají 4.11.2007 Distribuované systémy 7 Souborový systém - pojmy Souborová služba Specifikace co souborový systém nabízí klientům Soubor Objekt s vlastnostmi jako jméno, atributy, data Immutable file neměnitelný soubor Soubor, který nelze měnit jakmile byl vytvořen Zavádí se kvůli jednoduché replikovatelnosti a jednoduchému zpracování ve vyrovnávacích pamětech Ochrana souborů Přístupová matice (soubory x uživatelé x přístupová práva) Přístupový seznam (access control list) Capabilities (schopnost, způsobilost) 4.11.2007 Distribuované systémy 8

Typy služeb Model upload/download Model s přesunem souboru Čtení souboru kopírování souboru ze serveru na klienta Zápis do souboru kopírování souboru z klienta na server Výhoda Jednoduchá manipulace Nevýhoda Konzistentnost souběžná modifikace souboru více klienty Efektivnost přenosu co když je soubor příliš velký, co když klient nemá dostatek místa pro uložení souboru Neúsporný co když chce klient pracovat pouze s malým kouskem souboru 4.11.2007 Distribuované systémy 9 Typy služeb Model vzdáleného přístupu Souborový systém zajišťuje rozhraní pro provedení standardních funkcí Create, delete, open, close, read, write, link, Pracuje s jednotlivými bloky souboru metodou požadavek/odpověď Výhody Klient požaduje jen to, co potřebuje Server může zajistit konzistentní pohled na souborový systém (sdílený přístup, ) Nevýhody Možnost zahlcení serveru i sítě server je požadován klientem mnohonásobně, mohou být požadována opakovaně tatáž data 4.11.2007 Distribuované systémy 10

Problémy se jmény Mapování vzdálených souborových systémů může být realizováno na každém z klientů jinak Nestejné připojení týchž podadresářů Z hlediska programů, které zpracovávají data nevhodné Mapování závislé na klientovi Logický požadavek identického mapování na všech klientech transparentní připojení vzdáleného souborového systému Nejjednodušší řešení Přechod od lokálního souborového systému k síťovému přidáním jména stroje k cestě k souboru 4.11.2007 Distribuované systémy 11 Transparentnost umístění V přístupové cestě k souboru zadané jméno souborového serveru Např. //server1/dir/file Problém při přesunutí souborového systému na jiný počítač //server2/dir/file klient musí přepsat všechny odkazy Není transparentní V přístupové cestě nesmí být uvedeno jméno souboru Mapování na zvláštní svazek nebo do podadresáře Jméno souborového serveru musí být uživatelskému programu skryto Konfigurační soubor není odolné vůči přemístění Adresářový server modifikace jména serveru mimo klienta transparentní umístění 4.11.2007 Distribuované systémy 12

Transparentnost přístupu Dovoluje aplikacím přistupovat k vzdáleným souborům jako k lokálním Jmenný prostor vzdáleného souborového systému musí být syntakticky konzistentní s lokálním jmenným prostorem Jména souborů vzdáleného souborového systému musí odpovídat lokálním jménům Soubory, adresáře, linky Musí být vyřešen transparentní mechanizmus mapování vzdálených souborů na lokální Vzdálený souborový systém překrývá lokální prostor jmen Problém s atributy souborů (přístupová práva) 4.11.2007 Distribuované systémy 13 Transparentnost jmen v NFS 4.11.2007 Distribuované systémy 14

Transarentnost jmen v AFS 4.11.2007 Distribuované systémy 15 Sémantika sdílení souborů Sekvenční sémantika Sémantika používaná v Unixu Výsledkem je poslední zapsaná hodnota Relační sémantika Změny v souboru jsou pro ostatní viditelné po jeho uzavření Immutable files (neměnitelné soubory) Sémantika používaná v AFS Výsledkem je nová kopie souboru Transakční sémantika Provedení operací čtení a zápisu jako by to byla transakce Nejnáročnější velká režie 4.11.2007 Distribuované systémy 16

Absolutní uspořádání podle času Sekvenční sémantika Operace čtení vždy vrací hodnotu posledního zápisu (striktně konzistentní) Jednoduše dosažitelné pro Systém s jedním souborovým serverem Na straně klientů se nepoužívají vyrovnávací paměti Nevýhoda Problémy s výkonností pokud nepoužívám cache Použití cache (pro čtení) a operace write-through Musí existovat mechanizmus pro oznámení modifikace všem klientům, majícím kopii dat ve vyrovnávací paměti Vyžaduje stavy navíc a přenosy navíc 4.11.2007 Distribuované systémy 17 Relační sémantika Session semantics (relační) Změny v otevřeném souboru jsou viditelné pouze procesu (nebo počítači), který jej modifikuje Uvolnění pravidel oproti sekvenční sémantice 4.11.2007 Distribuované systémy 18

Neměnitelné soubory Vytváření neměnitelných souborů Výhoda při replikacích Nad souborem jsou povoleny pouze operace vytvoření souboru, a čtení souboru Původní soubor nelze modifikovat Oprava souboru znamená Vytvoření nové verze souboru Čtení původního souboru, vytváření nového souboru kopírováním nebo přidáváním/ubíráním dat. Neřeší problém detekce změn Problém zatřídění dvou modifikovaných souborů 4.11.2007 Distribuované systémy 19 Transakční sémantika Ke každému souboru se přistupuje přes transakční mechanizmus Uzamčení přístupu (čtení/zápis) Provedení transakce Ukončení transakce Výsledkem je sekvenční přístup (sekvenční modifikace) Příklad jak lze řešení jednoho problému převézt na řešení na jiné úrovni 4.11.2007 Distribuované systémy 20

Přehled charakteristik souborů Řešíme sdílení souborů v síťovém nebo distribuovaném souborovém systému bez znalosti četností výskytu jednotlivých typů souborů V r.1981 byla provedena studie (Satyanarayanan) Rozdělil soubory podle délky Podle požadavků na sdílení Podle kritéria trvanlivosti (dočasné/trvalé) Na základě tohoto rozdělení navrhnout optimální systém pro manipulaci se soubory 4.11.2007 Distribuované systémy 21 Analýza použití souborů Mnoho souborů je < 10KB Malé soubory vhodné pro přenos jako celek Musí se však podporovat i přenos velkých souborů Mnoho souborů má krátkou dobu života Možnost udržovat je pouze lokálně (ne na serveru) Minimum souborů je sdíleno Přetrvávající problém Relační sémantika by nemusela v mnoha případech způsobovat problém 4.11.2007 Distribuované systémy 22

Problémy s návrhem systému Práce se jmény Soubor je identifikován Jménem (cestou k souboru) Identifikátorem (id) Používá se id souboru Pamatuje se mapování jméno - id 4.11.2007 Distribuované systémy 24

Stavový server Server udržuje informaci o stavu klienta Seznam otevřených souborů Pozice čtení/zápisu v otevřeném souboru Kratší dotazy Lepší výkonnost při zpracování dotazů Jednodušší udržení konzistentního obsahu vyrovnávací paměti Server může registrovat kdo přistupuje ke kterému souboru Sdílení souborů Není problém s uzamykáním souborů 4.11.2007 Distribuované systémy 25 Bezestavový server Server neudržuje o klientovi žádnou informaci Každý požadavek musí identifikovat soubor, klienta, offset Není problém s výpadkem serveru Nedojde ke ztrátě informace o stavu klientů Není problém s výpadkem klienta a jeho obnovou Operace open a close pouze ovlivňují práva přístupu k souboru Server si nemusí pamatovat stav není problém se škálovatelností Není možné uzamykání souboru 4.11.2007 Distribuované systémy 26

Vyrovnávací paměti Vyrovnávací paměti výrazně zlepšují výkonnost systému Mohou být umístěny Na disku serveru Ve vyrovnávací paměti serveru Ve vyrovnávací paměti klienta Na disku klienta Použití vyrovnávacích pamětí s sebou nese problém s udržením konzistentnosti vyrovnávací paměti Konzistentnost vyrovnávací paměť diskové úložiště (zápis) Konzistentnost mezi vyrovnávacími pamětmi Na serveru Na klientech 4.11.2007 Distribuované systémy 27 Vyrovnávací paměti Problémy Vyrovnávací paměti na serveru Není problém se čtením, problém se zápisy Společná vyrovnávací paměť Vyrovnávací paměť pro každého klienta zvlášť Vyrovnávací paměti na klientech Není problém se čtením Problém s udržení konzistentnosti při sdílení a zápisu 4.11.2007 Distribuované systémy 28

Možnosti organizace zápisu Problém udržení konzistentnosti vyrovnávací paměti a diskového úložiště Souvisí se sémantikou manipulace se soubory Existují čtyři způsoby 1. Přímý zápis (write-through) Snížení průchodnosti systému Příliš mnoho zápisů 2. Zpožděný zápis Omezení počtu zápisů Shromažďování změn v lokální vyrovnávací paměti Vyrovnávací paměť obsahuje nejnovější data čtení z vyrovnávací paměti 4.11.2007 Distribuované systémy 29 Možnosti organizace zápisu 3. Zápis při uzavření souboru (write on close) Přípustné pokud budeme uvažovat relační sémantiku 4. Centralizované řízení Stavový souborový systém s velkým množstvím synchronizačních zpráv Degradace distribuovaného přístupu 4.11.2007 Distribuované systémy 30

Příklady distribuovaných a síťových souborových systémů NFS Network File System (ver 1 ver 4) (Sun Microsystems) AFS Andrew File System (Carnegie-Mellon University) DFS - Distributed File System (Open Group) RFS Remote File Sharing (AT&T Unix System V - 1986) Coda Constant Data Availability (Carnegie-Mellon University) SMB Server Message Blocks (Microsoft) 4.11.2007 Distribuované systémy 31 Network File System Sun Microsystems 1985

Implementace NFS v operačním systému 4.11.2007 Distribuované systémy 33 Cíle návrhu NFS Jakýkoliv počítač může být klientem nebo serverem Musí podporovat bezdiskové stanice Musí být podporovány heterogenní systémy Různý hardware, operační systém, souborový systém Transparentnost přístupu Požadavek přistupovat k vzdáleným souborům stejně jako k lokálním prostřednictvím normálních systémových volání OS Obnova po chybě Bezestavový server, použití UDP, obnova opakováním požadavku, odolný proti výpadku serveru i klienta 4.11.2007 Distribuované systémy 34

Cíle návrhu NFS Vysoká propustnost Použití vyrovnávacích pamětí a dopředného čtení Nezahrnuje transparentnost migrace Jména serverů uvedena v konfiguračních souborech Nepodporuje UNIX sémantiku pro přístup k souborům Bezestavové servery, problém s uzamykáním souborů (ver.3) Musí podporovat bezdiskové stanice Všechny soubory jsou vzdálené Problém s ověřováním uživatelů NIS, NYS, 4.11.2007 Distribuované systémy 35 Cíle návrhu NFS Transportní protokol Používá UDP plus SUN RPC Snaha o minimalizaci režie přenosového protokolu UDP je rychlejší než TCP UDP je jednodušší Nemusí udržovat spojení Pro prostředí Ethernetu relativně spolehlivý Zahrnuta detekce chyb Nemá korekci Korekce opakováním požadavků Výhodné z hlediska spolehlivosti 4.11.2007 Distribuované systémy 36

NFS protokoly Mount protocol Mapování exportovaného adresářového stromu na lokální disk NFS protocol Přístup k souborům a adresářům Zajištění souborových operací jako pro lokální souborový systém Manipulace s právy Manipulace s linky Daemoni nfsd, biod Daemon biod pro urychlení přístupu k souborům 4.11.2007 Distribuované systémy 37 Montovací protokol Klient posílá na server cestu k adresářovému stromu Server kontroluje práva přístupu Server vrací file handle Číslo zařízení, inode, instance Klient vytváří bod přístupu 4.11.2007 Distribuované systémy 38

Přístup k souborům a adresářům Vyhledání souboru Vrací handle souboru a atributy Handle se použije pro další přístup k souboru (read, write) NFS podporuje 16 (v2), 24(v3) funkcí Lookup Vytváření souborů Vytváření adresářů Práce s atributy Vytváření symbolických linků Zjištění stavu uzamykání 4.11.2007 Distribuované systémy 39 Výkonnost NFS Vzdálený přístup je pomalejší než lokální Využití vyrovnávacích pamětí na straně klienta Snížení operací se vzdáleným serverem Běžně operace čtení (soubor, atributy, adresáře) Ukládání Data, atributy souborů, mapování jmen Využití vyrovnávacích pamětí na straně serveru Automatické použití vyrovnávacích pamětí při přístupu na disk Okamžitý zápis na disk Obrana proti ztrátě dat při výpadku serveru 4.11.2007 Distribuované systémy 40

Technika dopředného čtení Data jsou přenášena v 8KB blocích Předpokládá se sekvenční přístup k souboru Další čtení následuje za předchozím z vyrovnávací paměti 4.11.2007 Distribuované systémy 41 Problémy s NFS Konzistentnost souborů Předpokládá synchronizované hodiny Negarantuje přidávání za soubor Uzamykání přidáno jako separátní manager zámků (stavový) Nemá čítač otevřených souborů Možnost smazání souboru pod rukami jiných klientů Předpokládá globální prostor UID Přístupová práva k souborům podle UID a GID 4.11.2007 Distribuované systémy 42

Problémy s NFS Mohou se měnit práva přístupu k souborům Zneplatnění přístupu k souboru Nezajišťuje šifrování Požadavky jsou přenášeny nešifrovaným RPC Šifrování na úrovni uživatele Možnost ověřování Deffie-Hellman, Kerberos, UNIXové 4.11.2007 Distribuované systémy 43 Automounter Problémy s montováním Více montování trvá příliš dlouho Každý počítač může mít vlastní prostor jmen Automounter Dovoluje administrátorům vytvořit globální prostor jmen Podporuje montování na přání Řeší problém statického montování Klient posílá požadavek na všechny servery Nejrychlejší server vyhrává Autokonfigurace založená na periodickém pokusu o odmontování svazku 4.11.2007 Distribuované systémy 44

Souborový systém AFS Vytvořen na CMU (Carnegie Mellon University) Později komerční produkt (IBM Transarc) Nyní volně k dispozici (Public Licence) Podpora velkého počtu klientů 4.11.2007 Distribuované systémy 45 Implementace AFS 4.11.2007 Distribuované systémy 46

Předpoklady Mnoho souborů je malých Počet čtení převyšuje počet zápisů K mnoha souborům přistupuje v dané chvíli jen jeden uživatel Soubory jsou využívány v časových shlucích Soubor je chvíli využíván a pak dlouho ne 4.11.2007 Distribuované systémy 47 Základní vlastnosti Sdílení celých souborů Ukládání celých souborů do vyrovnávacích pamětí Na disku klienta Zápis zpět na souborový server v případě modifikace po uzavření Zachování kopie souboru pro příští použití Klient komunikuje s množinou serverů Každý server předkládá identický prostor jmen Transparentní umístění souborů 4.11.2007 Distribuované systémy 48

Svazky Fyzický diskový svazek rozdělen na volumes Volumes obsahují soubory i adresáře Administrativní organizační jednotka Každý volume je adresářovým stromem s jedním kořenem Volume je domácím adresářem uživatele Obsahuje prostředky pro omezení rozsahu volume (quota) 4.11.2007 Distribuované systémy 49 Buňky Servery jsou seskupovány do administrativních entit cell (buňka) Cell Soubor serverů Uživatelů Klientským počítačů Cell je autonomní z hlediska administrace Cell mohou spolupracovat Mohou preyentovat uživatele v jednotném jmenném prostoru 4.11.2007 Distribuované systémy 50

Jména Klienti získávají informaci prostřednictvím cell directory server Cíl: Všichni vidí tentýž prostor jmen /afs/cellname/path /afs/zcu.cz/users/n/novak/ 4.11.2007 Distribuované systémy 51 Ověřování a přístup k souborům Ověřování pomocí Kerbera Důvěryhodné tickety Vzájemné ověřování (server/klient) Ověření uživatele vůči Kerberu (klog) Získání tokenu Předkládání při přístupu k souboru Neověření (anonymní) uživatelé system:anyuser 4.11.2007 Distribuované systémy 52

Replikace a caching Replikace se týká svazků (volumes) R/O Mohou být replikovány na více serverech Pro příliš velké soubory není vhodné je přetahovat jako celek AFS ukládá do vyrovnávací paměti implicitně části o velikosti 64KB Adresáře jsou přenášeny do vyrovnávací paměti celé Podpora uzamykání 4.11.2007 Distribuované systémy 53 Coda (Constant Data Availability) Carnegie-Mellon University 1990-1992

Úvod Distribuovaný souborový systém AFS 1985 Coda 1987 - návrh CMU M. Satyanarayanan Nyní implementace pro Linux BSD Windows 4.11.2007 Distribuované systémy 55 Architektura systému Coda vychází z AFS Základem je Coda cell Zahrnuje Klienty (Virtue) Souborové a datové servery (Vice) Řídicí systém (Systém Control Machine) Zálohovací počítače Vše může být jeden stroj 4.11.2007 Distribuované systémy 56

Architektura systému Celková organizace Vice server Virtue - klient 4.11.2007 Distribuované systémy 57 Architektura systému Vnitřní organizace virtuální pracovní stanice. 4.11.2007 Distribuované systémy 58

Architektura systému Klienti Obsahují cache paměť, disková paměť, trvalé uložení informace Rozsah 20MB až 200MB Uchování celého souboru (pro maximální velikost souboru) Data ve vyrovnávací paměti organizuje cache manager (Venus) 4.11.2007 Distribuované systémy 59 Cache manager Venus Volán při požadavku otevření souboru Volání open() z programu Vyvolá se jádro a VFS (Virtual File Systém) Vyvolá se modul jádra Coda Vyvolá se proces Venus Kontrola existence souboru v cache a volání souborového serveru Případný přesun souboru do cache (up-to-date) Návrat do jádra s odkazem na soubor 4.11.2007 Distribuované systémy 60

Svazky - volumes Volume je virtuální svazek (partition) Pokud se z ní má číst nebo do ní zapisovat, musí být namontována v celé oblasti (cell) Zálohována může být bez namontování Rozsah svazku je dán velikostí povolené quoty Není-li quota určena, může dosáhnout velikosti fyzické partition na disku. 4.11.2007 Distribuované systémy 61 Klonování Klonování se provádí podobně jako při vytváření paralelního procesu v Unixu Originál (zapisovatelný) i klon (pouze pro čtení) sdílí stejný prostor na disku (na počátku) Pokud se originál změní, je odkaz na klon zrušen a je vytvořen nový soubor Klon slouží jako záložní kopie pomáhá při zálohování a při replikaci R/O svazků 4.11.2007 Distribuované systémy 62

Typy svazků Jednoduchý (R/W) Read-only (jako backup) klon Jakoby kopie v cache klienta Obnova po smazání souboru Replicated (R/O) Klonování se provádí na více serverů identické kopie Určené pouze pro čtení Celé svazky se replikují periodicky (za běhu) Replicated (R/W) 4.11.2007 Distribuované systémy 63 Operace bez spojení se serverem Základní myšlenka Coda systému Umožnit mobilní počítání Ztráta spojení se serverem při přesunu, vlivem výpadku serveru Vlivem chyby v síti Off-line operace čtení i zápisu Řešení konfliktů zápisu (porovnání souborů) po obnově spojení 4.11.2007 Distribuované systémy 64

Uživatelé a skupiny Coda zavání vlastní uživatele a skupiny Celá čísla (kladná uživatelé, záporná skupiny) Nemusí být stejná jako v Unixu (problémy) Skupina má vlastníka Může přidávat do slupiny další uživatele pdbtool na řídicím systému, root Ověřování Coda (kclog, Coda token) Kerberos 4 Kerberos 5 4.11.2007 Distribuované systémy 65 ACL Access Control List ACL vztažen k adresářům Přístupové bity UNIXu ignorovány pro přístup k adresářům Přístupové bity skupiny a ostatních k souborům ignorovány, pro uživatele ne Přísnější kontrola přístupu k souborům (r,x) Oddělení prostoru jmen UNIX od Coda problémy 4.11.2007 Distribuované systémy 66

Coda server codasrv souborový server updateclnt, updatesrv Řeší problém konzistentnosti dat mezi servery a serverem a klientem rpc2portmap rpc daemon požadavky na Coda služby kauth2 generování Coda tokens podle uživatelských Kerberos ticketů 4.11.2007 Distribuované systémy 67 Coda RPC Vedlejší efekty v systému Coda RPC2. 4.11.2007 Distribuované systémy 68

Coda RPC a) Posílání zprávy zneplatnění postupné. b) Posílání zprávy zneplatnění souběžné. 4.11.2007 Distribuované systémy 69 Jména Klienti v Coda mají přístup k jednomu sdílenému prostoru jmen. 4.11.2007 Distribuované systémy 70

Identifikátory souborů Implementace a rozeznání identifikátorů souboru v Coda. 4.11.2007 Distribuované systémy 71 Sdílení souborů v Coda Transakční prostředí sdílení souborů v Coda. 4.11.2007 Distribuované systémy 72

Vyrovnávací paměti na straně klienta Použití lokálních kopií při otevírání relace v Coda. 4.11.2007 Distribuované systémy 73 Replikace serveru Dva klienti s různým AVSG pro tentýž replikovaný soubor. 4.11.2007 Distribuované systémy 74

Přerušené operace Diagram přechodů mezi stavy klienta Coda vzhledem ke svazku. 4.11.2007 Distribuované systémy 75 Ověřování Vzájemné ověřování v RPC2. 4.11.2007 Distribuované systémy 76

Bezpečné kanály Vytvoření bezpečného kanálu mezi klientem (Venus) a serverem (Vice) v Coda. 4.11.2007 Distribuované systémy 77 Distributed File System

DFS Součást DCE (Distributed Computing Enviroment) Následník AFS Předpokládá Většina přístupů k souborům je sekvenční Doba života většiny souborů je malá Převážná část přístupů vyžaduje celý soubor Mnoho přístupů je do malých souborů 4.11.2007 Distribuované systémy 79 Cíle Využívá ukládání celých souborů do vyrovnávacích pamětí na straně klienta jako AFS Nepoužívá relační sémantiku Zavádí striktní konzistentnost (UNIX sémantiku) 4.11.2007 Distribuované systémy 80

Server Message Blocks Cíle Sdílení souborů v prostředí Windows Protokol pro sdílení Sdílení souborů, zařízení, komunikačních prvků (sériový), poštovní schránky Servery umožňují přistupovat klientům ke zdrojům Klienti mají přístup k souborům, tiskárnám, Zajištění konzistentnosti přístupu, uzamykání, přístupová práva 4.11.2007 Distribuované systémy 82

Vlastnosti SMB Protokol typu dotaz/odpověď Posílá message blocks (dle DOS) Spojově orientovaný protokol Každá zpráva obsahuje Záhlaví Příkazový řetězec Nebo řetězec odpovědi 4.11.2007 Distribuované systémy 83