Distribuovaný systém soubor. Architektura NFS (1) Architektura NFS (2) Pednášky z Distribuovaných systém

Transkript

1 Distribuovaný systém soubor Pednášky z Distribuovaných systém Architektura NFS (1) a) Model vzdáleného pístupu b) Model s pesunem (download/upload) DS - Distribuovaný systém soubor 2 Architektura NFS (2) Základní architektura NFS pro operaní systému typu UNIX DS - Distribuovaný systém soubor 3 1

2 Model souborového systému Operation v3 v4 Create Create a regular file Create Create a nonregular file Link Create a hard link to a file Symlink Create a symbolic link to a file Mkdir Create a subdirectory in a given directory Mknod Create a special file Rename Change the name of a file Rmdir Remove an empty subdirectory from a directory Open Open a file Close Close a file Lookup Look up a file by means of a file name Readdir Read the entries in a directory Readlink Read the path name stored in a symbolic link Getattr Read the attribute values for a file Setattr Set one or more attribute values for a file Read Read the data contained in a file Write Write data to a file Neúplný soubor operací podporovaných NFS DS - Distribuovaný systém soubor 4 Komunikace a) tení dat ze souboru v NFS verze 3. b) tení dat pomocí složené procedury v NFS verze DS - Distribuovaný systém soubor 5 Jména (1) Mapování (montování) ásti vzdáleného souborového systému v NFS DS - Distribuovaný systém soubor 6 2

3 Jména (2) Montování vnoených adresá od více NFS server DS - Distribuovaný systém soubor 7 Automatické mapování (montování) (1) Jednoduché automatické mapování pro NFS DS - Distribuovaný systém soubor 8 Automatické mapování (montování) (2) Použití symbolických link pi automapování DS - Distribuovaný systém soubor 9 3

4 Atributy soubor (1) Attribute TYPE SIZE CHANGE FSID The type of the file (regular, directory, symbolic link) The length of the file in bytes Indicator for a client to see if and/or when the file has changed Server-unique identifier of the file's file system Nkolik obecných povinných atribut soubor v NFS DS - Distribuovaný systém soubor 10 Atributy soubor (2) Attribute ACL FILEHANDLE FILEID FS_LOCATIONS OWNER TIME_ACCESS TIME_MODIFY TIME_CREATE an access control list associated with the file The server-provided file handle of this file A file-system unique identifier for this file Locations in the network where this file system may be found The character-string name of the file's owner Time when the file data were last accessed Time when the file data were last modified Time when the file was created Nkolik obecných doporuených atribut souboru DS - Distribuovaný systém soubor 11 Sémantika sdílení soubor (1) a) Na jednom procesoru pokud operace tení následuje operaci zápisu, pak tení vrací poslední zapsanou hodnotu. b) V distribuovaných systémech s vyrovnávacími pamtmi (cache) mohou být vraceny zastaralé hodnoty DS - Distribuovaný systém soubor 12 4

5 Sémantika sdílení soubor (2) Method UNIX semantics Session semantics Immutable files Transaction Comment Every operation on a file is instantly visible to all processes changes are visible to other processes until the file is closed updates are possible; simplifies sharing and replication All changes occur atomically tyi možnosti manipulace se sdílenými soubory v distribuovaných systémech DS - Distribuovaný systém soubor 13 Uzamykání soubor v NFS (1) Operation Lock Lockt Locku Renew Creates a lock for a range of bytes Test whether a conflicting lock has been granted Remove a lock from a range of bytes Renew the leas on a specified lock Operace vztažené k uzamykání v NFS verze DS - Distribuovaný systém soubor 14 Request access Current access state Uzamykání soubor v NFS (2) READ WRITE BOTH READ WRITE BOTH NONE NONE Current file denial state READ Výsledek operace open se sdílenými rezervacemi v NFS. a) když klient požaduje sdílený pístup v rzných stavech souboru. b) když klient požaduje stav uzamení podle aktuálního stavu souboru. Fail (a) Requested file denial state READ Fail (b) WRITE Fail WRITE Fail BOTH Fail BOTH Fail DS - Distribuovaný systém soubor 15 5

6 Vyrovnávací pam na stran klienta (1) Vyrovnávací pamti na stran klienta v NFS DS - Distribuovaný systém soubor 16 Vyrovnávací pam na stran klienta (2) Použití mechanizmu zptného volání NFS verze 4 pro znovu vytvoení delegace souboru DS - Distribuovaný systém soubor 17 Chyby RPC Ti situace pro zpracování transakcí. a) Požadavek se práv zpracovává b) Práv byla vrácena odpov c) Odpov se zdržela nebo se ztratila DS - Distribuovaný systém soubor 18 6

7 Bezpenost Bezpenostní architektura NFS DS - Distribuovaný systém soubor 19 Bezpené RPC Bezpené RPC v NFS verze DS - Distribuovaný systém soubor 20 ízení pístupu Operation Read_data Write_data Append_data Execute List_directory Add_file Add_subdirectory Delete Delete_child Read_acl Write_acl Read_attributes Write_attributes Read_named_attrs Write_named_attrs Write_owner Permission to read the data contained in a file Permission to to modify a file's data Permission to to append data to a file Permission to to execute a file Permission to to list the contents of a directory Permission to to add a new file t5o a directory Permission to to create a subdirectory to a directory Permission to to delete a file Permission to to delete a file or directory within a directory Permission to to read the ACL Permission to to write the ACL The ability to read the other basic attributes of a file Permission to to change the other basic attributes of a file Permission to to read the named attributes of a file Permission to to write the named attributes of a file Permission to to change the owner Synchronize Permission to to access a file locally at the server with synchronous reads and writes Klasifikace operací rozpoznávaných NFS s ohledem na ízení pístupu DS - Distribuovaný systém soubor 21 7

8 Souborový systém Coda Type of user Owner Group Everyone Interactive Network Dialup Batch Anonymous Authenticated Service The owner of a file Any user of a process The group of users associated with a file Any process accessing the file from an interactive terminal Any process accessing the file via the network Any process accessing the file through a dialup connection to the server Any process accessing the file as part of a batch job Anyone accessing the file without authentication Any authenticated user of a process Any system-defined service process Rzné typy uživatel a proces rozlišovaných NFS s ohledem na pístupová práva DS - Distribuovaný systém soubor 22 Úvod do Coda (1) Celková organizace AFS DS - Distribuovaný systém soubor 23 Úvod do Coda (2) Vnitní organizace virtuální pracovní stanice DS - Distribuovaný systém soubor 24 8

9 Komunikace (1) Vedlejší efekty v systému Coda RPC DS - Distribuovaný systém soubor 25 Komunikace (2) a) Posílání zprávy zneplatnní postupné. b) Posílání zprávy zneplatnní soubžné DS - Distribuovaný systém soubor 26 Jména Klienti v Coda mají pístup k jednomu sdílenému prostoru jmen DS - Distribuovaný systém soubor 27 9

10 Identifikátory soubor Implementace a rozeznání identifikátor souboru v Coda DS - Distribuovaný systém soubor 28 Sdílení soubor v Coda Transakní prostedí sdílení soubor v Coda DS - Distribuovaný systém soubor 29 Transakní sémantika File-associated data File identifier Access rights Last modification time File length File contents Read? Modified? Pravidla modifikace a tení metadat pro relaní typ store v Coda DS - Distribuovaný systém soubor 30 10

11 Využití vyrovnávacích pamtí na stran klienta Použití lokálních kopií pi otevírání relace v Coda DS - Distribuovaný systém soubor 31 Replikace serveru Dva klienti s rzným AVSG pro tentýž replikovaný soubor DS - Distribuovaný systém soubor 32 Perušené operace Diagram pechod mezi stavy klienta Coda vzhledem ke svazku DS - Distribuovaný systém soubor 33 11

12 Bezpené kanály (1) Vzájemné ovování v RPC DS - Distribuovaný systém soubor 34 Bezpené kanály (2) Vytvoení bezpeného kanálu mezi klientem (Venus) a serverem (Vice) v Coda DS - Distribuovaný systém soubor 35 ízení pístupu Operation Read Read any file in the directory Write Modify any file in the directory Lookup Look up the status of any file Insert Add a new file to the directory Delete Delete an existing file Administer Modify the ACL of the directory Klasifikace operací nad soubory a adresái v Coda s ohledem na ízení pístupu DS - Distribuovaný systém soubor 36 12

13 Plan 9: zdroje sjednocené do soubor Obecná organizace Plan DS - Distribuovaný systém soubor 37 Komunikace File ctl data listen local remote status Used to write protocol-specific control commands Used to read and write data Used to accept incoming connection setup requests Provides information on the caller's side of the connection Provides information on the other side of the connection Provides diagnostic information on the current status of the connection Soubory spojené s jedním TCP spojením v Plan DS - Distribuovaný systém soubor 38 Procesy Souborový server v Plan DS - Distribuovaný systém soubor 39 13

14 Jména Svazek adresá v Plan DS - Distribuovaný systém soubor 40 Úvod do xfs. Typické rozdlení proces na jednotlivé poítae v xfs DS - Distribuovaný systém soubor 41 Procesy (1) Princip log-based striping v xfs DS - Distribuovaný systém soubor 42 14

15 Procesy (2) tení bloku dat v xfs DS - Distribuovaný systém soubor 43 Jména Data structure Manager map Imap Inode File identifier File directory Log addresses Stripe group map Maps file ID to manager Maps file ID to log address of file's inode Maps block number (i.e., offset) to log address of block Reference used to index into manager map Maps a file name to a file identifier Triplet of stripe group, ID, segment ID, and segment offset Maps stripe group ID to list of storage servers Hlavní datové struktury použité v xfs DS - Distribuovaný systém soubor 44 Úvod do SFS Organizace SFS DS - Distribuovaný systém soubor 45 15

16 Jména /sfs LOC HID Pathname /sfs/sfs.vu.sc.nl:ag62hty4wior450hdh63u623i4f0kqere/home/steen/mbox Samo se ovující úplné jméno souboru v SFS DS - Distribuovaný systém soubor 46 Shrnutí Issue NFS Coda Plan 9 xfs SFS Design goals Access transparency High availability Uniformity Serverless system Scalable security Access model Remote Up/Download Remote Log-based Remote Communication RPC RPC Special Active msgs RPC Client process Thin/Fat Fat Thin Fat Medium Server groups Mount granularity Directory File system File system File system Directory Name space Per client Global Per process Global Global File ID scope File server Global Server Global File system Sharing sem. Session Transactional UNIX UNIX N/S Cache consist. write-back write-back write-through write-back write-back Replication Minimal ROWA ne Striping ne Fault tolerance Reliable comm. Replication and caching Reliable comm. Striping Reliable comm. Recovery Client-based Reintegration N/S Checkpoint & write logs N/S Secure channels Existing mechanisms Needham-Schroeder Needham-Schroeder pathnames Self-cert. Access control Many operations Directory operations UNIX based UNIX based NFS BASED Porovnání NFS, Coda, Plan 9, xfs. N/S znamená bez specifikace DS - Distribuovaný systém soubor 47 16