Distribuovaný systém soubor Pednášky z Distribuovaných systém Architektura NFS (1) a) Model vzdáleného pístupu b) Model s pesunem (download/upload) 6.12.2004 DS - Distribuovaný systém soubor 2 Architektura NFS (2) Základní architektura NFS pro operaní systému typu UNIX. 6.12.2004 DS - Distribuovaný systém soubor 3 1
Model souborového systému Operation v3 v4 Create Create a regular file Create Create a nonregular file Link Create a hard link to a file Symlink Create a symbolic link to a file Mkdir Create a subdirectory in a given directory Mknod Create a special file Rename Change the name of a file Rmdir Remove an empty subdirectory from a directory Open Open a file Close Close a file Lookup Look up a file by means of a file name Readdir Read the entries in a directory Readlink Read the path name stored in a symbolic link Getattr Read the attribute values for a file Setattr Set one or more attribute values for a file Read Read the data contained in a file Write Write data to a file Neúplný soubor operací podporovaných NFS. 6.12.2004 DS - Distribuovaný systém soubor 4 Komunikace a) tení dat ze souboru v NFS verze 3. b) tení dat pomocí složené procedury v NFS verze 4. 6.12.2004 DS - Distribuovaný systém soubor 5 Jména (1) Mapování (montování) ásti vzdáleného souborového systému v NFS. 6.12.2004 DS - Distribuovaný systém soubor 6 2
Jména (2) Montování vnoených adresá od více NFS server. 6.12.2004 DS - Distribuovaný systém soubor 7 Automatické mapování (montování) (1) Jednoduché automatické mapování pro NFS. 6.12.2004 DS - Distribuovaný systém soubor 8 Automatické mapování (montování) (2) Použití symbolických link pi automapování. 6.12.2004 DS - Distribuovaný systém soubor 9 3
Atributy soubor (1) Attribute TYPE SIZE CHANGE FSID The type of the file (regular, directory, symbolic link) The length of the file in bytes Indicator for a client to see if and/or when the file has changed Server-unique identifier of the file's file system Nkolik obecných povinných atribut soubor v NFS. 6.12.2004 DS - Distribuovaný systém soubor 10 Atributy soubor (2) Attribute ACL FILEHANDLE FILEID FS_LOCATIONS OWNER TIME_ACCESS TIME_MODIFY TIME_CREATE an access control list associated with the file The server-provided file handle of this file A file-system unique identifier for this file Locations in the network where this file system may be found The character-string name of the file's owner Time when the file data were last accessed Time when the file data were last modified Time when the file was created Nkolik obecných doporuených atribut souboru. 6.12.2004 DS - Distribuovaný systém soubor 11 Sémantika sdílení soubor (1) a) Na jednom procesoru pokud operace tení následuje operaci zápisu, pak tení vrací poslední zapsanou hodnotu. b) V distribuovaných systémech s vyrovnávacími pamtmi (cache) mohou být vraceny zastaralé hodnoty. 6.12.2004 DS - Distribuovaný systém soubor 12 4
Sémantika sdílení soubor (2) Method UNIX semantics Session semantics Immutable files Transaction Comment Every operation on a file is instantly visible to all processes changes are visible to other processes until the file is closed updates are possible; simplifies sharing and replication All changes occur atomically tyi možnosti manipulace se sdílenými soubory v distribuovaných systémech. 6.12.2004 DS - Distribuovaný systém soubor 13 Uzamykání soubor v NFS (1) Operation Lock Lockt Locku Renew Creates a lock for a range of bytes Test whether a conflicting lock has been granted Remove a lock from a range of bytes Renew the leas on a specified lock Operace vztažené k uzamykání v NFS verze 4. 6.12.2004 DS - Distribuovaný systém soubor 14 Request access Current access state Uzamykání soubor v NFS (2) READ WRITE BOTH READ WRITE BOTH NONE NONE Current file denial state READ Výsledek operace open se sdílenými rezervacemi v NFS. a) když klient požaduje sdílený pístup v rzných stavech souboru. b) když klient požaduje stav uzamení podle aktuálního stavu souboru. Fail (a) Requested file denial state READ Fail (b) WRITE Fail WRITE Fail BOTH Fail BOTH Fail 6.12.2004 DS - Distribuovaný systém soubor 15 5
Vyrovnávací pam na stran klienta (1) Vyrovnávací pamti na stran klienta v NFS. 6.12.2004 DS - Distribuovaný systém soubor 16 Vyrovnávací pam na stran klienta (2) Použití mechanizmu zptného volání NFS verze 4 pro znovu vytvoení delegace souboru. 6.12.2004 DS - Distribuovaný systém soubor 17 Chyby RPC Ti situace pro zpracování transakcí. a) Požadavek se práv zpracovává b) Práv byla vrácena odpov c) Odpov se zdržela nebo se ztratila. 6.12.2004 DS - Distribuovaný systém soubor 18 6
Bezpenost Bezpenostní architektura NFS. 6.12.2004 DS - Distribuovaný systém soubor 19 Bezpené RPC Bezpené RPC v NFS verze 4. 6.12.2004 DS - Distribuovaný systém soubor 20 ízení pístupu Operation Read_data Write_data Append_data Execute List_directory Add_file Add_subdirectory Delete Delete_child Read_acl Write_acl Read_attributes Write_attributes Read_named_attrs Write_named_attrs Write_owner Permission to read the data contained in a file Permission to to modify a file's data Permission to to append data to a file Permission to to execute a file Permission to to list the contents of a directory Permission to to add a new file t5o a directory Permission to to create a subdirectory to a directory Permission to to delete a file Permission to to delete a file or directory within a directory Permission to to read the ACL Permission to to write the ACL The ability to read the other basic attributes of a file Permission to to change the other basic attributes of a file Permission to to read the named attributes of a file Permission to to write the named attributes of a file Permission to to change the owner Synchronize Permission to to access a file locally at the server with synchronous reads and writes Klasifikace operací rozpoznávaných NFS s ohledem na ízení pístupu. 6.12.2004 DS - Distribuovaný systém soubor 21 7
Souborový systém Coda Type of user Owner Group Everyone Interactive Network Dialup Batch Anonymous Authenticated Service The owner of a file Any user of a process The group of users associated with a file Any process accessing the file from an interactive terminal Any process accessing the file via the network Any process accessing the file through a dialup connection to the server Any process accessing the file as part of a batch job Anyone accessing the file without authentication Any authenticated user of a process Any system-defined service process Rzné typy uživatel a proces rozlišovaných NFS s ohledem na pístupová práva. 6.12.2004 DS - Distribuovaný systém soubor 22 Úvod do Coda (1) Celková organizace AFS. 6.12.2004 DS - Distribuovaný systém soubor 23 Úvod do Coda (2) Vnitní organizace virtuální pracovní stanice. 6.12.2004 DS - Distribuovaný systém soubor 24 8
Komunikace (1) Vedlejší efekty v systému Coda RPC2. 6.12.2004 DS - Distribuovaný systém soubor 25 Komunikace (2) a) Posílání zprávy zneplatnní postupné. b) Posílání zprávy zneplatnní soubžné. 6.12.2004 DS - Distribuovaný systém soubor 26 Jména Klienti v Coda mají pístup k jednomu sdílenému prostoru jmen. 6.12.2004 DS - Distribuovaný systém soubor 27 9
Identifikátory soubor Implementace a rozeznání identifikátor souboru v Coda. 6.12.2004 DS - Distribuovaný systém soubor 28 Sdílení soubor v Coda Transakní prostedí sdílení soubor v Coda. 6.12.2004 DS - Distribuovaný systém soubor 29 Transakní sémantika File-associated data File identifier Access rights Last modification time File length File contents Read? Modified? Pravidla modifikace a tení metadat pro relaní typ store v Coda. 6.12.2004 DS - Distribuovaný systém soubor 30 10
Využití vyrovnávacích pamtí na stran klienta Použití lokálních kopií pi otevírání relace v Coda. 6.12.2004 DS - Distribuovaný systém soubor 31 Replikace serveru Dva klienti s rzným AVSG pro tentýž replikovaný soubor. 6.12.2004 DS - Distribuovaný systém soubor 32 Perušené operace Diagram pechod mezi stavy klienta Coda vzhledem ke svazku. 6.12.2004 DS - Distribuovaný systém soubor 33 11
Bezpené kanály (1) Vzájemné ovování v RPC2. 6.12.2004 DS - Distribuovaný systém soubor 34 Bezpené kanály (2) Vytvoení bezpeného kanálu mezi klientem (Venus) a serverem (Vice) v Coda. 6.12.2004 DS - Distribuovaný systém soubor 35 ízení pístupu Operation Read Read any file in the directory Write Modify any file in the directory Lookup Look up the status of any file Insert Add a new file to the directory Delete Delete an existing file Administer Modify the ACL of the directory Klasifikace operací nad soubory a adresái v Coda s ohledem na ízení pístupu. 6.12.2004 DS - Distribuovaný systém soubor 36 12
Plan 9: zdroje sjednocené do soubor Obecná organizace Plan 9 6.12.2004 DS - Distribuovaný systém soubor 37 Komunikace File ctl data listen local remote status Used to write protocol-specific control commands Used to read and write data Used to accept incoming connection setup requests Provides information on the caller's side of the connection Provides information on the other side of the connection Provides diagnostic information on the current status of the connection Soubory spojené s jedním TCP spojením v Plan 9. 6.12.2004 DS - Distribuovaný systém soubor 38 Procesy Souborový server v Plan 9. 6.12.2004 DS - Distribuovaný systém soubor 39 13
Jména Svazek adresá v Plan 9. 6.12.2004 DS - Distribuovaný systém soubor 40 Úvod do xfs. Typické rozdlení proces na jednotlivé poítae v xfs. 6.12.2004 DS - Distribuovaný systém soubor 41 Procesy (1) Princip log-based striping v xfs. 6.12.2004 DS - Distribuovaný systém soubor 42 14
Procesy (2) tení bloku dat v xfs. 6.12.2004 DS - Distribuovaný systém soubor 43 Jména Data structure Manager map Imap Inode File identifier File directory Log addresses Stripe group map Maps file ID to manager Maps file ID to log address of file's inode Maps block number (i.e., offset) to log address of block Reference used to index into manager map Maps a file name to a file identifier Triplet of stripe group, ID, segment ID, and segment offset Maps stripe group ID to list of storage servers Hlavní datové struktury použité v xfs. 6.12.2004 DS - Distribuovaný systém soubor 44 Úvod do SFS Organizace SFS. 6.12.2004 DS - Distribuovaný systém soubor 45 15
Jména /sfs LOC HID Pathname /sfs/sfs.vu.sc.nl:ag62hty4wior450hdh63u623i4f0kqere/home/steen/mbox Samo se ovující úplné jméno souboru v SFS 6.12.2004 DS - Distribuovaný systém soubor 46 Shrnutí Issue NFS Coda Plan 9 xfs SFS Design goals Access transparency High availability Uniformity Serverless system Scalable security Access model Remote Up/Download Remote Log-based Remote Communication RPC RPC Special Active msgs RPC Client process Thin/Fat Fat Thin Fat Medium Server groups Mount granularity Directory File system File system File system Directory Name space Per client Global Per process Global Global File ID scope File server Global Server Global File system Sharing sem. Session Transactional UNIX UNIX N/S Cache consist. write-back write-back write-through write-back write-back Replication Minimal ROWA ne Striping ne Fault tolerance Reliable comm. Replication and caching Reliable comm. Striping Reliable comm. Recovery Client-based Reintegration N/S Checkpoint & write logs N/S Secure channels Existing mechanisms Needham-Schroeder Needham-Schroeder pathnames Self-cert. Access control Many operations Directory operations UNIX based UNIX based NFS BASED Porovnání NFS, Coda, Plan 9, xfs. N/S znamená bez specifikace.. 6.12.2004 DS - Distribuovaný systém soubor 47 16