Soubor, souborov e organizace

Transkript

1 Soubor, souborov e organizace PV 062 Organizace soubor u Jan Staudek Ð Û Å«Æ ±²³ µ ¹º»¼½¾ Ý Verze : jaro 2018

2 Osnova predn asky Pojem souboru Model, sch ema souborov e organizace Dotaz nad souborem Klasikace souborov ych organizac Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 1

3 Soubor { pojem, imaginace Pro dlouhodob e a na energii nez avisl e uchov av an dat v poctaci slouz pam et'ov e zarzen typu vnejs (sekund arn, terci arn) pamet' (disk, p aska,... ) Data ulozen a na vn ejsch pam etech jsou reprezentac jedn e ze trd zdroj u tvorcch v ypocetn syst em (program, pam eti, procesory, periferie,... ), kter y res aplikacn ulohy Abstrakce t echto zdroj u srozumiteln e aplikacm a sluzby pro manipulaci a zprstup nov an t echto zdroj u poskytuje sv ymi funkcemi operacn syst em z akladn n astroj dostupn y aplikacnm uloh am pro poskytov an informacnch sluzeb pro dlouhodob e uchov av an a zprstup nov an dat na vnejsch pametech { datab aze Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 2

4 Soubor { pojem, imaginace datab aze = kolekce souvisejcch dat (ulozen a v syst emu vn ejsch pam et) Vztahy mezi elementy dat v datab azi jsou explicitn Datab aze je navrhovan a pro pouzit aplikacnmy syst emy Datab aze se v poctaci (na vn ejsch pam etech) uchov avaj jako kolekce pojmenovan ych mnozin dat { soubor u, (file). Soubor je dominantn datovou jednotkou na vn ejsch pam eti z pohledu aplikac, je pojmenovanou kolekc dat ulozenou na vn ejs pam eti. Soubory b yvaj vnitrn e strukturov any na { z aznamy, records z aznamy b yvaj vnitrn e strukturov any na vlastnosti (atributy, polozky), attributes Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 3

5 Soubor { pojem, imaginace Datab aze b yv a spravovan a syst emem rzen b aze dat, kter y je obvykle nez avisl y na operacnm syst emu, m uze vsak vyuzvat radu sluzeb poskytovan ych souc ast OS { syst emem soubor u Syst em rzen b aze dat b yv a souc ast middleware { funkcn vrstvy mezi operacnm syst emem a aplikacnmi syst emy Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 4

6 Datab aze, soubor, z aznam, polozka (atribut) Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 5

7 Datab aze, soubor, z aznam, polozka (atribut) struktur aln e nejelement arn ejsm prvkem dat je { pole, field { z hlediska prostoru, syntaxe, resp. { z hlediska obsahu polozka (item), resp. atribut, vlastnost (attribute) s kazd ym atributem souvis datov y typ urcujc obor mozn ych hodnot atributu a mnozinu operac nad nimi datov e typy atribut u jsou obvykle standardn datov e typy pouzvan e pri programov an integer, long integer, oating point, Boolean (0/1 nebo TRUE/FALSE), retez znak u (pevn e ci promenn e d elky), k odovan e datum a cas,... Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 6

8 Datab aze, soubor, z aznam, polozka (atribut) atribut m uze mt xn d elku nebo prom ennou d elku (ta pak mus b yt explicitne udan a nebo vyznacen a denovan ym odd elovacem) atribut m uze b yt pojmenovan y nepojmenovan y, identikovateln y sv ym umst enm v z aznamu Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 7

9 Datab aze, soubor, z aznam, polozka (atribut) datov a jednotka reprezentujc objekt zpracov avan y aplikac (osoba, mstnost, predmet,... ) je z aznam (redord) z aznam tvor kolekce polozek (atribut u) se kterou aplikacn syst em pracuje jako s jednotkou dat z aznamy jsou charakterizovateln e sv ymi vlastnostmi, atributy implementacn e jsou z aznamy tvoreny seskupenm pol obsahujcch hodnoty atribut u kolekce identikac atribut u a denic jejich typ u vytv ar denici form atu z aznamu, tj. typ z aznamu Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 8

10 Datab aze, soubor, z aznam, polozka (atribut) z aznamy mohou mt { pevnou d elku (a pevnou skladbu polozek pevn e d elky) nebo { promennou d elku, pokud obsahuj polozky prom enn e d elky nebo pokud maj prom ennou skladbu polozek (pak polozky mus b yt explicitn e pojmenov avan e) a d elka z aznamu je vyj adren a explicitne Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 9

11 Datab aze, soubor, z aznam, polozka (atribut) soubor (file) je pojmenovan a kolekce z aznam u formujc n ejakou relaci nebo prostor odpovdajc n ejak e trd e soubor je kolekc podobn ych, souvisejcch z aznam u neform alne { soubor je kolekc dat umsten ych na energeticky nez avisl e pameti (disku, p asce, SSD,... ) soubor m uze b yt manipulacn jednotkou stejn e jako z aznam (atributy b yvaj manipulacn jednotkou pouze na urovni aplikace, prpadn e lze pomoc hodnot atribut u vyhled avat z aznamy v souboru, resp. z aznamy v souboru uspor ad avat podle hodnot atribut u) Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 10

12 Datab aze, soubor, z aznam, polozka (atribut) Soubory s jednotnou, deklarovatelnou strukturou z aznam u naz yv ame homogenn soubory Nehomogenn soubory obsahuj z aznamy prom enn eho, nejednotn eho, nedeklarovateln eho typu Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 11

13 Soubor, syst em soubor u { pojem, imaginace Koncept souboru je velmi voln y Z pohledu aplikac/uzivatel u je soubor nejmensm prid elovateln ym dlem logick eho prostoru vn ejs pam eti data lze zapsat do vnejs pameti pouze kdyz jsou souc ast n ekter eho souboru Soubory mohou obsahovat programy { ve zdrojov ych i clov ych (bin arnch) form ach data { numerick a, alfabetick a, alfanumerick a, obrazov a, video, hudba, fotograe,... Soubory mohou b yt form atov any volne { napr. textov e soubory (znaky, r adky, prp. str anky) prsn e, rigidn e { soubory s vnucenou vnitrn indexacn strukturou,... Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 12

14 Soubor, syst em soubor u { pojem, imaginace Soubory mohou b yt tvoreny posloupnostmi bit u, byt u, r adk u v yznam stavebnch element u denuje tv urce / uzivatel souboru Operacn syst em svoj funkcn souc ast zvanou syst em soubor u poskytuje sluzby operujc se soubory: Create { vytvoren nov eho souboru a jeho umst en ve strukture soubor u Delete { odstran en souboru, resp. c asti souboru (z aznamu) Open { zprstupn en souboru Close { zrusen prstupov e vazby se souborem Read { cten c asti zprstupnen eho souboru ( z aznamu) Write { modikace/v ypis c asti zprstupn en eho souboru (z aznamu) Dir { v ypis seznamu soubor u z adres are syst emu soubor u... Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 13

15 Soubor, syst em soubor u { pojem, imaginace existuje rozdl mezi souborem a datovou strukturou v operacn pam eti? ANO: soubory maj b yt uchov avan e dlouhodob e, nez avisle na dod avce energie soubory maj b yt premstiteln e/koprovateln e z msta na jin e msto soubory mohou b yt dostupn e vce proces um a uzivatel um a ti je mohou sdlet doba existence souboru je nez avisl a na dob e existence procesu, kter y jej vytvoril soubory jsou ch apan e casto jako vstupy aplikacnch syst em u... Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 14

16 Soubor, syst em soubor u { rekapitulace Ctyri pojmy charakterizujc strukturu souboru jsou B aze dat, Database { kolekce vz ajemn e explicitn e souvisejcch dat, sest avajc z jednoho nebo prpadn e i vce soubor u (instituce) Soubor, File { pojmenovan a kolekce prbuzn ych z aznam u (zam estnanci) manipulovateln a jako jednotka, predm et rzen prstupu Z aznam, Record { strukturovan a jednotka ( udaje o osobe,... ) kolekce pol, aplikacemi povazovan a za jeden strukturovan y celek, m uze mt pevnou nebo prom ennou d elku a/nebo strukturu Pole, Field { element arn datov a jednotka z aznamu, (jm eno, vek,... ) obsahuje jednu hodnotu, m uze mt pevnou nebo prom ennou d elku Syst emy soubor u nemus strukturalizaci soubor u podporovat napr. b azov y syst em soubor u v unixov ych syst emech ch ape soubor pouze jako posloupnost byt u Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 15

17 Soubor, syst em soubor u { pojem, imaginace logick y pohled na soubor (pohled program atora){ jak data v souboru vid uzivatel (aplikacn syst em) logickou strukturu vlastnch (prim arnch) dat v souboru m uze doprov azet sestava pomocn ych (sekund arnch) dat rescch napr. indexovan y prstup k z aznam um manipulacn jednotky jsou z aznamy, soubory, b aze dat, adres are,... fyzick y pohled na soubor (pohled OS) { co a jak je ve skutecnosti ulozen e na disku implementace logick e struktury na konkr etn e pouzit e zarzen manipulacn jednotky (na disku) jsou bloky, stopy, v alce, svazky,... Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 16

18 Soubory a vnejs pameti soubory se dlouhodob e uchov avaj v energeticky nez avisl ych vn ejsch pam etch spr avu dat na vn ejsch pam etech zajist'uje souc ast operacnho syst emu zvan a syst em soubor u, file system pro aplikacn manipulace s daty mus b yt soubory predevsm prstupn e jako celky { to res adres arov e sluzby syst em u soubor u { jsou implementovan e jako sluzby operacnho syst emu pro aplikacn manipulace s daty mus b yt rovn ez (efektivn e) prstupn e z aznamy soubor u { to res souborov e organizace { typicky jsou implementovan e jako knihovn sluzby vyuzvajc b azov e sluzby poskytovan e OS Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 17

19 Soubory a vnejs pameti z aznamy se zobrazuj do blok u/alokacnch blok u/fyzick ych str anek/sektor u/... blok vn ejs pam eti m uze obsahovat { pr ave jeden z aznam, { vce z aznam u, { prp. z aznam m uze b yt uchov avan y ve vce blocch Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 18

20 Syst em soubor u, File System sestava sluzeb pro manipulaci se soubory poskytovan e operacnm syst emem prpadn e syst emov ymi programy Syst em soubor u mus (typick e pozadavky) umoznit uzivatel um/proces um manipulaci s daty na vn ejsch pam etech { kazd y u/p m uze vytv aret/rusit/cst/modikovat/... soubory { kazd y u/p m uze rzen ym zp usobem zprstup novat soubory jin ych u/p { kazd y u/p m uze rdit povolen e prstupy k jeho soubor um { kazd y u/p m uze restrukturalizovat sv e soubory, presunovat mezi nimi data,... { kazd y u/p m uze sv a data z alohovat a obnovovat po poruse { kazd y u/p m uze identikovat sv e soubory sv ymi symbolick ymi jm eny zajist'ovat, ze data v souborech jsou validn, eliminovat ztr atu dat optimalizovat v ykon sluzeb z hlediska jak syst emu tak i aplikac podporovat na r uzn ych typech zarzen denovan e API umoznit soub eznou cinnost vce uzivatel u / aplikac Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 19

21 Prehled b azov ych probl em u souborov ych struktur cl n avrhu souborov ych struktur minimalizace doby prstupu do sekund arn pam eti (disk), tj. minimalizace poctu prstup u na disk { ide alem je 1 prstup / 1 operaci se z aznamem { clem je seskupen informac takov ym zp usobem, ze bude pravd epodobn e, ze zsk ame vse co potrebujeme jedin ym nebo n ekolika m alo mstn e lokalizovan ymi prstupy na disk bez ohledu na rozsah, velikost souboru Statick e dynamick e soubory cl n avrhu souborov ych struktur je relativn e snadno dosaziteln y, pokud soubory jsou statick e, nemen sv uj obsah dosazen cle n avrhu souborov ych struktur je podstatn e obtzn ejs, pokud jsou soubory dynamick e, tj. { doch az k dopl nov an, modikaci a odstra nov an dat (z aznam u) v souboru Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 20

22 Co vlastn e soubor obsahuje? v tomto predmetu studovan y probl em { jak jsou data organizovan a? popis atribut u / struktury je ulozen obvykle v adres arov e polozce denujc existenci souboru v tomto predmetu nestudovan y probl em { co soubor vlastne obsahuje? popis dat { { implicitn { predpokl ad a se, ze aplikace/uzivatel data zn a { metadata { uveden a typicky v z ahlav souboru, { casto pro danou trdu aplikac standardizovan a, { techniky: klcov a slova, prznaky,... { napr. TIFF, Tagged Image File Format tag (etiketa, visacka), popisuje obsah souboru, organizaci dat v souboru, pouzit y zp usob komprese... Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 21

23 Zprstup nov an dat organizovan ych v souborech pravek (50. { 60. l eta XX. stolet) soubory na p ask ach pouze sekvencn prstup k z aznam um souboru cena prstupu byla line arne z avisl a na rozmeru souboru Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 22

24 Zprstup nov an dat organizovan ych v souborech Objev disk u (60. { 70. l eta XX. stolet) moznost nesekvencnho, prm eho prstupu k z aznam um souboru Zprstup novan y z aznam je determinovan y klcem, sestavou hodnot jeho atribut u vybran ych pro jeho specikaci prm y prstup algoritmick ym v ypoctem { hasov anm : adresa-záznamu-v-paměti-souboru = F (hodnota-klíče) prm y prstup pomoc index u tvoren ych dvojicemi {hodnota-klíče, adresa-záznamu-v-paměti-souboru} { p uvodne ukl adan ych do sekvencne proch azen ych struktur (tabulek) { posl eze objev pouzitelnosti stromu pro implementaci indexu moznost zm eny omezen doby hled an z aznamu line arn funkc na omezen logaritmickou funkc poctu z aznam u v souboru Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 23

25 Zprstup nov an dat organizovan ych v souborech Objev pouzitelnosti (vyhled avacho) stromu pro implementaci indexu rozs ahl e indexy ulozen e v sekvencn e organizovan ych struktur ach se prohled avaj sekvencn e { tj. dlouho, neefektivn e jiz v 60.letech XX. stolet se objevila idea manipulovat s indexy pomoc stromov ych struktur dobr a myslenka m ela ale nedostatky: { stromy mohou pri prid av an a rusen z aznam u do/v souboru r ust velmi nevyv azene { pro operaci nalezen z aznam u je pak potreba mnoho prstup u na disk a hled an pak trv a ne umerne dlouho Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 24

26 Zprstup nov an dat organizovan ych v souborech Resen: necht' operace insert a delete z aznam do souboru automaticky udrzuj vyv azenost vyhled avacho stromu B stromy, Bayerovy stromy 70. l eta XX. stolet, dodnes hodn e pouzvan a technika z avislost doby prstupu je O(log k N), N { pocet z aznam u v souboru, k arita uzlu B-stromu lze nal ezt 1 z aznam mezi miliony z aznam u 3 az 4 prstupy na disk B-strom roste zdola nahoru { jednoduss reorganizace pri vyvazov an stromu snzen slozitosti vyrovn av an stromu za cenu n ar ustu pam et'ov e slozitosti B+ stromy varianta B strom u umoz nujc prm y prstup kombinovat se sekvencnm prstupem Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 25

27 Zprstup nov an dat organizovan ych v souborech (statick e) hasov an velmi star a technika zn am a od dob n avrhu prvnch prekladac u (ty ale resily hasov an v RAM pameti { pr ace s tabulkou identik ator u) omezen na 3 { 4 prstupy na disk / 1 operaci je dobr y v ysledek clem je vsak 1 prstup na disk / 1 operaci tento cl lze pomoc hasov an dos ahnout relativn e snadno pro statick e, tj.,,t em er xn"soubory dynamick e hasov an technika z konce 80. a 90. let XX. stolet zarucuje 1 { 2 prstupy na disk / 1 operaci bez ohledu na to, jak se men pocet z aznam u v souboru Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 26

28 Z aznamy pevn e / promenn e d elky metody vycle nov an z aznam u v souboru / polozek v z aznamu implicitn (xn) d elka z aznam u { neuv adej se oddelovace z aznam u variabiln d elka z aznamu se vyjadruje: { explicitn e, hodnotou udanou napr. na poc atku z aznamu, { oddelovacem na konci z aznamu, { ukazatelem na z aznam v prim arnho souboru s aplikacnmi daty ulozen ym v nejak em sekund arnm souboru (v indexu) xn struktura polozek { neuv ad ej se odd elovace polozek v z aznamu variabiln d elka polozky se vyjadruje: { explicitn e, hodnotou udanou napr. na poc atku polozky, { odd elovacem na konci polozky, pr ace s promenn ymi d elkami zvysuje pamet'ovou n arocnost Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 27

29 Z aznamy pevn e / promenn e d elky Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 28

30 Proc se pouzv a promenn a d elka z aznam u? obsahuj polozky prom enn e d elky napr. texty typu P RIJMENI, BYDLIST E,... nekter a polozka se v jednom z aznamu vcekr at opakuje z aznam obsahuje seznam hodnot nekter a polozka v z aznamu je deklarovan a jako voliteln a Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 29

31 Terminologick e pozn amky z aznam = kolekce atribut u (polozek) charakterizujcch jist y objekt logick y z aznam { kolekce hodnot atribut u vytv arejcch z aznam fyzick y z aznam { m a d elku R kolekce hodnot atribut u vytv arejcch z aznam (tj. logick y z aznam) + denice d elek atribut u, oddelovace atribut u,... Denice d elek atribut u konstantn d elka { ta b yv a implicitn, dan a typem, deklarac,... promenn a d elka { { nedenovan a d elka, d elka je vymezen a oddelovacem { denovan a d elka, vyjadrovan e explicitn e (poctem bit u/pocet byt u) pamet'ov y prostor pro zobrazen z aznamu ve vnejs pameti { blok pamet'ov y prostor pro zobrazen atributu ve vnejs pameti { pole Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 30

32 Blokov an z aznam u Z aznam { manipulacn jednotka dat z pohledu aplikace pracujc se soubory strukturovan ymi do z aznam u Blok { manipulacn jednotka dat z pohledu I/O se sekund arn pam et blok vnejs pameti nebo tak e fyzick a str anka vnejs pameti samostatn e manipulovateln a, resp. adresovateln a datov a jednotka je predmetem I/O prenos u podporovan ych OS a prov aden ych jako celek, m a d elku B jeden nebo vce sektor u na disku, blok na magnetick e p asce,... na disku vesmes pevn e d elky prenos do hlavn pam eti typicky pomoc DMA v ets bloky urychluj I/O prenosy, spr avu vyr. pam et cin slozit ejs Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 31

33 Blokov an z aznam u, Vztah z aznam { blok neblokovan y z aznam { clem je 1 IO operace / 1 z aznam { blok obsahuje pr ave jeden (fyzick y) z aznam blokovan e z aznamy - blok obsahuje/,,blokuje"celistv y pocet z aznam u, blokovac faktor b = B/R, kde R je d elka z aznamu a ξ znac nejvyss cel e cslo ξ { clem je efektivita vyuzv an pam et'ov eho prostoru preklenovan e (separovan e) z aznamy fyzick e z aznamy jsou zapisovan e do blok u bez ohledu na hranice blok u ve vnejs pameti cast e resen pro soubory se z aznamy promenn e d elky, napr. zdrojov e textov e soubory,... Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 32

34 Blokov an z aznam u Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 33

35 Soubor, homogenn soubor, nehomogenn soubor soubor { identikovateln a kolekce logicky souvisejcch z aznam u v souboru mohou b yt i totozn e z aznamy homogenn soubor hodnoty atribut u jeho z aznam u jsou primitivn (nestrukturovan e) typy je deklarovateln y formou S(A 1 : D 1,..., A n : D n ), (jméno-atributu:doména-hodnot) tj. obsahuje z aznamy jednoho typu nehomogenn soubor hodnoty atribut u jeho z aznam u nejsou primitivn typy nebo z aznamy nejsou jednoho typu nehomogenn soubory jsou predm etem studia v PV062 okrajov e Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 34

36 Klc klc, key { c ast z aznamu, atribut(y), identikujc z aznam kdyz hled ame konkr etn z aznam, mnohdy identikujeme hledan y z aznam jeho obsahem nikoli poradm v souboru klc souboru, k j, je mnozina atribut u A j1,... A jm, m je pocet atribut u zahrnut ych do klce k j, m n, n je pocet atribut u z aznamu hodnotov y klc { nab yv a hodnoty z dom en atribut u hasovan y klc { algoritmick a transformace hodnotov eho klce relativn klc { zvl astn typ klce ud avajc pozici z aznamu vzhledem k poc atku souboru Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 35

37 Prim arn x sekund arn lc prim arn klc identikuje z aznam jedinecn e pokud se jako prim arn klc vol jeden klc z mnoziny klc u souboru, mus jeho atributy sv ymi hodnotami identikovat jednotliv e z aznamy jednoznacn e { soubor mus b yt mnozina v ide alnm prpad e, by prim arn klc nem el obsahovat aplikacne z avisl a data { mel by b yt tzv. dataless key sekund arn klc, resp. vyhled avac klc nebo tak e pomocn y klc jeden klc z mnoziny vsech denovan ych klc u souboru sekund arn klc nemus z aznam identikovat jednoznacn e Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 36

38 Operace se souborem Soubor ch apan y jako abstraktn datov y typ, ADT konstruktory / destruktor { vytvoren / zrusen souboru CREATE, BUILD, REMOVE modik atory { aktualizace souboru vlozen z aznamu { INSERT, (PUT) rusen z aznamu { DELETE modikace polozek z aznamu { UPDATE, (WRITE), (MODIFY) inspektory { zsk an z aznamu ze souboru ze souboru do vnitrn pam eti { READ, (FETCH), (GET) dotaz { QUERY, (FIND) generov an zpr avy { LIST udrzba souboru restrukturalizace, reorganizace { REORGANIZATION, OPEN, CLOSE Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 37

39 Dotaz nad souborem Prstupn en jist eho z aznamu souboru se res dotazem typu "kde se nach az z aznam udan y v yctem hodnot atribut u nebo poradm v souboru...?\ pro efektivn resen dotaz u nad soubory a modikac soubor u se soubory dopl nuj { indexy, resp. indexov ymi strukturami, nebo { algoritmick ymi postupy (hasov anm), umoz nujcmi efektivn resen dotaz u nad soubory a/nebo navazujcch modikac soubor u Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 38

40 Dotaz nad souborem tot aln vycsliteln a funkce denovan a na universu souboru prklad: odpověd = FETCH (soubor, klíč) odpoved' = z aznam nebo kolekce z aznam u jednorozm ern y dotaz jednoatributov y klc Trdy vcerozm ern ych (ortogonálních) dotaz u na uplnou shodu { zad ano vsech n atribut u na c astecnou shodu { zad ano s n atribut u na uplnou intervalovou shodu { zad ano vsech n atribut u { pro kazd y atribut je d an interval mozn ych hodnot na c astecnou intervalovou shodu { zad ano s n atribut u { pro kazd y atribut je d an interval mozn ych hodnot Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 39

41 Model, sch ema souborov e organizace Souborov a organizace Cíl { umoznit optim aln e resit operace nad z aznamy souboru nez avisle na konkr etnm fyzick em zarzen vn ejs pam eti zprstup novat z aznamy co nejrychleji snadno a rychle vkl adat, modikovat a rusit z aznamy bez narusen ostatnch z aznam u zabr anit vzniku duplik at u pri vkl ad an, modikaci a/nebo rusen z aznam u z aznamy ukl adat s minim aln moznou pam et'ovou slozitost Hierarchick a abstrakce souborov e organizace ve 3 urovnch Logick e sch ema Fyzick e sch ema Implementacn sch ema Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 40

42 Model, sch ema souborov e organizace Logick e sch ema ex. hypotetick a logick a pam et' se strukturou optimalizovanou tak, aby umoznila efektivn resen operac nad z aznamy logick a pamet' se clen na logick e str anky, LS, ty mohou b yt uspor adan e sekvencne, hierarchicky,... logick a pam et' obsahuje { jednak prim arn soubor { aplikacn data { jednak sekund arn (pomocn e) soubory { indexy, rejstrky,... z aznamy prim arnho souboru i sekund arnch soubor u mohou b yt v logick ych str ank ach blokovan e (vce z aznam u v jedn e LS) { blokovac faktor, resp. faktor napln en (logick e) str anky: λ = skutecn y pocet z aznam u v LS / mozn y pocet z aznam u v LS Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 41

43 Model, sch emata souborov e organizace Logick e sch ema, pokracov an cíl { poskytnout takovou pam et'ovou strukturu, kter a umozn minimalizovat pocet operac prov ad en ych pri manipulacch (insert, delete, search,... ) se z aznamy souboru umsten ymi v logick ych str ank ach jedn a se o popis na urovni typ u { { vztahy mezi logick ymi str ankami r uzn ych typ u { vnitrn struktury logick ych str anek r uzn ych typ u { algoritmy operac s logick ymi str ankami pri zprstup nov an dat a pri udrzb e jejich struktury, { operace s logick ymi str ankami { stepen str anek, sl ev an str anek { stanoven mez faktoru naplnen logick ych str anek,... Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 42

44 Logick e sch ema souborov e organizace Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 43

45 Fyzick e sch ema Fyzick e sch ema souborov e organizace zobrazen logick ych str anek do fyzick ych str anek (blok u) konkr etnho, pouzit eho typu vn ejs pam eti Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 44

46 Logick e a fyzick e sch ema souborov e organizace Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 45

47 Implementacn sch ema souborov e organizace Implementacn sch ema rozmst en, alokace fyzick ych str anek v pouzit em zarzen u klasick ych organizac soubor u implementovan ych na sdlen ych discch standardn e res OS nez avisle na aplikacch aplikace res ve v yjimecn ych prpadech na dedikovan ych discch slozitost sch ematu souborov e organizace prostorov a { potrebn y objem fyzick ych str anek pro zobrazen soubor u casov a { pocet V/V operac s fyzick ymi str ankami pro jednotliv e operace s logick ymi str ankami { pocet nactan ych fyzick ych str anek (do RAM) { pocet zapisovan ych fyzick ych str anek (do zarzen) Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 46

48 Model, sch emata souborov e organizace Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 47

49 Model, sch emata souborov e organizace Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 48

50 Typy souboru 2 typy souboru { podle obsa zenych dat v souboru X numericka, textova, binarn,... data X program (binarn data),... 2 Obvykle typy souboru (typ lze mnohdy zahrnout jako p r ponu za,,." ke jmenu) Jan Staudek, FI MU Brno PV 062, Souborove systemy { organizace 49

51 Typy soubor u typy se typicky deklaruj prponou odd elenou teckou od jm ena (.txt,.xls,.doc,...,.exe,... ) udrzuj se takto textov e, bin arn,... soubory, soubory konkr etnch aplikac (Excel, Word,... ) S typem souboru m uze b yt sv azan y relevantn program, kter y data v souboru zpracov av a vesmes kazd y OS denuje, rozpozn av a soubory s interpretovateln ym programem (executable file format) rozpozn av an typu souboru na z aklad e uveden prpony nemus nutn e podporovat OS, m uze se jm rdit az aplikace Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 50

52 Struktura (organizace) souboru struktura (organizace) souboru m uze b yt relativne voln a { textov a data v r adcch, posloupnosti byt u,... rigidne form atovan a { z aznamy, indexy z aznam u,... voln e souborov e organizace vesm es sekvencn e uchov avan e { r adky textu { strukturovan e z aznamy (,,tabulky") pevn e d elky { strukturovan e z aznamy promenn e d elky komplexn (az rigidn) souborov e organizace dosahuje se vkl ad anm vhodn ych rdicch struktur a/nebo poskytnutm komplexnch prstupov ych funkc form atovan e dokumenty Relocatable load files soubory s indexy na b azi B + strom u, s hasovan ymi indexy,... Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 51

53 Struktura soubor u, pohled OS posloupnost bajt u nestrukturovan y soubor spr ava soubor u v OS velmi jednoduch a aplikace mohou vnutit sv e vlastn struktury uplat nuje UNIX, Windows, v etsina soudob ych OS Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 52

54 Struktura soubor u, pohled OS posloupnost z aznam u z aznam = kolekce pol bajt u zpracov avan a jako aplikacn jednotka soubor = kolekce z aznam u syst em soubor u poskytuje operace pro pr aci se z aznamy (read, write) OS m uze operace se z aznamy optimalizovat (houpackov e vyrovn av an,... ) Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 53

55 Struktura soubor u, pohled OS strom z aznam u typicky struktura podporujc vyhled av an z aznamu v souboru vyhled av an z aznam u je zalozeno na koncepci klc u, denovan ych polozek z aznam u, a vyhled avacch strom u Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 54

56 Souborov e organizace Logick e strukturov an z aznam u v souboru vynucen e zp usobem, kter ym se k z aznam um pristupuje Volbu souborov e organizace vhodn e pro danou aplikaci mohou ovliv novat krit eria: minimalizace doby prstupu jednoduchost aktualizace minimalizace pam et'ov e slozitosti jednoduchost udrzby spolehlivost V yznamnost krit eri vymezuje aplikace pri d avkov em zprstup nov an vsech z aznam u v souboru nehraje roli minimalizace doby prstupu k jednotliv ym z aznam um pro soubor na CD-ROM nehraje roli jednoduchost aktualizace Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 55

57 Souborov e organizace Nekter a krit eria mohou b yt protich udn a minimalizace pam et'ov e slozitosti minimalizace redundance minimalizace doby prstupu { napr. duplikac dat, zv ysen redundance Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 56

58 Souborov e organizace Jde o uspor ad an z aznam u v souboru s clem optim alnho zprstupn en z aznamu pro aplikaci (at' se z aznam zprstupn tak rychle, jak je to jen mozn e) vkl adac, modikacn a rusc transakce na z aznamech maj b yt rychl e, jednoduch e a nesm porusit ostatn z aznamy vkl adac, modikacn a rusc transakce na z aznamech nesm zp usobit vznik duplicitnch z aznam u z aznamy maj b yt ulozeny efektivn e, tak aby cena potrebn e pameti byla minim aln Metod organizace je vce, jist e metody jsou vhodn e pro jist y zp usob zprstup nov an z aznam u Designer aplikace obvykle vol vhodnou metodu organizace Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 57

59 Souborov e organizace, prstupov e metody Sekvencn prstup sekvencn cten z aznamu po z aznamu, typicky od poc atku souboru nelze,,sk akat"po souboru, lze prejt jen na zac atek nebo dals z aznam vyhovujc organizace v dob ach, kdy jedin ym m ediem byla mg p aska, dodnes nepominuteln a organizace pro radu aplikac (kompilace,... ) pr. operac: read next, write next, reset nebo rewind Prm y prstup,,,libovoln y"(random) prstup z aznamy lze zprstup novat v libovoln em porad, identikace z aznam u b yv a zalozena na obsahu z aznamu v yznamn a organizace pro DBS Ostatn organizace lze budovat nad t emito dvema b azov ymi metodami Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 58

60 Klasikace souborov ych organizac Souborov a organizace vymezuje pouzitou prstupovou metodu podporovanou sluzbou syst emu soubor u Souborov a organizace se sekvencnm prstupem k z aznam um aplikovateln a na p asce, na disku slozitost dotazu { prstupu k z aznamu s udan ym klcem { je line arn, O(N), slozitost dotazu { prstupu k z aznamu s udan ym klcem { v prpad e pouzit bin arnho hled an v setrd en em souboru podle vyhled avacho klce, je logaritmick a, O(log 2 N) Souborov a organizace s prm ym prstupem k z aznam um aplikovateln a na disku urcen msta se z aznamem lze dos ahnout pomoc indexu urcen msta se z aznamem lze dos ahnout pomoc hasov an Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 59

61 Souborov a organizace s prm ym prstupem k z aznam um s urcenm msta se z aznamem pomoc indexu index { sekvencn struktura uspor ad an ukazatel u na z aznamy { tabulka/pole/seznam dvojic {klíč, ukazatel na záznam}) { slozitost pr uchodu takov ym indexem je line arn az logaritmick a (pri pouzit bin arnho hled an v setrd en em indexu podle klc u) index { stromov a struktura uspor ad an ukazatel u na z aznamy { vyv azen e (balanced) stromy, B stromy / B+ stromy, { slozitost log k N, k >> 2, i pro dynamick e soubory, { B stromy { bez moznosti sekvencnho prstupu { B+ stromy { s moznost trd en eho sekvencnho prstupu s urcenm msta se z aznamem pomoc hasov an algoritmick ym odvozenm ukazatele z aznamu z hodnoty klce konstantn slozitost Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 60

62 Souborov e organizace Forem souborov ych organizac soubor u je vce, z akladnch typ u je pet hromada (pile, heap), z aznam m uze b yt umsten kdekoli v pameti vyhrazen e souboru, kde je msto sekvencn soubor (sequential file), z aznamy se ukl adaj do souboru v sekvencnm porad, prp. v porad podle hodnoty vyhled avacho klce kazd eho z aznamu indexovan y sekvencn soubor (index-sequential file) uspor adan y sekvencn soubor dopln en y pro vyhled av an indexem indexovan y soubor (indexed file) soubor dopln en y vce indexy hasovan y soubor (hashed file), resp. soubor s prm ym prstupem (random access file) urcen, ve kter em mste v pameti souboru m a b yt z aznam umsten, determinuje hashovac funkce vypocten a na z klce Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 61

63 Prklady struktur organizac souboru Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 62

64 Prklady struktur organizac souboru Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 63

65 Hromada Data se shromazd'uj v porad vlozen do souboru, bez jak ekoliv vnitrn strukturalizace uspor ad an Clem je zkumulovat spoustu dat a a ulozit je Z aznam m a formu d avky dat Z aznam m uze mt vce pol odlisn e d elky a i typu, pole mus b yt samoidentikovateln e (jm eno + hodnota) pole mus b yt oddelena separ atory nebo ud av anm d elky Prstup k z aznam um { sekvencn hled an Aplikacn vyuzitelnost je mal a masa dat se typicky shrom azd a uloz pred zpracov anm data se obvykle siln e lis rozm erem a strukturou Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 64

66 Hromada nehomogenn soubor m uze obsahovat z aznamy prom enn e struktury uv ad se i jm ena atribut u jako klcov a slova, napr. v ypis 3 variant obed u z jdelnho lstku: POLEVKA=mil ansk a; HLAVNI=stroganov; NAPOJ=pivo HLAVNI=halusky; NAPOJ=ml eko NAPOJ=gin sekvencn ukl ad an z aznam u ve vymezen em prostoru levn a, jednoduch a metoda pro masvn vkl ad an mal ych z aznam u do mal ych soubor u slozitost vyhled an z aznamu, O(N) nehomogennmi soubory se d ale zab yv ame okrajov e Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 65

67 Sekvencn soubor z aznamy maj z hlediska skladby z pol pevn y form at skladba pol v z aznamu je zn am a a priori jm ena a obory hodnot pol se oznacuj jako vlastnosti (z aznamu) vlastnosti pouzit e pro vyhled an z aznamu se oznacuj pojmem klc pole obsahujc hodnoty, podle kter ych se z aznamy vyhled avaj, klce, jsou klcov a pole vyhled an z aznamu se standardn e d el a sekvencnm prohlzenm, z aznamy se vkl adaj sekvencn e Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 66

68 Soubor se sekvencnm prstupem, sekvencn soubor sekvencn soubor je optim aln organizace pro d avkov e zpracov an vsech z aznam u v souboru sekvencn soubor lze uchov avat v setrd en em uspor ad an podle klce, coz zvysuje rezii vkl ad an a rusen z aznam u a prohlzet ho bin arnm hled anm Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 67

69 Soubor se sekvencnm prstupem, sekvencn soubor Simulace sekvencnho prstupu na souboru s prm ym prstupem cp { current position, poradov e cslo z aznamu Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 68

70 Indexovan y sekvencn soubor Z aznamy sekvencnho souboru jsou uspor adan e podle klce Soubor je doplnen y o index vymezujc skupiny z aznam u s hodnotou klce z udan eho intervalu pretokovou oblast pro z aznamy doplnen e do souboru po setrden Indexy mohou b yt hierarchick e index s am je sekvencn soubor (dvojic hodnota, ukazatel) k indexu lze vypracovat index (index vyss urovn e) Optimalizuje se cas prstupu k z aznamu sekvencn e se prohlz oblast souboru vymezen a indexem, nikoli soubor cel y Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 69

71 Indexovan y soubor z aznamy maj z hlediska skladby atribut u pevn y form at skladba atribut u z aznamu je zn am a a priori z aznamy se shromazd'uj v porad vkl ad an do souboru soubor nen uspor adan y, predpokl ad a se hled an podle vce klc u Soubor je doplnen y o indexy, jeden pro kazd y typ dotazu z aznamy se zprstup nuj pouze pres indexy Optim aln organizace pro aplikace s kritick ym faktorem doba prstupu, z aznamy se zprstup nuj jeden po druh em Index m uze mt line arn (tabulkovou) strukturu Index m uze mt hierarchickou strukturu, napr. B-strom Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 70

72 Indexov an z aznam u souboru, prklad Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 71

73 Hasovan y soubor, soubor s prm ym prstupem z aznamy maj z hlediska skladby atribut u pevn y form at skladba atribut u z aznamu je zn am a a priori lokalizace hledan eho z aznamu se odvod algoritmicky, hasovac funkc se vstupnm parametrem { vyhled avac klc soubor nen uspor adan y, optim aln organizace pro aplikace s kritick ym faktorem doba prstupu z aznamy se zprstup nuj jeden po druh em v porad dan em aplikac Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 72

74 Charakteristick e vlastnosti organizac souboru Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 73

75 Kdy pouzt / nepouzt tu kterou organizaci souboru Hromada a neuspor adan y sekvencn soubor kdy je vhodnou/moznou organizac { d avkov y / hromadn y vstup / v ystup dat (po vstupu dat, lze soubor pro dals zpracov an preorganizovat) { dat je m alo, sekvencn prohlzen nezdrzuje { pr kazd em vstupu do souboru se pracuje se vsemi z aznamy { zprstup nov an z aznam u se d eje jinou superponovanou metodou napr. indexac kdy je nevhodnou organizac { zprstup nuj se pouze jednotliv e konkr etn z aznamy souboru Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 74

76 Kdy pouzt / nepouzt tu kterou organizaci souboru Hasovan y soubor, soubor s prm ym prstupem kdy je vhodnou/moznou organizac { z aznamy se zprstup nuj individu aln e podle klce zejm ena pokud se tak deje v n ahodn em porad kdy je nevhodnou organizac { hasovan y atribut casto m en hodnotu (relevantn z aznam vzdy men svoji pozici v pameti) { z aznam se zprstup nuje pouze podle nekter ych z mnoziny atribut u pouzit e pro specikaci lokality hasovac funkc (hledat se v takov em prpad e mus sekvencnm hled anm) { z aznam se zprstup nuje podle atributu nepatrcho do mnoziny atribut u pouzit e pro specikaci lokality hasovac funkc (hledat se v takov em prpad e mus sekvencnm hled anm nebo superponovanou indexac) { dotazy jsou veden e na intervalovou shodu { zsk an z aznam u je veden e shodou (c asti) klce se vzorem Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 75

77 Kdy pouzt / nepouzt tu kterou organizaci souboru Indexovan y sekvencn soubor, findexed Sequential Access Method (ISAM) ISAM je pruzn ejs organizac nez hasov an kdy je vhodnou/moznou organizac { podporuje zsk av an z aznam u na b azi dotaz u podle hodnoty klce, na interval hodnot klce, podle vzoru i podle specikace c asti klce { index je t emer statick y, vytvoren y pri vytvoren souboru { podporuje rovnez d avkov y v ystup dat v porad uspor ad an dle klce kdy je nevhodnou organizac { index je dynamick y, dky vkl ad an a rusen z aznam u { aplikace je v provozu 24x7 a soubor je dynamick y { z aznam se zprstup nuje podle atributu nepatrcho do mnoziny atribut u pouzit e pro specikaci porad (hledat se v takov em prpad e mus sekvencnm hled anm nebo superponovanou indexac) Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 76

78 Kdy pouzt / nepouzt tu kterou organizaci souboru B+ strom B+ strom je pruzn ejs organizac nez hasov an kdy je vhodnou/moznou organizac { podporuje zsk av an z aznam u na b azi dotaz u podle hodnoty klce, na interval hodnot klce, podle vzoru i podle specikace c asti klce podpooruje pr aci s dynamicky menen ymi soubory kdy je nevhodnou organizac { pro statick e soubory, proti ISAM je index o jednu urove n vyss, v listech se nach azej ukazatel e z aznam u, nikoli z aznamy Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 77

79 Pozn amky k pr aci se z aznamy, dodatek predn asky Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 78

80 { ulozen z aznamu i Z aznam i se uloz pocnaje bytem n (i 1), kde n je rozmer z aznamu { prstup k z aznam um po kroku n, trivi aln operace, pokud hranice z aznam u sleduj hranice blok u { rusen z aznamu i, alternativy: Operace se z aznamy pevn e d elky a) presun z aznam u i + 1,..., m do mst i,..., m 1 b) presun z aznamu m do msta i c) nic se nepresouv a, voln a msta se retez do seznamu voln ych mst Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 79

81 Z aznamy pevn e d elky, retezen z aznam u rusen z aznamu { pouzit seznamu voln ych mst Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 80

82 Z aznamy promenn e d elky prklad reprezentace z aznam u prom enn e d elky v souboru se z aznamy s n asobne opakovan ymi polozkami na konci kazd eho z aznamu se uvede oddelovac (rdic znak, jedinecn y bitov y vzorek,... ) End-Of-Record ( ) obtzn e rusen a dopl nov an z aznam u Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 81

83 Z aznamy promenn e d elky reprezentace z aznam u promenn e d elky kapsou z aznam u v bloku (slotted page, slotted block) blok = záhlaví, volné místo, záznamy z ahlav = počet záznamů v kapse, ukazatel na konec volného místa, ukazatel a délka každého záznamu voln e msto se udrzuje souvisl e ukazatele v adres ari neukazuj prmo na z aznam, ukazuj na ukazatel z aznamu v z ahlav kapsy Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 82

84 Z aznamy promenn e d elky reprezentace z aznam u promenn e d elky pomoc rezervovan eho prostoru modul = prostor pro z aznam se zn amou maxim aln d elkou nevyuzit y prostor lze vyplnit symbolem null nebo End-Of-Record Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 83

85 Z aznamy promenn e d elky reprezentace z aznam u promenn e d elky pomoc ukazatel u z aznam promenn e d elky je reprezentov an seznamem generick ych z aznam u pevn e d elky retezen ych ukazateli v yhoda { pouziteln e i pri neznalosti maxim aln d elky z aznamu Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 84

86 Z aznamy promenn e d elky nedostatek pouzit ukazatel u v predchozm prkladu uchov avaj se pr azdn e, nevyuziteln e prostory resen { 2 typy blok u, kotva, anchor { obsahuje 1. z aznamy retezc u, pretoky, overflow { obsahuje ostatn z aznamy ret ezc u Jan Staudek, FI MU Brno PV 062, Souborov e syst emy { organizace 85