Soubor, souborov e organizace

Transkript

1 Osnova predn asky Soubor, souborov e organizace PV 06 Organizace soubor u Pojem souboru Model, sch ema organizace soubor u Dotaz nad souborem Klasikace souborov ych organizac Jan Staudek Ð Û Å«Æ ±²³ µ ¹º»¼½¾ Ý Verze : jaro 017 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 1 Soubor { pojem, imaginace Pro dlouhodob e a na energii nez avisl e uchov av an dat v poctaci slouz pam et'ov e zarzen typu vnejs (sekund arn, terci arn) pamet' (disk, p aska,... ) Data ulozen a na vn ejsch pam etech jsou reprezentac jedn e ze trd zdroj u tvorcch v ypocetn syst em kter y res aplikacn ulohy Abstrakce zdroj u srozumiteln e aplikacm a sluzby pro manipulaci a zprstup nov an t echto zdroj u poskytuje sv ymi funkcemi operacn syst em z akladn n astroj dostupn y aplikacnm uloh am pro poskytov an informacnch sluzeb pro dlouhodob e uchov av an a zprstup nov an dat na vnejsch pametech { datab aze Soubor { pojem, imaginace datab aze = kolekce souvisejcch dat Vztahy mezi elementy dat v datab azi jsou explicitn Datab aze je navrhovan a pro pouzit aplikacnmy syst emy Datab aze se v poctaci (na vnejsch pametech) uchov avaj jako kolekce pojmenovan ych mnozin dat { soubor u, (file). Soubor je dominantn datovou jednotkou na vnejsch pameti z pohledu aplikac, je pojmenovanou kolekc dat ulozenou na vnejs pameti. Soubory b yvaj vnitrne strukturov any na { z aznamy, records, z aznamy b yvaj vnitrne strukturov any na vlastnosti (atributy, polozky), attributes Datab aze b yv a spravovan a syst emem rzen b aze dat, kter y je obvykle nez avisl y na operacnm syst emu, m uze vsak vyuzvat radu sluzeb poskytovan ych souc ast OS { syst emem soubor u Syst em rzen b aze dat b yv a souc ast middleware { funkcn vrstvy mezi operacnm syst emem a aplikacnmi syst emy Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 3

2 Datab aze, soubor, z aznam, polozka (atribut) Datab aze, soubor, z aznam, polozka (atribut) z akladn prvkem dat je pole, field, resp. polozka (item), resp. atribut, vlastnost (attribute) s kazd ym atributem souvis datov y typ urcujc obor mozn ych hodnot atributu a mnozinu operac nad nimi datov e typy atribut u jsou obvykle standardn datov e typy pouzvan e pri programov an integer, long integer, oating point, Boolean (0/1 nebo TRUE/FALSE), retez znak u (pevn e ci promenn e d elky), speci alne k odovan e datum a cas,... atribut m uze mt xn d elku nebo promennou d elku (ta pak mus b yt explicitne udan a nebo vyznacen a denovan ym oddelovacem) atribut m uze b yt pojmenovan y atribut m uze b yt nepojmenovan y, identikovateln y sv ym umstenm v z aznamu Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 4 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 5 Datab aze, soubor, z aznam, polozka (atribut) datov a jednotka reprezentujc objekt zpracov avan y aplikac (osoba, mstnost, predmet,... ) je z aznam (redord) z aznam tvor kolekce polozek (atribut u) se kterou aplikacn syst em pracuje jako s jednotkou dat z aznamy jsou tudz chrakterizovateln e sv ymi vlastnostmi, atributy implementacne jsou z aznamy tvoreny posloupnostmi polozek obsahujcch hodnoty atribut u kolekce identikac polozek a denic jejich typ u vytv ar denici form atu z aznamu, tj. typ z aznamu z aznamy mohou mt pevnou d elku (a pevnou skladbu polozek) z aznamy mohou mt promennou d elku, pokud obsahuj polozky promenn e d elky nebo pokud maj promennou skladbu polozek (pak polozky mus b yt explicitne pojmenov avan e) a d elka z aznamu b yv a explicitne vyj adrena Datab aze, soubor, z aznam, polozka (atribut) soubor (file) je pojmenovan a kolekce z aznam u formujc n ejakou relaci nebo prostor odpovdajc n ejak e trd e soubor je kolekc podobn ych, souvisejcch z aznam u neform alne { soubor je kolekc dat umsten ych na energeticky nez avisl e pameti (disku, p asce, SSD,... ) soubor m uze b yt manipulacn jednotkou stejne jako z aznam (atributy b yvaj manipulacn jednotkou pouze na urovni aplikace, prpadne lze pomoc hodnot atribut u vyhled avat z aznamy v souboru, resp. z aznamy v souboru uspor ad avat podle hodnot atribut u) soubory s jednotnou, deklarovatelnou strukturou z aznam u naz yv ame homogenn soubory Soubory, kter e nejsou homogenn, obsahuj z aznamy promenn eho, nejednotn eho, nedeklarovateln eho typu Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 6 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 7

3 Soubor, syst em soubor u { pojem, imaginace Koncept souboru je velmi voln y Z pohledu aplikac/uzivatel u je soubor nejmensm prid elovateln ym dlem logick eho prostoru vn ejs pam eti data lze zapsat do vnejs pameti pouze kdyz jsou souc ast nekter eho souboru Soubory mohou obsahovat programy { ve zdrojov ych i clov ych (bin arnch) form ach data { numerick a, alfabetick a, alfanumerick a, obrazov a, video, hudba, fotograe,... Soubory mohou b yt form atov any volne { napr. textov e soubory (znaky, r adky, prp. str anky) prsne, rigidne { soubory s vnucenou vnitrn indexacn strukturou,... Soubor, syst em soubor u { pojem, imaginace Soubory mohou b yt tvoreny posloupnostmi bit u, byt u, r adk u, z aznam u v yznam stavebnch element u denuje tv urce / uzivatel souboru Operacn syst em svoj funkcn souc ast zvanou syst em soubor u poskytuje sluzby operujc se soubory, napr. Create { vytvoren nov eho souboru a jeho umsten ve strukture soubor u Delete { odstranen souboru, resp. c asti souboru (z aznamu) Open { zprstupnen souboru Close { zrusen prstupov e vazby se souborem Read { cten c asti zprstupnen eho souboru (z aznamu) Write { modikace c asti zprstupnen eho souboru (z aznamu) Dir { v ypis seznamu soubor u z adres are syst emu soubor u... Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 8 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 9 Soubor, syst em soubor u { pojem, imaginace existuje rozdl mezi souborem a datovou strukturou v operacn pam eti? ANO: soubory maj b yt uchov avan e dlouhodobe, nez avisle na dod avce energie soubory maj b yt premstiteln e/koprovateln e z msta na jin e msto soubory mohou b yt dostupn e vce proces um a uzivatel um a ti je mohou sdlet doba existence souboru je nez avisl a na dobe existence procesu, kter y jej vytvoril soubory jsou ch apan e casto jako vstupy aplikacnch syst em u... Soubor, syst em soubor u { pojem, imaginace Ctyri pojmy charakterizujc strukturu souboru jsou Pole, Field { element arn datov a jednotka (jm eno, vek,... ) obsahuje jednu hodnotu, m uze mt pevnou nebo promennou d elku Z aznam, Record { strukturovan a jednotka ( udaje o osobe,... ) kolekce pol, aplikacemi povazovan a za jeden strukturovan y celek, m uze mt pevnou nebo promennou d elku a/nebo strukturu Soubor, File { pojmenovan a kolekce prbuzn ych z aznam u (zamestnanci) manipulovateln a jako jednotka, predmet rzen prstupu B aze dat, Database { kolekce vz ajemne explicitne souvisejcch dat, sest avajc z jednoho nebo prpadne i vce soubor u (instituce) Vsechny syst emy soubor u nemus strukturalizaci podporovat b azov y syst em soubor u v unixov ych syst emech ch ape soubor jako posloupnost byt u Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 10 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 11

4 Soubor, syst em soubor u { pojem, imaginace logick y pohled na soubor (pohled program atora){ jak data v souboru vid uzivatel (aplikacn syst em) logickou strukturu vlastnch (prim arnch) dat v souboru m uze doprov azet sestava pomocn ych (sekund arnch) dat rescch napr. indexovan y prstup k z aznam um manipulacn jednotky jsou z aznamy, soubory, b aze dat, adres are,... fyzick y pohled na soubor (pohled OS) { co a jak je ve skutecnosti ulozen e na disku implementace logick e struktury na konkr etne pouzit e zarzen manipulacn jednotky (na disku) jsou bloky, stopy, v alce, svazky,... Soubory a vnejs pameti soubory se dlouhodob e uchov avaj v energeticky nez avisl ych vn ejsch pam etch zobrazuj se do blok u/alokacnch blok u/fyzick ych str anek/sektor u/... blok vnejs pameti m uze obsahovat pr ave jeden z aznam, m uze obsahovat vce z aznam u, prp. z aznam m uze b yt uchov avan y ve vce blocch vnejs pameti pro aplikacn manipulace s daty mus b yt prstupn e soubory jako celky { to res adres arov e sluzby syst em u soubor u { jsou implementovan e vesmes jako sluzby operacnho syst emu pro aplikacn manipulace s daty mus b yt rovnez (efektivne) prstupn e z aznamy soubor u { to res (standardizovan e prp. propriet arn) organizace soubor u { typicky jsou implementovan e jako knihovn sluzby vyuzvajc b azov e sluzby poskytovan e operacnm syst emem Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 1 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 13 Syst em soubor u, File System sestava sluzeb pro manipulaci se soubory poskytovan e operacnm syst emem prpadne syst emov ymi programy Syst em soubor u mus (typick e pozadavky) umoznit uzivatel um/proces um manipulaci s daty na vnejsch pametech { kazd y u/p m uze vytv aret/rusit/cst/modikovat/... soubory { kazd y u/p m uze rzen ym zp usobem zprstup novat soubory jin ych u/p { kazd y u/p m uze rdit povolen e prstupy k jeho soubor um { kazd y u/p m uze restrukturalizovat sv e soubory, presunovat mezi nimi data,... { kazd y u/p m uze sv a data z alohovat a obnovovat po poruse { kazd y u/p m uze identikovat sv e soubory sv ymi symbolick ymi jm eny zajist'ovat, ze data v souborech jsou validn, eliminovat ztr atu dat optimalizovat v ykon sluzeb z hlediska jak syst emu tak i aplikac podporovat na r uzn ych typech zarzen denovan e API umoznit soubeznou cinnost vce uzivatel u / aplikac Prehled b azov ych probl em u souborov ych struktur cl n avrhu souborov ych struktur minimalizace doby prstupu do sekund arn pameti (disk), tj. minimalizace poctu prstup u na disk { ide alem je 1 prstup / 1 operaci se z aznamem { clem je seskupen informac takov ym zp usobem, ze bude pravdepodobn e, ze zsk ame vse co potrebujeme jedin ym nebo nekolika m alo mstne lokalizovan ymi prstupy na disk bez ohledu na rozsah, velikost souboru Statick e dynamick e soubory cl n avrhu souborov ych struktur je relativne snadno dosaziteln y, pokud soubory jsou statick e, nemen sv uj obsah dosazen cle n avrhu souborov ych struktur je podstatne obtznejs, pokud jsou soubory dynamick e, tj. { doch az k dopl nov an, modikaci a odstra nov an dat (z aznam u) v souboru Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 14 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 15

5 Co vlastn e soubor obsahuje? v tomto predmetu studovan y probl em { jak jsou data organizovan a? popis atribut u / struktury je ulozen obvykle v adres arov e polozce denujc existenci souboru v tomto predmetu nestudovan y probl em { co soubor vlastne obsahuje? popis dat { { implicitn { predpokl ad a se, ze aplikace/uzivatel data zn a { metadata { uveden a typicky v z ahlav souboru, { casto pro danou trdu aplikac standardizovan a, { techniky: klcov a slova, prznaky,... { napr. TIFF, Target Image File Format Zprstup nov an dat organizovan ych v souborech pravek (50. { 60. l eta XX. stolet) soubory na p ask ach pouze sekvencn prstup k z aznam um souboru cena prstupu byla line arne z avisl a na rozmeru souboru Objev disk u (60. { 70. l eta XX. stolet) moznost nesekvencnho, prm eho prstupu k z aznam um souboru prm y prstup algoritmick ym v ypoctem { hasov anm : adresa-záznamu-na-disku = F (hodnota-klíčové-položky) prm y prstup pomoc index u tvoren ych dvojicemi {hodnota-klíčové-položky, adresa-záznamu-na-disku} { p uvodne ukl adan ych do sekvencne proch azen ych struktur (tabulek) { posl eze objev pouzitelnosti stromu pro implementaci indexu moznost zmeny omezen doby hled an z aznamu line arn funkc na omezen logaritmickou funkc poctu z aznam u v souboru Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 16 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 17 Zprstup nov an dat organizovan ych v souborech Zprstup nov an dat organizovan ych v souborech Objev pouzitelnosti stromu pro implementaci indexu rozs ahl e indexy ulozen e v sekvencn e organizovan ych struktur ach se prohled avaj sekvencn e { tj. dlouho, neefektivn e jiz v 60.letech XX. stolet se objevila idea manipulovat s indexy pomoc stromov ych struktur dobr a myslenka m ela ale nedostatky: { stromy mohou pri prid av an a rusen z aznam u do/v souboru r ust velmi nevyv azene { pro operaci nalezen z aznam u je pak potreba mnoho prstup u na disk a hled an pak trv a ne umerne dlouho B stromy 70. l eta XX. stolet, dodnes hodne pouzvan a technika z avislost doby prstupu je O(log k N), N { pocet z aznam u v souboru, k arita uzlu B-stromu lze nal ezt 1 z aznam mezi miliony z aznam u 3 az 4 prstupy na disk B-strom roste zdola nahoru { jednoduss reorganizace pri vyvazov an stromu B+ stromy varianta B strom u umoz nujc prm y prstup kombinovat se sekvencnm prstupem Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 18 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 19

6 Zprstup nov an dat organizovan ych v souborech (statick e) hasov an velmi star a technika zn am a od dob n avrhu prvnch prekladac u (ty ale resily hasov an v RAM pameti { pr ace s tabulkou identik ator u) omezen na 3 { 4 prstupy na disk / 1 operaci je dobr y v ysledek clem je vsak 1 prstup na disk / 1 operaci tento cl lze pomoc hasov an dos ahnout relativne snadno pro statick e, tj.,,t emer xn"soubory dynamick e hasov an technika z konce 80. a 90. let XX. stolet zarucuje 1 { prstupy na disk / 1 operaci bez ohledu na to, jak se men pocet z aznam u v souboru Zpracov an dat ulozen ych v souborech po z aznamech Aplikace si uchov avaj logicky souvisejc data na vn ejs pam eti organizovan e po souborech Aplikace si zprstup nuj data uchov avan e v souborech po z aznamech informace o osobe, predmetu, oddelen,... po t e, co si aplikace zprstupn z aznam, m uze opravit hodnotu jist eho atributu operacemi na urovni procesoru a hlavn pameti a z aznam zpetne zapsat na vnejs pamet' dlc atributy na disku si aplikace nezprstup nuje izolovane z aznam = mnozina polozek, kter e spolu souvis, polozka { atribut, vlastnost jde o logickou notaci v souborov e strukture casto plat z aznam datov y objekt a z apis / cten z aznamu uklid / obnova datov eho objektu Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 0 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 1 Z aznamy pevn e / promenn e d elky Z aznamy pevn e / promenn e d elky metody vycle nov an z aznam u v souboru / polozek v z aznamu implicitn (xn) d elka z aznam u { neuv adej se oddelovace z aznam u variabiln d elka z aznamu se vyjadruje: { explicitne, hodnotou udanou napr. na poc atku z aznamu, { oddelovacem na konci z aznamu, { ukazatelem na z aznam v prim arnho souboru s aplikacnmi daty ulozen ym v nejak em sekund arnm souboru (v indexu) xn struktura polozek { neuv adej se oddelovace polozek v z aznamu variabiln d elka polozky se vyjadruje: { explicitne, hodnotou udanou napr. na poc atku polozky, { oddelovacem na konci polozky, pr ace s promenn ymi d elkami zvysuje pamet'ovou n arocnost Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 3

7 Proc se pouzv a promenn a d elka z aznam u? obsahuj polozky prom enn e d elky P RIJMENI, BYDLIST E,... nekter a polozka se v z aznamu vcekr at opakuje z aznam obsahuje seznam hodnot nekter a polozka v z aznamu je deklarovan a jako voliteln a soubor obsahuje z aznamy, jejichz polozkami mohou b yt z aznamy tzv. clustered records, mixed file Terminologick e pozn amky z aznam = kolekce atribut u (polozek) charakterizujcch jist y objekt logick y z aznam { kolekce hodnot atribut u vytv arejcch z aznam fyzick y z aznam { m a d elku R kolekce hodnot atribut u vytv arejcch z aznam (tj. logick y z aznam) + denice d elek atribut u, oddelovace atribut u,... Denice d elek atribut u atributy konstantn d elky { ta obvykle b yv a implicitn atributy promenn e d elky { { nedenovan e d elky, d elka je vymezen a oddelovacem { denovan e d elky, vyjadrovan e explicitne (pocet bit u/pocet byt u) pamet'ov y prostor pro zobrazen z aznamu ve vnejs pameti { blok pamet'ov y prostor pro zobrazen atributu ve vnejs pameti { pole Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 4 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 5 Blokov an z aznam u Blokov an z aznam u Z aznam { manipulacn jednotka dat z pohledu aplikace pracujc se soubory strukturovan ymi do z aznam u Blok { manipulacn jednotka dat z pohledu I/O se sekund arn pam et blok vnejs pameti nebo tak e fyzick a str anka vnejs pameti samostatne manipulovateln a, resp. adresovateln a datov a jednotka je predmetem I/O prenos u podporovan ych OS a prov aden ych jako celek, m a d elku B jeden nebo vce sektor u na disku, blok na magnetick e p asce,... na disku vesmes pevn e d elky prenos do hlavn pameti typicky pomoc DMA vets bloky urychluj I/O prenosy, spr avu vyr. pamet cin slozitejs Vztah z aznam { blok neblokovan y z aznam { blok obsahuje pr ave jeden (fyzick y) z aznam { smyslem je jednoduch a manipulace { 1 IO operace / 1 z aznam blokovan e z aznamy { blok obsahuje/,,blokuje"celistv y pocet z aznam u, blokovac faktor b = B/R, kde R je d elka z aznamu kde ξ znac nejvyss cel e cslo ξ { clem je efektivita vyuzv an pamet'ov eho prostoru preklenovan e (separovan e) z aznamy { fyzick e z aznamy jsou zapisovan e do blok u bez ohledu na hranice blok u ve vnejs pameti { cast e resen pro soubory se z aznamy promenn e d elky, napr. zdrojov e textov e soubory,... Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 6 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 7

8 Blokovan zaznam u Soubor, homogenn soubor, nehomogenn soubor soubor { identikovatelna kolekce logicky souvisej c ch zaznam u X v souboru mohou byt i toto zne zaznamy homogenn soubor X hodnoty polo zek jeho zaznam u jsou primitivn (nestrukturovane) typy X je deklarovatelny formou S(A1 : D1,..., An : Dn), (jm eno-atributu:dom ena-hodnot) tj. obsahuje zaznamy jednoho typu nehomogenn soubor X hodnoty polo zek jeho zaznam u nejsou primitivn typy nebo X zaznamy nejsou jednoho typu X nehomogenn soubory nejsou p redm etem studia v PV06 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 8 Jan Staudek, FI MU Brno Kl c kl c, key { c ast zaznamu, polo zka(y), identikuj c zaznam Typy kl c u PV 06, Souborove systemy { organizace sekundarn kl c, resp. vyhledavac kl c nebo take pomocny kl c X jeden kl c z mno ziny v sech denovanych kl c u souboru X sekundarn kl c nemus zaznam identikovat jednozna cn e X hodnotovy { nabyv a hodnoty z domen atributu, ktere ho tvo r X ha sovany { algoritmicka transformace hodnotoveho kl c e X relativn { pozice zaznamu vzhledem k po catku souboru primarn kl c identikuje zaznam jedine cn e mus jeho atributy svymi hodnotami identikovat jednotlive zaznamy jednozna cn e { soubor mus byt mno zina X v idealn m p r pad e, by primarn kl c nem el obsahovat aplika cn e zavisl a data { m el by byt tzv. dataless key kl c souboru, kj, je mno zina atributu Aj1,... Ajm, m je po cet atributu zahrnutych do kl c e kj, m n, n je po cet atributu zaznamu Jan Staudek, FI MU Brno 9 X pokud se jako primarn kl c vol jeden kl c z mno ziny kl c u souboru, mnohdy identikujeme hledany zaznam jeho obsahem nikoli po rad m v souboru PV 06, Souborove systemy { organizace Primarn x sekundarn l c X kdy z hledame konkretn zaznam, 30 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 31

9 Operace se souborem Dotaz nad souborem Soubor ch apan y jako abstraktn datov y typ, ADT konstruktory / destruktor { vytvoren / zrusen souboru CREATE, BUILD, REMOVE modik atory { aktualizace souboru vlozen z aznamu { INSERT, (PUT) rusen z aznamu { DELETE modikace polozek z aznamu { UPDATE, (WRITE), (MODIFY) inspektory { zsk an z aznamu ze souboru ze souboru do vnitrn pameti { READ, (FETCH), (GET) dotaz { QUERY, (FIND) generov an zpr avy { LIST udrzba souboru Prstupn en jist eho z aznamu souboru se res dotazem typu "kde je z aznam udan y v yctem hodnot atribut u / poradm v souboru...?\ pro efektivn resen dotaz u nad soubory a modikac soubor u se soubory dopl nuj { indexy, resp. indexov ymi strukturami, nebo { algoritmick ymi postupy (hasov anm), umoz nujcmi efektivn resen dotaz u nad soubory a/nebo navazujcch modikac soubor u restrukturalizace, reorganizace { REORGANIZATION, OPEN, CLOSE Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 3 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 33 Dotaz nad souborem tot aln vycsliteln a funkce denovan a na universu souboru prklad: odpověd = FETCH (soubor, klíč) odpoved' = z aznam nebo kolekce z aznam u jednorozm ern y dotaz jednoatributov y klc Trdy vcerozm ern ych (ortogonálních) dotaz u na uplnou shodu { zad ano vsech n atribut u na c astecnou shodu { zad ano s n atribut u na uplnou intervalovou shodu { zad ano vsech n atribut u { pro kazd y atribut je d an interval mozn ych hodnot na c astecnou intervalovou shodu { zad ano s n atribut u { pro kazd y atribut je d an interval mozn ych hodnot Model, sch ema organizace soubor u Hierarchick a abstrakce organizace soubor u ve 3 urovnch Cíl { umoznit optim alne resit operace nad z aznamy souboru nez avisle na konkr etnm fyzick em zarzen vnejs pameti Logick e sch ema ex. hypotetick a logick a pamet' se strukturou optimalizovanou tak, aby umoznila efektivn resen operac nad z aznamy logick a pamet' se clen na logick e str anky, LS, ty mohou b yt uspor adan e sekvencne, hierarchicky,... logick a pamet' obsahuje { jednak prim arn soubor { aplikacn data { jednak sekund arn (pomocn e) soubory { indexy, rejstrky,... z aznamy prim arnho souboru i sekund arnch soubor u mohou b yt v logick ych str ank ach blokovan e (vce z aznam u v 1 LS) { blokovac faktor, resp. faktor naplnen (logick e) str anky: λ = skutecn y pocet z aznam u v LS / mozn y pocet z aznam u v LS Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 34 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 35

10 Model, sch emata organizace soubor u Logick e sch ema organizace soubor u Logick e sch ema, pokracov an cíl { poskytnout takovou pamet'ovou strukturu, kter a umozn minimalizovat pocet operac prov aden ych pri manipulacch (insert, delete, search,... ) se z aznamy souboru umsten ymi v logick ych str ank ach popis na urovni typ u { { vztahy mezi logick ymi str ankami { vnitrn struktura logick e str anky { algoritmy operac s logick ymi str ankami pri zprstup nov an dat a pri udrzbe jejich struktury, { operace s logick ymi str ankami { stepen str anky, sl ev an str anek { stanoven mez faktoru naplnen logick e str anky,... Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 36 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 37 Fyzick e sch ema organizace soubor u Logick e a fyzick e sch ema organizace soubor u Fyzick e sch ema zobrazen logick ych str anek do fyzick ych str anek konkr etnho, pouzit eho typu vnejs pameti Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 38 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 39

11 Model, schemata organizace souboru Implementa cn schema organizace souboru Implementa cn schema X rozm st en, alokace fyzickych stranek v pou zitem za r zen X u klasickych organizac souboru implementovanych na sd lenych disc ch standardn e r e s OS nezavisle na aplikac ch X aplikace r e s ve vyjime cnych p r padech na dedikovanych disc ch slo zitost schematu organizace souboru X prostorova { pot rebny objem fyzickych stranek pro zobrazen souboru X c asova { po cet V/V operac s fyzickymi strankami pro jednotlive operace s logickymi strankami { po cet na c tanych fyzickych stranek (do RAM) { po cet zapisovanych fyzickych stranek (do za r zen ) Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace Jan Staudek, FI MU Brno 40 Model, schemata organizace souboru PV 06, Souborove systemy { organizace 41 Typy souboru typy souboru { podle obsa zenych dat v souboru X numericka, textova, binarn,... data X program (binarn data),... Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 4 Obvykle typy souboru (typ lze mnohdy zahrnout jako p r ponu za,,."ke jmenu) Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 43

12 Typy soubor u clov y typ souboru m a smysl deklarovat (podporovat) pro prim arn soubor dat typy se typicky deklaruj prponou odd elenou teckou od jm ena (.txt,.xls,.doc,...,.exe,... ) udrzuj se takto textov e, bin arn,... soubory, soubory konkr etnch aplikac (Excel, Word,... ) S typem souboru m uze b yt sv azan y relevantn program, kter y data v souboru zpracov av a vesmes kazd y OS denuje, rozpozn av a soubory s interpretovateln ym programem (executable file format) rozpozn av an typu souboru na z aklad e uveden prpony nemus nutn e podporovat OS, m uze se jm rdit az aplikace Struktura (organizace) souboru struktura (organizace) souboru m uze b yt relativne voln a { textov a data v r adcch, posloupnosti byt u,... rigidne form atovan a { z aznamy, indexy z aznam u,... voln a organizace soubor u s jednoduch ymi datov ymi z aznamy vesmes sekvencne uchov avan e { r adky textu { strukturovan e z aznamy (,,tabulky") pevn e d elky { strukturovan e z aznamy promenn e d elky komplexn (az rigidn) organizace soubor u dosahuje se vkl ad anm vhodn ych rdicch struktur a/nebo poskytnutm komplexnch prstupov ych funkc form atovan e dokumenty Relocatable load files soubory s indexy na b azi B + strom u, s hasovan ymi indexy,... Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 44 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 45 Struktura soubor u, pohled OS Struktura soubor u, pohled OS posloupnost bajt u nestrukturovan y soubor spr ava soubor u v OS velmi jednoduch a aplikace mohou vnutit sv e vlastn struktury uplat nuje UNIX, Windows, vetsina soudob ych OS posloupnost z aznam u z aznam = kolekce pol bajt u zpracov avan a jako aplikacn jednotka soubor = kolekce z aznam u syst em soubor u poskytuje operace pro pr aci se z aznamy (read, write) OS m uze operace se z aznamy optimalizovat (houpackov e vyrovn av an,... ) Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 46 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 47

13 Struktura soubor u, pohled OS Organizace souboru Logick e strukturov an z aznam u v souboru vynucen e zp usobem, kter ym se k z aznam um pristupuje Volbu organizace souboru vhodn e pro danou aplikaci mohou ovliv novat krit eria: strom z aznam u typicky struktura podporujc vyhled av an z aznamu v souboru vyhled av an z aznam u je zalozeno na koncepci klc u, denovan ych polozek z aznam u, a vyhled avacch strom u minimalizace doby prstupu jednoduchost aktualizace minimalizace pamet'ov e slozitosti jednoduchost udrzby spolehlivost V yznamnost krit eri vymezuje aplikace pri d avkov em zprstup nov an vsech z aznam u v souboru nehraje roli minimalizace doby prstupu k jednotliv ym z aznam um pro soubor na CD-ROM nehraje roli jednoduchost aktualizace Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 48 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 49 Organizace souboru Souborov e organizace Nekter a krit eria mohou b yt protich udn a minimalizace pamet'ov e slozitosti minimalizace redundance minimalizace doby prstupu { napr. duplikac dat, zv ysen redundance Uspor ad an z aznam u v souboru s clem optim alnho zprstupnen z aznamu pro aplikaci (at' se z aznam zprstupn tak rychle, jak je to jen mozn e) vkl adac, modikacn a rusc transakce na z aznamech maj b yt rychl e, jednoduch e a nesm porusit ostatn z aznamy vkl adac, modikacn a rusc transakce na z aznamech nesm zp usobit vznik duplicitnch z aznam u z aznamy maj b yt ulozeny efektivne, tak aby cena potrebn e pameti byla minim aln Metod organizace je vce, jist e metody jsou vhodn e pro jist y zp usob zprstup nov an z aznam u Designer aplikace obvykle vol vhodnou metodu organizace Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 50 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 51

14 Organizace souboru, prstupov e metody Sekvencn prstup sekvencn cten z aznamu po z aznamu, typicky od poc atku souboru nelze,,sk akat"po souboru, lze prejt jen na zac atek nebo dals z aznam vyhovujc organizace v dob ach, kdy jedin ym m ediem byla mg p aska, dodnes nepominuteln a organizace pro radu aplikac (kompilace,... ) pr. operac: read next, write next, reset nebo rewind Prm y prstup,,,libovoln y"(random) prstup z aznamy lze zprstup novat v libovoln em porad v yznamn a organizace pro DBS read n, write n, prp. seek n n asledovan e read next nebo write next, n { oset z aznamu, urcen z aznamu obsahem (klcem),..., Organizace souboru Forem organizac soubor u je mnoho, 5 z akladnch je hromada (pile, heap) sekvencn soubor (sequential file) indexovan y sekvencn soubor (index-sequential file) indexovan y soubor (indexed file) hasovan y soubor (hashed file), resp. soubor s prm ym prstupem (random access file) Ostatn organizace lze budovat nad temito b azov ymi metodami Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 5 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 53 Klasikace souborov ych organizac Souborov a organizace se sekvencnm prstupem k z aznam um aplikovateln a na p asce, na disku slozitost dotazu { prstupu k z aznamu s udan ym klcem { je line arn, O(N), slozitost dotazu { prstupu k z aznamu s udan ym klcem { v prpade pouzit bin arnho hled an v setrden em souboru podle vyhled avacho klce, je logaritmick a, O(log N) Souborov a organizace s prm ym prstupem k z aznam um aplikovateln a na disku urcen msta se z aznamem lze dos ahnout pomoc indexu urcen msta se z aznamem lze dos ahnout pomoc hasov an Souborov a organizace vymezuje pouzitou prstupovou metodu podporovanou sluzbou syst emu soubor u Souborov a organizace s prm ym prstupem k z aznam um s urcenm msta se z aznamem pomoc indexu index { sekvencn struktura uspor ad an ukazatel u na z aznamy { tabulka/pole/seznam dvojic {klíč, ukazatel na záznam}) { slozitost pr uchodu takov ym indexem je line arn az logaritmick a (pri pouzit bin arnho hled an v setrden em indexu podle klc u) index { stromov a struktura uspor ad an ukazatel u na z aznamy { vyv azen e (balanced) stromy, B stromy / B+ stromy, { slozitost log k N, k >>, i pro dynamick e soubory, { B stromy { ztr ata moznosti sekvencnho prstupu { B+ stromy umoz nuj i sekvencn prstup, s urcenm msta se z aznamem pomoc hasov an algoritmick ym odvozenm ukazatele z aznamu z hodnoty klce konstantn slozitost Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 54 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 55

15 Prklady struktur organizac souboru Prklady struktur organizac souboru Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 56 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 57 Charakteristick e vlastnosti organizac souboru Hromada Data se shromazd'uj v porad vlozen do souboru Z aznam m a formu d avky dat Z aznam m uze mt vce pol odlisn e d elky a i typu, pole mus b yt samoidentikovateln e (jm eno + hodnota) pole mus b yt oddelena separ atory nebo ud av anm d elky Prstup k z aznam um { sekvencn hled an Aplikacn vyuzitelnost je mal a masa dat se typicky shrom azd a uloz pred zpracov anm data se obvykle silne lis rozmerem a strukturou Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 58 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 59

16 Hromada Sekvencn soubor nehomogenn soubor m uze obsahovat z aznamy prom enn e struktury uv ad se i jm ena atribut u jako klcov a slova, napr. v ypis 3 variant obed u z jdelnho lstku: POLEVKA=mil ansk a; HLAVNI=stroganov; NAPOJ=pivo HLAVNI=halusky; NAPOJ=ml eko NAPOJ=gin sekvencn ukl ad an z aznam u ve vymezen em prostoru levn a, jednoduch a metoda pro masvn vkl ad an mal ych z aznam u do mal ych soubor u slozitost vyhled an z aznamu, O(N) z aznamy maj z hlediska skladby z pol pevn y form at skladba pol v z aznamu je zn am a a priori jm ena a obory hodnot pol se oznacuj jako vlastnosti (z aznamu) vlastnosti pouzit e pro vyhled an z aznamu se oznacuj pojmem klc pole obsahujc hodnoty, podle kter ych se z aznamy vyhled avaj, klce, jsou klcov a pole vyhled an z aznamu se standardn e d el a sekvencnm prohlzenm, z aznamy se vkl adaj sekvencn e nehomogennmi soubory se d ale nezab yv ame Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 60 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 61 Soubor se sekvencnm prstupem, sekvencn soubor Soubor se sekvencnm prstupem, sekvencn soubor Simulace sekvencnho prstupu na souboru s prm ym prstupem cp { current position, poradov e cslo z aznamu sekvencn soubor je optim aln organizace pro d avkov e zpracov an vsech z aznam u v souboru sekvencn soubor lze uchov avat v setrden em uspor ad an podle klce, coz zvysuje rezii vkl ad an a rusen z aznam u a prohlzet ho bin arnm hled anm Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 6 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 63

17 Indexovan y sekvencn soubor Z aznamy sekvencnho souboru jsou uspor adan e podle klce Soubor je doplnen y o index vymezujc skupiny z aznam u s hodnotou klce z udan eho intervalu pretokovou oblast pro z aznamy doplnen e do souboru po setrden Indexy mohou b yt hierarchick e index s am je sekvencn soubor (dvojic hodnota, ukazatel) k indexu lze vypracovat index (index vyss urovne) Optimalizuje se cas prstupu k z aznamu sekvencne se prohlz oblast souboru vymezen a indexem, nikoli soubor cel y Indexovan y soubor z aznamy maj z hlediska skladby pol pevn y form at skladba pol z aznamu je zn am a a priori z aznamy se shromazd'uj v porad vlozen do souboru soubor nen uspor adan y, predpokl ad a se hled an podle vce klc u Soubor je doplnen y o indexy, jeden pro kazd y typ dotazu z aznamy se zprstup nuj pouze pres indexy Optim aln organizace pro aplikace s kritick ym faktorem doba prstupu, z aznamy se zprstup nuj jeden po druh em Index m uze mt line arn (tabulkovou) strukturu Index m uze mt hierarchickou strukturu, napr. B-strom Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 64 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 65 Indexov an z aznam u souboru, prklad Hasovan y soubor, soubor s prm ym prstupem z aznamy maj z hlediska skladby pol pevn y form at skladba pol z aznamu je zn am a a priori z aznamy se shromazd'uj v porad vlozen do souboru soubor nen uspor adan y, lokalizace hledan eho z aznamu se odvod algoritmicky, hasovac funkc se vstupnm parametrem { vyhled avac klc optim aln organizace pro aplikace s kritick ym faktorem doba prstupu z aznamy se zprstup nuj jeden po druh em v porad dan em aplikac Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 66 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 67

18 { ulozen z aznamu i Z aznam i se uloz pocnaje bytem n (i 1), kde n je rozmer z aznamu Operace se z aznamy pevn e d elky Z aznamy pevn e d elky, retezen z aznam u rusen z aznamu { pouzit seznamu voln ych mst { prstup k z aznam um po kroku n, trivi aln operace, pokud hranice z aznam u sleduj hranice blok u { rusen z aznamu i, alternativy: a) presun z aznam u i + 1,..., m do mst i,..., m 1 b) presun z aznamu m do msta i c) nic se nepresouv a, voln a msta se retez do seznamu voln ych mst Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 68 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 69 Z aznamy promenn e d elky prklad reprezentace z aznam u prom enn e d elky v souboru se z aznamy s n asobne opakovan ymi polozkami na konci kazd eho z aznamu se uvede oddelovac (rdic znak, jedinecn y bitov y vzorek,... ) End-Of-Record ( ) obtzn e rusen a dopl nov an z aznam u Z aznamy promenn e d elky reprezentace z aznam u promenn e d elky kapsou z aznam u v bloku (slotted page, slotted block) blok = záhlaví, volné místo, záznamy z ahlav = počet záznamů v kapse, ukazatel na konec volného místa, ukazatel a délka každého záznamu voln e msto se udrzuje souvisl e ukazatele v adres ari neukazuj prmo na z aznam, ukazuj na ukazatel z aznamu v z ahlav kapsy Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 70 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 71

19 Z aznamy promenn e d elky reprezentace z aznam u promenn e d elky pomoc rezervovan eho prostoru modul = prostor pro z aznam se zn amou maxim aln d elkou nevyuzit y prostor lze vyplnit symbolem null nebo End-Of-Record Z aznamy promenn e d elky reprezentace z aznam u promenn e d elky pomoc ukazatel u z aznam promenn e d elky je reprezentov an seznamem generick ych z aznam u pevn e d elky retezen ych ukazateli v yhoda { pouziteln e i pri neznalosti maxim aln d elky z aznamu Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 7 Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 73 Z aznamy promenn e d elky nedostatek pouzit ukazatel u v predchozm prkladu uchov avaj se pr azdn e, nevyuziteln e prostory resen { typy blok u, kotva, anchor { obsahuje 1. z aznamy retezc u, pretoky, overflow { obsahuje ostatn z aznamy retezc u Jan Staudek, FI MU Brno PV 06, Souborove systemy { organizace 74