Organizace a zpracování dat I

Rozměr: px

Začít zobrazení ze stránky:

Download "Organizace a zpracování dat I"

Vít Macháček
před 6 lety
Počet zobrazení:

1 DBI007 Organizace a zpracování dat I Index-sekvenční a indexovaný soubor 4. přednáška RNDr. Michal Žemlička, Ph.D.

2 Index-sekvenční soubor Přístup k záznamům je možný jak sekvenčně, tak i přímo Části: primární soubor, index a oblast přetečení Vhodný zejména tenkrát, když potřebujeme jak přístup k jednotlivým záznamům dle primárního kĺıče (ještě lépe, když není třeba kĺıč měnit, jen data), tak i ke všem záznamům najednou

3 Index-sekvenční soubor Aplikace Účetní systém platebních karet individuální přístup při manipulaci s kartou/účtem; dávkový přístup pro generování sumářů, měsíčních vyúčtování, apod.

4 Index-sekvenční soubor Struktura 1. úroveň Ab Ak Bf Bp Bx Ck Dl Ea Eh Fu Gh Ha Kd primární soubor 2. úroveň Ab Oi Ab Bx Eh Kd My Oi... 3 oblast přetečení Jm index

5 Index-sekvenční soubor: Odkazy do oblasti přetečení Za každým záznamem zabere to více místa + kratší sekvence v oblasti přetečení Na konci každého bloku mohou se tvořit delší sekvence v oblasti přetečení + menší nároky na místo v bloku; je možné si v blocích nechat volno na později přidané prvky

6 Index-sekvenční soubor kapsy implementace index-sekvenčního souboru pomocí kapes kapsa (bucket) je množina bloků organizovaných jako spojový seznam indexují se kapsy

7 Index-sekvenční soubor kapsy (2) Babka Kolář index 1. úrovně číslo bloku odkaz na další bloky kapsy Babka Codr Couf Colt Cuc Kolář Kotrč Macák Maloň bitová mapa bloky (kapsy) se záznamy 0 0 0

8 Index-sekvenční soubor kapsy (2) Aktualizace: I(Daněk), I(Alfons), D(Kotrč) Babka Kolář Alfons Babka Codr Couf Colt Cuc Kolář Macák Maloň Daněk

9 Index-sekvenční soubor úrovně Maximální počet úrovní x = log bi N/ b ps ; b = B/R. Připomeňme, že B je velikost bloku a R (průměrná) velikost záznamu at již v primárním souboru (ps) nebo indexu (i). Počet přístupů na disk odpovídá počtu úrovní. Minimalizace počtu přístupů na disk: prakticky pouze maximalizací B; omezeno kapacitou stopy.

10 Index-sekvenční soubor ISAM Přímá podpora index-sekvenčních souborů v runtime COBOLu Úroveň Umístění 1 stopa index stop na 0. stopě každého válce určuje pozice v primárním souboru 2 válec index válců (na začátku oblasti souboru) určuje lokality s indexy stop 3 svazek master index po OPEN v RAM; určuje lokality s indexy válců T F = 2(s + r + btt) + r + btt = 2s + 3r + 3btt

11 Index-sekvenční soubor ISAM (2) Oblast přetečení na každém válci + společná pro celý soubor Statický soubor = nutná reorganizace po naplnění oblasti přetečení nebo periodicky

12 ISAM struktura indexu Cylindry i stopy číslovány od 0. Index stop na 0. stopě cylindru stopa největší kĺıč na stopě Index cylindrů umístěn kdekoliv jinde cylindr největší kĺıč na cylindru

13 ISAM struktura indexu (2) Záznamy v blocích (stopách) setříděny Hlavní (master) index pro velké soubory na více discích ukazuje na stopy indexu cylindrů Oblast přetečení: vytlačen největší kĺıč na stopě aktualizace indexu

14 index stop ISAM index s oblastí přetečení N Ov N Ov N primární soubor Insert(185): stopa pro přetečení

15 ISAM index s oblastí přetečení (2) Insert(186): nemění se Insert(194): oblast přetečení # řetězec v oblasti přetečení

16 Index-sekvenční soubor výhody Rychlý přítup dle primárního kĺıče. Zachovává většinu dobrých vlastností setříděného sekvenčního souboru.

17 Index-sekvenční soubor nevýhody Rychlé vyhledávání jen pro primární kĺıč Problémy s dynamikou primárního souboru Oblast přetečení vede ke zpomalení přístupu k datům Bloky inicializovány jako ne zcela zaplněné větší nároky na prostor Případná potřeba reorganizací

18 Index-sekvenční soubor návrh Uspořádání položek v seznamu Definice primárního kĺıče Analýza doplňování záznamů (Počáteční naplnění stránek max. 60 %) Prostor pro primární soubor, index a oblast přetečení Počet úrovní indexu Blokovací faktor primární oblasti, indexu

19 Index-sekvenční soubor závěr Blokování zvyšuje účinnost Rychlý přímý přístup košatý index Žádá se pouze sekvenční přístup použít sekvenční soubor nejsou třeba indexy Žádá se pouze přímý přístup použít soubor s přímým přístupem není třeba uspořádanost

20 Indexovaný soubor Umožňuje vyhledávat záznamy podle různých kĺıčů Odpovídá tabulce v DB Primární soubor a indexy Indexy mohou být mnoha různých typů (a to i v rámci jediného indexovaného souboru)

21 Indexovaný soubor obrázek 4.1 Jirásek Jirásek Němcová Světlá index 2. úrovně (master/hlavní index) Jirásek 4.1 Jirásek 4.3 Jirásek 5.1 Němcová 4.2 Němcová 5.2 Němcová 5.3 Němcová 6.3 Němcová 7.2 Světlá 6.2 index 1. úrovně Němcová Jirásek Světlá Jirásek Němcová Němcová Světlá Němcová... Vyhledávací kĺıč: Příjmení primární soubor

22 Indexovaný soubor úrovně indexu Počet úrovní indexu počítáme podobně jako u index-sekvenčního souboru, ale indexujeme jednotlivé záznamy a ne bloky. x = log b N, b = B/R ; B... velikost fyzické stránky R... (průměrná) velikost fyzického indexového záznamu

23 Indexovaný soubor částečná shoda Řešení dotazů na částečnou shodu Vytváření průniků seznamů adres (ukazatelů) primárních záznamů Netriviální při velkém objemu, tj. velká N malá aktuální doména A Kombinovaný index pro více atributů současně (A,B,C)

24 Indexovaný soubor implementace Nepřímé adresování: primární kĺıč, sekundární kĺıč sekundární kĺıč se indexuje na primární kĺıč Možná reorganizace, restrukturalizace souboru bez o- vlivnění indexu Vyšší režie dotazu

25 Bitová mapa Vhodná pro malou doménu hodnot Boolské dotazy se řeší logickými operacemi Bitové vektory lze vytvářet pro více atributů Obecnější Boolské dotazy A Pořadí záznamu v S α β

26 Bitové mapy Při zachování velikosti domény jejich velikost roste s počtem záznamů pouze lineárně Je možné sdružovat procesy procházející bitovou mapu nový proces nejprve se stávajícím dočte to, co ten stávající ještě nemá zpracované, a pak se vrátí k tomu zbytku (piggybacking)

27 Seznamy adres Odstranění duplicity kĺıčů Chemik Mechanik Primární soubor Referent

28 Indexy indexovaného souboru statické seznamy adres bitové mapy B-stromy a jejich varianty kombinované indexy vícerozměrné indexy

Podobné dokumenty

Organizace a zpracování dat I

DBI007 Organizace a zpracování dat I Složená úložiště, záznamy, soubory RNDr. Michal Žemlička, Ph.D. Důležitá organizační připomenutí Zkoušku lze skládat, i když ještě nejsou splněny všechny podmínky pro