- PDF Free Download

Transkript

1 ORGANIZACE DAT PRO JEJICH ANALYZU 1 Dusan H USEK a Hana REZANKOVA UIVT AV CR, VSE KSTP Abstract: In this paper problems of data storage and exploration in DataWarehouse are discussed. Basic variations of relational data model are described and comparison with multidimensional model are shown. Following schemes based on relational models are mentioned: Star Schema and Snowakes Schema. Rezme: V to rabote diskutirovany problemy hraneni dannyh i ih ispol~zovanie v sklade dannyh. Opisany osnovnye varianty relacionno modeli dannyh i pokazano sravnenie s mul~tidimenzional~no modele. Upomnuty sleduwie shemy osnovanye na relacionno modeli: Star scheme i Snowake scheme. Sobremenno prevoshodit podhod kombiniruwi relacionnu model~ dannyh vmeste s mul~tidimenzional~no modele. Klcova slova: Sber dat, tezba dat, organizace dat, datovy sklad, podnikovy informacn sklad, statisticke databaze, OLAP, ROLAP 1 Uvod Nove technologie v oblasti poctacovych ved (Computer Science) rozsiruj pojem statisticke vypocty\ (Statistical Computing) i na oblasti sberu dat a jejich sren (elektronicka vymena dat, ste), organizace dat a jejich spravy (statisticke systemy rzen baze dat), interpretace vysledku a vytvaren vystupnch sestav (metody umele inteligence). Vynoruj se tez nove perspektivy pro samotnou analyzu dat, zalozene na vyuzit poctacove graky a neuronovych st (viz [8]). Vsechny tyto oblasti lze zahrnout do statistickeho vypocetnho prostred. Na jedne strane tedy organizace dat a jejich sprava je soucast statisticke analyzy, na strane druhe byva statisticka analyza casto zarazovana jako soucast aplikac vytvarenych v ramci systemu rzen baze dat (S RBD). Jednm typem takovychto aplikac jsou podnikove informacn systemy (Enterprise Information Systems - EIS). EIS mohou byt rozcleneny do tr kategori. 1 Tato prace vychaz zvysledku grantu c.102/94/0728 GA CR

2 I. EIS zalozene na relacnm S RBD Univerzalnm rozhranm k tomuto S RBD je jazyk SQL (Structured Query Language), ktery dominoval databazove technologii temer 15 let. Konkretnm typem aplikac v tomto prostred jsou administrativn a provozn informacn systemy OLTP (On-line Transaction Processing), jez jsou urceny pro spravu obchodnch dat (uctovan), lze sem zaradit i systemy pro rezervaci jzdenek a letenek apod. Soucast techto systemu tedy jeste nemus byt statisticke zpracovan, i kdyz mohou byt poctany souhrnne charakteristiky. Vtomto prpadejeclem vypoctuzskat odpovedi na otazky typu: Kolik jsme dnes prodali vyrobku?\ II. EIS zalozene na multidimenzionalnm modelu Clem aplikac je vytvaret multidimenzionaln pohled na data. Tento typ aplikac je oznacovan jako OLAP (On-line Analytical Processing). Z hlediska organizace dat rozlisujeme ROLAP (Relational OLAP), kdy multidimenzionalita nespocva v ulozen dat, ale az v jejich prezentaci (pro ulozen je pouzvana relacn databaze) a MOLAP (Multidimensional OLAP), kdy je princip multidimenzionality uplatnovan i pri organizaci dat. V obou prpadech jsou hlavnm vystupem ruzne typy tabulek a grafu z oblasti popisne statistiky. Systemy, ktere jsou zalozeny na principu OLAP, jsou oznacovany jako EIS, pricemz tato zkratka vdanem prpade znamena Executive (manazersky) IS. Obecne mohou tyto systemy zahrnovat i prostredky pro rozsahlejs statistickou analyzu dat, proto je lze oznacit jako systemy pro podporu rozhodovan (DSS - Decision Suport Systems). Typickym dotazem v takovemto systemu je otazka typu: Kter jsou nejleps zakaznci pro produkt X v regionu Y?\ III. EIS zalozene na tezbe dat\ ci dolovan dat\ (Data Mining) Lepe by bylo charakterizovat cinnost techto systemu jako tezba informac z dat\. Jde v podstate o dukladnou statistickou analyzu zjist'ujc zavislosti v datech, trendy v casovych radach apod. Dalsm charakteristickym rysem v procesu Data Mining\ je vyuzvan neuronovych st. Typickymi dotazy v takovemto systemu jsou takove, jejichz clem je zskat odpovedi na otazky typu: Na jakydruhzakaznkubychom se meli zamerit?\ Jaky druh udalost zpusobil koupi produktu s temito zakaznky?\ Vstupem pro DSS jsou data zskavana casto z ruznych zdroju (zruznych operacnch systemu azruznych formatu dat). Obvykle jde o rozsahle datove

3 soubory. Manipulace s daty, ktera zahrnuje jejich zskavan, modelovan a zpracovan do zakladnch informac dulezitych pro rzen, je oznacovana jako Data Warehousing\. Prostred, ktere tyto cinnosti umoznuje, je nazyvano datovym skladem (Data Warehouse). Jako prvky datoveho skladu jsou uvadeny i OLAP a EIS. V literature se ve vyse uvedenych pojmech vyskytuje znacna nejednotnost, a to i v ramci jedne rmy. Naprklad rma SAS drve zahrnovala veskerou moznou statistickou analyzu jako soucast datoveho skladu. Take Data Mining\ bylo uvadeno jako prvek datoveho skladu, a to jednak pri transformaci dat, jednak pri jejich vyuzit. Tento pojem byl spojen predevsm s vyuzitm neuronovych st. Nyn je Data Mining\ chapan jako komplexn proces, ktery vyuzva jak neuronove ste, tak klasicke statisticke metody. Datovy sklad tvor vstup do tohoto procesu. Je tedy urcen pouze ke zskavan dat z ruznych zdroju a k jejich preveden do formy vyuzitelne v procesu tezby dat\. 2 Data Warehouse (DW) Datovy sklad je tedy urcen predevsm k ukladan a integraci dat mimo provozn databazi a zajisten manipulace s temito daty. DW muze vyuzvat i nekolik modelu pro ukladan dat soucasne (fyzickych modelu). Mimo fyzickeho modelu dat v DW se pouzva jeste logicky model dat na urovni konceptualn a model transformac. Rozlisujeme tedy logicke modelovan dat, fyzicke modelovan dat a modelovan transformac. Clem modelovan dat v DW je urcit strukturu a obsah DW a denovat, jak prevest data do DW. Denice modelu je ukladana jako metadata v metabazi DW. Logicky model denuje entity, ktere budou vyzadovany vdw. Tento logicky model ma byt preveden do fyzickeho modelu dat, ktery denuje architekturu DW. Na urovni fyzickeho modelu by mely byt zohledneny i pozadavky vyplyvajc z funkcn analyzy na vybery ci sumarizace dat apodobne.

4 2.1 Fyzicky model dat V predeslem bylo receno, ze na fyzicke urovni se muze vyskytovat nekolik modelu dat. Prkladem DW, ktery podporuje takovou strategii, je DW od spolecnosti SAS. Relacn model dat Zakladnm elementem v tomto modelu je relace. Na urovni uzivatele pak je relace repezentovana tabulkou. Pro manipulaci s daty existuj neproceduraln jazyky, kterevsak vyzaduj, k zajistenintegrity dat a jejich neredundance, aby data byla ukladana v tzv. normalizovanem stavu. Standardem pro manipulaci s datyvtomto modelu se stava jazyk SQL (Structured Query Language). S RBD pracujc s tmto modelem jsou optimalizovany pro on-line transakcn zpracovan, na pomerne jednoduche dotazy a aktualizacn prkazy. Na konceptualn urovni lze k modelovan dat pouzt Entity-Relationship (E-R) model. polozka sdlo zakaznka dodava zakaznk prodej vyrobek prodejn oddelen oblast prodeje Obr.: E-R diagram Protoze v ramci DW je databaze vyuzvana uzivateli pouze pro dotazovan, je mozno ulozit data do databaze v nenormalizovane podobe. Dusledkem je vsak enormn narust diskoveho prostoru. Pomoci ma nasledujc resen. Model hvezda (Star schema) Model hvezda ma byt odpoved na problemy pouzit relacnho modelu v oblasti rzen, a tedy i na urovni agregovanych dat. Je zalozen na fyzickem aparatu relacnch S RBD, ale data nejsou ukladana v normalizovane podobe. V ramci tohoto modelu jsou oddelena fakta - vetsinou kvantitativn udaje - od kategorialnch dat neboli dimenz. Fakta jsou ulozena v centraln nenormalizovanych tabulkach. Takto je redukovan pocet tabulek a pritom je omezena potreba jejich spojovan (Join) v prubehu prace s databaz ve DW. Tmto zpusobem je zlepsena odezva systemu. Denormalizace ma za nasledek redundanci dat a tudz i vets pamet'ove naroky, integritu dat je nutne zajist'ovat proceduralnmi prostredky.

5 Casova dimenze udaje o prodeji dimenze produktu cas (klc) ;! cas (klc) den produkt (klc) ;! produkt (klc) mesc prodane mnozstv popis ctvrtlet cena v korunach znacka rok ostatn fakta kategorie oddelen dodavatel (udaje) atd. obdob vyrobek prodej odberatel geograe Obr.: Model hvezda Model snehova vlocka (Snowake schema) Sleduje stejne cle jako model hvezda, ale vychaz se zde z predpokladu, ze tabulky dimenz potrebuj alespon castecnou normalizaci, protoze denormalizace dimenz muze mt za nasledek stale vysokou redundanci udaju v databazi (a tudz i problemy s ukladanm dat a udrzbou databaze). Casova dimenze udaje o prodeji dimenze produktu cas (klc) ;! cas (klc) den produkt (klc) ;! produkt (klc) mesc prodane mnozstv popis ctvrtlet cena v dolarech znacka rok ostatn fakta kategorie oddelen dodavatel (klc) ;! atd.

6 obdob dodavatel vyrobek prodej odberatel zeme region Obr.: Model snehova vlocka Multidimenzionaln model dat (MDMD) Protoze stale roste pouzvan nastroju pro zpracovan dat technologi OLAP, kde zakladnm modelem pro pohled na data je multidimenzionaln kostka, je pravdepodobne, ze tento datovy model se prosad i na nejnizs fyzicke urovni (ted' se na situaci dvame z pohledu dodavatelu relacnchsrbd). Co stoj ukladan dat v multidimenzionalnm modelu dat Celkovou velikost multidimenzionaln databaze je dana vzorcem ny 8 Di i=1 kde n je pocet zakladnch dimenz a Di je kardinalita i-te zakladn dimenze. V realnych aplikacch tak muzeme dospet k neuveritelne velkym hodnotam potrebneho diskoveho prostoru. Tak naprklad jsou-li u spolecnosti sbrany po dobu peti let mescne udaje o 5000 zakazncch, 2000 vyrobcch v peti tovarnach, distribuovanych pres tri distribucn msta, pricemz chceme sledovat (a tudz i ukladat do Data Warehouse) 10 ukazatelu ve trech ruznych formach - planovane, aktualn a predikovane, pak velikost potrebneho diskoveho prostoru bude 8 (5 12) =2 16 PB (petabajtu) V realite pak mnoho z techto kombinac nebude existovat. Vetsina zakaznku bude nakupovat jenom nektere vyrobky a jen obcas, takze se bude jednat

7 o rdkou matici. V jednom konkretnm prpade z praxe velmi blzkemu vyse uvedenemu prkladu bylo pro ulozen dat potreba pouhych 800 MB. Multidimenzionaln model dat se vyznacuje exibilitou, ktera umoznuje uchovavat velke objemy rdkych\ dat, tzn. ze prazdne polozky se neukladaj. V soucasne dobe se vedou spory o to, zda je vubec nezbytne, pri vykonnosti soucasne vypocetn techniky vyuzvat specializovane modely dat pro jejich ukladan v DW a nasledne zpracovan v ramci OLAP. Kombinovany model dat Nicmenevprechodne dobe se zda, ze bude nejvhodnejspouzt kombinaci techto dvou technologi (Oracle), tzn. podrobna data mt ulozena v relacn databazi a agregovana neboli souhrnna data na multidimenzionalnm neboli OLAP serveru. Tento model vynika exibilitou, ktera umoznuje uchovavat velke objemy rdkych\ datanadruhe strane zase dovoluje, aby manipulace s udaji v ramci slozitych ekonomickych modelu, jako je hierarchie vyrobku, nebo organizac probhala v intuitivnejsm multidimenzionalnm prostred. znacka vyrobn rada vyrobek Obr.: Kombinace relacnho a multidimenzionalnho modelu Aby byla mozna koexistence techto dvou modelu, v DW mus existovat moznost tesne vazby jazyka SQL na MDMD. Zjednodusene receno je nezbytne, aby jazyk pro manipulaci s daty na urovni RMD mel tesnou vazbu na MDMD. V soucasnosti se u nekterych remnch vyrobku objevuj rozsren jazyka SQL, ktera si viditelne kladou za cl umoznit zskavat-predavat agregovaneudaje vyss- vrstve pracujcsmultidimenzionalnm modelem dat (viz rozsren jazyka SQL od spolecnosti Microsoft o prkazy CUBE a ROLLUP). Podle poslednch vyzkumu organizace pro pruzkum trhu Gartner Group bude klcovym trendem na trhu OLAP snaha o tesne pripojen multidimenzionalnch serveru relacnm DW.

8 2.2 Pozadavky na manipulace s daty Hlavn pozadavkem na manipulace s daty v DW je jejich intuitivnost v tom smyslu, ze se pouzva pojmovy aparat znamy spse z oblasti vyhodnocovan dat (nez z oblasti jejich ukladan): drill-down - zobrazen detailnch dat, ktera byla pouzita pro agregace, roll-up - zobrazen agregovanych hodnot na nejblizs vyss hierarchicke urovni, drill-everywhere - rozsren aktualn analyzy v libovolnem smeru, dicing - rotace nebo prevracen multidimenzionaln tabulky (hyperkostky), slicing - vyclenen jedne vrstvy z multidimenzionaln tabulky, pivoting - transpozice dvourozmerne tabulky (zamena sloupcu za radky a naopak), surng - navigovan v datech pomoc drag and drop\ operac, data mining - prosevanvelkychobjemudatsclem nalezen (skrytych) vztahu mezi nimi, join - spojovan podle odpovdajcch si dimenz. 3 ROLAP, OLAP a EIS Jako prklad multidimenzionalnho ulozen dat si uved'me prevod dat z relacnho modelu v systemu Media EIS pomoc specialnho programovacho jazyka. Mejme cselne promenne Naklady a Trzby a kategorialn promenne Typ vyrobku, Zeme, Mesto, Rok. V systemech EIS jsou pouzvany pojmy ukazatele, resp. promenne, pro sledovane ukazatele (Naklady, Trzby), kategorie, resp. dimenze, pro kategorialn promenne (Typ vyrobku, Oblast, Obdob) a

9 prvky kategori, resp. hodnoty dimenz pro hodnoty kategorialnch promennych, ktere mohou byt hierarchicky usporadany, napr. pro kategorii Oblast muzeme uvazovat prvky Ceska republika Praha Brno Ostrava Slovenska republika Bratislava Kosice... Pokud jsou v relacnm modelu ulozeny napr. denn udaje, je mozne v EIS ukladat pouze sumarizovane udaje za ctvrtlet, prp. rok apod. Vyhodou tohoto multidimenzionalnho ulozen je rychlejs prstup k datum, ktery se vyrazne projev prave v prpade sumarizace udaju. Prklad prevodu: Data: 93,10,1,1,Od, , , , ,10,1,1,Kl, , , , ,10,1,1,St, , , , ,10,1,1,Pr, , e-002, e-002, e ,10,1,1,Br, , , , ,10,1,1,Ko, , e-002, e-002, e ,10,1,1,Ru, , , , ,10,1,1,Ja, , , , e ,10,1,2,Od, , , e-002, e-002 Popis prevodu: LOADER Pro_Doba INPUT ASCII COMMA FILE = \uv{pro_doba.txt} rok kvartal pracov sektory papirny prodcas Cas1 Cas2 Cas3 SELECT Rok = rok Ctvrtleti = kvartal [ _1Ct. = _2Ct. = 04-06

10 _3Ct. = _4Ct. = ] Zdroje = pracovnici [ Delnici = 01 Technici = 02 Management = 03 ] Sektory = sektory [ Prejimka = 01 Vyroba = 02 Obchodnici = 03 Administrativa = 04 ] Papirny = papirny [ Klatovy = Kl Strakonice = St Prachatice = Pr Rumburk = Ru Jablonec = Ja Bruntal = Br Odry = Od Kosice = Ko ] OUTPUT ProduktivniCas = TOTAL (prodcas) ERASE NeproduktivniCas OF _Skoleni = Cas1 NeproduktivniCas OF Dovolena = Cas2 NeproduktivniCas OF NahradniPrace = Cas3 4 Zaver K ukladan dat v ramci technologie Data Warehouse jsou v soucastnosti pouzvany varianty relacnho modelu dat a model multidimezionaln. Posledne jmenovany model je blizs koncovemuuzivateli, umoznuje efektivne ukladat a pracovat s agregovanymi daty. Na druhe strane zdrojem dat pro data Warehouse jsou operativn data ulozena predevsm v relacnch databazch. Podle poslednch vyzkumu organizace pro pruzkum trhu Gartner Group bude klcovym trendem na trhu OLAP snaha o tesne pripojen multidimenzionalnch serveru relacnm DW.

11

12 References [1] Anderson,S., Walker,E.: Building a SAS Data Warehouse. A SAS Institute White Paper, SAS Institute Inc., [2] Bannister,F.E.: OLAP - A Question of Denition. DATASEM'96, Brno , CS-Compex, a.s., str [3] Codd,E.F., Codd,S.B., Salley,C.T.: Providing OLAP (On-line Analytical Processing) to User-Analyst. E. F. Codd & Date, Inc., [4] Emmerich,T., Walker,E.: SAS Institute's Rapid Warehousing Methodology. A SAS Institute White Paper, SAS Institute Inc., [5] Greenberg,H.: OLAP, nebo ROLAP? ComputerWorld, VII(1996), c.30, str.16. [6] Held,G., Neville,P.: Data Mining with the SAS System: From Data to Business Advantage. A SAS Institute White Paper, SAS Institute Inc., [7] Kozak,J.: Pouzita data nevyhazovat! ComputerWorld, VII(1996), c.30, str.16. [8] Lauro,C.: Computational Statistics or Statistical Computing, is that the question? Daily Bulletin of COMPSTAT'96, 29th August 1996, Barcelona. [9] Lhotak,M., Benesovsky,M.: Data Warehousing aneb nic noveho pod sluncem? DATASEM'96, Brno , CS-Compex, a.s., str [10] Linthicum,D.S.: Spoluprace clienta se serverem v praxi. PC Magazine Czech Edition, rocnk IV (1996), cslo 5, str [11] Media EIS. Dokumentace k programovemu systemu, Speedware, [12] Mena,J.: Vytezte vlastn data. ComputerWorld, VII(1996), c.36, str.14. [13] Morton,S., Anderson,A.: Requirements-driven Data Modelling for the SAS Data Warehouse. A SAS Institute White Paper, SAS Institute Inc., [14] Oracle Warehouse. Firemn material, Oracle, [15] SYBASE - Interactive Warehouse. PC Magazine Czech Edition, rocnk IV (1996), cslo 9, str (Specialn inzertn sekce). [16] Stverka,I., Havlena,V.: Zmente vase data v konkurencn vyhodu (1.). ComputerWorld, VII (1996), c.38, str [17] Stverka,I., Havlena,V.: Zmente vase data v konkurencn vyhodu (2.). ComputerWorld, VII (1996), c.39, str [18] Weber,J.: Data Warehouse, ano? Proc? A jak? DATASEM'96, Brno , CS-Compex, a.s., str