Martin Dostal Analýza nestrukturovaných dat s využitím Linked Data

Rozměr: px

Začít zobrazení ze stránky:

Download "Martin Dostal Analýza nestrukturovaných dat s využitím Linked Data"

Jitka Horáčková
před 8 lety
Počet zobrazení:

1 Martin Dostal Analýza nestrukturovaných dat s využitím Linked Data Katedra informatiky a výpočetní techniky Fakulta aplikovaných věd Západočeská univerzita v Plzni

2 1) Linked Data Obsah Problém s různou úrovní popisu Řešení disambiguace 2) Volba vlastností s využitím Linked Data PageRank Pojmenování shluků s LD 3) Analýza sw specifikací ukázka komplexní úlohy 4) Možnosti využití v praxi

Linked Data PageRank Pojmenování shluků s LD 3) Analýza

3 LINKED DATA (PROPOJENÁ DATA) 3

4 1) Linked Data - teorie Data ve strojově čitelné podobě: např. RDF, RDFa, SPARQL The Beatles formerbandmembers John_Lennon http://dbpedia.

4 4 1) Linked Data - teorie Data ve strojově čitelné podobě: např. RDF, RDFa, SPARQL The Beatles formerbandmembers John_Lennon Paul McCartney organisation Liverpool band Help! (album) songs Help! (song) England

5 5 1) Linked Data problém s různou úrovní popisu Co je to? Počítač Notebook Dell Notebook Dell Latitude e6400 LD:

6 6 1) Linked Data disambiguace banka bank (anglicky) břeh Řešení LD: rdfs:comment > company banking or financial services

7 7 1) Linked Data disambiguace Disambiguaci lze realizovat s využitím: 1)Vlastností entity z LD Otevírací hodiny Kontakt: adresa, , telefon většinou dostatečné 2)Popisu entity a company which main services are banking or financial services. + případnou analýzou banking services

telefon většinou dostatečné 2)Popisu entity a company which main

8 VOLBA VLASTNOSTÍ (FEATURE SELECTION) 8

9 9 2) Volba vlastností (feature selection) Cíl Redukce dimenze, snížení počtu vlastností Odstranění rušivých vlastností, které zvýší přesnost a úplnost algoritmu Metoda Výběr existujících vlastností Generování nových vlastností na základě existujících

zvýší přesnost a úplnost algoritmu Metoda Výběr existujících

10 10 2) Volba vlastností s LD Postup: Najdeme klíčová slova dokumentu a namapujeme je na uzly v Linked Data Provedeme expanzi uzlů viz. další slide Uzly ohodnotíme s využitím PageRanku Vybereme uzly dle počtu výskytů, PageRanku apod. a použijeme je jako vlastnosti pro další algoritmy.

další slide Uzly ohodnotíme s využitím PageRanku Vybereme uzly dle

11 11 2) Volba vlastností - princip expanze uzlů Článek: pro uložení dat použijeme MySql nebo v případě většího objemu dat Oracle Postup: 1. Určíme klíčová slova např. statisticky 2. Z LD určíme společného rodiče, kterým je databáze 3. Vstupní množina vlastností pro článek: MySql, Oracle, databáze

Určíme klíčová slova např. statisticky 2.

12 12 2) Princip PageRanku

13 2) Volba vlastností - LD + PR článek MAX PR MAX PR článek článek 13

14 14 2) PageRank inicializace (omezení expanze) a) Všechny hrany mají stejnou váhu. b) Základní uzly mají přidané samocitace. c) Hodnota hran klesá se vzdáleností od počátečních uzlů (obsažených v textu).

15 15 2) Volba vlastností LD + PageRank Vstup: Data: 20 News groups článků, Features (keywords): 2,3 mil. k celé kolekci 20 News groups + vazby mezi vlastnostmi z Linked Data Výstup: Feature selection (LD + PR) ke každému článku:» 1 nejlepší,» max. 20 nejlepších, optimální řešení» všechny nejvýznamnější uzly z komponent. Jak zvolit počet vlastností (uzlů z LD)?

k celé kolekci 20 News groups + vazby mezi vlastnostmi z Linked Data Výstup: Feature

16 16 2) Vliv na klasifikaci - Rocchio class. (F1) Problém s přetrénováním, dobré pro menší trénovací sady

17 17 2) Shlukování s využitím LD Můžeme použít 2 základní přístupy: Využít existující algoritmus vstupem budou získané vlastnosti. Vlastní algoritmus pro shlukování nad vytvořeným grafem využívající např. počet hran mezi uzly nebo délku cesty.

18 18 2) Pojmenování shluků (cluster labeling) existuje: Cluster differential labeling Jméno = 1 nebo více klíčových slov. Maximální odlišení od ostatních shluků. Dobré rozlišení, ale špatně čitelné pro člověka. Cluster internal labeling Jméno = název dokumentu. Výběr dokumentu, který je nejblíže centroidu. Dobře čitelné pro člověka, ale špatné rozlišení. Riziko nevhodně pojmenovaného článku.

Dobré rozlišení, ale špatně čitelné pro člověka.

19 Cluster differential labeling Shopping, clothes Technology, computer Firefox, browsers, IE Existuje 19

20 Cluster internal labeling 18 Breathable, Simple Summer T-Shirts Which of the big five Web Browsers is the Best? What's the difference between an Intel Core i3, i5 and i7? Existuje 20

21 Cluster labeling with Linked Data Clothing fashions Fashion is a popular style or practice, especially in clothing cz, en Technologie Technologie je odvětví techniky, které se zabývá tvorbou Mozilla Firefox Mozilla Firefox je svobodný multiplatformní webový prohlížeč, který Nové 21

22 ANALÝZA SW SPECIFIKACÍ (APLIKACE METOD) 22

23 23 3) Analýza sw specifikací - postup Named Entity Recognition (NER) s LD Detekce aktérů a normalizace: OS -> operační systém Funkční požadavky lze vytipovat s využitím LD Mimo-funkční požadavky LD + ontologie Detekce a normalizace případů použití (use-case) s využitím regulérních výrazů Vyhledat use-case : \b([uu]se\-?[cc]ase) Vyhledání odrážek: [\- \* \# A-Za-z 1-9*]+[\. \)]*

24 3) Ukázka analýzy sw specifikace UseCase: Buyer searches for an offer Scope: Marketplace Component: Marketplace Information System Primary actor: Buyer NER 1. Buyer enters basic search criteria 2.

24 24 3) Ukázka analýzy sw specifikace UseCase: Buyer searches for an offer Scope: Marketplace Component: Marketplace Information System Primary actor: Buyer NER 1. Buyer enters basic search criteria 2. System responds within few seconds with the list of matches 3. Buyr requests the complete listing of a selected offer 4. System responds with the requested information 5. Buyer pays via credit card / wire transfer.

25 3) Výsledek analýzy sw specifikace Aktéři: nakupující (buyer) Požadavky na systém: Hledání (search) Odpověď do několika sekund (few seconds) Požadavky na platby: credit cart wire transfer 1. iterace Požadavky na systém: Odpověď do 2 sekund upřesnění od zákazníka 2. iterace 25

26 26 3) Analýza sw specifikací - význam Hrubou analýzu požadavků provede stroj a omezí možnost lidské chyby. Chybějící požadavky označí člověk. Je možné kombinovat s nástrojem pro správu verzí jako např. GIT. Iterace 1: několika sekund popis_eshopu.doc Iterace 2: 2 sekund popis_eshopu.doc Velký význam pro: Obchodníka např. z důvodu případné reklamace Programátora jasně vidí, že došlo ke změně požadavků a kdy ke změně došlo

27 27 MOŽNOSTI VYUŽITÍ V PRAXI

28 28 Praktické využití Většina metod byla experimentálně implementována v prostředí s omezenou RAM a dobou běhu skriptu. Je možné využití: V prostředí webu JavaScriptová aplikace (AngularJS + NodeJS) Mobilní aplikace Většina výpočtů jde realizovat přímo v zařízení. Rychlost procesorů je více než dostatečná. Uložení dat o velikosti několika GB opět není problém.

29 29 Oblasti využití Linked Data je možné využít k odhalení synonym, nadřazených i podřazených pojmů v libovolném textu. V kombinaci s dalšími metodami je možná detekce překlepů nebo identifikace klíčových frází (2 a více slov). Hlavní význam Linked Data spočívá v podobě přidání sémantického významu do existujících webových stránek např. s využitím RDFa. Viz. následující slide.

30 30 BBC music <div vocab= > <div property= name >Coldplay</div> <div property= sameas > </div> <div property= foundingdate > </div> </div>

31 Závěr Navržené metody lze využít k extrakci témat obsažených v textu. Dle toho lze rychle určit, zda jsou např. dva dokumenty tématicky shodné i když neobsahují stejná slova. Tyto metody jsou zajímavým alternativním řešením k čistě statistickému přístupu. Algoritmy a ani LD nevyžadují žádnou licenci a je možné jejich plné využití.

32 Děkuji za pozornost Dotazy?

Podobné dokumenty

Text Mining: SAS Enterprise Miner versus Teragram. Petr Berka, Tomáš Kliegr VŠE Praha

Text Mining: SAS Enterprise Miner versus Teragram Petr Berka, Tomáš Kliegr VŠE Praha Text mining vs. data mining Text mining = data mining na nestrukturovaných textových dokumentech otázka vhodné reprezentace