Dolování z textu. Martin Vítek

Transkript

1 Dolování z textu Martin Vítek

2 Proč dolovat z textu Obrovské množství materiálu v nestrukturované textové podobě knihy časopisy vědeckéčlánky sborníky konferencí internetové diskuse

3 Proč dolovat z textu Není problém získat velké množstvíčlánků a informací, ale vybrat z nich ty zajímavé, vztahující se k nějakému problému

4 Rozdíl proti klasickému dolování znalostí z databází Nevyhledává se ve strukturovaných tabulkách a nějak uspořádaných záznamech ale v prostém textu ve tvaru čitelném pro člověka.

5 Dolování v textu Skládá se ze 3 částí předzpracování dolování dat upřesnění

6 Přístupy k dolování v textu Tradiční přístup uživatel dopředu ví, co zhruba hledá, a umí systému předložit množinu dokumentů, které ho zajímají, jako vzorek. Nový přístup systém sám přebírá aktivitu předkládá návrhy uživateli uživatel systém pouze navádí systém sám provádí filtrování, uspořádávání, zobecňování, shlukování dokumentů

7 Čím je dolování v textu jiné Významným rysem sbírky dokumentů je velké množství vlastností popisujících každý dokument. Typicky tisíce klíčových slov To je mnohem více než počty atributů analyzovaných při dolování z relačních databází

8 Čím je dolování v textu jiné Tyto vlastnosti jsou zároveň velmi řídké pouze malé % klíčových slov se objevuje v jednotlivých dokumentech Reprezentujeme-li článek vektorem, většina hodnot je 0

9 Vektorová reprezentace článku Binární pokud se určité slovo v dokumentu vyskytuje více aspoň 1x, bude na jeho pozici ve vektoru 1, jinak tam bude 0. Frekvenční na každé pozici vektoru je počet slova v dokumentu

10 Vektorová reprezentace článku Reprezentace TF-IDF (term frequency inverse document frequency) zohledňuje výskyty slova v textu a současně snižuje jeho důležitost podle množství výskytu v ostatních dokumentech Hadamardova reprezentace Na i-tém místě ve vektoru bude normovaná frekvence slova v dokumentu násobená frekvencí slova v tréninkové množině

11 Metoda I. Reprezentovat dokument jako vektor slov Hledat asociační pravidla Nevede k cíli. Nachází těžce interpretovatelná pravidla nebo příliš obecná pravidla...

12 Metoda II. Automatická konstrukce textových klasifikátorů Založeno na trénovacíchčláncích Použití statistických metod Učení Přiřazuje hodnocení novým neohodnoceným dokumentům na základě množiny už ohodnocených

13 Další metody Ohodnocováníčlánků podle trénovací množiny ohodnocené expertem Využití strojového učení neuronových sítí metody nejbližšího souseda naivního Bayesova klasifikátoru rozhodovacích stromů

14 Častý problém Člověk si ukládá pouze informace pro něj zajímavé Nezajímavé ihned zahazuje Je potřeba mít vzorky zajímavých informací i nezajímavých

15 Metoda III. Použití normalizovaných termů Term je sekvence jednoho nebo více slov spolu s určením slovního druhu Příklad: banka/podstatné jméno roční/přídavné jméno

16 Extrakce termů

17 Jazykové odlišnosti Je třeba se zabývat zvláštnostmi jazyka článku předpony a přípony různé pořadí slov ve větě pády množnáčísla...

18 Generování termů Z jednotlivých termů se hledají složené termy, kterými se pak jednotlivé termy nahrazují. Různé kombinace podstatné jméno & podstatné jméno přídavné jméno & podstatné jméno... Příklad: diskontní sazba

19 Generování termů Složené termy se mohou dále slučovat Mnoho možností, které všechny dvojice zahrnout Stále otevřený problém pro výzkum

20 Filtrování termů Fáze generování termů generuje termy bez ohledu na to, jestli jsou nějak charakteristické pro daný dokument. Cílem filtrace je redukce množství termů a výběr jen několika nejfrekventovanějších Je potřeba zahodit termy vyskytující se ve všech dokumentech s konstantním rozložením

21 Třídění termů Vytvoření taxonomie termů Hledání asociačních pravidel Taxonomie slouží uživateli k zadávání úkolů pro dolování

22 Podpora produktu SAS Enterprise Miner pro dolování z textu Nástroj SAS Text Miner ning/textminer/ Transformuje textová data do jiného formátu umožňujícího třídit dokumenty do kategorií, klasifikaci dokumentů, vyhledávání vztahů mezi dokumenty Umí pracovat s textovými daty a současně se strukturovanými daty a integrovat je dohromady

23 Podpora produktu SAS Enterprise Miner pro dolování z textu Určen pro každého, kdo musí zpracovat velká množství textů Podporuje všechny důležité formáty dokumentů (HTML, MS Office, Lotus, ASCII, PDF) Disponuje moduly a slovníky pro spoustu významných jazyků (čeština ne)

24 Podpora produktu SAS Enterprise Miner pro dolování z textu Automatická extrakce termů z velkého množství dokumentů Rozlišení termů podle slovních druhů Disponuje slovníky termů z mnoha oblastí lidskéčinnosti Shlukování dokumentů o stejných tématech

25 Literatura Han, J., Kamber, M.: Data Mining: Concepts and Techniques. Morgan Kaufmann Publishers, 2001, 550 p. Handbook of Data Mining and Knowledge Discovery. Oxford University Press 2002 Hroza, J.: Automatizovaná podpora filtrace elektronických textových dokumentů metodami strojového učení, teze disertační práce