Michal Laclavík Martin Šeleng. Vyh adávanie informácií

Rozměr: px

Začít zobrazení ze stránky:

Download "Michal Laclavík Martin Šeleng. Vyh adávanie informácií"

Jaroslava Dana Macháčková
před 6 lety
Počet zobrazení:

1 Michal Laclavík Martin Šeleng Vyh adávanie informácií Slovenská technická univerzita v Bratislave 2012

2 RNDr. Michal Laclavík, PhD., Mgr. Martin Šeleng, PhD. Lektori: Prof. Ing. Ján Parali, PhD. Mgr. Gabriela Kosková, PhD. Vydala Slovenská technická univerzita v Bratislave vo Vydavate stve STU, Bratislava, Vazovova 5. Text prešiel jazykovou úpravou vydavate stva. Schválilo vedenie Fakulty informatiky a informa ných technológií STU v Bratislave d a , íslo rozhodnutia pre študijný program Softvérové inžinierstvo a Informa né systémy

3 ANOTÁCIA U ebný text sa venuje jednej z dôležitých oblastí sú asnej informatiky, ktorou je vyh adávanie informácií (information retrieval). Zameriava sa na vyh adávanie informácií na webe, ale tiež na oblas extrakcie informácií. Diskutuje o základných pojmoch z oblasti vyh adávania a získavania informácií z internetu a extrakcie informácií, ako aj o základných modeloch pre túto oblas. U ebný text sa venuje jednotlivým témam v poradí cyklu spracovania informácií: získanie údajov, predspracovanie, indexovanie alebo extrakcia a následné vyh adávanie. Dôležitou témou je hodnotenie úspešnosti systémov na vyh adávanie informácií. U ebný text vysvet uje aj existujúce architektúry a systémy, predovšetkým architektúry vytvorené firmou Google, ako aj vo ne dostupné softvérové riešenia, ktoré umož ujú tvorbu takýchto systémov. Príloha obsahuje príklady úloh z vyh adávania informácií aj s uvedením naj astejších chýb pri ich riešení. U ebný text je ur ený študentom informatického zamerania na vysokých školách technického, prírodovedného a ekonomického smeru, najmä však študentom Fakulty informatiky a informa ných technológií Slovenskej technickej univerzity v Bratislave, kde je predmet Vyh adávanie informácií povinne volite ným predmetom inžinierskeho štúdia pre študijné programy Softvérové inžinierstvo a Informa né systémy. v

4 OBSAH ANOTÁCIA... V OBSAH... VII Slovník... x Zoznam obrázkov... xi Zoznam tabuliek... xii 1 ÚVOD Skrátená história vyh adávania informácií O knihe Pre koho je kniha ur ená Príklady dokumentov Témy knihy alšie témy súvisiace s vyh adávaním informácií Príklady k jednotlivým témam Základné pojmy a architektúra vyh adávacieho systému Informa ný priestor, dopyt a výsledok Architektúra ZÍSKAVANIE DÁT ALEBO DOKUMENTOV Techniky s ahovania dokumentov z webu S ahova e so zameraním Spracovanie liniek Príklady ANALÝZA TEXTU, TEXTOVÉ OPERÁCIE Konverzia dokumentov na text Segmentácia textu vii

5 3.3 Tokenizácia textu Konverzia zna iek na termy Základný tvar slov Lematizácia a stemovanie v sloven ine Analýza textu pomocou knižnice Lucene Príklady MODELY A INDEXOVANIE Invertovaný index Invertovaný index z web dokumentov Frekvencia termov, váženie a normalizácia Príklady VYH ADÁVANIE A USPORIADANIE Vyh adávanie Usporiadanie Podobnos Algoritmus PageRank Algoritmus HITS Algoritmus OPIC Algoritmus SALSA Príklady REGULÁRNE VÝRAZY Úvod do regulárnych výrazov Zhrnutie vlastností regulárnych výrazov Regulárne výrazy v úlohách vyh adávania a extrakcie informácií S ahovanie dokumentov Predspracovanie textu Identifikácia entít Príklady EXTRAKCIA INFORMÁCIÍ Metódy extrakcie informácií Slovníkové metódy viii

6 7.1.2 Metódy založené na pravidlách a vzoroch Metódy strojového u enia Vyhodnotenie úspešnosti extrakcie informácií Manuálna anotácia Príklady HODNOTENIE ÚSPEŠNOSTI Príklady SÚ ASNÝ INTERNET Internetový vyh adáva Google Škálovate né riešenia na spracovanie ve kých objemov dát Distribuované súborové systémy Distribuované spracovanie dát Architektúra MapReduce Príklady SOFTVÉROVÉ KNIŽNICE A DÁTOVÉ ZDROJE Softvérové knižnice a systémy Textové operácie Lucene a súvisiace projekty Extrakcia informácií Dostupné dátové zdroje v slovenskom jazyku ZÁVER POUŽITÁ LITERATÚRA PRÍLOHA - SKÚŠKOVÉ TESTY Skúškový text z roku Skúškový text z roku Skúškový text z roku Skúškový text z roku Skúškový text z roku INDEX ix

7 INDEX Akurátnos Analýza textu Anchor text...17, 37, 38, 89 BM , 31 Booleovský model Business Inteligence... 8 Cranfield experiment... 2, 79 Crawler Data Mining... 8, 77 Dolovanie dát... 8, 77 Dopyt... 9, 41, 80 Euklidovská vzdialenos Extrakcia informácií...68, 73, 75, 98 Focused Crawer GATE Gazetteer Google... 43, 87, 89 Hadoop... 91, 97 HITS Hodnotenie úspešnosti Identifikácia jazyka Indexovanie... 29, 31 Informa ný priestor... 9 Invertovaný index... 32, 35, 37 Kontext používate a... 7 Kosínusová korelácia Lematizácia Linky Lucene MapReduce... 90, 91, 92 Named Entity recognition Natural Language Processing... 6 Normalizácia Nutch Okapi... 2, 31 Ontea OpenNLP OPIC PageRank... 44, 88 Podniková inteligencia... 8 Pravdepodobnostný model Precision... 79, 80 Presnos... 79, 80 Recall... 79, 80 Regexy Regulárne výrazy Rozpoznávanie názvoslovných entít. 73 SALSA Segmentácia textu Sémantický web... 6 Solr Spracovanie prirodzeného jazyka... 6 S ahova S ahova so zameraním Stemovanie Stop slová Strojový preklad... 7 Termy Text linky... 17, 37, 38, 88 Tf-idf Tika Tokenizácia UIMA Úplnos... 79, 81 Usporiadanie Vektorový model Výsledok... 9, 80 Základný tvar slov

Podobné dokumenty

Uvoľnené úlohy v medzinárodných testovaniach a ich využitie vo vyučovaní

Moderné vzdelávanie pre vedomostnú spoločnosť/projekt je spolufinancovaný zo zdrojov EÚ Uvoľnené úlohy v medzinárodných testovaniach a ich využitie vo vyučovaní Finančná a štatistická gramotnosť žiakov