Korpusová lingvistika a počítačové zpracování přirozeného jazyka

Rozměr: px

Začít zobrazení ze stránky:

Download "Korpusová lingvistika a počítačové zpracování přirozeného jazyka"

Tadeáš Němeček
před 5 lety
Počet zobrazení:

1 Korpusová lingvistika a počítačové zpracování přirozeného jazyka Vladimír Petkevič & Alexandr Rosen Ústav teoretické a komputační lingvistiky Filozofické fakulty Univerzity Karlovy v Praze Korpusový seminář 5. května 2016 Petkevič & Rosen (ÚTKL FF UK) Korpusy a NLP Seminář ÚČNK 1 / 18

2 Osnova 1 Co je to NLP 2 Historie NLP 3 Metody NLP 4 Čím se NLP zabývá 5 Evaluace NLP 6 Odkazy Petkevič & Rosen (ÚTKL FF UK) Korpusy a NLP Seminář ÚČNK 2 / 18

3 Osnova Co je to NLP 1 Co je to NLP 2 Historie NLP 3 Metody NLP 4 Čím se NLP zabývá 5 Evaluace NLP 6 Odkazy Petkevič & Rosen (ÚTKL FF UK) Korpusy a NLP Seminář ÚČNK 3 / 18

4 Co je to NLP (Počítačové zpracování přirozeného jazyka, neboli: natural language processing (NLP) vs. počítačová lingvistika (computational linguistics) Na pomezí: lingvistiky informatiky umělé inteligence akustiky,... Zkoumá: komunikaci mezi lidmi a počítači v přirozeném jazyce typicky: analýzu a syntézu textů nebo řeči Petkevič & Rosen (ÚTKL FF UK) Korpusy a NLP Seminář ÚČNK 4 / 18

5 Co je to NLP Co NLP zvládne NLP jako to dělá člověk: úkol, který je AI-complete Stejně těžké jako naučit počítat zvládnout to, co člověk (strong AI Počítači něco chybí, co to je? Korpusy a NLP NLP jako (spolu)tvůrce NLP jako uživatel NLP jako pomocník uživatele NLP: i jednoduché metody a nástroje pro zpracování textu na počítači Petkevič & Rosen (ÚTKL FF UK) Korpusy a NLP Seminář ÚČNK 5 / 18

6 Osnova Historie NLP 1 Co je to NLP 2 Historie NLP 3 Metody NLP 4 Čím se NLP zabývá 5 Evaluace NLP 6 Odkazy Petkevič & Rosen (ÚTKL FF UK) Korpusy a NLP Seminář ÚČNK 6 / 18

7 Historie NLP Historie 1950: Turingův test 1954: Georgetownský experiment 1966: Zpráva ALPAC (Automatic Language Processing Advisory Committee) 1966: ELIZA 1970: SHRDLU (Terry Winograd) 1990 strojové učení, statistické modely Petkevič & Rosen (ÚTKL FF UK) Korpusy a NLP Seminář ÚČNK 7 / 18

8 Osnova Metody NLP 1 Co je to NLP 2 Historie NLP 3 Metody NLP 4 Čím se NLP zabývá 5 Evaluace NLP 6 Odkazy Petkevič & Rosen (ÚTKL FF UK) Korpusy a NLP Seminář ÚČNK 8 / 18

9 Metody NLP Metody NLP modelování přirozeného jazyka pravidly (rule-based) statisticky (stochastic) hybridně Petkevič & Rosen (ÚTKL FF UK) Korpusy a NLP Seminář ÚČNK 9 / 18

10 Osnova Čím se NLP zabývá 1 Co je to NLP 2 Historie NLP 3 Metody NLP 4 Čím se NLP zabývá 5 Evaluace NLP 6 Odkazy Petkevič & Rosen (ÚTKL FF UK) Korpusy a NLP Seminář ÚČNK 10 / 18

11 Čím se NLP zabývá Čím se NLP zabývá 1/3 strojový překlad (machine translation) porozumění přirozenému jazyku (NL understanding) syntéza/generování přirozeného jazyka (NL generation) rozpoznávání řeči (speech recognition) syntéza řeči (text-to-speech), včetně znakového jazyka tokenizace, segmentace textu i řeči dialogové systémy, telematika, počítač pro smyslově postižené morfologická analýza morfologická desambiguace (part-of-speech tagging) syntaktická analýza (parsing) analýza diskursu (discourse analysis) analýza textů (text analytics, big data) Petkevič & Rosen (ÚTKL FF UK) Korpusy a NLP Seminář ÚČNK 11 / 18

12 Čím se NLP zabývá Čím se NLP zabývá 2/3 určování koreferencí (coreference resolution) lexikální sémantická disambiguace (word sense disambiguation) postojová analýza (sentiment analysis) rozpoznávání pojmenovaných entit (named entity recognition) identifikace jazyka (language identification) optické rozpoznávání znaků (optical character recognition) rozpoznávání spamu detekce plagiátů, kyberšikany a trollingu automatická administrace internetových diskusí forenzní lingvistika, stylometrie výukový software Petkevič & Rosen (ÚTKL FF UK) Korpusy a NLP Seminář ÚČNK 12 / 18

13 Čím se NLP zabývá Čím se NLP zabývá 3/3 korektury pravopisu a gramatiky (spell and grammar checking) zodpovídání dotazů (question answering) rozvíjení dotazů (question expansion) excerpce informací, naplňování báze znalostí z textu (information retrieval, extraction) indexace textu, řeči, videa ( automatická sumarizace (automatic summarization) zjednodušování textu (text simplification) segmentace podle tématu, určování tématu (topic segmentation and recognition) Petkevič & Rosen (ÚTKL FF UK) Korpusy a NLP Seminář ÚČNK 13 / 18

14 Osnova Evaluace NLP 1 Co je to NLP 2 Historie NLP 3 Metody NLP 4 Čím se NLP zabývá 5 Evaluace NLP 6 Odkazy Petkevič & Rosen (ÚTKL FF UK) Korpusy a NLP Seminář ÚČNK 14 / 18

15 Evaluace NLP Vnitřní vs. vnější etalon (gold standard) vs. srovnatelné výsledky jiného nástroje Černá vs. skleněná skříňka výsledky, rychlost, nároky vs. design, metody, algoritmy, lingvistické zdroje Automaticky vs. ručně etalon s dostatečnou mezianotátorskou shodou (IAA) vs. posuzovatelé Petkevič & Rosen (ÚTKL FF UK) Korpusy a NLP Seminář ÚČNK 15 / 18

16 Osnova Odkazy 1 Co je to NLP 2 Historie NLP 3 Metody NLP 4 Čím se NLP zabývá 5 Evaluace NLP 6 Odkazy Petkevič & Rosen (ÚTKL FF UK) Korpusy a NLP Seminář ÚČNK 16 / 18

17 Odkazy Odkazy http: //blog.algorithmia.com/2015/09/getting-started-with-natural-language-processing/ Petkevič & Rosen (ÚTKL FF UK) Korpusy a NLP Seminář ÚČNK 17 / 18

Podobné dokumenty

NLP & strojové učení

NLP & strojové učení Miloslav Konopík 2. dubna 2013 1 Úvodní informace 2 Jak na to? Miloslav Konopík () NLP & strojové učení 2. dubna 2013 1 / 13 Co je to NLP? NLP = Natural Language Processing (zpracování