Inovace studia obecné jazykovědy a teorie komunikace ve spolupráci s přírodními vědami. reg. č.: CZ.1.07/2.2.00/

Transkript

1 Inovace studia obecné jazykovědy a teorie komunikace ve spolupráci s přírodními vědami reg. č.: CZ.1.07/2.2.00/

2 Lingvistické aplikace Kateřina Veselovská po 16:45 18:15 Kateřinská 17, 1.16

3 Kateřina Veselovská vědecká pracovnice + doktorandka ÚFAL On the Linguistic Structure of Emotional Meaning in Czech produktová manažerka pro textovou analytiku

4 Co budeme dělat Lingvistické aplikace = kde všude lze lingvistické znalosti uplatnit prakticky

5 Co budeme dělat lingvistická analýza textu (k čemu a jak) rozpoznávání mluvené řeči (dialogové systémy a spol.) rozpoznávání jazyka (strojový překlad apod.) dolování informací (automatická detekce emocí atd.) neuro a psycholingvistické aplikace

6 Co budu chtít aktivní účast v semináři esej na vybrané téma heslo v encyklopedii zápočet Co za to

7 Lingvistické aplikace Aplikovaná lingvistika = VŠECHNO

8

9 Aplikovaná lingvistika a) humanitní = didaktika jazyka, teorie překladu, jazyková terapie b) komputační = umělá inteligence, automatizace, strojový překlad

10 Aplikovaná lingvistika c) narativní věda = vězměte jakákoliv data (zákaznické y, fotbalové statistiky, bankovní účty) a proměňte je v příběh.

11 Lingvistická analýza textu motivace Samotná data vám řeknou JAK se lidé chovají. Lingvistická analýza vám řekne PROČ.

12 Příklady zdrojů dat

13 Lingvistická analýza textu motivace lepší pochopení zákaznických potřeb o čem zákazníci mluví, co si myslí, jak se cítí atp. zefektivnění práce zaměstnanců úspora času, inteligentní plánování obeznámenost s konkurencí co plánují, na čem pracují, o čem se baví ostatní integrace výše zmíněného přizpůsobení procesů

14 Lingvistická analýza textu jak automatická kategorizace sémantické technologie shluková analýza extrakce entit automatická sumarizace question answering analýza sentimentu strojový překlad atd.

15 Příprava dat segmentace na věty tokenizace spell-checking lemmatizace Part-of-speech tagging parsing

16 Automatická kategorizace obsahová analýza přiřazuje k textu některou z předem daných kategorií - na základě četnosti výskytů - na základě strojového učení

17 Automatická kategorizace Také jsem se o tuhle hypotéku trochu zajímal. Přišla mi až podezřele výhodná a bez skrytých drobných částek placených kolem, které ve finále hypotéku celkem přidraží. Problém je, když něco najdou (nějaký dluh nebo nějakou nesrovnalost). To prý žádost o hypotéku zamítnou, zapíše se to do databáze a je potom složitější získat hypotéku u jiné instituce. kategorie hypotéka

18 Shluková analýza obsahová analýza rozděluje texty do skupin - na základě podobností - sémantické sítě - hierarchické/nehierarchické klastrování

19 Shluková analýza

20 Sumarizace textu summary extraction výběr podstatných vět (heuristika, statistika, latentní sémantická analýza) summary abstraction hlubší sémantická analýza

21 Sumarizace textu Každý už ví, že dovolenou je nutno kupovat jen u CK pojištěné proti úpadku. Ale kterou CK vybrat. Kam jít koupit svou vysněnou dovolenou. Možností je hodně. I já jsem zpočátku obíhala cestovní kanceláře ve městě. Nyní ale využívám mnohem rychlejší a pohodlnější způsob. Vybírám si dovolenou na internetových stránkách. Jsou zde zájezdy všech velkých cestovních kanceláří a více než sta dalších ck. Do celého světa a za stejnou cenu jako u cestovní kanceláře. Navíc dostávám dárek - pojištění stornopoplatků v hodnotě 600Kč zdarma. To vše rychle a z pohodlí domova - internetem. Každý už ví, že dovolenou je nutno kupovat jen u CK pojištěné proti úpadku. Do celého světa a za stejnou cenu jako u cestovní kanceláře. To vše rychle a z pohodlí domova - internetem.

22 Analýza sentimentu automatická extrakce názorů a postojů z textu - pozitivní a negativní sentiment - extrakce cílů hodnocení jednoduché hlasování strojové učení pravděpodobnostní modely

23 Analýza sentimentu [Pochvala pro callcentrum Reiffeisenbank, když jsem si vyřizoval tu KK Style, aspoň že mají vstřícný zaměstnance, což jinde bejvá někdy problém.]+ - hlasování s prostou většinou na základě slovníku

24 Analýza sentimentu

25 Sémantické technologie získávání informací ze sémantického webu např. pomocí běžných ontologií extrakce faktů auto = dopravní prostředek, má řidiče = člověka, který má řidičský průkaz Petr jel autem do práce = Petr pravděpodobně má řidičský průkaz.

26 Extrakce entit určení entit zmíněných v textu - známé i neznámé entity - eventy atp. katalogy variant pravidlová extrakce desambiguace

27 Extrakce entit Paris Hilton je jednou z největších superstar současného Hollywoodu. Prosadila se před necelými čtyřmi lety v lehce skandální televizní live-show The Simple Life, kterou produkovala stanice Fox. Dále se objevila v televizních sériích Las Vegas nebo Veronica Mars.

28 Question answering systémy pro automatické odpovědi - na základě korpusu - filtrování false positives aj. Q: Co je to aplikovaná lingvistika? A: Narativní věda.

29 Lingvistická analýza textu - proč customer churn analysis customer loyalty analysis customer risk analysis customer feedback analysis analýza sociálních sítí

30 Customer churn analysis Blahopřeju vám k anti-péči o zákazníka. Jsem u vás od roku 2002 a jediné co mi umíte nabídnout jsou běžné a stále dost nevýhodné tarify. Člověk si aspoň uvědomí, jak moc potřebujeme Evropskou unii (jejíž instituce jako jediná z relevantních subjektů tlačí ceny dolů). Po špatných zkušenostech hodlám přejít ke konkurenci. analýza sentimentu, kategorizace

31 Customer loyalty analysis Produkt této společnosti používám na několika PC už několik let a zatím jsem neobjevil žádné vady. Vzhledem k mé naprosté spokojenosti ani do budoucna nehodlám měnit. analýza sentimentu, kategorizace

32 Customer risk analysis Detekce lži: kratší věty, krátká slova, více výrazů vyjadřujících pozitivní emoce (+ další dimenze) Detekce spamu, detekce falešných profilů aj. obsahová analýza, analýza sentimentu

33 Customer feedback analysis Koupit si tento fotoaparát a spoléhat na jméno firmy se mi vůbec nevyplatilo. Např. proti mému stařičkému fotoaparátu je toto naprostý propadák. Průměrný telefon s fotoaparátem udělá stejné, ne-li lepší fotografie. Ani komunikace s centrem podpory nestojí za nic. Výrobek mě zklamal a víckrát už si žádný produkt této firmy bezpochyby nekoupím. cílený marketing

34 Analýza sociálních sítí personalizovaný marketing, individuální interakce se zákazníkem

35 Lingvistická analýza textu - shrnutí žijeme ve věku velkých dat, která stále přibývají

36 Lingvistická analýza textu - shrnutí rozvoj Webu 2.0 => obsah generovaný uživateli => potřeba třídění a vytěžování informací => potřeba kvalifikovaných lingvistů

37 Příště témata exkurze na ÚFAL dialogové systémy

38 Příště úkoly popovídejte si s Petrou: popovídejte si s Alex: