Jak najít optimální překlad polysémních sloves porovnání metod automatické analýzy paralelních textů

Transkript

1 Jak najít optimální překlad polysémních sloves porovnání metod automatické analýzy paralelních textů Elżbieta Kaczmarska, Alexandr Rosen a Jirka Hana Instytut Slawistyki Zachodniej i Południowej, Wydział Polonistyki Uniwersytetu Warszawskiego Ústav teoretické a počítačové lingvistiky, Filozofická fakulta & Ústav formální a aplikované lingvistiky, Matematicko-fyzikální fakulta Univerzity Karlovy v Praze Korpusová lingvistika 2014 Praha, 17. září 2014 Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 1 / 45

2 O čem budeme mluvit 1 Motivace 2 Ruční analýza 3 Předběžné shrnutí 4 Automatická excerpce ekvivalentů 5 Stochastické modelování lexikální ekvivalence 6 Perspektivy 7 Literatura Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 2 / 45

3 O čem budeme mluvit Motivace 1 Motivace 2 Ruční analýza 3 Předběžné shrnutí 4 Automatická excerpce ekvivalentů 5 Stochastické modelování lexikální ekvivalence 6 Perspektivy 7 Literatura Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 3 / 45

4 Motivace Problém s porozuměním a překladem sloves zejména se slovesy vyjadřujícími psychický stav často více ekvivalentů s výraznými rozdíly ve významu Neúplné / nedostatečné informace v tradičních slovnících chybí informace o valenci chybí příklady, které by pomohly ve volbě ekvivalentu [Oliva(1994)] 80 tisíc hesel [Siatkowski & Basaj(2002)] 53 tisíc hesel + 28 tisíc výrazů Příklad: toužit tęsknić tesknit (po čem), stýskat se (komu po čem) marzyć snít (o čem) pragnać prahnout (po čem) [Kaczmarska & Rosen(2013)] (Nezabýváme se definicí pojmů valence a ekvivalent.) Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 4 / 45

5 Cíle Motivace Prozkoumat význam polysémních lexémů srovnáním s jejich ekvivalenty v jiném jazyce, např. v polštině Problémy s volbou ekvivalentu jsou běžné u typologicky vzdálených jazyků, ale vyskytují se i u jazyků spřízněných Najít faktory, které vedou k volbě konkrétního ekvivalentu, na základě kontextu a syntakticko-sémantických vlastností argumentů daného lexému ve zdrojovém jazyce Porovnat různé metody: manuální automatické založené na pravidlech stochastické Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 5 / 45

6 Motivace Je volba ekvivalentu dána valenční strukturou? toužil.. pragnał.. marzył.. tęsknił....po vlasti..ojczyzny..o ojczyźnie..za ojczyzna / do ojczyzny..po pivu..piwa..o piwie..za piwem..najít smysl..znaleźć....o tym, żeby....do tego života za tym żeby....po tom, aby..żeby go lubili..o tym, żeby....do tego / ho měli rádi za tym, żeby..??? Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 6 / 45

7 Co říká korpus? Motivace Paralelní korpus jako zdroj možných ekvivalentů Z paralelních konkordancí obsahující daný lexém lze zjistit: valenční rámec lexému argumenty rámce porovnání významových odstínů agregované údaje pomocí statistické analýzy Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 7 / 45

8 Motivace Analýza Ruční analýza paralelních konkordancí Automatické zarovnání po slovech, automatická excerpce dvoujazyčného slovníku Natrénování a evaluace statistického modelu, který by rozhodl o polských ekvivalentech s využitím českého kontextu ve dvou podobách: nestrukturovaný, lineární kontext syntakticky závislé členy Porovnání s lexikálními/kolokačními profily (Word Sketches, Kolokator) Frekvenční poměry lexémů ověřeny na vyvážených jednojazykových korpusech Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 8 / 45

9 Motivace Data: InterCorp, verze 6 InterCorp vícejazykový paralelní korpus s češtinou uprostřed součást Českého národního korpusu Texty v 31 jazycích + česky Velikost celkem 867/100 mil. slov (cizí/české) Jádro 139/62 mil. slov: beletrie s ručně zkontrolovaným zarovnáním po větách Z toho česko-polská část 12 mil. slov v každém jazyce Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 9 / 45

10 O čem budeme mluvit Ruční analýza 1 Motivace 2 Ruční analýza 3 Předběžné shrnutí 4 Automatická excerpce ekvivalentů 5 Stochastické modelování lexikální ekvivalence 6 Perspektivy 7 Literatura Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 10 / 45

11 Ruční analýza Ruční analýza 1 konkordance sledovaných lexémů v českých originálech 2 anotace podle předmětového argumentu českého lexému: lidská bytost Ohum abstraktum Oabstr konkrétum OR vedlejší věta S infinitiv inf 3 anotace podle podle předmětového argumentu polského ekvivalentu 4 identifikace pravidel pro volbu ekvivalentu podle typu argumentu Výsledky ukazují, jak konkrétní valenční rámec (např. slovesa toužit) (spolu)rozhoduje o překladu. Budeme zkoumat toužit v českých originálech, celkem 219 výskytů. Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 11 / 45

12 Ruční analýza Překlady toužit po OHUM ekvivalent argument počet marzyć o Ohum 2 mieć ochotę inf 1 pożadać Ohum 5 pożadany Ohum 1 pragnać X 1 pragnać inf 1 pragnać Oabstr 1 pragnać Ohum 12 tęsknić X 1 tęsknić do S 1 tęsknić do Oabstr 1 tęsknić do Ohum 5 tęsknić za Ohum 2 zapragnać Oabstr 1 zatęsknić za Ohum 1 żywić miłość do Ohum 1 CELKEM 37 Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 12 / 45

13 Ruční analýza Příklady toužit po OHUM toužit po OHUM pragnać OHUM cs Jsi krásná, nepřestanu po tobě toužit a bát se tvé krásy... pl Jesteś piękna, nigdy nie przestanę cię pragnać i bać się twojej urody... toužit po OHUM tęsknić do S cs Miláčku, já netoužím po rodině. pl Kochanie, ja nie tęsknię do tego, by założyć rodzinę. toužit po OHUM marzyć o OHUM cs Vždycky jsem toužila po člověku, který by byl prostý a přímý. pl Zawsze marzyłam o człowieku, który był by prosty i bezpośredni. Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 13 / 45

14 Ruční analýza Překlady toužit po OABSTR chcieć inf 1 dażyć do Oabstr 2 dbajacy o to S 1 dybać na Oabstr 1 imponować Oabstr 1 marzyć o Oabstr 20 marzyć o Ohum (změna struktury) 1 myśleć o Oabstr 1 pożadać Oabstr 5 pragnać S 1 pragnać inf 4 pragnać Oabstr 29 pragnienie Oabstr 1 szukać Oabstr 1 tęsknić do Oabstr 11 tęsknić za Oabstr 7 tęskno za Oabstr 1 upragniony Oabstr 1 zamierzać inf 1 zapragnać inf 1 żadny Oabstr 1 JINÉ (podstatná změna struktury) 2 CELKEM 94 Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 14 / 45

15 Ruční analýza Příklady toužit po OABSTR toužit po OABSTR pragnać OABSTR Toužíte po odvetě. Pragnie pan odwetu. toužit po OABSTR tęsknić do OABSTR Já toužím po lásce.?ja tęsknię do miłości. toužit po OABSTR marzyć o OABSTR byli jsme unaveni, promočeni a toužili jsme po odpočinku. byliśmy zmęczeni, przemoczeni i marzyliśmy o odpoczynku. Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 15 / 45

16 Překlady toužit po OR Ruční analýza chcieć inf 1 marzyć S 1 marzyć o OR 5 obiekt pożadania 1 pragnać inf 1 pragnać OR 3 tęsknić za OR 2 CELKEM 14 Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 16 / 45

17 Ruční analýza Příklady toužit po OR toužit po OR tęsknić za OR cs Celý život jsem toužila po skutečném domově pl Całe życie tęskniłam za prawdziwym domem toužit po OR marzyć o OR cs Mladý muž touží po vlastním divadle. pl Młody mężczyzna marzył o własnym teatrze. Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 17 / 45

18 Ruční analýza Překlady toužit + INF być pragnieniem inf 1 chcieć inf 20 chętnie S 1 dbać o Oabstr 1 marzyć o Oabstr 4 mieć marzenie inf 1 mieć ochotę inf 1 pragnać inf 44 pragnać S 1 pragnać Oabstr 3 tęsknić za S 1 zachciewać się Oabstr 1 JINÉ (podstatná změna struktury) 1 CELKEM 80 Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 18 / 45

19 Příklady toužit INF 1/2 Ruční analýza toužit INF chcieć INF cs Toužil jsem vidět ho zblízka, anebo se aspoň zeptat, kdo to je a co znamená. pl Strasznie chciałem zobaczyć go z bliska albo przynajmniej się spytać, kto to jest i co to znaczy. toužit INF pragnać INF cs Dobře děláš, řekl náhle v obluzení, touže ji zlíbat a cítě strach. pl Dobrze robisz rzekł jak urzeczony, pragnac ucałować ja i czujac jednocześnie strach. Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 19 / 45

20 Ruční analýza Příklady toužit INF 2/2 toužit INF marzyć o OABST cs Netoužila o něm dlouze rozprávět. pl Nie marzyła o długiej rozmowie na ten temat. toužit INF mieć marzenie INF cs Soudruh hrozně toužil si s Helenou promluvit. pl Towarzysz miał jedno marzenie: rozmawiać z Helena. toužit INF tęsknić za S cs Nakonec toužíte poznat někoho obyčejnýho. pl W końcu tęskni się za tym, by poznać kogoś zwyczajnego. Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 20 / 45

21 Překlady toužit po S Ruční analýza pragnać inf 1 pragnać S 2 chcieć S 1 marzyć się Nom 1 CELKEM 5 Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 21 / 45

22 Ruční analýza Příklady toužit po S toužit po S pragnać S cs Nesmírně toužila po tom, aby se s ní oženil pl Pragnęła bardzo, żeby się z nia ożenił toužit po S chcieć S cs Obama netouží po tom, aby se problémy evropského dluhu rozšířily do Ameriky. pl Prezydent Obama nie chce przecież, żeby europejski problem długu państwowego przeniósł się do Ameryki. Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 22 / 45

23 Překlady toužit S Ruční analýza chcieć S 1 chcieć inf 1 marzyć S 2 pragnać S 11 pragnać inf 2 życzyć sobie S 1 CELKEM 18 Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 23 / 45

24 Příklady toužit S Ruční analýza toužit S pragnać S cs Celý život toužil, aby milovaná žena byla s to tlouci kvůli němu hlavou o zed, křičet zoufalstvím anebo skákat radostí po pokoji. pl Przez całe życie pragnał, żeby ukochana kobieta gotowa była bić dla niego głowa w mur, wyć z rozpaczy i skakać z radości po mieszkaniu. toužit S marzyć S cs Touží, aby ji někdo odnaučil být anachronická! pl Marzy, by ktoś nauczył ja, jak nie być anachroniczna! toužit S chcieć INF cs Toužila, aby s ní sdílelo její samotu alespoň nějaké zvířátko pl Chciała dzielić z kimś swa samotność, choćby z jakimś zwierzatkiem. Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 24 / 45

25 O čem budeme mluvit Předběžné shrnutí 1 Motivace 2 Ruční analýza 3 Předběžné shrnutí 4 Automatická excerpce ekvivalentů 5 Stochastické modelování lexikální ekvivalence 6 Perspektivy 7 Literatura Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 25 / 45

26 toužit (po) cs pl pl val Σ Oa Oh OR inf S Σ Oa Oh OR inf S X chcieć Oa chcieć inf chcieć S dażyć do Oa łaknać OR marzyć o Oa marzyć o Oh marzyć o OR marzyć S mieć ochotę inf pożadać Oa pożadać Oh pragnać Oa pragnać Oh pragnać OR pragnać Inf pragnać S pragnać pragnienie Oa+ing (s)próbować inf spragniony Oa tęsknić do Oa tęsknić do Oh tęsknić za Oa tęsknić za Oh tęsknić za OR złakniony Oa JINÉ Σ

27 Předběžné shrnutí Valence je nejspolehlivější faktor pro výběr ekvivalentu u: toužit + INF nejčastějšími ekvivalenty (> 80 %) jsou: pragnać + INF chcieć + INF Co rozhoduje v ostatních případech: kontext sémantický podtyp OABSTR personifikace tęsknić / bez personifikace tęsknić známý tęsknić / neznámý tęsknić více reálný pragnać / méně reálný marzyć Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 27 / 45

28 Předběžné shrnutí toužit po velké lásce / exotické cestě Marzyć o wielkiej miłości / egzotycznej podróży Tęsknić za wielka miłościa / * egzotyczna podróża Tęsknić do wielkiej miłości / * egzotycznej podróży Pragnać wielkiej miłości /? egzotycznej podróży Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 28 / 45

29 Předběžné shrnutí toužit po OABSTR tęsknić do OABSTR cs Toužila po světě, kde lidé mluví jinou řečí než on. pl Tęskniła do świata, w którym ludzie mówia innym językiem niż on. (který už zná) pl jiné významy: pragnęła świata / marzyła o świecie... (? / který nikdy neviděla) toužit po OABSTR pragnać OABSTR cs Tomáš toužil po světě, kde by vládla spravedlnost. pl Tomasz pragnał świata, w którym panowałaby sprawiedliwość. (který nezná, nemá s ním zkušenost, neexistuje) pl jiné významy: tęsknił do świata / marzył o świecie... (s nímž má zkušenost /?) Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 29 / 45

30 Automatická excerpce ekvivalentů O čem budeme mluvit 1 Motivace 2 Ruční analýza 3 Předběžné shrnutí 4 Automatická excerpce ekvivalentů 5 Stochastické modelování lexikální ekvivalence 6 Perspektivy 7 Literatura Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 30 / 45

31 Automatická excerpce ekvivalentů Automatická excerpce ekvivalentů Tools: Zarovnání po slovech: GIZA++ Texts: InterCorp verze 6 pouze beletrie bez dělení na české/polské/cizí originály pouze zarovnání 1:1 české texty: 11,9 mil. slov polské texty: 11,9 mil. slov počet excerpovaných lemmat: 8,7 mil. dvojic počet dvoujazyčných hesel: 0,5 mil. počet lemmat: 121 tis. českých, 98 tis. polských Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 31 / 45

32 Automatická excerpce ekvivalentů 304 toužit pragnać 107 toužit chcieć 82 toužit tęsknić 70 toužit marzyć 40 toužit pożadać 24 toužit ochota 9 toužit zapragnać 8 toužit pragnienie 8 toužit tęsknota 8 toužit zależeć 7 toužit spragniony 6 toužit życzyć 5 toužit upragniony 4 toužit chęć 4 toužit szukać 4 toužit zatęsknić Celkem dvojic s toužit výskytů: 540 unikátních: 53 Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 32 / 45

33 Automatická excerpce ekvivalentů O volbě mezi automaticky excerpovanými ekvivalenty jednoho lexému nelze rozhodnout bez kontextu, jediným dalším údajem je frekvence. I tak lze takový slovník použít jako základ pro kontrastivní lexikální výzkum. Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 33 / 45

34 Stochastické modelování lexikální ekvivalence O čem budeme mluvit 1 Motivace 2 Ruční analýza 3 Předběžné shrnutí 4 Automatická excerpce ekvivalentů 5 Stochastické modelování lexikální ekvivalence 6 Perspektivy 7 Literatura Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 34 / 45

35 Stochastické modelování lexikální ekvivalence Stochastické modelování lexikální ekvivalence Hypotéza: volba ekvivalentu je dána kontextem Metoda 1: lineární kontext Metoda 2: syntakticky závislé členy / argumenty WIP Je možná standardní evaluace (trénovací/testovací data) Pozor: data nejsou ručně opravena Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 35 / 45

36 Stochastické modelování lexikální ekvivalence Metoda 1: lineární kontext InterCorp verze 7, česko-polská beletrie 10 mil. dvojic slov lemmatizace (v češtině i polštině) zarovnání po slovech pro každý sledovaný český lexém nasbíráme slova z kontextu naivní Bayesův klasifikátor rysů; alternativy dávají stejné nebo horší výsledky v úvahu bereme ekvivalenty, které se na celkovém počtu překladových ekvivalentů daného českého lexému podílejí aspoň 1% Kontext: zleva a zprava: 4+4 pozice (včetně interpunkce) všechna slova si jsou rovna, bez ohledu na vzdálenost uvažujeme jen slova s frekvencí 5 a více nefiltrujeme pomocí stopwords Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 36 / 45

37 Evaluace Stochastické modelování lexikální ekvivalence 10-fold cross-validation 5 českých predikátů: (být) líto mrzet toužit trápit (se) zdát (se) česky frekvence počet polských ekvivalentů správně Kappa líto % 30.5% mrzet % 23.0% toužit % 10.1% trápit % 30.5% zdát % 8.6% Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 37 / 45

38 Stochastické modelování lexikální ekvivalence Kontingenční tabulka (confusion matrix) pro líto a b c d e f < určeno jako a = współczuć b = żałować c = szkoda d = przepraszać e = przykro f = żal Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 38 / 45

39 Stochastické modelování lexikální ekvivalence být líto + NP DAT + NP GEN = żal Je mi ho samozřejmě líto. Jest mi go oczywiście żal... být líto + NP DAT + to / Ø = (być) przykro Potom nám to bylo oběma líto. Potem nam obu było przykro. Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 39 / 45

40 Stochastické modelování lexikální ekvivalence Metoda 2: zavislé/argumenty InterCorp verze 7, česko-polská beletrie, 18 mil. českých tokenů lemmatizace (v češtině i polštině) stochastická syntaktická analýza češtiny: struktura a funkce identifikace efektivních řídících členů zarovnání po slovech pro každý sledovaný český lexém sběr syntaktického kontextu (závislých členů) pravděpodobnostní závislostní klasifikátor Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 40 / 45

41 O čem budeme mluvit Perspektivy 1 Motivace 2 Ruční analýza 3 Předběžné shrnutí 4 Automatická excerpce ekvivalentů 5 Stochastické modelování lexikální ekvivalence 6 Perspektivy 7 Literatura Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 41 / 45

42 Perspektivy Perspektivy Porovnání stochastických metod 1 a 2: co vlastně rozhoduje o volbě ekvivalentu? Generalizace z lexémů na místě závislých/argumentů do sémantických tříd pomocí tezauru Syntaktická analýza polštiny ke zjištění argumentů a symetrickému porovnání? Další rysy pro klasifikátor z kontextu? Jde o podobný úkol jako WSD (word sense disambiguation), možná inspirace pro volbu metody Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 42 / 45

43 Perspektivy Dziękujemy za uwagę! Děkujeme za pozornost! Za technickou pomoc vděčíme Tomáši Jelínkovi, Davidu Marečkovi a Haně Skoumalové Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 43 / 45

44 O čem budeme mluvit Literatura 1 Motivace 2 Ruční analýza 3 Předběžné shrnutí 4 Automatická excerpce ekvivalentů 5 Stochastické modelování lexikální ekvivalence 6 Perspektivy 7 Literatura Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 44 / 45

45 Literatura Kaczmarska, E. & Rosen, A. (2013). Między znaczeniem leksykalnym a walencja próba opracowania metody ekstrakcji ekwiwalentów na podstawie korpusu równoległego (Between lexical meaning and valency towards a method for extracting equivalents based on a parallel corpus). Studia z Filologii Polskiej i Słowiańskiej, 48, Oliva, K. (1994). Polsko-český slovník. Academia, Praha. Siatkowski, J. & Basaj, M. (2002). Słownik czesko-polski. Wiedza Powszechna, Warszawa, 2 edition. Kaczmarska, Rosen & Hana (UW & UK) Jak najít optimální překlad polysémních sloves Korpling 45 / 45