Jak dělat strojový překlad lépe než Google Translate

Transkript

1 Mgr. Rudolf Rosa Jak dělat strojový překlad lépe než Google Translate Univerzita Karlova v Praze Matematicko-fyzikální fakulta Ústav formální a aplikované lingvistiky ProSŠ, Gymnázium Kladno, 23. října 2014

2 Co se dozvíte Jak funguje Google Translate? slovník? fráze z internetu? problémy? Jde to i lépe? moje diplomová práce na Matfyzu proč se programátorovi hodí znát českou gramatiku všechny problémy vyřešeny? 2/54

3 Jak překládá počítač? slovník I go by train to Prague 3/54

4 Jak překládá počítač? slovník I go by train to Prague 4/54

5 Jak překládá počítač? slovník I go by train to Prague Já 5/54

6 Jak překládá počítač? slovník I go Já jít/jet by train to Prague 6/54

7 Jak překládá počítač? slovník I go by Já jít/jet přes train to Prague 7/54

8 Jak překládá počítač? slovník I go by train Já jít/jet přes vlak to Prague 8/54

9 Jak překládá počítač? slovník I go by train to Já jít/jet přes vlak do Prague 9/54

10 Jak překládá počítač? slovník I go by train to Prague Já jít/jet přes vlak do Praha 10/54

11 Jak překládá počítač? slovník I go by train to Prague Já jít/jet přes vlak do Praha slovník 11/54

12 Jak překládá počítač? slovník I go by train to Prague Já jít/jet přes vlak do Praha slovník + gramatika 12/54

13 Jak překládá počítač? slovník I go by train to Prague Já jít/jet přes vlak do Praha slovník + gramatika + 13/54

14 Jak překládá počítač? slovník I go by train to Prague Já jít/jet přes vlak do Praha slovník + gramatika + +? 14/54

15 Jak překládá počítač? 1990 zahodit slovník i gramatiku překládat po frázích I go by train to Prague 15/54

16 Jak překládá počítač? 1990 zahodit slovník i gramatiku překládat po frázích I go by train to Prague Jdu/Jedu 16/54

17 Jak překládá počítač? 1990 zahodit slovník i gramatiku překládat po frázích I go by train Jdu/Jedu vlakem to Prague 17/54

18 Jak překládá počítač? 1990 zahodit slovník i gramatiku překládat po frázích I go by train to Prague Jdu/Jedu vlakem do Prahy 18/54

19 Jak překládá počítač? 1990 zahodit slovník i gramatiku překládat po frázích I go by train to Prague Jdu/Jedu vlakem do Prahy kde vzít ty fráze? slovník frází...? 19/54

20 Kde vzít frázovou tabulku filmové titulky, překlady knih, zákony EU... Harry, you'll go to Hogwarts by train. Harry, do Bradavic pojedeš vlakem. But Anna did not intend to travel by train... Citizens are allowed to cross the border by train. Ale Anna se nechystala vlakem cestovat... Občané smí překročit hranici vlakem. 20/54

21 Kde vzít frázovou tabulku filmové titulky, překlady knih, zákony EU... Harry, you'll go to Hogwarts by train. Harry, do Bradavic pojedeš vlakem. But Anna did not intend to travel by train... Citizens are allowed to cross the border by train. Ale Anna se nechystala vlakem cestovat... Občané smí překročit hranici vlakem. 21/54

22 Frázová tabulka nestačí I go Jdu Jedu by train to Prague vlakem do Prahy 22/54

23 Frázová tabulka nestačí I go Jdu Jedu by train to Prague vlakem do Prahy 23/54

24 Frázová tabulka nestačí I go Jdu Jedu by train to Prague vlakem do Prahy I go by train 24/54

25 Frázová tabulka nestačí I go Jdu Jedu by train to Prague vlakem do Prahy I go by train??? 25/54

26 Frázová tabulka nestačí I go Jdu Jedu by train to Prague vlakem do Prahy I go by train??? 26/54

27 Frázová tabulka nestačí I go Jdu Jedu by train to Prague vlakem do Prahy I go by train??? 27/54

28 Frázová tabulka nestačí I go Jdu Jedu by train to Prague vlakem do Prahy I go by train??? 28/54

29 Frázová tabulka nestačí I go Jdu Jedu by train to Prague vlakem do Prahy I go by train??? příliš dlouhá fráze! 29/54

30 Frázová tabulka nestačí paralelních dat je málo Jdu vlakem Jedu vlakem do Prahy ale na tohle přece nepotřebuju paralelní data! monolingválních dat jsou spousty 30/54

31 Už to takhle stačí? Peter is today very happy at school Petr je dnes velmi šťastná ve škole 31/54

32 Už to takhle stačí? Peter is today very happy at school Petr je dnes velmi šťastná ve škole Petr je dnes velmi šťastná příliš dlouhá fráze! 32/54

33 Proč překladači vadí skloňování překlad do angličtiny OK Peter is today very happy, Mary is today very happy, puppy is today very happy... překlad do češtiny problém Petr je dnes velmi šťastný, Jana je dnes velmi šťastná, dítě je dnes velmi šťastné, vodník je dnes velmi šťastný, štěně je dnes velmi šťastné... 33/54

34 Proč překladači vadí skloňování angličtina happy čeština šťastný, šťastná, šťastné, šťastní, šťastného, šťastnému, šťastných 34/54

35 Proč překladači vadí skloňování angličtina happy čeština šťastný, šťastná, šťastné, šťastní, šťastného, šťastnému, šťastných happy, unhappy, happier, unhappier, happiest, unhappiest =6 35/54

36 Proč překladači vadí skloňování 11 různých tvarů šťastný šťastného šťastnému šťastném šťastným šťastná šťastnou šťastné šťastní šťastných šťastnými + stupňování, negace (šťastnější nejnešťastnější) + jmenná přídavná jména: šťasten šťastna šťastno šťastni šťastny šťastnu + nespisovné tvary: šťastnej šťastnějšim nejšťastnějšíma... 36/54

37 Proč překladači vadí skloňování 11 různých tvarů šťastný šťastného šťastnému šťastném šťastným šťastná šťastnou šťastné šťastní šťastných šťastnými + stupňování, negace (šťastnější nejnešťastnější) + jmenná přídavná jména: + nespisovné tvary: šťasten šťastna šťastno šťastni šťastny šťastnu šťastnej šťastnějšim nejšťastnějšíma... celkem 82 tvarů: 37/54

38 Co s tím? když jste Google Translate tak děláte překlad mezi 81 jazyky (3240 párů) nemáte prostor se češtinou zabývat extra prostě zkusíte nasbírat JEŠTĚ VÍC dat když jste student počítačové lingvistiky (= já) můžete zkusit speciálně pro češtinu něco vymyslet co třeba se vrátit k té zahozené gramatice? využít to co funguje (frázový překlad) jenom opravit některé chyby v gramatice 38/54

39 Depfix moje diplomová práce vylepšení strojového překladu z angličtiny do češtiny 1. frázový strojový překlad (jako Google Translate) 2. automatická pravidlová post-editace I. jazykový rozbor věty (existující nástroje) II. oprava gramatických chyb 39/54

40 Jak Depfix opravuje chyby anglická věta: All the winners received a diploma. překlad pomocí frázového překladače: Všem výhercům obdržel diplom. 40/54

41 Jak Depfix opravuje chyby anglická věta: All the winners received a diploma. překlad pomocí frázového překladače: Všem výhercům obdržel diplom. oprava pomocí systému Depfix: Všichni výherci obdrželi diplom. 41/54

42 Jazykový rozbor věty slovní druhy, mluvnické kategorie Všem výhercům obdržel diplom. lemma výherce, podst. jm., 3. p., mn. č., rod m. živ. větný rozbor, větné členy podmět přísudek výhercům obdržel přívlastek shodný Všem předmět diplom 42/54

43 Všem výhercům obdržel diplom. obdržel výhercům diplom Všem 43/54

44 Všem výhercům obdržel diplom. obdržel Pred výhercům diplom Obj Obj Všem Atr 44/54

45 Všem výhercům obdržel diplom. obdržel Pred VpYSXRA výhercům diplom Obj Obj NNMP3 NNIS1 Všem Atr PLXP3 45/54

46 Všem výhercům obdržel diplom. received Pred VBD winners diploma Sb Obj NNS NN All the a Atr AuxA AuxA PDT DT DT obdržel Pred VpYSXRA výhercům diplom Obj Obj NNMP3 NNIS1 Všem Atr PLXP3 46/54

47 Oprava gramatických chyb podmět musí být v 1. pádě shoda přívlastku s podstatným jménem shoda podmětu s přísudkem oprava chybějící negace oprava zvratnosti oprava slovesné a jmenné valence zachování slovesného času 47/54

48 Oprava gramatických chyb podmět musí být v 1. pádě shoda přívlastku s podstatným jménem shoda podmětu s přísudkem oprava chybějící negace oprava zvratnosti oprava slovesné a jmenné valence zachování slovesného času 48/54

49 Všichni výherci obdrželi diplom. received Pred VBD winners diploma Sb Obj NNS NN All the a Atr AuxA AuxA PDT DT DT obdrželi Pred VpMPXRA výherci Sb NNMP1 diplom Obj NNIS1 Všichni Atr PLMP1 49/54

50 Jak Depfix opravuje chyby anglická věta: All the winners received a diploma. překlad pomocí frázového překladače: Všem výhercům obdržel diplom. oprava pomocí systému Depfix: Všichni výherci obdrželi diplom. 50/54

51 Máme nejlepší překlad do češtiny! Země ČR UK ČR USA USA ČR Instituce Matfyz Edinburgh Uni Matfyz Google Microsoft Microton Systém Moses + Depfix Moses Moses Google Translate Bing Translator Eurotran Skóre 0,371 0,356 0,333 0,169 0,030-0,534 Výsledky soutěže ve strojovém překladu WMT 2014 (Workshop on Statistical Machine Translation), překlad z angličtiny do češtiny, kvalita překladu hodnocena lidmi. 51/54

52 Závěr Vytvoření strojového překladače je snadné překlad po frázích texty postahované z internetu Depfix: Pokud chceme dobře překládat do češtiny, vyplatí se zapojit i gramatiku moje diplomová práce a zaměstnání prezentoval jsem na konferencích (USA, Korea, Bulharsko, Itálie...) Spousta problémů zůstává nedořešených... 52/54

53 Motivace pro vás Tohle a mnoho jiného se dělá na Matfyzu hlasové dialogové systémy, droni, roboti, hry... informatika, matematika, fyzika, učitelství M/F/I Přijďte na Den otevřených dveří a na další akce (viz letáky/web) zapojte se do korespondenčních seminářů Nebojte se k nám jít studovat! je to náročné, ale zajímavé stojí to za to 53/54

54 Děkuji za pozornost Rudolf Rosa Jak dělat strojový překlad lépe než Google Translate Univerzita Karlova v Praze Matematicko-fyzikální fakulta Ústav formální a aplikované lingvistiky Tato prezentace a další informace: 54/54