CKL. Centrum. lingvistiky. Projekt MŠMT M MT LC536 (LC05) Univerzita Karlova v Praze, ÚFAL MFF. Masarykova Univerzita Brno, FI

Transkript

1 CKL --- Centrum komputační lingvistiky Projekt MŠMT M MT LC536 (LC05) Univerzita Karlova v Praze, ÚFAL MFF Západočeská univerzita Plzeň,, KKY FAV Masarykova Univerzita Brno, FI Ústav pro jazyk český AV ČR R Praha

2 Program kontroly na pracovišti MFF UK, Malostranské nám. 25 Posluchárna S9, 1. patro 8:30-9:20 Prezentace Centra (J. Hajič) 9:20-9:50 Diskuse 9:50-10:15 Prohlídka pracoviště a výpočetn etních kapacit 10:15-10:30 Zápis Z a závěrz lingvistiky (LC536) 2

3 Projekt Centra Cíl: integrovat statisticko-matematickou, počíta tačovou a lingvistickou složku výzkumu integrovat výzkum mluvené řeči i a zpracování jazyka vytvořit anotovaná data vytvořit nástroje n (významové) ) analýzy a syntézy integrovat lexikáln lní zdroje vč. v. software lingvistiky (LC536) 3

4 Kontext vzniku Centra Dříve: lingvistiky (program MŠMT M MT LN), UK, ÚJČ,, ZČUZ Nyní: : lingvistiky (opět) základnz kladní výzkum, program MŠMT M MT LC05 k existujícím m partnerům m přibyla p Fakulta informatiky MU Brno (Laboratoř NLP) lingvistiky (LC536) 4

5 lingvistiky: personáln lní obsazení Rozpočet a doba řešení 53,6 mil. Kč, K, (4 roky 9 měs.) Personáln lní obsazení (2009): 1 řešitel-koordinátor (prof.) Dále: 7 řešitelů a garantů (3x prof., 4x doc.) 9 mladých věd. v pracovníků (Ph.D.) Z toho 8 obhájilo v době zaměstn stnání v CKL 24 doktorandů (Mgr., Ing., RNDr.) lingvistiky (LC536) 5

6 Pracoviště (1) UK Praha (ÚFAL( MFF) vytvářen ení jazykových dat teoretický výzkum jazyka i metod zpracování SW nástroje n pro analýzu a syntézu ZČU U Plzeň,, KKY FAV analýza a syntéza mluvené řeči, zejm. akustika tvorba dat (transkripce, anotace) lingvistiky (LC536) 6

7 Pracoviště (2) MU Brno, FI, NLP laboratoř lexikáln lní nástroje lexikáln lní databáze: definice, správa, využit ití ÚJČ AV ČR elektronizace historických lexikáln lních dat spolupráce na definici lexikáln lní databáze lingvistiky (LC536) 7

8 Koordinace a komunikace Neformáln lní i formáln lní schůzky Rada Centra Jednou ročně Představení projektu pro širší veřejnost ejnost Naposledy , Praha Spolupráce v rámci r projektů EU / USA Obhajoby doktorských prací,, rigorózn zní zk. lingvistiky (LC536) 8

9 Rok 2005 Zahájen jení práce v Centru (Až) ) překlenutí ze zdrojů instituce Změna názvu n (tradice, návaznost) n Redukovaný rozpočet na cca ¾: : 7,0 mil. KčK Pořízen zení investic (výpočetn etní stroje - budoucí výpočetn etní cluster) - cca 1,7 mil. KčK Rozdělen lení studentů a prací mezi projekty Žádosti o evropský projekt (několik) lingvistiky (LC536) 9

10 Rok 2006 První ucelený rok práce Dokončen ení projektu PDT 2.0 (UK, vyd.. v USA) Projekt Rekonstrukce řeči (UK, specifikace) Práce na slovnících ch (UK, MU) Mluvená řeč analýza, syntéza (hl. ZČU) Z IR CLEF testovací kolekce, mez. soutěž ěž,, 1. část Digitalizace hist.. zdrojů (ÚJČ) Spol. mez. projekt EU (IP): UK, ZČUZ Další zahr.. spolupráce: EU, USA 40 výsledků v RIV lingvistiky (LC536) 10

11 Polovina projektu Rok 2007 Lexikáln lní zdroje (UK, MU + ÚJČ) Důraz na češtinu i angličtinu (noví pracovníci ci v týmu) Specifikace anotace, anotační software, anotace dat na všech v rovinách (ZČU, UK) Integrace mluvené řeči i a zpracování jazyka (UK, ZČU) Z Nástroje pro aut. analýzu a syntézu jazyka Mluvená řeč i psaný jazyk (UK, MU, ZČU) Z Pokračov ování mez. spolupráce EU (3 projekty 6.RP: UK, UK+ZČU), U), USA (UK, UK+ZČU) U) Organizace celosvět.. konference ACL 1000 úč.. (UK) 66 výsledků v RIV (16 čas., 39 sb., 5 SW/data atd.) lingvistiky (LC536) 11

12 Upravené cíle Rok 2008 Lexikáln lní zdroje (MU, UK, ÚJČ) Softwarové lexikáln lní nástroje Sémantika (rozp( rozp.. plagiátů: : MU), analýza morf., synt., sém.. (UK, MU), generování (UK) Nové algoritmy rozpoznávání řeči Prozodie, jaz.. modelování,, rekonstrukce řeči Získávání další ších jazykových dat, korpusové nástroje Anotace dat a výzkum pro strojový překladp Platforma TectoMT pro strojový překladp Teoretická formáln lní lingvistika, užitu ití jazyka Výsledky (RIV): 64, 13 čl., 32 sb., 5 knih, 5 SW aj. lingvistiky (LC536) 12

13 UK v Praze MFF, ÚFAL Rozvoj PDT 2.0 Formalizace obsahu sdělen lení (teoret.. výzkum + anotace) teoreticko-empirický empirický výzkum (př.: diskurs) Anotace mluvených dat (rekonstrukce řeči) Nové metody morf. disambiguace,, anotace ČNK Generování češtiny, angličtiny z formáln lního zápisuz Dialogové systémy integrace porozumění jazyku Výsledky budou využity pro EU IP Companions Information retrieval data a aut. Zpracování Strojový překlad p - nástroje a data lingvistiky (LC536) 13

14 ZČU U Plzeň FAV, Kat. kybernetiky Rozpoznávání řeči Parametrizace signálu Akustické a jazykové modely Syntéza řeči Prozodické chrakteristiky (ARTIC) Data-driven (statistické) ) metody modelování IR (mluvená data) Vývoj testovací kolekce Spolupráce s UK (vč.. projektů Companions,, Malach) lingvistiky (LC536) 14

15 MU Brno FI, Laboratoř zpracování přirozeného jazyka Lexikáln lní nástroje a zdroje (spol. s ÚJČ) Platforma DEB II Lexikografická stanice Praled,, s ÚJČ Verbalex WordNet rozší šíření (29 tis. položek) Analýza češtiny Morfologie (derivace), desambiguace SYNT (synt( synt.. analyzátor), anafora Sémantické vztahy lingvistiky (LC536) 15

16 ÚJČ AV ČR Lexikáln lní zdroje Vývoj lexikograf. stanice Praled (s MU Brno) dokončeno 3,500 položek databáze Digitalizace archívu (s UK) Skenování, identifikace excerpt cca 4,000,000 celkem (do konce projektu) Nyní: : 1,2 mil. identifikováno no lingvistiky (LC536) 16

17 Dosažen ené výsledky Souhrn RIV (unikátn tních) záznamz znamů 166 celkem (->( > spol. publikace) 64 v roce 2008 Většina: články ve sbornících ch konferencí Obvyklé schéma v oboru komputační lingvistiky workshop (specializované) ) / konference (obecnější ší) Některé časopisy (původn vodní,, ale spíš íše e souhrnné výsledky) LNCS, IEEE Transactions,, LRE Software a data: důraz d na open source lingvistiky (LC536) 17

18 Nejcennější výsledky - publikace Články Semi-supervised POS tagging (EACL 2009) Nejlepší dosud dosažen ené výsledky i pro angličtinu Extension of HVS Semantic Parser by Allowing Left-Right Branching (ICASSP 2008) Nový výsledek navazující na práci S. Younga Large-scale Semantic Networks: Annotation and Evaluation Kniha NAACL 2009; výsledek spolupráce s Google Research, švýc. Valenční slovník českých sloves (Karolinum) Elektronická verze k dispozici lingvistiky (LC536) 18

19 Nejcennější výsledky - data Korpusy (jazykové databáze, vydané celosvětov tově) Prague Dependency Treebank 2.0, Linguistic Data Consortium 2006 Czech Wordnet 1.0 (ELRA, 2008) Sign Language, Audiovisual (ELRA, 2008) Testovací kolekce CLEF 2006, 2007 Multilingual cross-langauge search competitions Machine Translation Open Competition - EuroMatrix Czech-English English, German, French, Italian, Hungarian, Spanish CoNLL Shared Task 2007, 2009, koordinace v r Dependency parsing, semantic role labeling (čeština) lingvistiky (LC536) 19

20 Nejcennější výsledky - software Software Korpusový manažer Bonito/Manatee Celosvětov tové použit ití: ČNK, SNK; Hu, Hr,, GB Word Sketch Engine Komerční využit ití,, spol. s Lexical Computing ComPOST State-of of-the-art POS tagger (Cz( Cz,, Sk, En,...) Syntaktický parser MST (čeština) Ve spolupráci s Univ. of Pennsylvania lingvistiky (LC536) 20

21 Vliv vzniku Centra na spolupracující organizace Využit ití účelové podpory 3/4 nákladn kladů: : osobní náklady Cestovné,, technické zabezpečen ení Investice (rok 1 a a 2006) Výpočetn etní technika, statistické výpočty Malé doplňkov kové náklady (režie - do 12%) nehmotný dopad - nejdůle ležitější: Vytvořen ení perspektivních týmů Mgr./Ph.D. studenti lingvistiky (LC536) 21

22 Plnění podmínek programu a smlouvy I Zaměstn stnávání a vedení doktorandů (škol. prac.) Nyní na všech v 4 pracovištích ch (2009: 10/4/9/1) Podmínka: min. 1 pracoviště Účast studentů (Bc./Mgr./Ph.D.) Celkem prošlo CKL 35 studentů 5 národnostn rodností Uplatnění v komerční sféře Splněno no Splněno no Petr Němec N (UK): TextKernel,, Hol.; Kiril Ribarov (UK): ČEZ Jan Romportl,, Aleš Pražák: SpeechTech (spinoff,, ZČU) Z Vladimír Kadlec (MU Brno): Acision (GB) Býv.. CKL (LN): M. Čmejrek,, J. Cuřín (UK): IBM Research lingvistiky (LC536) 22

23 Plnění podmínek programu a smlouvy II Podmínka: zapojení do evr.. výzkumného prostoru 6 projektů EU, 6. a 7. RP Všechny typy: IP, STREP, NoE; ; SSA, Dig. Libraries USA Companions (IP) - ZČU, UK; EuroMatrix, EuroMatrixPlus (STREP) - UK Clarin (SSA) - UK, MU, ÚJČ; ; KYOTO (Dig( Dig. Libraries) - MU Malach (do 2007; UK, ZČU): Z USC, JHU, IBM, UMD PIRE: rozpoznávání řeči i a strojový překlad p (UK, nepřímo ZČU): Z JHU, Brown Univ. Treebanking: Univ. of Colorado Splněno no lingvistiky (LC536) 23

24 EU Project Companions Cíl Inteligentní společník k pro konverzaci nad fotografiemi, how was your day Technologie Plná ASR, emocionáln lní TTS Porozumění přirozenému jazyku, generování Přirozenost dialogu: user studies / evaluation CKL UK/ZČU: U: ASR, TTS, NLU, NLG, částečně dialog lingvistiky (LC536) 24

25 Prodloužen ení projektu CKL 2010(-2011?) 2011?)

26 Účel prodloužen ení Zachovat stabilizovaný tým Experimentáln lní / týmový charakter oboru Společný postup pro evropské projekty Řada studentů před obhajobou ( ) 11) Překlenout období Skončen ené programy (2009) - nové neexistují VZ nelze rozší šířit, není pro studenty, a je izolovaný (instituce) Pokračovat ovat v aktuáln lních tématecht Rozší šíření anotovaných korpusů Vytvořen ení softwarových nástrojn strojů na jejich základz kladě Analýza jazyka od ASR po sémantickou s analýzu lingvistiky (LC536) 26

27 Očekávaný přínosp Obecně Rozvoj statistických metod zpracování přirozeného jazyka a mluvené řeči Tvorba další ších zdrojů,, integrace stávaj vajícíchch Lexikáln lní i korpusové (pro statistické metody) Pro pracoviště a instituce Jednotlivě udržen ení nadaných studentů v akademickém m prostřed edí kritický objem studentů a mladých věd. v pracovníků (týmy) Společně: : získz skání další ších projektů EU (+ spol. s USA) Rozpočet: cca ve stávaj vající výši i ( mil. Kč) K Navýšen ení vzhledem k získz skání kvalifikace u 7 pracovníků lingvistiky (LC536) 27

28 Cíle prodloužen ení Čeština, angličtina (jednotlivě,, strojový překlad) p Data, anotace; analýza, generování Mluvený jazyk, integrace ASR, TTS: zdokonalování Rekonstrukce řeči dialogové systémy Information Retrieval (mluvená jazyková data) Lexikáln lní zdroje - budování a začlen lenění do násstrojů NLP Slovníky několika n typů rozšiřov ování,, dokončen ení Lexikáln lní databáze češtiny Mezinárodn rodní spolupráce (EU, USA) lingvistiky (LC536) 28

29 Očekávané výsledky Pokračov ování publikační činnosti - výstupy: Články ve sbornících ch a časopisech Anotovaná data (celosv( celosvět.. publikace) Software - open source nebo licence Dokončen ení Ph.D. studia 5-77 doktorandů Zapojení do další ších EU (USA) projektů 3 žádosti podány ve 4. Call (překlad) Příprava nových projektů EU, Technologická agentura(?) lingvistiky (LC536) 29

30 Ukázky projektů CKL

31 Významová anotace věty v (UK) lingvistiky (LC536) 31

32 PDT 2.0: Anota otační vrstvy lingvistiky (LC536) 32

33 Rekonstrukce řeči i (UK, ZČU) Z Překlad lingvistiky (LC536) 33

34 Rekonstrukce řeči Spisovná varianta promluvy editované interview Manuáln lní anotace Automatické nástroje, propojení se syntaxí (v budoucnu) lingvistiky (LC536) 34

35 Akustické modelování mezislovního kontextu (ZČU) Využit ití: Automatické titulkování televizních pořad adů (např.. zápasz pasů ledního hokeje) v reáln lném čase lingvistiky (LC536) 35

36 Automatický překlad čeština -> znaková řeč: Znakovaná čeština umělý jazykový systém komunikace mezi slyší šícími a neslyší šícími podobná češtině Český znakový jazyk mateřský a přirozený p jazyk neslyší šících ch komunikace mezi neslyší šícími navzájem odlišná od češtiny: simultánnost např.. jeden znak pro člověk-běží užití prostoru do prostoru jsou umíst stěny objekty komunikace, na něžn se mluvčí odkazuje roli intonace zastupuje mimika obličeje Člověk k ovládaj dající znakový jazyk nemusí umět česky (ani rozumět t textu) lingvistiky (LC536) 36