Aktuální výsledky výzkumu ZČU v Plzni v oblasti podtitulkování pořadů pro neslyšící

Transkript

1 Aktuální výsledky výzkumu ZČU v Plzni v blasti pdtitulkvání přadů pr neslyšící Aktuální výsledky výzkumu ZČU v Plzni v blasti pdtitulkvání přadů pr neslyšící Obsah: 1. Řešené prjekty na pdpru diváků ČT se specifickými ptřebami 2. Autmatické pdtitulkvání živých přadů 3. Vytváření alternativní zvukvé stpy z titulků (autmatický dabing) 4. Genervání znakvéh jazyka systémem Avatar 5. Závěr Wrkshp České televize

2 Aktuální výsledky výzkumu ZČU v Plzni v blasti pdtitulkvání přadů pr neslyšící Výzkumné prjekty: Eliminace jazykvých bariér handicapvaných diváků České televize (ELJABR) sutěž: Nárdní prgram výzkumu II (pskytvatel MŠMT) bdbí: r. 7/2006 až 6/2011 Eliminace jazykvých bariér handicapvaných diváků České televize II (ELJABR_II) sutěž: Pdpra aplikvanéh výzkumu ALFA (pskytvatel TAČR) bdbí: r. 7/2011 až 6/2016 Řešitelé prjektů: Katedra kybernetiky FAV ZČU v Plzni, SpeechTech, s.r.. Finanční spluúčast: Česká televize Wrkshp České televize

3 Aktuální výsledky výzkumu ZČU v Plzni v blasti pdtitulkvání přadů pr neslyšící CÍLE PROJEKTŮ ELJABR Prjekty ELJABR usilují eliminaci jazykvých bariér tří skupin sluchvě handicapvaných televizních diváků: 1) sluchvě pstižených diváků Cílem je patřvat zvláště živé prgramy skrytými pdtitulky, a t technlgií autmatickéh rzpznávání řeči 2) starších, sluchvě neb mentálně pstižených diváků, kteří nejsu schpni vnímat dprvdný zvuk, vadí jim snížená srzumitelnst reálných dialgů a dprvdné efektvé slžky Cílem je vytvářet autmaticky alternativní klidnu zvukvu stpu, a t technlgií pčítačvé syntézy řeči 3) diváků, kteří kmunikují znakvým jazykem (puze v prjektu ELJABR_II) Cílem je hledání mžnstí autmatizvanéh genervání znakvéh jazyka systémem Avatar Wrkshp České televize

4 Aktuální výsledky výzkumu ZČU v Plzni v blasti pdtitulkvání přadů pr neslyšící Řešení cíle 1: Pdtitulkvání živých přadů Stengrafem, který využívá speciální stengraficku klávesnici Výhdy: trénvaní stengrafvé umí až 200 slv/min Nevýhdy: stengrafů je abslutní nedstatek, jejich trénink trvá 2 až 3 rky, jsu velmi drazí a nevydrží pracvat dluh Písařem, který využívá veltypu (speciální slabikvý přepis) Výhdy: trénvaní veltypisté umí až 120 slv/min Nevýhdy: veltypistů je abslutní nedstatek, jejich trénink trvá nejméně 1 rk, jsu velmi drazí a nevydrží pracvat dluh Písařem, který využívá QWERTZ klávesnici Výhdy: QWERTZ písařů je větší mnžství (umí až 90 slv/min) Nevýhdy: při přepisu čast chybují, nevydrží pracvat dluh Autmatickým rzpznáváním řeči Výhdy: Nevýhdy: mderní technlgie, která zcela neb zčásti autmatizuje namáhavu lidsku činnst skutečné nasazení technlgie vyžaduje špičkvé zvládnutí nárčných teretických pstupů a využití technických prstředků Wrkshp České televize

5 Aktuální výsledky výzkumu ZČU v Plzni v blasti pdtitulkvání přadů pr neslyšící Dva přístupy k autmatickému vytváření pdtitulků Pčítačvým rzpznáváním řeči z dprvdné zvukvé stpy Výhdy: levný prvz; snaha dslvný přepis dialgu Nevýhdy: Využití: relativně nízká přesnst rzpznávání (60 až 85%), která je způsbena zejména: - ptřebu rzpznávat převážně spntánní řeč - častu přítmnstí hudby a hluku na pzadí dialgu - častým sučasným mluvením více řečníků při zpracvání kvalitní zvukvé stpy, kdy v danu chvíli mluví vždy jen 1 řečník; je známa tematická blast dialgu Pčítačvým rzpznáváním řeči s využitím stínvéh řečníka Výhdy: mžnst dsažení vyské přesnsti vytvářených titulků (>95%) Nevýhdy: Využití: relativní dstupnst stínvých řečníků (intenzivní trénink stínvéh řečníka by neměl trvat déle než 3 až 6 měsíců) systém může být adaptván na hlas stínvéh řečníka vytváření titulků není plně autmatické (stínvý řečník); nejde dslvný přepis dialgu TV přady diskusníh charakteru aneb přady s rušivým pzadím; vhdné je znát předem tematicku blast zpracvávanéh dialgu Wrkshp České televize

6 Aktuální výsledky výzkumu ZČU v Plzni v blasti pdtitulkvání přadů pr neslyšící Autmatické vytváření pdtitulků Systém autmatickéh rzpznávání řeči systém pracuje na principu statistické indukce strjvým učením jsu trénvány parametry tzv. akustickéh a jazykvéh mdelu akustický mdel má více než 20M parametrů a je trénván ze stvek hdin řeči namluvené více než 1 tisícem řečníků; u jazykvéh mdelu se trénují s využitím rzsáhlých textvých zdrjů statistiky řazení slv a je vytvářen výslvnstní slvník (slvník má více než 1 milin slv); statistiky řazení slv i slvníky jsu silně prblémvě závislé; systém pracuje v reálném čase na běžném 4-jádrvém pčítači (i ntebku). analýza přadů ČT, výběr piltních přadů pr pdtitulkvání pdtitulkvání z dprvdné zvukvé stpy přensy jednání PS Parlamentu ČR pdtitulkvání s využitím stínvéh řečníka diskusní přad Otázky Václava Mravce, Hyde park, sprtvní přensy (hkej, ftbal) Wrkshp České televize

7 Aktuální výsledky výzkumu ZČU v Plzni v blasti pdtitulkvání přadů pr neslyšící Autmatické vytváření pdtitulků Výsledky řešení pdtitulkvání z dprvdné zvukvé stpy prběhl první test n-line pdtitulkvání přensu jednání PS Parlamentu ČR (vysílán na ČT24, skryté pdtitulky na teletextvé stránce 888) d 12/2008 d 4/2010 prbíhal suvisle experimentální prvz d 5/2010 je pdtitulkvání přadu řešen jak služba (pr ČT pskytují řešitelé prjektu, dsud vybaven pdtitulky více než 700 dvysílaných hdin) technické řešení: systém rzpznávání řeči a SW mdul vytvářející titulky jsu umístěny na ZČU a kmunikují s ČT p telefnní lince mdul vytváření pdtitulků láme suvislý prud slv (výstup ze systému rzpznávání) d pdtitulků a gramatický krektr dplňuje d pdtitulků interpunkci a pravuje některé typy chyb přesnst vytvářených pdtitulků se phybuje d 87 d 93% byl navržen a realizván pměrně unikátní zařízení umžňující ještě před desláním každéh pdtitulku d ČT prvádět jeh kamžitu manuální krekci (při pravách může pracvat sučasně i něklik krektrů, a t p Internetu z různých lkalit) lze využít v případě snížené přesnsti autmaticky vytvářených pdtitulků (ukázka titulkvání z dprvdné zvukvé stpy) Wrkshp České televize

8 Aktuální výsledky výzkumu ZČU v Plzni v blasti pdtitulkvání přadů pr neslyšící Autmatické vytváření pdtitulků Výsledky řešení prjektu pdtitulkvání s využitím stínvéh řečníka (1): první experimenty s přípravu stínvých řečníků ukázaly nutnst jejich systematické přípravy byl navržen a realizván trenažér pr výuku stínvých řečníků (chráněn patentem) a navržena metdika jejich tréninku riginalita trenažéru spčívá v tm, že je stanven přesný pstup výuky při němž lze přesně měřit vzrůstající schpnsti stínvéh řečníka => k reálnému nasazení stínvéh řečníka pr titulkvání djde až p dsažení předem stanvené přesnsti vytvářených pdtitulků c musí stínvý řečník při vytváření pdtitulků zajistit: přemluvat TV dialg s cílem dsáhnut max. přesnsti rzpznání své prmluvy (při zajištění sémantickéh bsahu dialgu) vkládat d systému (n-line) nvá slva (většinu nvá jména či místní názvy), je-li t ptřeba dplňvat interpunkci; značvat změnu řečníka prvádět případnu pravu pdtitulku před jeh desláním pkud je ptřeba deslat pdtitulek Wrkshp České televize

9 Aktuální výsledky výzkumu ZČU v Plzni v blasti pdtitulkvání přadů pr neslyšící Autmatické vytváření pdtitulků Výsledky řešení prjektu pdtitulkvání s využitím stínvéh řečníka (2): v květnu 2011 byl spuštěn experimentální prvz pdtitulkvání diskusníh přadu Otázky Václava Mravce d prsince 2011 je tent přad pravidelně pdtitulkván frmu stálé služby (zajišťují řešitelé prjektu) zatím titulkván více než 70 hd přensů v únru 2012 byl spuštěn pravidelné pdtitulkvání přadu Hyde park, patřen pdtitulky cca 85 přadů (více než 80 hd) (ukázka titulkvání s využitím stínvéh řečníka) v květnu 2012 byly v experimentálním prvzu pdtitulkvány 3 zápasy českých hkejistů na MS v hkeji (pdtitulkván vlastní přens + studia) v červnu 2012 prbíhá experimentální prvz pdtitulkvání 2 zápasů českých ftbalistů na ME v kpané pdtitulkvání všech živých přadů (včetně sprtvních) má velmi pzitivní hlas v kmunitě neslyšících (ukázka titulkvání s využitím stínvéh řečníka) Wrkshp České televize

10 Aktuální výsledky výzkumu ZČU v Plzni v blasti pdtitulkvání přadů pr neslyšící Autmatické vytváření pdtitulků Výsledky řešení titulkvání s využitím stínvéh řečníka (2) systém rzpznávání pracuje se slvníkem 1 mil. slv, akustický mdel je adaptván na hlas knkrétníh stínvéh řečníka přesnst pdtitulků u pěti vyšklených stínvých řečníků je vyšší než 98% pměrně riginální řešení se týká mžnsti lkalizace stínvéh řečníka při pd titulkvání živéh přadu je vázán puze dstupnstí Internetu => lze pracvat např. z dmva!! Wrkshp České televize

11 Aktuální výsledky výzkumu ZČU v Plzni v blasti pdtitulkvání přadů pr neslyšící Řešení cíle 2: Vytváření dprvdné zvukvé stpy TV vysílání Mtivace: existuje pměrně velká skupina TV diváků, kteří nejsu schpni sledvat Řešení: víceplánvu zvukvu stpu mderních TV prgramů snížená srzumitelnst reálných dialgů, emce, změny hlasu a tempa řeči pdkresvá hudební slžka efekty na pzadí (ukázka dynamické stpy sučasných TV přadů) vytvářet alternativní dprvdnu klidnu zvukvu stpu vytvřením nvéh zvukvéh mixu Výhdy: prfesinální kvalita Nevýhdy: navýšení financí, prušení licenčních práv nerealizvatelné pčítačvu syntézu řeči z textu Výhdy: mderní technlgie, autmatizace dabingu (hlas vytvářen ze skrytých pdtitulků, vysílaných na teletextvé s. 888) Nevýhdy: skutečné nasazení technlgie vyžaduje špičkvé zvládnutí nárčných teretických pstupů syntézy řeči Wrkshp České televize

12 Aktuální výsledky výzkumu ZČU v Plzni v blasti pdtitulkvání přadů pr neslyšící Pčítačvá syntéza řeči IT technlgie, která umžňuje převádět psaný text na mluvenu řeč Cíl: genervat řeč z libvlnéh textu Není mžné ulžit všechna slva (věty) d pčítače, a pak je jen přehrávat! Na ZČU v Plzni je systém pčítačvé syntézy řeči vyvíjen d rku 1997 Knkatenační krpusvě rientvaný systém Kmerční verze distribuvána firmu SpeechTech Text Řeč Wrkshp České televize

13 Aktuální výsledky výzkumu ZČU v Plzni v blasti pdtitulkvání přadů pr neslyšící Schéma prcesu TTS Dnes bude zatažen,, v některých blastech přeháňky,, p 6. hd. čekáváme sněžení.. dnez bude zatažen vňekterích blastech přeháňki pšesté hďiňe čekáváme sňežeňí textvá analýza, fnetická transkripce, przdická slva pauza pauza pauza nádech przdická analýza, intnační a rytmický průběh výběr, spjvání a úprava základních řečvých jedntek Wrkshp České televize

14 Aktuální výsledky výzkumu ZČU v Plzni v blasti pdtitulkvání přadů pr neslyšící Specifické prblémy při autmatickém vytváření dprvdné zvukvé stpy Vytváření řeči ze skrytých pdtitulků TV vysílání (frmát EBU STL) Synchrnizace půvdní vide a vytvářené audi stpy Adaptace systému pr ptřeby vytváření dprvdné zvukvé stpy implementace algritmu nelineárníh zrychlvání řeči urychlení algritmu syntézy řeči (mžnst efektivní práce s rzsáhlými hlasvými inventáři v reálném čase) Vývj nástrje pr autmaticku detekci prblematických pdtitulků umžňuje autmaticky najít a značit pdtitulky způsbujících příliš rychlé temp syntetické řeči mžnst iterativní pravy (zjedndušení) textu pdtitulků využití ve fázi přípravy skrytých pdtitulků nvých TV přadů ČT Vytvření 4 nvých vysce kvalitních syntetických hlasů (2M a 2Ž) Ukázky mnhlasvý přad míchání 2 vv neb 4 hlasů Wrkshp České televize

15 Aktuální výsledky výzkumu ZČU v Plzni v blasti pdtitulkvání přadů pr neslyšící Řešení cíle 3: Genervání znakvéh jazyka systémem Avatar 3D animace znakující pstavy kpírující phyby SL řečníka Prmluvu vytváří znakující řečník ve studiu (u sebe dma) Může být vyžadván speciální zařízení datvé rukavice, kamervý systém Každý brazvý snímek znakujícíh řečníka je ppsán sadu parametrů s extrémně nízkým datvým tkem Dplnění znakujícíh 3D Avatara d přadu až na brazvce neslyšícíh diváka, rzlišení a kvalita brazu může být velmi vyská 3D znakující Avatar kpíruje phyby znakujícíh řečníka (temp řeči, vlba znaků, styl apd. jsu dvzeny d znakujícíh řečníka) Není pužita autmatická syntéza ani autmatický překlad d znakvéh jazyka Wrkshp České televize

16 Aktuální výsledky výzkumu ZČU v Plzni v blasti pdtitulkvání přadů pr neslyšící Genervání znakvéh jazyka systémem Avatar Autmatická 3D animace znakující pstavy z textu Plně autmatický přístup náhrada tlumčníka Přenáší se puze titulky a znakující 3D Avatar je vykreslván na straně diváka Řídicí příkazy pr vládání znakujícíh 3D Avatara jsu vytvářeny mdulem překladu českéh znakvéh jazyka puze ze vstupníh textu Phyby paží, tvar ruku a tváře jsu syntetické (uměle vytvřené v pčítači) Prblémy: stále nevyřešená úlha pr autmatický překlad a následnu 3D animaci znakující pstavy Text SL syntéza + 3D animace Wrkshp České televize

17 Aktuální výsledky výzkumu ZČU v Plzni v blasti pdtitulkvání přadů pr neslyšící Sučasné a buducí úkly: Závěr Cíl 1: Pdtitulkvání živých přadů příprava jazykvých mdelů a slvníků pr pdtitulkvání přadů dalších žánrů (dramatická tvrba, sprtvní přady apd.) práce na zvyšvání přesnsti systému autmatickéh rzpznávání řeči, který je základem prcesu pdtitulkvání Cíl 2: Vytváření dprvdné zvukvé stpy TV vysílání příprava dalších vysce kvalitních hlasů příprava testvacíh vysílání mžnsti míchání hlasů ve vytvřené zvukvé stpě Cíl 3: Genervání znakvéh jazyka systémem Avatar výzkum v blasti 3D animace znakujícíh Avatara kpírujícíh phyby SL řečníka výzkum plně autmatické 3D animace znakujícíh Avatara přím z textu (řeší se v rámci jinéh prjektu) Wrkshp České televize