EXPERIMENT S VYUŽITÍM GRAFICKÉHO ZOBRAZENÍ ŘEČI PŘI VÝUCE SPRÁVNÉ VÝSLOVNOSTI U SLUCHOVĚ POSTIŽENÝCH OSOB Jana Mádlíková - Jan Nouza Výuka sluchově postižených osob patří mezi jednu z nejnáročnějších pedagogických praxí vůbec. Největší bariérou zapojení těchto osob do běžné výuky je úplná nebo částečná absence sluchu, a s tím spojená nezpůsobí lost naučit se správně a srozumitelně mluvit. Jedním z možných prostředků dorozumívání těchto osob je znaková řeč. Přestože světový trend směřuje k používání výhradně znakové řeči v běžné komunikaci, je stále dost sluchově postižených, kteří se chtějí naučit i slovní komunikaci [4]. Výuka řeči u těchto osob je časově i personálně velmi náročná, ale na druhé straně jim slibuje usnadnění integrace s majoritní populací. Jako pomůcku pro výuku sluchově postižených osob jsme navrhli grafický počítačový systém [2]. Systém je založen na principu audiovizuální zpětné vazby. Testované osobě je v textové podobě předloženo slovo, které má vyslovit, po záznamu slova je slovo zobrazeno ve formě časového průběhu signálu a jeho barevného spektrogramu. Současně s tím se objevuje hlášení o správnosti vyslovení slova a jsou předloženy tři referenční nahrávky téhož slova, aby bylo možné identifikovat hlavní odlišnosti. Opakovaným vyslovováním slova a porovnáváním jeho grafické podoby lze výslovnost prokazatelně zlepšit [5]. Tento systém byl úspěšně odzkoušen v rámci dvou projektů Laboratoře počítačového zpracování řeči Technické univerzity v Liberci. Nejdříve byl testován spolupracující neslyšící osobou [3], následně pak v simulovaném experimentu, jehož se zúčastnila skupinka slyšících osob. Jejich úkolem bylo naučit se výslovnosti cizího jazyka (vietnamštiny), a to pouze na bázi grafického srovnání svého projevu se záznamy originálů vietnamštiny [7], Oba projekty byly podrobně popsány v minulých číslech tohoto časopisu. V tomto příspěvku přinášíme výsledky získané přímo v testech s několika neslyšícími osobami - dětmi ve věku 10 let. 1. Cíle projektu Cílem projektu bylo zjistit, zdaje možné (a do jaké míry) využít systému vizuální zpětné vazby pro nácvik správné výslovnosti u sluchově postižených osob. Dílčím úkolem bylo nalézt vhodnou metodiku výuky výslovnosti podporované počíta-
čem a samozřejmě i odhalit a následně odstranit nedostatky námi vyvinutého systému. 2. Podmínky projektu Předmětem vlastního testování byl prototyp systému umožňujícího nácvik řeči prostřednictvím zpětnovazební vizuální informace. Jde o systém vyvinutý naší laboratoří a označovaný pracovním názvem VICK (Vlsual feedback). Jeho podrobný popis zde již neuvádíme, neboť jej lze nalézt např. v článcích [3] a [7]. Pro experiment byl po dohodě s odborníkem navržen slovník o dvaceti jednoduchých slovech - viz tab. 1. Testovanými osobami se staly čtyři děti ve věku 10 let, všichni žáci Školy pro neslyšící v Liberci. Pro pořízení referenčních záznamů (sloužících pro vizuální porovnávání a pro vytvoření modelů slov) byla vybrána skupinka slyšících osob ve stejné věkové kategorii. Každý z pěti hochů a z pěti dívek nahrál vždy dva záznamy vybraného slovníku. Tab. 1: Slovník nacvičovaných slov I. sešit 11. zmije 2. Honza 12. neslyším 3. švestka 13. slúchadlo 4. časopis 14. lžička 5. železný 15. vidlička 6. prstýnek 16. žárovka 7. počítač 17. skřínka 8 klávesnice 18. hloupý 9. kedlubna 19. sluníčko 10. tady 20. zmrzlina Výuka byla metodicky rozčleněna do čtyř fází (tab. 2). Ty byly definovány podle míry nasazení pomůcek a dalších učebních metod do výuky. Celá výuka probíhala pod odborným vedením učitele ze Školy pro neslyšící v Liberci. Tab. 2: Souhrn stručných charakteristik jednotlivých fází projektu FAZE fáze 1 fáze 2 fáze 3 fáze 4 STRUČNÁ CHARAKTERISTIKA - pořízení 2 nahrávek vybrané slovní zásoby programem V1CK bez pomůcek pro výuku - vysvétlen princip výuky pomoci znakové řeči - trénování vybrané slovní zásoby v programu VICK - využití motivační hry MOSAIKA - pořízení 2 nahrávek vybrané slovní zásoby - nácvik výslovnosti pod vedením odborníka ze školy pro neslyšící - trénování vybrané slovní zásoby v programu VICK - využití motivační hry MOSAIKA - pořízení 2 nahrávek vy brané slovní zásoby - procvičení slovní zásoby pomocí hry MOSAIKA - pořízení 2 nahrávek vybrané slovní zásoby 3. Přehled výukových fází, jejich výsledků a hodnocení Přípravná fáze Pro tvorbu referenční databáze bylo nutné pořídit soubor nahrávek vybrané slovní zásoby od výše uvedené skupinky slyšících osob. Získané nahrávky byly zpracovány a následně použity pro vytvořeni
statistických modelů jednotlivých slov. Tyto modely sloužily pro měřeni podobnosti a automatickou klasifikaci promluv testovaných slov. Popis vlastního klasifikačního systému lze nalézt např. v práci [2]. Fáze 1 Testované osoby dvakrát nahrály vybraný slovník bez možnosti jakéhokoliv předchozího nácviku výslovnosti. Vyhodnocením tohoto souboru - na základě počtu správně klasifikovaných slov - byla pro každou osobu zjištěna určitá počáteční úroveň kvality výslovnosti. Z hlediska testovaných osob největší význam této fáze spočíval v seznámení se slovní zásobou. Zároveň se však ukázaly i určité nedostatky v předběžném nastavení výukového programu, související s nedostatečným odhadem některých parametrů řeči neslyšících. Bylo např. nutné prodloužit dobu pro nahrávání jednoho slova na více než pětinásobek doby obvyklé u slyšících osob. V úvahu musely být vzaty i poměrně dlouhé pauzy vyskytující se uvnitř promluv mezi jednotlivými slabikami. Uvedené problémy se však podařilo odstranit ještě před začátkem vlastního testování. Počáteční skóre správně rozpoznaných slov se individuálně lišilo od 13,3 % po 46,7 % slov. Obr. 1: Grafické porovnání záznamu slova Honza" (včetně přiřazených symbolů hlásek) Speaker: dospélá osoba Word: Honza ' O Speaker: dětsky mluvčí - vzor Word: Honza Hon za 2 atab/ka O Speaker: neslvsícl hoch Word: Honza zh j e n u j a 1. 2. 3 slabika C Spe ake r: neslvžlcl dívka Word: Honza H o n S S a 2 slabika 1. a 2. záznam referenční výslovnosti, J. a 4. záznam sluchově postižených
Fáze 2 Druhá fáze byla dalším vývojovým stupněm nácviku, v němž bylo možné porovnávat záznam jednotlivých slov pořízených experimentátory se třemi pod sebou vykreslenými záznamy téhož slova od vybraných referenčních mluvčích. Pro snazší nácvik byly dodatečně pořízeny další dvě referenční nahrávky od slyšících osob. U těchto nahrávek bylo záměrně usilováno o pomalejší tempo výslovnosti, srovnatelné s tempem neslyšících osob - viz obr. 1. Do nácviku konkrétních slov nezasahovaly žádné další osoby. Testované děti byly pouze zaučeny do práce s programem, který byly schopny později samy ovládat. Nácvik pomocí programu probíhal u každé osoby individuálně, přibližně po dobu tří dní. Princip programu VICK byl neslyšícím vysvětlen pomocí znakové řeči. Možnost samostatně ovládat počítač dětem pomohla překonat přirozený stres z nové učební pomůcky. Pro odstranění napětí a pro účely motivace a relaxace byla do výuky zařazena hlasově ovládaná hra MOSAIKA (obr. 3). Tato hra měla velice kladnou odezvu v řadách testovaných osob. Hra byla upravena na trénovanou slovní zásobu, tudíž měla i význam jako skrytá podpora výuky. Princip hry a její ukázka je uvedena ve zvláštní kapitole. Obr. 2: Grafické porovnáni záznamů slova ŠVESTKA" (včetně přiřazených symbolu hlásek) 1. a 2. záznam správné \ýslovnosti, 3. a 4. záznam sluchově postižených
Po nácviku se opět uskutečnily testovací nahrávky, na nichž byla - podobným způsobem jako v první fázi - zmčřena dosažená hladina úspěšnosti. Výsledky se dosti individuálně lišily: Šlo o nárůst o 13,3 % až 33,3 % (průměrně o 19,2 % vůči 1. fázi). Fáze 3 Ve 3. fázi sehrála důležitou roli odborná pomoc terapeuta. Tato standardně používaná odborná pomoc při výuce neslyšících byla zcela v režii terapeuta, proto zde nebude podrobně rozebírána. Nácvik dále probíhal tradičním způsobem - tzn. trénink během tří dnů pomocí programu VICK. Motivační hra MOSAIKA byla k dispozici i v této fázi. Vyhodnocení bylo prováděno opět tradičním způsobem pomocí dvou nahrávek. Přestože se v této fázi uplatnila odborná pomoc učitele, celkové skóre překvapivě zaznamenalo pokles průměrně o 5,8 %. Vysvětlujeme si to zejména delší absencí několika účastníků experimentu ve výuce (způsobenou nemocí) a dále též postupnou ztrátou koncentrace. Celkově však vzhledem k první fázi dosáhly nárůstu v průměru o 13,3 %. Je však nutné podotknout, že se výsledky individuálně značně lišily. Fáze 4 Poslední fáze spočívala pouze v pořízení dvou závěrečných nahrávek od jednotlivých mluvčích. Pro oživení procvičené slovní zásoby byla před konkrétní nahrávkou použita hra MOSAIKA. Tendence zapamatování nacvičené slovní zásoby byla klesající, a to o přibližně další 3 % vzhledem k předchozí fázi. Svou roli zřejmě sehrála křivka zapomínání, která má u neslyšících osob svůj specificky strmý charakter, daný nemožností upevňovat znalost nové slovní zásoby opakovaným nasloucháním. Závěr experimentu, který si vyžádal několikatýdenní opakovanou a rutinní práci, byl také zákonitě poznamenán ztrátou zájmu ze strany testovaných subjektů. Graf 1: Souhrnný přehled výsledků experimentu měřený pomocí automatického vyhodnocování úspěšně klasifikvaných slov - - Dívka-1 -»- Divka-2 Chlapec-1 Chlapec-2
4 Shrnutí dosažených výsledků Celý experiment probíhal v první polovině roku 1998 a včetně přípravné fáze trval přibližně tři měsíce. Jeho průběh i jeho trvání bylo ovlivněno jak potřebou nutných zásahů do vyvinutého programu, tak i několikerou absencí účastníků testování. Během testování jsme si prakticky mohli ověřit jak klady navrženého systému, tak i jeho mnohé nedostatky. Řada z nich spočívala v tom, že předchozí simulované testy i experimenty s dospělou neslyšící osobou nás nemohly dokonale připravit na všechny situace, které se později vyskytly u dětských účastníků experimentu. Přesto právě tyto odhalené nedostatky jsou velmi cenným zdrojem zkušeností pro vývoj obdobných systémů nové generace. Navíc jsme si vědomi, že nácvik správné výslovnosti se u sluchově postižených osob nikdy neobejde bez pomoci učitele specialisty. Počítač i sebelépe navržený program může sloužit vždy jen jako pomůcka podporující výuku. Nejvýznamnější přínos systému vizuální zpětné vazby spočíval zejména v možnosti vidět" svou a cizí řeč. To pak umožňuje vědomě se snažit o zlepšení alespoň těch nejzákladnějších rysů řeči, především těch, které je možno snadno graficky zobrazit a interpretovat. U testovaných dětí se toto týkalo zejména trvání promluvy, dynamiky, hlasitosti a rytmického členění promluvy. Princip barevného spektra neměl pro tuto věkovou kategorii až takový význam. Během testování se projevila individuální míra schopnosti nácviku správné výslovnosti testovaných osob. Například jedna z testovaných dívek své skóre úspěšnosti po celou dobu trvání nácviku neustále zlepšovala (viz. graf č. 1), což se odrazilo i v jejím velikém zájmu o experiment. Se značně odlišnými možnostmi, schopnostmi i vůlí je však třeba u postižených vždy třeba počítat. 5. Příklad hlasově ovládané motivační hry Hra nazvaná MOSAIKA, použitá ve výše uvedené projektuje hlasově ovládaný systém rozčleněný do dvou základních částí. V první části se hra nikterak neliší od klasické verze mosaiky. Pohybem polí po ploše (z nichž jedno chybí) se snažíme správně sestavit obrázek. S políčky je možné manipulovat prostřednictvím hlasových povelů: nahoru, dolů, napravo, nalevo (popř. sever, jih, západ, východ). Jakmile jsou všechny kostky na svém místě, doplní se poslední chybějící pole a hra pokračuje svou druhou částí, kde je uživateli předkládán k vyslovení soubor vybraných slov. Je-li slovo správně vysloveno, pak se do prázdné mřížky doplní jedno pole obrázku. Je-li výslovnost chybná, je možné znovu slovo opakovat. Počet opakování (chyb) lze jednoduše nastavit. V případě, že se nepodařilo během opakování slovo správně vyslovit, je z motivačních důvodů automaticky doplněno. Tímto způsobem se postupuje do úplného zaplnění plochy. Následuje zmizení jednoho políčka a promíchání ostatních polí. Hra dále pokračuje svou první částí. Tímto způsobem je možné celý cyklus opakovat.
Obr. 3: Pracovní plocha hlasově ovládané hry MOSAIKA zachycená ve své druhé fázi - doplňováni jednotlivých polí za každé správně vyslovené slovo Mosaika "Vyslov slovo: modrá " Rozpoznávání řeí i: kružnice ; elipsa i Žlutám ; Směry pohybu: ftahoru 'ÍNal. vo '] Wflr»'«<J j.1....i tf u'....1 I. % 1 ; t<i/>rk.<jj.h PdíäKiokú: 0 Sestav Konec lny 6 Závěr Celkově lze výsledky celého projektu hodnotit pozitivně, neboť nám umožnily prakticky vyzkoušet možnost uplatnění počítačové technologie v oblasti pomoci sluchově postiženým. Této větvi výzkumu se chceme i nadále věnovat, přičemž se ukazuje jako výhodné rozšířit pole podobných aplikací i o oblast logopedie a zejména o počítačem podporovanou výuku výslovnosti při učení cizího jazyka. S tímto širším záměrem byla navržena i nová verze systému, která byla poprvé představena odborné veřejnosti na mezinárodní konferenci ICSLP'98. Literatura [1] NOUZA, J : Visual Processing o f Speech: Tools for Education, Aids for Handicaped. Proc. of Int. Conference on Speech Processing (ICSP97). Seoul 1997. s. 677-682. [2] NOUZA. J. Počítače s hlasovým vstupem : Naděje pro lidi s postižením.
Sborník konference Handicap '96/97. Liberec 1997, s. 36-42. [3] STRNADOVA, V - NOUZA, J : Některé: možnosti využiti počítače ovládaného hlasem ve speciální pedagogice. Speciální pedagogika, č. 3. Praha 1997, s. 29-34. [4] STRNADOVA, V.: Úvod do surdopedie. Liberec, VŠST1994. [5] MÁDLÍKOVÁ, J. -NOUZA. J : Možnosti vyhodnocování vlivu vizuální zpětné vazby při výuce a nácviku řeči Výzkumná zpráva. Liberec, TUL 1997. [6] PÁLKOVÁ, Z Fonetika a fonologie češtiny. Praha, UK 1994. [7] MÁDLÍKOVÁ, J. - NOUZA, J: Jak lze využít grafického zobrazení akustického signálu při výuce jazyka a správné výslovnosti. Speciální pedagogika, č. 3. Praha 1998, s. 16 21. [8] NOUZA, J : Training Speech Through Visual Feedback Patterns. Proc. of 5th Int. Conference on Spoken Language Processing (ICSLP'98). Sydney 1998, s. 3293-3296.