Algoritmy a struktury neuropočítačů ASN P8b Úvod - přirozená řeč jako zvukový signál Základní pojmy z fonetiky Charakteristiky mluvené řeči Přirozená řeč jako zvukový signál Řeč (speech) - komplex technických, fyziologických, fonetických a fonologických aspektů Vznik zvukového signálu v mluvidlech = výsledek spolupůsobení jednoho nebo více zdrojů zvuku a filtračního systému. Princip: akustická soustava vokálního traktu buzení dvěma druhy akustického signálu kvasiperiodický signál (přerušování výdechového proudu vzduchu kmitajícími hlasivkami) šumový signál (turbulentní proudění výdechového proudu vzduchu v úžinách vokálního traktu) Výška hlasivkového tónu nikdy nebývá konstantní.
základní tón (hlasivkový) F0 (fundamental frequency) formantové kmitočty (superpozice vyšších harmonických k F0 a rezonance dutin hlasového traktu) Kolísání základního tónu řeči F0 jitter závisí na duševním (emocionálním) stavu mluvčího. Šumový signál v úžinách vokálního traktu: turbulentní proudění vzduchových částic (po překročení určité rychlosti proudění, dané tvarem úžiny nebo překážky) Zdroj šumu - hlasové ústrojí šum čistý šum superponovaný k hlasivkovému tónu - na překážkách v nadhrtanových dutinách Modelování: předpoklad širokopásmového šumu v oblasti nad 800 Hz, amplitudový spád o 6 db/oktávu (pod kmitočtem 800 Hz a v oblasti nad 10 khz) Vokální trakt lze aproximovat soustavou dutin a průchodů. Akustická soustava plynule měnící tvar a rozměry svých dutin, úžin, průchodů a závěrů. Dva výstupy do vnějšího prostoru; akustické signály se ve vnějším prostoru skládají.
Hlas = složený zvuk, nejhlubší složka základní tón F0 Kmitočtový rozsah hlasivkového tónu: 40-680 Hz průměr podle [PAL94]: 100-150 Hz muži, 200-300 Hz ženy Maximální dynamika intenzity běžné řeči: 50 db Souvislá řeč plynulý tok samohlásek, narušovaný souhláskovými změnami v místech samohláskových spojů Dvoukakanálového řízení tvorby řeči Akustická skladba jednotlivých hlásek souvislé řeči je dále modifikována v rámci delších časových úseků (slova, taktu, větného úseku, věty) tzv. modulačními faktory, jimiž se vytvářejí prozodické rysy promluvy - modifikace časové, Fonetický popis (popis zvukové formy) intenzitní a melodické základní jednotka popisu - elementární zvukový segment volba délky segmentu ovlivňuje další zpracování řeči Vlastnosti: segment musí být dostatečně krátký schopen tvorby dalších jednotek (řetězením - concatenation) znám vztah k jazyku jako lingvistické formě lze kombinovat segmenty o různých velikostech
Základní jednotka - hláska (foném, morfém) grafické znázornění fonému zvuková varianta fonému Hláska jako segment je vytvořená uměle, zvukový signál rozložíme přirozeným způsobem pouze na slabiky. Rozklad na hlásky se učíme při výuce psaní. Při poslechu řeči ji nevnímáme jako složenou z hlásek, ale z delších úseků. Při zpracování akustického signálu dovedeme určit hlásky pouze tehdy, známe-li, co bylo řečeno. Suprasegmentální charakteristiky změny trvání, intenzity a F0 změny prozodických parametrů v segmentech delších než 1 slabika uplatňují se - ve slovech - v přízvukových taktech (rytmická jednotka, skupina - ve větných úsecích slabik s jedním přízvukem) - ve větách zde totožné s větným úsekem Hrad je skoro rozbořen. hratje skoro rozbořen
Hledání zákonitostí - velmi obtížné (komplexnost problému, často přípustných více realizací) Charakteristiky Slovní přízvuk - vliv na prozodické parametry: F0 trvání (duration) intenzita závisí na kadenci melodický pohyb hlasu na konci mluveného textu systémem kadencí (melodémů) spolu s dynamickou složkou slouží k odlišení věty ukončené od věty (úseku), která bude (po pauze) dále pokračovat k odlišení různých druhů vět (otázky zjišťovací od ostatních druhů vět) k odlišení vět neutrálních (bez citového zabarvení) od vět citově zabarvených!!! citové zabarvení může měnit obsah věty
Prozodie zkoumá zvukovou stránku jazyka na úrovni vyšší než jednotlivý foném (hláska, segment) suprasegmentální jevy: slabika, přízvuk, tón, intonace (melodie), frázování, rytmus Barvu hlasu (témbr) je přímým obrazem fyziologického stavu mluvčího. Zpracování řeči můžeme posuzovat ze tří pohledů: akustického, percepčního a lingvistického. Akustická hladina - parametry, které jsou měřitelné a matematicky popsatelné. Percepční hladina souvisí s vnímáním promluvy posluchačem. Lingvistický pohled se zabývá posloupností abstraktních jednotek (fonémů, grafémů, ) Příznaková prozodie Přítomnost emocí a postojů
Přízvukový takt - skupina slabik s jedním přízvukem (slovo, předložka + slovo) základní rytmická jednotka české prozodie časové trvání taktu - tendence vytvářet stejně dlouhé jednotky (v češtině) 10 log T(n) / T(3) = - 4.05 log (n/3) trvání taktu o 3 hláskách Větný úsek - skupina přízvukových taktů nauka o významu slov souvisí s délkou promluvy, syntaxí, sémantikou a kontexem syntaxe - vzájemný vztah symbolů (gramatika) sémantika - vztah symbolů k realitě (pomáhá stanovit smysl věty) Větný přízvuk - mírné zesílení slovního přízvuku Větná melodie - systém kadencí (melodémů) rozlišení typu vět Pauza - členění souvislé řeči na menší jednotky = frázování!!! Správné umístění je nutné ke správnému pochopení promluvy. Před pauzou se často protahuje koncová slabika (o 60% - 100%)
Tempo - počet slabik / min resp. počet slov / min počet a délka pauz Segmentální a suprasegmentální popis řeči hierarchické skládání melodie vrstvy : koartikulace hlásek ve slabikách slovo (takt) s přízvukem větný úsek s kontrastem mezi slovy (takty) = slovní důraz věta s melodémy (rozlišení typů vět) promluva s různými styly a emocionálními postoji individuální charakteristiky mluvčích Pozn.: obdobné pro intenzitu a trvání segmentu
Akustický popis samohlásek (vowels) vokálů i u e o a Pohyb hmotnějších částí mluvidel, pomalejší změny spektra. Počet samohláskových formantů je závislý na tvaru vlny základního tónu (na způsobu kmitání hlasivek). Kmitočty formantů se u jednotlivých samohlásek odlišují a jsou pro ně charakteristické. - Změny prvního formantu odpovídají změnám vertikálního pohybu jazyka (vysoké samohlásky mají nízký první formant a naopak) - Změny druhého formantu odpovídají změnám horizontálního pohybu jazyka (zadní samohlásky mají nízký druhý formant a přední samohlásky vysoký) Trvání - odlišení samohlásky krátké a dlouhé F1 a F2, částečně F3 charakterizují hlásky (akustické spektrum) Průměrné hodnoty [PAL94 ] podle několika pramenů, hodnoty nejskou jednoznčné: Formant/hláska pásmo F1 pásmo F2 i,í 300-500 2000-2800 e,é 480-700 1560-2100 a,á 700-1100 1100-1500 o,ó 500-700 850-1200 u,ú 300-500 600-1000
F5, F6,.. Závisí na individuálních vlastnostech člověka a na konkrétní podobě F0. F2/F1 podílí se na charakteristice spektra vokálů Vokalický (artikulační) trojúhelník pro klasifikaci vokálů podle pohybů jazyka přední centrální zadní střední vysoké i u středové e o nízké a Vlivem spojování hlásek v souvislý tok řeči (koartikulace) a vlivem realizace suprasegmentálních rysů (v delších segmentech) se trvání jednotlivých samohlásek mění v širokém rozmezí (při normálním tempu v poměru až 1:5), a proto záleží i při rozlišování samohlásek dlouhých a krátkých na relativních poměrech trvání. V průměru jsou dlouhé samohlásky 1,5-2 krát delší než samohlásky krátké; při tempu asi 120 slov/minutu se trvání krátkých samohlásek pohybuje v rozmezí 40 až 160 ms (s průměrem 100 ms), trvání dlouhých v rozmezí 80 až 320 ms (s průměrem 200 ms).
Ověření vokalický trojúhelník U I U I E E O A O A U I E o A Nemocné dítě Zdravé dítě Vokalický trojúhelník
Akustický popis souhlásek (consonats) - konsonant Vznikají vytvořením překážky výdechovému proudu Frikativy: f v s z š ž x h ř r l j Afrikáty: c č Explozívy (okluzívy): p b t d ť ď k g Nazály (nosovky): m n ń (vibranty, laterály) Znělé: b d ď g v h z ž m n ň ř Neznělé: p t ť k f ch s š c č (ř) Sonorní (slabikotvorné): r l j Percepčně závažné charakteristiky samohlásek nejvýznamější jsou první dva až tři formanty v pořadí F2, F1, F3 vyšší formanty (pro všechny samohlásky prakticky stejné, obsahují značnou část informace o barvě hlasu mluvčího percepce = vnímání řeči Percepčně závažné charakteristiky souhlásek pro většinu souhlásek je významný začátek následující samohlásky pro s,z, š,ž, x,ř,c,č je významný jejich charakteristický šum pro j jsou významné sousední samohlásky pro h se objevuje šum u sousedních samohlásek pro l je závažný přechod na hranici mezi souhláskou a samohláskou