hlasová komunikace pod kontrolou Technologie počítačového zpracování řeči Pavel Cenek OptimSys, s.r.o. 5. odborný seminář Teorie a praxe IP telefonie Praha, 5. 6. prosince 2012
Řečové technologie přehled a charakteristika Copyright 2012 OptimSys, s.r.o. 2
Řečové technologie Text Syntéza řeči Řeč Rozpoznávání řeči Význam řeči Odkud: Brno, Kam: Aš Přepis řeči na text Dobrý den, chtěl bych... Detekce klíčových slov konkurence (15,268 s) Řeč Rozpoznávání řečníka (Hlasová biometrie) Jméno řečníka Jiří Černý Mluví Jiří Černý? Ano / Ne Detekce řečové aktivity Hranice řeči a ticha 5,152 s; 8,132 s; 14,26 s Identifikace jazyka Jazyk Česky / Polsky /.. Odhad Rozpoznávání pohlaví / řeči věku Pohlaví / Věk Muž, ~ 30 let Odhad emocí Emoční stav Naštvaný / Veselý /... Copyright 2012 OptimSys, s.r.o. 3
Charakteristiky Zpracování/generování streamu ( on-the-fly ) Zpracování/generování nahrávky ( off-line ) Některé technologie jazykově závislé Většinou nezávislé na mluvčím Komplexní algoritmy pracující s velkým množstvím dat Náročné na výkon CPU a paměť Algoritmy založené na pravděpodobnosti, strojovém učení, neuronových sítích Je třeba počítat s chybovostí Je třeba mít kvalitní data pro učení Příprava vyžaduje dost ruční práce Copyright 2012 OptimSys, s.r.o. 4
Syntéza řeči Text-to-speech (TTS) Generuje přirozeně znějící řeč z textu Vstup: (označkovaný) text Výstup: audio Kvalita blížící se běžné lidské řeči s výbornou srozumitelností Možnost poskytnout personalizované informace Odpadají náklady na nahrávání hlášek Konzistentní hlas hlášek v čase Výslovnost cizích slov Chyby v interpretaci textu (jak přečíst 123456?) Chyby v intonaci Copyright 2012 OptimSys, s.r.o. 5
Rozpoznávání řeči Automatic speech recognition (ASR) Postup, který z mluvené řeči určí význam toho, co bylo řečeno Vstup: audio (řeč) + tzv. gramatika popis promluv/frází/vět, které systém může rozpoznat + jak vypočítat význam promluvy Výstup: text a význam vyřčené promluvy + věrohodnost, pokud systém rozuměl, nebo informace, že nerozuměl Rychlejší a přirozenější komunikace než pomocí tlačítek telefonu Možnost výběru z dlouhých seznamů Možnost skoku doprostřed Záměna podobných slov Akcent, vady řeči, cizí slova Hlučné prostředí Copyright 2012 OptimSys, s.r.o. 6
Přepis řeči na text Speech-to-text (STT), LVCSR Vytvoří čitelný přepis řeči Vstup: audio (řeč) Výstup: text Ne však gramaticky správný a bez chyb nenahrazuje sekretářku/písařku Zpřístupňuje obsah hovorů pro zpracování konvenčními technologiemi (užívanými pro práci s texty) Kromě nejlepšího přepisu generuje i další pravděpodobné hypotézy, které lze počítačově zpracovávat Rozpozná jen slova, která jsou ve slovníku Je nutná jazyková adaptace na konkrétní doménu (použití) Copyright 2012 OptimSys, s.r.o. 7
Detekce klíčových slov Keyword spotting (KWS) Nalezne v řeči textově zadaná klíčová slova Vstup: audio (řeč) a seznam klíčových slov Výstup: výskyty klíčových slov (kde, s jakou věrohodností) Ověří, zda se v obsahu hovoru vyskytuje daná fráze Při změně klíčových slov je nutné zpracovat nahrávky znovu Copyright 2012 OptimSys, s.r.o. 8
Rozpoznávání řečníka (Hlasová biometrie) Identifikace řečníka (Speaker Identification, SI) Kdo z dané množiny hovoří Vstup: audio + hlasové otisky množiny řečníků Výstup: nejpravděpodobnější řečník z dané množiny + věrohodnost detekce, nebo věrohodnost pro každého řečníka z dané množiny Verifikace řečníka (Speaker Verification, SV) Hovoří osoba XYZ? Vstup: audio + hlasový otisk konkrétního řečníka Výstup: věrohodnost, že řečník je opravdu XYZ Výsledky často spolehlivější než detekce provedená člověkem Jazykově nezávislá technologie Copyright 2012 OptimSys, s.r.o. 9
Další řečové technologie Detekce řečové aktivity Označení segmentů, kde se vyskytuje řeč a kde ticho např. formou časových indexů hranic Detekce jazyka Odhad pohlaví a věku Odhad emocí Víceméně stále laboratorní technologie, první pokusy o komerční uplatnění Problém: data Jazykově nezávislé technologie Copyright 2012 OptimSys, s.r.o. 10
Využití řečových technologií Copyright 2012 OptimSys, s.r.o. 11
Hlasové automaty (IVR) Při použití ASR nemusí být struktura automatu strom Flexibilita hlášek díky TTS Umožňují vést s člověkem dialog A doptat se na chybějící informace Umožňují reagovat na problémy Nápověda, pokud uživatel mlčí nebo selže rozpoznávání řeči Zúžení rozsahu dotazu při selhání rozpoznávání řeči Přechod k tlačítkové volbě Přesměrování na živého operátora Do interakčního scénáře lze zapojit další řečové technologie Např. hlasovou biometrii Nedůvěra až averze k plechovým hubám Copyright 2012 OptimSys, s.r.o. 12
Obsluha příchozích hovorů Řečové technologie otevírají zcela nové možnosti Kvalitnější automatický sběr informací od klienta Snížení času na obsluhu hovoru operátorem Automatizace jednoduchých, často se opakujících činností Odlehčení operátorům při zpracování rutinních dotazů Kvalitní informace v době, kdy není linka obsluhovaná operátorem Odhad směrování volajících (ACD) na základě detekce klíčových slov Zákazník řekne automatu svůj požadavek, odpadá nudné procházení stromem Důležité rovněž propojení telefonie s informačními systémy Copyright 2012 OptimSys, s.r.o. 13
Automatické doručování hlasových zpráv Upozornění na konec předplatného, fakturu po splatnosti, plánovaný výpadek služeb, změnu času nebo místa Díky TTS může být zpráva vygenerovaná na míru každému volanému Na rozdíl od SMS víme, zda příjemce zprávu skutečně přijal (můžeme si vyžádat i explicitní potvrzení formou stisku klávesy telefonu) Automatický telefonický průzkum, ankety Automatický telemarketing Lze oslovit daleko více respondentů a udělat preselekci pro následné oslovení operátorem call centra Lze obecně chápat jako odchozí hlasový automat se všemi jeho možnostmi obousměrné komunikace Copyright 2012 OptimSys, s.r.o. 14
Vyhledání informací v archivu hovorů Vyhledávání pomocí detekce klíčových slov Vyhledávání pomocí přepisu řeči na text Možnost zpracovat objemy zcela mimo možnosti ručního zpracování člověkem Rychlá navigace nad obsahem Možnost vytěžit jinak nedostupné informace z historických dat Obsahová analýza Frekvenční analýza významových slov Identifikace témat Kontextová analýza Souvislost mezi obsahem hovorů a definovanými tématy Copyright 2012 OptimSys, s.r.o. 15
Hlasový vstup do CRM systémů a helpdesků Obchodník bezprostředně po schůzce namluví zápis do CRM systému Do CRM se uloží nahrávka + její textový přepis (bude obsahovat chyby, ale lepší než žádný zápis) Čerstvé informace, na nic důležitého se nezapomene Rychlá navigace nad obsahem Na základě telefonátu klienta se v helpdesku vytvoří automaticky nový ticket, uloží se k němu nahrávka telefonátu + její textový přepis Zadaní požadavku může proběhnout plně automaticky přes hlasový automat Rychlá navigace nad obsahem Copyright 2012 OptimSys, s.r.o. 16
Využití hlasové biometrie Náhrada/doplněk hesla pro přístup k určité službě Kombinace s dalšími technologiemi (ASR, KWS) jako ochrana proti nahrávkám hlasu Služba pro automatický reset hesla Může významně odlehčit operátorům Kontrola identity zákazníka z hlasu na pozadí Tichá, neinvazivní, neobtěžující autentizace Vyhledání řečníka v archivu nahrávek Zpětná analýza chování, detekce podvodů Blokace na základě vzorku hlasu Funguje, i když volá z různých čísel Copyright 2012 OptimSys, s.r.o. 17
Analýza hlasového provozu call centra Kombinace detekce klíčových slov, přepisu řeči na text, detekce hlasové aktivity, hlasové biometrie, automatická preselekce podezřelých hovorů Ověření dodržování call skriptu a povinných frází ze strany agenta Sledování nevhodných slov u agentů Názvy konkurence, nevhodná slova,... Měření výkonnosti agenta na základě analýzy rozhovoru Rychlost odpovědi, rychlost řeči, skočení do řeči,... Porovnávání práce agenta napříč časem S jeho běžnými hodnotami, oproti zkušeným kolegům, průměru oddělení, průměru v rámci kampaně apod. Detekce nespokojenosti zákazníka Copyright 2012 OptimSys, s.r.o. 18
Analýza hlasového provozu call centra (2) Metodická kontrola 100% provedených hovorů Automatizovaná kontrola agentů vedoucí ke snížení počtu nespokojených zákazníků Snížení času věnovaného seniory na dohled nad prací agentů Podrobné statistiky o každém hovoru agenta naznačující nutnost doškolení Souhrnné reporty hodnocení dialogů a sledovaných slov/frází pro hodnocení agentů Copyright 2012 OptimSys, s.r.o. 19
Dělejte to jako my! Děkuji za pozornost dotazy? tický pohled na svět doporučují 4 z 5 psychologů Pavel Cenek cenek@optimsys.cz OptimSys, s.r.o. Tel: 511 205 391 Inovační park JIC Fax: 541 143 066 U Vodárny 2 www.optimsys.cz 61600 Brno Copyright 2012 OptimSys, s.r.o. 20