Strategie ACE využívající virtuální elektrody v kochleárních implantátech Nucleus 24 Martin Vondrášek České vysoké učení v Praze, Fakulta elektrotechnická vondram3@fel.cvut.cz Abstrakt: Kochleární implantát je elektronické zařízení, které nahrazuje sluchový vjem pacientům s těžkou sluchovou vadou pomocí stimulace sluchového nervu proudovými pulsy. Tento příspěvek se zabývá implementací virtuálních elektrod v kochleárních implantátech Nucleus 24 do standardního řečového algoritmu ACE. Algoritmus ACEv využívající virtuální elektrody byl optimalizován s použitím simulací a testech na slyšících dobrovolnících. Poslechové testy a subjektivní poslech hudby na pacientech s kochleárními implantáty prokázaly zlepšení vnímání řeči a hudby. 1. Úvod Kochleární implantát [1] je elektronické zařízení zprostředkující sluchové vjemy pacientům s těžkou sluchovou vadou. Sluchové vjemy jsou vyvolávány přímou elektrickou stimulací sluchového nervu proudovými impulsy uvnitř hlemýždě. Algoritmus převodu akustického signálu na sled proudových impulsů je nazýván kódovací strategií. V současnosti jsou firmou Cochlear používány tři typy kódovacích strategií ACE, CIS a SPEAK. Algoritmy implementující kódovací strategie jsou uloženy v řečovém procesoru. Vlastní stimulace je prováděna implantátem, jehož tělo je umístněno na hlavě pod kůží pacienta, přičemž sada elektrod je zavedena do hlemýždě. 1. Implementace virtuálních elektrod do strategie ACE Algoritmus řečové strategie ACEv je uveden na obrázku 1. Vstupní řečový signál je rozdělen na segmenty v bloku segmentation. Na každý zpracovávaný segment je poté aplikována Fourierova transformace (blok FFT). Následující krok představuje filtraci ve spektru s použitím 43 filtrů. Ve standardní strategii ACE je řeč zpracovávána jen 22 filtry (na obr. 1 bez v ). Sluchový vjem pacienta je tak teoreticky složen z 22 různých tónů. PP 1 PP 1v virtual electrodes setting x[t] electrode 1 segmentation FFT PP 2 energy calculation Band selection LGF channel mapping electrode 22 PP 21v patient setting PP 22 Obr 1: Blokové schéma strategie ACE s virtuálními elektrodami.
To je obvykle dostatečné množství pro rozlišení řeči, ale pro rozlišení mluvčího či hudby velmi málo. Pokud mezi každými dvěmi fyzickými elektrodami vytvoříme jedu elektrodu virtuální, dostaneme tak 43 elektrod a 43 různých tónů Zpracování řeči tak bude probíhat rovněž ve 43 pásmech. Filtry označené s v odpovídají virtuálním elektrodám. V bloku Energy calculation je na každém výstupu filtru určena velikost energie odpovídající příslušnému frekvenčnímu pásmu. Blok band selection představuje algoritmus výběru informací podstatných pro dobrou srozumitelnost. Ve standardní strategii ACE představuje tento algoritmus prostý výběr M pásem s maximální energií. Pro použití ve strategii ACEv není tento algoritmu vhodný z důvodů popsaných v [4, 7]. Blok band selection byl optimalizován s ohledem na upravenou banku filtrů a minimalizace ovlivnění hlasitosti sluchového vjemu při použití virtuálních elektrod [7]. Blokové schéma algoritmu výběru pásem je uvedeno na obrázku 2. START S=0 (selected maxima) M=maxima to select i=1 sort bands according to energy (E(1) is band with highest energy) band with E(1) is selected as the maximum i=i+1 END Cycle: M=S? has the maximum E(i) less then 2 neighbor? i=i+1 continue Cycle has the maximum E(i) less then 1 neighbor? is E(i)> 0.7* energy of the neighbor? band E(i) is selected as the maximum band E(i) is selected as the maximum Obr 2: Blokové schéma algoritmu výběru pásem. Blok LGF je převzat beze změny ze standardní strategie ACE a představuje logaritmickou závislost mezi velikostí stimulačního proudu a hlasitostí vnímané řeči u pacientů s kochleárními implantáty. V případě simulací a testů se slyšícími dobrovolníky byl tento blok vynechán. Posledním blokem na obrázku 1 je blok channel mapping spolu s bloky individuálního nastavení pacienta ( patient setting a virtual electrode setting ). Tento blok přestavuje
převod velikosti stimulačních pulsů do dynamického rozsahu pacienta. Pro určení individuálních parametrů byl vytvořen program Programming Tool [7]. 2. Ověření algoritmu simulací Pro porovnání strategie ACE a ACEv byla použita kepstrální vzdálenost. Výstup obou porovnávaných strategií byl zpětně rekonstruován na řeč [7]. Oba rekonstruované řečové signály byly porovnávány s původní řečí. Jako vstup byla použita Česká řečová audiometrická databáze. Porovnání probíhalo zvlášť pro znělé a neznělé řečové úseky a pro šumové pozadí. Výsledná průměrná kepstrální vzdálenost je uvedena na obrázku 3, v závislosti na počtu přenášených maxim. Z uvedených výsledků vyplývá, že strategie ACEv podstatně lépe zpracovává neznělé úseky řeči a šumové pozadí. Porovnání bylo prováděno v programovém prostředí Matlab s použitím Nukleus Matlab Toolboxu [2, 3]. unvoiced ACE unvoiced ACEv voiced ACE voiced ACEv 4,8 3,8 4,7 4,6 4,5 4,4 4,3 4,2 3,7 3,6 3,5 3,4 3,3 3,2 3,1 3,0 2,9 4,1 2,8 a) b) pauses ACE pauses ACEv 4,6 4,5 4,4 4,3 4,2 4,1 4,0 3,9 3,8 c) Obr 3: Průměrná kepstrální vzdálenost pro znělé a neznělé úseky řeči a pro šumové pozadí. 3. Testy se slyšícími dobrovolníky Pro slyšící pacienty byla použita databáze Percepce řeči sluchem, standardně používaná pro vyšetření sluchu u sluchově postižených osob (pacienti používající naslouchátka i kochleární implantáty). Testy se slyšícími dobrovolníky byly prováděny v rámci diplomové práce [6]. Dosažená procentuální úspěšnost správných odpovědí je uvedena v následující tabulce. Poslechové skóre se s výjimkou pacienta N nezměnilo nebo zlepšilo.
Pacient ACE [%] ACEv [%] E 97 97 F 100 100 H 100 100 I 95 97 J 100 100 K 95 97 L 96 98 M 95 99 N 95 93 O 89 97 P 93 98 Q 95 99 Tab 1: Procentuální úspěšnost poslechových testů, dobrovolníci. 4. Testy s pacienty s kochleárními implantáty Pro testy s pacienty s kochleárními implantáty byla použita stejná databáze jako v případě testů se slyšícími dobrovolníky. Pro případ pacientů s kochleárními implantáty byly použity rozsáhlejší a časově náročnější testy. Procentuální úspěšnost čtyř testovaných pacientů je uvedena v následující tabulce. U pacientů A a C došlo k zlepšení poslechového skóre o 5 a 10 %. U těchto pacientů bylo v minulosti dosaženo velmi dobrého rozlišení frekvencí generovaných standardní a virtuální elektrodou. Pacienti B a D dosáhli stejného nebo nepatrně vyššího poslechového skóre. Tito pacienti v předcházejících testech hůře rozlišovali standardní a virtuální elektrody [7]. Pacient ACE ACEv A 80 85 B 91 92 C 78 84 D 90 90 Tab 2: Procentuální úspěšnost poslechových testů, pacienti. Pacienti s kochleárními implantáty byli dále testováni na rozpoznání hudby. V prvním případě bylo vybráno deset hudebních nástrojů a pro každý byla nahrána chromatická stupnice. Poté byla tato stupnice zpracována strategií ACE i ACEv a prezentována pacientům. Pacienti rozhodovali která strategie lépe prezentuje stoupající melodii a zda je zvuk více či méně podobný skutečnému nástroji (všichni testovaní pacienti byli postlingválně ohluchlí). Preference pacientů ( s standardní straetgie ACE, v -ACEv a N bez preference) je shrnuta v tabulce 3. piano varhany kytara viola struna trumpeta clarinet flétna synthetik xylophone Pacient S:V:N A V V V V V N S S V V 2:6:2 B N V S S S S V S N S 6:2:2 C S V V S V V N V V V 2:7:1 D N V V S N N V S V V 2:5:3 Tab 3: Rozpoznání hudebních nástrojů, pacienti.
Pro porovnání souvislé řeči a hudby bylo vybráno deset ukázek řeči (divadelní hry a pohádky) a dvacet hudebních ukázek všech žánrů. Pacientům byly postupně prezentovány všechny ukázky zpracované strategií ACE a ACEv. Pacienti preferovali strategii ACEv pro její lepší reprezentaci melodie řeči i hudby. Na druhé straně strategie ACEv zněla poněkud metalicky. Řeč prezentovaná strategií ACEv měla navíc vyšší F0. Oba výše prezentované nedostatky by mohly být odstraněny optimalizací použité banky filtrů a také delším zácvikem pacientů. Testované osoby totiž porovnávaly strategii kterou běžně používají se strategií kterou mohli slyšet jen v laboratoři v průběhu testů. 5. Závěr Virtuální elektrody byly implementovány do řečové strategie ACE. Použití virtuálních elektrod ve strategii ACE s sebou přináší problémy, které ale lze uspokojivě řešit. Výsledná řečová strategie pak umožňuje lepší frekvenční rozlišení v porovnání se standardní strategií ACE. Standardní strategie ACE i ACE s virtuálními elektrodami byly testovány na kvalitu řeči s hlediska její přirozenosti a srozumitelnosti pomocí simulací testů na slyšících dobrovolnících a na pacientech s kochleárními implantáty. Obě strategie budou rovněž porovnány na ukázkách hudebních nástrojů, souvislé řeči a ukázkách hudby. 6. Poděkování Tato práce vznikla za podpory výzkumného záměru Transdisciplinární výzkum v biomedicínském inženýrství 2 č. MSM 6840770012 a grantem Modelování biologických a řečových signálů, č 102/03/H085 Českého vysokého učení technického v Praze. Reference [1] CLARK, G. Cochlear implants, fundamentals and applications. New York: Springer NY, 2003. 830 p. ISBN 0-387-95583-6. [2] Nucleus Reference manual. Cochlear Ltd. Australia, 2001. N94359F ISSI. [3] Swanson, B. Nucleus Matlab Neural Toolbox. Cochlear Ltd. Australia, 2004. [4] M. Vondrášek, T. Tichý, P Sovka.Virtual Electrodes in Nucleus 24 Implant. NIC Workshop 2006, Nechrlen, Belgium 2006. [5] Vondrášek, M. - Tichý, T. - Sovka, P.: Virtual Electrodes Discrimination in NucleusR 24 Cochlear Implant. In Applied Electronics 2006. Plzeň: ZČU Plzeň, 2006, s. 229-232. ISBN 80-7043-442-2. [6] Zralíková, V.: Porovnání řečových strategií pro kochleární implantáty Nucleus 24, Thesis, ČVUT-FEL, 2007. [7] Vondrášek, M.: Speech Preprocessing for Cochlear implants. Doctoral Thesis, CTU Prague 2007.