Diplomová práce Realizace rozhraní mozek-počítač (BCI) pro zadávání znaků

Transkript

1 Západočeská univerzita v Plzni Fakulta aplikovaných věd Katedra informatiky a výpočetní techniky Diplomová práce Realizace rozhraní mozek-počítač (BCI) pro zadávání znaků Plzeň 2018 Bc. Lenka Ortinská

2 Místo této strany bude zadání práce.

3 Prohlášení Prohlašuji, že jsem diplomovou práci vypracovala samostatně a výhradně s použitím citovaných pramenů. V Plzni dne 24. srpna 2018 Bc. Lenka Ortinská

4 Abstract The diploma s thesis purpose is the implementation of Brain-computer interface for entering of characters. This work is based on analyses of electroencephalographic data. The examined subject is stimulated by displaying image scenario that evokes potential based on visual stimulation. Data from the measured signal can be processed in real time or offline. After many repetitions, that is repeated presentation of scenarios of the imagined target, the computed signal transcribes the eminent elicited potential, wave P300, which allow imagined characters to be classified. From these classified characters, we can compile a word and recognise imagined pictures of the assessed subject. Abstrakt Diplomová práce se zabývá realizací rozhraní mozek-počítač pro zadávání znaků. Práce spočívá v měření elektroencefalografických dat. Měřený subjekt je stimulován navrženým grafickým scénářem, který evokuje potenciály na základě vizuální stimulace. Měřený signál je zpracováván jak v reálném čase, tak je možné ho zpracovávat i zpětně, offline. V měřeném signálu u daného myšleného targetu se po několika opakování, tzn. po častém opakovaném promítání scénáře, vykresluje nejznámější evokovaný potenicál vlna P300, díky které lze klasifikovat myšlený znak. Z takto klasifikovaných znaků skládáme slovo a rozeznáváme tak myšlená slova měřené osoby.

5 Poděkování Ráda bych poděkovala Ing. Pavlu Mautnerovi, Ph.D., vedoucímu své diplomové práce, za poskytnutí odborných rad a věcné připomínky, vstřícnost a čas strávený při konzultacích především s blížícím se termínem odevzdání. Velké poděkování nálěží studentům doktorského studia z neurologické laborataře na KIV, především za vstřícnost a poskytnutí cenných rad. Nakonec chci poděkovat své rodině, zejména mamince, která měla opětovně největší obavy o dokončení mého inženýrského stupně a Filipovi Hoflerovi za psychickou a fyzickou oporu.

6 Obsah 1 Úvod 8 2 Rozhraní mozek-počítač (BCI) Zaměření práce Princip BCI systémů Elektroencefalografie Artefakty v signálu Evokované potenciály P300 vlna P300 evokované potenciály Experimenty BCI P300 speller Hex-O-Spell Srovnání scénářů Naměření signálu Příprava subjektu Interpretace signálu Zahájení stimulace Sounáležitosti a GDPR Předzpracování signálu Segmentace Korekce Single-trial analýza Matching Pursuit Waveletová transformace Diskrétní waveletová tranformace Extrakce příznaků Příznakový popis Klasifikátor Princip klasifikace a její typy Neuronová síť

7 Perceptron Modely Deep Learning Sestavení BCI systému Schéma navrženého BCI Získání dat Nahrávací sofware Vizualizace grafického scénáře Grafický návrh scénáře Průběh experimentů Software pro návrh scénáře Komunikace mezi NP a BVA Komunikace mezi BVA a projektem Basil Projekt Basil Zpracování dat Vstupní datasety Předzpracování dat Výpočet příznakových vektorů Předzpracování WT Předzpracování MP Klasifikace dat Trénování klasifikátoru Klasifikační algoritmy Fisherův lineární diskriminant Metoda podpůrných vektorů Zřetězený Autoenkoder Dosažené výsledky Hodnocení úspěšnosti klasifikátoru Tabulky výsledků Závěr Seznam zkratek a pojmů Uživatelská dokumentace 69 Literatura 72

8 1 Úvod Mozek je velmi významnou částí člověka, která ovládá veškeré části lidského těla. Považujeme ho za sbírku propojených neuronů, které rozhodují o chování člověka. Porozumění kognitivnímu chvování lidského mozku je zajímavou oblastí výzkumu nejen pro lékařství, ale i medicínské informatiky. Slouží zejména pro zjišťování řešení různých problémů týkající se mozku. Jedním z takových problémů je např. komunikace lidí s motorickým postižením, ti jsou v mnoha případech odkázáni na život bez komunikace a přitom komunikace s nimi je velmi důležitá, neboť umění pochopit speciální potřeby těchto lidí vede ke zjednodušení podmínek jejich života a k odhalení neobjasněných projevů různých onemocnění ať už fyzických nebo psychických. Cíl diplomové práce se odvíjí právě od této myšlenky umění komunikace s motoricky postiženými lidmi. Klade si za úkol vytvořit rozhraní mozekpočítač, tzv. BCI systém, který experimentuje s komunikací mezi lidským mozkem a počítačem za pomocí jediného smyslového orgánu, a to zraku. Takové rozhraní pro mozek-počítač při svém experimentu snímá povrchovou aktivitu lidského mozku, nazývánou jako elektroencefalografie (EEG). Tato disciplína snímá velmi nízkou elektrickou aktivitu mozku pomocí vodivých elektrod z pokožky hlavy a spolu se zesilovacím zařízením vše zaznamenává ve formě výstupního signálu na obrazovku. Tvar signálu, který produkuje mozek můžeme úmyslně stimulovat vnějšími událostmi, typicky promítáním stimulů na obrazovce, a evokovat tak potenciály (EP). Jedná se o potenciály, kdy mozek zachytí podnět na daný stimul z monitoru a spustí reakci ve formě změny či vychýlení signálu. Na katedře informatiky a výpočetní techniky Fakulty aplikovaných věd jsou prováděny výzkumy v oblasti právě zmiňovaných evokovaných potenciálů. Spolupracují s Fakultní nemocnicí v Plzni, ale i např. se zahraniční bavorskou firmou pro vývoj BCI systémů. Výzkum již prolomil hranice, kdy jsme schopni tyto potenciály ze signálu extrahovat a nadále zpracovávat. Tato diplomová práce vychází z poznatků katedry a navazuje na její výzkum. Implementuje řešení pro rozpoznávání znaků od A do Z, které vychází z již navrženého experimentu Guess the number, kde si dotyčná osoba myslí číslo od 1 do 9, které je následně rozpoznáváno. Pro rozpoznávání znaků je aplikováno několik klasifikačních algoritmů, jejichž výsledky jsou navzájem porovnávány a diskutovány v závěru práce.

9 2 Rozhraní mozek-počítač (BCI) Dosavadní pokroky v kognitivních neurovědách a neurozobrazování 1 začaly poskytovat schopnost přímo propojit mozek s počítačem [21]. Rozhraní mozekpočítač (z angličtiny Brain-computer Interface) tedy poskytuje přímou komunikaci mezi lidským mozkem a počítačem. Propojení lidského mozku s moderními počítači je využíváno především ve zdravotnictví. BCI systémy přináší značnou pomoc lidem s motorickou či komunikační bariérou, zejména lidem, kteří utrpěli mozkovou příhodu či obrnu, poranili si mozek nebo míchu, trpí svalovou dystrofií apod. Typicky tato onemocnění poškozují nervovou soustavu, která řídí svaly. Člověk připojený k BCI systému je schopen vědomou aktivitou mozku ovládát pohyb jednoduchých robotů či robotických částí, pohybovat kurzorem myši na monitoru počítače nebo volit písmena abecedy a prolomit tak komunikační bariéru. Čerpáno z [11] a [12]. Princip BCI systémů znázorňuje obrázek 2.1, jednotlivé části jsou dětailně vysvětleny v následujících jednotlivých kapitolách. Obrázek 2.1: Architektura BCI systému pro interkaci s externím zařízením např. kurzor myši, invalidní vozík, robotické rameno a speller. Obrázek převzatý z [7]. 1 Neurozobrazování je soubor metod a technik pro zobrazování struktur a funkčnosti mozku.

10 2.1 Zaměření práce Zaměření práce Nejprve se teoreticky zaměříme na pojem elektroencefalografie v kapitole 3. Zdůvodníme její rozsáhlé využití, princip měření a ovlivňování průběhu EEG signálu, s čímž souvisejí jednotlivé podkapitoly 3.2 týkající se evokovaných potenciálů. Tyto potenciály jsou evokované na základě stimulace pro kterou je navržen grafický scénář. Tomu je věnovaná samostatná kapitola 4 Experimenty BCI, kde jsou analyzovány jednotlivé experimenty z nichž vychází vlastní návrh experimentu, který je již promítán testovacímu subjektu. Od tohoto měření se odvíjí rozsáhlá analytická problematika týkající se postupu naměření signálu v kapitole 5 Naměření signálu a následně jeho předzpracování v kapitole 6. Předzpracování dat zahrnuje množství postupů, které jsou vysvětleny v patřičných podkapitolách. Na základě kvalitně získaných a očištěných dat extrahujeme příznaky, které analyzuje kapitola 7 Extrakce příznaků. Z těchto příznaků je již možné klasifikovat do targetových a netargetových tříd několika vybranými klasifikačními algoritmy, které popisuje závěrečná teoretická kapitola 11 Klasifikátory. 2.2 Princip BCI systémů Základní funkcí systémů využívající BCI technologii je převod měřené mozkové aktivity na signály vhodné pro řízení externího zařízení. Někdy se BCI zaměňuje s neuroprotetikou. V neuroprotetice však dochází ke spojení nervového systému se zařízením, které vykonává funkci protézy. Naproti tomu BCI realizuje spojení mezi centrálním nervovým systémem (mozkem) a počítačem. Převzato z [11]. Úkolem BCI systémů je tedy převádět mozkovou aktivitu na signály, které jsou vhodné pro další využití. V praxi se lze setkat se dvěma nejčastějšími typy BCI systémů: invazivní BCI systémy, neinvazivní BCI systémy. Ty jsou rozdělené podle toho, zda je daný systém implantován do živého organismu. V takovém případě se jedná o invazivní metodu nebo naopak neinvazivní metoda, která není zaváděna přímo do biologické struktury organismu. U neinvazivního BCI systému je mozková aktivita snímána nejčastěji pomocí EEG přístroje nebo existuje mnoho dalších neinvazivních metod jako magentická rezonance, tomografie mozku apod. [11]. Jejich vyšetření však

11 2.2 Princip BCI systémů 11 vyžaduje velice drahá zařízení. Dostupnost CT pro tomografii mozku je pro ČR sice velice dobrá, podle statistických údajů zhruba 10 přístrojů CT na 1 milion obyvatel, ale na vyšetření se v závislosti na vytížení provozu v zařízení čeká několik dní až týdnů. Převzato z [26]. Značnou výhodou EEG oproti zmíněným metodám je především nízká cena vyšetření a velmi vysoké časové rozlišení. Kvůli nízkým nákladům a přenositelnosti je EEG velmi hojně využíváno v klinických a výzkumných aplikacích a experimentech [9].

12 3 Elektroencefalografie Grafický záznam mozkových rytmů se nazývá elektroencefalografie (EEG), jedná se o neinvazivní vyšetřovací metodu (tzn. z povrchu hlavy), při které se zaznamenávají bioelektrické potenciály mozku za pomocí speciálního měřícího přístroje [35]. Nervové buňky si mezi sebou předávají signály pomocí změn elektrického napětí. Změny elektrického napětí se v malé míře propagují až na povrch hlavy, kde jsou registrovány citlivými elektrodami a zaznamenány do grafu. Grafický záznam křivky mozkových rytmů se nazývá elektroencefalogram a ilustruje ho obrázek 3.1. Obrázek 3.1: Elektroencefolagrafický záznam ze tří elektrod F z, C z a P z Signál, který je propagován až na povrch hlavy je velmi slabý. Přístroj pro vyšetření EEG, elektroencefalograf, musí být schopen takto malé signály zesílit, což zapřičiňuje značnou nevýhodu těchto měření. Chyby při takovém měření jsou zesilovány a experimenty znehodnocovány. Záznam mozkové aktivity je velmi náchylný k vnějšímu rušení, každý okolní vliv člověkem vnímaný je zaznamenán do výstupního signálu mozkové aktivity jako artefakty popsané v kapitole 3.1. Tudíž i přesto, že se metoda pořizování EEG záznamu jeví jako skvělá vědní disciplína pro zkoumání mozkové aktivity, není to zcela jednoznačné. Obraz mozkové aktivity obsahuje nesmírně mnoho informací a ne vždy je jednoduché extrahovat odpovídající neurokognitivní procesy. Při vyšetření pomocí EEG se pacientovi umístí na hlavu speciální čepice, která obsahuje povětšinou 20 elektrod. Přístroj snímá po určitou dobu elektrickou aktivitu z každé elektrody a zaznamenává ji do elektroencefalografu. Přístup k pořizování EEG záznamu od měřeného subjektu je detailněji popsán v kapitole 5.1.

13 3.1 Artefakty v signálu 13 Takto snímaný signál má velmi nízkou amplitudu. Pro jeho další zpracování je nutné zesílení pomocí diferenciáního zesilovače. Signál z plošných elektrod převádí signál do zesilovače, kde dojde k jeho zesílení. Komunikaci mezi elektrodami a zesilovačem zajišťují tzv. kanály. Každá elektroda má svůj kanál, který odpovídá výstupu zapojeného zesilovače. Dokážeme tak přiřadit jednotlivé kanály k příslušným datům a rozlišit tak signál z jednotlivých elektrod. Čerpáno z [22] a [12]. Elektroencefalogram tedy pro úspěšnou interpretaci signálu potřebuje celkem tři sounáležitost: Diferenciální zesilovač, registrační elektrody, kanály, které ilustruje obrázek 3.2. Obrázek 3.2: Ilustrativní obrázek zařízení pro měření EEG. 3.1 Artefakty v signálu Vlivů rušení, které znehodnocují záznam z elektroencefalografu je mnoho. Nazývají se artefakty a nejčastěji se dělí na artefakty vznikající chybnou činností zařízení a artefakty pocházející od pacienta. Artefakty technického rázu, tedy ty které vznikají chybou zařízení jsou často následkem špatného kontaktu elektrody s povrchem hlavy, vadným zařízení nebo poškozením elektrod. Naopak artefakty pocházející od pacienta představují biologické projevy člověka jako srdeční činnost, pocení, pohyb svalů,

14 3.2 Evokované potenciály 14 sakadické 1 oční pohyby a mrkání [12]. Různé biologické a technické artefakty znázorňuje obrázek 3.3. Artefakty zanesené v průběhu EEG měření značně ovlivňují jeho kvalitu. Výstupní signál obsahuje nesrovnalosti, které se jen těžko mohou zpracovávat a je nutné je odstranit. Biologické artefakty se velice špatně odstraňují, protože se vyskytují u každého jinak, v jiný časový okamžik či v jiné intenzitě, proto je velmi důležité, aby měřená osoba byla v relaxovaném stavu [32]. Obrázek 3.3: Ilustrativní ukázka technických (blokování) a biologických artefaktů (mrkání, sakadické oční pohyby, pocení) v EEG signálu. 3.2 Evokované potenciály Evokované potenciály (EP) jsou změny elektrické aktivity mozku, vznikají po reakci specifických událostí. EP jsou generované mozkem jako reakce nervové soustavy na vnější stimulaci. Takové reakce na vnější podněty tvoří sled negativních a pozivních vln [15]. Vlnu lze diagnostikovat: frekvencí amplitudou latencí Frekvence EEG aktivity se vyjadřuje počtem opakujících se vln v určitém čase. Amplituda je odezvou mozkové aktivity na stimulaci. Latence je čas 1 sakadické znamená mimovolné, nekontrolované, rychlé a trhavé pohyby (očí)

15 3.2 Evokované potenciály 15 mezi výskytem stimulu a jeho patřičné odpovědi, jedná se tedy o čas, který mozek potřebuje pro zpracování informace o přijatém stimulu viz obrázek 3.4. Převzato z [25]. Obrázek 3.4: Signál evokovaný potenciály Rozlišujeme dva druhy evokovaných potenciálů [32]: exogenní EP jsou potenciály, jejichž charakteristika - zmíněná latence, amplituda a frekvence, závisí na smyslové oblasti, která je stimulována. endogenní EP jsou takové potenciály, jejichž charakteristika je nezávislá na stimulované smyslové oblasti. Naopak je velmi závislá na momentálním psychickém stavu měřeného subjektu. Zaměříme se především na endogenní evokované potenciály. Existuje mnoho způsobů jak evokovat potenciály. Můžeme si představit celou řadu podnětů, na které nervový systém reaguje evokovanou odpovědí (např. silnější dotek kůže, nepříjemný zvuk, bolestivý vjem, klepnutí kladívkem, náhlá změna teploty a mnoho dalších). Takové stimulace mohou být sluchového, motorického, vizuálního či jiného senzorického rázu. Čerpáno z [28], [32]. Rozlišujeme různé EP komponenty v závislosti na tom, v jakém čase po výskytu stimulu nastanou. Tvar jednotlivých vln evokovaných potenciálů je možné identifikovat. Rozlišujeme několik základních vln v závistlosi na tom, v jakém čase po výskytu stimulu nastanou. Obvykle první znak v názvu EP komponenty značí polaritu amplitud:

16 3.2 Evokované potenciály 16 P kladná (positive) N záporná (negative) C nemá jednoznačně přiřazenou polaritu, následující číslice pak značí přibližné zpoždění EP komponent ve stovkách milisekund, jedná se o označení latence. Například P100 je pozitivní vlna, která se zpravidla objeví 100 ms po stimulu [25] P300 vlna Nejvýznamnějším evokovaným potenciálem je jednoznačně vlna P300 (někdy též označovaná jako P3). Vlna se dle názvu vyskytuje přibližně 300 ms po určitém stimulu, kde jako detekci generuje na skalpu elektrickou odpověď s pozitivní komponentou s maximem odpovědi v centrální a temenní oblasti mozku, které odpovídají centrální elektrody F z, C z a P z. U zjednodušených vyšetření pak minimálně C z a P z dle obrázku 3.5. Obrázek 3.5: Rozmístění centrálních elektrod F z, C z a P z. Převzato z [14]. Výskyt této vlny se nejčastěji projevuje při neočekávané události v neočekávaném pořadí. Abychom mohli tyto reakce správně zaznamenávat, je nutné tyto elektrické aktivity opakovat. V kapitole čerpáno [28], [32], [34]. Křivka s nejvýraznější komponentou P300 se celkem skládá z několika komponent, viditelných na obrázku 3.6, jedná se o následující komponenty [34]: přibližně s 80 ms až 100 ms latencí po výskytu stimulu se objevuje první pozitivní komponenta P1 označovaná též jako P100

17 3.2 Evokované potenciály 17 Obrázek 3.6: Vlna p300 složená z komponent. následuje již o něco výraznější komponenta N1 (též N100) s negativní amplitudou, komponenty P1 a N1 nemají žádnou spojistost se zpracováním stimulu komponenty vyskytující se cca ms po výskytu stimulu se nazývají P2 (též P200) a N200 komponenty vyskytující se přibližně ms po výskytu stimulu se nazývají P2 (též P200) a N2 (N200), tyto vlny již skutečně reprezentují endogenní potenciály související s posouzením stimulace po výskytu stimulu nejznámnější a nejvýraznější komponentou je P3 (P300), objevující se ms po výskytu stimulu P300 evokované potenciály Jak již bylo zmíněno v předchozí kapitole 3.2.1, P300 je potenciál související s neočekávanými událostmi vyvolanými paradigmatem oddball, během něhož jsou měřenému subjektu opakovaně zobrazovány častější netargetové stimuly, které ignoruje a targetové stimuly, na které reaguje, tzn. že měřený subjekt věnuje pozornost pouze targetovým podnětům. Při objevení se targetového stimulu je v mozku spuštěn sled mentálních operací, jejichž

18 3.2 Evokované potenciály 18 završením je provedení pohybu či podvědomí proces např. nasčítávání [8]. Měřený subjekt, při odball paradigmatu, je stále v bdělém stavu pozornosti udržované na vysoké úrovni, neboť se neustále snaží odhadovat, kdy dojde k dalšímu objevení targetového stimulu. Subjekt je permanentně připraven reagovat, a proto se může stát, že i přes jednoduchost úkolu dochází k chybným reakcím na podněty [29]. Vlnu P300 je možné v takovém případě registrovat u jiného podnětu než je targetový. Z tohoto důvodu aplikujeme opakované promítání stimulů, kde na základě zprůměrování několika výsledků dokážeme detekovat sérii potenciálů, mezi nimiž dominuje pozitivní výchylka s latencí kolem 300 milisekund [8]. Vlna P300 je obrazem ukončení poznávací činnosti.

19 4 Experimenty BCI Již počátkem devadesátých let 20. století zjistil německý neurolog Niels Birbaumer, že některé mozkové vlny dokáže řídit člověk sám pomocí své vůle. Birbaumer využil tohoto zjištění a zkonstruoval se svými spolupracovníky první hláskovací zařízení pro motoricky postižené pacienty. Pacient si vybíral vždy ze dvou skupinek znaků tu, ve které se nacházelo právě myšlené písmenko, metodou tzv. půlení intervalu se postupně dopracoval až k myšlenému znaku [27]. Nepřijatelně dlouhé odezvy BCI systémů však donutily vědce vyvinout takové BCI systémy, které jsou na ovládání podstatně jednodušší. Jeden z takových BCI systémů navrhl Emanuel Donchin v roce 1988 spolu s Farwellem. Donchin založil funkčnost svého BCI systému na již zmiňované P300 komponentě. Společně pak navrhli hláskovací systém pojmenovaný jako P300 speller založený na evokovaných potenciálech [3]. Podobnou problematikou se též o několik let později zabýval projekt s názvem Berlin BrainComputer Interface [2] ve spolupráci se specialisty pro interakci mozek-počítač a navrhli scénář s názvem Hex-o-speller. Návrh takových experimentů spočívá ve vytvoření tzv. scénáře, který je promítán měřenému subjektu na monitoru nejčastěji formou blikání targetových a netargetových stimulů. Touto stimulací je možné evokovat potenciály v EEG signálu, díky kterýmž lze detekovat výskyt komponenty P300. V EEG signálu se mimo naměřený klasický EEG záznam zobrazují i tzv. synchronizační značky, které odpovídají výskytu jednotlivých bliknutí, tedy targetovým a netargetovým stimulům. 4.1 P300 speller Scénář, který navrhli symbolizuje matici o rozměrech 6 6 zahrnující všech 26 hlásek abecedy spolu s 10 číslicemi (0-9). Jednotlivé symboly jsou uspořádány do řádek a sloupců [3]. Tyto sloupce a řádky v náhodném pořadí problikávají, vždy je zvýrazněná pouze jediná řada symbolů, viditelné na obrázku 4.1. Účastník experimentu vždy zaměří svoji vizuální pozornost na konkrétní cílový symbol, tedy výskyt targetového stimulu a tiše napočítává jejich počet bliknutí, vždy si v duchu řekne kolikrát již dané písmeno bliklo. V reakci na vybraný target se začne tvořit P300 vlna, kdežto v ostatních

20 4.2 Hex-O-Spell 20 řádcích a sloupcích ne. Po detekci jediného řádku a sloupce je možné vyhodnotit daný myšlený symbol v jejich průsečíku. S tímto typem BCI dokázali zdraví dobrovolníci psát rychlostí 8 znaků za minutu se spolehlivostí volby znaku kolem 80% [27]. Obrázek 4.1: Experiment P300 speller.převzato z [3] Model P300 Speller byl benchmarkem pro systémy BCI. Jedna z největších výhod tohoto scénáře spočívá v tom, že nevyžaduje intenzivní trénink uživatele, neboť komponenta P300 je výsledkem endogenní mozkové funkce založené na pozornosti. Je tedy velmi důležité, aby měřená osoba byla plně bdělá v dobré duševní kondici. Únava, neúplná koncentrace a mnoho dalších nepříznivých faktorů velmi ovlivňují trend komponenty P Hex-O-Spell Grafický hláskovací scénář Hex-o-spell byl poprvé představen na největším světovém veletrhu v oblasti informačních technologií - CeBIT v roce 2006, kde byla prokázána jeho účinnost a robustnost. Na veletrhu byly scénářem otestovány dvě osoby, přičemž rychlost rozpoznávání činila 6 a 7 znaků za minutu [2]. Hex-o-spell je též scénář založený na principu klasifikace P300 vlny. Jedná se o vizuální scénář navržený do tvaru šestiúhelníku, kdy v první fázi grafické stimulace dochází k výběru skupinky znaků, v které se nachází myšlený targetový znak a v druhé fázi dochází ke klasifikaci konkrétního myšleného symbolu viz obrázek 4.2.

21 4.3 Srovnání scénářů 21 Obrázek 4.2: Experiment Hex-o-spell. Levý obrázek symbolizuje první fázi výběru skupinky znaků, v níž leží targetový znak. Pravý obrázek symbolizuje druhou fázi, klasifikaci již myšleného targetového znaku. Převzato z [3]. 4.3 Srovnání scénářů Hex-o-spell oproti scénáři P300 speller musí implementovat zpětnou vazbu, tzn. že po klasifikaci P300 vlny u daného konkrétního stimulu se scénář vrací zpět k první fázi rozpoznávání skupinky znaků a opakuje se. Tím je docíleno toho, že lze rozpoznávat celá slova. Scénář P300 speller nutně nemusí implementovat zpětnou vazbu. Lze po stanoveném počtu bliknutí vyhodnotit řádek a sloupec s nejvyšší procentuální pravděpodobností, kde se vlna P300 nachází. Scénář P300 speller díky absenci zpětné vazby není tak náročný na implementaci jako Hex-o-spell. Výsledky různých studií např. i [10] prokazují, že vyšší přesnosti při online i offline zpracování dosahuje scénář Hex-o-spell. Při experimentech bylo naměřeno a zpracováno celkem 32 jednotlivých znaků, přičemž úspěšnost scénáře Hex-o-spell činila po zprůměrování a zaokrouhlení 93,5 % a P300 speller 89,3 %. Další výsledky analýzy dat, včetně detekce P300 ukazují, že potenciál P300 komponenty, tzn. její průběh, byl zvýšený v případě scénáře Hex-o-spell, což může být způsobeno větší vzdáleností a sníženým rušením mezi jednotlivými znaky ve scénáři. Další výhodou, kterou publikace zmiňuje je, že grafické uživatelské rozhraní Hex-o-spell obsahuje menší počet blikajících znaků, tím není scénář tak únavný pro oči měřených subjektů.

22 5 Naměření signálu Nyní jsou nám již známé určité druhy vizuální stimulace založené na detekci P300 komponenty. Dostáváme se tudíž k první části obrázku z celkové architektury BCI systému, a to k naměření signálu dle předchozího obrázku 2.1 z kapitoly 2. Jak již bylo řečeno existuje mnoho možností jak snímat mozkovou aktivitu, avšak většina řešení jsou velice drahá a nepřenosná zařízení (diskutováno v závěru dřívější kapitoly 2.2), z tohoto důvodu se zaměřujeme pouze na neinvazivní metodu elektroencefalografie. 5.1 Příprava subjektu Příprava subjektu na měření představuje nasazení elektrodové čepice na hlavu, tak aby rozložení elektrod odpovídalo rozložení povrchu mozkové kůry. Pacient s připravenou elektrodovou čepicí je usazen do odstíněné komory, kde je připojen k zařízení pořizující záznam signálu společně s jeho zesílením, tak aby byl výstupní signál čitelný. Při přípravě elektrodové čepice se soustředíme na kvalitní vodivost elektrod s pokožkou v centrální linii hlavy od oblasti čelní až po týlní, tzv. středovou dělící čáru mezi levou a pravou hemisférou. Neboť nejčastějším místem registrace evokovaných potenciálů, které jsou detailněji popsány v kapitole 3.2, jsou právě středové elektrody umístěné podél centrální linie. K měření se používají zlacené elektrody nebo elektrody stříbrné s vrstvou AgCl v kombinaci s roztoky, které snižují přechodový odpor, popř. elektrodovými gely a pastami s volnými zápornými ionty Cl. Čerpáno z [35], [12], [32]. 5.2 Interpretace signálu Pro úspěšnou analýzu dat je zapotřebí pořídit kvalitní, čistě naměřená data. Žádoucí je naměřit maximálně přesná data s minimálním zašuměním. Kvalitu lze podpořit především eliminací již zmíněných biologických a technických artefaktů. Biologické artefakty se ze signálu odstraňují jen velmi těžce, proto je vhodné pořizovat data od skutečně odpočatých osob, zaručit jim pohodlí a neměřit je únavně dlouho. Relaxovaný stav osoby lze podpořit přestávkami v průběhu experimentu nebo upravení jasu či kontrastu zařízení prezentujícího stimuly. Problikávání grafického scénáře je pro oči velmi

23 5.3 Zahájení stimulace 23 unavující a kontrastně náročné, avšak stimulace musí co nejvíce evokovat potenciály pro jejich následné snadnější zpracování [32]. 5.3 Zahájení stimulace Osobě, připravené k měření, tzn. s namazanou hlavou a připojené k elektroencefalogramu, promítáme grafický scénář na LCD monitoru v odstíněné komoře. Osoba je tak izolavaná od rušivých elementů z vnějšího okolí, je plně zrelaxovaná, seznámená s průběhem měření a připravená k zahájení experimentu. 5.4 Sounáležitosti a GDPR Před začátkem samotného měření je podstatné pojednat s měřenou osobou celkový postup měření a zkontrolovat zdravotní stav osoby. Lidé trpící epilepsií či jinou mozkovu nebo srdeční vážnou chorobou mají přísný zákaz se experimentu zůčastnit. Ostré blikání experimentu by mohlo podnítit zdravotní komplikace. O veškerých měřených datech se udržují na fakultě záznamy. Každá měřená osoba podepisuje souhlas se zpracováním osobních údajů a také to, že byla obeznámena s principem a postupem měření. Shromažďování údajů o měřených subjektech se řídí novým obecným nařízení na ochranu osobních údajů (EU) 2016/679 (GDPR).

24 6 Předzpracování signálu Vzhledem k tomu že EP komponenty naměřené v EEG signálu mají velmi nízkou amplitudu, je nezbytné signál nejprve předzpracovat. Dostáváme se tudíž dle obrázku 2.1 z kapitoly 2 k druhé části architektury BCI systému - předzpracování signálu. Důvodem předzpracování signálu je nejen zanedbatelná amplituda vůči základnímu EEG signálu, ale stejně tak během měření dochází k rušivým elementům, artefaktům, které činí detekci evokovaných potenciálů obtížnější. Cílem předzpracování vstupního signálu je tedy úprava zašuměného signálu tak, aby z něj bylo možné vybrat vhodné příznaky pro následující extrakci z dat, kterou se zabývá následující kapitola 7. Předzpracování dat je možné rozčlenit do následujících kroků: 1. V EEG záznamu jsou viditelné jednotlivé výskyty stimulů, jsou označené jako tzv. synchronizační značky. Podle těchto značek je možné signál rozčlenit do úseků - segmentů. Cílem segmentace je zachycovat hledané EP komponenty v jednotlivých epochách. Segmentací dat započne zpracování EEG signálu. 2. Vyrovnání izolinie též korekce baseline zabraňuje tomu, aby jednotlivé epochy obsahovaly vzorky pouze s kladnou nebo zápornou amplitudou. Taková data by byla jen těžko vyhodnocována. K vyrovnávání izolinie dochází těsně před výskytem jednotlivých stimulů. 3. Dále může měřené výsledky ovlivnit vysoká hladina šumu v datech. Hladinu šumu lze snížit např. pomocí průměrování signálu, kde je však potřeba více opakování téhož experimentu. Stejně tak výběr metod ovlivňuje způsob zpracování dat. V případě zpracovávání online dat, tzn. v reálném čase, nelze využít metodu průměrování, protože jednotlivá data pro průměrování je potřeba nejdříve nasbírat a až poté zpracovat. V našem experimentu analyzujeme a klasifikujeme EP v signálu na základě jednoho pokusu, mluvíme tudíž o tzv. single-trial analýze. Metody, které zahrnují tyto analýzy jsou např. Waveletová transformace, algoritmus Matching pursuit nebo Independent Component Analysis (ICA) [32]. Dostáváme se tudíž k vybrané sérii metod vhodných pro zpracování dat dle obrázku 6.1:

25 6.1 Segmentace Segmentace Obrázek 6.1: Postup předzpracování EEG dat Princip segmentace spočívá ve zmiňovaném rozdělenování signálu na úseky, tzv. epochy viz obrázek 6.2. Tyto epochy se odvíjejí vždy od synchronizačních značek. V jednotlivých epochách se nacházejí evokované potenciály. Tyto potenciály jsou v křivce analyzovány. Pro správnou analýzu těchto křivek je nutné zajistit, aby daná epocha neobsahovala pouze kladné nebo záporné vzorky [32], proto je vhodné, aby začala chvíli před výskytem stimulu, např. 0,5 s, kdy dochází k tzv. vyrovnání izolinie popasné v následující kapitole 6.2 Obrázek 6.2: Segmentace EEG dat na epochy podle synchronizačních značek. 6.2 Korekce Velmi často se stává, že se měřený EEG signál vychýlí od osy x. Při snímání EEG aktivity elektrodami umístěnými po povrchu hlavy dochází převážně vlivem pocení nebo nízké soustředěnosti ke kolísání nulové izolinie. Cílem je zabránit, jak již bylo zmíněno, aby celá epocha neobsahovala pouze záporné či kladné vzorky, protože v takovém případě se jen těžko detekuje tvar určité křivky. Korekce baseline neboli vyrovnání nulové izolinie je tedy metoda, kde je signál upravován v každé epoše tak, aby se nevychyloval od základní osy x [34], jak ilustruje obrázek 6.3.

26 6.3 Single-trial analýza 26 Obrázek 6.3: Korekce kolísaní nulové izolinie. Křivka a značí původní neupravený signál se změnou baseline, křivka b značí upravený signál. 6.3 Single-trial analýza Pokud analyzujeme a následně klasifikujeme EP signál na základě jediného měření (čili pokusu), hovoříme o tzv. single-trial analýze. I tyto metody analýzy mohou poskytovat dodatečné informace, stejně tak jako několikanásobná měření a jejich následné průměrování. Například analýza založená na základě jediného pokusu nám může pomoci zajistit systematické mapování mezi mozkovou aktivitou a stimulačním informačním prostorem nebo mozkovou aktivitou a variabilitou chování subjektu [23]. Důležité je, že pomocí určitých experimentálních scénářů nám tyto analýzy na základě jediného pokusu umožní určit obsah informací v mozkové aktivitě a její transformaci. Ve většině případů jsou single-trial analýzy aplikovány u behaviorálních experimentů či neuroimaging experimentů, kterými se zabýval již zmíněný E. Donchin v kapitole 4, a který dokázal jejich účinnost např. u experimentu P300 Speller. Velkou otázkou je, jaké konkrétní metody zvolit pro získání kvalitních příznaků popisující komponentu P300. Vlna P300 je charakteristická zejména svou časovou složkou, tzn. jejím výskytem v čase, proto by nebylo vhodné zanedbávat její časovou oblast. Stejně tak je individuální co se týče její frekvence a amplitudy. Metody zabývající se single-trial analýzou jsou většinou založeny na filtrování dat (temporal filtering), časově-frekvenční analýze

27 6.3 Single-trial analýza 27 (waveletová transformace a algoritmus matching pursuit) nebo na statistické anlýze časového průběhu (ICA). Převzato z [32]. Metody zaožené na časověfrekvenční analýze jsou tudíž vhodné pro zpracování našich dat Matching Pursuit Tento algoritmus není dle probádaných publikací hojně využívaný jako Waveletová transformace, ale i jím je možné detekovat EP komponenty v signálu za pomocí rozkladu signálu na součet tzv. atomů. Matching Pursuit je tedy algoritmus, který dokáže dekomponovat vstupní signál na součet atomů, ty jsou vybírány z definovaného slovníku [25]. Tzn. že vstupní signál x může být vyjádřen atomy g n a konstantami a n : f(t) N 1 n=0 a n g n (6.1) Při každé iteraci je vybírán atom, který nejlépe aproximuje vstupní signál x. Vybraný atom je následně odečten od signálu x a zbytek signálu je ponechán jako vstup do další iterace. Konečný součet atomů vybraných v jednotlivých iteracích algoritmu je roven aproximaci původního signálu. Čím vyšší je počet iterací, tím přesnější je odhad původní signálu. Algoritmus je častěji spojován s Gáborovými atomy, které jsou definovány jako Gaussovské okno: kde Gaborovy atomy mají následující definici: g t = e ( πt) (6.2) g (s,u,v,w) (t) = g( t u )cos(vt + w) (6.3) s kde s je měřítko, u časový posun, v frekvence a w fázový posun. Tyto zmíněné parametry definují jednotlivé atomy. Po přiměřeném počtu iterací je signál rozložen na sadu Gaborových atomů: N f(t) a n g γn (t) (6.4) n=1

28 6.3 Single-trial analýza 28 kde f(t) je základní signál na vstupu, g γn je vybrané nejlépe aproximující slovo ze slovníku a a n koeficient odpovídající skalárnímu součinu atomu se signálem. Pak platí výše zmíněný vztah. Čerpáno z [5]. V každém kroku se snažíme najít nejvhodnější parametry pro Gaborův atom tak, aby vektor původního signálu po odečtení tohoto atomu váženého tzv. modulem a n měl minimální velikost. Po několika iteracích algoritmu bude tedy možné signál s určitou chybou zpětně sestavit. Převzato z [32]. Aalgoritmus MP je možné popsat jako iterační proceduru následujícím způsobem [18]: 1. Ve slovníku funkcí vyber funkci g γ, která nejlépe aproximuje signál f (tj. maximalizuje skalární součin) Analyzovaný sifnál f pak může být zapsán jako < f, g γ > (6.5) f = < f, g γ > g γ + R f (6.6) 2. Opakuj proces v bodě 1 na reziduum R f, dokud není splněno ukončovací kritérium. Algoritmus je možné ukončit na základě předem stanoveného práhu tzn. pokud je reziduum menší než předem stanovený práh. Nebo místo toho pevně stanovíme počet atomů, tzn. počet iterací algoritmu, které nejlépe aproximují signál. Princip detekce EP komponenty algoritmem MP Dle principu algoritmu dochází při dekompozici vstupního signálu na jednotlivé atomy k tomu, že je nejprve aproximován trend signálu a až poté jeho detaily. EP komponenty se v EEG objevují jako trendy signálu, které jsou rušené EEG signálem. Po několika iteracích je vstupní signál aproximován takovým způsobem, že je viditelný výrazný trend signálu. Převzato z [25]. Z výstupu takového signálu je pak možné zjistit, co zkoumaný úsek signálu skrývá za informace. Zda se jedná např. o artefakt nebo P300 vlnu, proto jako jeden z nejvýznamnějších atomů bude nalezena P300 komponenta. O tom zda daný atom obsahuje danou P300 komponentu pak rozhoduje natrénovaný klasifikátor [32].

29 6.3 Single-trial analýza Waveletová transformace Waveletová transformace (WT) patří mezi časově frekvenční transformace, někdy je též označována jako vlnková transformace. S teorií waveletů se lze setkat v mnoha oborech: matematice, statistice, ale i biomedicíně. Waveletová transformace se nejčastěji používá pro výrazné komponenty jako je vlna P300, proto je velmi vhodná pro zpracování naměřených elektrických signálů. Cílem WT je rozložit vstupní signál do řady waveletových koeficientů. Toho je dosaženo filtrováním signálu párem ortogonálních filtrů. Ty jsou označovány jako otcovské wavelety a mateřské wavelety. Otcovský wavelet určuje celkový trend signálu - rozklad na škálové koeficienty, zatímco mateřský wavelet zachycuje doplňkovou informaci o jemnosti na jednotlivých úrovních - waveletové koeficienty. Převzato z [1]. Některé základní wavelety znázorňuje obrázek 6.4. Značnou výhodou WT je, že osciluje pouze v okolí bodu lokalizace, což poskytuje dobrou frekvenční a časovou lokalizaci, která je potřebná pro extrakci příznaků a detekci EP komponent. Čerpáno z [20] a [25]. Obrázek 6.4: Ukázka často používaných waveletů: (a) Gaussova vlna, (b) mexický klobouk, (c) Haarův wavelet, (d) Morlet. Převzato z [19]. Waveletovu transformaci lze použít pro zpracovávání jak spojitého signálu (CWT), tak i diskrétního signálu (DWT). Nejčastěji se však využívá

30 6.3 Single-trial analýza 30 DWT, především z důvodu lineární složitosti algoritmu [25] Diskrétní waveletová tranformace Diskrétní vlnkové transformace jsou zakládány na použití rekurentních vztahů, které postupně generují zjemňující se diskrétní vzorky původní mateřské funkce. Každé rozlišení je dvojnásobkem předchozího stupně. Vhodnou dvojkovou závislostí parametrů s a τ můžeme vytvořit z vhodné vlnky ψ ortonormální bázi 1 : pak s = 2 p, τ = 2 k ψ s,τ (t) = 1 s ψ t τ s (6.7) kde s odpovídá měřítku, τ časovému posunu. Díky ortonormalitě pak takto zvolená vlnka umožňuje neredundantní dekompozici signálu, tzv. analýzu s mnoha rozlišeními. Tento princip je základem DWT. Jeden stupeň transformace Výpočet koeficientů DWT spočívá v aplikaci waveletové funkce (filtr horní propust) a škálovací funkce (filtr dolní propust). Oba filtry, dolní propust h a horní propust g, tvoří pár kvadraturních zrcadel 2, které mají komplementární propustná pásma. Výstupy obou filtrů jsou podvzorkovány na polovinu vstupních vzorků. Horní propust poskytuje koeficienty tzv. detailů cd, dolní propust koeficienty tzv. aproximace ca (viz obrázek 6.5). Díky decimaci je celkový počet koeficientů po jednom kroku stejný jako počet vstupních vzorků. Kaskádování a banky filtrů Jednostupňový rozklad se opakuje a dochází tak ke zvýšení frekvenčního rozlišení, viz obrázek 6.6, který je znázorněný jako binární strom, takový 1 Ortonormální báze je ortogonální a její prvky jsou navíc normované, tzn.že prvky báze jsou jednotkové a jsou na sebe kolmé. 2 Kvadraturně zrcadlový filtr označuje dva filtry s frekvenčními charakteristikami zrcadlově symetrickými kolem čtvrtiny vzorkovací frekvence, tzn. π/2

31 6.3 Single-trial analýza 31 Obrázek 6.5: Jeden stupeň DWT. DWT signálu x, ca jsou aproximační koeficienty, cd jsou detailní koeficienty a podvzorkovací operátor. Převzato z [36]. strom se označuje jako banka filtrů. Koeficienty aproximace jsou dále analyzovány shodným rozkladem filtrů a tím obdržíme další soubor koeficientů aproximace a detailů. Obrázek 6.6: Tři stupně DWT. DWT signálu x, ca jsou aproximační koeficienty, cd jsou detailní koeficienty a podvzorkovací operátor. Převzato z [36]. Tak lze postupovat až do vyčerpání vstupní sekvence. Jednotlivé konvoluce lze formalizovat následujícími vzorci: N ca p+1 (k) = h(m 2k)cA p (m) m=1 N cd p+1 (k) = g(m 2k)cA p (m) (6.8) m=1 kde ca p a cd p jsou koeficienty aproximace, respektive detailů měřítka p 0, P ) a N je délka vstupní sekvence cap, ca0 = f(n). Převzato z [20]. Princip detekce EP komponenty WT Dle požadovaného typu EP komponenty zvoleného k detekci, vybíráme takový druh waveletu, jehož průběh nejlépe aproximuje zvolený typ EP komponenty. V případě aplikace diskrétní waveletové transformace aproximujeme signál do doby než docílíme signálu délky jedna. Při automatické detekci EP komponent v signálu je nutné vhodně zvolit prahovou hodnotu shody waveletu se signálem [25].

32 7 Extrakce příznaků Dle obrázku 2.1 z kapitoly 2 se aktuálně dostáváme ke třetí části architektury BCI systému - extrakce příznaků. Příznaky charakterizují určité objekty, v našem případě reprezentují vlastnosti EEG segmentů. Vybrat příznaky, které jsou vhodné pro následnou klasifikaci je velmi obtížná úloha. Je důležité, aby vybrané příznaky byly odolné vůči přítomnosti šumu a stejně tak obsahovaly hodnoty, které jsou separovatelné do jednotlivých klasifikačních tříd. Klasifikací se zabývá následující kapitola 11. Extrahovat vhodné příznaky ze vstupního signálu je tedy možné až po optimální transformaci vstupních dat, po úpravě zašuměného signálu, tudíž až po aplikaci metod předzpracování signálu. Vybrané metody známe již z předchozí kapitoly Příznakový popis Pro extrakci příznaků jsou použity právě výsledky předzpracování signálu. Metody, které jsou vybírány pro předzpracování EEG signálu silně závisí na výsledcích následné klasifikace slov. Metody single-trial analýzy, zmiňovaný algoritmus Matching Pursuit a diskrétní waveletová transformace jsou (po předchozí diskuzi v kapitole 6.3) spolu s metodami segmentace a korekce baseline, pro předzpracování dat optimální. Příznakový popis označme jako vektor x, který obsahuje veškeré vybrané příznaky. Příznakové vektory s m příznaky lze znázornit jako body v m- dimenzionálním příznakovém prostoru [4], který je značen jako: u 1 u 2 R n = u 3 : u 1, u 2, u 3,.., u m jsou reálná čísla : u m Extrakce příznaků z EEG signálu je počítána z každého segmentu signálu, tzn. z každé epochy, do kterých je naměřený signál rozdělen. Tyto příznaky jsou při klasifikaci použity pro zařazení jednotlivých segmentů do zvolených klasifikačních tříd [4].

33 8 Klasifikátor Nyní již známe potřebnou teorii, abychom se dostali k velmi důležitému bodu diplomové práce, což je samotná klasifikace měřených slov. Výsledky klasifikace určí celkovou úspěšnost navrženého BCI systému. Jedná se o poslední část architektury BCI systému z obrázku 2.1 z kapitoly 2. Z předchozích kapitol je zřejmé, že pro úspěšnou klasifikaci je nutné získat kvalitně naměřená a předzpracovaná EEG data. Klasifikaci dat zpravidla předchází zpracování dat, v kterém se obvykle vypořádáváme s chybějícími či odlehlými hodnotami, rovněž i transformací dat a případně dalšími úpravami, které mohou zahrnovat i redukci dat. Převzato z [16]. V této kapitole si ještě vysvětlíme, jak důležitá je volba klasifikačního algoritmu a obecně si vysvětlíme celkový princip klasikace, načež se realizační část zabývá volbou vhodných klasifikačních algoritmů a jejich nastavení. 8.1 Princip klasifikace a její typy Obecným principem klasifikace je určit, do které z množin patří dané objekty. Tyto množiny nemusejí být předem stanovené, v takovém případě se nejedná o klasifikaci, ale o shlukování [4]. Klasifikace je hojně využívána nejen v medicíně, ale třeba i v biologii pro rozpoznávání druhů květin či v kriminalistickém oddělení pro detekci otisků prstů, rozpoznávání obličejů a v různých jiných oddělení pro vyhledávání klíčových slov v textu apod. Právě podle reprezentace vstupních dat lze klasifikační metody dělit na [16]: příznakové klasifikátory, strukturální klasifikátory, kombinované klasifikátory (kombinace příznakového a strukturálního). Příznakové klasifikátory Vstupní data příznakových klasifikátorů jsou tvořena vektorem hodnot jednotlivých příznaků. Vektor s těmito daty může být zpracován jako celek, tzn. paralelně (příkladem může být Bayesův klasifikátor). Opakem jsou sekvenční klasifikátory, které zpracovávají proměnné postupně (např. klasifikační stromy).

34 8.1 Princip klasifikace a její typy 34 Strukturální klasifikátory Popisují vstupní data relačními strukturami. Relační struktury zahrnují tzv. primitiva, což jsou elementární popisné části zkoumaného objektu a relace, které reprezentují vzájemné vztahy mezi primitivy. Vzhledem k předchozí diskuzi předzpracování dat nás jednoznačně zajímají klasifikace na základě příznakových vektorů, neboť z výpočtů metod singletrial analýzy získáváme vektory jednotlivých příznaků. Stejně tak podle jednoznačnosti zařazení do skupin rozdělujeme klasifikátory na [16]: deterministické klasifikátory, pravděpodobnostní klasifikátory. Deterministické klasifikátory V případě deterministických klasifikátorů je každý objekt ve výsledku zařazen do jedné z klasifikačních tříd a nemůže být současně zařazen do více tříd. Tím je docíleno jednoznačné klasifikace. Pojem deterministický se v některých publikacích [16] závadí i s rozdílnou definicí, a to že klasifikátor daná data zpracuje vždy se stejným výsledkem. Opakem je pak nedeterministický klasifikátor, který při opakovaném zpracování daných dat vyhodnocuje rozdílné výsledky (např. neuronové sítě). Pravděpodobnostní klasifikátory Výsledkem pravděpodobnostních klasifikátorů je převděpodobnost zařazení objektu do jednotlivých tříd. Např. člověk má s pravděpodobností 0,6 infarkt, s pravděpodobností 0,3 atrofii srdeční komory a s pravděpodobností 0,1 je zdravý. Převzato z [16]. Všechny klasifikační metody, kterými se zabýváme v realizační části jsou deterministické. Výsledky klasifikace slov musejí být jednoznačné, tzn. vždy zařezeny do jedné z klasifikačních tříd. Rozpoznávání jednotlivých písmen na základě pravděpodobnosti není zvlášť přínosné, protože detekce jednotlivých písmen vyžaduje jednoznačnost. Klasifikátory lze též dělit dle nastavení, a to na [4]:

35 8.1 Princip klasifikace a její typy 35 parametrické klasifikátory, neparametrické klasifikátory. Parametrické a neparametrické klasifikátory Mezi parametrické klasifikátory se řadí ty klasifikátory, které potřebují nastavit či určit nějaké paramery. Typicky např. prahová klasifikace, u níž je zapotřebí stanovit hladinu práhu, nebo metoda podpůrných vektorů, u které je zapotřebí zvolit parametr C, apod. Pro svoji aplikaci je u parametrických klasifikátorů předpokladem normální rozdělení souboru klasifikovaných dat. Naopak neparametrické klasifikátory nevyžadují nastavení žádných parametrů. Různé klasifikační metody vyžadují různá nastavení vlastních parametrů. Tato nastavení značně ovlivňují výsledky jednotlivých klasifikačních algoritmů a ty jsou součástí diskuze této diplomové práce, a proto jejich nastavení je diskutováno v realizační části kapitoly Mezi další velmi důležité dělení klasifikátorů patří [6]: učení s učitelem, učení bez učitele. Učení s učitelem a bez Při metodě učení s učitelem je z dat vytvořena tzv. trénovací množina. U této trénovací množiny známe zařazení všech jednotlivých objektů do jednotlivých klasifikačních tříd. Za pomoci trénovacích dat se klasifikátor naučí předpovídat výstupní hodnoty pro každý nově vstupující objekt. Aby to dokázal, musí algoritmus zobecnit prezentovaná data na nové vstupy smysluplným způsobem. Naopak u metody učení bez učitele nemáme trénovací množinu a často ani předem neznáme jednotlivé klasifikační třídy, které se budou v datech vyskytovat. Experimenty založené na rozpoznávání komponenty P300 v EEG signálu si vystačí s dvěmi klasifikačními třídami, a to zda byla komponenta P300

36 8.2 Neuronová síť 36 rozpoznána či nikoliv. Tudíž známe jednotlivé klasifiční třídy na kterých je možné rozpoznávání jednotlivých objektů natrénovat. V takovém případě hovoříme o mětodě učení s učitelem. 8.2 Neuronová síť Neuronové sítě (NS) jsou prostředky pro klasifikaci EP vln. Podstatou umělých neuronových sítí je vybudování struktury odpovídající biologickým neuronovým sítím. Obrázek 8.1: Uspořádání neuronů do vrstev v dopředné neuronové sítě. Převzato z [16]. Takové umělé neuronové sítě si kladou za cíl modelaci lidského mozku, avšak mají také velké opodstatnění v případech, kdy např. při řešení daného problému není možné matematicky popsat všechny vztahy a souvislosti, a nebo v případech, kdy lze sestavit matematický exaktní model, ale je tak složitý, že je případná algoritmizace úlohy nemožná [32]. Největší předností umělých neuronových sítí je schopnost učit se. Tzn. že jsou schopné získávat znalosti učením se z množiny předkládaných vzorů bez znalosti algoritmu přesného řešení. Primární částí umělé NS je neuron, který zajišťuje tvorbu a přenos nervového signálu. Umělý neuron lze modelovat následujícím vztahem [32]: n y = f( ω i x i + Θ) i=1 y - výstup neuronu

37 8.3 Modely Deep Learning 37 ω i - váhy neuronu x i - vstupy neuronu Θ - práh neuronu f - neuronová aktivační funkce Využití neuronových sítí Využití neuronových sítí je opravdu široké a nabývá čím dál tím více na významu. Ve všeobecnosti můžeme vyjmenovat následující oblasti využití neuronových sítí pro: klasifikace do tříd, klasifikace situací řešení predikčních problémů a plánování počítačové vidění rozpoznávání znaků a řeči robotiku a jiné Perceptron Perceptron je nejjednodušším modelem dopředné neuronové sítě, která využívá ke klasifikaci lineárně separovatelné obrazy. Perceptron s jedním výkonovým prvkem dokáže klasifikovat objekty do maximálně dvou tříd, přidáváním aktivních prvků do topologie se počet tříd do kterých se jím dá klasifikovat zvyšuje. Při větším počtu aktivních prvků než jeden, potom tyto třídy nemusí být lineárně separabilní, ale stále musí být separabilní. Převzato z [16]. Na obrázku 8.2 je zobrazena perceptronová síť, která vychází z fyziologického vzoru. 8.3 Modely Deep Learning Modely hlubokého učení se od roku 2006 objevují jako nová oblast strojového učení. Pro řadu složitých problémů se prokázalo, že tyto modely překonaly tradiční klasifikační přístupy, např. Support Vector Machine (SVM), které jsou výsledkem prokletí dimenzionality 1. 1 Prokletí dimenzionality mají za následek zhoršení efektivity datových struktur. Prostory vyšší dimenze se chovají jinak než bychom očekávali. Převzato z [13]

38 8.3 Modely Deep Learning 38 Obrázek 8.2: Zvyšování aktivních prvků a jejich vliv na klasifikaci tříd. Převzato z [16]. Tyto problémy nelze řešit pomocí vícevrstvých neuronových sítí trénovanými za použití algoritmu backpropagation 2. Ukázalo se, že hlavním zdrojem problémů při trénování mnohavrstvých neuronových sítí je druhá fáze algoritmu zpětné propagace, při které se propagují chyby z výstupní vrstvy do vstupní. Tím, jak se postupnou eliminací rozdílů požadovaných a skutečných výstupů zmenšuje gradient chyby, ztrácí se informace o tom, jak modifikovat váhy. Optimální konfigurace jedné vrstvy závisí z velké části na té předchozí, při zpětné propagaci však informace o předchozích vrstvách nejsou přímo k dispozici, což ve většině praktických aplikací vede k důvodu, poč nebyly použity více než dvě vrstvy sítě. Čerpáno z [31], částečně převzato z [17]. 2 Algoritmus zpětné propagace (Backpropagation) je založen na principu minimalizace chyby, která vede k postupné úpravě všech vah a prahů. Převzato z [32].

39 9 Sestavení BCI systému Nyní přistupujeme k realizační části diplomové práce, která se zabývá realizací navrženého BCI systému. Sestavení BCI systému popisuje kapitola 9.1 Schéma navrženého BCI, která vysvětluje princip komunikace jednotlivých zařízení a popisuje celkové schéma BCI. Přičemž se seznámíme s projektem Basil v kapitole 9.5.1, který hraje velmi důležitou roli při zpracování dat. Poté co se seznámáme s projektem Basil si popíšeme implementační řešení BCI systému pro předzpracování a klasifikaci dat, kde jednotlivé klasifikační algoritmy jsou popsány v kapitole Jádro práce spočívá ve výsledcích v samostatné kapitole 12 Dosažené výsledky, v které je vedena diskuze jednotlivých řešení použitých u navrženého experimentu. Taktéž porovnávají výsledky jednotlivých zvolených metod pro předzpracování signálů a klasifikaci. Výsledky jsou diskutovány a doprovázeny sadou tabulek. 9.1 Schéma navrženého BCI V rámci implementace experimentu je navržené schéma 9.1, které znázorňuje propojení jednotlivých zařízení, a které tvoří celkový BCI systém. Ve zkratce, princip experimentu spočívá v měření subjektu umístěného v odstíněné komoře, kde subjekt sleduje monitor, na kterém je promítán grafický scénář vytvořený v softwaru Neurob Presentation (NP). Grafický scénář ve své implementaci vysílá skrze zapojený LPT port stimuly, které jako synchonizační značky zaznamenává ve své vizualizaci EEG signálu software BrainVision Recorder (BVA). Na základě těchto synchonizačních značek je EEG signál předzpracován (segmentace, korekce) a jsou z něj extrahovány příznakové vektory (metody single-trial analýzy). Následně je možné klasifikovat do natrénovaných klasifikačních tříd, které určují přítomnost komponenty P300. Následující kapitoly se podrobněji zabývají celkovým BCI schématem. Jednotlivé kroky realizace a komunikační řešení BCI systému jsou popsány v následujících pasážích.

40 9.2 Získání dat 40 Obrázek 9.1: Princip komunikačního řešení BCI systému. 1. Získání dat 2. Vizualizace grafického scénáře 3. Komunikace mezi NP a BVA. 4. Komunikace mezi BVA a projektem Basil. 9.2 Získání dat Proces získání EEG dat je dostatečně popsán již v teoretické části kapitoly 5 Naměření signálu, a proto se mu nebudeme opětovně věnovat. Zmíníme však, že centrální a temenní linie mozku evokuje nejvyšší odezvu P300 vlny, a tak se zaměřujeme pouze na signál z EEG čepice na kanálech: F z, C z a P z. Proces získání dat pokrývá šipku s označením 1 z obrázku 9.1. Signál naměřený pomocí elektrodové čepice je přenášen přes EEG zesilovací zařízení řady BrainAmp do počítače s nadpisem Vizualizace EEG Software BrainVision Recorder Nahrávací sofware Pro nahrávaní tohoto signálu jsme využili BrainVision Recorder (BVA), licencovaný software z řady Brain Products. Software umožňuje vizualizaci a nahrávání EEG dat, jejichž výstup zaznamenává do souborů s příponami.eeg,.vhdra.vmrk: Binární soubor.eeg obsahuje nezpracovaná data pořízeného záznamu na jednotlivých kanálech. Soubor je pro člověka jen těžko čitelný. Data zpracuje jen patřičný software. Hlavičkový textový soubor.vhdr obsahuje informace o daném nastavení workspace a o použitých elektrodách. Taktéž nese důležitou informaci o kvalitě namazání elektrod a referenčních elektrod s jakou hodnotou odporu byla data naměřena viz obázek 9.2.

41 9.3 Vizualizace grafického scénáře 41 Textový soubor.vmrk zahrnuje záznamy o veškerých promítnutých synchronizačních značkách přijatých v signáli včetně jejich pozice viz obrázek 9.3. Obrázek 9.2: Ukázka ze souboru.vhdr s kvalitou namazání jednotlivých elektrod. Z úryvku lze vidět absenci zemnící referenční elektordy připevněné na ucho. Obrázek 9.3: Ukázka ze souboru.vmrk s příchozími synchronizačními značkami Naměřená data pocházejí celkem od 5 různých subjektů, kteří se dobrovolně zúčastnili našeho experimentu. Subjektům byl promítán navržený grafický scénář, o kterém pojednává další kapitola. 9.3 Vizualizace grafického scénáře Odpovídá sekci 2. Stimulace Software Presentation z obrázku 9.1. Znázorňuje vizualizaci grafického scénáře souběžně na vysílacím počítači a v odstíněné komoře srkze rozhraní VGA kabelu, tím dochází k rozdvojení obrazu a díky tomu je možné sledovat prezentaci scénáře uvnitř i vně komory Grafický návrh scénáře Na základě předchozí diskuze z kapitoly 4 byl navržen vlastní grafický scénář, jenž vznikl kombinací scénářů Speller P300 a Hex-o-Spell. Design navrženého scénáře odpovídá experimentu Speller P300. Sadu znaků též

42 9.3 Vizualizace grafického scénáře 42 symbolizuje mřížka. Avšak jednotlivé znaky jsou problikávany postupně, nikoliv po řádcích a sloupcích. Princip postupného problikávání je převzat ze scénáře Hex-o-Spell, který přináší lepší výsledky, avšak obsahuje zpětnou vazbu, kterou v našem scénáři neimplementujeme z důvodu podpory jednoduchosti navrženého scénáře. Zpětná vazba ve scénáři vyžaduje vyšší nároky na implementaci a složitost problému. Scénář není dosud vyzkoušený, a tak přináší zcela nové výsledky. Samotný návrh grafického scénáře reprezentuje sadu písmen z české abecedy bez diakritiky viz obrázek 9.4. Obrázek 9.4: Promítaný grafický scénář měřenému subjektu s vyobrazeným stimulem K. Pozadí grafického scénáře je vybráno záměrně černé, aby stimulovaná osoba v temné odstíněné komoře nesledovala bílé velmi kontrastní pozadí, které by dráždilo oči. Jednotlivé znaky jsou vykreslované bíle, neboť bílá je nejlépe kontrastní barva na černém pozadí. Lze se odkázat na zkušenosti z návrhu designu na již vyzkoušených experimentech Speller P300 a Hexo-Spell, v kterých je zvolena stejně barevná paleta. Jednotlivé znaky jsou při problikávání zvýrazňováni světle zelenou ne příliš kontrastní barvou. Jsou tak perfektně odlišeny od znaků, které nejsou právě použity pro stimulaci. Konečný znak END, který má ukončovací záměr ve scénáři přináší mírnou obavu při rušení stimulace okolních znaků např. Z, T, U nebo V z důvodu jeho vizuální odlišnosti od ostatních znaků. Vše je ale řádně prověřeno a diskutováno v závěru práce.

43 9.3 Vizualizace grafického scénáře Průběh experimentů Experimenty, které jsme navrhli, se skládají celkem ze tří různých průběhů měření: První průběh zahrnuje měření jediného znaku, tzn. subjekt se soustředí vždy a pouze na blikání jediného znaku z abecedy. Druhý scénář zahrnuje již detekci třípísmenného slova. Subjekt se postupně soustředí na posloupnost tří znaků. Třetí scénář zahrnuje opět třípísmenné slovo následované ukončovací sekvencí END. Ta má za smysl otestovat zda je možné mezi jednotlivými slovy tvořit pomlku pro oddělení jednotlivých slov při tvorbě vět. Přičemž daný stimul subjekt pozoruje po dobu tří bliknutí a následně scénář končí nebo pokračuje na další znak, který subjekt opětovně pozoruje po dobu tří bliknutí v závislosti na typu experimentu. Stejně tak jako u předchozích experimentů i v tomto vznikají reakce po působení specifického stimulu, které způsobují změny elektrické aktivity mozku, tudíž vznikají evokované potenciály, které jsou podrobně probrány v teoretické kapitole Software pro návrh scénáře Scénář je implemetovaný v softwaru Presentation. Jedná se o licencovaný multimodální sofware pro grafickou nebo zvukovou stimulaci osob. Program je schopný posílat během experimentu stimuly s časovou přesností v několika milisekundách. Software Presentation používá dva proptietární skriptovací jazyky. Jeden pro popis experimentu (SDL - Scenario Description Language ) a druhý pro kontrolu experimentu (PCL - Program Control Language). SDL je jednoduchý jazyk používaný k popisu stimulů, které tvoří experiment. Kompilační logika může být použita ke generování a randomizaci stimulů. PCL je plně funkční skriptovací jazyk založený na programovacích jazycích C a Basic. Zajišťuje řídící logiku experimentu, tzn. je využíváno typických programovacích konstrukcí jako jsou cykly, podmínky, atd.

44 9.4 Komunikace mezi NP a BVA 44 Implementace grafického scénáře se obešla bez složitých programových konstrukcí. Jako simulaci postačí promítat sadu obrázků, které v časovém sledu tvoří nepřetržitý průběh grafické stimulace. Bylo tedy zapotřebí vytvořit 27 rastrových obrázků symbolizující každý znak z abecedy spolu se znakem END. 9.4 Komunikace mezi NP a BVA Velmi zásadní komunikace probíhá napříč počítači pro stimulaci a nahrávání dat, jak znázorňuje šipka 3. v obrázku 9.5. Software Neurob Presentation při své grafické vizulizaci odesílá stimuly, které software BrainVision přijímá a zakresluje na patřičné místo v signálu jako synchronizační značky (ve tvaru např. S 6 ). Stimuly posílá software NP skrze LPT port, který je nadefinovaný jako výstupní port dle obrázku 9.5. V softwaru BVA jsou stimuly konvertovány a vykreslovány do signálu. Pomocí těchto synchronizačních značek lze signál nadále členit na epochy a postupně zpracovávat. Obrázek 9.5: Nastavení výstupního LPT3 portu pro komunikaci NP s BVA Stimuly jsou odesílány skrze rozhraní portu každých 1000 ms, což je dostateřný interval pro klasifikaci vlny P300. Vezmeme-li v potaz, že její celková latence se odhaduje na 600 ms. Takto širokým intervalem docílíme toho, že se jednotlivé komponenty nepřekrývají. Překrývání komponent by mělo na svědomí znehodnocení klasifikace, neboť by program nedokázal řešit zda se jedná o původní či následující epochu. 9.5 Komunikace mezi BVA a projektem Basil Njedůležitější částí jak pro offline, tak i online zpracování je právě komunikace mezi BVA a Basil projektem. Pokud je centrální počítač hardwarově nadprůměrně vybaven, tzn. zvládne přijímat a zároveň zpracovávat náročná data, je možné vizualizaci a zpracování dat provádět na jednom počítači. V

45 9.5 Komunikace mezi BVA a projektem Basil 45 opačném případě je nutné skrze paralelní port propojit zařízení pro vizualizaci dat a současně aplikační program pro zpracování, tak jak je tomu u šipky 3 v obrázku Projekt Basil Na fakultě Aplikovaných věd je spolu s německou bavorskou firmou vyvíjen projekt (nazveme jej Basil) pro zpracování EEG dat. Hlavním záměrem projektu je poskytnout levné softwarové řešení pro projekty rozhraní mozekpočítač. Dostupné na adrese: Jedná se o desktopovou aplikaci napsanou v programovacím jazyce Java. Účelem této aplikace je umožnit offline (experimentální data se shromažďují a analyzují po provedení experimentu) i online (data jsou přenášena do aplikace během experimentu) zpracování dat. Offline i online zpracování dat je prováděno stejným způsobem. Offline klasifikace umožňuje uživatelům testovat předzpracování dat, extrakci příznaků a klasifikační algoritmy. Následně lze pro online klasifikaci zvolit nejvhodnější kombinaci algoritmů. Aplikace je stále ve vývoji a je k dispozici prostřednictvím služby GitHub na výše uvedeném odkazu. Současným cílem aplikace je její rozšíření pro řízení BCI systémů na základě různých experimentální scénářů. Projekt Basil v navrženém BCI systému zastává enormní roli, neboť jeho již implementovaná rozhraní obsahují nepřeberné množství metod pro zpracování EEG dat. Naším cílem je vybrat a zkombinovat vhodné metody pro předzpracování, extrakci a následnou klasifikaci dat. Jejich kombinace vyzkoušet a navzájem porovnat na dosažených výsledcích z klasifikace. V této diplomové práci je tedy plně využito rozhraní těchto již implementovaných metod pro vývoj a test vlastní aplikace. Seznam využitých tříd znázorňuje UML diagram 9.6.

46 9.5 Komunikace mezi BVA a projektem Basil 46 Obrázek 9.6: UML diagram použitých tříd z projektu Basil.

47 10 Zpracování dat Jak již bylo zmíněno pro implementační řešení zpracování dat bylo plně využito metod z projektu Basil z kapitoly Zpracování dat probíhá v offline režimu z důvodu otestování různých metod pro zpracování EEG dat. Výběr vhodných metod pro předzpracování dat byl již z větší míry diskutován v teoretické části, avšak výběr jednotlivých klasifikačních algoritmů je popsán v samostatné kapitole 11 Klasifikace dat. Implementační zpracování dat zahrnuje následující kroky: 1. načtení vstupních datasetů, 2. předzpracování dat, 3. výpočet příznakových vektorů, 4. trénink klasifikátoru a klasifikace dat Jednotlivé body zpracování jsou podrobně rozepsány v následujících kapitolách Vstupní datasety Naměřená data jednotlivých subjektů jsou rozdělena do tzv. datasetů dle rozdělení v závislosti na typu experimentu. Experiment se skládá celkem ze tří různých měření scénářů, které jsou popsány v kapitole Průběh experimentu. V jednotlivých datasetech se nacházejí soubory s příponami *.vhdr, *.vmrk, *.eeg zahrnující právě jedno EEG měření. Soubory jsou doprovázené textovou přílohou info.txt viz obrázek 10.1, který obsahuje název EEG souboru. Obrázek 10.1: Vstupní textový soubor info.txt. Za názvem souboru následuje série čísel, které symbolizují myšlené slovo. Série znaků např. 16, 21, 11 symbolizuje dle české abecedy (bez diakritiky) pozice pro písmena P, U, K. Myšlené slovo zní puk. Pokud se

48 10.2 Předzpracování dat 48 na poslední pozici souboru nachází číselná hodnota 27, jedná se o pozici ukončovací sekvence- znak END. Tyto datasety obsahují surová EEG data a jsou vstupními daty do našeho BCI systému Předzpracování dat Nyní přistoupíme k optimalizaci naměřených surových dat z jednotlivých datasetů. Cílem je data zpracovat tak, aby byla použitelná pro následnou klasifikaci. Data je nutné rozčlenit dle synchronizačních značek na jednotlivé epochy, v nichž detekujeme přítomnost P300 komponent. Abychom mohli spolehlivě určit amplitudu P300 vlny jsou data korigována dle základní izolinie. Cílem předzpracování dat je taktéž upravit zašuměný signál tak, aby z něj bylo možné vybrat vhodné příznaky. Surová EEG data jsou předzpracována sériií vybraných metod z teoretické kapitoly 6. Segmentace dat Data jsou členěna do epoch na základě synchronizačních značek z EEG signálu. Každá epocha začíná 100 ms před výskytem stimulu a končí 1000 ms po stimulaci. Interval probklikávání mezi jednotlivými stimuly v softwaru NP je nastaven na 1000 ms, tzn. že mezi jednotlivými písmeny je sekundová prodleva než dojde k dalšímu bliknutí. Takto nastavený interval je postačující pro zachycení hledané komponenty v epoše a zajišťuje, aby se komponenty do značné míry nepřekrývaly. Korekce baseline Interval před stimulací, z předchozí segmentace dat, je právě využit ke korekci základní izolinie. Každá epocha začíná 100 ms před výskytem stimulu, to je interval pro korekci baseline. Korekce probíhá odečítáním průměrných hodnot napětí základní linie od zbytku signálu. Výběr intervalu V každé epoše je vybírán pouze nejdůležitější časový úsek pro detekci komponenty P300, protože P300 se vyskytuje pouze ve specifickém intervalu po výskytu stimulu. Celkem tedy na základě experimentálního zjištění z článku [31] je vybráno 512 vzorků, tzn. že 512 vzorků je použito pro následnou extrakci DWT v časovém intervalu (175 ms ms) po výskytu stimulu.

49 10.3 Výpočet příznakových vektorů 49 Výběr elektrod Pro další zpracování byly vybrány elektrody F z, C z a P z. Tyto kanály se dle již předchozí diskuze nejvíce vztahují k výskytu komponenty P Výpočet příznakových vektorů Volba vhodné metody pro extrakci příznaků je velkou otázkou, ačkoliv mnoho publikací uvádí, že algoritmus Matching Pursuit není tak hojně využívaný jako Waveletová transformace, není jediný důvod ho nevyzkoušet, neboť se jedná o algoritmus též založený na časově-frekvenční analýze, stejně tak jako waveletová transformace. Jediný rozdíl mezi metodami je v použitých funkcích, které jsou použité k aproximaci. Zatímco WT využívá ke své dekompozici signálu wavelety, které musí splňovat určité matematické podmínky, metoda MP žádné podmínky na své funkce ve slovníku neklade. Do experimentu jsou zahrnuty obě tyto metody extrakce z teoretické kapitoly 6.3 Single-trial analýza a v závěru práce se nachází jejich porovnání. Obrázek 10.2: Vliv úrovně dekompozice na kvalitu příznaků Předzpracování WT První osvědčená metoda pro hledání komponenty P300 je jednoznačně waveletová transformace. Obvyklým problémem WT je nalézt správné nastavení parametrů, což zahrnuje nastavení úrovně dekompozice a volbu vlnky, podle

50 10.3 Výpočet příznakových vektorů 50 které je signál dekomponován. Úvahu o správném nastavení parametrů založíme na již vyzkoušených experimentech např. při hádání čísel. BCI, který je vyvíjen v neurologické laboratoři na katedře viz [30] a [31]. Pro klasifikaci se využívají koeficienty vzniklé víceúrovňovou dekompozicí. Vhodnou volbu dekompozice znázorňuje obrázek 10.2, který dokazuje, že dobrou kvalitu příznaků je možné získat dekompozicí páté úrovně s volbou waveletů rodiny Daubechies. Pro každý kanál, z předchozího výběru elektrod provádíme tedy pětistupňovou DWT na základě 512 vzorků získaných z předchozího výběru intervalu. Z transformace je vypočítáno celkem16 aproximačních koeficientů z každého EEG kanálu (F z, C z, P z ), tzn. celkem 48 koeficientů. Ty jsou zřetězeny do jediného charakteristického vektoru dimenze. Pro lepší představu průběh algoritmu pětistupňové DWT znázorňuje obrázek Obrázek 10.3: Návodná ukázka pětistupňové DWT. Vstup s 512 vzorky, výstup 16 aproximačních koeficientů. ca jsou aproximační koeficienty, cd detailní koeficienty. Převzato z [30]. Následně je každý DWT koeficient normalizován tak, aby byl omezen vliv extrémních hodnot, a to následující formulí: f i = f i / m 1 fi 2 (10.1) i=0 kde m je velikost příznakového vektoru.

51 10.3 Výpočet příznakových vektorů 51 Aproximační koeficienty získáné pětiúrovňovou dekompozicí signálu jsou rovnou použity jako příznakové vektory Předzpracování MP Algoritmus Matching Pursuit rozkládá signál na kombinaci atomů z definovaného slovníku. Při každé iteraci vybírá atom, který nejlépe aproximuje vstupní signál, který následně odečítá od vstupního signálu a reziduum vysílá do další iterace. Otázkou však zůstává, kolik iterací tohoto algoritmu provést. Neboť nízký počet iterací vede k tomu, že ne vždy je příslušný atom vybrán hned v první iteraci a naopak vysoký počet iterací vede k vyšší časové náročnosti zpracování. Avšak v [5] je ilustrováno, že neobjeví-li se výraznější atom v prvních pěti iteracích, pak v se v dané epoše EP komponenta nenachází. Princip použití MP ilustruje obrázek 10.4 a spočívá v tom, že na vstupní signál, který tvoří samotná epocha opakovaně aplikujeme postup uvedený v kapitole a nalezneme jednotlivé atomy, které co nejlépe aproximují vstupní signál. Poté prohledáváme jednotlivé atomy a hledáme ten, jehož parametr u (časový posun) co nejlépe odpovídá latenci hledané EP komponenty. Převzato z [18]. Obrázek 10.4: Detekce P300 MP algoritmem (a) Signál obsahující P300 komponentu, (b) Gáborův atom aproximující P300 komponentu. Převzato z [25].

52 11 Klasifikace dat Nyní se dostáváme k jádru implementace BCI systému, neboť výsledky klasifikace zhodnocují úspěšnost celé práce. Účelem klasifikace je rozdělit prostor funkce do oblastí, které odpovídají dvěma klasifikačním třídám, a to zda v daném EEG segmentu je klasifikována P300 komponenta a nebo není klasifikována. Každý EEG segment je charakterizován svým příznakovým vektorem, na jehož základě jednotlivé klasifikační algoritmy rozhodují o příslušnosti daného segmentu k dané třídě. Abychom mohli takto data klasifikovat je nutné soubor dat rozdělit na trénovací a testovací data. Přičemž trénovací dataset poslouží k natrénování klasifikátoru. Všechny vybrané klasfikační algoritmy jsou algoritmy učení s učitelem, což znamená, že k učení využívají trénovací množinu skladající se z příznakových vektorů a informací o třídě každého segmentu Trénování klasifikátoru V našem případě máme k dispozici dvě datové sady, z nichž jedna je použita k natrénování (neboli naučení) a druhá k otestování, jak dobře klasifikátor klasifikuje. Vzhledem k tomu, že náš experiment je založený na detekci P300 komponenty, stejně tak jako již implementovaný fakultní BCI systém Guess the number, využijeme ideálního případu a použijeme jejich množinu dat pro vlastní natrénování klasifikátoru. Soubor s množinou dat vybraných pro trénování klasifikátoru zahrnuje měřené EEG údaje z 13 subjektů z dat Guess The Number. Tyto subjekty byly vybrány ručně na základě jejich P300 odpovědi na targetové stimuly. Výběr vhodných dat pro trénování uskutečnili studenti doktorského studia z neurolaboratoře na katedře. Data pro trénování byla skutečně pečlivě vybírána, z důvodu kvalitního natrénování klasifikátoru, který má zásadní význam pro následnou klasifikaci dat. Jsou vybrána taková data, u kterých je komponenta P300 zřejmá na první pohled Klasifikační algoritmy Do experimentu jsou zahrnuty 3 klasifikační algoritmy. Jedná se o výběr z algoritmů, které jsou implementované v projektu Basil. Veškeré klasifikační

53 11.1 Klasifikační algoritmy 53 algoritmy jsou založené na příznakové metodě a jsou deterministické. Zvolené klasifikační algoritmy jsou popsané v následujících kapitolách Fisherův lineární diskriminant Jedná se o lineární klasifikaci dat. Principem Fisherovy lineární diskriminace (FLD) je transformace dat do jednorozměrného prostoru tak, abychom od sebe maximálně oddělili obě třídy viz obrázek Obrázek 11.1: Princip Fisherovy lineární diskriminace. Převzato z [16]. Separovat se snažíme tak, aby vzdálenost mezi jejich centroidy byla co největší. Bohužel však ani velká vzdálenost centroidů nezaručuje, že se po projekci lineárně separabilní třídy nepřekrývají (viz projekce 1 v Obr. 11.1). Proto bychom měli vzít v úvahu i variabilitu uvnitř skupin, kterou chceme mít po projekci co nejmenší. Samotný požadavek na minimální variabilitu uvnitř skupin opět nemusí vést k úplnému oddělení lineárně separabilních tříd (viz projekce 2 v Obr. 11.1), proto se jeví jako vhodné použít kombinaci obou těchto požadavků. Podstatou FLD je tedy projekce do jednorozměrného prostoru tak, abychom maximalizovali vzdálenost skupin (odráží se v čitateli FLD) a minimalizovali variabilitu uvnitř skupin (odráží se ve jmenovateli FLD). Fisherovo diskriminační kritérium je ve tvaru: J(ω) = (y D y H ) 2 s 2 D + s 2 H (11.1)

54 11.1 Klasifikační algoritmy 54 kde y D je projekce centroidu s P300 x D do 1D prostoru, y H je projekce centroidu bez P300 x H, s 2 D je rozptyl uvnitř třídy s P300 po projekci do 1D prostoru a je rozptyl uvnitř třídy bez P300. Centroidy jsou vícerozměrné průměry pro třídu s P300 a bez P300 : x D = [ 1 n D nd i=1 x i1 1 n D nd i=1 x i n D nd i=1 x ip ] x H = [ 1 n H nh i=1 x i1 1 n H nh i=1 x i n H nh i=1 x ip ] (11.2) kde x i1 je hodnota první proměnné u-tého subjektu, p je počet proměnných, n D je počet s P300 a n H je počet bez P300 subjektů. Projekce centroidů do jednorozměrného prostoru se počítají: y D = w T x D (11.3) y H = w T x H kde w je váhový vektor udávající směr 1D prostoru, do něhož promítáme a pokud chceme zařadit nový subjekt x 0 do jedné z daných tříd, musíme vypočítat jeho průmět do jednorozměrného prostoru: Průmět následně srovnáme s hraničním bodem: y 0 = w T x 0 (11.4) y = (y D + y H ) 2 (11.5) a pokud je y 0 > y subjekt je zařazen právě do skupiny s P300. V opačném případě do skupiny bez P300. Údaje v kapitole převážně převzaty z [16] a [6] Metoda podpůrných vektorů Klasifikační metoda podpůrných vektorů (SVM) rozděluje množinu bodů pomocí tzv. hranice, přičemž existuje nekonečně mnoho hranic, které dokáží rozdělit prostor tak, aby na jedné straně hranice byly pouze objekty z jedné třídy a na druhé straně hranice pouze objekty z druhé třídy. Ilustrace několika možných hranic je uvedena na obrázku łfig:svm. Všechny přímky splňují požadavek na dokonalé oddělení obou skupin, lze však intuitivně

55 11.1 Klasifikační algoritmy 55 odhadnout, že některá z přímek je vhodnější, jiná méně. Zřejmě nejlepší volbou je přímka, která je vyznačena silnější čárou, protože prochází v dostatečné vzdálenosti od objektů obou skupin. Takové řešení je nepochybně i nejrobustnější pro klasifikaci nových objektů, které nejsou součástí trénovací množiny. Převzato z [16]. Obrázek 11.2: Princip metody podpůrných vektorů. Převzato z [16]. SVM tedy rozděluje objekty do dvou tříd se snahou co nejrobustněji - hledá takovou hranici, která prochází v co největší vzdálenosti od objektů z obou tříd. Hranice je definovaná jako: h(x) = w T x k + w 0 (11.6) Orientaci dělící přímky si označíme vektorem w a její polohu w 0. Klasifikace subjektu do třídy s P300 (resp. bez P300 ) bude dána tím, jestli je výraz: y 0 = w T x + w 0 > 0, zařadíme objekt x do třídy s P300 (11.7) y 0 = w T x + w 0 < 0, zařadíme objekt x do třídy bez P300 Vzdálenost bodu x od hranice je dána vztahem: d = wt + w 0 w (11.8) kde w je velikost vektoru w. Změna velikosti tohoto vektoru nijak neovlivní výslednou klasifikaci, a tak si ji můžeme stanovit libovolně, například

56 11.1 Klasifikační algoritmy 56 tak, aby pro nejbližší bod x i ze třídy w 1 byla hodnota výrazu w T x i + w 0 rovna +1 a pro nejbližší bod x j ze třídy w 2 byla hodnota výrazu w T x i + w 0 rovna -1. V tom případě máme na každé straně od dělící přímky toleranční pásmo o šířce d = 1 w (11.9) ve kterém se nenachází žádný bod. Pro všechny body z trénovací množiny pak platí: w T x + w 0 1, zařadíme objekt x do třídy s P300 (11.10) w T x + w 0 1, zařadíme objekt x do třídy bez P300 Abychom dosáhli co nejlepší klasifikace, hledáme takové hodnoty w a w 0, aby byla celková šířka tolerančního pásma co největší viz obrázek Přičemž hledat maximum funkce 2 w je stejné jako hledat minimum funkce w 2 a toto minimum se nezmění, když kladnou hodnotu v čitateli umocníme na druhou (což nám zjednoduší výpočty). Takže získáváme kriteriální funkci: J(w, w 0 ) = w (11.11) 2 jejíž hodnotu se snažíme minimalizovat. Zároveň ale musí pro všechny body z trénovací množiny platit výše popsané podmínky Obrázek 11.3: Princip metody podpůrných vektorů. Znázornění hranice (plná modrá čára) a tolerančního pásma. Převzato z [16]. Pokud ovšem nejsou třídy lineárně separovatelné, nemohou být podmínky splněny pro všechny body současně. Navíc i v některých případech, kdy jsou třídy lineárně separovatelné, by mohlo být výhodnější pár

57 11.1 Klasifikační algoritmy 57 objektů raději klasifikovat chybně a vytvořit robustnější klasifikátor s větším tolerančním pásem, než vytvořit klasifikátor, který sice všechny trénovací objekty klasifikuje správně, ale bude mít velmi úzké toleranční pásmo a na nová data bude fungovat špatně, protože bude přeučený. Převzato z [16]. Tyto problémy lze vyřešit tak, že zavedeme relaxační proměnné ξ k 0 vyjadřující, jak moc každý bod (objekt) porušuje danou podmínku viz obrázek 11.4, tedy: pokud leží objekt vně tolerančního pásma a je správně klasifikován, pak ξ k = 0 pokud leží objekt uvnitř tolerančního pásma a je správně klasifikován (jsou tyto body ohraničeny čtverečky), pak 0 < ξ k 1 pokud leží objekt na opačné straně hranice a je tudíž chybně klasifikován ( jsou tyto body ohraničeny hvězdičkami), pak ξ k > 1 Obrázek 11.4: Znázornění klasifikace metodou podpůrných vektorů se zavedením relaxačních proměnných. Převzato z [16]. Když teď hledáme dělící přímku poskytující co nejrobustnější klasifikaci, snažíme se maximalizovat nejen šířku tolerančního pásma, ale také minimalizovat počet subjektů z trénovací množiny, které leží v tolerančním pásmu nebo jsou dokonce špatně klasifikovány (tj. těch, pro které ξ k > 0). Pak vyjadřujeme jako minimalizaci kriteriální funkce:

58 11.1 Klasifikační algoritmy 58 J(w, w 0, ξ) = w 2 N + C I(ξ k ) (11.12) k=1 kde C vyjadřuje poměr vlivu obou členů této funkce, přičemž pro vysoké hodnoty C bude počet trénovacích subjektů v tolerančním pásmu a počet chybně klasifikovaných trénovacích subjektů nízký, ale toleranční pásmo bude úzké, zatímco pro nízké hodnoty C bude toleranční pásmo širší ovšem za cenu vyššího počtu objektů v tolerančním pásmu i počtu chybně klasifikovaných objektů. Protože bohužel nevíme, jaká hodnota parametru C je pro naše data nejvhodnější, vyzkoušeli jsme obě možnosti, a to: C = 0, 1, C = 100. Údaje v kapitole převážně převzaty z [16] a [6] Zřetězený Autoenkoder Použití zřetězených autoenkodérů (SAE) pro předtrénování vícevrstvé NS je přímočaré. Jakmile natrénujeme první vrstvu autoenkodéru (h 1, h 2,,...), použijeme ji jako vstup jiného autoenkodéru pro natrénování další, obecnější. Tímto způsobem lze postupovat až k výstupní vrstvě, která již řeší jednoduchý klasifikátor, a následně použít algoritmus zpětné propagace 1. nad celou sítí pro její dotrénování. Výsledná síť složená ze dvou skrytých vrstev předtrénovaných autoenkodéry je znázorněná na obrázku Převzato z [17]. Klasifikátor klasifikuje vstupní vzorce do dvou tříd (0 - bez P300, 1 - s P300). Jejich parametry byly nastavovány empiricky dle [31]: počet iterací byl nastaven na 500 a 1500 pro porovnání vlivu na výsledek klasifikace optimalizační algoritmus byl nastaven jako Stochastic Gradient Descent rychlost učení byla nastavena na hodnotu 0, Algoritmus zpětné propagace (Backpropagation) je založen na principu minimalizace chyby, která vede k postupné úpravě všech vah a prahů. Převzato z [32].

59 11.1 Klasifikační algoritmy 59 Obrázek 11.5: Zřetězený Autoenkoder. Převzato z [17]. byl použit Updater Nestorovs 0, 9 Síť obsahovala tři vrstvy a její architektura byla Váhy všech vrstev byly inicializovány metodou Xavier. Aktivační funkce, která určuje, jakou výstupní hodnotu bude neuron mít, je pro první dvě vrstvy zvolena funkce Relu a pro poslední vrstvu Softmax. Relu je matematickou funkcí: f(x) = max(0, x) která vykonává práh v bodě 0. Pokud nedosáhne neuron dostatečného nasycení, výstup je nulový stejně jako se děje v případě biologického neuronu. Funkce Softmax prezentuje normalizovanou exponenciální funkci, jejíž vzorec je: σ(x) j = e z j Kk=1 e z k pro j = 1,..., K, kde K je délka výsledného vektoru. V kontextu výstupní vrstvy sítě K je počet kategorií. Tato matematická funkce má pěknou vlastnost, že suma přes výsledný vektor je jedna a využívá se toho, že výsledek je vektor pravděpodobnosti příslušnosti do jednotlivých kategorií.

60 11.1 Klasifikační algoritmy 60 Ztrátové funkce představují chybu, aby se neuronová síť mohla učit z vlastního výpočtu, je potřeba být schopen určit chybu, kterou vyprodukovala. Pro první dvě vrstvy byly použity ztrátové funkce křížové entropie Multiclass Cross Entropy. Křížová entropie je funkce: f(x, y) = 1 n [ylnx + (1 y)ln(1 x)] x x je výstup neuronové sítě y je očekávaná hodnota n je počat datových vzorů v dávce Pro poslední vrstvu je zvolena funkce negativní logaritmické podobnosti Negative log likelihood. Obě tyto zmíněné funkce počítají distribuci mezi výstupní vrstvou neuronové sítě a tréninkovým vektorem očekávaných hodnot. Vzorec této funkce je f(x, y) = 1 n K [y k lnx + (1 y k )ln(1 x)] k=1 x Pro každou klasifikaci myšleného písmena bylo rozhodováno následovně: 1. Klasifikátor obdrží příznakový a jeho očekávnou klasifikační třídu (s P300, bez P300) 2. Klasifikátor vrací skóre v rozmezí od 0 do 1, tzn. čím vyšší skóre je, tím pravděpodobnější je, že epocha patří k danému znaku. 3. Sčítají se výsledky každého čísla. Na konci klasifikace každého čísla jsou všechny hodnoty zprůměrovány. Číslo s nejvyšší hodnotou průměru je vítězem. Čerpáno z [24] a [31]. Shrnutí principu extrakce příznaků a klasifikace znározňuje následující převzatý diagram 11.6.

61 11.1 Klasifikační algoritmy 61 Obrázek 11.6: Ilustrativní obrázek. Vývojový diagram extrakce příznaků a klasifikace. Převzato z experimentu Guees The Number z dizertační práce [33].

62 12 Dosažené výsledky V předchozích kapitolách jsme si představili jednotlivé metody používané pro klasifikaci dat. Proces klasifikace dat však nekončí výběrem klasifikační metody. Je nutné zjistit, jaká je úspěšnost klasifikace našich dat při použití dané klasifikační metody Hodnocení úspěšnosti klasifikátoru Hodnocení úspěšnosti se vztahuje na klasifikaci subjektů do dvou tříd, a to pro segmenty obsahující komponentu P300 a segmenty neobsahující vlnu P300. U testovacích dat je předpokladem, že známe skutečné správné zařazení subjektů do daných tříd. V tom případě můžeme srovnat výsledek klasifikace daných objektů se skutečností: kolik výsledků rozpoznávání bylo skutečně pozitivních (TP true positive), tedy kolik subjektů bylo klasifikováno správně, kolik výsledků rozpoznávání bylo skutečně negativních (TN false negative), tedy kolik subjektů bylo klasifikováno chybně. Z vypočtených hodnot lze následně získat míru hodnocení úspěšnosti klasifikace včetně její chyby: celková správnost = T P T P + T N (12.1) T N chyba = T P + T N Celková správnost (accuracy) tedy udává podíl správně klasifikovaných subjektů ze všech testovacích meření. Chyba (error) naopak ukazuje podíl chybně klasifikovaných subjektů ze všech meření Tabulky výsledků Prvotní dvě tabulky obsahují porovnání výsledků úspěšnosti klasifikace na základě 3 vybraných kalsifikačních algoritmů s různým nastavením pro metody single-trial analýzy. Do testu jsou zahrnuty následující metody:

63 12.1 Hodnocení úspěšnosti klasifikátoru 63 Matching Pursuit Waveletová transformace a vybrané klasifikační algoritmy s jejich nastavením parametrů: Fisherův Lineární Diskriminant (FLD) Metoda podpůrných vektorů s nastavením paremetru C = 0,1 (SVM01) a C = 100 (SVM100) Zřetězený autoenkoder s nastavením počtu iterací i = 500 (SAE500) a i = 1500 (SAE1500) Tabulky zahrnují v záhlaví název prováděného testu a zvolenou metodu single-trial analýzy, v jednotlivých sloupcích pak vždy klasifikační algoritmus s jeho procentuální úspěšností. Test jednoho znaku algoritmem Matching Pursuit: FLD SVM01 SVM100 SAE500 SAE1500 0,47% 0,47% 0,41% 0,41% 0,53% Test jednoho znaku Waveletovou transformací: FLD SVM01 SVM100 SAE500 SAE1500 0,71% 0,59% 0,52% 0,82% 0,88% Z tabulek je velice dobře viditelné, že vyšší procentuální úspěšnosti dosahuje metoda waveletové transformace, a to o celých 30% v případě algoritmu Zřetězený autoenkoder, v ostatních případech je rozdíl nižší. Metoda Matching Pursuit si vede hůře ve všech případech klasifikace, proto není důvod ji nadále testovat. Pro následující test vícepísmenných slov se již zaměříme pouze na metodu Waveletové transformace. Při pohledu na jednotlivé klasifikační algoritmy dosáhl nejvyšší procentuální úspěšnosti algoritmus Zřetězeného autoenkoderu, který byl testován s různým nastavením počtu iterací. Výsledek dokazuje, že vyšší počet nastavených iterací přináší vyšší úspěšnost klasifikace. Klasifiční algoritmus si vede nejlépe v obou případech metody single-trial analýzy, a proto lze považovat nejvyšší úspěšnost klasifikačního algoritmu Zřetězený autoenkoder za prokazatelnou. Algoritmus je použit pro následný test vícepísmenných slov, ostatní algoritmy jsou zahozeny.

64 12.1 Hodnocení úspěšnosti klasifikátoru 64 Následující tabulky obsahují výsledky klasifikace 3 písmenných slov a následně 3 písmenných slov s ukončovací sekvencí END. Z výše uvedených výsledků je pro testy využito Waveletové trasformace s klasifikačním algoritmem Zřetězený autoenkoder s volbou počtu iterací rovné Test 3 písmenných slov: Myšlené slovo Klasifikované slovo P R D P R J P U K P O K R E Z R E Z L O S L O B C A U C A U Test 3 písmenných slov s ukončovací sekvencí: Myšlené slovo Klasifikované slovo L E D END L E D I S U D END S J D I D R B END D W B END C A U END C A U END A S I END M S I I Úspěšnost klasifikace 3 písmenných slov činí dle výsledků v první tabulce 80%. O něco hůře si vedl test 3 písmenný slov s ukončovací sekvencí, které by mohla symbolizovat rozdělování jednotlivých slov. Ukončovací sekvence při výpočtu úspěšnosti klasifikace nese stejnou váhu jako ostatní znaky tudíž 1, tzn. že jsme počítali 14 úspěšných klasifikací z 20 celkem. Výsledky testu jsou viditelné v druhé tabulce a činí 70%. Celková klasifikace, tzn. součet vzorků z prvního a druhého měření činí 26 správně klasifikovaných vzorků z celkem 35, což znamená 74% úspěšnost klasifikátoru. Přičemž úspěšnost klasifikace lze považovat za náhodnou veličinu s binomickým rozdělením, kde binomické rozdělení aproximujeme normálním rozdělením dle Moivre-Laplaceovy věty : Bi(N, P ) N(µ, σ 2 ) kde µ = np a σ 2 = np(1 p) za předpokladu empirických podmínek np > 5 a současně n(1 p) > 5 lze spočítat 95% interval spolehlivosti:

65 12.1 Hodnocení úspěšnosti klasifikátoru 65 0, 74(1 0, 74) 0, 74(1 0, 74) [0, 74 1, 96 ; 0, , 96 ] (12.2) Odhadovaná úspěšnost z 95% intervalového odhadu činí (59% - 89%).

66 13 Závěr V posledních letech je zaznamenáno velké úsilí ve vývoji BCI systémů, zejména v oblasti návrhu různých metod pro klasifikaci EP dat. Díky tomu vyšlo nepřeberné množství vědeckých článků, které se věnují různým metodám klasifikace a jejich optimálním nastavení parametrů. Bohužel z těchto článků není jednoduché odvodit výběr a nastavení parametrů jednotlivých klasifikačních metod, neboť se odborné publikace mnohdy neshodují. Tato diplomová práce byla postavena k vlastnímu řešení. Na základě již existujících scénářů byl navržen a otestován vlastní scénář. Navržený grafický scénář oproti diskutovaným P300 Speller a Hex-o-Spell přináší značnou úsporu v implementačním řešení, protože neobsahuje zpětnou vazbu. Avšak jednoduchost na úkor rychlosti, neboť ve srovnání s diskutovanými scénáři, tento scénář dokáže při nastavení prodlev mezi bliknutí na 800 ms klasifikoval nanejvýš 3 znaky za minutu, což nepřináší lepší výsledky. Záměr práce však spočíval v implementaci a porovnání metod single-trial analýzy a klasifikačních algoritmů. Kde byly testovány 2 metody spolu s různým nastavením 3 klasifikačních algoritmů. Výsledky z jednotlivých tabulek předchozí kapitoly 12 prokázali, že nejvyšší úspěšnosti klasifikace dosáhla jednoznačně metoda waveletové transformace spolu s klasifikačním algoritmem zřetězený autoenkoder, který byl testován s různým nastavením iterací. V prvním případě bylo nastaveno 500 iterací, v druhém případě 1500 iterací. Přičemž vyšší počet iterací přinesl vyšší procentuální úspěšnost klasifikátoru (o 6%). Bohužel vyšší počet iterací přináší vyšší časovou náročnost algoritmu, a to v porovnání při trénování klasifikátoru až o 20 sekund. Proto se nabízí otázka, zda je vhodné preferovat rychlejší klasifikaci s vyšší chybovostí či naopak. Cílem diplomové práce bylo vytvořit BCI systém, který klasifikuje myšlená slova a dodat vhodné klasifikační řešení. BCI systém pro klasifikaci myšlených slov byl úspěšně implementován, a úspěšnost klasifikace dosáhla 80% bez ukončovací sekvence a 70% úspěšnosti v případě implementace ukončovací sekvence, což přináší uspokojivé výsledky, neboť vlastní prahová hranice spokojenosti s výsledkem klasifikace činila 70%. Stejně tak mnoho publikací, např. [6] uvádí průměrnou úspěšnost pro single-trial klasifikaci 73,1 %. Implementovaný BCI systém pro zadávání znaků je nadále možné vyvíjet a

67 především testovat. Existuje nepřeberně mnoho možností pro výběr metod a klasifikaci EP komponent. V této práci byla diskutována jen hrstka z dostupně možných. Výběr metod, klasifikačních algoritmů a jejich nastavení se v této práci převážně řídil zkušenostmi doktorských studentů v neurologické laboratoři na katedře KIV, kteří ochotně poskytli své vědomosti a projekt Basil, na jehož základě byl implementován tento BCI systém. Budoucnost v BCI systému vidíme jako ve schopnosti plynulé klasifikace jednotlivých slov, jenž bylo otestováno pomocí ukončovací sekvence END, která by v budoucnosti mohla figurovat jako oddělovač jednotlivých slov. Kompletní BCI systém je tedy vhodné nasadit do online prostředí klasifikace, tedy přímé komunikace ve skutečném světě. 67

68 14 Seznam zkratek a pojmů BASIL - Česko-bavorský projekt pro zpracování EEG dat BCI - Brain Computer Interface (Rozhraní mozek počítač) BVA - BrainVision Recorder CWT - Spojitá waveletová transformace DWT - Diskrétní waveletová transformace EEG - Elektroencefalografie EP - Event potential (Evokovaný potenciál) FLD - Fisherův lineární diskriminant (Fisher Linear Discriminant) ICA - Analýza nezávislých komponent (Independent Component Analysis) IP - Internet Protocol MP - Matching Pursuit NP - Neurob Presentation NS - Neuronová síť SAE - Zřetězený autoenkoder (Stacked Autoencoder) SVM - Metoda podpůrných vektorů (Support vector machine) WT - Waveletová transformace

69 15 Uživatelská dokumentace Projekt Basil byl již přebrán pro vlastní implementační potřeby jako maven projekt a jeho struktura je i nadále dodržována. Apache Maven je nástroj pro automatizaci buildů aplikací. Základním principem fungování Mavenu je popsání pomocí Project Object Model. Tento model popisuje softwarový projekt nejen z pohledu jeho zdrojového kódu, ale včetně závislostí na externích knihovnách, popisu procesu buildování a různých funkcí s tím spojených. Proto postačí komprimovaný balík Basil z přiloženého instalačního DVD extrahovat a naimportovat do libovolného vývojové prostředí. Projekt Basil je napsán v programovacím jazyce Java 1. Následující popis importu projektu je pouze pro offline manipulaci s programem: Námi doporučené prostředí pro vývoj BCI systémů v projektu Basil je IntelliJ IDEA 2, které podporuje volné licence pro studenty až na 1 rok. V prostředí IntelliJ IDEA postačí importovat připravený projekt Import Project dle návodného obrázku Obrázek 15.1: Import projektu do vývojového prostředí InteliJ IDEA

70 70 Po importu projektu je nutné stáhnout veškeré potřebné dependencies, které zajistí bezproblémový překlad projektu, dle obrázku Obrázek 15.2: Instalace potřebných dependencies. Po úspěšné instalaci veškerých dependencies je projekt úspěšně připraven. Seznam aplikačních tříd Vlastní implementační řešení zahrnuje celkem tři spustitelné třídy (tzn. s metodou Main()) z balíku src>cz.zcu.kiv.eeg.basil>data>evaluation : SpellerOfflineEvaluation.java SpellerOnlineEvaluation.java WordOfflineEvaluation.java Třídám, s přídomkem Offline ve svém názvu, je nutné definovat vstupní soubory s naměřenými EEG daty nad kterými má být provedena klasifikace. A společně všem třem třídám je možné nadefinovat vstupní soubor s natrénovaným klasifikátorem, v opačném případě se klasifikátor natrénuje na definované množině dat. Vstupní datasety Cestu k souborům, které reprezentují vstupní datasety pro klasifikaci je nutné v aplikační třídě definovat (je možné definovat více než 1 dataset, více datasetů je zpracováváno sekvenčně):