Design experimentů pro EEG/ERP Martin Mojžíš, Jiří Coufal Katedra informatiky a výpočetní techniky, Fakulta aplikovaných věd, Západočeská univerzita v Plzni Univerzitní 8, 306 14 Plzeň acem@kiv.zcu.cz, jcoufal@kiv.zcu.cz Abstrakt Nedílnou součástí našeho výzkumu evokovaných potenciálů je provádění řady různých experimentů. Ty ovlivňuje množství faktorů, ježmusí vědečtí pracovníci brát v úvahu. Proto navrhujeme vytvořit expertní systém, který by na základě předem známých skutečností a již provedených experimentů dokázal poradit, jaké parametry a podmínky je potřeba dodržet pro maximalizaci relevance jeho výsledků. Jejich zhodnocení by tak následně opět rozšířilo bázi znalostí systému. Předmětem článku je tedy popis, jak by expertní systém fungoval, jaké možnosti by nabízel a jak si představujeme výměnu informací programu s vědeckými pracovníky. 1 Úvod Naše výzkumná skupina se zabývá analýzou a zpracováním evokovaných potenciálů a jejich praktickým využitím. Za tímto účelem se u nás i v dalších laboratořích provádí řada různých experimentů. Účelem těchto experimentů je poskytnout zdrojová data pro testování různých metod zpracování a jejich následné ověřování. Aby bylo možné výsledky těchto experimentů správně vyhodnotit nebo také i vzájemně porovnávat, je třeba dodržovat určitou metodiku a zaznamenat všechny relevantní údaje. Jelikož se o vlastní zajištění experimentů starají kromě výzkumných pracovníků také studenti, kteří se tak s touto problematikou seznamují, je třeba poskytnout podrobný návod, jak konkrétní experimenty provádět. Cílem tohoto článku je tedy popsat stručnou analýzu těchto experimentů a zejména nastínit návrh softwarového řešení pro řízení provádění těchto experimentů a registrování jejich výsledků. 2 Popis experimentů Podle hlediska využití získaných dat je možné naše experimenty rozdělit do dvou kategorií. První kategorie zahrnuje experimenty, které slouží k ověřování vhodnosti různých metod zpracování signálu pro hledání konkrétních komponent evokovaných potenciálů. Tyto experimenty musí být navrženy tak, aby eliminovaly nebo sjednotily všechny možné faktory, které by mohly mít vliv na průběh naměřených dat. U takových pokusů je nutné minimalizovat zejména jakoukoli svalovou aktivitu testované osoby, aby nedocházelo ke vzniku svalových artefaktů. Dále je nutné zajistit, aby mentální aktivita všech testovaných osob byla co nejvíce shodná. Proto musí být tyto pokusy co nejjednodušší pro testovanou osobu a také jasně definované. Takové experimenty jsou založené na tzv. oddball paradigmatu [1], tedy na pravidelném působení audiovizuálních stimulů v určitých intervalech přerušovaných nepravidelnostmi. Účelem druhé skupiny experimentů je poskytnout taková data, která co nejvěrněji odpovídají praktickému násazení určité aplikace. Zde je třeba počítat s tím, že mentální aktivita jedince nemůže být jednoduše stanovena experimentátorem a u všech pokusných vzorků shodná. Úkol pro testovanou osobu obvykle reflektuje skutečnou simulovanou činnost, proto lze předpokládat zvýšený výskyt artefaktů a rušivých vlivů. Do této skupiny experimentů patří například simulace řízení vozidla za účelem hledání souvislosti rychlosti reakce a mozkové aktivity. Dalším příkladem mohou být pokusy pro návrh komunikačního rozhraní pro komatózní pacienty. 2.1 Všeobecné parametry Všeobecný popis parametrů experimentu vychází z [1]. Tato publikace obsahuje doporučení pro publikování a standardizaci experimentů zaměřených na evokované potenciály. Kromě záležitostí týkajících se prvotního plánu a experimentu a statistického zpracování výsledků jsou zde uvedeny pro tuto publikaci důležité praktické rady pro vlastní provádění pokusu. Nejprve je třeba sesbírat data týkající se testovacích subjektů. Ve většíně případů se bude patrně jednat o zdravé jedince (studenty), i tak je však vhodné brát v úvahu jejich věk, pohlaví, dosažené vzdělání a rozlišení, zda jde o praváky nebo leváky. Pro testy s audiovizuálními stimuly je také dobré znát sensorické
schopnosti testovaných subjektů, případně zjistit úroveň vidění a slyšení a stimuly patřičně zkalibrovat. Smysl by mohlo mít i dokumentovat, zdali testované osoby užívají některé léky. Na druhou stranu je náš výzkum orientován zejména na zdravé jedince a pracovníci, kteří tato data zpracovávají, obvykle nedisponují znalostmi pro fundované zhodnocení údajů o medikamentech. Proto má tato informace význam v pouhém rozdělení testovaných osob do skupin na základě toho, zda užívají jakékoli léky nebo ne. U testů založených na audiovizuálních stimulech je také důležité připojit jejich popis. Zde jde již o konkrétní informace týkající se specifických experimentů, proto budou zmíněny v následujících sekcích článku. Avšak pro jakékoli typy stimulů platí, že je velmi důležité zaznamenat jejich časový průběh tedy intervaly mezi stimuly a dobu jejich trvání. V případě, že se od testovaných subjektů žádá jakákoli reakce (motorická nebo verbální), je nutné zaznamenat okamžik, kdy která reakce přišla. To je důležité nejen pro označení počátků epoch, ale i pro zkoumání, zdali mozek nezachytil vědomě nebo nevědomě vzor v pseudonáhodně řazených stimulech. 2.2 Experimenty s audiostimuly Základní experiment probíhá tak, že testované osoby slyší ve sluchátkách sekvenci tónů o určité frekvenci, která je náhodně přerušována tóny s jinou frekvencí. U takových experimentů je třeba zaznamenat frekvenci častého i méně častého stimulu, dobu jejich trvání, jejich hlasitost (v ideálním případě měrenou externím shodně zkalibrovaným zařízením) a délku mezery mezi jednotlivými stimuly. Kromě technických charakteristik je důležité zahrnout i vyžadovanou (a skutečnou) aktivitu testované osoby tedy jestli se na zvukové stimuly koncentruje, nebo jestli naopak se soustředí na jinou činnost. Koncentrace na tyto stimuly, nebo právě na jinou činnost určitě ovlivňuje evokované potenciály. Stejně tak může být přínosné vědět o úrovni slyšení testované osoby. Další typ experimentů, který již byl v naší laboratoři prováděn, zapojoval lidský hlas. Testovaný subjekt již neslyšel jen tóny o konstantní frekvenci, ale místo toho byly prezentovány promluvy. Ty tvořila sekvence po sobě jdoucích čísel, která byla přerušena číslem, které do sekvence nepatřilo. U takových experimentů je kromě výše uvedených charakteristik vhodné zaznamenat, zdali se jedná o hlas známý testované osobě nebo ne (pokud je například právě toto předmětem experimentu). Fakt, že testovaná osoba dokáže hlas rozpoznat, zase ovlivňuje evokované potenciály, proto je to třeba při jejich zpracování brát v úvahu. 2.3 Experimenty s vizuálními stimuly Předmětem těchto pokusů je opět sekvence častých stimulů přerušovaná výskytem méně častého stimulu. Těmi stimuly může být zobrazení znaku nebo obrázku na displeji počítače. Pro představu o provedeném experimentu by měl být získaný záznam doplněn popisem těchto stimulů tj. jakou mají barvu nebo intenzitu, jak jsou si navzájem podobné. Lze předpokládat, že odezva mozku bude jiná u velmi podobných stimulů (např písmen O a Q) nebo u vizuálně vzdálených (např. písmen O a I). Slouží-li jako stimuly obrázky, je dobré zaznamenat, zdali jde o barevné či černobílé/šedé, případně nějakým způsobem kvantifikovat jejich podobnost. Do této kategorie lze zařadit i experiment, při kterém testovaná osoba vidí matici s jednotlivými číslicemi a matematickými operátory. Program postupně zvýrazňuje řádky a sloupce. Testovaná osoba se tedy soustředí na jeden ze symbolů a sleduje, kdy se tento symbol zvýrazní. Pro objektivní zhodnocení dat získaných z tohoto experimentu bude důležité, do jaké míry se testovací subjekt na obrazovku soustředí (zdali například počítá četnost zvýraznění zvoleného symbolu) a zda není určitý vzor v pořadí zvýraznění řadek a sloupců. 2.4 Simulace řízení dopravních prostředků Tyto experimenty simulují reálné aktivity. Jejich charakteristikou je velké množství faktorů, které průběh měření ovlivňují. Na testovanou osobu působí celá řada audiovizuálních stimulů a od testované osoby se vyžaduje složitá motorická aktivita. Na druhou stranu vzniká tak relativně věrný obraz reality dojde-li tedy k praktickému nasazení zařízení, která budou založena na výsledcích tohoto výzkumu, budou pracovat v podobných podmínkách. Je proto velmi obtížné specifikovat podrobný popis takového experimentu. Na řadu by v tomto případě mohl přijít na řadu videozáznam celého pokusu. Kromě toho je vhodné ukládat konfigurační soubor simulačního software a podrobný časový průběh experimentu. Příkladem může být pokus, kdy uživatel řídí vozidlo po předem dané dráze (např. nekonečné rovné silnici nebo okruhu) a v určitých časových intervalech se před vozidlem objeví překážka. Testovaný subjekt má tak za úkol před překážkou zastavit a vyhnout se jí, případně na překážku reagovat stiskem tlačítka.
2.5 Softwarové prostředky Pro provádění základních typů experimentů s audiovizuálními stimuly používáme vlastní program ERPScenario. Tento program dokáže zobrazit sekvence znaků/obrázků nebo zvuků v daném pořadí, případně náhodně. Sekvence stimulů je možné libovolně kombinovat, sekvence s pevně stanoveným pořadím je možné přerušit náhodným stimulem. Program také protokoluje průběh experimentů a zasílá synchronizační signály záznamovému zařízení EEG. prostředí pro vytváření simulací jízdy automobilem. Průbeh simulace lze řídit skriptovacím jazykem. Tento simulátor je možné prostřednictvím speciálního ovladače také možné propojit se záznamovým zařízením EEG a zasílat synchronizační značky. Obr. 3. Simulátor VBS2 3 Systém pro řízení experimentů Obr. 1. Aplikace ERPScenario Dalším programem je MindCalc, který zobrazuje matici s matematickými symboly. V programu je možné nastavit barvu pozadí a zvýrazněného i nezvýrazněného textu, dobu, po kterou je řádek nebo sloupec zvýrazněný a délku pauzy. Zvýrazňování řádků/sloupců může probíhat v pevném pořadí a nebo náhodně. V okamžiku zvýraznění je zaslán synchronizační puls EEG zařízení. Aby bylo možné splnit co nejvíce doporučení z minulé kapitoly a zároveň by byl celý proces provádění experimentů co nejefektivnější, navrhujeme vytvořit a použít softwarové řešení založené na expertním systému. Tento program by měl tři základní úkoly. Prvním úkolem by byla příprava experimentu podle požadavku vědeckého pracovníka. Ten by rozhodl, jaký experiment provede a program by pro něj připravil potřebné konfigurační soubory a návod pro experimentátora (tím nemusí být onen vědecký pracovník, může se jednat například o studenta, který v laboratoři asistuje). Vědecký pracovník také může dodat podmínky, které provedení experimentu omezují. Druhý úkol spočívá v zaznamenání provedeného experimentu a jeho zhodnocení. Program by tak měl zaznamenat výstupy z EEG záznamového zařízení, z programu pro řízení experimentu (ERPScenario, MindCalc, VBS) a spojit je s původním vstupem vědeckého pracovníka. Třetí úkol programu bude tvořit poskytování dat z experimentů na základě zvolených parametrů. Program tak v idealním případě zajistí data, která byla vytvořena za co nejvíce podobných relevantních podmínek. Obr. 2. Aplikace MindCalc Pro simulace řízení vozidla používáme software VBS2 od firmy Bohemia Interactive. Tento původně bojový simulátor pro výcvik armády obsahuje sofistikované 3.1 Architektura systému Počítačový program bude založen na standardní architektuře expertního systému. Mezi komponenty systému bude tedy patřit báze znalostí a dat a vhodný inferenční mechanismus. Báze znalostí tak bude
obsahovat charakteristiky různých typů experimentů, parametry všech souvisejích prvků, které se na pokusu podílí a jejich vzájemné vztahy. Báze dat tak bude obsahovat pracovní data o právě prováděném experimentu. Tento základ expertního systému bude rozšířen o databázi experimentů. Ta bude obsahovat zhodnocení pokusů, které již proběhly. Současně tak bude toto vyhodnocení porovnávat s bází znalostí a upozorňovat na případné nesrovnalosti. Součástí systému bude také odpovídající uživatelské rozhraní a modul pro generování konfiguračních souborů pro experimentátorské programy. 3.2 Báze znalostí a faktů Báze znalostí je určena k ukládání charakteristik různých experimentů a doporučení pro jejich provádění. Jako vhodná se jeví implementace rámci [3]. Rámce si lze představit jako objekty v klasickém vyšším programovacím jazyce. Rámce báze znalostí lze připodobnit ke třídám. V jejich slotech (představujících atributy) jsou uloženy proměnné charakterizující rámec. Tyto sloty mohou být různého typu, například mohou obsahovat číselné, logické, či řetězcové hodnoty nebo také zahrnovat další vnořené rámce. V případě tohoto expertního systému představují rámce jednotlivé typy experimentů a jeho nezbytné prvky. Sloty v hierarchii nadřazeného rámce představujícího experiment bude obsahovat například atributy pro celkovou dobu trvání pokusu, počet testovaných osob a také předpokládané zhodnocení úspěšnosti z hlediska kvality pořízených dat. Součástí budou také odkazy na rámce představující jednotlivé testovací osoby nebo na průběh experimentu. S tímto rámcem budou zase propojené rámce popisující například jednotlivé stimuly. V bázi znalostí tak budou uloženy všeobecně platné a implicitní hodnoty slotů, v bázi faktů se údaje budou týkat konkrétního experimentu. Jelikož tato aplikace má pracovat nejen s objektivními (přesně měřitelnými v konkrétních číslech), ale i zároveň subjektivními (vágními, slovně vyjádřenými) daty, nabízí se možnost použití fuzzy logiky. Tedy obsah slotů by tvořily také fuzzy hodnoty zastoupené hodnotami funkce příslušnosti. Kromě této datové části by báze znalostí měla obsahovat i produkční pravidla. S použitím těchto pravidel by pak produkční systém vyhodnocoval doposud neobsazené sloty rámců a postupně by zpřesňoval detailní podobu experimentu. Jednotlivá pravidla by byla přímo nebo nepřímo navázaná na události vyvolané změnou dat v slotu rámce, například vložení nebo korekce hodnoty. 3.3 Inferenční mechanismus Inferenční mechanismus se postará o dedukci informací potřebných pro výstup detailního popisu experimentu na základě zadaných podmínek. Vzhledem k tomu, že by měl pracovat s fuzzy pravidly, bude třeba nejprve provést tzv. fuzzyfikaci vstupních veličin. Slovně zadané hodnoty bude možné fuzzyfikovat mapováním slovních výrazů na hodnoty příslušnosti. Exaktní číselné hodnoty je možné převést do podoby fuzzy čísel přímo nebo použitím některé funkce příslušnosti. Úkolem inferenčního mechanismu bude zpracovat všechna pravidla, pro která jsou k dispozici data, ověřit platnost jejich předpokladů a aplikací následného závěru a aktualizaci hodnot rámců v bázi faktů. Realná implementace takového inferenčního systému používající rozhodovací matici je popsána v [2]. 3.3 Vstupy a výstupy programu Vstupy a výstupy programu jsou specifické dle uživatelské role. Jednou z rolí je vědecký pracovník, který navrhuje experiment. Ten by po přihlášení do systému zvolil, jaký experiment by prováděl. Aplikace by následně nabídla možnost změnit parametry experimentu, případně by byl uživatel dotázán na doplňující údaje. Postupnými iteracemi tohoto kroku by se systém dostal do stavu (v idealním případě hned po první nebo druhé iteraci), kdy by mohl vygenerovat požadované soubory pro experiment a současně by tak mohl ukázat odhad úspěšnosti experimentu. Uživatel by se tak rozhodnul, zdali takový pokus provede (nebo nechá provést), či zda modifikuje jeho parametry. Vstupem tedy bude typ a parametry experimentu, výstupem bude odhad jeho úspěšnosti. Další rolí je experimentátor. Úkolem uživatele v této roli je provést pokus a úkolem programu bude připravit mu podrobný návod, aby dokázal experiment provést. Experimentátor tedy zvolí experiment, případně zadá aktuální omezující podmínky (např. maximální počet testovacích subjektů, čas na provedení experimentu). Jeho výstupem bude postup, jak má experiment provádět a konfigurační sobour pro některé z aplikací pro provedení experimentu (ERPScenario, VBS, MindCalc). Po skonční pokusu zadá experimentátor nebo vědecký pracovník jeho zhodnocení z pohledu kvality dat, zátěže pro testovanou osobu, případně z hlediska náročnosti na provedení a uloží též i výstupy experimentu a EEG zařízení.
Další role vědeckého pracovníka je prohlížení výsledků experimentů. Vědecký pracovník si pro svůj výzkum vybere taková data, která vyhovují jeho požadavkům. Mělo by být tedy možné filtrovat provedené experimenty dle parametrů uvedených při návrhu i podle dat zadaných při zhodnocení. Kromě toho by též měl mít možnost porovnat závislost splnění či nesplnění určitých podmínek (z implementačního hlediska spuštění či nespuštění pravidel) se zhodnocením experimentu. Tak může pracovník zjistit, zdali pravidla v bázi znalostí skutečně věrně popisují skutečnost, a případné nesrovnalosti opravit. 4 Příklad použití Následujcící příklad ukazuje, jak by systém mohl fungovat. V příkladu jsou použity označení role vědeckého pracovníka (VP), role experimentátora (EX) a systému (ES). VP zvolí přípravu experimentu s vizuálními stimuly založeném na oddball schématu. ES vygeneruje popis experimentu a stimulů VP upřesní podobu vizuálních stimulů (zvolí znaky, velikost písma a barvu) a počet testovacích subjektů. ES zobrazí odhad úspěšnosti. Po potvrzení vygeneruje postup pro provedení pokusu, konfigurační soubor pro ERPScenario a uloží pokus do databáze. EX v programu zvolí výpis dostupných experimentů připravených k provedení. Podle zobrazeného návodu a s použitím konfiguračních souborů provede experiment. Po jeho skončení vyplní formulář pro zhodnocení. VP si zpřístupní data podle zvolených parametrů (tj. například experimenty s vizuálními stimuly se znaky). VP též zhodnotí data např. z hlediska počtu vyřazených epoch kvůli artefaktům, délky užitečných dat vzhledem k celkové délce záznamu VP po zadání hodnocení může zobrazit přehled, zda a jak různé parametry všech doposud provedených pokusů ovlivňují výsledky hodnocení experimentu. 5 Závěr Úspěšná implementace tohoto návrhu by měla zvýšit vědeckou přesnost a efektivitu laboratoře výzkumu evokovaných potenciálů a mozkové aktivity. Toho bude možné dosáhnout díky oddělení práce experimentátora a vědeckého pracovníka. Program též usnadní organizaci naměřených dat. Další výhodou je také získání podrobného popisu prováděných experimentů, který tak umožní publikaci jejich výsledků a replikaci na jiných pracovištích. Efektivním způsobem měření přínosu programu je postupné sledování výsledku hodnocení experimentů z hlediska všech zúčastněných. Bude-li mít vzestupný trend, lze nasazení a používání tohoto programu považovat za přínosné. 5.1 Další vývoj Po samozřejmě nezbytné implementaci přijde na řadu naplnění databáze znalostí a vytvoření pravidel. Současně s tím bude třeba určit, jaká kritéria budou sloužit k vyhodnocení kvality experimentu. Pak bude možné program nasadit v praxi a během jeho provozu dolaďovat obsah znalostní databáze a doplňovat další potřebné funkce. Literatura [1] W. PICTON, S. BENTIN, P. BERG, E. DONCHIN, S.A. HILLYARD, R. JOHNSON, G.A. MILLER, W. RITTER, D.S. RUCHKIN, M.D. RUGG and M.J. TAYLOR (2000). Guidelines for using human event-related potentials to study cognition: Recording standards and publication criteria. Psychophysiology, 37, pp 127-152 doi:10.1017/s0048577200000305 [2] A.K.SHARMA, CH. KUMAR, K. MUSTAFA, A. KUMAR: A Fuzzy Frame Based Expert Shell. In: Proceedings of the National Workshop on IT Services and Applications-WITSA2003, Centre for Information Technology and Development of Computer Science, Jamia Milia Islamia (A Central University), New Delhi, February 27-28, 2003. [3] J. C. GIARRATANO AND G. D. RILEY: Expert Systems: Principles and Programming, Third Edition: Principles and Programming, 3rd ed. Course Technology, February 1998. [Online]. Available: http://www.amazon.ca/exec/obidos/redirect?tag=cit eulike09-20&path=asin/0534950531 [4] J. COUFAL, M. MOJŽÍŠ: Simulation Framework for ERP Experiments. In: Proceedings of 9th International PhD Workshop on Systems and Control, Izola, Slovenia 2008
[5] J. COUFAL, M. MOJŽÍŠ: Effect of Drowsiness on Evoked Response. In: Proceedings of ICON, X. Internatonal Conference on Cognitive Neuroscience, Bodrum, Turkey 2008