Pozornost řidiče při dvojí zátěži EEG/ERP experiment Roman Mouček, Pavel Mautner Katedra informatiky a výpočetní techniky, Fakulta aplikovaných věd: Západočeská univerzita v Plzni Univerzitní 8, 306 14 Plzeň moucek@kiv.zcu.cz, mautner@kiv.zcu.cz Abstrakt Článek nejprve krátce představuje metodu měření evokovaných potenciálů. Poté je hlavní pozornost věnována experimentu, při kterém testovaný subjekt zvládá tzv. dvojí zátěž. Tento experiment simulující výpadek pozornosti v určitém časovém úseku slouží v našem případě jako základní experimentální metoda při zkoumání pozornosti řidiče a jeho limitů při zvládání kritických dopravních situací. 1 Úvod Jedna z metod měření aktivity lidského mozku, tzv. elektroencefalografie (EEG), je založena na snímání změny elektrických potenciálů elektrodami z povrchu hlavy a následném vyhodnocení získaného EEG signálu. Kromě řady výhod (finanční dostupnost, neinvazivnost, rutinní scénář vyšetření, měření spontánní aktivity) má i významnou nevýhodu, která se projevuje zejména v oblasti vědeckých experimentů. Výsledný obraz mozkové aktivity (EEG signál) je velmi hrubý (reprezentuje obrovské množství zdrojů neuronální aktivity), potom je i velmi obtížné odvodit z naměřené mozkové aktivity odpovídající neurokognitivní procesy. Nicméně specifické neuronální odpovědi spojené s konkrétními smyslovými, kognitivními nebo motorickými událostmi (stimuly) jsou součástí EEG aktivity a mohou být z této celkové aktivity extrahovány a poté dále zpracovávány. Tyto specifické odpovědi se nazývají evokované potenciály (v angličtině častěji eventrelated potentials - ERP 1 ). Výzkum v oblasti evokovaných potenciálů se postupně přesunul z identifikace a poznávání jednotlivých komponent 1 V češtině se používá pojem evokované potenciály, anglická literatura často rozlišuje mezi evoked potentials potenciály evokované stimulem a event-related potentials obecná množina potenciálů, která vykazuje stabilní časovou souvislost vzhledem k definovatelné referenční události. V tomto textu lze termíny evokované potenciály a event-related potentials považovat za vzájemně zaměnitelné. k otázkám širšího vědeckého zájmu (např. zpracování vizuální a sluchové informace v mozku, výzkum lidské pozornosti, chování člověka při vykonávání dvou paralelních úloh, zpracování přirozeného jazyka a jeho sémantiky v mozku, principy pracovní paměti apod.) S nástupem zobrazovacích metod (fmri, PET) byl často predikován postupný útlum ERP metody; metoda se ale naopak vzhledem k relativní finanční dostupnosti a vysokému časovému rozlišení, které hemodynamické metody postrádají, stala důležitou součástí experimentů jak v oblasti kognitivních neurověd, tak v oblasti neuroinformatiky. Při provádění ERP experimentů má metoda evokovaných potenciálů dvě zřejmé výhody v porovnání s behaviorálními přístupy poskytuje souvislý záznam mozkové aktivity během celé doby zpracování události, tj. celého časového úseku událost-odpověď pak bývá možné určit, které stupně zpracování události mozkem jsou ovlivněny povahou daného experimentu máme k dispozici online monitorování zpracování události v mozku i v případě, že u testovaného subjektu nelze vysledovat žádnou behaviorální odpověď Samozřejmě zde bereme v úvahu fakt, že pokud existuje behaviorální odpověď, pak je zřejmější a lépe interpretovatelná nežli odpověď ve formě sledované ERP komponenty. Metoda evokovaných potenciálů nevyžaduje zanoření elektrod přímo do mozku; změna potenciálu je snímána přímo na povrchu hlavy. Z tohoto úhlu pohledu nejsme principiálně omezeni množstvím dat, která můžeme získat od jednoho subjektu. V zásadě nedefinované prostorové rozlišení této metody však omezuje množinu vhodných experimentů. Obecně lze za nevhodné označit všechny experimenty, které zahrnují lokalizační požadavky. Pak lze konstatovat, že metoda evokovaných potenciálů je vhodná pro řešení problémů typu který neurokognitivní proces je ovlivněn daným experimentálním scénářem.
2 Kontext a cíl experimentu Výzkumný tým na katedře informatiky a výpočetní techniky ZČU v Plzni se ve spolupráci s dalšími pracovišti (Fakulta dopravní ČVUT, Škoda Auto a.s., a další) zaměřuje na výzkum aktuální pozornosti řidiče a s tím související vývoj inteligentních asistenčních systémů. Část experimentů je založena na návrhu a provádění EEG/ERP experimentů, analýze jejich výsledků a interpretaci. V současné době řešíme i chování řidiče v kritických situacích, např. v okamžiku, kdy musí zvládnout více neobvyklých podnětů v krátkém časovém úseku a kdy je navíc přítomné i rušení na pozadí (např. puštěné rádio). Některé z aktivit, které je možné považovat za rušení na pozadí, bývají v řadě zemí zakázány (např. používání mobilního telefonu bez hands-free sady), některé jsou běžně akceptovány (poslouchání rádia, hovor se spolucestujícími). Cílem experimentu popsaného níže je zjistit, zda akustické rušení na pozadí (simulovaný poslech rádia) ovlivňuje pozornost a reakci řidiče při zvládání tzv. dvojí zátěže (řešení dvou nestandardních situací v krátkém časovém úseku desítky až stovky ms). 3 Použitá metoda V rámci našeho experimentu jsme vycházeli se základního paradigmatu tzv. výpadku pozornosti (attentional blink paradigm) [1] [2] [3] [4]. V řadě experimentů bylo prokázáno, že pokud je testovaný subjekt vystaven rychlému sledu stimulů (cca 10 stimulů za sekundu) a je instruován, aby v tomto sledu rozpoznal dva tzv. target 2 stimuly (označujme je dále jako T1 a T2), dochází v určité době po rozpoznání stimulu T1 ke snížení schopnosti rozpoznání stimulu T2. Typicky subjekty hůře rozpoznávají stimul T2, pokud se v řadě tzv. nontarget 3 stimulů objevuje jako druhý až čtvrtý (tj. v čase 200-400 ms po stimulu T1). Tento jev je nazýván jako výpadek pozornosti. Při kratším nebo naopak delším zpoždění stimulu T2 je úspěšnost jeho rozpoznání subjektem poměrně vysoká (obvykle vyšší než 80%). Zásadní otázkou je, zda neúspěšné rozpoznání stimulu T2 odráží problémy již při smyslovém, či kognitivním rozpoznávání, nebo je způsobené až např. neuložením jinak zpracovaného stimulu do pracovní paměti. 2 Také terčový nebo očekávaný stimul; stimul, na který testovaný subjekt zaměřuje pozornost. 3 Stimul, na který testovaný subjekt nemá nijak reagovat. V rámci experimentu jsme se zaměřili na komponentu N400 a její případné potlačení během fáze výpadku pozornosti. N400 je negativní komponenta objevující se přibližně 400 ms po stimulu; je vyvolána porušením sémantického kontextu [3] [5]. V našem případě je porušení kontextu realizováno slovními podněty v českém jazyce, které porušují předtím ustanovený sémantický kontext. Experiment se skládá ze dvou podobných scénářů, tzv. hlavního a kontrolního experimentu. 3.1 Hlavní experiment Experiment začíná ustanovením sémantického kontextu (slovo objevující se na monitoru počítače po dobu 1000 ms). Následuje 1000 ms pauza bez textu. Dále je testovanému subjektu prezentováno dvacet stimulů v intervalu 83 ms. Target stimul T1 tvoří sekvence sedmi číslic téže hodnoty; target stimul T2 je slovo, které je či není v sémantickém kontextu vůči kontextovému slovu. V případě, že je slovo kratší než sedm znaků, je doplněné o písmena X na obou stranách. Frekvence výskytu slov, která jsou/nejsou v sémantickém kontextu vzhledem ke kontextovému slovu je stejná; navíc každé slovo T2 je prezentováno testovanému subjektu dvakrát, jednou se objevuje jako slovo, které je v sémantickém kontextu, podruhé jako slovo, které není v sémantickém kontextu ke kontextovému slovu (omezíme tak možnost, že výsledky ovlivní případné zvláštnosti slov jako takových). Nontarget stimul je sekvence sedmi souhlásek nemající žádný význam. Interval mezi prezentací stimulů T1 a T2 testovanému subjektu je 1, 3 a 7 časových jednotek (1 časová jednotka = 83ms). Subjekt odpovídá, zda je T1 složen z lichých nebo sudých číslic a zda T2 je či není v sémantickém kontextu vůči kontextovému slovu (čas na odpověď je 2000 ms). Další pokus následuje vždy po 2000 ms pauze. Každá testovací sada se skládá z 60 pokusů. Pokud subjekt neodpoví ve vyhrazeném čase, je mu připsána špatná odpověď. Příklad scénáře můžete vidět v Tabulce 1. 3.2 Kontrolní experiment Kontrolní experiment přidává k původnímu experimentu přehrávání rušivého akustického signálu na pozadí; je zkoumán vliv tohoto rušení na percepci T2 stimulu a na pokles amplitudy komponenty N400. I z licenčních důvodů byla vybrána skladba Ludwiga van Beethovena Allegro op. 1 č. 1 s dur (dostatečně dlouhá skladba v rychlém tempu).
Tabulka 1 Příklad scénáře experimentu Stimul čas[ms] stimul kontextové slovo 1000 LES pauza před sledem 1000 nontarget 83 PLKJRHW nontarget 83 GFPGNSD nontarget 83 RSPDRGP nontarget 83 SDFRFSP nontarget 83 VJBNDRS nontarget 83 PLPSSDP nontarget 83 LKZXDCD T1 83 8888888 T2 83 XSTROMX nontarget 83 SPGNDFC nontarget... pauza před odpovědí 1000 otázka na T1 a T2 2000? pauza před další iterací 2000 5 Experimenty a výsledky 5.1 Experimentální laboratoř Veškeré experimenty s testovanými subjekty probíhaly v EEG/ERP laboratoři. Laboratoř je vybavena 32 kanálovým přístrojem BrainAmp DC, záznamovým softwarem BrainVision Recorder, analytickým softwarem BrainVision Analyzer a dalšími zařízeními ERP systému (viz Obrázek 2). 4 Softwarový návrh a realizace Software, který realizuje scénář a podporuje synchronizaci prezentovaných stimulů s EEG záznamem měřené osoby, je napsán v jazyce Java. Přístup na LPT port (nutnost synchronizace) je řešený použitím nativní knihovny a kódu v C++. Přehrávání hudby, stejně jako střídání stimulů je realizováno ve vláknech. Datové soubory (dvojice slov, výsledky testovaného subjektu) jsou textové, konfigurační soubor pak ve formátu XML. Pro spuštění je nutné mít nainstalovaný Java Runtime Environment verze 1.6.4. nebo novější. Možnosti nastavení scénáře můžete vidět na Obrázku 1. Obrázek 2 ERP záznamový systém Laboratoř zatím není stavebně dostatečně zvukově a elektricky stíněna, přesto se nám podařilo akustické i elektromagnetické rušení omezit na minimum. 5.2 Teoretické předpoklady Na základě výsledků experimentů provedených na jiných pracovištích jsme předpokládali, že odpověď subjektů na stimul T1 bude téměř bezchybná, zatímco behaviorální odpověď na stimul T2 bude vykazovat značný pokles zejména v případě, kdy interval mezi stimuly T1 a T2 odpovídá třem časovým jednotkám. Obrázek 1 Softwarová realizace scénáře EEG/ERP experimentu - možnosti nastavení scénáře Protože nás zajímá odpověď v čase okolo 400 ms po realizaci stimulu, je zřejmé, že v signálu dochází k překryvům odpovědí na několik stimulů. Z tohoto důvodu je obtížné rozlišit odpověď na stimul T2 od
odpovědi na předcházející a následné stimuly a je nutné počítat tzv. rozdílovou vlnu. Tato rozdílová vlna je výsledkem odečtu vlny, která je reakcí na stimul T2, který byl v sémantickém kontextu ke kontextovému slovu, od vlny, ve které nebyl stimul T2 v sémantickém kontextu ke kontextovému slovu. Odpovědi na ostatní stimuly by měly být veskrze identické, což se projevuje v rozdílové vlně poklesem amplitudy k nule. Významný rozdíl mezi odpovědí na stimul T2, který je v kontextu s úvodním slovem, a odpovědí na stimul T2, který není v kontextu s úvodním slovem, může pak sloužit jako důkaz, že stimul T2 byl mozkem identifikovaný na sémantické úrovni zpracování. Tabulka 2 Výsledky hlavního a kontrolního experimentu ( průměrný počet správných behaviorálních odpovědí na stimul T2, s směrodatná odchylka) experiment s Hlavní 26,61 5,04 Kontrolní 25,53 5,13 Tento možný závěr však spoléhá na skrytý předpoklad, že hodnota amplitudy ERP komponenty je přímo závislá na kvalitě a časování kognitivního procesu v mozku. Tento předpoklad je však problematický, proto vstupuje do hry kontrolní experiment. Některé experimenty prokázaly, že s rostoucí intenzitou akustického rušení klesá úspěšnost behaviorální odpovědi a zároveň hodnota amplitudy komponenty N400 zhruba lineárně. Předpokládejme, že tento jev je pozorovatelný v kontrolním experimentu. Pokud zároveň nedojde k poklesu amplitudy komponenty N400 v časové oblasti výpadku pozornosti v hlavním experimentu, je možné tvrdit, že nižší úspěšnost reakce na stimul T2 je důsledkem výpadku zpracování až ve fázích následujících identifikaci slova. 5.3 Průběh experimentu a reálné výsledky Experimentu se zúčastnilo celkem třináct subjektů (devět mužů, čtyři ženy ve věku 20-25 let); studentů a studentek ZČU v Plzni. Scénář se opakoval vždy 60x; EEG signál byl vzorkován s frekvencí 1 KHz. Úspěšnost reakce testovaných subjektů na stimul T1 byla takřka stoprocentní; tento výsledek odpovídal teoretickým předpokladům. Úspěšnost behaviorální reakce na T2 stimul však byla celkově nižší (a prakticky stejná v hlavním i kontrolním experimentu) oproti teoretickým předpokladům (Tabulka 2 a Obrázek 3). Komponenta N400 byla zřejmá; hodnota amplitudy byla prakticky stejná na všech intervalech časového rozdílu mezi realizací stimulu T1 a stimulu T2. Tabulka 2 shrnuje výsledky pro hlavní i kontrolní experiment (průměrné hodnoty zahrnují všechny pokusy, všechny sledované intervaly a všechny testované subjekty); obrázek 3 pak průměrné výsledky všech subjektů pro jednotlivé časové intervaly. Obrázek 3 Průměrný počet správných odpovědí na stimul T2 [%] V kontrolním experimentu však došlo k významnému snížení amplitudy komponenty N400. Obrázky 4 a 5 ukazují průměrnou rozdílovou vlnu pro situaci, kdy stimul T2 následoval stimul T1 se zpožděním sedm časových jednotek. 6 Závěr Provedený a popsaný experiment je prvním přiblížením možnosti zkoumat pozornost řidiče při zátěži měřením EEG/ERP. Návrh experimentu vychází z attentional blink paradigmatu a je zaměřen na zvládání dvojí zátěže v krátkých časových intervalech. Tato zátěž je částečně navíc zvýšená o akustické rušení na pozadí.
3. Nebyla vhodně zvolena kontextová slova a dvojice slov, která mají/nemají sémantický vztah ke kontextovému slovu (v pilotních experimentech byly zkoušeny různé varianty, avšak bez významného dopadu na celkovou úspěšnost). 4. Podmínky v laboratoři nejsou ideální, významně se projevily rušivé vlivy (nejsme schopni vyvrátit ani prokázat). 5. Subjekty se na úlohu dostatečně nesoustředily, či na experiment přicházely unaveny (metodika experimentu zahrnovala i vyloučení subjektů, u kterých bylo prokazatelné, že se na experiment plně nesoustředí). 6. Vybraná hudba je zvláštní typ akustického rušení; jiná hudba, případně obecně zvuky (např. rozhovor) by výsledky významně ovlivnily. Obrázek 4 ERP rozdílová vlna - průměr všech subjektů pro časové zpoždění sedmi časových jednotek stimulu T2 oproti T1, hlavní experiment (generováno programem BrainVision Analyser) Pokles amplitudy komponenty N400 v kontrolním experimentu byl významný. To by mohlo ukazovat, že akustické rušení na pozadí má vliv na percepci stimulů mimo oblast vědomého zpracování. Poděkování: Tato práce vznikla v rámci řešení projektu Ministerstva dopravy České republiky číslo 1F84B/042/520. Literatura [1] E. K. Vogel, S.J. Luck, K. L. Shapiro: Electrophysiological Evidence for a Postperceptual Locus of Suppression During the Attentional Blink. Journal of Experimental Psychology; Human Perception and Performance, 1998, Vol. 24, No.6, 1656-1674. [2] R. Marois, J. Ivanoff. Capacity limits of information processing in the brain, TRENDS in Congnitive Scieces, Vol. 9, No. 6, June 2005. Obrázek 5 ERP rozdílová vlna - průměr všech subjektů pro časové zpoždění sedmi časových jednotek stimulu T2 oproti T1, kontrolní experiment (generováno programem BrainVision Analyser) Úspěšnost behaviorální odpovědi subjektu na stimul T2 byla nízká oproti teoretickým předpokladům jak v hlavním, tak i v kontrolním experimentu. Tento výsledek lze interpretovat mnoha způsoby: 1. Akustické rušení na pozadí nemá v našem případě žádný vliv na behaviorální reakci subjektu. 2. Zvolená doba časového zpoždění mezi target stimuly (1 časová jednotka = 83 ms) není vhodně zvolena (experiment bude opakován s jiným časováním). [3] S. Dehaene, L. Naccache, et al.: Imaging unconscious semantic priming. Nature, Vol. 395, October 1998. [4] E. H. Schumacher, T. L. Seymour et al.: Virtually Perfect Time Sharing in Dual-Task Performance: Uncorking the Central Cognitive Bottleneck. Psychological Science, Vol. 12, No. 2, March 2001. [5] D. Deacon, A. Dynowska et al.: Repetition and semantic priming of nonwords: Implications for theories of N400 and word recognition, Psychophysiology, 41, 60-74, 2004.