Měření a analýza pohybu ruky u parkinsoniků. Measuring and Evaluation of Hand Movement in Parkinson s Disease

Transkript

1 ČESKÉ VYSOKÉ UČENÍ TECHNICKÉ V PRAZE Fakulta biomedicínského inženýrství Katedra biomedicínské informatiky Měření a analýza pohybu ruky u parkinsoniků Measuring and Evaluation of Hand Movement in Parkinson s Disease Disertační práce Doktorský studijní program: Biomedicínská a klinická technika Školitel: Doc. RNDr. Ing. Marcel Jiřina, Ph.D. Školitel specialista: Ing. Zoltán Szabó, Ph.D. Radim Krupička Kladno 2013

2 Poděkování Rád bych především poděkoval prof. Evženu Růžičkovi a jeho týmu za nasměrování disertační práce, výbornou spolupráci a poskytnutí zázemí pro měření. Děkuji také dr. Zoltánu Szabó za odborné vedení disertační práce a poskytnuté zázemí na katedře biomedicínské informatiky a ing. Anetě Hybšové za konzultace ve statistice a zpracování dat. Mé díky také patří mé rodině a kamarádům za věčně motivující otázky, jestli už mám práci napsanou. V neposlední řadě bych chtěl poděkovat členům katedry biomedicínské informatiky FBMI za podporu a přátelské prostředí na pracovišti.

3 Prohlášení Prohlašuji, že jsem disertační práci s názvem Měření a analýza pohybu ruky u parkinsoniků vypracoval samostatně a použil k tomu úplný výčet citací použitých pramenů, které uvádím v seznamu přiloženém k disertačení práci. Nemám závažný důvod proti užití tohoto školního díla ve smyslu 60 Zákona č.121/2000 Sb., o právu autorském, o právech souvisejících s právem autorským a o změně některých zákonů (autorský zákon). V Kladně dne podpis

4 Abstrakt Cílem disertační práce bylo vyvinout objektivní metodu pro hodnocení bradykineze na horní končetině rukou u pacientů s Parkinsonovou nemocí (PN) akceptovatelnou v klinické neurologii. Pro objektivní hodnocení byla na základě rešerše navrhnuta pohybová úloha klepání prsty. Na úloze byly definovány parametry popisující bradykinezy a bylo zkonstruován kamerový systém pro měření pohybů prstů v prostoru. Kamerový systém je složen z 2 IR zářičů a 2 průmyslových kamer a snímá polohu reflexních značek v prostoru, které jsou připevněny na kloubech palce a ukazováku. Vyvinutý software zpracovává obraz z kamer v reálném čase a vypočítává prostorovou pozici značek. Pro výpočet pozice značek v prostoru se využívají parametry, které jsou vypočítány na základě prvotní automatické kalibrace systému pomocí šachovnice. Z pozic značek jsou určeny trajektorie a parametry pohybu. Kamerový systém byl otestován, byla experimentálně ověřena chyba měření a byl nasazen pro měření v klinických podmínkách. Byla definovaná metodika měření, byly formulovány hypotézy a určeny parametry pohybu popisující bradykinezy. V ambulanci Neurologické kliniky 1.LF UK v Praze bylo kamerovým systémem změřeno 22 pacientů (12 žen) s lehkým až středně těžkým postižením PN s průměrným Hoehn & Yahr stage 2,05 (v rozmezí 1-2,5), průměrným věkem 64 (48-82) let, v ON stavu, a trvání nemoci 9,3 (1-24) let a 22 odpovídajících kontrol (11 žen) s průměrným věkem 66 (41-82) let, bez neurologického nebo psychiatrického onemocnění v anamnéze a bez postižení funkce horních končetin. Každá končetina byla měřena dvakrát po 20 s. Z měření byly potvrzen na hladině významnosti P < 0,001 následující hypotézy: Hodnoty poklesu maximálního oddálení a poklesu maximální rychlosti pohybů prstů v čase rozlišují osoby s PN a bez PN. Hodnoty poklesu maximálního oddálení a rychlosti pohybu se úzce shodují s příslušným položkovým skóre UPDRS. UPDRS spíše odráží pokles amplitudy než snížení frekvence v čase. Bylo také dokázáno, že parametry pokles vzdálenosti prstů a průměrná maximální rychlosti nejlépe z definovaných parametrů popisují bradykinezi. Byl definován nový parametr pro objektivizaci bradykineze a určena délka provádění testu klepání prstů, při které se začne maximálně projevovat bradykineze. Klíčová slova zachytávání pohybu, kamerový systém, úloha klepání prsty, Parkinsonova nemoc, bradykineze

5 Abstract The aim of the dissertation thesis is to develop an objective method of quantification analysis of the Parkinson s disease (PD) patients bradykinesia on hand movement. The finger tapping task (FT) was proposed as a good indicator of bradykinesia based on an expert consultation and research. The parameters describing bradykinesia were defined and a motion capture camera system for measuring finger movement was developed. The motion capture camera system consists of 2 IR emitters and 2 industrial cameras. The system captures position of reflexive markers in space. The markers are placed on anatomical landmarks of a thumb and a forefinger. The developed software processes frames acquired from the cameras and computes a space position of the markers in real time. Parameters computed from a calibration by a checkboard are used for computation of the markers space position. The markers are traced and the parameters of the movement are computed from the trajectory. The camera system was experimentally verified and an error of measurement was computed. The system was used at the Neurological clinic of 1st Faculty of Medicine Charles University in Prague. A measurement methodology, hypothesis and movement features were defined initially. We examined 22 (12 F) patients with mild to moderate PD, mean Hoehn & Yahr stage 2.05 (range 1-2.5), mean age 64 (48-82), disease duration 9.3 (1-24) years, and 19 (11 F) normal controls (NC), mean age 65 (50-82) years, without history of neuropsychiatric disorders and without any impairment of upper limb function. Every subject was tested in his best state, performing FT according to the UPDRS, each hand twice for 20 seconds. The following hypotheses were confirmed at the significance level P < 0.001: Values of a decrement in maximal finger distance and a decrement in maximal finger velocity differentiate between PD and NC. Moderate correlations were found between visual rating of finger tapping test (UPDRS) by two experts and the decrement in maximal finger distance and the decrement in maximal finger velocity. UPDRS correlated more with the decrement in maximal finger distance than with a decrement in finger tapping frequency. The combination of an average closing velocity and a decrement in amplitude produces a linear classification model with the best discrimination coefficient. The measurement time of finger tapping test was discussed. Keywords motion capture, camera system, finger tapping test, Parkinson s disease, bradykinesia

6 Obsah 1 Úvod Motivace Cíle disertační práce Struktura práce Přispění práce Stav a analýza řešené problematiky Parkinsonova nemoc Příznaky Parkinsonovy nemoci Diagnóza a klinické ohodnocení UPDRS Přístrojové měření a objektivizace Parkinsonovy nemoci Zachytávání a měření pohybu Akcelerometry a gyroskopy Optické systémy Další možnosti snímání pohybu Základy stereo vidění Model dírkové kamery Vnější a vnitřní parametry kalibrační parametry Zkreslení (distorze) obrazu Určení vnějších a vnitřních parametrů kamery Kalibrace a epipolární geometrie Vyhodnocení analýzy Výběr měřené úlohy a technologie snímání Úloha klepání prsty Definování cílů práce a hypotéz Kamerový systém pro měření pohybu Pohybová úloha a požadavky na měřící systém Výběr hardware a software Teoretické parametry kamery Kamery, příslušenství a konstrukce systému Implementační nástroje Získání obrazu Hardwarová synchronizace Získání obrazu a softwarová synchronizace Extrakce značek i

7 Obsah Prahování a hledání spojitých komponent Určení pozice značky v obrazu Určení 3D souřadnic značek Kalibrace kamer Výpočet 3D souřadnic značek Přiřazení a sledování značek Validace systému Stabilita měření vzdálenosti dvou značek Srovnání s komerčním kamerovým systémem Shrnutí a využití kamerového systému Zpracování trajektorie a výpočet parametrů Předzpracování a výpočet vzdáleností značek Detekce maximálního otevření prstů a maximální rychlosti Definice a výpočet parametrů Experimenty a výsledky Pilotní měření Metodika měření Porovnání pacientů s kontrolami Výběr parametrů a klasifikace Korelace parametrů Výběr nezávislých parametrů Klasifikace bradykineze na základě parametrů Analýza délky záznamu Shrnutí experimentů Závěr Shrnutí Granty, publikace a ohlasy Diskuze Literatura 73 Publikace autora 78 A Uživatelské rozhraní aplikace pro snímání pohybu 81 B BradykAn - Aplikace pro zpracování pohybových dat 84 C Webová portál pro hodnocení pohybu z videozáznamu. 86 D Přehled parametrů 88 E Obsah CD 89 ii

8 1 Úvod 1.1 Motivace Parkinsonova nemoc (PN) je chronické neurodegenerativní onemocnění, které při celkové prevalenci 1-2 pacienti na 1000 obyvatel postihuje až 1% obyvatel nad 60 let věku. Hlavním projevem PN je pohybové omezení v podobě tzv. parkinsonského syndromu (PS) tvořeného bradykinezí, rigiditou, klidovým tremorem a posturální poruchou [30]. Etiologie PN není dosud známá, ale je prokázáno, že její chorobné projevy vznikají na podkladu degenerace mozkových jader vytvářejících dopamin a další nervové přenašeče. Substituce dopaminu je proto hlavním symptomatickým léčebným postupem u PN [53]. Bradykineze (zpomalení a snížení amplitudy opakovaných pohybů) je vedoucí pohybový příznak PN, klíčový pro diagnózu a pro odhad tíže funkčního postižení pacientů. Bradykineze může však také být součástí pohybového postižení u vzácnějších neurodegenerativních onemocnění provázených PS (tzv. atypické PS), v některých případech Huntingtonovy nemoci, u některých dystonických syndromů apod. Podkladem bradykineze u PN je nedostatek dopaminu, u jiných poruch to může být blokáda receptorů nebo zánik neuronů v motorické oblasti jader striáta [6]. Za typický projev bradykineze u PN se považuje postupný pokles amplitudy, zpomalování a nepravidelnost repetitivních pohybů v čase [12, 27]. Některé práce naznačují, že podkladem zpomalování a poklesu amplitudy opakovaných sekvenčních pohybů u PN není jen nedostatek dopaminu a porucha nigrostriatálního přenosu, ale jím navozená dysfunkce kortiko-striáto-palido-thalamo-kortikálního motorického okruhu, se spolupodílem senzorických mechanismů [33, 51]. Podobné hypotézy však dosud bylo obtížné ověřit, protože pro hodnocení bradykineze se v praxi používají především klinické stupnice (nejčastěji Unified Parkinson s Disease Rating Scale, UPDRS [18]) založené na subjektivním odhadu tíže bradykineze trénovaným specialistou, na ordinální škále v rozmezí pěti stupňů. Toto hodnocení však nemůže postihnout jemnější rozdíly v tíži bradykineze a její změny v čase [25]. Možnosti přesného objektivního sledování bradykineze jsou dosud značně omezené, ať už pro hmotnost a rozměry měřících přístrojů (akcelerometry, Polhemus tracking system apod.), které tím zkreslují charakteristiky měřeného pohybu, či proto, že nedovolují změřit všechny potřebné hodnoty (např. elektromyografie nezachytí amplitudu pohybu) a obvykle vyžadují montáž složitých zařízení na tělo vyšetřované osoby. Nejen ve výzkumu, ale i v klinické praxi by objektivní měření parametrů repetitivních pohybů při rutinních vyšetřeních mohlo přinést větší přesnost monitorování tíže postižení a sledování efektů léčby, včetně vysoce specializovaných 1

9 1.2 Cíle disertační práce výkonů jako je testování efektu a nastavování parametrů hluboké mozkové stimulace u pacientů s PN. 1.2 Cíle disertační práce Cílem disertační práce je vyvinout objektivní metodu pro hodnocení bradykineze na horní končetině rukou u pacientů s Parkinsonovou nemocí akceptovatelnou v klinické neurologii. Pro objektivní hodnocení bradykineze navrhnout testovací pohybovou úlohu. Na této úloze odhadnout parametry popisující bradykinezi a navrhnout a zkonstruovat zařízení pro měření těchto parametrů. Zkonstruované zařízení validovat a ověřit funkčnost řešení na klinických hypotézách. Z měření zdravých osob a pacientů s PN odvodit parametry pohybu, které bradykinezi popisují. 1.3 Struktura práce Řešení práce předchází analýza problému (kap. 2), ve které na základě podrobné rešerše (kap. 2.1 a 2.2), definuji pohybovou úlohu a technologie měření bradykineze. Z rešerše vyplynula úloha klepání prsty (kap. 2.4) jako nejvhodnější úloha pro určení bradykineze. Pro měření jsem se rozhodl vyvinout kompaktní kamerový systém měřící 3D pohyb značek v prostoru. Značky se umístily na konečky prstů. V analýze jsem také upřesnil cíle disertační práce a definoval zkoumané hypotézy pohybu (kap ), ze kterých vyplynuly parametry měřené kamerovým systémem. V analýze také popisuji základy 3D vidění, které využívám při konstrukci systému (kap. 2.3). Konstrukci kamerového systému pro měření pozice značek v prostoru se věnuji v kapitole 3. Vzhledem k zachování rozsahu disertační práce popisuji pouze vlastní řešení a algoritmy. Na všechny převzaté části systému v textu pouze odkazuji. Před konstrukcí systému předcházelo definování požadavků na systém (kap. 3.1) a teoretická analýza chyby (kap ). Z analýzy vyplynula konstrukce systému a výběr kamerového vybavení (kap ). Kamery jsou hardwarově synchronizovány pomocí generátoru signálu vlastní výroby (kap. 3.3). Před začátkem měření a výpočtem prostorových souřadnic značek (kap. 3.5) se kamery zkalibrují (kap ). Obraz z kamer je zpracovaný softwarově (kap. 3.4). Značky jsou z obrazu extraktovány v reálném čase pomocí optimalizovaného algoritmu nalezení spojitých komponent (kap ). Značkám jsou určeny jejich středy (kap ), jsou nalezeny pomocí epipolárních linií vzájemné páry a trajektorie (kap ). Zkonstruovaný systém byl validován na umělé úloze a porovnán s podobným komerčním systémem na úloze klepání prstů (kap. 3.6). Kamerový systém měří 3D pozici značek v prostoru umístěných na palci a ukazováku ruky. Jejich zpracování a výpočet parametrů je popsán v kapitole 4. Z pozice značek je vypočítána jejich vzájemná vzdálenost a je předzpracována (kap. 4.1). Ze vzdálenosti značek jsou vypočítány parametry pohybu, které se týkají maximální 2

10 1.4 Přispění práce rychlosti otevírání a zavírání prstů, frekvence otvírání prstů, změny vzdálenosti prstů v čase, průměrné frekvence a maximální rychlosti oddálení a zavírání prstů (kap. 4.2 a 4.3). Kamerový systém nahrává video měřeného pohybu, které může expert hodnotit ve vytvořeným webovým portálu. Experimenty jsou zpracovány v kapitole 5. Před vlastními experimenty bylo provedené pilotní měření v ambulantních podmínkách (kap. 5.1), při kterém se upravily vlastnosti systému a upřesnila metodika měření (kap. 5.2). Hypotézy byly ověřeny na 22 pacientech s PN a 22 zdravých odpovídajících kontrolách (kap. 5.3). Z měření byly také vybrány parametry, které nejlépe popisuji bradykinezi (kap. 5.4). Měření bylo srovnáno s hodnocení expertů a byla diskutovaná délka záznamu (kap. 5.5). V poslední kapitole 6 shrnuji a diskutuji závěry práce a shrnuji články a ohlasy vyvinutého systému. V přílohách jsou pro uživatele popsány vyvinuté softwary (kamerový systém (příloha A), aplikace pro zpracování trajektorie (příloha B) a webový portál pro hodnocení pohybů (příloha C)). 1.4 Přispění práce Disertační práce přispěla v následujících oblastech: 1. Vytvoření kompaktního kamerového systému měřící 3D souřadnice reflexních značek v prostoru využívající pouze 2 kamery (kap. 3): a) Vlastní konstrukce systému (kap ). b) Softwarově řešená extrakce značek v obrazu v reálném čase (kap. 3.4). c) Systém sledování značek založený na řešení minimalizačního problému (kap. 3.5). d) Metodika pro porovnání různých kamerových systémů (kap. 3.6). e) Ověření funkčnosti a možnosti nasazení 3D kamerových systému v klinických podmínkách (kap. 5). 2. Objektivizace bradykineze a ověření klinických hypotéz (kap. 5): a) Definování metodiky měření bradykineze (kap. 5.2). b) Vytvoření webového systému pro hodnocení bradykineze z videozáznamu (příloha C). c) Potvrzení hypotézy, že hodnoty změny maximálního oddálení a maximální rychlosti pohybů prstů v čase rozlišují osoby s PN a bez PN (kap. 5.3). d) Potvrzení hypotézy, že hodnoty změny maximálního oddálení a rychlosti pohybu se úzce shodují s příslušným položkovým skóre UPDRS (kap ). 3

11 1.4 Přispění práce e) Potvrzení hypotézy, že UPDRS odráží spíše pokles amplitudy než snížení frekvence v čase (kap ). f) Dokázání, že parametry pokles vzdálenosti prstů a průměrná maximální rychlosti nejlépe z definovaných parametrů popisuje bradykinezi (kap ). g) Definice nového parametru pro objektivizaci bradykineze, který je lineární kombinací poklesu vzdálenosti prstů a průměrná maximální rychlosti (kap ). h) Potvrzení hypotézy, že v prvních 10 pohybech prstů v testu klepání prstů je možné rozlišit osoby s PN a bez PN (kap. 5.5). i) Určení délky provádění testu klepání prstů, při které se začne maximálně projevovat bradykineze (kap. 5.5). 4

12 2 Stav a analýza řešené problematiky Kapitola slouží jako úvod do problematiky Parkinsonovy nemoci a měření a objektivizace pohybů pacientů s PN. Kapitola se věnuje pouze tématům, které přímo souvisí s řešením práce a na které práce navazuje. V kapitole 2.1 je popsána Parkinsonova nemoc, její příznaky, klinické ohodnocení a metody přístrojového měření. Z analýzy vyplývá měřená úloha klepání prsty. Systémy pro měření pohybů jsou popsány v kapitole 2.2. Z výhod a nevýhod měřících systémů a z pohybové úlohy plyne konstrukce měřícího zařízení využívající kamer. Kamerový systém měří prostorové pozice značek a využívá základů stereometrie, které jsou popsány v kapitole 2.3. V poslední kapitole je analýza řešené problematiky shrnuta, jsou definovány cíle měření a klinické hypotézy. 2.1 Parkinsonova nemoc Parkinsonova nemoc (PN) je degenerativní, progresivní onemocnění centrální nervové soustavy, jehož příčinou je postupný zánik mozkových buněk produkující neurotransmiter dopamin v subtantia nigra (nachází se v tzv. bazálních gangliích ve středním mozku a hraje významnou roli v řízení pohybu). Výsledkem je nedostatek dopaminu ve striatu a následné příznaky PN v podobě tzv. parkinsonského syndromu (PS), které typicky jsou klidový třes (tremor), ztuhlost svalů (rigidita), zpomalení pohybů (bradykineze) a poruchy stoje a chůze [30]. Nemoc se vyskytuje po 50. roce věku, i když první příznaky onemocnění se často objevují už od 40. roku. Prevalence onemocnění je 1 pacient na 1000 obyvatel a obyvatel nad 60 let již 1 nemocný na 100 obvatel. Etiologie onemocnění není známa, existují teorie o genetickém defektu bílkovinných komponent neuronů, eventuálně enzymu mající vliv na tvorbu dopaminu. Parkinsonovu nemoc nelze vyléčit, ale lze dlouhodobě potlačit či omezit její příznaky. Hlavním symptomatickým léčebným postupem u PN je substituce dopaminu. Obvykle po nasazení léků je velmi příznivá klinická odezva, ale po 5-10 letech se objevují komplikace léčby, které postupně zhoršují celkový stav nemocného. PN vede k celkovému chátrání nemocného až k plné invaliditě. Příčinou smrti pacienta je většinou doprovázející onemocnění [52, 54] Příznaky Parkinsonovy nemoci Nemoc se začíná klinicky projevovat až po zániku více než 20% neuronů v pars compacta substantia nigra. Často již před klinickým propuknutím nemoci mívá pacient určité necharakteristické obtíže, jako jsou bolesti zad a ramen, pocity tíže končetin, 5

13 2.1 Parkinsonova nemoc ztráta výkonnosti, poruchy spánku, monotónní řeč, zácpa, snížení sexuální výkonnosti atd. Tyto příznaky doprovázejí velmi mnohá onemocněním, a nejsou tedy pro lékaře dobrým vodítkem ke stanovení správce diagnózy. Teprve později (po několika měsících až letech) se projevují čtyři typické a základní příznaky nemoci: Třes (tremor) je nejvíce viditelný a dobře známý příznak PN, ale je nutné zdůraznit, že bývá nespecifickým příznakem řady onemocnění. Třes typický pro PN se objevuje především na končetinách, hlava je třesem postižena velmi vzácně. Začíná obvykle na prstech horní končetin, a to výrazněji na jedné z končetin. Třes je klidového charakteru s frekvencí kolem 4-6Hz (největší při klidu) a mizí ve spánku. Svalová ztuhlost (rigidita) se projevuje abnormálním zvýšením přirozeného svalového napětí. Ztuhlý sval klade při činnosti zvýšený odpor a začíná většinou nesymetricky. Svalová ztuhlost je plastického charakteru, v celém rozsahu pohybu a je možné ji zjistit pasivním pohybem končetiny. Ani tento příznak není zcela typický jen pro PN, ale pečlivým vyšetřením jej lze obvykle bezpečně odlišit od jiných příčin svalové ztuhlosti. Zpomalenost pohybů (bradykineze) je vedoucím příznakem PN [12, 27], pozorujeme celkové zpomalení pohybů a omezení automatizovaných pohybů. Celá spontánnost pohybů je zpomalená a nevýrazná. Často se vyskytují postupné omezení až náhlé přerušení (zamrznutí) pohybu. Nemocný např. při chůzi strne, ztuhne a není chvíli schopen pohybu tam ani zpět. Projevy jsou nezávislé na míře svalové ztuhlosti. Poruchy stoje a chůze jsou nedílnou součástí projevů PN. Charakteristické je především sehnuté držení trupu, šíje a pokrčení končetin. U pacientů s pokročilejší nemocí je typická chůze o drobných, šouravých krůčcích s nejistými, pomalými otočkami, kdy může docházet i k poruše rovnováhy až někdy k pádu. Existuje řada dalších příznaků PN, jako jsou např. poruchy řeči, porucha písma, neklid končetin při usínání, poruchy vegetativního nervstva, psychické problémy, ale protože nesouvisí přímo s pohybem a jsou sekundárního charakteru, nebudeme se jimi zabývat Diagnóza a klinické ohodnocení UPDRS Neexistuje žádná metoda, která by s určitostí potvrdila diagnózu Parkinsonovy nemoci. Při jejím stanovování jde o to vyloučit všechny ostatní možné příčiny neurologické poruchy. Základem diagnostiky PN je podrobné neurologické vyšetření, při kterém lékař zkoumá informace o vzniku, charakteru a vývoji obtíží, všímá si také chůze, pohybů a celkového vystupování nemocného. Výsledky může také potvrdit odběr krve a její biochemické, hematologické a mikrobiologické vyšetření. Ke správné diagnóze se pro zhodnocení funkce mozku používá EEG vyšetření a pro zobrazení jeho struktury počítačovou tomografii (CT) nebo magnetickou rezonanci (MR) [52]. Pro hodnocení PN se kromě klinického vyšetření pacienta používá unifikovaná škála pro hodnocení Parkinsonovy nemoci (UPDRS - Unified Parkinson s Disease Rating Scale). UPDRS je složeno přibližně z 50 otázek, kde každá může být ohodnocena 0-4 body (0 - nejlepší výsledek, 4 - nejhorší). Škála je komplexní a hodnotí se v ní psychika, aktivity běžného života, hybnost a komplikace nemoci. Během ně- 6

14 2.1 Parkinsonova nemoc kolika let vzniklo několik úprav a verzí UPDRS. Přestože jednotlivé verze jsou si velice podobné, v Movement disorder society vytvořili standard unifikované škály pro hodnocení Parkinsonovy nemoci - UPDRS v2 [19]. Unifikovaná škála pro hodnocení Parkinsonovy nemoci obsahuje mj. standardizované pohybové úlohy, které pacient provádí během vyšetření, a které jsou následně ohodnoceny lékařem. Konkrétně se jedná o tyto testy: Klepání prsty - pacient rychle a opakovaně klepe palcem o špičku ukazováku s co největší amplitudou a frekvencí. Pohyb provádí každou rukou zvlášť. Pohyby dlaní - pacient rychle opakovaně rozvírá a zavírá dlaň s nataženými prsty s co největší amplitudou a frekvencí. Pohyb provádí každou rukou zvlášť. Alternující pohyby rukou - pacient rychle a opakovaně provádí pronaci a supinaci v horizontální nebo vertikální poloze s co největší amplitudou a frekvencí. Pohyb provádí oběma rukama zároveň. Pohyby nohy - pacient rychle a opakovaně s co největší amplitudou poklepává špičkou nohy o zem, pata zůstává opřena. Vstávání ze židle - pacient se pokusí vstát ze židle s rovným opěradlem, ruce má přitom zkřížené na prsou. Během vyšetření hybnosti se také navíc posuzuje rigidita končetin, chůze, držení postavy ve stoji, klidový třes, akční nebo posturální třes rukou, posturální stabilita, bradykineze a hypokineze těla, mimika a řeč Přístrojové měření a objektivizace Parkinsonovy nemoci Posouzení Parkinsonovy nemoci a vyhodnocení UPDRS je závislé na vyšetření specialistou neurologem, který dokáže na základě svých zkušeností správně ohodnotit postižení pacienta. V klinické praxi prozatím neexistuje pro objektivní posouzení PN žádná používaná metoda, která by dokázala zhodnotit míru postižení, případně ohodnotit jednotlivé testy. S pokrokem techniky a metod snímání pohybu se v posledních letech výzkumu potvrzuje, že objektivizace PN na základě pohybu je možná. Během posledních 15 let byly provedeny testy na různých pohybových úlohách s různým hardwarem pro snímání pohybu. Hardware pro zaznamenání pohybu, který autoři využívali v pracích, je shrnut v následující kapitole 2.2. Většinou se přístrojově analyzují standardní pohyby z UPDRS, ale pro specializovaný hardware nemusí být tyto pohyby vhodné, proto například Homann [29] používal počítačovou klávesnici pro měření následujících parametrů: kinesia score - počet úhozů za minutu, akinesia time - čas jak dlouho trvá držení klávesy, dysemetria score - vážené ohodnocení pohybů generované z chybných úhozů a opravené rychlostí stisku a arhytmia score. Tyto parametry významně korelovaly s UPDRS. Odlišný pohybový test definovala a pomocí kamerového systému analyzovala ve své práci Hejduková [24]. Jednalo se o manuální transportní úlohu, kdy pacient musel 7

15 2.1 Parkinsonova nemoc přesunout objekt z jednoho místa na druhé. Celý pohyb byl zaznamenáván jednou kamerou a byla vyhodnocována hybnost paže. Rozlišením abnormálních pohybů v běžném pacientově životě se zabýval Hoff [28]. Ve své práci analyzoval pohyby pomocí akcelerometrů připevněným k pacientovi. Další parametr, který se posuzuje v UPDRS, je třes. Třes vyhodnotil s pomocí bezdrátových akcelerometrů ve své práci například Lemoyne [38]. Akcelerometry však svojí váhou můžou samotný pohyb ovlivnit, a proto je vhodnější používat pro detekci pohybů kamerový systém. Nástroj pro výpočet frekvence třesu z videa vyvinula Uhrikova [60]. V obou případech byla pro výpočet frekvence použita Fourierova transformace. Z pohybových úloh z UPDRS Goetz a kol. [18] považuje test klepání prsty za nejobtížněji vyhodnotitelný, ale jako nejlepší ukazatel Parkinsonovy choroby. Ke stejnému názoru došel i Agostino [1], který analyzoval klinické hodnocení úloh klepání prsty, pohyby dlaní a alternující pohyby rukou. Výsledky výzkumu ukázaly, že téměř všichni pacienti měli problémy s prováděním všech 3 pohybových úloh, přičemž největší problémy měli s úlohou klepání prsty a jeho korelace s PN byla významně nejvyšší. (a) Schéma připevnění snímačů na prsty a k počítači v práci Yokoeho [62]. (b) Umístění elektromagnetů na prsty z práce Espaye [13]. Obrázek 2.1: Měření úlohy klepání prsty pomocí akcelerometrů a elektromagnetů Pro analýzu úlohy klepání prsty jsou nejvíce rozšířené gyroskopy a akcelerometry i přes to, že hmotnost zařízení větší než 1g připevněných na prstech výrazně ovlivňuje pohyb [48]. Akcelerometry pro analýzu frekvence a rytmu klepání prsty ve své práci úspěšně použil Calutti [10]. Yokoe [62] k akcelerometrům přidal dotykový senzor, který detekoval spojení prstů (viz obr. 2.1a). Pomocí tohoto zařízení hledal parametry v úloze klepání prsty korelující s PN. Nakonec popsal nový parametr maximální rychlost otevírání prstů, který koreluje s hodnocením testu klepání prsty v UPDRS. Akcelerometry pro extrakci dalších 4 parametrů, které definují pohyby prstů, použil ve své práci Fukawa [15]. Pro odhadnutí hodnocení UPDRS použil tří vrstvou neuronovou síť na základě těchto parametrů: standardní odchylka 8

16 2.1 Parkinsonova nemoc frekvence stisknutí prstů, průměrná maximální rychlost otevření prstů, průměrná maximální vzdálenost palce a ukazováku, průměrná síla při kontaktu prstů. Akcelerometry byly použity ještě v několika pracích, ale vzhledem k jejich velikosti a hmotnosti byly použity spíše pro snímání pohybů končetin a celého těla pacienta [50]. Espay [12] použil ve své práci elektromagnetické zařízení Fastrak (viz obr. 2.1b) pro měření pohybu od firmy Pholmeus k dokázání, že amplituda rozevírání prstů a jejich rychlost jsou na sobě nezávislé veličiny a každá z nich udává jinou charakteristiku Pakrinsonovy choroby. Zařízení měří pozici elektromagneticky pozici senzorů v prostoru, které jsou drátově propojeny se zařízením. Ve své další práci [13] definoval pokles amplitudy a rychlosti a dokázal, že zlepšení těchto parametrů reaguje na medikaci koreluje s PN. Obrázek 2.2: Finger Tapper pro určení frekvence poklepů [16]. Vzhledem k váze akcelerometrů a jejich omezení (možnost měření pouze akcelerace pohybu ve směrech pohybu) se hledaly alternativy k měření pohybů prstů. Pro určování síly pacientova úchopu a pro úlohu klepání prsty použil Grandez [20] speciální rukavici vybavenou silovými senzory. Pohyby prstů a pronaci a supinaci paže zkoumal Keresztenyi [35] pomocí speciálního ultrazvukového zařízení, které spojitě vypočítávalo 3 dimenzionální pozice malých značek připevněné k prstům a napájené pomocí flexibilního kabelu. S tímto zařízením zkoumal amplitudu a rychlost pohybu prstů a pronaci a supinaci ruky při stimulaci mozkové aktivity pomocí bilaterálních STN elektrod. Keresztenyi zjistil, že při vypnuté stimulaci u pacientů s PN, amplituda a rychlost pohybů významně klesla, ale frekvence pohybu zůstala na stejné úrovni. Pro měření úhlové rychlosti použil Kim [36] gyroskopy (viz obr. 2.3), kterými měřil úhlové rychlosti v kloubech prstů při úloze klepání prsty a chodidla při úloze pohyby nohou. V další práci Kim [37] použil zařízení pro objektivizaci bradykineze, kde její parametry vypočítával z průměrné úhlové rychlosti a frekvence klepání prstů. V klinické praxi se používá pro měření frekvence poklepů prstů u osob s PN tzv. Finger Tapper, pomocí kterého se měří počet zmáčknutí tlačítka za daný čas (viz obr. 2.2). Další mechanickou pomůckou je tzv. Pegboard test. Testovaná osoba má za úkol za časový limit umístit co nejvíce kolíčků do připravených dírek. 9

17 2.1 Parkinsonova nemoc Obrázek 2.3: Použití gyroskopu umístěného na prsty v práci Kima [37]. Nejméně invazivní metoda pro snímání pohybů člověka a prstů je pomocí kamerových systémů. Nejvíce obsáhlou práci o měření a objektivizaci PN můžeme najít v disertační práci Akose Jobbaga [31]. Jobbagy ve své práci pro zachytávání pohybu používal jednu kameru, pomocí které snímal 2 dimenzionální pozici reflexních značek umístěných na končetinách. Tímto kamerovým systémem Jobbagy ohodnocoval úlohy klepání všemi prsty, klepání palce a ukazováčku, klepání patou a točení pažemi (viz obr. 2.4). Z pohybu vyhodnocoval frekvenční spektrum, periodicitu, průměrnou rychlost, maximální rychlost v cyklu a fraktální chování. Na základě těchto parametrů kvantifikoval částečně periodický pohyb pomocí metody singulární dekompozice hodnot [34]. Jako jeden z výsledků své práce publikoval Jobbagy hodnocení klepání prsty na základě průměrné frekvence pohybů a průměrné rychlosti [32]. Obrázek 2.4: Úloha klepání všemi prsty a točení pažemi v disertáční práci Jabbagyho [31]. Hlavní omezení v použití jedné kamery spočívá ve ztracení hloubkové informace scény a pacientovy pohyby musí být pokud možno v rovině obrazu, proto je vhodné použít více kamerový systém, který snímá prostorovou pozici značek. Systém pro zachytávání prostorového pohybu používal Agostino [2]. Vzhledem k hardwarovému 10

18 2.2 Zachytávání a měření pohybu omezení systému dokázal zaznamenat pouze 5 sekund každé pohybové úlohy. Z trajektorie vypočítal maximální amplitudu, průměrný čas flexe a extenze prstů a dobu spojení prstů. Pacienti snižovali rychlost pohybu při flexi a prodlužovala se postupně doba spojení prstů. Také měli sníženou průměrnou amplitudu pohybu. 2.2 Zachytávání a měření pohybu V předchozí kapitole jsem shrnul stav problému ve zpracování a měření pohybů ruky u Prakinsoniků. Autoři využili různé metody a přístroje pro snímání pohybů. Technologie zachytávání pohybu známá pod názvem Motion Capture dnes nalézá široké využití nejen při lékařských výzkumech, ale především v zábavním průmyslu. Tyto technologie umožňují přesně snímat pohyby člověka a přenášet je do počítače, kde je možné data rekonstruovat a získávat tak komplexní rekonstrukci pohybů lidského těla. Ve filmovém průmyslu je zachycený pohyb využitý v animacích, nejčastěji pro přirozený pohyb postav a pro vyjádření mimiky. V herním průmyslu umožňují ovládat počítačové hry pomocí pohybů těla. Existuje řada technologií a metod, které se v praxi pro zachycování pohybu využívají. Následující kapitola stručně shrnuje možnosti přístrojového měření pohybů a jejich výhody a nevýhody. Výhody a nevýhody jsou shrnuty v tabulce Akcelerometry a gyroskopy Ve většině případů autoři používali pro měření pohybů zařízení využívající akcelerometrů a gyroskopů. Akcelerometry se využívají pro měření zrychlení. Zrychlení se měří pomocí piezoelektrických měničů (umístěných v akcelerometru), kde každý akcelerometr je schopný měřit zrychlení v jednom směru. Zvýšením počtu akcelerometrů je možné měřit zrychlení v rovině nebo v prostoru (každý akcelerometr měří zrychlení v jedné ose a dopočítává se výsledný vektor zrychlení). Třídimenzionální zrychlení lze určit pomocí tří akcelerometrů umístěných tak, že jejich osy jsou na sebe kolmé. Výsledný prostorový vektor zrychlení je pak složený z hodnoty zrychlení ve směrech os akcelerometrů. Gyroskopy se využívají pro měření a určování změny polohy nebo natočení zařízení. Gyroskopy jsou obecně určené pro měření úhlové rychlosti, tzn. jak se měřený objekt rychle otáčí, v jednotkách stupňů/sekundu. Rotaci je možné typicky měřit vzhledem k jedné ze tří os z, y, x, někdy označované jako svislá (kolmá) osa (yaw axis), příčná osa (pitch axis) a podélná osa (roll axis). Gyroskopy využívají pro určení úhlové rychlosti setrvačník a pracující na principu tzv. Coriolisovy síly [21]. 11

19 2.2 Zachytávání a měření pohybu Obrázek 2.5: Bezdrátový akcelerometr firmy MicroStrain[45] Pokud zkombinujeme schopnosti akcelerometru a gyroskopu, tzn. známe zrychlení a natočení přístroje, je možné z dat teoreticky vypočítat trajektorii. Ze zrychlení a natočení se vypočítá vektor rychlosti a na jeho základě se změní aktuální poloha přístroje. Protože při počítání se postupně kumuluje chyba (vektor rychlosti se postupně mění podle získaných parametrů), tak vypočítat přesnou pozici je téměř nemožné. Také je obtížné zjistit případnou přesnou vzájemnou polohu mezi jednotlivými akcelerometry. Tato nevýhoda se kompenzuje trasováním těla pomocí optických či ultrazvukových metod, čímž se ztrácí hlavní výhoda akcelerometrických systémů, kterou je relativní nezávislost na sledovaném prostředí. Jedním z výrobců kombinovaných zařízení je společnost Animazoo [3]. Vzhledem k tomu, že akcelerometry musí být napájeny, plyne z toho další omezení a to jejich váha nebo použití elektrických svodů. Akcelerometry můžeme rozdělit na bezdrátové a drátové. Bezdrátové akcelerometry musí mít vysílací modul a baterii, proto běžně dostupné bezdrátové akcelerometry jsou velké řádově cm (viz obr. 2.5). Pokud bychom chtěli měřit pohyby prstů pomocí akcelerometrů, je potřeba aby měly elektrické svody. Přídavné svody můžou být obtěžující a měřící zařízení může zkreslit měření stejně jako vyšší váha akcelerometrů. Výhodou akcelerometrů je, že můžou být připevněné na snímanou osobu a ona se může libovolně pohybovat Optické systémy Často využívány při snímání pohybů jsou optické systémy. Měřený objekt je sledován kamerami a buď jsou sledovány značky, které jsou na něm umístěny, nebo je snímaný a rekonstruovaný povrch objektu. Při přesném měření pohybů mají největší zastoupení a využití optické systémy s pasivními značkami. V posledních letech zažívají rozmach i bezznačkové systémy pro měření pohybu a to především u herních konzolí. Kamerové systémy měří v jednom snímku přesnou polohu objektu v prostoru a pomocí metod sledování trajektorií značek i jejich další pohyb. Na základě polohy objektu v čase, lze výpočtem snadno určit okamžitou rychlost a zrychlení. Nevýhoda kamerových systémů je, že značky a objekt musí být kamerami vidět, a tak je pohyb omezen na určitý prostor. Měřený prostor by také neměl obsahovat žádné překážky, které by objekt zakrývaly. Výhoda kamerových systémů spočívá v tom, 12

20 2.2 Zachytávání a měření pohybu že i když je omezený snímaný prostor, tak pohyb samotného objektu není vůbec omezený snímacím zařízením (značky jsou lehké a lze je připevnit téměř kamkoliv s jedinou podmínkou, že musí být viditelné kamerami). Obrázek 2.6: Kamera značky Vicon a figurant s reflexními značkami snímaný kamerami. Systémy s pasivními značkami Ve filmovém průmyslu, při měření pohybů celého těla a pohybů obličeje se v praxi nejvíce využívají systémy s pasivními značkami. Pasivní značky jsou připevněné na předem definované pozice na objektu. Velikost značek se pohybuje od 3 mm do 3 cm a jsou z reflexivního materiálu, aby při ozáření byly v obraze viditelné. Infračervené zářiče jsou nejčastěji umístěné kolem objektivů kamer (viz obr. 2.6). Aby bylo možné vypočítat souřadnice značky, musí být viditelná minimálně 2 kamerami 1. Na využití více kamer má vliv přesnost měření, komplexnost pohybu a z jakých stran chceme objekt snímat. Komerční systémy, které snímají celou postavu, využívají minimálně 6 kamer [47]. Výhoda reflexních značek je, že jsou lehké, nepotřebují napájení, že je snadné je na snímaný objekt umístit. Kamerové systémy jsou přesné a fungují v reálném čase (dosahují frekvence snímání až 1000 Hz [61]). Nevýhodou je, že značky musí být viditelné a že musí být umístěné na přesných pozicích na objektu, tak aby bylo možné objektem proložit jeho model. Kamerové systémy jsou také nákladné na pořízení i provoz (vyžadují speciální prostor pro snímání). Nejznámější firmy, které vyrábí kamerové systémy, jsou Vicon [61], Motion Analysis [46]a Natural Point [47]. Systémy s aktivními značkami Systémy s aktivními značkami jsou postupně vytlačovány, ale stále mají své výhody a uplatnění. Hlavní výhoda aktivních značek spočívá v tom, že je snadné je identifikovat v jednotlivých snímcích (značky blikají 1 Při měření více značek, je potřeba aby značku viděly nejméně 3 kamery, aby bylo možné jednotlivé značky ve snímcích správně identifikovat. 13

21 2.2 Zachytávání a měření pohybu v rozdílných frekvencí) a tím kamerové systémy můžou obsahovat menší počet kamer a být kompaktnější. Scéna také nemusí být přisvícená a značky září více než reflexní. Na druhou stranu je potřeba napájení pro jednotlivé značky a značky jsou těžší a větší než pasivní značky. Jako příklad lze uvést systém Lukotronic od firmy Lutz Mechatronic Technology e.u [39]. Systémy nevyžadující značky V posledních letech se dostávají do popředí optické systémy, které nevyužívají značky, a to především díky tzv. hloubkovým kamerám. Systémy, které využívaly pouze standardní kamery, jsou velice citlivé na barvu pozadí, která musí být kontrastní se sledovaným objektem. Tyto systémy také využívají více kamer a pracují s nižší frekvencí, nebo dokonce je obraz vzhledem k výpočetní náročnosti zpracován offline. U těchto systémů se často využívá znalostí vlastností objektu a objekt je prokládán jeho modelem. Obrázek 2.7: Hloubková kamera Kinect [44]. V roce 2010 vyvinula firma Microsoft hloubkovou kameru Kinect [44](viz obr. 2.7), která za pomoci posunu v emitovaném infračerveném záření dokáže určit v reálném čase vzdálenost objektu od kamery. Kamery se používají u herních konzolí XBOX, kde se zachytává pohyb postavy a umožňuje hráči ovládat herní konzoli pomocí vlastního těla. Výhoda těchto systémů, kromě toho že nevyužívají značky, je velice nízká pořizovací cena a podpora ve vývojových nástrojích. Nevýhodou je pak nízká snímací frekvence 30 Hz a malý snímaný prostor. Podobný systém začínají využívat i další firmy, příkladem je 3D Image Sensor od firmy Panasonic [49] a je jen otázka času, kdy se začnou používat systémy nevyužívající značky i pro měření 3D pohybů ve filmovém průmyslu a lékařství (viz například mnou vedena bakalářská práce Jana Tesaře Fit Me - Kontrola cviků v domácím prostředí pomocí hloubkové kamery [59]) Další možnosti snímání pohybu V předešlých kapitolách jsem shrnul nejběžněji využívané metody snímání pohybu. Existuje však ještě řada dalších možností, jak měřit pohyb. Při snímání pohybů prstů, či těla se často využívají různé mechanické systémy. Mechanické systémy jsou konstruovány buď jako obleky [3](při měření prstů rukavice [17]), u kterých se měří úhly v kloubech, nebo jako různé mechanické postroje, kde se měří úhel v kloubech mechanických ramen. Nevýhodou mechanických systémů je, že potřebují 14

22 2.2 Zachytávání a měření pohybu přímý kontakt jednotlivých částí s tělem člověka, což může ovlivňovat pohyb, ale na druhou stranu také poskytovat zpětnou vazbu. Obrázek 2.8: Rukavice pro měření pohybů prstů značky CyberGlove [17] Pro snímání 3D pohybu se také využívají magnetické systémy. Magnetické systémy fungují na principu magnetického toku tří kolmých cívek umístěných na vysílači i přijímači. Výpočet polohy se pak vypočítává dle změn proudů a napětí v cívkách. Velkou výhodou je, že tyto systémy dokáží zaznamenat rotaci objektu, což např. optický systém není schopný. Jeho nevýhodou pak je velká náchylnost k vnějšímu rušení, nutnost napájení značek a z toho plyne i jejich vyšší hmotnost. Další alternativou pro snímání pohybu můžou být akustické systémy, kde akustický vysílač je připevněn k pohybujícímu se bodu a mikrofony jsou umístěné nad ním. Systém pak měří čas zvukové vlny od vysílače k jednotlivým přijímačům anebo fázový rozdíl mezi vysílaným a přijetím signálem. Opět je nevýhodou větší hmotnost vysílače. Výhoda je, že funguje na větší vzdálenosti. V praxi se často využívá kombinace jednotlivých metod měření, při které se skládají různé výhody, ale bohužel i nevýhody jednotlivých systémů. Při využití více systémů se musí také uvažovat o technickém řešení časově synchronizace jednotlivých systémů. Vzhledem ke kombinaci různých technologií bývají kombinované systémy více nákladné. 15

23 2.2 Zachytávání a měření pohybu Výhody Akcelerometry a gyroskopy možné měřit okamžité zrychlení a orientaci zařízení pohyb není omezený na určitý prostor levné Optické systémy měří absolutní pozici objektu v prostoru pohyb není omezený snímacím zařízením snadné použití přesné a rychlé pasivní značky: lehké a snadno připevnitelné na objekt existuje mnoho komerčních řešení aktivní značky: kompaktnější než kamerové systémy s pasivními značkami nevyžaduje přisvětlení bez značek: rekonstruuje povrch objektu - vytváří jeho 3D model levné herní konzolové senzory Nevýhody potřebuje napájení, vyšší váha - případně vyžaduje rozvody a zdroj nepřesná rekonstrukce trajektorie pohybu špatně se určuje vzájemná pozice snímačů měření vyžaduje velký definovaný prostor bez překážek (specializovanou místnost) snímaný objekt (značky) musí být viditelné kamerami vůči akcelerometrům a gyroskopům násobně dražší scéna vyžaduje IR přisvětlení větší značky, které potřebují napájení (rozvody a zdroj) nízká frekvence snímání, případné pomalé offline zpracování malý snímaný prostor Mechanické systémy dosahují vysoké přesnosti nejsou omezené na snímaný prostor musí být ve fyzickém kontaktu s objektem - ovlivňují pohyb můžou poskytovat zpětnou vazbu Tabulka 2.1: Srovnání měřících systému pro zachytávání pohybu 16

24 2.3 Základy stereo vidění 2.3 Základy stereo vidění Ze závěrů analýzy vyplynulo (viz kap. 2.4), že bylo nutné vytvořit vlastní přenosný systém pro snímání 3D pohybu prstů v prostoru. Systém využívá principy stereo vidění. Základy stereo vidění, na které dále navazuji při tvorbě kamerového systému, jsou stručně shrnuty v této kapitole. Snímáme-li libovolnou scénu pomocí kamery, pak 3D pozice objektů je promítána do roviny obrazu kamery. Obraz scény je nejdříve zkreslený čočkou a následně geometricky transformován do roviny. Při projekci 3D scény ztrácíme informaci o vzdálenosti objektu od kamery, a proto není možné z obrazu jedné kamery zrekonstruovat původní scénu. Při přidání další kamery, jejíž projekční rovina není rovnoběžná s rovinou první kamery, již můžeme 3D scénu zrekonstruovat a vypočítat 3D pozice jednotlivých objektů ve scéně. Pro pochopení problematiky si nejprve definuji matematický model kamery, který se nazývá model dírkové kamery (pinhole camera model). Tento model je definován pomocí vnitřních a vnějších parametrů, které popisují deformaci obrazu a pozici kamery ve scéně. Výpočet těchto parametrů nazýváme kalibrací kamer Model dírkové kamery V modelu dírkové kamery se používá tzv. centrální projekce. Uvažujeme-li centrální projekci bodu A v prostoru do roviny Z ve vzdálenosti f od centra kamery, pak prostorové souřadnice (x A, y A, z A ) T bodu A jsou transformovány do roviny následovně ( f x A z A, f ya z A, f) T (souřadnice jsou vypočteny na základě podobnosti trojúhelníků viz obr. 2.9). Obrázek 2.9: Model dírkové kamery (zpracováno dle [56]). Když ignorujeme třetí souřadnici, která nám dává vzdálenost roviny Z od centra projekce, získáme souřadnici bodu v rovině (x Ar, y Ar ) T = ( f x A z A, f ya z A, f) T. Výpočet této centrální projekce lze při použití homogenních souřadnic zapsat pomocí matic 17

25 2.3 Základy stereo vidění následovně: x f x A f A y f y A = 0 f 0 0 A z z A A. 1 Pokud definujeme A jako bod v prostoru reprezentovaný vektorem (x A, y A, z A, 1) T, A r reprezentovaný vektorem ( f x A z A, f ya z A, f) T jako bod v obrazu kamery a matici kamery M s rozměrem 3x4, je možné centrální projekci zkrátit na následující zápis A r = M A. (2.1) Pokud uvažujeme posunutí hlavního bodu obrazu (bod v projekční rovině, kterým prochází optická osa) o z A p x v ose x a z A p y v ose y, pak upravíme rovnici v homogenních souřadnicích následovně x f x A + z A p x f 0 p x 0 A y f y A + z A p y = 0 f p y 0 A z z A A. (2.2) 1 Když si definujeme I jako jednotkovou matice 3x3, O jako nulový vektor a označíme matici f 0 p x 0 K[I ] = 0 f p y 0, (2.3) pak je možné rovnici (2.1) zkráceně napsat jako kde Matice K se nazývá kalibrační matice. A r = K[I ] A, (2.4) Vnější a vnitřní parametry kalibrační parametry Máme-li pak dva koordinační systémy, můžeme transformovat jeden systém do druhého. Nejdříve je nutné posunout počátek souřadnic jednoho prostoru do druhého pomocí vektoru T. Následně otočit koordinační systém podle jeho os. Pro rotaci použijeme rotační matici R. Jestliže parametry R a T definují pozici koordinačního systému kamery v prostoru, budeme je nazývat vnější (extrinsic) kalibrační parametry. Transformaci bodu A v koordinačním systému prostoru můžeme transformovat do stejného bodu A c v koordinačním systému kamery pomocí následující vzorce A c = R (A T ), (2.5) Následnou substitucí (2.5) za (2.4) získáme následující vztah 18

26 2.3 Základy stereo vidění A r = K[I ] R (A T ), (2.6) který popisuje transformaci libovolného bodu v prostoru do koordinačního systému kamery a jeho promítnutí do obrazové roviny. Kalibrační matice CCD kamer je obyčejně definovaná následovně: a x s x 0 K = 0 a y y 0, (2.7) kde a x = f m x, a y = f m y, x 0 = p x m x a y 0 = p y m y. Ve vzorci reprezentuje f ohniskovou vzdálenost kamery a m x a m y vzdálenost promítací roviny kamery ve směru osy x a y. Parametry matice K jsou nazývané vnitřní (intrinsic) parametry kamery [22], které interpretujeme následovně: (x 0, y 0 ) x a y jsou souřadnice (v pixelech) počátku osových souřadnic, který se zjistí ortogonální projekcí ohniska do roviny obrazu. Pro většinu kamer je počátek v blízkosti středu roviny obrazu f ohnisková vzdálenost kamery s zkosení světločivných buněk na CCD čipu. Zkosení definuje jako s = f arctan(ϕ), kde ϕ je úhel mezi osami obrazu x s a y s. U většiny CCD kamer můžeme předpokládat, že jednotlivé buňky jsou čtvercové, proto uvažujeme parametr nulový. a x /a y poměr stran obdélníkových světločivých buněk, kde a x je šířka a a y je výška. V případě, že pixely jsou čtvercové, poměr je roven jedné. Vnitřní parametry charakterizují vlastnosti kamery. Každá kamera má vlastní vnitřní parametry a tyto parametry můžeme jednou vypočítat a uložit. Vnější parametry definují vzájemnou pozici jednotlivých kamer v prostoru a musí být vypočítané vždy před začátkem měření Zkreslení (distorze) obrazu Obraz z kamery a fotoaparátu je většinou opticky zakřivený (deformovaný) díky kamerových čočkám. Distorzi čočky můžeme definovat jako odchylku z lineární projekce. Ačkoliv může být distorze nepravidelná a různě komplikovaná, většina běžných distorzí je přibližně radiálně symetrická, což plyne ze symetrie fotografických čoček. Nejběžnější radiální distorze můžou být klasifikovány do dvou hlavních typů [58]: Soudková distorze (konkávní zkreslení) při soudkové distorzi se zkreslení zvětšuje se vzdáleností od optické osy. Obrázek pak vypadá, jako kdyby byl namapovaný na kouli případně na elipsoid. Nejvíce patrná je distorze při použití objektivu tzv. rybí oko, při kterém se polokoule promítne na rovinu. 19

27 2.3 Základy stereo vidění Jehelníčková distorze (konvexní zkreslení) je patrná často u starších typů fotoaparátů či fotoaparátů mobilních telefonů. Distorze se projevuje zakřivením čar a obrazu směrem k jeho středu. Pro odstranění radiální distorze si definujeme obecný vzorec pro její výpočet x = g(r) (x d c), (2.8) ve kterém c = [c x, c y ] T je střed zkreslení a g(r) nazveme korekční faktor distorze. Faktor distorze g(r) je definován pouze pro pozitivní hodnoty r a pro g(0) = 1. Jakoukoliv funkci g(r) můžeme aproximovat pomocí Taylorova polynomu g(r) = 1 + k 1 r + k 2 r 2 + k 3 r 3 + k 4 r 4, (2.9) kde r = (x d c x ) 2 + (y d c y ) 2 a k 1, k 2, k 3, k 4 definují parametry modelu distorze. Koeficienty k 1, k 2, k 3, k 4 a c x, c y považujeme za další vnitřní parametry kamer. Jako střed radiální distorze je často brán hlavní bod. Jedna z nejvíce používaných metod pro výpočet faktoru je metoda nelineární optimalizace a je implementovaná v kalibračním toolboxu matlabu [7] či opencv [8]. Ostatní metody můžeme najít v literatuře [56, 22, 14] Určení vnějších a vnitřních parametrů kamery Proces k určení vnitřních a vnějších parametrů kamery nazýváme kalibrace. V mnoha případech přesnost celého systémů záleží na tom, jak přesně je kalibrace provedena. Kalibraci můžeme rozdělit do dvou částí: 1. Určení projekční matice M, která reprezentuje zobrazovací transformaci. 2. Určení vnitřních a vnějších parametrů z matice M. Tato fáze není vždy nutná záleží na aplikaci. Existují dva hlavní přístupy k odhadnutí vnějších a vnitřních parametrů kamery: 1) s známou scénou, 2) v neznámé scéně. Ve známé scéně známe 3D pozici bodů, které korespondují s 2D pozicí na snímcích z kamery. Pokud promítneme 3D pozice na 2D, získáme soustavu lineárních rovnic, a po jejím řešení matici M. Scéna často obsahuje kalibrační objekty, jejichž tvar a 3D struktura je známa (kvádr, šachovnice) viz (obr. 2.10a). V neznámé scéně musíme najít stejné body ve všech snímcích. Na základě jejich pozice a vzájemné pozice kamer můžeme odhadnout vnitřní a vnější parametry (viz obr. 2.10b) Kalibrace a epipolární geometrie Kamerové systémy pro 3D vidění používají pro měření nejméně 2 kamery, které jsou dostatečné pro získání prostorové informace. Pokud umístíme dvě kamery libovolně 20

28 2.3 Základy stereo vidění (a) Kalibrace kamer při známé scéně. (b) Kalibrace dvou kamer při neznámé scéně. Obrázek 2.10: Kalibrace kamery (zpracováno dle [56]). v prostoru, jejich vzájemná pozice je neznámá a kamery musí být kalibrovány. Stereo kalibrace je odvozena od základu epipolární geometrie. Epipolární geometrie je vnitřní projektivní geometrie mezi dvěma pohledy kamer, je nezávislá na struktuře scény a je pouze závislá na vnitřních a vnějších parametrech kamery. Máme-li dva pohledy kamer a definujeme-li si matici F (fundamentální matici), která zahrnuje geometrii scény a je rozměru 3 3 a bod v prostoru P, pak bod P je zobrazen v jednom pohledu kamery jako bod p l a ve druhém jako bod p r, pak platí následující vztah p rt F p l = 0 (2.10) Obrázek 2.11 ukazuje vlastnosti epipolární geometrie. V epipolární geometrii se využívají 2 pohledy kamer. Význačné části scény jsou následující: Epipol e l nebo e r je místo na projekční rovině (v obraze kamery), kterou prochází spojnice mezi kamerami (základní linie). Epipolární rovina Π e je rovina, která obsahuje základní linii a libovolný bod P v prostoru. Epipolární line u l nebo u r vznikne průnikem epipolární roviny Π e s projekční rovinou kamery Π l nebo Π r. Všechny epipolární linie se setkávají v jednom bodě v epipolu. 21

29 2.4 Vyhodnocení analýzy Obrázek 2.11: Epipolární geometrie dvou kamer (zpracováno dle [56]). Epipolární linie se často používají pro nalezení korespondence mezi body. Pokud v jednom obraze kamery najdeme bod, u kterého chceme vypočítat 3D souřadnici, pak v druhém obraze kamery leží tento bod na epipolární linii. Jestliže použijeme více než 2 kamery, bod v ostatních kamerách leží na průsečíku epipolárních linií. 2.4 Vyhodnocení analýzy Z předešlé analýzy problému plyne, že Parkinsonova nemoc (PN) a její objektivizace je stále otevřený problém a doposud neexistuje objektivní metoda pro měření tíže Parkinsonovy nemoci v klinické praxi. Pro objektivizaci je důležité se rozhodnout, jaké parametry budeme vyhodnocovat, jakou úlohu bude pacient vykonávat a zařízení, kterým můžeme toto úlohu změřit. Parametry je nutné srovnat buď s normami nebo s hodnocením lékaře specialisty a tím danou metodiku měření validovat Výběr měřené úlohy a technologie snímání Z analýzy vyplývá, že bradykineze je vůdčím parametrem PN a špatně objektivně lékařem ohodnotitelným parametrem Parkinsonovy nemoci. Objektivizace bradykineze by přispěla velkou mírou v hodnocení pacientova postižení. Pohybovou úlohu je vhodné určit takovou, která je prováděna v klinické praxi a je dobře známa. Nejlépe 22

30 2.4 Vyhodnocení analýzy prozkoumanou úlohou a s nejlepšími výsledky, co se objektivizaci PN týče, je úloha klepání prsty. Pro měření úlohy klepání prsty je vhodné zvolit systém, který nejméně ovlivňuje pohyb pacienta. Pacientův pohyb by měl být přirozený a ničím ovlivněný, proto jsou vhodné bezdrátové měřící techniky a vzhledem k měření pohybů prstů se závažím do maximální hmotnosti 1g. Vzhledem ke klinickému vyšetření by měla analýza pohybů probíhat v reálném čase a systém by měl poskytovat informaci o pohybech prstů v prostoru. Po srovnání požadavků a vlastností různých měřících systémů viz tabulka 2.1 jsem se rozhodl využít 3D kamerový systém, který bude snímat lehké reflexní značky umístěné na prstech. V současné době neexistuje vhodný kamerový systém specializovaný na měření 3D pohybů prstů, který by byl kompaktní a vhodný pro měření přímo v ambulanci lékaře. Proto část cílů práce je zkonstruovat zařízení pro měření pohybu, které bude přenosné, levné a bude jej možné upravit i pro měření dalších pohybových úloh řešených na FBMI ČVUT Úloha klepání prsty Úloha klepání prsty je součástí UPDRS hodnocení Parkinsonovy nemoci. Při úloze klepání prstů měřená osoba musí co nejrychleji opakovaně klepat palcem o špičku ukazováku tak, aby maximální vzdálenost prstů byla co největší. Na pohybu se nesmí podílet ostatní prsty. Zatímco v současné době prováděném UPDRS není omezena délka pohybu, v UPDRS v2 [19] je definováno vyhodnocení na prvních 10 pohybů. Protože se domnívám, že prvních 10 pohybů nemusí být dostatečné k vyhodnocení bradykineze, bude délka záznamu delší. Úlohu jsem se rozhodl měřit kamerovým systémem, pomocí kterého lze určovat následující parametry: vzdálenost prstů v čase, frekvence otevírání a zavírání prstů, rychlost pohybů prstů, zrychlení prstů a další závislé parametry jako je rytmus [4] pohybu apod Definování cílů práce a hypotéz Ze zvolené úlohy, rešerše a z konzultací s experty jsem podrobněji určil cíle a klinické hypotézy. Některé hypotézy byly motivací pro tuto práci, některé vyplynuly během analýzy nebo řešení úlohy. Klinické hypotézy: 1. Hodnoty poklesu maximálního oddálení, frekvence či maximální rychlosti pohybů prstů v čase rozlišují osoby s PN a bez PN. 2. Hodnoty poklesu maximálního oddálení, frekvence pohybu nebo rychlosti pohybu se úzce shodují s příslušným položkovým skóre UPDRS. 3. UPDRS odráží spíše pokles maximálního oddálení prstů než snížení frekvence v čase. 23

31 2.4 Vyhodnocení analýzy Cíle: 4. V prvních 10 pohybech prstů v úloze klepání prsty je možné rozlišit osoby s PN a zdravé kontroly. Na základě analýzy, vybrané technologie snímání a měření, jsem upřesnil a definoval následující cíle práce: 1. Navrhnout, zkonstruovat a validovat systém pro měření pohybů prstů v prostoru. 2. Navrhnout parametry, které popisují bradykinezi. 3. Určit měřenou délku záznamu, ověřit funkčnost systému v klinických podmínkách na pilotním měření. 4. Definovat metodiku měření. 5. Naměřit minimálně 20 pacientů s Parkinsonovou chorobou a 20 zdravých osob v ambulantních podmínkách. 6. Z navržených parametrů vybrat parametry, které oddělují osoby PN a zdravé osoby, případně korelují s hodnocením položkového skóre UPDRS klepání prsty z paralelně pořízeného videozáznamu ohodnoceného lékařem specialistou. 7. Ověřit klinické hypotézy. 8. Určit ideální délku záznamu. 24

32 3 Kamerový systém pro měření pohybu Z počátku řešení mé disertační práce jsem pro měření pohybů ruky u Parkinsonovy nemoci (PN) vyvinul kamerový systém, který používal dvě standardní domácí digitální video kamery (HD Canon HG10). Kamery byly kalibrovány pomocí šachovnice a systém měřil prostorový pohyb barevných značek připevněných na končetině měřené osoby [73]. Tento kamerový systémem byl vyvinut pro měření transportní úlohy (přesunu objektu z jednoho místa na druhé). Úloha byla navrhnuta ve spolupráci s MUDr. Blankou Štorkovou, Ph.D., a doc. MUDr. Irenou Rektorovou, Ph.D., z nemocnice u Sv. Anny v Brně. Záznam pohybu byl pořizován offline a následně přehrán do počítače a zpracován. Příprava a zpracování videa bylo časově náročné a díky dlouhé expoziční době kamer se systém hodil spíše na měření pomalejších pohybů (rychlé pohyby se rozmazávaly). Po kladných ohlasech na národním i mezinárodním fóru [75, 73, 77] jsme začali spolupracovat s Neurologickou klinikou 1.LF UK a VFN s prof. MUDr. Evženem Růžičkou, DrSc. Po odborné konzultaci a rešerši tématu (viz kap. 2.1) jsme ve spolupráci s prof. Růžičkou navrhli novou úlohu klepání prsty a metodiku měření pro výzkum a objektivizace bradykineze u Parkinsonovy nemoci. Vzhledem k specifickým nárokům na novou úlohu jsem vytvořil nový kamerový systém pro měření prostorového pohybu, který je popsán v následujících kapitolách. 3.1 Pohybová úloha a požadavky na měřící systém Pro diagnózu a ohodnocení tíže PN se využívá unifikované škály PN (UPDRS). Škála mimo jiné obsahuje i několik pohybových testů (viz kap ). Vyvíjený kamerový systém by měl být schopen měřit jakýkoliv základní pohyb končetin v UPDRS. Vzhledem k provedené rešerši a po konzultaci s experty v oboru neurologie jsme se rozhodli pro objektivizaci PN a měření tíže bradykineze u testu klepání prsty. Parametry tíže bradykineze se budou odvozovat na základě změny maximální vzdálenosti palce a ukazováku. Při testu klepání prsty se měřená osoba pohodlně posadí a ohne horní končetinu v loketním kloubu tak, aby ohnutí nebylo pro ni omezující a bylo pohodlné. Na lékařův pokyn začne měřená osoba rychle a opakovaně klepat palcem o špičku ukazováku a to s největším následným oddálením palce a ukazováku a největší frekvencí. Frekvence klepání se pohybuje v rozmezí 2-3 Hz a s oddálením přibližně 8-13 cm při čemž pauza mezi flexí a extenzí prstů se pohybuje v rozmezí 20 až 50 ms [2]. 25

33 3.2 Výběr hardware a software Testy probíhaly přímo v ambulanci Neurologické kliniky 1.LF UK, proto celý systém musel být jednoduchý, přenosný a prostorově nenáročný. Kamerový systém musel být schopen snímat vzdálenost mezi palcem a ukazovákem v prostoru s přesností ±2 mm, při čemž není důležitá absolutní vzdálenost, ale přesná změna maximální vzdálenosti prstů. Parametry pohybové úlohy a prostření nám přímo definují požadavky na kamerový systém, které jsou: Systém musí být přenosný, prostorově nenáročný a lehce použitelný. Snímání musí probíhat v reálném čase - při ambulantním měření musí být možné bez prodlení ověřit, že záznam byl pořízen v pořádku. Systém musí být schopen zaznamenat video záznam pro pozdější hodnocení pohybu expertem. Chyba kamerového systému v měřené oblasti by neměla být větší než 2 mm. Frekvence systému by měla být dostatečná k zaznamenání testu klepání prsty s požadovanou chybou. Značky umístěné na prstech by měly být lehčí než 1g, aby neovlivnily pohyb. Snímaný prostor musí být tak dostatečně velký, aby změřil případné změny polohy ruky. Systém musí být připojitelný a data zpracovatelná na běžném notebooku. Z provedené rešerše vyplynulo (viz kap. 2.2), že v době začátku disertační práce neexistoval dostupný systém, který by splňoval definované požadavky. Požadavky mi také jasně určily parametry hardwaru, který jsem použil pro vytvoření kamerového systému. 3.2 Výběr hardware a software Při výběru hardware a software jsem vycházel z definovaných požadavků na systém. Vzhledem k vysoké frekvenci snímání, požadavku na přesnost a na zpracování v reálném čase běžným notebookem, nebylo algoritmicky možné, aby se pohyb snímal bez použití značek. Z tohoto důvodu jsem využil lehkých reflexních značek ve tvaru polokoule, které je možné pomocí oboustranné lepící pásky přichytit na libovolné místo na těle. Reflexní značky jsou z plastu o poloměru 2mm a o hmotnosti menší než 1g a jsou připevněny na radiální hranu interphalangeálního kloubu palce a na radiální hranu distálního interphalangeálního kloubu druhého prstu (viz obr. 3.1). Vzhledem k tomu, že značky jsou přilepené z boku prstů a nepředpokládá se, že se poloha celé ruky bude příliš měnit, jsou značky během měření stále viditelné z jednoho místa. Při takovémto nastavení je možné použít pouze dvě kamery, které jsou dostačující pro výpočet 3D polohy značky v prostoru. Použití dvou kamer mi poskytlo 26

34 3.2 Výběr hardware a software Obrázek 3.1: Ruka s umístěnými reflexivními značkami na radiální hraně interphalangeálního kloubu palce a na radiální hraně distálního interphalangeálního kloubu druhého prstu. výhodu kompaktnosti celého systému a možného softwarového zpracování obrazu pomocí počítače. Video z více kamer by se již nestíhalo na běžném notebooku softwarově zpracovávat a musely by se použít řádově dražší kamery (v době tvorby systému samostatně nedostupné), které už obraz hardwarově předzpracovávají. Tvorba celého systému byla podpořena SGS grantem ČVUT číslo SGS10/305/OHK4/3T/17 a na celý kamerový systém bylo k dispozici přibližně 50 tisíc Kč. Omezený finanční rozpočet hrál také roli ve výběru použitých technologií Teoretické parametry kamery Než jsem začal s konstrukcí systému, odhadl jsem minimální parametry kamer (vertikální a horizontální rozlišení, frekvenci) a jejich umístění v prostoru. Nejdříve jsem odhadl minimální snímací frekvenci kamer. Systém by měl dokázat rozpoznat pauzu mezi extenzí a flexí, která se pohybuje přibližně v rozmezí ms [2], proto je potřeba, aby systém pracoval na minimální frekvenci f, kterou můžeme vypočítat pomocí vztahu f = 1 T, (3.1) f = 1 =50 Hz. (3.2) 0, 02 Následně je potřeba odhadnout minimální rozlišení kamer. Chyba měření ve 3D vidění závisí na vzdálenosti objektu od kamery, na vlastnosti objektivu a na umístění kamer v prostoru. Při měření nastavíme vzdálenost kamer tak, že otevřená ruka se vzdáleností prstů 13 cm bude zabírat přibližně 30% výšky obrazu 1. Procentuální pokrytí obrazu vyjádřím parametrem c y = 0, 3. Pokud pro měření použijeme pouze jednu kameru a budeme měřit pouze v rovině kamery, pak minimální vertikální 1 30% obrazu jsem určil experimentálně, kdy dobrovolníci dělali požadovaný pohyb a změřil jsem, jak se ruka během měření pohybuje. 27

35 3.2 Výběr hardware a software rozlišení při maximální vzdálenosti prstůa = 130 mm a chyby v obrazu er = 2 mm bude odpovídat vzorci a c y er = minimální rozlišení, (3.3) po dosazení hodnot do vzorce bude minimální vertikální rozlišení 130 0, 3 2 = 216 pixelů. (3.4) Výpočet ale nezahrnuje distorzi objektivu, proto bychom měli uvažovat o vyšším standardním vertikálním rozlišení kamery tj. 480 pixelů. Obrázek 3.2: Zobrazení projekční chyby Přidání druhé kamery nám umožní měřit vzdálenost měřených objektů od kamer a také nám na základě vzájemné pozice sníží chybu systému. Výpočet projekční chyby pak může být zjednodušeno podle nákresu 3.2, ve kterém definujeme úhel α jako polovinu úhlu mezi osami kamer a er maximální chybu. Protože pomocí kamer bychom rádi snímali stejnou rovinu a systém musí být maximálně kompaktní, zvolil jsem experimentálně úhel α na 15 stupňů. Vzhledem k nízkému úhlu mezi kamerami největší chyba nám bude vznikat ve směru osy o, viz 3.2. Při těchto parametrech můžeme definovat projekční chybu p (minimální velikost pixelu) jako p er = er sin(α) = 2 sin(15) = 0, 5 mm. (3.5) Pokud by nastal nejhorší případ projekce vzdálenosti prstů 130 mm by odpovídala v obrazu kamery hodnotě p a = a sin(α) = 130 sin(15). = 84, 5 mm. (3.6) 28

36 3.2 Výběr hardware a software Tento pohyb pak zabírá část obrazu, která je rovna c p = p a cy 0, 3. = 84, 5 = 0, 2, (3.7) a 130 což odpovídá 20% obrazu. Tyto hodnoty můžeme následně dosadit do vzorce 3.3: 84, 5 0, 2 0, 5 = 845 pixelů. (3.8) Protože můžeme předpokládat, že obraz je snímaný dvěma kamerami a chyba se pak přibližně 2x zmenší, tzn. minimální rozlišení je přibližně 425 pixelů. Z těchto výpočtů plyne, že by 2 kamery s rozlišením 640x480 pixelů a s frekvencí nad 50 Hz měly být dostačující 2. Poslední otázka se týká datového toku, zda je vůbec možné standardním notebookem zpracovat data v reálném čase a jaké algoritmy s jakou časovou složitostí je možné použít. Předpokládáme-li dvě kamery s frekvencí f = 60 Hz 3 a s rozlišením 640x480 pixelů, pak datový tok je d t = f n px n cam [B/s], (3.9) kde n px je počet pixelů a n cam je počet kamer. Po dosazení pak d t = = 18 MB/s = 144 Mb/s. (3.10) Při zpracování obrazu se musí obraz celý projít a při zpracování 18 MB/s je odhadem možné při frekvenci procesoru 2 GHz udělat desítky operací 4. Proto si můžeme při zpracování obrazu dovolit maximálně algoritmy s lineární časovou složitostí vzhledem k počtu pixelů. Vzhledem k existujícím algoritmům pro extrakci jednotlivých značek by měl být požadavek lineární časové složitosti dostačující Kamery, příslušenství a konstrukce systému Z předchozího teoretického výpočtu vyplynulo, že pro systém by měly být dostačující 50Hz černobílé kamery s rozlišením 640x480 pixelů. Na konečky prstů se umístí reflexní značky, které odráží zejména infračervené záření. Protože používáme reflexní pasivní značky, je nutné scénu přisvětlit infračervenými zářiči. Kamery musí být schopné snímat infračervené záření a objektivy musí být vybaveny filtrem propouštějící pouze infračervené záření. Kamery by mělo být možné také vzájemně synchronizovat a měla by k ním být dostupná knihovna pro vývoj software. Po průzkumu 2 Při výpočtu jsme zanedbali radiální distorzi a fakt, že je možné spočítat střed značky s přesností menší než pixel. 3 Vzhledem k tomu, že jsem nakonec zvolil kamery s 60Hz frekvencí (viz kap ), uvádím výpočet pro tuto hodnotu. 4 Ve skutečnosti by se jednalo přibližně o 2000/18 =. 100 operací, ale nesmíme zapomínat na režie procesoru a celého systému a že je nutné také obraz zobrazovat. Zase na druhou stranu pořízený notebook byl více jádrový a tím se zpracování obrazu jevilo jako reálné. 29

37 3.2 Výběr hardware a software trhu a konzultaci s kolegy, kteří se zabývají zpracováním obrazu, vybral jsem černobílé kamery s rozlišením 640x480 pixelů s frekvencí 60 Hz značky DMK 21BF04.H od firmy The Imaging Source [57]. Pro snímání požadovaného prostoru byl vybrán objektiv číslo T 0412 FICS s infračerveným filtrem číslo 093. Celý systém jsem ozářil infračerveným zářiči od firmy ASM o vlnové délce 850 nm. Kamery lze zaostřit manuálně regulačním kolečkem. Kamery by se měly ručně zaostřit před začátkem kalibrace. U objektivu lze také nastavit otevření clony, protože v aplikaci je nutné nastavit co nejmenší expoziční čas, clonu je vhodné maximálně otevřít. Obrázek 3.3: Kamerový systém 1 - kamera, 2 - objektiv IR filtrem, 3 - IR zářič, 4 - generátor signálu, 5 - barevná HD kamera Celý systém byl umístěný na stativ značky Velbon (viz obr. 3.4), který poskytuje dostatečnou stabilitu a možnosti lehkého nastavení pozice a směrování celého kamerového systému. Konstrukce byla smontována z profilů značky ITEM. Světla byla umístěna vnitřně od kamer, tak aby kamery měly od sebe co největší vzdálenost a systém byl co nejvíce kompaktní. Celková váha systému je cca 2 kg, je stabilní a je možné díky pohyblivé hlavici stativu s ním snadno manipulovat. Na konstrukci je též připevněna digitální kamera určená pro záznam celého měření (viz obr. 3.3). Kamery jsou připojeny k počítači pomocí rozhraní firewire. Na zařízení je připojen generátor signálu, který synchronizuje obě kamery. Světla a generátor je napájen pomocí společného adaptéru. Celý systém je přenosný a příprava kamerového systému trvá přibližně 20 minut. Na celý systém byla připevněna HD kamera CANON, která snímá pohyb pro pozdější ohodnocení videa expertem. Pro zpracování obrazového signálu byl použit notebook HP ProBook 6450b Implementační nástroje Pří výběru implementačních nástrojů jsem nejdříve nadefinoval požadavky na programovací technologie a skloubil jsem je se svými vlastními preferencemi a schopnostmi v programování. Hlavní požadavek byl, aby existovala bezplatná knihovna funkcí pro efektivní získání obrazu z kamer. Další požadavek byl existence knihovny pro zpracování obrazu. Na základě těchto požadavků jsem zvolil jako hlavní programovací nástroj jazyk C# a technologii.net od firmy Microsoft, který svou 30

38 3.3 Získání obrazu Obrázek 3.4: Kamerový systém na stativu připojený k počítači bez barevné HD kamery. knihovnou přímo podporuje výrobce kamer. Pro zpracování obrazu jsem využil bezplatnou open source knihovnu OpenCv [8]a její C# nástavbu (wrapper) Emgu [11]. Některé funkce pro zpracování obrazu jsem kvůli výkonu napsal v jazyce C++ a vytvořil vlastní knihovnu pro jazyk C#. Díky této knihovně bylo možné zpracovat obraz v reálném čase. Vytvořená aplikace běží na operační systému Microsoft Windows 7 a Microsoft Windows XP. Pro zpracování výstupu jsem využil programovací jazyk MATLAB pro jeho snadnou implementaci práce s daty. 3.3 Získání obrazu Při prostorovém vidění pomocí více kamer je nutné, aby jednotlivé kamery byly synchronizované a pořizovaly obraz ve stejný okamžik. Nakoupené kamery je možné hardwarově synchronizovat pomocí obdélníkového signálu, ale bohužel požadovaný generátor signálu nebyl v době nákupu kamer k prodeji nebo nebyl dostatečně kompaktní. Z tohoto důvodu jsem navrhl a sestrojil vlastní generátor signálu, který je popsán v následující kapitole Pořízené snímky jsou následně asynchronně přijímány počítačem, tzn. software musí rozeznat, které snímky z kamer si navzájem odpovídají. Řešení jak jsou softwarově snímky získávány a synchronizovány popisuje kapitola

39 3.3 Získání obrazu Hardwarová synchronizace Pro hardwarovou synchronizaci jsem navrhl a sestrojil kompaktní generátor signálu. Generátor vytváří obdélníkový 5 až 12V impulz, který je možné nastavit na frekvenci 16 Hz, 30 Hz nebo 60 Hz. Nejnižší frekvence je vhodná například pro kalibraci obrazu, kdy počítač nestíhá zpracovávat jednotlivé snímky. Frekvenci 30 Hz jsem využíval především pro ladění programu a při zapojení kamer do společné sběrnice. Pro měření používám zásadně frekvenci 60 Hz. Generátor používá krystal s frekvencí 3,932 MHz a dvě děličky CD4020B, které upraví požadovanou výstupní frekvenci podle pozice přepínače. Schéma zapojení na obrázku 3.5 a vytvořený generátor je na obrázku 3.6 Obrázek 3.5: Elektrické schéma generátoru obdélníkového signálu s frekvencí 16, 30 nebo 60 Hz Získání obrazu a softwarová synchronizace Snímky jsou získávány z kamer asynchronně, proto bylo nutné navrhnout aplikaci vícevláknovou. Pro každou kameru existuje vlastní vlákno, ve kterém jsou jednotlivé snímky ukládány a dál zpracovávány. Každá kamera má v tomto vláknu svůj vlastní buffer a vlákno se vždy spustí na událost přijetí kamerového snímku. Všechny přijaté snímky jsou uloženy v cyklickém bufferu a v daném vláknu jsou nejdříve předzpracovány. Ze snímku jsou extrahovány jednotlivé značky (viz kap. 3.4) a jsou uložené do bufferu hlavního vlákna aplikace. Každý snímek je označený časovým záznamem 32

40 3.3 Získání obrazu Obrázek 3.6: Generátor signálu: 1 - přepínač 2 - výstup 3 - dělička CD4020B 4 - krystal 3,932 MHz 5 - hradlo HCF4011BE 6 - konektor napájení 5V - 12V 7 operační zesilovač AD620. jeho pořízení, ale jednotlivé kamery nemají časy synchronizované. Proto když se spouští sekvenčně kamery, bylo nutné měřit čas spuštění jednotlivých kamer a připočíst ho k času snímku. I přes toto opatření se časy jednotlivých snímků nemusí přesně shodovat a časem se začínají rozcházet. Proto během získávání snímků software automaticky dopočítává časový posun jednotlivých kamer tak, aby rozdíl mezi snímky byl minimální. Hlavní vlákno aplikace kontroluje zaplnění bufferu a jakmile se zaplní snímky od všech kamer5, začne je dále zpracovávat (viz kap. 3.5). Pokud by nepřišly všechny snímky od všech kamer, tak obraz je zahozen a buffer vyčištěn6. Schéma funkce jednotlivých vláken aplikace je zobrazené na obrázku Aplikace používá pro svojí práci pouze dvě kamery, ale je obecně navrhnuta, aby bylo možné připojit k počítači více kamer. 6 Snímky jsou například vynechány u výpočetně náročných operací, například u hledání šachovnice v obrazu při kalibraci. 33

41 3.4 Extrakce značek Obrázek 3.7: Hlavní funkce jednotlivých vláken aplikace při zpracování snímků 3.4 Extrakce značek Reflexní značky jsou ozářeny infračerveným zářením a expoziční čas kamer je v aplikaci nastavený na pevnou nízkou hodnotu. Jas reflexních značek je pak vyšší než jas okolní scény (viz obr. 3.8). Při hledání reflexních značek jsou v obrazu odstraněny hodnoty pod prahovou hodnotou (prahování) a současně se označí jednotlivé spojité oblasti. Algoritmus označení souvislých komponent je popsaný v kapitole Z jednotlivých částí jsou pak algoritmem vybraní adepti na reflexní značky a je určena jejich pozice v obraze, což popisuje kapitola Obrázek 3.8: Obraz získaný kamerou a následně zpracovaný s určenými středy značek 34

42 3.4 Extrakce značek Prahování a hledání spojitých komponent V každém snímku mají jednotlivé značky vyšší jas než okolní scéna (viz obr. 3.8). Odstranění hodnot pod prahovou hodnotou a hledání souvislých komponent je časově nejvíce náročná procedura. Snímek z kamery se musí pixel po pixelu celý projít a označit souvislé komponenty za přibližně 4 ms 7. Zpracování obrazu přímo v jazyku C# není dostatečně rychlé 8, a proto jsem algoritmus implementovat v jazyce C++ a vytvořil vlastní knihovnu. Algoritmus 3.1 hledání spojitých komponent, který jsem implementoval, běží v lineárním čase vzhledem k počtu pixelů. Na notebooku, který se používá pro měření, algoritmus trvá přibližně od 2 ms do 3 ms, což umožnilo zpracovávat obraz v reálném čase. Algoritmus vrací jednotlivé souvislé komponenty, jejich výřez podle minimální obdélníkové obálky, těžiště a počet pixelů z kolika je souvislá komponenta složena. 7 Při zpracování kamerových snímků ze dvou kamer při frekvenci 60 Hz je perioda mezi jednotlivými snímky 16 ms. Tzn. že při práci se snímky bylo k dispozici 8 ms procesorového času na jeden snímek a 2 ms trvalo pouze přijmutí daného snímku. Samozřejmě je potřeba započítat i režii systému apod. a že procesor je vícejádrový, ale to nemění nic na faktu, že požadovaná operace je z hlediska času klíčová, proto její provedení musí být pokud možno co nejrychlejší. 8 Zpracování obrazu v jazyce C# (v unmanaged módu) bylo přibližně 2x pomalejší než stejný optimalizovaný kód v jazyce C++. 35

43 3.4 Extrakce značek Algoritmus 3.1 Hledání souvislých komponent 1. V matici obrázku I(x, y) vynuluj všechny pixely, pro které platí, že jejich hodnota jasu je menší než hodnota prahu. Hodnota prahu je nastavitelná v aplikaci. 2. Vytvoř pomocné nulové dvojrozměrné pole M(x, y) o stejné velikosti, jako je velikost matice obrázku I(x, y). Nastav hodnotu indexu id na Vynuluj vektor (pole) spojitých komponent V, které obsahuje informace o těžišti spojité komponenty, počet pixelů, ze kterých je komponenta složena, souřadnice obdélníkové obálky a id komponenty. 4. Matici obrázku I(x, y) postupně procházej po jednotlivých řádcích y od shora dolů a po sloupcích x zleva doprava a nastavuj hodnoty v pomocném poli M(x, y) následovně: a) Pokud I(x, y) = 0 pokračuj bez změny matice M(x, y) na další pixel. Jestliže I(x, y) 0 pokračuj bodem (b). b) Pokud M(x 1, y) = 0 a M(x, y 1) = 0, nastav hodnotu M(x, y) na id a id zvyš o 1. Souřadnice x, y (těžiště) a id ulož do vektoru souvislých komponent V (id). Nastav obdélníkovou obálku pro 1 pixel a počet pixelů na 1. c) Pokud M(x 1, y) 0 a M(x, y 1) = 0, nastav hodnotum(x, y) na hodnotu M(x 1, y). Uprav těžiště a obdélníkovou obálku v V (M(x, y)) a zvyš počet pixelů o 1. d) Pokud M(x 1, y) = 0 a M(x, y 1) 0, nastav hodnotum(x, y) na hodnotu M(x 1, y). Uprav těžiště a obdélníkovou obálku v V (M(x, y)) a zvyš počet pixelů o 1. e) Pokud M(x 1, y) 0 a M(x, y 1) 0, nastav hodnotum(x, y) na hodnotu M(x 1, y). Uprav těžiště a obdélníkovou obálku v V (M(x, y)) a zvyš počet pixelů o 1. Nastavid u V (M(x, y 1)) na M(x, y). 5. Jakmile jsou zpracovány všechny pixely, projdi vektor V, spoj všechny souvislé komponenty se stejným id a přepočítej těžiště a obdélníkovou obálku Určení pozice značky v obrazu Algoritmus hledání spojitých komponent vrátí části obrazu, které jsou spojité. Ze spojitých komponent jsou vybrány takové, které velikostí a přibližným tvarem odpovídají značkám. Tzn. že jsou vyřazeny takové značky, které mají moc velkou (pro daný systém větší než 500 pixelů) nebo malou velikost (pro daný systém menší než 30 pixelů), jejichž minimální obdélníková obálka není příliš podlouhlá (poměr delší 36

44 3.4 Extrakce značek strany obdélníkové obálky ku kratší není větší než 5) a u kterých je těžiště umístěné mimo značku. U takto vybraných značek je následně určen jejich střed s přesností na dvě desetinná místa. Aplikace umí pracovat se dvěma druhy značek. Značky ve tvaru koule a značky ve tvaru polokoule. Pro měření používáme značky ve tvaru polokoule pro jejich nižší váhu a snadné přilepení na prsty. Obrázek 3.9: Získání středu značky - prahování, proložení kružnicí. U značek ve tvaru koule se vypočítává pouze těžiště. Aby se omezil vliv šumu na polohu těžiště, mají pixely, které se vyskytují na kraji značky a pixely s nižším jasem, menší váhu. U značek ve tvaru polokoule se kruhová úseč v obrazu kamery proloží kružnicí. Proložení kružnicí se z počátku zdál triviálním problém, ale protože značka je tvořena většinou přibližně z 50 pixelů, tak jakýkoliv šum nepříjemně pohyboval s pozicí středu značky. Nakonec jsem navrhl a implementoval algoritmus 3.2 pro výpočet těžiště, který je stabilní na vznikající šum. Proložení kružnice značky je zobrazeno na obrázku 3.9. Algoritmus 3.2 Proložení kruhové úseče kružnicí Kruhová úseč je definovaná nenulovými hodnotami jasu v obdélníkové matici M. 1. Lineárně transformuj hodnoty jasu z matice M do matice N do hodnot 0-1, kde 1 odpovídá hodnotě maxima jasu v obrazu. 2. Vepiš obdélník kruhové úseči tak, aby platilo, že součet vzdáleností všech nenulových bodů od okraje obdélníku vynásobených jejich hodnotou z matice N je minimální. 3. Obdélník rozšiř na čtverec. Vzniknou 2 opačné čtverce a těm opiš kružnice. 4. Vyber tu kružnici, která obsahuje více bodů z úseče a její střed je hledaným středem značky. 37

45 3.5 Určení 3D souřadnic značek 3.5 Určení 3D souřadnic značek Z obrazu jednotlivých kamer získáme středy kandidátů na značky. Pro výpočet 3D pozice je potřeba zjistit, které značky si v jednotlivých snímcích odpovídají (přiřazení značek popisuje kap ). Následně ze znalosti vnitřních a vnějších parametrů kamery (viz kap. 2.3) určíme jejich 3D pozici a zjistíme, která značka v prostoru odpovídala značce v prostoru z předchozího snímku (sledování značek popisuje kapitola 3.5.3). Protože pozice kamer u systému není fixní, implementoval jsem možnost jejich kalibrace (odhad vnitřních a vnějších parametrů). Kalibrace kamer se provádí pomocí šachovnice a je popsaná v kapitole I když aplikace předpokládá měření pouze 2 značek, je jí možné snadno nastavit tak, aby používala značek více 9. Není také problém systém upravit, aby používal i více kamer a zvětšila se přesnost systému Kalibrace kamer Výpočet vnitřních a vnějších parametrů probíhá na základě pozice čtverců šachovnice v prostoru. Šachovnice pro kalibraci systému má 9x7 čtverců se stranou čtverce 3 cm (viz obr. 3.10). Kvůli přesnosti je kalibrace rozdělena na dvě fáze. V první fázi se kalibrují jednotlivé kamery a počítají se vnitřní parametry kamer. V druhé fázi se vypočítají vnější parametry (vzájemná pozice kamer) z pozice šachovnice v obrazu. Pro kalibraci kamer jsem použil knihovnu OpenCV. Samotný algoritmus je popsán v knize Learning OpenCV[8]. Funkce kalibrace bere jako vstupní parametr seznam šachovnic a vypočítává vnitřní a vnější parametry jejichž popis je možné nalézt v kapitole 2.3. Obrázek 3.10: Kalibrace kamer pomocí šachovnice Kalibrace pracuje automaticky (viz popis aplikace v příloze A), stačí pouze kamerám ukázat šachovnici na různých místech a pokrýt s nimi snímaný prostor. Aby kalibrační systém nebyl zahlcen velkým množstvím bodů z šachovnice, je pro kalibraci nutné vybírat takové šachovnice, které jsou na různých pozicích v prostoru. Šachovnice jsou definovány pomocí pozice jejich těžiště a středního rozptylu 2D souřadnic čtverců šachovnice v rovině, jejich rozdílnost zaručí jinou pozici v prostoru a rovnoměrné rozložení šachovnic ve snímaným obrazu kamery. 9 Aplikaci jsem úspěšně otestoval na 8 značkách, při více značkách by už mohl nastat problém s jejich sledováním a přiřazením. 38

46 3.5 Určení 3D souřadnic značek Při ukončení kalibrace je vypočítána pomocí zpětné projekce chyba kalibrace [8] a systém oznámí, jestli je potřeba kalibraci rozšířit nebo kalibrace proběhla v pořádku Výpočet 3D souřadnic značek V OpenCV knihovně není implementovaný algoritmus pro výpočet 3D souřadnic ze získaných 2D pozice značek z obrazu kamer. Při zpětném výpočtu je potřeba nejdříve odstranit distorzi obrazu a následně provést stereo triangulaci pro výpočet 3D pozice. Proces k odstranění distorze se nazývá inverzní mapování a vzhledem k vysokému stupni polynomu v modelu distorze (viz 2.9) se řeší numericky. Pro odstranění distorze jsem implementoval v jazyce C# algoritmus popsaný v [23]. Nejdříve bylo nutné pozici značek normalizovat podle vzorce: y n = y s y 0 a y, (3.11) x n = x s x 0 a x s y n, (3.12) kde x s, y s jsou souřadnice bodu v obrazu, x 0, y 0 jsou souřadnice počátku osových souřadnic, a x, a y je šířka světločivných buněk a s je jejich zkosení. Tyto parametry jsou získány z kalibrační matice (viz 2.7). Pro odstranění distorze používám parametry zkreslení k 1, k 2, k 3 a střed zkreslení c x, c y (viz 2.9). Výpočet výsledné souřadnice x a y je řešený numerickou metodou a je popsaný v algoritmu 3.3. Obrázek 3.11: Virtuální 3D scéna zobrazené v aplikaci s kamerami a body v prostoru. 39

47 3.5 Určení 3D souřadnic značek Algoritmus 3.3 Odstranění distorze obrazu podle Heikkila[23] Nechť k 1, k 2, k 3 jsou parametry distorze, c x, c y jsou středy zkreslení, x n, y n znormované hodnoty a x, y jsou výsledné souřadnice. Konstanta N udává počet opakování a záleží na ní přesnost výpočtu. Pro mé potřeby jsem zvolil hodnotu N = 20, která byla dostačující. 1. Nastav hodnoty na x = x s, y = y s 2. N krát proveď následující výpočet: r = x 2 + y 2 (3.13) k r = 1 + k 1 r + k 2 r 2 + k 3 r 3 (3.14) d x = 2 c x x y + c y (r + 2 x 2 ) (3.15) d y = 2 c y x y + c x (r + 2 y 2 ) (3.16) x = (x d x) k r (3.17) y = (y d y) k r (3.18) Po odstranění distorze obrazu jsou z 2D souřadnic značky v obraze kamery vypočítané její souřadnice v prostoru pomocí metody stereo triangulace [56]. Stereo triangulace je implementována pro použití 2 kamer. Jako vstupní parametry jsou brány vnější parametry kamery, a to rotační matice R, která udává vzájemné otočení kamer a transakční vektor T, který udává jejich vzájemné posunutí (viz kap ). Výpočet jsem převzal z matlab calibration toolbox[7] a implementoval v jazyce C#. Zobrazení 3D pozice značek v aplikaci lze vidět na obrázku 3.11 a vypočítá se pro body následovně M 1 = x n1 y n1 1, M 2 = x n2 y n2 1 Z 1 = ((R M 1) M 2 ) (T M 2 ) (M 2 M 2 ) ((R M 1 ) T ) (M 1 M 1 ) (M 2 M 2 ) ((R M 1 ) M 2 ) 2 (3.19) Z 2 = (M 1 M 1 ) (T M 2 ) ((R M 1 ) M 2 ) ((R M 1 ) T ) (3.20) (M 1 M 1 ) (M 2 M 2 ) ((R M 1 ) M 2 ) 2 x P (M 1, M 2 ) = y = M 1 Z 1 + R T (M 2 Z 2 T ). (3.21) 2 z Výsledný vektor P udává souřadnice bodu v prostoru. 40

48 3.5 Určení 3D souřadnic značek Přiřazení a sledování značek Přiřazení a sledování značek jsem navrhl a implementoval společným algoritmem, proto párování a sledování značek je začleněné do společné podkapitoly. Nalezení potenciálních párů značek Aby bylo možné zjistit 3D souřadnici značky, je potřeba přiřadit značky z obrazu jedné kamery, značkám v obraze kamery druhé. Pro určení kandidátů značek, který tvoří pár, využívám vlastnosti epipolární geometrie a epipolárních linií (viz kap ). Inverzním mapováním přepočítáme pozice značek, a tím odstraníme distorzi obrazu. Proložíme-li paprsek značkou v prvním snímku, ve druhém obraze kamery se zobrazí jako přímka procházející epipolem (viz kap a 3.12). Na této přímce by měl ležet druhý pár značky. Systém je diskrétní a je možné, že těžiště není přesně vypočítané, proto pozice značky nemusí ležet přímo na linii, ale někde poblíž. Tuto vlastnost reflektuje vzorec V našem případě, ale součin bodů a fundamentální matice F nebude rovný 0, ale bude se k ní blížit a bude menší než konstanta k. Pokud máme bod u v prvním obraze kamery a bod v v druhým obraze, označím v jako kandidáta pro přiřazení páru k u, pokud platí že u T F v < k. (3.22) Takto vybere vybereme všechny potenciální páry značek a vypočítáme jejich 3D souřadnici v prostoru. Obrázek 3.12: Epipolární linie pro dvě značky. Predikce pohybu Pro měření pohybu prstů sledujeme pouze dvě značky, ale systém je schopen sledovat značek více. Počet sledovaných značek je možné určit na začátku měření, kdy se automaticky vyberou značky, které se mají sledovat, nebo se trajektorie vytváří dynamicky. Když se objeví nová značka, vznikne nová trajektorie pohybu. Při měření existuje pro každou značku v prostoru trajektorie T, která je složena T 1,..., T n bodů 41

49 3.6 Validace systému v prostoru. Když chceme určit pozici nové značky, je výhodné predikovat, kde se značka bude nacházet a vybrat značku, která je jí nejblíže. Predikci pozice bodu T n+1 odhaduji jako prodloužení o polovinu z předchozí pozice podle vzorce T n+1 = T n + T n T n 1 2 = 3 T n T n 1. (3.23) 2 Výběr značek Pro každou trajektorii T vytvořím matici D, pro jejíž prvky platí 0 u i, v j netvoří pár D i,j = T n+1, P (u i, v j ) u i, v j tvoří pár, (3.24) 0 pokud T n+1, P (u i, v j ) > d max kde u i je značka v jednom obrazu kamery,v j je značka v druhém obraze kamery, T n+1, P (u i, v j ) definuje vzdálenost vypočítané 3D souřadnice z u i a v j od predikované pozice a d max udává maximální možnou vzdálenost bodu od predikované pozice (při měření prstů d max je 80 mm). Ze všech matic D k vyberu vždy takový pár značek z obrazu levé a pravé kamery u i a v j tak, aby značky u i a v j nebyly zatím vybrány, hodnota D i,j byla nenulová a součet všech vybraných hodnot D i,j byl minimální. Pokud u matice D i,j se prvek nenalezne, trajektorie je nastavena jako neaktivní a po dalších 5 pokusech nalezení bodu zaniká. Pokud existuje pár, který nebyl přiřazen, vzniká na jeho místě nová trajektorie. Celý proces výběru značek využívá metod minimálního párování [9]. Minimální párování je obecně NP úplný problém [55], ale protože počet značek není velký (maximálně desítky) a matice D pro jednotlivé trajektorie jsou poměrně řídké, nemá počítač problém ho vyřešit v reálném čase. Takto funguje algoritmus obecně. Pro moji metodu měření vzdálenosti prstů je ještě započítáno, že značky jsou vždy 2 a že 3D vzdálenost mezi značkami nebude větší než 30 cm. 3.6 Validace systému Před měřením pohybů Parkinsoniků bylo nutné systém validovat a ověřit jeho přesnost. Přesnost je závislá nejen na použitém hardwaru a využitých algoritmech počítačového vidění, ale je i přímo ovlivněna pohybovou úlohou, která definuje velikost měřeného prostoru, a rychlostí snímaného pohybu. Přesnost systému jsem již odhadl v předchozí kapitole 3.2.1, ale protože odhad byl pouze teoretický a nebral v úvahu všechny možné vlivy a případné chyby v implementaci, bylo nutné přesnost systému experimentálně ověřit. Při validaci systému jsem ověřoval, jestli systém vyhovuje požadavkům, tzn. chyba měření vzdálenosti prstů je menší než 2 mm. Kamery vždy byly testovány s re-projekční chybou menší než 0,6 mm. Při validaci jsem testoval 42

50 3.6 Validace systému několik vlastností systému, které bylo nutné ověřit. Vlastnosti, které jsem ověřoval jsou následující: 1. Stabilita vzdálenosti mezi dvěma značkami v celém měřeném prostoru a chyba v měření vzdálenosti dvou značek. 2. Linearita a autenticita měřeného prostoru (zda naměřený prostor není deformovaný a odpovídá skutečnosti). 3. Chyba měření amplitudy při měřené pohybové úloze a dostatečnost vzorkovací frekvence 60 Hz. Stabilitu vzdálenosti mezi značkami jsem posuzoval experimentálně na základě měření přesné vzdálenosti. Zda je prostor deformovaný a zda vzorkovací frekvence 60 Hz je dostačující, jsem řešil porovnáním vytvořeného systému s komerčním systémem Optitrack od výrobce Naturalpoint Stabilita měření vzdálenosti dvou značek Pro experimentální měření jsem umístil na tyčku dvě reflexní značky ve tvaru polokoule postupně ve vzdálenosti 5, 10 a 15 cm. Pro měření jsem si definoval prostor, ve kterém pacient může pohybovat končetinou. Prostor je daný vzdáleností končetiny od kamery a šířkou zorného pole kamery a odpovídá přibližně kvádru o rozměru přibližně 40x40x30 cm. Prostor jsem vytyčil tak, že jsem pohyboval značkami na jeho hranici a následně jsem výsledný prostor obalil minimální virtuální obálkou ve tvaru kvádru. Vzniklý virtuální kvádr jsem rozdělil na krychličky o hraně délky 5 cm. V daném kvádru jsem systematicky pohyboval tyčkou a libovolně s ní rotoval. Jakmile jsem pokryl 90 % krychliček prostoru program pro testování byl zastaven a celá trajektorie byla uložena. Záznam o délce 10 s pro vzdálenosti 5, 10 a 15 cm je zobrazený na Z výsledných vzdáleností jsem pak následně vypočítal průměrnou hodnotu a směrodatnou odchylku, které jsou shrnuty v tabulce 3.1. Výsledky jsou zaokrouhleny na 1 desetinné místo. Směrodatná odchylka je menší než 0,5 mm pro všechna měření a systém splnil požadavky na přesnost. Vzdálenost značek [mm] Průměrná hodnota [mm] Směrodatná odchylka [mm] 50,0 50,0 0,3 100,0 100,1 0,4 150,0 140,9 0,4 Tabulka 3.1: Výpočet stability značek. 43

51 3.6 Validace systému Obrázek 3.13: Měření stability vzdálenosti 2 značek o vzdálenosti 5, 10 a 15 cm Srovnání s komerčním kamerovým systémem Kamerový systém jsem srovnal s komerčním systémem Optitrack od výrobce Naturalpoint [47], který měří souřadnice kulatých reflexních značek. Přesnost kamerového systému je deklarována na ±1 mm u měření pohybů celého těla, protože jsem měřil v menší vzdálenosti od kamer, předpokládám chybu menší. Oběma systémy jsem měřil značky současně. Pro měření jsem definoval stejný virtuální prostor jako v předchozí kapitole a pokryl prostor z 80% značkami s rozdílem, že jsem uvažoval pouze jednu měřenou značku (cca N = 600 pozic značky). V obou systémech jsem měřil 3D souřadnice značek A i a A i a následně hledal takovou transformaci mezi systémy tak, aby platilo, že A i = RA i + T (3.25) N A i (RA i + T ) 2 (3.26) i=n je minimální. Pro řešení této úlohy jsem využil algoritmus popsaný v článku [5] a získal jsem rotační matici R a transakční vektor T. Následně jsem vypočítal prů- 44

52 3.6 Validace systému měrnou vzdálenost mezi jednotlivými značkami, která byla 0,4 mm se směrodatnou odchylkou 0,3 mm. Vypočítané odchylky odpovídají požadavkům na měřící systém. Ověření pozice značek ještě nezaručuje, že systém měří správně. Chybu může způsobovat nízká snímací frekvence kamer, která není dostačující pro konkrétní pohybovou úlohu. Proto jsem pro ověření systému měřil přímo zkoumanou úlohu klepání prsty. Pro srovnání jsem nasnímal oběma systémy paralelně 40 různých měření. Vzorkovací frekvence systému Optitrack byla nastavena na 120 Hz (vzorkovací frekvence vyvinutého kamerového systému je 60 Hz). Pro určení chyby jsem porovnal výsledky měření tzn. vypočítané vzdálenosti značek z obou systémů a vypočítal průměrnou absolutní odchylku naměřených hodnot a jejich směrodatnou odchylku. Protože systémy snímaly obraz v různé okamžiky, tak vzájemné odpovídající hodnoty jsem dopočítal pomocí lineární interpolace. Ukázka naměřeného záznamu z vyvinutého kamerového systému a komerčního kamerového systému je na obrázku Výsledná odchylka měření vzdáleností značek byla 0,3 mm se směrodatnou odchylkou 0,2 mm. Obrázek 3.14: Zobrazení vzdálenosti značek u úlohy klepání prsty měřené vyvinutým kamerových systémem (modrá trajektorie) a komerčním systémem Optitrack (červená trajektorie). Trajektorie jsou pro názornost vzájemně posunuty o 0,04 s. V úloze klepání prsty se posuzuje parametr maximální oddálení prstů. Vzhledem k prudké změně vektoru rychlosti je tento parametr nejvíce citlivý na frekvenci snímání a je u něj největší chyba v měření. Proto jako druhý parametr jsem uvažoval průměrnou absolutní hodnotu rozdílu maximálního oddálení prstů mezi systémy a směrodatnou odchylku hodnot, která při 40 měřeních byla 0,5 mm se směrodatnou odchylkou 0,3 mm. Naměřená data je možné nalézt na přiloženém CD. Vypočítaná chyba vyhovuje požadavkům na systém a měření. 45

53 3.7 Shrnutí a využití kamerového systému 3.7 Shrnutí a využití kamerového systému Pro měření pohybů jsem vyvinul kamerový systém, který využívá 2 kamery a měří 3D souřadnice značek v prostoru. Vyvinutý software ke kamerovému systému obecně pracuje s více kamerami různých typů, ale vzhledem k použitému hardwarovém omezení knihovny výrobce je nastavený na využití 2 kamer od firmy ImagingSource. Vytvořený software jsem upravil pro měření úlohy tzv. klepání prsty, kdy osoba má za úkol s co největší frekvencí a největším oddálením spojovat palec a ukazováček ruky. Kamerový systém snímá reflexní značky umístěné na prstech a software vypočítává prostorovou vzdálenost mezi nimi. Výsledek měření je nadále zpracován a popsán v následujících kapitolách. Kamerový systém je chráněný užitným vzorem číslo [78] a byl prezentován na národním i mezinárodním fóru[76]. Vzhledem k možnosti snímání libovolného prostoru (u kamer lze vyměnit objektivy a změnit jejich vzájemnou pozici), kamerový systém našel aplikaci i v dalších vědeckých úlohách řešených na FBMI ČVUT. Využili jsme ho při měření pádu člověka [65, 66, 64, 63]. Měření Up and Go testu [79] a při měření chůze v projektu protetických náhrad kolene [84, 86]. Kamerový systém se také využil v užitném vzoru na téma bezdrátové ovládání robotické paže [85]a je pravidelně prezentován na dnech otevřených dveří FBMI ČVUT jako ukázka možnosti 3D vidění v lékařství. 46

54 4 Zpracování trajektorie a výpočet parametrů. Pro zpracování trajektorie pohybů prstů jsem vyvinul software, který na základně dat získaných z kamerového systémů dokáže vypočítat, vyhodnotit, exportovat a porovnat data z měření. Samotná aplikace je popsána v příloze B. Kamerový systém měří prostorovou pozici značek umístěných na prstech ruky. Z pozice značek v prostoru je vypočítána jejich vzdálenost, která se při testu klepání prstů periodicky mění v čase. Výpočet vzdálenosti a odstranění artefaktů z měření je popsáno v kapitole 4.1. Vzhledem k tomu, že měřím a vyhodnocuji prostorovou vzdálenost mezi značkami umístěných na prstech ruky (viz obr. 4.1), nemá na výsledky měření vliv pozice a pohyb kamery ani pozice a pohyb ruky měřené osoby (případný třes u pacientů s Parkinsonovou chorobou). Obrázek 4.1: Výpočet vzdálenosti značek z jejich trajektorie. Z měnící se vzdálenosti prstů v čase je možné vypočítat několik dalších parametrů např. kdy byly prsty nejvíce vzdálené, kdy se setkaly, rychlost pohybů prstů, zrychlení, frekvenci zavírání prstů atd. Z analýzy problému (viz kap. 2.4) a konzultace s experty plyne, že bradykineze (ztuhlost pohybů) se u periodických úloh projevuje snížením maximální výchylky (amplitudy) v čase, nižší rychlostí pohybů a i rozdílnou frekvencí či jejím větším poklesem v čase. V našem případě úlohy klepání prstů lze tyto jednotlivé parametry určit z měnící se vzdálenosti palce a ukazováku. Pro 47

55 4.1 Předzpracování a výpočet vzdáleností značek měření jsem definoval následující parametry, které jsou vypočítané ze vzdálenosti značek na prstech, u parametrů se vypočítá jejich pokles v čase a průměr: Maximální vzdálenost prstů Frekvence otevírání a zavírání prstů Maximální rychlost otevírání a zavírání prstů Konkrétní implementace parametrů je popsána v kapitole Předzpracování a výpočet vzdáleností značek Z kamerového systému získáme pozice jednotlivých značek. Pro zjištění vzdálenosti prstů a její změny v čase vypočítáme prostorovou vzdálenost mezi jednotlivými značkami. Vzdálenost mezi body X 1 = [x 1, y 1, z 1 ], X 2 = [x 2, y 2, z 2 ] se vypočítá podle následujícího vzorce: X 1, X 2 = (x 1 x 2 ) 2 + (y 1 y 2 ) 2 + (z 1 z 2 ) 2. (4.1) Získáme vektor dat, který reprezentuje vzdálenosti značek (prstů) v čase (viz obr. 4.1). I když kamerový systém měří vzdálenost mezi prsty spolehlivě, občas například kvůli zakrytí značky nebo náhodného odlesku, se může stát, že se vzdálenost nezměří správně či nastane výpadek v měření. Chyba měření se projeví nespojitým průběhem dat, tzn. že nastane vysoká výchylka (viz obr. 4.2). Pokud záznam obsahuje vysoké výchylky, je na ně uživatel upozorněn a může je nechat automaticky odstranit. Při automatickém odstranění jsou vymazány všechny vzdálenosti značek y k, pro které platí že y k+1 y k t k+1 t k > τ, (4.2) kde y k je hodnota vzdálenosti prstů k-tého prvku dat, t k je příslušný čas a τ je předem definovaná konstanta, kterou případně může uživatel upravit. Po úpravě vzniknou data, která můžou obsahovat výpadky. Pokud jsou výpadky pouze individuální, jednotlivé chybějící hodnoty se dopočítají lineární interpolací. Pokud je výpadek delší, systém označí celý chybně naměřený blok a na uživateli pak je, jestli hodnoty nahradí, případně jestli vynechá část měření. Při experimentech, pokud bylo měření z části chybné, jsme experiment opakovali a celé měření vyřadili. 48

56 4.2 Detekce maximálního otevření prstů a maximální rychlosti Obrázek 4.2: Oprava chyby měření - chyby jsou označeny červenými hvězdičkami. 4.2 Detekce maximálního otevření prstů a maximální rychlosti K získání zmíněných parametrů (změna amplitudy, frekvence, maximální rychlosti pohybu) je třeba určit, kdy nastávalo maximální oddálení prstů během úlohy klepání prstů. Z pilotního měření vyplynulo, že rychlost klepání prstů se pohybuje od 2 Hz do 3.5 Hz. Maximální vzdálenost prstů byla přibližně od 4 cm do 12 cm. U pacientů s Parkinsonovou nemocí občas docházelo ke třesu a při zavírání zřídkakdy nesepnuli prsty (viz obr. 4.4). Měřená osoba může také někdy stlačit prsty více k sobě nebo se jenom letmo dotknout, proto se může měnit i minimální vzdálenost prstů při stisknutí a to v rozmezí přibližně 1 cm. Maximální oddálení prstů definuji jako maximální vzdálenost prstů mezi dvěma spojeními palce a ukazováku. Při konstrukci algoritmu jsem si kladl za cíl, aby byl dostatečně robustní a plně automatický. Algoritmus nejdříve nalezne oblasti, kde mohlo dojít ke spojení prstů a oblasti, kde mohlo dojít k maximálnímu oddálení prstů. Tyto oblasti jsou definované vypočítanou prahovou hodnotou (viz obr. 4.3). Z definice úlohy plyne, že se musí střídat spojení a oddálení prstů. Proto vždy ve skupině sousedních oblastí, které označují spojení prstů, najdu minimum a ve skupině sousedních oblastí s maximálním oddálení prstů naleznu jedno maximum (viz přesný popis algoritmu 4.1). 49

57 4.2 Detekce maximálního otevření prstů a maximální rychlosti Obrázek 4.3: Vzdálenost prstů s označenými maskami - místa pro maximální oddálení prstů - červená barva, místa pro spojení prstů - zelená barva. Algoritmus 4.1 Nalezení spojení a maximálního oddálení prstů 1. Vstupy algoritmu: D - vektor vzdálenosti prstů, 2υ - velikost okna pro detekci minima a maxima (2 s), τ - práh pro detekci uzavření prstů (1 cm). 2. Definuji D n = [D n v, D n v+1,..., D n+v 1, D n+v ], jako část vektoru D. 3. Vytvoř vektor M tak, že pro každý jeho prvek M n, kde n je od 1 do D, platí D n D n > průměr( D n ) M n = D n D n < min( D n ) + τ 0 jinak 4. Z M vyber maximální spojité oblasti MIN k takové, že M n MIN k, platí že M n 0 5. Z M vyber maximální spojité oblasti MAX k takové, že M n MAX k, platí že M n 0 6. KaždéM n M MIN k označ jako stisknutí prstů, jestliže M n < 0 a zároveň M n je minimum z MIN k 7. Každé M n M MAX k označ jako maximální oddálení prstů, jestliže M n > 0 a zároveň M n je maximum z MAX k I když úloha rozpoznání lokálních maxim a minim v grafu se z počátku zdála triviální, výsledný algoritmus je složitější. Algoritmus pracuje plně automaticky a 50

58 4.3 Definice a výpočet parametrů během měření jsem se nesetkal s chybami. Ukázka výsledného rozeznání maximální vzdálenosti prstů a spojení prstů (viz obr. 4.4). Obrázek 4.4: Detekované spojení prstů (zelené hvězdičky) a maximálního oddálení (červené hvězdičky) Maximální rychlost otevírání a zavírání prstů se určuje z první derivace vzdálenosti značek. Mezi jednotlivými nalezenými minimy a maximy oddálení prstů se nalezne maximum (maximální rychlost otevírání) a minimum (maximální rychlost zavírání) první derivace. Ukázka první derivace (rychlosti pohybů značek) je zobrazena s detekovanými maximy a minimy na obrázku 4.5. Obrázek 4.5: Rychlost pohybu značek s detekovanými minimy a maximy. 4.3 Definice a výpočet parametrů Měření před zpracováním parametrů je oříznuto na moment, kdy měřená osoba začala s pohybem prstů s jejich maximálním oddálením (viz metodika kap. 5.2). Toto oříznutí může být uděláno automaticky, zatím ale nebylo implementováno a je děláno ručně. Měření prstů kamerovým systémem bylo součástí větší studie, při které 51

59 4.3 Definice a výpočet parametrů se měřilo více parametrů, každý parametr byl jednoznačně popsán identifikátorem. Identifikátor parametrů týkající se kamerového systému začínají předponou BR. U parametrů rychlosti, maximální amplitudy, frekvence, definuji maximální pokles parametru v čase. Vyberu-li parametr A, pak pro pokles P A platí P A = 1 min(pr(a k, τ)), (4.3) pr(a 1, τ) kde A 1 až A n jsou všechny hodnoty parametru A, t k je čas hodnoty A k a pr(a k, τ) je průměr hodnot A k až A k+p, pro které platí že t k+p t k + τ. Z pilotního měření vyplynulo, že pokles parametrů trvá většinou 1 s - 2 s, proto jsem určil τ = 1, 5. Ze získané trajektorie se počítají následující parametry, všechny parametry se počítají na horší končetině (viz kap. 5.2) a počítá se průměr ze dvou měření. BRAMPMD1 maximální pokles (4.3) maximálního oddálení prstů během měření. BRVELC průměrná maximální rychlost zavírání prstů [m/s] na celém záznamu. BRVELC4 průměrná maximální rychlost zavírání prstů [m/s] na posledních 4 sekundách. BRVELO průměrná maximální rychlost otevírání prstů [m/s] na celém záznamu. BRVELO4 průměrná maximální rychlost otevírání prstů [m/s] na posledních 4 sekundách. BRVELCMD1 maximální pokles (4.3) maximální rychlosti zavírání prstů během měření. BRVELOMD1 maximální pokles (4.3) maximální rychlosti otevírání prstů během měření. BRFRQ Průměrná frekvence kmitání prstů [Hz]. Vypočítána jako BRF RQ = n t Rn t L1, (4.4) kde t Rn je čas konce posledního kmitu (spojení prstů) a t L1 je čas začátek prvního kmitu (spojení prstů) a n je počet kmitů mezi t L1 a t Rn. BRFRQMD1 maximální pokles frekvence kmitání prstů. Pro rovnici (4.3) platí, že pr(a k, τ) je frekvence (4.4) kmitání prstů na intervalu (t Lk, t R(k+p) ), kde t Lk je čas spojení prstů před maximální oddálením prstů A k a t R(k+p) je čas spojení prstů po maximálním oddálením A k+p a platí t R(k+p) t k + τ. VTP Průměr hodnocení pohybu dvěma experty. Experti hodnotí pohyb z videozáznamu paralelně pořízeného při měření. Obličej testované osoby je ve videu rozmazaný. Hodnocení je prováděno přes webové rozhraní 52

60 4.3 Definice a výpočet parametrů viz příloha C. Experti hodnotí zdravé, nemocné a jednotlivá měření v náhodném pořadí stupněm (0-4) podle stupnice definované v UPDRS u úlohy klepání prstů. Všechny parametry jsou shrnuty v příloze D. 53

61 5 Experimenty a výsledky Před experimenty a ověřením hypotéz se v ambulantních podmínkách uskutečnilo pilotní měření. Během pilotního měření (kap. 5.1) se odladily chyby systému a upřesnila metodika měření (kap. 5.2). Po odstranění problémů probíhalo postupné měření pacientů a zdravých kontrol. Pro zpracování dat jsem převážně využil statistický toolbox Matlabu. Během experimentů jsem otestoval hypotézy na 22 pacientech s lehkým až středně těžkým postižením Parkinsonovou nemocí, s průměrným Hoehn & Yahr stage 2,05 (v rozmezí 1-2,5), průměrným věkem 64 (48-82) let, v ON stavu, a trvání nemoci 9,3 (1-24) let. Pacienty jsem porovnával s 22 odpovídajícími kontrolami s průměrným věkem 66 (41-82) let, bez neurologického nebo psychiatrického onemocnění v anamnéze a bez postižení funkce horních končetin. Na základě výsledků jsem ověřil testované hypotézy a vybral nezávislé parametry pohybu, které nejlépe oddělující kontroly a pacienty (kap. 5.3 a 5.4.1). Navrhl jsem parametr, který hodnotí míru bradykineze, a srovnal jsem ho s odpovídajícím parametrem v UPDRS (kap ). Analyzoval jsem délku záznamu a doporučil délku měření (kap. 5.5). Součástí studie byla také analýza řeči pacientů s PN a různé motorické testy. Srovnání a výsledky těchto studií nejsou součástí mé disertační práce, ale předpokládá se jejich publikování. Všechny testované osoby podepsaly informovaný souhlas. Souhlasily s využitím osobních údajů, naměřených hodnot a video záznamu pro účely studie. Měření bylo schváleno etickou komisí 1. lékařské fakulty Univerzity Karlovy a Všeobecné fakultní nemocnice. 5.1 Pilotní měření Pilotní měření probíhalo v ambulanci Neurologické kliniky 1.LF Univerzity Karlovy v Praze. Ve 3 sezení bylo změřeno 8 pacientů s průměrným věkem přibližně 60 let s různou úrovní PN. Měření bylo doplněno o 5 zdravých lidí odpovídajícího průměrného věku. Pro otestování systému bylo také využito 10 figurantů průměrném věku 20 let na FBMI ČVUT. V pilotním měření jsme si kladli za cíl definovat a odladit metodiku měření, ověřit funkci SW a HW v ambulantních podmínkách a odladit parametry pohybu. Před začátkem měření se vždy kamerový systém nakalibroval pomocí šachovnice s re-projekční chybou menší než 0,6 mm. Kamerový systém byl umístěn laterálně od měřené osoby tak, aby měřené značky byly dobře viditelné a ruka měla dostatečný manipulační prostor. Před měřením se vysvětlil prováděný pohyb (vysvětlení se postupně upravovalo) 54

62 5.2 Metodika měření a byly nalepeny reflexní značky na radiální hranu interphalangeálního kloubu palce a na radiální hranu distálního interphalangeálního kloubu druhého prstu. Pozice značek se ukázaly jako vhodné pro měření a zpracování pohybů prstů. Značky se nalepují pomocí oboustranné lepící pásky a je možné je odlepit a nalepit na druhou ruku bez toho, aby značky padaly. Mezi měřeními jednotlivých osob se oboustranná páska z hygienických důvodů vymění. Z pilotního měření vyplynuly následující změny a závěry. Systém se upravil tak, aby kalibrace a sestavení systému trvalo maximálně 20 minut. Re-projekční chyba kalibrace se definovala na maximálně 0,6 mm. Ovládací software se upravil, aby uchovával nastavení systému a aby po nastavení systému bylo možné měřit bez jakýchkoliv složitých úprav a nastavení. Ukázalo se, že je třeba měřeným osobám pečlivě vysvětlit měření. Pohyb jim ukázat a nechat si ho předvést. Během ukázky se nastaví kamery tak, aby zabíraly měřenou ruku. Z analýzy záznamu a ze zpětné vazby vyplynulo, že po 30 s začíná být pohyb unavující a začíná ovlivňovat pohyb, proto jsme se rozhodli vytvářet 30s záznamy a pro zpracování využívat prvních 20 s. První dva kmity většinou nebyly s maximální amplitudou, proto je potřeba pohyb před zpracováním oříznout. Mezi jednotlivými měřeními stejné končetiny je potřeba, aby si osoba odpočinula minimálně 1 minutu. V původní metodice ostatní prsty ruky musely být uzavřené, někteří pacienti i zdraví lidé nebyli schopni test tímto způsobem zvládnout, proto jsme definovali, že ostatní prsty se nesmí podílet na pohybu a ať si měřená osoba zvolí pozici prstů, která jí nejvíce vyhovuje. V měřené oblasti by se neměly vyskytovat žádné lesklé předměty. Měřené osoba byla vždy požádaná o sundání hodinek a šperků. Bohužel u pacientů sundání šperků a hodinek bylo často obtížné, proto se systém upravil, aby ignoroval náhodné odlesky. Ve výsledku systém funguje dobře i se šperky na rukou, ale i přes to jsme v metodice zachovali požadavek na sundání šperků a hodinek. Na základě pilotního měření byla definována metodika měření, která je popsána v následující kapitole. Z pilotního měření také vyplynuly parametry pohybu, které již byly zmíněné v kapitole Metodika měření Před začátkem sezení se systém sestaví a nakalibruje pomocí šachovnice s maximální re-projekční chybou 0,6 mm. Před kamerový systém se postaví židle, na kterou se pokusná osoba posadí. Kamery jsou umístěny přibližně jeden metr laterálně od 55

63 5.2 Metodika měření Obrázek 5.1: Figurant měřený kamerovým systémem a provádějící úlohu klepání prsty. pokusné osoby na opačné straně od měřené ruky (viz obr. 5.1). Každá ruka se naměří dvakrát, měření začíná s dominantní končetinou. Pokusná osoba je nejdříve požádána, pokud jí to nečiní žádné problémy, o sundání hodinek a šperků na rukách. Reflexní značky se přilepí na radiální hranu interphalangeálního kloubu palce a na radiální hranu distálního interphalangeálního kloubu druhého prstu měřené ruky (viz obr. 3.1). Měřená osoba je instruována k provádění periodického pohybu (standardizovaný finger tapping test), který spočívá v opakovaném spojení palce a druhého prstu a následným maximálním oddálením, nejrychleji jak dokáže. Ostatní prsty by se neměly podílet na pohybu a měly by být lehce pokrčené a uvolněné. Při provádění pohybu pacient sedí pohodlně na židli a jeho horní končetina je ohnuta v loketním kloubu. Po krátké úvodní instruktáži je pokusná osoba vyzvána k ukázce, zda úlohu pochopila správně. Během ukázky se nastaví směr kamer tak, aby snímaly měřenou ruku. Následně je pacient vyzván, aby prováděl periodický pohyb po dobu 30 s a pustí se kamera a měřící kamerový systém. Po měření se nechá pokusná osoba minimálně jednu minutu odpočinout a měření se opakujte. V systému se vždy po jednotlivých měření zaznamená identifikátor záznamu, pořadí měření a měřená končetina. Po druhém měření se pokusná osoba vyzve, aby vstala, otočila se a posadila se v opačném směru vzhledem ke kamerám. Značky se přelepí na prsty druhé ruky a dvakrát se naměří. Nepodařené měření se poznamená a opakujte (každá ruka by měla být v pořádku vyšetřena 2x). Vždy je potřeba dbát na to, aby před každým měřením byla pokusná osoba odpočatá a uvolněná. Před uložením je vždy potřeba zkontrolovat, jestli naměřená data jsou v pořádku. V softwaru se ořízne začátek záznamu tak, aby začínal již kmitem s přibližně ma- 56

64 5.3 Porovnání pacientů s kontrolami ximálním oddálením prstů. Výsledné parametry se vypočítají z průměru parametrů prvního a druhého měření z více postižené končetiny. Více postiženou končetinu charakterizuje průměrné hodnocení dvou expertů z videozáznamu. Pokud je hodnocení končetin stejné, je vybrána dominantní končetina. 5.3 Porovnání pacientů s kontrolami V této kapitole ověřuji následující hypotézu (1): Hodnoty změny maximálního oddálení, frekvence či maximální rychlosti pohybů prstů v čase rozlišují osoby s PN a bez PN. Výsledné parametry následně porovnávám. Vzhledem k nízkému počtu měření, z čehož plyne nejistota v rozdělení, jsem pro testování hypotézy využil dvou-výběrového neparametrického Wilcoxon rank-sum testu ( Mann Whitney U-test )[26]. Wilcoxon rank-sum test (ranksum [43] - funkce v Matlabu ) testuje nulovou hypotézu, že dvě testované skupiny dat s libovolným spojitým rozdělením mají stejné mediány proti alternativní hypotéze, že nemají stejné mediány. Test předpokládá dvě skupiny nezávislých vzork;, které můžou mít různou velikost. Nulovou hypotézu jsem zamítl na hladině významnosti 1% (p = 0,01). Konkrétně jsem testoval následující parametry: pokles vzdálenosti prstů (BRAMPMD1), průměrnou maximální rychlost zavírání (BRVELC) a otvíraní (BRVELO), pokles maximální rychlosti zavírání (BRVELCMD1) a otvírání (BRVELOMD1), průměrnou frekvenci (BRFRQ), pokles průměrné frekvence (BRFRQMD1) a hodnocení expertů z videozáznamu (VTP). Rozložení jednotlivých hodnot parametrů u pacientů a zdravých kontrol je zobrazené na obrázku 5.2. Výsledky testování jsou shrnuty v tabulce 5.1. Pro porovnání síly testu pro jednotlivé parametry jsem využil ROC (Receiver Operating Characteristic) analýzu (roc [41] - funkce v Matlabu). ROC analýza je statistický postup pro vyhodnocení správné a falešné pozitivity a správné a falešné negativity. ROC - křivka znázorňuje vztah mezi senzitivitou a 1 - specificitou [26]. U ROC - křivky se vypočítává parametr AUC (Area Under Curve), který vyjadřuje obsah plochy pod ROC - křivkou. Čím více se hodnota AUC blíží k 1, tím více testovaný parametr skupiny odděluje. Pokud se hodnota AUC blíží k 0,5 parametr skupiny neodděluje. ROC - křivky a velikost AUC jsou zobrazeny v tabulce 5.1 a na obrázku

65 5.3 Porovnání pacientů s kontrolami Parametr hladina významnosti (p) ROC - AUC potvrzení hypotézy na p = 0,01 BRAMPMD1 < 0,001 0,87 ANO VTP < 0,001 0,92 ANO BRVELC 0,006 0,74 ANO BRVELO 0,002 0,77 ANO BRVELCMD1 < 0,001 0,87 ANO BRVELOMD1 < 0,001 0,83 ANO BRFRQ 0,614 0,55 NE BRFRQMD1 0,015 0,71 NE Tabulka 5.1: Srovnání parametrů pacientů s PN a zdravých kontrol. Obrázek 5.2: Rozložení hodnot parametrů pacientů s PN (červená barva) a zdravých kontrol (modrá barva). Výsledné hodnoty v tabulce 5.1 ukazují, že pacienti s PN a zdravé kontroly nejlépe odděluje hodnocení lékařů. Pacienty a normy odděluje také na hladině významnosti 58

66 5.4 Výběr parametrů a klasifikace menší než 1 % změny amplitudy, maximální rychlosti otvírání a zavírání a průměrná rychlost otevírání a zavírání prstů. U těchto parametrů byla hypotéza potvrzena. Změna frekvence v čase také odděluje pacienty a normy, ale na hladině významnosti cca 2 %. Nebyla potvrzena hypotéza, že pacienty a zdravé kontroly odděluje průměrná frekvence pohybu. Už z vlastností parametrů je zřejmé, že některé z nich jsou na sobě závislé. Závislostí parametrů a výběrem nejlepších parametrů pro kvantifikace bradykineze se budu zabývat v následující kapitole. Obrázek 5.3: ROC křivky u jednotlivých parametrů s AUC hodnotou. 5.4 Výběr parametrů a klasifikace Zda parametr vyjadřuje míru bradykineze, můžeme prokázat korelací s hodnocením experta. Dva nezávislí experti hodnotili bradykinezi položkovým skóre UPDRS (hod- 59

67 5.4 Výběr parametrů a klasifikace noty 0-4) na základě videozáznamu. Expert by měl hodnotit ztuhlost pohybů prstů (bradykinezi), která by se měla podle předpokladů projevovat sníženou amplitudou, maximální otevírací nebo zavírací rychlostí a předpokládalo se že i frekvencí. Průměr hodnocení prvního a druhého měření horší končetiny dvou expertů jsou vyjádřeny parametrem VTP. Korelace jednotlivých hodnot a další dvě testované hypotézy se řeší v následující kapitole Z definice jednotlivých parametrů plyne, že jsou na sobě jednotlivé parametry závislé, proto pro hodnocení bradykineze nejsou potřeba všechny. Algoritmicky lze vybrat takové parametry, které jsou nezávislé a jejich kombinace nejlépe diskriminuje pacienty s PN a zdravé kontroly. Výsledky výběrů parametrů jsou v kapitole Korelace parametrů V této kapitole ověřím následující hypotézy (2,3): Hodnoty změny amplitudy, frekvence pohybu nebo maximální rychlosti pohybu se úzce shodují s příslušným položkovým skóre UPDRS. UPDRS odráží spíše pokles amplitudy než snížení frekvence v čase. Pro ověření hypotéz vypočítám závislost jednotlivých parametrů s VTP, který vyjadřuje UPDRS skóre bradykineze úlohy klepání prsty. Protože normální rozdělení parametrů a hodnoty VTP jsou ordinální, použil jsem pro výpočet závislosti Spearmanův korelační koeficient (corr - funkce v Matlabu s parametrem Spearman). Parametr ρ s u Spearmanova korelačního koeficientu udává hladinu významnosti, na které jsou dva parametry na sobě závislé. Pro další zpracování dat jsem jednotlivé závislosti zobrazil v korelační tabulce 5.2, kde jsou navíc i vztahy mezi jednotlivými parametry. Tučně označené položky jsou závislé na hladině významnosti menší než 0,1 %. ρ s - Spearman BRAMPMD1 BRVELC BRVELO BRVELCMD1 BRVELOMD1 BRFRQ BRFRQMD1 VTP BRAMPMD1 0,22 0,20 0,80 0,75 0,35 0,16 0,59 BRVELC 0,22 0,76 0,48 0,37 0,25 0,36 0,55 BRVELO 0,20 0,76 0,48 0,42 0,39 0,30 0,58 BRVELCMD1 0,80 0,48 0,48 0,82 0,15 0,26 0,66 BRVELOMD1 0,75 0,37 0,42 0,82 0,03 0,45 0,61 BRFRQ 0,35 0,25 0,39 0,15 0,03 0,18 0,23 BRFRQMD1 0,16 0,36 0,30 0,26 0,45 0,18 0,43 VTP 0,59 0,55 0,58 0,66 0,61 0,23 0,43 Tabulka 5.2: Korelační tabulka - Spearmanův korelační koeficientu. Tučné položky - statistická významnost menší než 0.1 %. Položky kurzívou - statistická významnost menší větší než 0.1 % a menší než 1 %. Z korelační tabulky plyne, že závislost parametrů s UPDRS skóre můžeme považovat za prokázanou na hladině významnosti menší než 0,1 % u parametrů změny 60

68 5.4 Výběr parametrů a klasifikace amplitudy, rychlosti pohybu a průměrné maximální rychlosti. Na hladině významnosti 1 % je možné prokázat vztah s hodnocením lékařů s poklesem frekvence. Nebyl prokázaný vztah frekvence pohybu a skóre UPDRS (viz tab. 5.2). Při porovnání parametru BRFRQMD1 a BRAMPMD1 s VTP také plyne, že UPDRS odráží spíše pokles amplitudy než snížení frekvence v čase. Obě hypotézy byly potvrzeny Výběr nezávislých parametrů Z korelační tabulky 5.2 vyplývá, že některé parametry jsou na sobě závislé a je možné z nich vybrat podmnožinu, která nejlépe diskriminuje pacienty s PN a zdravé kontroly. Po prozkoumání tabulky například plyne, že parametr BRVELO nekoreluje s parametrem BRAMPMD1, ale oba korelují s VTP. Na druhou stranu parametr BR- VELCMD1 koreluje s BRVELO a BRAMPMD1 a nejlépe s VTP. Proto se naskýtá otázka, které parametry je vhodné vybrat pro rozdělení pacientů s PN a zdravých kontrol? Pro výběr parametrů jsem zvolil algoritmus dopředného vybírání parametrů (sequentialfs [42] - funkce v Matlabu) s 95% zachování rozptylu u rozdělení. Vstupem funkce sequentialfs je ktriteriání funkce, která pro dané parametry vrací rozptyl prvků. Kriteriální funkcí jsem zvolil funkci Matlabu gmlfit [40] s parametrem binomial (vstupem jsou dvě skupiny zdraví a nemocní), která slouží pro výpočet obecného lineárního modelu ze zadaných parametrů. V našem případě funkce gmlfit hledá takovou nadrovinu v prostoru hodnot určené parametry, kde rozptyl prvků od nadroviny je minimální. Tento rozptyl je vstupem funkce sequentialfs. Jednodušeji řečeno, hledá ideální lineární rozdělení prostoru na dvě části tak, aby v jednom poloprostoru byly prvky jedné skupiny a v druhém prvky druhé skupiny. Z parametrů uvedených v tabulce 5.2 kromě parametru VTP, vybral algoritmus parametry BRAMPMD1, BRVELOMD1. Tzn. pokles amplitudy a průměrná maximální otevírací rychlost na našem vzorku nejlépe odděluje pacienty s PN a zdravé kontroly. Výsledek je v souladu s pozorováním, že pacientům se snižuje vzdálenost prstů a pohyby jsou pomalejší (ztuhlé). Z výsledků také plyne, že větší vliv má maximální otevírací rychlost než zavírací. Výsledné rozdělení pacientů s PN a zdravých kontrol je zobrazeno na obrázku

69 5.4 Výběr parametrů a klasifikace Obrázek 5.4: Rozdělení pacientů s PN a zdravých kontrol na základě poklesu amplitudy a průměrné otevírací rychlosti. Při využití funkce glmfit (lineární regrese) pro výpočet lineárního klasifikátoru (černá přerušovaná přímka v obrázku 5.4), můžeme definovat parametr BRAV (viz kapitola 5.4.3) jako vzdálenost od dělící přímky. Tato vzdálenost pak rozděluje pacienty s PN a zdravé kontroly s AUC 0,94 (viz obr. 5.5), která je vyšší než u rozdělení expertů (viz tab. 5.1). Obrázek 5.5: Rozložení hodnot parametru BRAV u pacientů s PN (červená barva) a zdravých kontrol (modrá barva) Klasifikace bradykineze na základě parametrů Z vybraných parametrů BRAMPMD1 a BRVELO se pomocí lineární regrese vypočítala dělící přímka. Ze získaných parametrů dělící přímky se vypočítá parametr BRAV, který udává vzdálenost od dělící přímky. Parametr BRAV se vypočítá následujícím způsobem 62

70 5.4 Výběr parametrů a klasifikace BRAV = 30, 511 BRAMP MD1 0, 086 BRV ELO + 1, 9407, (5.1) kde zmíně konstanty odpovídají parametrům dělící přímky na obrázku 5.4. Položkové skóre UPDRS úlohy klepání prsty klasifikuje pohyb do 5 skupin (hodnocení 0-4). K dispozici jsme měli pouze pacienty s lehčí a středně těžkou formou PN a proto hodnocení expertů se pohybovalo v rozmezí od 0 do 3. Z toho důvodu následná analýza platí pouze pro pacienty s lehkým a středně těžkým postižením PN. Hodnocení expertů ve vztahu ke snížení amplitudy a průměrné maximální otevírací rychlosti je zobrazeno na obrázku 5.6. Z obrázku je zřejmé, že vzdálenost od dělící přímky BRAV bude nejspíše korelovat s hodnocením VTP. Obrázek 5.6: Hodnocení expertů ve vztahy poklesu amplitudy a průměrné maximální rychlosti otevírání prstů Vztah hodnocení expertů VTP a parametru BRAV je zobrazen na obrázku 5.7. Parametr VTP byl vypočten ze 4 hodnocení expertů (dva experti hodnotili první a druhý pokus měření), proto se pohybuje s rozlišením 0,25. Spearmanův korelační koeficient je ze všech parametrů (viz tab. 5.2) nejvyšší a to 0,75. Po zaokrouhlení hodnot na rozlišení 0,5 (získání více vzorků v jedné skupině) a vypočítání průměru jednotlivých skupin, lze proložit výsledné průměry přímkou. Z výsledku je patrná lineární závislost mezi hodnocení expertů a parametrem BRAV (viz obr. 5.7). Lineární závislost byla ověřená pomocí hypotézy o linearitě. Pokud zaokrouhlím hodnoty VTP dolů na celá čísla, pak hodnota BRAV nižší než 0 odpovídá hodnocení UPDRS 0, BRAV v rozmezí od 0 do 5 odpovídá stupni 1 a 63

71 5.5 Analýza délky záznamu BRAV vyšší než 5 odpovídá druhému a vyššímu stupni. Samotná hodnota parametru BRAV určuje míru bradykineze pohybů u pacientů s PN. Obrázek 5.7: Závislost parametru VTP a BRAV a proložení průměrů aproximační přímkou. 5.5 Analýza délky záznamu Délka záznamu byla určena během pilotního měření na 20 s. Tato délka byla maximální, při které testované osoby měřením nepociťovaly únavu. Cílem této kapitoly je určit vhodnou délku záznamu, potvrdit a diskutovat následující hypotézu (4): V prvních 10 pohybech prstů v úloze klepání prsty je možné rozlišit pacienty s PN a zdravé kontroly. Pro posouzení délky záznamu používám předešlé parametry oddělující nejlépe pacienty s PN a zdravé kontroly: BRAMPMD1 - pokles vzdálenosti prstů v čase a BR- VELO - průměrná maximální rychlosti otvírání a jejich lineární kombinaci parametr BRAV (viz kap ). Parametr BRVELO průměruje maximální otevírací rychlost z celé délku záznamu, proto změna délky nemá velký vliv (viz obr. 5.8). Z toho důvodu v analýze délky používám parametr BRVELO4, který udává průměr maximální otevírací rychlosti v posledních 4 sekundách. Z BRAMPMD1 a BRVELO4 následně odvozuji parametr BRAV4. Při posouzení délky záznamu využívám parametr ROC analýzy AUC (area under curve), který popisuje, jak pacienti s PN jsou daným parametrem odděleni od zdravých kontrol. Zobrazení změny hodnoty AUC v ůzných délkách záznamu je zobrazeno v obrázku 5.7. V obrázku 5.9 jsou zobrazeny hladiny významnosti, v grafu je zobrazena především jediná významná změna u parametru BRVELO a BRVELO4. Z hodnot grafu plyne, že AUC parametru BRVELO4 stoupá do přibližně 11 s (v 11 s se dostává hladina významnosti pod 0,1 %) a začíná klesat u 17 s. Parametr BRAMPMD1 prudce stoupá do 8 s a pak se ustálí. Výsledný AUC u BRAV4 roste do 8 s a následně je konstantní mezi 11 s a 15 s. V 15 s je hodnota AUC u BRAV4 64

72 5.5 Analýza délky záznamu přibližně 0,95. Výsledné rozložení pacientů s PN a zdravých kontrol po 15 s a 20 s je zobrazeno na obrázku Obrázek 5.8: Vývoj AUC hodnoty závislé na délce záznamů u jednotlivých parametrů. Z hodnot v grafu na obrázku 5.8 plyne, že na základě průměrné maximální otevírací rychlosti (BRVELO) nelze potvrdit hypotézu o rozdělení kontrol a parkinsoniků na hladině významnosti menší než 5 % (hladina významnosti je 7 %). Rychlost pohybů pak klesá a po 10 s lze již rozdělit normy a pacienty na hladině významnosti přibližně 0,1 %. Z hodnot v prvních 10 kmitech také plyne, že lze rozeznat PN během prvních 10 kmitů na základě poklesu amplitudy a průměrné otevírací rychlosti na hladině významnosti menší než 1 %, ale pro přesnější hodnocení je lepší posuzovat pohyb mezi 10 s až 15 s. 65

73 5.5 Analýza délky záznamu Obrázek 5.9: Hladiny významnosti rozdělení pacientů s PN a zdravých kontrol závislé na délce záznamu. Výsledné rozdělení zdravých kontrol a pacientů s PN po 15 s a 20 s je velice podobné (viz obr u 15 s je použitý parametr BRVELO4), ale pokud by se měla udělat klasifikace, bylo by potřeba více měření. 66

74 5.6 Shrnutí experimentů Obrázek 5.10: Rozdělení kontrol a pacientů u 20 s a 15 s záznamu na základě poklesu maximálního oddálení prstů a poklesu průměrné maximální rychlosti otvírání. 5.6 Shrnutí experimentů V experimentech na 22 zdravých kontrolách a na 22 pacientech s lehkým až středně těžkým postižením PN byly potvrzeny na hladině významnosti 1 % následující hypotézy: 1. Hodnoty změny maximálního oddálení či maximální rychlosti pohybů prstů v čase rozlišují osoby s PN a bez PN na hladině významnosti menší než 0,1 %. 2. Hodnoty maximální změny frekvence v čase rozlišují osoby s PN a bez PN na hladině významnosti menší než 2 %. 3. Hodnoty změny maximálního oddálení prstů nebo rychlosti pohybu se úzce shodují s příslušným položkovým skóre UPDRS na hladině významnosti menší než 0,1 %. 4. UPDRS odráží spíše pokles amplitudy než snížení frekvence v čase. 5. V prvních 10 pohybech prstů v úloze klepání prsty je možné rozlišit osoby s PN a bez PN na hladině významnosti 1 %. V experimentech nebylo dokázáno, že frekvence klepání prstů odděluje osoby s PN a bez PN a že frekvence souvisí s hodnocením položkových skóre UPDRS. 67

75 5.6 Shrnutí experimentů Ze všech parametrů byly pomocí algoritmu vybrány nezávislé parametry pokles amplitudy v čase a průměrná maximální rychlost otvírání. Tyto parametry nejlépe společně rozlišují osoby s PN a bez PN. Lineární kombinace těchto parametru lineárně koreluje s hodnocením expertů a je vhodná pro kvantifikaci míry bradykineze u pacientů s PN. Na základě analýzy délky záznamu se doporučuje pohyb měřit mezi 11 s a 15 s záznamu. 68

76 6 Závěr Disertační práci jsem začal řešit v září roku Původním cílem disertační práce bylo vytvořit kamerový systém pro analýzu transportní pohybové úlohy, při které pacient přesouval předmět z jednoho místa na druhé. Úloha byla navrhnuta ve spolupráci s dr. Blankou Štorkovou a doc. Irenou Rektorovou z nemocnice u Sv. Anny v Brně. Na končetinu byly umístěny barevné značky a pohyb byl snímaný dvěma standardními kamerami (HD CANON HG10). Systémem bylo možné měřit 3D souřadnice značek v prostoru, ale měření komplikovala různá délka expozice kamer, což způsobovalo rozmazávání značek, nutnost softwarové synchronizace kamer a časově náročné zpracování. Po analýze problémů jsem v roce 2009 začal vyvíjet kamerový systém využívající dvě průmyslové kamery zachytávající odraz IR záření z reflexních značek. Beta verzi systému jsem dokončil v roce Bohužel v té době spolupráce s nemocnicí u Sv. Anny v Brně přestala být aktuální, proto jsme hledali s vedoucím práce dr. Zoltánem Szabó novou spolupráci. Na konci roku 2010 jsme oslovili prof. Evžena Růžičku z Neurologické kliniky 1.lékařské fakulty Univerzity Karlovy a Všeobecné fakultní nemocnice v Praze. Pod vedením prof. Růžičky a za spolupráce jeho týmu jsme specifikovali novou úlohu měření, upravil jsem kamerový systém pro její měření a na Neurologické klinice jsme provedli v letech 2011 a 2012 měření pacientů s Parkinsonovou chorobou a zdravých osob. V roce 2013 jsem zpracoval data a výsledky a popsal je v této disertační práci. V následujících kapitolách shrnuji obsah disertační práce (kap. 6.1), popisuji svojí publikační činnost a účasti na konferencích (kap. 6.2) a diskutuji výsledky a dalším směrováním (kap. 6.3). 6.1 Shrnutí Cílem disertační práce bylo vyvinout objektivní metodu pro hodnocení bradykineze na horních končetině rukou u pacientů s Parkinsonovou nemocí akceptovatelnou v klinické neurologii. Pro hodnocení bradykineze byla navrhnuta úloha klepání prsty, která je součástí UPDRS hodnocení pacientů, a byl zkonstruován kamerový systém měřící 3D souřadnice reflexních značek v prostoru. Kamerový systém je složen ze dvou kamer, dvou IR zářičů a generátoru signálu. Kamerový systém je připojen k počítači (notebooku), který zpracovává obraz z kamer. Díky jednoduché konstrukci je systém mobilní a je možné ho používat v ambulantních podmínkách. Pro funkčnost kamerového systému jsem vyřešil následující problémy: 69

77 6.2 Granty, publikace a ohlasy snadnou kalibraci kamer pomocí šachovnice, při které systém automaticky detekuje šachovnici obrazu (kap ), rychlou extrakci značek v obrazu, která umožňuje zpracování obrazu z kamer v reálném čase (kap. 3.4), sledování a párování značek v obrazu za použití predikce pozice značek a algoritmu pro řešení minimalizačního problému (kap ), ověření funkčnosti systému a jeho porovnání s existujícím řešením (kap. 3.6). Kamerový systém jsem ověřil v klinických podmínkách na zdravých osobách a pacientech s PN. Nejdříve bylo uděláno pilotní měření (kap. 5.1), při kterém byly navrhnuty zkoumané parametry a definována metodika měření bradykineze (kap. 5.2). Před měřením byly definovány klinické hypotézy (kap ) a byl vytvořen webový systém (příloha C) pro hodnocení bradykineze lékařem z videozáznamu. V prostorách Neurologické kliniky 1.LF a VFN bylo naměřeno 22 pacientů s lehkým až středně těžkým postižením Parkinsonovou nemocí, s průměrným Hoehn & Yahr stage 2,05 (v rozmezí 1-2,5), v ON stavu, průměrným věkem 64 (48-82) let a trváním nemoci 9,3 (1-24) let. Pacienty jsem porovnával s 22 odpovídajícími kontrolami s průměrným věkem 66 (41-82) let, bez neurologického nebo psychiatrického onemocnění v anamnéze a bez postižení funkce horních končetin. Na měřeních byly potvrzeny následující klinické hypotézy: 1. Hodnoty poklesu maximálního oddálení a poklesu maximální rychlosti pohybů prstů v čase rozlišují osoby s PN a bez PN (kap. 5.3). 2. Hodnota poklesu maximálního oddálení a rychlosti pohybu se úzce shoduje s příslušným položkovým skóre UPDRS (kap ). 3. UPDRS skóre odráží spíše pokles amplitudy než snížení frekvence v čase (kap ). 4. V prvních 10 pohybech prstů v testu klepání prstů, je možné rozlišit osoby s PN a bez PN (kap. 5.5). Z definovaných parametrů byly algoritmicky vybrány takové nezávislé parametry, které nejlépe popisují bradykinezi, konkrétně to byl parametr poklesu maximálního oddálení prstů a průměrná maximální rychlost otevírání prstů (kap ). Lineární kombinace těchto parametrů nejlépe oddělovala pacienty s PN a zdravé kontroly. Nakonec byla určena délka provádění testu klepání prstů, při které se začne maximálně projevovat bradykineze (kap. 5.5). 6.2 Granty, publikace a ohlasy V první fázi jsem začal vyvíjet kamerový systém, který využíval dvě standardní barevné kamery. Základní principy a implementované metody 3D vidění byly formou 70

78 6.3 Diskuze posteru a sborníkových příspěvků prezentovány na českých studentských konferencích [70, 82, 71, 83]. První výsledky s vyhodnocením 3D pohybů končetin pomocí kamer jsem publikoval v té době recenzovaném časopise Lékař a technika [74] v roce Mnou vyvíjený kamerový systém byl také použit pro určení 3D pozice hlavy, který jsme publikovali v časopise Lékař a technika [69]. Algoritmy zpracování 3D trajektorie pohybu jsem podrobněji rozpracoval a prezentoval na 4th European Conference of the International Federation for Medical and Biological Engineering v Antverpách a již kompletní systém pro měření transportní úlohy jsem prezentoval v roce 2009 na světovém kongresu Medical Physics and Biomedical Engineering. Články byly publikovány ve formě kongresových sborníků [75, 67, 73, 68]. Na tvorbu kamerového systému jsem získal grant IGS ČVUT (2008) č. CTU CTU s názvem Měření a analýza pohybu ruky u parkinsoniků. Kamerový systém využívající dvě standardní kamery jsem také využil pro měření pádu člověka, který následně zpracoval profesor Jan Čulík, výsledky jsme postupně publikovali v roce 2010 na konferencích a v časopisech [65, 66, 63, 64]. Získané zkušenosti jsme využili pro určení rizika pádu u seniorů, systém jsme prezentovali na studentské konferenci ČVUT [79], během tohoto výzkumu byl zkonstruován kamerový systém popsaný v disertační práci. Tvorba kamerového systému byla podpořena grantem SGS10/305/OHK4/3T/17. Kamerový systém popsaný v disertační práci (využívající průmyslové kamery a IR zářiče), jsem prezentoval na 5th European Conference of the International Federation for Medical and Biological Engineering v roce Článek byl recenzován dvěma oponenty, byl kladně hodnocen, a otištěn ve sborníku [76]. V roce 2012 prezentoval prof. Růžička systém na Twenty-second Meeting of the European Neurological Society [81] a v červnu 2013 prezentoval výsledky měření na 17th International Congress of Parkinson s Disease and Movement Disorders v Sydney [80]. Výsledky měření byly velice kladně hodnoceny a profesor Růžička navázal spolupráci s prof. Albertem Espayem, který projevil zájem kamerový systém využívat. V roce 2013 bylo měření podpořené grantem IGA MZ ČR NT /2013 s názvem Analýza bradykineze a poruch řeči u Parkinsonovy nemoci. V následujícím vydání impaktovaného časopisu Radioengineering by měl být otištěn článek s názvem Motion Capture System for Finger Movement Measurement in Parkinson Disease. Článek hodnotili 2 recenzenti s kladnými ohlasy. Momentálně připravuji článek pro časopisu Journal of Neuroscience Methods. V roce 2012 byl kamerový systém zapsán jako užitný vzor číslo [78]. Kamerový systém se také využil v dalších dvou užitných vzorech [86, 85]. 6.3 Diskuze V disertační práci jsem ukázal, že pomocí 3D kamerového měřícího systému lze objektivizovat pohyb nebo určité postižení a na jeho základě určit míru nemoci. Objektivizace pohybů může přispět včasné diagnóze a k jejím objektivnímu zhodnocení. V práci jsem také algoritmicky určil parametry, které popisují bradykinezi. 71

79 6.3 Diskuze Vytipovaní a určení konkrétních parametrů pohybů, které korelují s daným postižení, může přispět k pochopení nemoci, případně k vývoji přesnějších technik jejího zhodnocení. Bradykineze byla změřena na testu klepání prstů, ale stejné parametry by se měly projevovat na ostatních testech UPDRS a chůzi, definování metodik měření a porovnání jednotlivých výsledků může vnést další náhled na souvislost PN s pohybovým systémem člověka. Kamerové systémy, které se v současné době využívají pro měření pohybů, jsou velice robustní (např. systém VICON), potřebují vlastní místnost a jsou finančně nákladné ať už z hlediska pořizovací ceny, tak v nákladu na provoz a údržbu. Kompaktní kamerové systémy měřící 3D pozici značek nebo lidského těla v prostoru se v posledních 5ti letech velice rozvíjí, začínají být dostupnější a jejich využití v praxi díky softwarové podpoře je čím dál snazší. V roce 2012 dodala na trh firma NaturalPoint kamerový systém Optitrack V120:Trio (obr. 6.1)[47], který je konstrukcí a velikostí podobný mému zkonstruovanému kamerovému systému. Systém měří pozici reflexních značek. Kamerový systém jsme na katedru zakoupili a ukázalo se, že je možné s ním měřit pohyby prstů (systém se s naším odchyluje s chybou 1%). Měření bylo ale hodně chybové a ovládání systému nebylo nejjednodušší. K systému byl dodán vývojový balíček, který umožňuje software upravit, použít algoritmy sledování značek a opravy chyb použitý v této práci a upravit uživatelské prostředí tak, aby byla kamera použitelná v klinické praxi. Díky dobrým výsledkům při měření a dostupnosti HW je možné rozšířit měření bradykineze mezi více pracovišť po světě. Obrázek 6.1: Kamerový systém V120:Trio Optitrack od firmy NaturalPoint [47]. V posledních letech vznikají kamerové systémy, které pro měření používají hloubkovou kameru. Výhodou těchto systémů je, že je možné získat celý model měřeného objektu. Prozatím přesnost a vzorkovací frekvence pro objektivní měření není dostačující, ale systémy se postupně zdokonalují. V roce 2014 by měla přijít další verze hloubkové kamery od Intelu, která by měla měřit přímo pozici prstů a ruky s vyšší přesností a vzorkovací frekvencí (60 Hz). Miniaturizace kamery také umožňuje jejich integraci do mobilních zařízení a notebooků. Díky tomu by mohlo být měření pohybů prstů ruky a celé končetiny snadno dostupné a monitorování stavu pacienta by mohlo být prováděno i v domácím prostředí. 72

80 Literatura [1] Agostino, R.; Berardelli, A.; Curry, A.; aj.: Clinical impairment of sequential finger movements in Parkinson s disease. Movement Disorders, ročník 13, č. 3, 1998: s [2] Agostino, R.; Curra, A.; Giovannelli, M.; aj.: Impairment of individual finger movements in Parkinson s disease. Movement Disorders, ročník 18, č. 5, 2003: s [3] Animazoo: [online], URL [4] Arias, P.; Robles-García, V.; Espinosa, N.; aj.: Validity of the finger tapping test in Parkinson s disease, elderly and young healthy subjects: is there a role for central fatigue? Clin Neurophysiology, ročník 123, č. 10, Oct 2012: s , doi: /j.clinph URL [5] Arun, K. S.; Huang, T. S.; Blostein, S. D.: Least-Squares Fitting of Two 3-D Point Sets. IEEE Transactions Pattern Analysis and Machine Intelligence,, č. 5, 1987: s [6] Berardelli, A.; Rothwell, J. C.; Thompson, P. D.; aj.: Pathophysiology of bradykinesia in Parkinson s disease. Brain, ročník 124, č. Pt 11, : s [7] Bouguet, J. Y.: Camera Calibration Toolbox for Matlab. [online], URL [8] Bradski, G.; Kaehler, A.: Learning OpenCV Computer Vision with the OpenCV Library. O Reilly Media, 2008, ISBN [9] Burkard, R.; Dell Amico, M.; Martello, S.: Assignment Problems. Society for Industrial and Applied Mathematics, 2009, ISBN [10] Calautti, C.; Jones, P.; Persaud, N.; aj.: Quantification of index tapping regularity after stroke with tri-axial accelerometry. Brain Research Bulletin, ročník 70, č. 1, 2006: s [11] CV, E.:.Net wrapper to the OpenCV URL 73

81 Literatura [12] Espay, A. J.; Beaton, D. E.; Morgante, F.; aj.: Impairments of speed and amplitude of movement in Parkinson s disease: a pilot study. Mov Disord, ročník 24, č. 7, May 2009: s , doi: /mds [13] Espay, A. J.; Giuffrida, J. P.; Chen, R.; aj.: Differential response of speed, amplitude, and rhythm to dopaminergic medications in Parkinson s disease. Mov Disord, ročník 26, č. 14, Dec 2011: s , doi: /mds [14] Forsyth, D.; Ponce, J.: Computer Vision: A Modern Approach. Prentice Hall, 2003, ISBN [15] Fukawa, K.; Okuno, R.; Yokoe, M.; aj.: Estimation of UPDRS finger tapping score by using artificial neural network for quantitative diagnosis of Parkinson s disease. 2008, s [16] Functional Neuroimaging, C.; Lab, M.: Finger tapper image URL research_fingertapper.jpg [17] Glove, C.: [online], URL [18] Goetz, C.; Stebbins, G.: Assuring interrater reliability for the UPDRS motor section: Utility of the UPDRS teaching tape. Movement Disorders, ročník 19, č. 12, 2004: s [19] Goetz, C. G.; Poewe, W.; Stern, M. B.; aj.: Movement Disorder Society (MDS) - Unified Parkinson s Disease Rating Scale. July 2008, [online]. URL 203%2008%20final.pdf [20] Grandez, K.; Solas, G.; Bustamante, P.; aj.: Sensor device for testing activities in Parkinson and ALS patients [21] Halliday, D.; Resnick, J., R.and Walker: Fyzika 1. Mechanika. Prometheus, 2000, ISBN ISBN , 356 s. [22] Hartley, R.; Zisserman, A.: Multiple View Geometry in Computer Vision. Cambridge University Press, 2003, ISBN [23] Heikkila, J.; Silven, O.: A four-step camera calibration procedure with implicit image correction. In Proc. IEEE Computer Society Conf Computer Vision and Pattern Recognition, 1997, s [24] Hejdukova, B.; Hosseini, N.; Johnels, B.; aj.: Manual transport in Parkinson s disease. Mov. Disord., ročník 18, č. 5, 2003: s , ISSN

82 Literatura [25] Heldman, D. A.; Giuffrida, J. P.; Chen, R.; aj.: The modified bradykinesia rating scale for Parkinson s disease: reliability and comparison with kinematic measures. Mov Disord, ročník 26, č. 10, Aug 2011: s , doi: / mds [26] Hendl, J.: Přehled statistických metod. Portál, 2012, ISBN [27] van Hilten, J. J.; van Eerd, A. A.; Wagemans, E. A.; aj.: Bradykinesia and hypokinesia in Parkinson s disease: what s in a name? J Neural Transm, ročník 105, č. 2-3, 1998: s [28] Hoff, J. I.; van den Plas, A. A.; Wagemans, E. A.; aj.: Accelerometric assessment of levodopa-induced dyskinesias in Parkinson s disease. Movement Disorders, ročník 16, č. 1, Jan 2001: s [29] Homann, C.; Suppan, K.; Wenzel, K.; aj.: The bradykinesia akinesia incoordination test (BRAIN TEST(C)), an objective and user-friendly means to evaluate patients with parkinsonism. Movement Disorders, ročník 15, č. 4, 2000: s [30] Jankovic, J.: Handbook of Parkinson s disease, kapitola Pathophysiology and clinical assessment of motor symptoms in Parkinson s disease. Marcel Dekker, Inc, 1992, s [31] Jobbágy, A.: Early Diagnosis and Objective Assessment of Patients with Neural and Cardiovascular Diseases. PhD dissertation, Budapest University of Technology and Economics, [32] Jobbágy, A.; Harcos, P.; Karoly, R.; aj.: Analysis of finger-tapping movement. Journal of Neuroscience Methods, ročník 141, č. 1, 2005: s [33] Kang, S. Y.; Wasaka, T.; Shamim, E. A.; aj.: Characteristics of the sequence effect in Parkinson s disease. Mov Disord, ročník 25, č. 13, Oct 2010: s , doi: /mds [34] Kanjilal, P.; Palit, S.: The singular value decomposition - Applied in the modelling and prediction of quasiperiodic processes. Signal Processing, ročník 35, č. 3, 1994: s [35] Keresztenyi, Z. b.; Valkovia, P. c.; Eggert, T.; aj.: The time course of the return of upper limb bradykinesia after cessation of subthalamic stimulation in Parkinson s disease. Parkinsonism and Related Disorders, ročník 13, č. 7, 2007: s [36] Kim, J. W.; Kwon, Y. R.; Eom, G. M.; aj.: Quantification of Bradykinesia Using Gyro-Sensors during Clinical Motor Examination in Idiopathic Parkinsonś Disease Patients. In 6th World Congress of Biomechanics (WCB 2010). August 1-6, 75

83 Literatura 2010 Singapore, IFMBE Proceedings, ročník 31, editace R. Magjarevic; C. T. Lim; J. C. H. Goh, Springer Berlin Heidelberg, 2010, ISBN , s [37] Kim, J.-W.; Lee, J.-H.; Kwon, Y.; aj.: Quantification of bradykinesia during clinical finger taps using a gyrosensor in patients with Parkinsonś disease. Med Biol Eng Comput, ročník 49, č. 3, Mar 2011: s , doi: /s [38] LeMoyne, R.; Coroian, C.; Mastroianni, T.: Quantification of Parkinson s disease characteristics using wireless accelerometers. In Complex Medical Engineering, CME. ICME International Conference on, 2009, s. 1 5, doi: /ICCME [39] Lukotronic: [online], URL [40] Mathworks: Generalized linear model regression URL [41] Mathworks: Receiver operating characteristic URL [42] Mathworks: Sequential feature selection URL [43] Mathworks: Wilcoxon rank sum test URL [44] Microsoft: Kinect for Windows URL [45] MicroStrain: [online], URL [46] MotionAnalysis: [online], URL [47] Naturalpoint: OptiTrack. [online], URL [48] Okuno, R.; Yokoe, M.; Akazawa, K.; aj.: Finger taps movement acceleration measurement system for quantitative diagnosis of Parkinson s disease. Conf Proc IEEE Eng Med Biol Soc, ročník Suppl, 2006: s , doi: / IEMBS [49] Panasonic: 3D Image Sensor. [online], URL en/index.html 76

84 Literatura [50] Patel, S.; Sherrill, D.; Hughes, R.; aj.: Analysis of the Severity of Dyskinesia in Patients with Parkinson s Disease via Wearable Sensors. In Proceedings of the International Workshop on Wearable and Implantable Body Sensor Networks, Washington, DC, USA: IEEE Computer Society, 2006, ISBN , s , doi: /bsn [51] Rodrigues, J. P.; Mastaglia, F. L.; Thickbroom, G. W.: Rapid slowing of maximal finger movement rate: fatigue of central motor control? Exp Brain Res, ročník 196, č. 4, Jul 2009: s , doi: /s [52] Roth, J.; Sekyrová, M.; Růzička, E.: Parkinsonova nemoc. Maxdorf, čtvrté vydání, 2009, ISBN , 224 s. [53] Růžička, E.; Roth, J.; Kanovský, P.: Parkinsonova nemoc a parkinsonské syndromy. I., Extrapyramidová onemocnění I. Praha : Galén, 2000, ISBN [54] Seidl, Z.; Obenberger, J.: Neurologie pro studium i praxi. Grada Publishing, 2004, ISBN [55] Sipser, M.: Introduction to the Theory of Computation. PWS Pub. Co., 1996, ISBN X. [56] Sonka, M.; Hlavac, V.; Boyle, R.: Image Processing Analysis and Machine Vision. Thompson Learning, 2008, ISBN [57] Source, T. I.: DMK 21BF04 camera URL firewire-ccd-mono/dmk21bf04/ [58] Stroebel, L.: View Camera Technique. Focal Press, 1999, ISBN [59] Tesař, J.: Fit me - Kontrola cviků v domácím prostředí pomocí hloubkové kamery. Diplomová práce, České vysoké učení technické v Praze, [60] Uhrikova, Z.; Ruzicka, E.; Hlavac, V.; aj.: TremAn: A tool for measuring tremor frequency from video sequences. Mov. Disord., ročník 25, č. 4, 2010: s , ISSN [61] Vicon: Motion Capture Systems from Vicon URL [62] Yokoe, M.; Okuno, R.; Hamasaki, T.; aj.: Opening velocity, a novel parameter, for finger tapping test in patients with Parkinson s disease. Parkinsonism & Related Disorders, ročník 15, č. 6, 2009: s , ISSN

85 Publikace autora [63] Čulík, J.; Szabó, Z.; Krupička, R.: Biomechanics of Human Gait Simulation. In World Congress on Medical Physics and Biomedical Engineering, September 7-12, 2009, Munich, Germany, Berlin: Springer Science+Business Media, 2009, ISBN , ISSN , s [64] Čulík, J.; Szabó, Z.; Krupička, R.: Human Downfall Simulation. In RECENT ADVANCES IN MECHATRONICS: , Heidelberg: Springer, 2009, ISBN , s [65] Čulík, J.; Szabó, Z.; Krupička, R.: External Forces in Case of Human Downfall. Physiological Research, ročník 59, č. 5, 2010: str. 35P, ISSN [66] Čulík, J.; Szabó, Z.; Krupička, R.: Human Downfall Simulation. In ENGINEE- RING MECHANICS 2010, Praha: Ústav termomechaniky AV ČR, 2010, ISBN , str. 19. [67] Janda, P.; Hozman, J.; Jiřina, M.; aj.: Contactless Head Posture Measurement. In IFMBE Proceedings, Berlin: Springer, 2008, ISBN , ISSN , s [68] Janda, P.; Krupička, R.: Evaluation of Head Position and Related Parameters in Neurology. In Workshop 09 CTU REPORTS, Prague: CTU, 2009, ISBN , s [69] Janda, P.; Krupička, R.; Szabó, Z.; aj.: Contact-less Measurement of Head Posture for Objectification and Quantification of CNS Disorders. Lékař a technika, ročník 38, č. 2, June 2008: s , ISSN [70] Krupička, R.; Janda, P.: Acquiring and Processing of the 3D Motion in Medicine by Means of Cameras. In Poster 2008, Prague: CTU, Faculty of Electrical Engineering, [71] Krupička, R.; Janda, P.: Practical Approaches of Computer Vision in Robotics. In Poster 2008, Prague: CTU, Faculty of Electrical Engineering, [72] Krupička, R.; Janda, P.: Hand Movement Analysis of Parkinsonians. In Workshop 09 CTU REPORTS, Prague: CTU, 2009, ISBN [73] Krupička, R.; Janda, P.; Szabó, Z.: Motion Capture of Patients with Neurological Disorders by HD Digital Cameras. In World Congress on Medical Physics 78

86 Publikace autora and Biomedical Engineering, September 7-12, 2009, Munich, Germany, Berlin: Springer Science+Business Media, 2009, ISBN , ISSN , s [74] Krupička, R.; Janda, P.; Szabó, Z.; aj.: Evaluation of Periodic Hand Motion in Parkinson s Disease. Lékař a technika, ročník 38, č. 2, June 2008: s , ISSN [75] Krupička, R.; Szabó, Z.; Janda, P.: Parametric Representation of Hand Movement in Parkinson s Disease. In IFMBE Proceedings, Berlin: Springer, 2008, ISBN , ISSN , s [76] Krupička, R.; Szabó, Z.; Jiřina, M.: Motion Camera System for Measuring Finger Tapping in Parkinson s Disease. In IFMBE Proceedings, Berlin: Springer Science+Business Media, 2011, ISBN , ISSN , s URL [77] Krupička, R.; Szabó, Z.; Kokh, V.; aj.: Quantitative Evaluation of Motor Functions Based on Periodic Upper Limb Movement. Physiological Research, ročník 59, č. 5, 2010: str. 39P, ISSN [78] Krupička, R.; Szabó, Z.; Vítečková, S.; aj.: Zařízení pro měření bradykineze pohybů prstů horní končetiny URL uv pdf [79] Krupička, R.; Vítečková, S.; Kokh, V.; aj.: Comprehensive Information System for Functional Investigation of Fall Risk in Elderly. In Workshop 2011,CTU Student Grant Competition in 2010 (SGS 2010), Praha: VTVS, [80] Ruzicka, E.; Krupicka, R.; Zarubova, R.; aj.: BradykAn: A New Reliable Tool For Measuring Bradykinesia. In MDS 17th International Congress of Parkinson s Disease and Movement Disorders, ročník 28, Sydney, Australia June 16-20, 2013.: Movement Disorders 2013, [81] Ruzicka, E.; Sturcova, Z.; Krupička, R.; aj.: Video as a tool for quantitative analysis of tremor and bradykinesia. In Twenty-second Meeting of the European Neurological Society, TIERGARTENSTRASSE 17, D HEIDELBERG: European Neurological Society, 2012, ISSN , str. S5. [82] Szabó, Z.; Krupička, R.; Rozinek, O.: Improved Marker Detection for Hand Movement Analysis in Parkinson s Disease. In Analysis of Biomedical Signals and Images; Biosignal 2008 proceedings, Brno: VUTIUM Press, 2008, ISBN , ISSN X. 79

87 Publikace autora [83] Szabó, Z.; Krupička, R.; Rozinek, O.: Technical Background of 3D Motion Analysis of Patients with Neurological Diseases. In IX. International Conference Symbiosis 2008, Gliwice: Silesian Technical University, 2008, s [84] Vítečková, S.; Jiřina, M.; Krupička, R.: Exoskelety a aktivní ortézy dolních končetin: přehled. Pohybové ústrojí. Pokroky ve výzkumu, diagnostice a terapii, ročník 18, č. 3+4, 2011: s , ISSN [85] Vítečková, S.; Kauler, J.; Krupička, R.; aj.: Zařízení pro bezdrátové ovládání robotické paže URL &lan=cs [86] Vítečková, S.; Kauler, J.; Krupička, R.; aj.: Zařízení pro měření kompenzačních pohybů při chůzi, zejména po nečekané perturbaci URL uv pdf 80

88 A Uživatelské rozhraní aplikace pro snímání pohybu Aplikaci jsem vyvinul a otestoval pro 32 bitový operační systém Microsoft Windows 7, ale je kompatibilní i s Windows Vista a XP. Aplikace pro snímání pohybu se spouští souborem mvision.exe a je distribuována pod open source licencí GPL V2. Pro získání obrazu z kamer využívá knihovnu funkcí firmy Imaging Source a je kompatibilní se všemi kamerami této firmy. U firmy Imaging Source lze také zakoupit distribuci knihovny, která umožňuje připojení jakékoliv kamery. Při spuštění programu se zobrazí hlavní okno s možností přidat a vybrat kamery, které chceme používat pro snímání, s možností nastavení jejich frekvence. Stejná frekvence musí být také nastavena na generátoru signálu. Aplikace je omezena pro konkrétní použití pouze dvou kamer. Obrázek A.1: Hlavní okno aplikace 1 - přídání a výběr kamer 2 - spuštění kamer a záznamu 3 - načtení výsledků měření 4 - informace o měření (vzdálenost a pozice značek) 5 - kalibrační menu 6 - zobrazení scény Při přidání kamery se zobrazí nové okno s obrazem z kamery (viz obr. A.2). Obraz z kamery se dá vypnout nebo lze přepnout do binárního pohledu, ve kterém se 81

89 Uživatelské rozhraní aplikace pro snímání pohybu zobrazuje prahovaná scéna podle nastavené hodnoty prahu (posuvník pod obrazem kamery) a podle nastavené expozice (druhý posuvník). Lze také zobrazit zaškrtnutím políčka show centroids nalezené body s jejich středy a opsanými kružnicemi. U každé kamery je také napsána reálná frekvence snímání a čas v ms na zpracování jednoho snímku. (a) Binární mód - zobrazení obrazu po prahová (b) Kalibrace šachovnicí Obrázek A.2: Vedlejší okno aplikace 1 - typ zobrazení 2 - frekvence, čas zpracování 1 snímku 3 - kalibrační tlačítka 4 - posuvníky k nastavení hodnoty prahu a expozice 5 - vlastnosti kamery Před započetím prvního měření je potřeba kamery zkalibrovat. Při kalibraci je nutné nejdříve nakalibrovat samotné kamery tlačítko Calibrate v sekci 2D Calibration. Pro kalibraci se využívá šachovnice s poli velkými 3 cm. Šachovnicí je potřeba pohybovat v zorném poli kamery. Kdykoliv je šachovnice detekována, zobrazí se červené pozice zobrazující rohy. Kalibrace je automaticky ukončena při získání dostatečného počtu bodů. Po skončení kalibrace je možné uložit parametry tlačítkem save. Parametry kalibrace jsou pak automaticky načteny po opětovném spuštění aplikace. Po kalibraci jednotlivých kamer je potřeba kalibrovat jejich vzájemnou pozici, kalibrace se spouští tlačítkem Calibrate v hlavní aplikaci. Opět je nutné ka- 82

90 Uživatelské rozhraní aplikace pro snímání pohybu merám ukázat šachovnici v různých pozicích, ale tentokrát musí být v zorném poli všech kamer. Výsledky kalibrace se dají opět uložit a poslední záznam je automaticky načten při spuštění aplikace. Pokud je již systém kalibrován a není přenášen či není měněna pozice kamer nebo zaostření, není ho potřeba dále kalibrovat. Jakmile jsou kamery zkalibrovány, je možné spustit měření tlačítkem Start v hlavním okně aplikace. Kamery se inicializují a nastaví se na snímání obrazu. Tzn. nastaví se práh, vypne se automatická expozice a nastaví se na pevnou hodnotu. Následně lze spustit měření tlačítkem Record. Jakmile jsou značky detekované, v hlavním okně se zobrazí jejich vzdálenost a souřadnice x, y, z. Pod vzdáleností je zobrazený ještě čas posunutí snímků u jednotlivých kamer, počet přijatých snímků a počet nepřijatých snímků. Rozmístění jednotlivých ovládacích prvků a jejich popis je zobrazený na obrázku A.2 a obrázku A.1. Obrázek A.3: Výsledek měření Po měření se zobrazí výsledky měření (viz obr. A.3) a výsledek je uložen automaticky do souboru se jménem obsahující datum a čas měření s koncovkou.dat. Výstupem je textový soubor, který obsahuje na každém řádku souřadnice značek a čas záznamu v ms. Konkrétně soubor obsahuje řádky float hodnot oddělených mezerami: čas x 1 y 1 z 1 x 2 y 2 z 2, kde hodnoty jsou souřadnice první a druhé značky v cm. Souřadnice jsou vzhledem k hlavní kameře s osou z od kamery, x vpravo v obraze po horizontále, y nahoru v obraze po vertikále. 83

91 B BradykAn - Aplikace pro zpracování pohybových dat Aplikace BradykAn byla vyvinuta v prostředí MATLAB a slouží pro zpracování a analýzu záznamu pohybu značek. Aplikace je zobrazena na obrázku B.1. V obrázku jsou označené části písmeny A - I, na které v následujícím textu odkazuji. V aplikaci lze načíst data z vyvinuté kamerového systému a z kamerového systému firmy Naturalpoint. Uložené soubory je možné načíst pomocí tlačítka Add (F). Načtené soubory se zobrazí v seznamu (A), ve kterém se lze pohybovat pomocí šipek, mazat jednotlivé záznamy pomocí klávesy DEL a pomocí SHIFT nebo CTRL označit více položek. Obrázek B.1: Editační okno systému BradkAn Při prvním načtení je vhodné záznam zkontrolovat, jestli neobsahuje chyby. Pokud obsahuje pár drobných chyb, lze je odstranit tlačítkem Clear Errors (E). Pokud jsou chyby závažnější a měřili jsme pohyb paralelně ještě jiným kamerovým systémem, lze oba záznamy v seznamu označit, zarovnat pomocí tlačítka Align a odstranit chyby pomocí tlačítka Repair (E). Tlačítko Repair následně opraví oba záznamy, tak že vybere v chybové části vždy část, která je v pořádku. Záznam je také možné oříznout, levé editační okénko obsahuje čas začátku záznamu a pravé označuje délku (G). Při změně hodnot se přímo mění zobrazený 84

92 BradykAn - Aplikace pro zpracování pohybových dat záznam. Záznam lze pak uložit tlačítkem Save Data As, který uloží pouze vybranou položkou nebo tlačítkem Save All (F), který uloží všechny načtená měření. Trajektorii lze také uložit jako obrázek (Save to Image) a vygenerovat z ní video (Render Video). Opravené a ořezané záznamy lze zpracovat tlačítkem Process. Po zmáčknutí tlačítka se všechna data zpracují a vypočtou se parametry pohybu. U vzdálenosti prstů (F) se červenými hvězdičkami zobrazí detekovaná maxima oddálení prstů. V okně (C) se může pomocí zaškrtávacích políček (D) zobrazit vzdálenost, frekvence, rychlost a pokles vzdálenosti prstů jako spojitý (time) nebo sloupcový (peaks) graf. Výsledky jsou normované, aby je bylo možné zobrazit v jednom grafu. Vypočtené parametry se zobrazují v části (H) a je možné je exportovat do excelovské tabulky pomocí tlačítka Data Export (I). 85

93 C Webová portál pro hodnocení pohybu z videozáznamu. Pro hodnocení video záznamu jsem vytvořil pomocí technologie ASP.NET webový portál. Adresa portálu je Portál je optimalizovaný pro operační systém Microsoft Windows a prohlížeč Internet Explorer. Obrázek C.1: Webový portál pro hodnocení pohybů - stránka s hodnocením pohybu Při prvním použití je nutné, aby se uživatel zaregistroval (pod položkou Log On, odkaz register). Následně se může přihlásit a automaticky získá práva na hodnocení záznamů. Záznamy se hodnotí v záložce PD ranking (viz obr. C.1) celou hodnotou v rozmezí 0-4. Pokud se záznam v pořádku ohodnotí, je nabídnuto automaticky další měření. Ve webových stránkách je také položka PD Ranking 5s, kde se hodnotí prvních nebo posledních 5s záznamu. Tato položka slouží pro další výzkum, který není součástí této disertační práce. 86

94 Webová portál pro hodnocení pohybu z videozáznamu. Hodnocení videí je možné zkontrolovat a případně upravit (záložka Ranked Videos viz obr. C.2). Všechny změny jsou logovány a je možný jen určitý počet úprav. Při přihlášení v roli výzkumník, lze exportovat hodnocení vybraných expertů do excelu a následně zpracovávat (záložka Browse All viz obr. C.3). Obrázek C.2: Webový portál pro hodnocení pohybů - přehled hodnocení jednotlivých záznamů Obrázek C.3: Webový portál pro hodnocení pohybů - export jednotlivých hodnocení. 87