České vysoké učení technické v Praze. Měření a analýza pohybu ruky u parkinsoniků

Transkript

1 České vysoké učení technické v Praze Fakulta biomedicínského inženýrství Katedra biomedicínské informatiky Měření a analýza pohybu ruky u parkinsoniků Teze disertační práce Doktorský studijní program: Biomedicínská a klinická technika Listopad 2013

2

3 Disertační práce byla vytvořena během postgraduálního studia na Katedře biomedicínské techniky Fakulty biomedicínského inženýrství Českého vysokého učení technického v Praze. Doktorand: Vedoucí: Vedoucí specialista: Mgr. Radim Krupička Katedra biomedicínské informatiky Fakulta biomedicínského inženýrství, ČVUT v Praze Nám. Sítná 3105, Kladno, Česká republika Doc. RNDr. Ing. Marcel Jiřina, Ph.D. Katedra biomedicínské informatiky Fakulta biomedicínského inženýrství, ČVUT v Praze Nám. Sítná 3105, Kladno, Česká republika Ing. Zoltán Szabó, Ph.D. Katedra biomedicínské informatiky Fakulta biomedicínského inženýrství, ČVUT v Praze Nám. Sítná 3105, Kladno, Česká republika Oponenti:

4 Termín obhajoby disertační práce: Obhajoba práce proběhne dne... v... před komisí sestavenou oborovou radou pro doktorský studijní program Biomedicínská a klinická technika v místnosti..., v... patře Fakulty biomedicínského inženýrství ČVUT v Praze, Nám. Sítná 3105, Kladno. Prof. Ing. Peter Kneppo, DrSc. Předseda oborové rady Fakulta biomedicínského inženýrství ČVUT v Praze Nám. Sítná 3105, Kladno Bližší informace o obhajobě disertační práce jsou k dispozici na sekretariátu děkana FBMI, ČVUT v Praze, Nám. Sítná 3105, Kladno.

5 Obsah 1 Stav a analýza řešené problematiky Parkinsonova nemoc Přístrojové měření a objektivizace Parkinsonovy nemoci Shrnutí Cíle disertační práce 8 3 Kamerový systém pro měření pohybu Pohybová úloha a požadavky na měřící systém Hardware, konstrukce systému a získání obrazu Extrakce značek a určení prostorové polohy značek Validace systému Parametry pohybu a metodika měření 18 5 Experimenty a výsledky Porovnání pacientů s kontrolami Korelace parametrů Výběr nezávislých parametrů Analýza délky záznamu Závěr Shrnutí Přispění práce Granty, publikace a ohlasy Literatura 30 Publikace 34 i

6

7 1 Stav a analýza řešené problematiky 1.1 Parkinsonova nemoc Parkinsonova nemoc (PN) je degenerativní, progresivní onemocnění centrální nervové soustavy, jehož příčinou je postupný zánik mozkových buněk produkující neurotransmiter dopamin v subtantia nigra (nachází se v tzv. bazálních gangliích ve středním mozku a hraje významnou roli v řízení pohybu). Výsledkem je nedostatek dopaminu ve striatu a následné příznaky PN v podobě tzv. parkinsonského syndromu (PS), které typicky jsou klidový třes (tremor), ztuhlost svalů (rigidita), zpomalení pohybů (bradykineze) a poruchy stoje a chůze [18]. Nemoc se vyskytuje po 50. roce věku, i když první příznaky onemocnění se často objevují už od 40. roku. Prevalence onemocnění je 1 pacient na 1000 obyvatel a obyvatel nad 60 let již 1 nemocný na 100 obvatel. Etiologie onemocnění není známa, existují teorie o genetickém defektu bílkovinných komponent neuronů, eventuálně enzymu mající vliv na tvorbu dopaminu. Parkinsonovu nemoc nelze vyléčit, ale lze dlouhodobě potlačit či omezit její příznaky. Hlavním symptomatickým léčebným postupem u PN je substituce dopaminu. Obvykle po nasazení léků je velmi příznivá klinická odezva, ale po 5-10 letech se objevují komplikace léčby, které postupně zhoršují celkový stav nemocného. PN vede k celkovému chátrání nemocného až k plné invaliditě. Příčinou smrti pacienta je většinou doprovázející onemocnění [29, 30]. Příznaky Parkinsonovy nemoci Nemoc se začíná klinicky projevovat až po zániku více než 20% neuronů v pars compacta substantia nigra. Často již před klinickým propuknutím nemoci mívá pacient určité necharakteristické obtíže, jako jsou bolesti zad a ramen, pocity tíže končetin, ztráta výkonnosti, poruchy spánku, monotónní řeč, zácpa, snížení sexuální výkonnosti atd. Tyto příznaky doprovázejí velmi mnohá onemocněním, a nejsou tedy pro lékaře dobrým vodítkem ke stanovení správce diagnózy. Teprve později (po několika měsících až letech) se projevují čtyři typické a základní příznaky nemoci: Třes (tremor) je nejvíce viditelný a dobře známý příznak PN, ale je nutné zdůraznit, že bývá nespecifickým příznakem řady onemocnění. Třes typický pro PN se objevuje především na končetinách, hlava je třesem postižena velmi vzácně. Začíná obvykle na prstech horní končetin, a to výrazněji na jedné z končetin. Třes je klidového charakteru s frekvencí kolem 4-6Hz (největší při klidu) a mizí ve spánku. Svalová ztuhlost (rigidita) se projevuje abnormálním zvýšením přirozeného svalového napětí. Ztuhlý sval klade při činnosti zvýšený odpor a začíná většinou 1

8 Kapitola 1 Stav a analýza řešené problematiky nesymetricky. Svalová ztuhlost je plastického charakteru, v celém rozsahu pohybu a je možné ji zjistit pasivním pohybem končetiny. Ani tento příznak není zcela typický jen pro PN, ale pečlivým vyšetřením jej lze obvykle bezpečně odlišit od jiných příčin svalové ztuhlosti. Zpomalenost pohybů (bradykineze) je vedoucím příznakem PN [5, 15], pozorujeme celkové zpomalení pohybů a omezení automatizovaných pohybů. Celá spontánnost pohybů je zpomalená a nevýrazná. Často se vyskytují postupné omezení až náhlé přerušení (zamrznutí) pohybu. Nemocný např. při chůzi strne, ztuhne a není chvíli schopen pohybu tam ani zpět. Projevy jsou nezávislé na míře svalové ztuhlosti. Poruchy stoje a chůze jsou nedílnou součástí projevů PN. Charakteristické je především sehnuté držení trupu, šíje a pokrčení končetin. U pacientů s pokročilejší nemocí je typická chůze o drobných, šouravých krůčcích s nejistými, pomalými otočkami, kdy může docházet i k poruše rovnováhy až někdy k pádu. Existuje řada dalších příznaků PN, jako jsou např. poruchy řeči, porucha písma, neklid končetin při usínání, poruchy vegetativního nervstva, psychické problémy, ale protože nesouvisí přímo s pohybem a jsou sekundárního charakteru, nebudeme se jimi zabývat. Diagnóza a klinické ohodnocení UPDRS Neexistuje žádná metoda, která by s určitostí potvrdila diagnózu Parkinsonovy nemoci. Při jejím stanovování jde o to vyloučit všechny ostatní možné příčiny neurologické poruchy. Základem diagnostiky PN je podrobné neurologické vyšetření, při kterém lékař zkoumá informace o vzniku, charakteru a vývoji obtíží, všímá si také chůze, pohybů a celkového vystupování nemocného. Výsledky může také potvrdit odběr krve a její biochemické, hematologické a mikrobiologické vyšetření. Ke správné diagnóze se pro zhodnocení funkce mozku používá EEG vyšetření a pro zobrazení jeho struktury počítačovou tomografii (CT) nebo magnetickou rezonanci (MR) [29]. Pro hodnocení PN se kromě klinického vyšetření pacienta používá unifikovaná škála pro hodnocení Parkinsonovy nemoci (UPDRS - Unified Parkinson s Disease Rating Scale). UPDRS je složeno přibližně z 50 otázek, kde každá může být ohodnocena 0-4 body (0 - nejlepší výsledek, 4 - nejhorší). Škála je komplexní a hodnotí se v ní psychika, aktivity běžného života, hybnost a komplikace nemoci. Během několika let vzniklo několik úprav a verzí UPDRS. Přestože jednotlivé verze jsou si velice podobné, v Movement disorder society vytvořili standard unifikované škály pro hodnocení Parkinsonovy nemoci - UPDRS v2 [10]. Unifikovaná škála pro hodnocení Parkinsonovy nemoci obsahuje mj. standardizované pohybové úlohy, které pacient provádí během vyšetření, a které jsou následně ohodnoceny lékařem. Konkrétně se jedná o tyto testy: Klepání prsty - pacient rychle a opakovaně klepe palcem o špičku ukazováku s co největší amplitudou a frekvencí. Pohyb provádí každou rukou zvlášť. Pohyby dlaní - pacient rychle opakovaně rozvírá a zavírá dlaň s nataženými prsty s co největší amplitudou a frekvencí. Pohyb provádí každou rukou zvlášť. 2

9 1.2 Přístrojové měření a objektivizace Parkinsonovy nemoci Alternující pohyby rukou - pacient rychle a opakovaně provádí pronaci a supinaci v horizontální nebo vertikální poloze s co největší amplitudou a frekvencí. Pohyb provádí oběma rukama zároveň. Pohyby nohy - pacient rychle a opakovaně s co největší amplitudou poklepává špičkou nohy o zem, pata zůstává opřena. Vstávání ze židle - pacient se pokusí vstát ze židle s rovným opěradlem, ruce má přitom zkřížené na prsou. Během vyšetření hybnosti se také navíc posuzuje rigidita končetin, chůze, držení postavy ve stoji, klidový třes, akční nebo posturální třes rukou, posturální stabilita, bradykineze a hypokineze těla, mimika a řeč. 1.2 Přístrojové měření a objektivizace Parkinsonovy nemoci Posouzení Parkinsonovy nemoci a vyhodnocení UPDRS je závislé na vyšetření specialistou neurologem, který dokáže na základě svých zkušeností správně ohodnotit postižení pacienta. V klinické praxi prozatím neexistuje pro objektivní posouzení PN žádná používaná metoda, která by dokázala zhodnotit míru postižení, případně ohodnotit jednotlivé testy. S pokrokem techniky a metod snímání pohybu se v posledních letech výzkumu potvrzuje, že objektivizace PN na základě pohybu je možná. Během posledních 15 let byly provedeny testy na různých pohybových úlohách s různým hardwarem pro snímání pohybu. Většinou se přístrojově analyzují standardní pohyby z UPDRS, ale pro specializovaný hardware nemusí být tyto pohyby vhodné, proto například Homann [17] používal počítačovou klávesnici pro měření následujících parametrů: kinesia score - počet úhozů za minutu, akinesia time - čas jak dlouho trvá držení klávesy, dysemetria score - vážené ohodnocení pohybů generované z chybných úhozů a opravené rychlostí stisku a arhytmia score. Tyto parametry významně korelovaly s UPDRS. Odlišný pohybový test definovala a pomocí kamerového systému analyzovala ve své práci Hejduková [13]. Jednalo se o manuální transportní úlohu, kdy pacient musel přesunout objekt z jednoho místa na druhé. Celý pohyb byl zaznamenáván jednou kamerou a byla vyhodnocována hybnost paže. Rozlišením abnormálních pohybů v běžném pacientově životě se zabýval Hoff [16]. Ve své práci analyzoval pohyby pomocí akcelerometrů připevněným k pacientovi. Další parametr, který se posuzuje v UPDRS, je třes. Třes vyhodnotil s pomocí bezdrátových akcelerometrů ve své práci například Lemoyne [25]. Akcelerometry však svojí váhou můžou samotný pohyb ovlivnit, a proto je vhodnější používat pro detekci pohybů kamerový systém. Nástroj pro výpočet frekvence třesu z videa vyvinula Uhrikova [34]. V obou případech byla pro výpočet frekvence použita Fourierova transformace. 3

10 Kapitola 1 Stav a analýza řešené problematiky Z pohybových úloh z UPDRS Goetz a kol. [9] považuje test klepání prsty za nejobtížněji vyhodnotitelný, ale jako nejlepší ukazatel Parkinsonovy choroby. Ke stejnému názoru došel i Agostino [1], který analyzoval klinické hodnocení úloh klepání prsty, pohyby dlaní a alternující pohyby rukou. Výsledky výzkumu ukázaly, že téměř všichni pacienti měli problémy s prováděním všech 3 pohybových úloh, přičemž největší problémy měli s úlohou klepání prsty a jeho korelace s PN byla významně nejvyšší. (a) Schéma připevnění snímačů na prsty a k počítači v práci Yokoeho [35]. (b) Umístění elektromagnetů na prsty z práce Espaye [6]. Obrázek 1.1: Měření úlohy klepání prsty pomocí akcelerometrů a elektromagnetů Pro analýzu úlohy klepání prsty jsou nejvíce rozšířené gyroskopy a akcelerometry i přes to, že hmotnost zařízení větší než 1g připevněných na prstech výrazně ovlivňuje pohyb [27]. Akcelerometry pro analýzu frekvence a rytmu klepání prsty ve své práci úspěšně použil Calutti [4]. Yokoe [35] k akcelerometrům přidal dotykový senzor, který detekoval spojení prstů (viz obr. 1.1a). Pomocí tohoto zařízení hledal parametry v úloze klepání prsty korelující s PN. Nakonec popsal nový parametr maximální rychlost otevírání prstů, který koreluje s hodnocením testu klepání prsty v UPDRS. Akcelerometry pro extrakci dalších 4 parametrů, které definují pohyby prstů, použil ve své práci Fukawa [7]. Pro odhadnutí hodnocení UPDRS použil tří vrstvou neuronovou síť na základě těchto parametrů: standardní odchylka frekvence stisknutí prstů, průměrná maximální rychlost otevření prstů, průměrná maximální vzdálenost palce a ukazováku, průměrná síla při kontaktu prstů. Akcelerometry byly použity ještě v několika pracích, ale vzhledem k jejich velikosti a hmotnosti byly použity spíše pro snímání pohybů končetin a celého těla pacienta [28]. Espay [5] použil ve své práci elektromagnetické zařízení Fastrak (viz obr. 1.1b) pro měření pohybu od firmy Pholmeus k dokázání, že amplituda rozevírání prstů a jejich rychlost jsou na sobě nezávislé veličiny a každá z nich udává jinou charakteristiku Pakrinsonovy choroby. Zařízení měří pozici elektromagneticky pozici senzorů v prostoru, které jsou drátově propojeny se zařízením. Ve své další práci [6] definoval pokles amplitudy a rychlosti a dokázal, že zlepšení těchto parametrů reaguje na 4

11 1.2 Přístrojové měření a objektivizace Parkinsonovy nemoci medikaci koreluje s PN. Obrázek 1.2: Finger Tapper pro určení frekvence poklepů [8]. Vzhledem k váze akcelerometrů a jejich omezení (možnost měření pouze akcelerace pohybu ve směrech pohybu) se hledaly alternativy k měření pohybů prstů. Pro určování síly pacientova úchopu a pro úlohu klepání prsty použil Grandez [11] speciální rukavici vybavenou silovými senzory. Pohyby prstů a pronaci a supinaci paže zkoumal Keresztenyi [22] pomocí speciálního ultrazvukového zařízení, které spojitě vypočítávalo 3 dimenzionální pozice malých značek připevněné k prstům a napájené pomocí flexibilního kabelu. S tímto zařízením zkoumal amplitudu a rychlost pohybu prstů a pronaci a supinaci ruky při stimulaci mozkové aktivity pomocí bilaterálních STN elektrod. Keresztenyi zjistil, že při vypnuté stimulaci u pacientů s PN, amplituda a rychlost pohybů významně klesla, ale frekvence pohybu zůstala na stejné úrovni. Pro měření úhlové rychlosti použil Kim [23] gyroskopy (viz obr. 1.3), kterými měřil úhlové rychlosti v kloubech prstů při úloze klepání prsty a chodidla při úloze pohyby nohou. V další práci Kim [24] použil zařízení pro objektivizaci bradykineze, kde její parametry vypočítával z průměrné úhlové rychlosti a frekvence klepání prstů. V klinické praxi se používá pro měření frekvence poklepů prstů u osob s PN tzv. Finger Tapper, pomocí kterého se měří počet zmáčknutí tlačítka za daný čas (viz obr. 1.2). Další mechanickou pomůckou je tzv. Pegboard test. Testovaná osoba má za úkol za časový limit umístit co nejvíce kolíčků do připravených dírek. Obrázek 1.3: Použití gyroskopu umístěného na prsty v práci Kima [24]. 5

12 Kapitola 1 Stav a analýza řešené problematiky Nejméně invazivní metoda pro snímání pohybů člověka a prstů je pomocí kamerových systémů. Nejvíce obsáhlou práci o měření a objektivizaci PN můžeme najít v disertační práci Akose Jobbaga [19]. Jobbagy ve své práci pro zachytávání pohybu používal jednu kameru, pomocí které snímal 2 dimenzionální pozici reflexních značek umístěných na končetinách. Tímto kamerovým systémem Jobbagy ohodnocoval úlohy klepání všemi prsty, klepání palce a ukazováčku, klepání patou a točení pažemi (viz obr. 1.4). Z pohybu vyhodnocoval frekvenční spektrum, periodicitu, průměrnou rychlost, maximální rychlost v cyklu a fraktální chování. Na základě těchto parametrů kvantifikoval částečně periodický pohyb pomocí metody singulární dekompozice hodnot [21]. Jako jeden z výsledků své práce publikoval Jobbagy hodnocení klepání prsty na základě průměrné frekvence pohybů a průměrné rychlosti [20]. Obrázek 1.4: Úloha klepání všemi prsty a točení pažemi v disertáční práci Jabbagyho [19]. Hlavní omezení v použití jedné kamery spočívá ve ztracení hloubkové informace scény a pacientovy pohyby musí být pokud možno v rovině obrazu, proto je vhodné použít více kamerový systém, který snímá prostorovou pozici značek. Systém pro zachytávání prostorového pohybu používal Agostino [2]. Vzhledem k hardwarovému omezení systému dokázal zaznamenat pouze 5 sekund každé pohybové úlohy. Z trajektorie vypočítal maximální amplitudu, průměrný čas flexe a extenze prstů a dobu spojení prstů. Pacienti snižovali rychlost pohybu při flexi a prodlužovala se postupně doba spojení prstů. Také měli sníženou průměrnou amplitudu pohybu. 1.3 Shrnutí Z analýzy problému vyplyne, že Parkinsonova nemoc a její objektivizace je stále otevřený problém a doposud neexistuje objektivní metoda pro měření tíže Parkinsonovy nemoci v klinické praxi. Pro objektivizaci je důležité se rozhodnout, jaké parametry budeme vyhodnocovat, jakou úlohu bude pacient vykonávat a zařízení, 6

13 1.3 Shrnutí kterým můžeme toto úlohu změřit. Parametry je nutné srovnat buď s normami nebo s hodnocením lékaře specialisty a tím danou metodiku měření validovat. Nejlépe prozkoumanou úlohou a s nejlepšími výsledky, co se objektivizaci PN týče, je úloha klepání prsty. Pro měření úlohy klepání prsty je vhodné zvolit systém, který nejméně ovlivňuje pohyb pacienta. Pacientův pohyb by měl být přirozený a ničím ovlivněný, proto jsou vhodné bezdrátové měřící techniky a vzhledem k měření pohybů prstů se závažím do maximální hmotnosti 1g. Vzhledem ke klinickému vyšetření by měla analýza pohybů probíhat v reálném čase a systém by měl poskytovat informaci o pohybech prstů v prostoru. Po analýze kamerových systémů jsem se rozhodl využít 3D kamerový systém, který bude snímat lehké reflexní značky umístěné na prstech. Při začátku tvorby disertační práce neexistoval vhodný kamerový systém specializovaný na měření 3D pohybů prstů, který by byl kompaktní a vhodný pro měření přímo v ambulanci lékaře. Proto část cílů práce bylo zkonstruovat zařízení pro měření pohybu, které bude přenosné, levné a bude jej možné upravit i pro měření dalších pohybových úloh řešených na FBMI ČVUT. 7

14 2 Cíle disertační práce Cílem disertační práce je vyvinout objektivní metodu pro hodnocení bradykineze na horní končetině rukou u pacientů s Parkinsonovou nemocí akceptovatelnou v klinické neurologii. Pro objektivní hodnocení bradykineze navrhnout testovací pohybovou úlohu. Na této úloze odhadnout parametry popisující bradykinezi a navrhnout a zkonstruovat zařízení pro měření těchto parametrů. Zkonstruované zařízení validovat a ověřit funkčnost řešení na klinických hypotézách. Z měření zdravých osob a pacientů s PN odvodit parametry pohybu, které bradykinezi popisují. Na základě analýzy, vybrané technologie snímání a měření, byly upřesněny a definovány následující cíle práce: 1. Navrhnout, zkonstruovat a validovat kamerový systém pro měření pohybů prstů v prostoru. 2. Navrhnout parametry, které popisují bradykinezi. 3. Určit měřenou délku záznamu, ověřit funkčnost systému v klinických podmínkách na pilotním měření. 4. Definovat metodiku měření. 5. Naměřit minimálně 20 pacientů s Parkinsonovou chorobou a 20 zdravých osob v ambulantních podmínkách. 6. Z navržených parametrů vybrat parametry, které oddělují osoby PN a zdravé osoby, případně korelují s hodnocením položkového skóre UPDRS klepání prsty z paralelně pořízeného videozáznamu ohodnoceného lékařem specialistou. 7. Ověřit klinické hypotézy. 8. Určit ideální délku záznamu. 8

15 3 Kamerový systém pro měření pohybu Pro měření testu klepání prsty byl vyvinut kamerový systém složený z 2 průmyslových kamer a IR zářičů. Kamerový systém snímá reflexní značky a vypočítává prostorovou polohu značek. Z pozice značek je následně odvozena trajektorie a parametry pohybu. 3.1 Pohybová úloha a požadavky na měřící systém Pro diagnózu a ohodnocení tíže PN se využívá unifikované škály PN (UPDRS). Škála mimo jiné obsahuje i několik pohybových testů (viz kap. 1.1). Vyvíjený kamerový systém by měl být schopen měřit jakýkoliv základní pohyb končetin v UPDRS. Vzhledem k provedené rešerši a po konzultaci s experty v oboru neurologie jsme se rozhodli pro objektivizaci PN a měření tíže bradykineze u testu klepání prsty. Parametry tíže bradykineze se budou odvozovat na základě změny maximální vzdálenosti palce a ukazováku. Frekvence klepání se pohybuje v rozmezí 2-3 Hz a s oddálením přibližně 8-13 cm při čemž pauza mezi flexí a extenzí prstů se pohybuje v rozmezí 20 až 50 ms [2]. Testy probíhaly přímo v ambulanci Neurologické kliniky 1.LF UK, proto celý systém musel být jednoduchý, přenosný a prostorově nenáročný. Kamerový systém musel být schopen snímat vzdálenost mezi palcem a ukazovákem v prostoru s přesností ±2 mm, při čemž není důležitá absolutní vzdálenost, ale přesná změna maximální vzdálenosti prstů. Parametry pohybové úlohy a prostření nám přímo definují požadavky na kamerový systém, které jsou: Systém musí být přenosný, prostorově nenáročný a lehce použitelný. Snímání musí probíhat v reálném čase - při ambulantním měření musí být možné bez prodlení ověřit, že záznam byl pořízen v pořádku. Systém musí být schopen zaznamenat video záznam pro pozdější hodnocení pohybu expertem. Chyba kamerového systému v měřené oblasti by neměla být větší než 2 mm. Frekvence systému by měla být dostatečná k zaznamenání testu klepání prsty s požadovanou chybou. Značky umístěné na prstech by měly být lehčí než 1g, aby neovlivnily pohyb. 9

16 Kapitola 3 Kamerový systém pro měření pohybu Snímaný prostor musí být tak dostatečně velký, aby změřil případné změny polohy ruky. Systém musí být připojitelný a data zpracovatelná na běžném notebooku. V době vytváření disertační práce neexistoval dostupný systém, který by splňoval definované požadavky. 3.2 Hardware, konstrukce systému a získání obrazu Při výběru hardware a software jsem vycházel z definovaných požadavků na systém. Vzhledem k vysoké frekvenci snímání, požadavku na přesnost a na zpracování v reálném čase běžným počítačem, nebylo algoritmicky možné, aby se pohyb snímal bez použití značek. Z tohoto důvodu jsem využil lehkých reflexních značek ve tvaru polokoule, které je možné pomocí oboustranné lepící pásky přichytit na libovolné místo na těle. Reflexní značky jsou z plastu o poloměru 2 mm a o hmotnosti menší než 1 g a jsou připevněny na radiální hranu interphalangeálního kloubu palce a na radiální hranu distálního interphalangeálního kloubu druhého prstu (viz obr. 3.1). Vzhledem k tomu, že značky jsou přilepené z boku prstů a nepředpokládá se, že Obrázek 3.1: Ruka s umístěnými reflexivními značkami na radiální hraně interphalangeálního kloubu palce a na radiální hraně distálního interphalangeálního kloubu druhého prstu. se poloha celé ruky bude příliš měnit, jsou značky během měření stále viditelné z jednoho místa. Při takovémto nastavení je možné použít pouze dvě kamery, které jsou dostačující pro výpočet 3D polohy značky v prostoru. Použití dvou kamer mi poskytlo výhodu kompaktnosti celého systému a možného softwarového zpracování obrazu pomocí počítače. Z teoretických výpočtů vyplynulo, že pro systém by měly být dostačující 50Hz černobílé kamery s rozlišením 640x480 pixelů. Na konečky prstů se umístí reflexní značky, které odráží zejména infračervené záření. Protože používáme reflexní pasivní značky, je nutné scénu přisvětlit infračervenými zářiči. Kamery musí být schopné snímat infračervené záření a objektivy musí být vybaveny filtrem propouštějící pouze infračervené záření. Kamery by mělo být možné také vzájemně synchronizovat a 10

17 3.2 Hardware, konstrukce systému a získání obrazu měla by k ním být dostupná knihovna pro vývoj software. Po průzkumu trhu a konzultaci s kolegy, kteří se zabývají zpracováním obrazu, vybral jsem černobílé kamery s rozlišením 640x480 pixelů s frekvencí 60 Hz značky DMK 21BF04.H od firmy The Imaging Source [33]. Pro snímání požadovaného prostoru byl vybrán objektiv číslo T 0412 FICS s infračerveným filtrem číslo 093. Celý systém jsem ozářil infračerveným zářiči od firmy ASM o vlnové délce 850 nm. Kamery lze zaostřit manuálně regulačním kolečkem. Kamery by se měly ručně zaostřit před začátkem kalibrace. U objektivu lze také nastavit otevření clony, protože v aplikaci je nutné nastavit co nejmenší expoziční čas, clonu je vhodné maximálně otevřít. Obrázek 3.2: Kamerový systém 1 - kamera, 2 - objektiv IR filtrem, 3 - IR zářič, 4 - generátor signálu, 5 - barevná HD kamera Celý systém byl umístěný na stativ značky Velbon (viz obr. 3.3), který poskytuje dostatečnou stabilitu a možnosti lehkého nastavení pozice a směrování celého kamerového systému. Konstrukce byla smontována z profilů značky ITEM. Světla byla umístěna vnitřně od kamer, tak aby kamery měly od sebe co největší vzdálenost a systém byl co nejvíce kompaktní. Celková váha systému je cca 2 kg, je stabilní a je možné díky pohyblivé hlavici stativu s ním snadno manipulovat. Na konstrukci je též připevněna digitální kamera určená pro záznam celého měření (viz obr. 3.2). Kamery jsou připojeny k počítači pomocí rozhraní firewire. Na zařízení je připojen generátor signálu, který synchronizuje obě kamery. Světla a generátor je napájen pomocí společného adaptéru. Celý systém je přenosný a příprava kamerového systému trvá přibližně 20 minut. Na celý systém byla připevněna HD kamera CANON, která snímá pohyb pro pozdější ohodnocení videa expertem. Pro zpracování obrazového signálu byl použit notebook HP ProBook 6450b. Získání obrazu a synchronizace Při prostorovém vidění pomocí více kamer je nutné, aby jednotlivé kamery byly synchronizované a pořizovaly obraz ve stejný okamžik. Nakoupené kamery je možné hardwarově synchronizovat pomocí obdélníkového signálu, ale bohužel požadovaný generátor signálu nebyl v době nákupu kamer k prodeji nebo nebyl dostatečně kompaktní. Z tohoto důvodu jsem navrhl a sestrojil vlastní generátor signálu. Generátor 11

18 Kapitola 3 Kamerový systém pro měření pohybu Obrázek 3.3: Kamerový systém na stativu připojený k počítači bez barevné HD kamery. vytváří obdélníkový 5 až 12 V impulz, který je možné nastavit na frekvenci 16 Hz, 30 Hz nebo 60 Hz. Nejnižší frekvence je vhodná například pro kalibraci obrazu, kdy počítač nestíhá zpracovávat jednotlivé snímky. Frekvenci 30 Hz jsem využíval především pro ladění programu a při zapojení kamer do společné sběrnice. Pro měření používám zásadně frekvenci 60 Hz. Generátor používá krystal s frekvencí 3,932 MHz a dvě děličky CD4020B, které upraví požadovanou výstupní frekvenci podle pozice přepínače. Snímky jsou získávány z kamer asynchronně, proto bylo nutné navrhnout aplikaci vícevláknovou. Pro každou kameru existuje vlastní vlákno, ve kterém jsou jednotlivé snímky ukládány a dál zpracovávány. Každá kamera má v tomto vláknu svůj vlastní buffer a vlákno se vždy spustí na událost přijetí kamerového snímku. Všechny přijaté snímky jsou uloženy v cyklickém bufferu a v daném vláknu jsou nejdříve předzpracovány. Ze snímku jsou extrahovány jednotlivé značky (viz kap. 3.3) a jsou uložené do bufferu hlavního vlákna aplikace. Každý snímek je označený časovým záznamem jeho pořízení, ale jednotlivé kamery nemají časy synchronizované. Proto když se spouští sekvenčně kamery, bylo nutné měřit čas spuštění jednotlivých kamer a připočíst ho k času snímku. I přes toto opatření se časy jednotlivých snímků nemusí přesně shodovat a časem se začínají rozcházet. Proto během získávání snímků software automaticky dopočítává časový posun jednotlivých kamer tak, aby rozdíl mezi snímky byl minimální. Hlavní vlákno aplikace kontroluje zaplnění bufferu a jakmile se zaplní snímky od 12

19 3.3 Extrakce značek a určení prostorové polohy značek všech kamer, začne je dále zpracovávat (viz kap. 3.3). Pokud by nepřišly všechny snímky od všech kamer, tak obraz je zahozen a buffer vyčištěn Schéma funkce jednotlivých vláken aplikace je zobrazené na obrázku 3.4. Obrázek 3.4: Hlavní funkce jednotlivých vláken aplikace při zpracování snímků 3.3 Extrakce značek a určení prostorové polohy značek Reflexní značky jsou ozářeny infračerveným zářením a expoziční čas kamer je v aplikaci nastavený na pevnou nízkou hodnotu. Jas reflexních značek je pak vyšší než jas okolní scény (viz obr. 3.5). Při hledání reflexních značek jsou v obrazu odstraněny hodnoty pod prahovou hodnotou a současně se označí jednotlivé spojité oblasti. Algoritmus procházení obrazu a hledání spojitých komponent je vzhledem k vysokému množství pixelů časově náročná operace. Implementovaný algoritmus hledání spojitých komponent je optimalizovaný na rychlé zpracování dat a běží v lineárním čase vzhledem k počtu pixelů. Na notebooku, který se používá pro měření (dvoujádrový 2GHz procesor), algoritmus trvá přibližně od 2 ms do 3 ms, což umožnilo zpracovávat obraz v reálném čase. Algoritmus vrací jednotlivé souvislé komponenty, jejich výřez podle minimální obdélníkové obálky, těžiště a počet pixelů z kolika je souvislá komponenta složena. Z jednotlivých částí jsou pak algoritmem vybraní adepti na reflexní značky a je 13

20 Kapitola 3 Kamerový systém pro měření pohybu určena jejich pozice v obraze. Obrázek 3.5: Obraz získaný kamerou a následně zpracovaný s určenými středy značek Ze spojitých komponent jsou vybrány takové, které velikostí a přibližným tvarem odpovídají značkám. Tzn. že jsou vyřazeny takové značky, které mají moc velkou (pro daný systém větší než 500 pixelů) nebo malou velikost (pro daný systém menší než 30 pixelů), jejichž minimální obdélníková obálka není příliš podlouhlá (poměr delší strany obdélníkové obálky ku kratší není větší než 5) a u kterých je těžiště umístěné mimo značku. U takto vybraných značek je následně určen jejich střed s přesností na dvě desetinná místa. Aplikace umí pracovat se dvěma druhy značek. Značky ve tvaru koule a značky ve tvaru polokoule. Pro měření používáme značky ve tvaru polokoule pro jejich nižší váhu a snadné přilepení na prsty. Obrázek 3.6: Získání středu značky - prahování, proložení kružnicí. U značek ve tvaru koule se vypočítává pouze těžiště. Aby se omezil vliv šumu na polohu těžiště, mají pixely, které se vyskytují na kraji značky a pixely s nižším jasem, menší váhu. U značek ve tvaru polokoule se kruhová úseč v obrazu kamery proloží kružnicí. Proložení kružnicí se z počátku zdál triviálním problém, ale protože značka je tvořena většinou přibližně z 50 pixelů, tak jakýkoliv šum nepříjemně pohyboval s pozicí středu značky. Nakonec jsem navrhl a implementoval algoritmus 3.1 pro výpočet těžiště, který je stabilní na vznikající šum. Proložení kružnice značky je zobrazeno na obrázku

21 3.3 Extrakce značek a určení prostorové polohy značek Algoritmus 3.1 Proložení kruhové úseče kružnicí Kruhová úseč je definovaná nenulovými hodnotami jasu v obdélníkové matici M. 1. Lineárně transformuj hodnoty jasu z matice M do matice N do hodnot 0-1, kde 1 odpovídá hodnotě maxima jasu v obrazu. 2. Vepiš obdélník kruhové úseči tak, aby platilo, že součet vzdáleností všech nenulových bodů od okraje obdélníku vynásobených jejich hodnotou z matice N je minimální. 3. Obdélník rozšiř na čtverec. Vzniknou 2 opačné čtverce a těm opiš kružnice. 4. Vyber tu kružnici, která obsahuje více bodů z úseče a její střed je hledaným středem značky. Určení 3D polohy značek Z obrazu jednotlivých kamer získáme středy kandidátů na značky. Pro výpočet 3D pozice je potřeba zjistit, které značky si v jednotlivých snímcích odpovídají. Následně ze znalosti vnitřních a vnějších parametrů kamery, které získáme pomocí kalibrace kamer, určíme jejich 3D pozici a zjistíme, která značka v prostoru odpovídala značce v prostoru z předchozího snímku. Protože pozice kamer u systému není fixní, implementoval jsem možnost jejich kalibrace (odhad vnitřních a vnějších parametrů). Kalibrace kamer se provádí pomocí šachovnice. I když aplikace předpokládá měření pouze 2 značek, je jí možné snadno nastavit tak, aby používala značek více. Není také problém systém upravit, aby používal i více kamer a zvětšila se přesnost systému. Při výpočtu 3D pozice je potřeba nejdříve odstranit distorzi obrazu a následně provést stereo triangulaci. Proces k odstranění distorze se nazývá inverzní mapování a vzhledem k vysokému stupni polynomu v modelu distorze se řeší numericky. Pro odstranění distorze jsem implementoval v jazyce C# algoritmus popsaný v [12]. Po odstranění distorze obrazu jsou z 2D souřadnic značky v obraze kamery vypočítané její souřadnice v prostoru pomocí metody stereo triangulace [32]. Stereo triangulace je implementována pro použití 2 kamer. Jako vstupní parametry jsou brány vnější parametry kamery, a to rotační matice R, která udává vzájemné otočení kamer a transakční vektor T, který udává jejich vzájemné posunutí Přiřazení a sledování značek Přiřazení a sledování značek jsem navrhl a implementoval společným algoritmem. Aby bylo možné zjistit 3D souřadnici značky, je potřeba přiřadit značky z obrazu jedné kamery, značkám v obraze kamery druhé. Pro určení kandidátů značek, který tvoří pár, využívám vlastnosti epipolární geometrie a epipolárních linií. Inverzním mapováním přepočítáme pozice značek, a tím odstraníme distorzi obrazu. Proložíme- 15

22 Kapitola 3 Kamerový systém pro měření pohybu li paprsek značkou v prvním snímku, ve druhém obraze kamery se zobrazí jako přímka procházející epipolem. Na této přímce by měl ležet druhý pár značky. Systém je diskrétní a je možné, že těžiště není přesně vypočítané, proto pozice značky nemusí ležet přímo na linii, ale někde poblíž. V našem případě, ale součin bodů a fundamentální matice F nebude rovný 0, ale bude se k ní blížit a bude menší než konstanta k. Pokud máme bod u v prvním obraze kamery a bod v v druhým obraze, označím v jako kandidáta pro přiřazení páru k u, pokud platí že u T F v < k. (3.1) Takto vybere vybereme všechny potenciální páry značek a vypočítáme jejich 3D souřadnici v prostoru. Predikce pohybu Pro měření pohybu prstů sledujeme pouze dvě značky, ale systém je schopen sledovat značek více. Počet sledovaných značek je možné určit na začátku měření, kdy se automaticky vyberou značky, které se mají sledovat, nebo se trajektorie vytváří dynamicky. Když se objeví nová značka, vznikne nová trajektorie pohybu. Při měření existuje pro každou značku v prostoru trajektorie T, která je složena T 1,..., T n bodů v prostoru. Když chceme určit pozici nové značky, je výhodné predikovat, kde se značka bude nacházet a vybrat značku, která je jí nejblíže. Predikci pozice bodu T n+1 odhaduji jako prodloužení o polovinu z předchozí pozice podle vzorce T n+1 = T n + T n T n 1 2 = 3 T n T n 1. (3.2) 2 Výběr značek Pro každou trajektorii T vytvořím matici D, pro jejíž prvky platí 0 u i, v j netvoří pár D i,j = T n+1, P (u i, v j ) u i, v j tvoří pár, (3.3) 0 pokud T n+1, P (u i, v j ) > d max kde u i je značka v jednom obrazu kamery,v j je značka v druhém obraze kamery, T n+1, P (u i, v j ) definuje vzdálenost vypočítané 3D souřadnice z u i a v j od predikované pozice a d max udává maximální možnou vzdálenost bodu od predikované pozice (při měření prstů d max je 80 mm). Ze všech matic D k vyberu vždy takový pár značek z obrazu levé a pravé kamery u i a v j tak, aby značky u i a v j nebyly zatím vybrány, hodnota D i,j byla nenulová a součet všech vybraných hodnot D i,j byl minimální. Pokud u matice D i,j se prvek nenalezne, trajektorie je nastavena jako neaktivní a po dalších 5 pokusech nalezení bodu zaniká. Pokud existuje pár, který nebyl přiřazen, vzniká na jeho místě nová trajektorie. Celý proces výběru značek využívá metod minimálního párování [3]. Minimální párování je obecně NP úplný 16

23 3.4 Validace systému problém [31], ale protože počet značek není velký (maximálně desítky) a matice D pro jednotlivé trajektorie jsou poměrně řídké, nemá počítač problém ho vyřešit v reálném čase. Takto funguje algoritmus obecně. Pro moji metodu měření vzdálenosti prstů je ještě započítáno, že značky jsou vždy 2 a že 3D vzdálenost mezi značkami nebude větší než 30 cm. 3.4 Validace systému Před měřením pohybů Parkinsoniků bylo nutné systém validovat a ověřit jeho přesnost. Přesnost je závislá nejen na použitém hardwaru a využitých algoritmech počítačového vidění, ale je i přímo ovlivněna pohybovou úlohou, která definuje velikost měřeného prostoru, a rychlostí snímaného pohybu. Při validaci systému jsem ověřoval, jestli systém vyhovuje požadavkům, tzn. chyba měření vzdálenosti prstů je menší než 2 mm. Kamery vždy byly testovány s re-projekční chybou menší než 0,6 mm. Při validaci jsem testoval několik vlastností systému, které bylo nutné ověřit. Vlastnosti, které jsem ověřoval jsou následující: 1. Stabilita vzdálenosti mezi dvěma značkami v celém měřeném prostoru a chyba v měření vzdálenosti dvou značek. 2. Linearita a autenticita měřeného prostoru (zda naměřený prostor není deformovaný a odpovídá skutečnosti). 3. Chyba měření amplitudy při měřené pohybové úloze a dostatečnost vzorkovací frekvence 60 Hz. Stabilitu vzdálenosti mezi značkami jsem posuzoval experimentálně na základě měření přesné vzdálenosti. Zda je prostor deformovaný a zda vzorkovací frekvence 60 Hz je dostačující, jsem řešil porovnáním vytvořeného systému s komerčním systémem Optitrack od výrobce Naturalpoint. Uvšech testovaných úloh výsledná chyba měření byla vždy než menší než 0,5 mm a systém splnil požadavky na přesnost. 17

24 4 Parametry pohybu a metodika měření Kamerový systém měří prostorovou pozici značek umístěných na prstech ruky. Z pozice značek v prostoru je vypočítána jejich vzdálenost, která se při testu klepání prstů periodicky mění v čase (viz obr. 4.1). Obrázek 4.1: Výpočet vzdálenosti značek z jejich trajektorie. Ze vzdálenosti značek byly vypočítány následující parametry pohybu: BRAMPMD1 maximální pokles maximálního oddálení prstů během měření. BRVELC průměrná maximální rychlost zavírání prstů [m/s] na celém záznamu. BRVELC4 průměrná maximální rychlost zavírání prstů [m/s] na posledních 4 sekundách. BRVELO průměrná maximální rychlost otevírání prstů [m/s] na celém záznamu. BRVELO4 průměrná maximální rychlost otevírání prstů [m/s] na posledních 4 sekundách. BRVELCMD1 maximální pokles maximální rychlosti zavírání prstů během měření. 18

25 Parametry pohybu a metodika měření BRVELOMD1 maximální pokles maximální rychlosti otevírání prstů během měření. BRFRQMD1 maximální pokles frekvence kmitání prstů. VTP Průměr hodnocení pohybu dvěma experty. Experti hodnotí pohyb z videozáznamu paralelně pořízeného při měření. Obličej testované osoby je ve videu rozmazaný. Hodnocení je prováděno přes webové rozhraní. Experti hodnotí zdravé, nemocné a jednotlivá měření v náhodném pořadí stupněm (0-4) podle stupnice definované v UPDRS u úlohy klepání prstů. Metodika měření Před začátkem sezení se systém sestaví a nakalibruje pomocí šachovnice s maximální re-projekční chybou 0,6 mm. Před kamerový systém se postaví židle, na kterou se pokusná osoba posadí. Kamery jsou umístěny přibližně jeden metr laterálně od pokusné osoby na opačné straně od měřené ruky (viz obr. 4.2). Každá ruka se naměří dvakrát, měření začíná s dominantní končetinou. Obrázek 4.2: Figurant měřený kamerovým systémem a provádějící úlohu klepání prsty. Pokusná osoba je nejdříve požádána, pokud jí to nečiní žádné problémy, o sundání hodinek a šperků na rukách. Reflexní značky se přilepí na radiální hranu interphalangeálního kloubu palce a na radiální hranu distálního interphalangeálního kloubu druhého prstu měřené ruky (viz obr. 3.1). Měřená osoba je instruována k provádění periodického pohybu (standardizovaný finger tapping test), který spočívá v opakovaném spojení palce a druhého prstu a následným maximálním oddálením, nejrychleji 19

26 Kapitola 4 Parametry pohybu a metodika měření jak dokáže. Ostatní prsty by se neměly podílet na pohybu a měly by být lehce pokrčené a uvolněné. Při provádění pohybu pacient sedí pohodlně na židli a jeho horní končetina je ohnuta v loketním kloubu. Po krátké úvodní instruktáži je pokusná osoba vyzvána k ukázce, zda úlohu pochopila správně. Během ukázky se nastaví směr kamer tak, aby snímaly měřenou ruku. Následně je pacient vyzván, aby prováděl periodický pohyb po dobu 30 s a pustí se kamera a měřící kamerový systém. Po měření se nechá pokusná osoba minimálně jednu minutu odpočinout a měření se opakujte. V systému se vždy po jednotlivých měření zaznamená identifikátor záznamu, pořadí měření a měřená končetina. Po druhém měření se pokusná osoba vyzve, aby vstala, otočila se a posadila se v opačném směru vzhledem ke kamerám. Značky se přelepí na prsty druhé ruky a dvakrát se naměří. Nepodařené měření se poznamená a opakujte (každá ruka by měla být v pořádku vyšetřena 2x). Vždy je potřeba dbát na to, aby před každým měřením byla pokusná osoba odpočatá a uvolněná. Před uložením je vždy potřeba zkontrolovat, jestli naměřená data jsou v pořádku. V softwaru se ořízne začátek záznamu tak, aby začínal již kmitem s přibližně maximálním oddálením prstů. Výsledné parametry se vypočítají z průměru parametrů prvního a druhého měření z více postižené končetiny. Více postiženou končetinu charakterizuje průměrné hodnocení dvou expertů z videozáznamu. Pokud je hodnocení končetin stejné, je vybrána dominantní končetina. 20

27 5 Experimenty a výsledky Bylo naměřeno 22 pacientů s lehkým až středně těžkým postižením Parkinsonovou nemocí, s průměrným Hoehn & Yahr stage 2,05 (v rozmezí 1-2,5), průměrným věkem 64 (48-82) let, v ON stavu, a trvání nemoci 9,3 (1-24) let. Pacienti byli porovnáni s 22 odpovídajícími kontrolami s průměrným věkem 66 (41-82) let, bez neurologického nebo psychiatrického onemocnění v anamnéze a bez postižení funkce horních končetin. 5.1 Porovnání pacientů s kontrolami Testovaná klinická hypotéza: Hodnoty změny maximálního oddálení, frekvence či maximální rychlosti pohybů prstů v čase rozlišují osoby s PN a bez PN. Metodika: Vzhledem k nízkému počtu měření, z čehož plyne nejistota v rozdělení, byl pro testování hypotézy použit dvou-výběrového neparametrický Wilcoxon rank-sum test ( Mann Whitney U-test )[14]. Nulová hypotéza byla zamítnuta na hladině významnosti větší než 1 % (p = 0,01). Konkrétně byly testovány následující parametry: pokles vzdálenosti prstů (BRAMPMD1), průměrnou maximální rychlost zavírání (BRVELC) a otvíraní (BRVELO), pokles maximální rychlosti zavírání (BRVELCMD1) a otvírání (BRVELOMD1), průměrnou frekvenci (BRFRQ), pokles průměrné frekvence (BRFRQMD1) a hodnocení expertů z videozáznamu (VTP). Pro porovnání síly testu pro jednotlivé parametry jsem využil ROC (Receiver Operating Characteristic) analýzu. Parametr hladina významnosti (p) ROC - AUC potvrzení hypotézy na p = 0,01 BRAMPMD1 < 0,001 0,87 ANO VTP < 0,001 0,92 ANO BRVELC 0,006 0,74 ANO BRVELO 0,002 0,77 ANO BRVELCMD1 < 0,001 0,87 ANO BRVELOMD1 < 0,001 0,83 ANO BRFRQ 0,614 0,55 NE BRFRQMD1 0,015 0,71 NE Tabulka 5.1: Srovnání parametrů pacientů s PN a zdravých kontrol. 21

28 Kapitola 5 Experimenty a výsledky Výsledky: Výsledné hodnoty v tabulce 5.1 ukazují, že pacienti s PN a zdravé kontroly nejlépe odděluje hodnocení lékařů. Pacienty a normy odděluje také na hladině významnosti menší než 1 % změny amplitudy, maximální rychlosti otvírání a zavírání a průměrná rychlost otevírání a zavírání prstů. U těchto parametrů byla hypotéza potvrzena. Změna frekvence v čase také odděluje pacienty a normy, ale na hladině významnosti cca 2 %. Nebyla potvrzena hypotéza, že pacienty a zdravé kontroly odděluje průměrná frekvence pohybu. 5.2 Korelace parametrů Testované klinická hypotézy: Hodnoty změny amplitudy, frekvence pohybu nebo maximální rychlosti pohybu se úzce shodují s příslušným položkovým skóre UPDRS. UPDRS odráží spíše pokles amplitudy než snížení frekvence v čase. Metodika: Pro ověření hypotéz se vypočítá vzájemná závislost jednotlivých parametrů a jejich závislost s VTP, který vyjadřuje UPDRS skóre bradykineze úlohy klepání prsty. Protože výpočet závislosti byl použit Spearmanův korelační koeficient. ρ s - Spearman BRAMPMD1 BRVELC BRVELO BRVELCMD1 BRVELOMD1 BRFRQ BRFRQMD1 VTP BRAMPMD1 0,22 0,20 0,80 0,75 0,35 0,16 0,59 BRVELC 0,22 0,76 0,48 0,37 0,25 0,36 0,55 BRVELO 0,20 0,76 0,48 0,42 0,39 0,30 0,58 BRVELCMD1 0,80 0,48 0,48 0,82 0,15 0,26 0,66 BRVELOMD1 0,75 0,37 0,42 0,82 0,03 0,45 0,61 BRFRQ 0,35 0,25 0,39 0,15 0,03 0,18 0,23 BRFRQMD1 0,16 0,36 0,30 0,26 0,45 0,18 0,43 VTP 0,59 0,55 0,58 0,66 0,61 0,23 0,43 Tabulka 5.2: Korelační tabulka - Spearmanův korelační koeficientu. Tučné položky - statistická významnost menší než 0.1 %. Položky kurzívou - statistická významnost menší větší než 0.1 % a menší než 1 %. Výsledky: Z korelační tabulky plyne, že závislost parametrů s UPDRS skóre můžeme považovat za prokázanou na hladině významnosti menší než 0,1 % u parametrů změny amplitudy, rychlosti pohybu a průměrné maximální rychlosti. Na hladině významnosti 1 % je možné prokázat vztah s hodnocením lékařů s poklesem frekvence. Nebyl prokázaný vztah frekvence pohybu a skóre UPDRS (viz tab. 5.2). Při porovnání parametru BRFRQMD1 a BRAMPMD1 s VTP také plyne, že UPDRS odráží spíše pokles amplitudy než snížení frekvence v čase. Obě hypotézy byly potvrzeny. 22

29 5.3 Výběr nezávislých parametrů 5.3 Výběr nezávislých parametrů Cíl: Vybrání nezávislých parametrů a klasifikace dat Metodika: Pro výběr parametrů byl zvolen algoritmus dopředného vybírání parametrů (sequentialfs [26] - funkce v Matlabu) s 95% zachování rozptylu u rozdělení. Vstupem funkce sequentialfs je ktriteriání funkce, která pro dané parametry vrací rozptyl prvků. Byl rozptyl dat rozdělení pomocí lineární regrese dat. Výsledky: Z parametrů uvedených v tabulce 5.2 kromě parametru VTP, vybral algoritmus parametry BRAMPMD1, BRVELOMD1. Tzn. pokles amplitudy a průměrná maximální otevírací rychlost na našem vzorku nejlépe odděluje pacienty s PN a zdravé kontroly. Výsledek je v souladu s pozorováním, že pacientům se snižuje vzdálenost prstů a pohyby jsou pomalejší (ztuhlé). Z výsledků také plyne, že větší vliv má maximální otevírací rychlost než zavírací. Výsledné rozdělení pacientů s PN a zdravých kontrol je zobrazeno na obrázku 5.1. Při využití lineární regrese pro výpočet lineárního klasifikátoru (černá přerušovaná přímka v obrázku 5.1), můžeme definovat parametr BRAV jako vzdálenost od dělící přímky. Tato vzdálenost pak rozděluje pacienty s PN a zdravé kontroly s AUC 0,94, která je vyšší než u rozdělení expertů. Obrázek 5.1: Rozdělení pacientů s PN a zdravých kontrol na základě poklesu amplitudy a průměrné maximální otevírací rychlosti. 23

30 Kapitola 5 Experimenty a výsledky Obrázek 5.2: Rozložení hodnot parametru BRAV u pacientů s PN (světlá barva) a zdravých kontrol (tmavá barva) 5.4 Analýza délky záznamu Délka záznamu byla určena během pilotního měření na 20 s. Tato délka byla maximální, při které testované osoby měřením nepociťovaly únavu. Cílem bylo určit vhodnou a ověřit následující hypotézu. Testovaná klinická hypotéza: V prvních 10 pohybech prstů v úloze klepání prsty je možné rozlišit pacienty s PN a zdravé kontroly. Metodika: Pro posouzení délky záznamu se využívají parametry oddělující nejlépe pacienty s PN a zdravé kontroly: BRAMPMD1 - pokles vzdálenosti prstů v čase a BRVELO - průměrná maximální rychlosti otvírání a jejich lineární kombinaci parametr BRAV. Při posouzení délky záznamu využívám parametr ROC analýzy AUC (area under curve). Výsledky: Z výsledků vyplynulo (viz obr. 5.3), že na základě průměrné maximální otevírací rychlosti (BRVELO) nelze potvrdit hypotézu o rozdělení kontrol a parkinsoniků na hladině významnosti menší než 5 % (hladina významnosti je 7 %). Rychlost pohybů pak klesá a po 10 s lze již rozdělit normy a pacienty na hladině významnosti přibližně 0,1 %. Z hodnot v prvních 10 kmitech také plyne, že lze rozeznat PN během prvních 10 kmitů na základě poklesu amplitudy a průměrné otevírací rychlosti na hladině významnosti menší než 1 %, ale pro přesnější hodnocení je lepší posuzovat pohyb mezi 10 s až 15 s. 24

31 5.4 Analýza délky záznamu Obrázek 5.3: Vývoj AUC hodnoty závislé na délce záznamů u jednotlivých parametrů. 25

32 6 Závěr 6.1 Shrnutí Cílem disertační práce bylo vyvinout objektivní metodu pro hodnocení bradykineze na horních končetině rukou u pacientů s Parkinsonovou nemocí akceptovatelnou v klinické neurologii. Pro hodnocení bradykineze byla navrhnuta úloha klepání prsty, která je součástí UPDRS hodnocení pacientů, a byl zkonstruován kamerový systém měřící 3D souřadnice reflexních značek v prostoru. Kamerový systém je složen ze dvou kamer, dvou IR zářičů a generátoru signálu. Kamerový systém je připojen k počítači (notebooku), který zpracovává obraz z kamer. Díky jednoduché konstrukci je systém mobilní a je možné ho používat v ambulantních podmínkách. Pro funkčnost kamerového systému jsem vyřešil následující problémy: snadnou kalibraci kamer pomocí šachovnice, při které systém automaticky detekuje v obrazu šachovnici, rychlou extrakci značek v obrazu, která umožňuje zpracování obrazu z kamer v reálném čase, sledování a párování značek v obrazu za použití predikce pozice značek a algoritmu pro řešení minimalizačního problému, ověření funkčnosti systému a jeho validaci s komerčním řešením. Kamerový systém jsem ověřil v klinických podmínkách na zdravých osobách a pacientech s PN. Nejdříve bylo uděláno pilotní měření, při kterém byly navrhnuty zkoumané parametry a definována metodika měření bradykineze. Před měřením byly definovány klinické hypotézy a byl vytvořen webový systém pro hodnocení bradykineze lékařem z videozáznamu. V prostorách Neurologické kliniky 1.LF a VFN bylo naměřeno 22 pacientů s lehkým až středně těžkým postižením Parkinsonovou nemocí, s průměrným Hoehn & Yahr stage 2,05 (v rozmezí 1-2,5), průměrným věkem 64 (48-82) let a trváním nemoci 9,3 (1-24) let. Pacienty jsem porovnával s 22 odpovídajícími kontrolami s průměrným věkem 66 (41-82) let, bez neurologického nebo psychiatrického onemocnění v anamnéze a bez postižení funkce horních končetin. Na měřeních byly potvrzeny následující klinické hypotézy: 1. Hodnoty poklesu maximálního oddálení a poklesu maximální rychlosti pohybů prstů v čase rozlišují osoby s PN a bez PN. 26

33 6.2 Přispění práce 2. Hodnota poklesu maximálního oddálení a rychlosti pohybu se úzce shoduje s příslušným položkovým skóre UPDRS. 3. UPDRS skóre odráží spíše pokles amplitudy než snížení frekvence v čase. 4. V prvních 10 pohybech prstů v testu klepání prstů, je možné rozlišit osoby s PN a bez PN. Z definovaných parametrů byly algoritmicky vybrány takové nezávislé parametry, které nejlépe popisují bradykinezi, konkrétně to byl parametr poklesu maximálního oddálení prstů a průměrná maximální rychlost otevírání prstů (kap. 5.3). Lineární kombinace těchto parametrů nejlépe oddělovala pacienty s PN a zdravé kontroly. Nakonec byla určena délka provádění testu klepání prstů, při které se začne maximálně projevovat bradykineze (kap. 5.4). 6.2 Přispění práce Disertační práce přispěla v následujících oblastech: 1. Vytvoření kompaktního kamerového systému měřící 3D souřadnice reflexních značek v prostoru využívající pouze 2 kamery : a) Vlastní konstrukce systému. b) Softwarově řešená extrakce značek v obrazu v reálném čase. c) Systém sledování značek založený na řešení minimalizačního problému. d) Metodika pro porovnání různých kamerových systémů. e) Ověření funkčnosti a možnosti nasazení 3D kamerových systému v klinických podmínkách. 2. Objektivizace bradykineze a ověření klinických hypotéz: a) Definování metodiky měření bradykineze. b) Vytvoření webového systému pro hodnocení bradykineze z videozáznamu. c) Potvrzení hypotézy, že hodnoty změny maximálního oddálení a maximální rychlosti pohybů prstů v čase rozlišují osoby s PN a bez PN. d) Potvrzení hypotézy, že hodnoty změny maximálního oddálení a rychlosti pohybu se úzce shodují s příslušným položkovým skóre UPDRS. e) Potvrzení hypotézy, že UPDRS odráží spíše pokles amplitudy než snížení frekvence v čase. f) Dokázání, že parametry pokles vzdálenosti prstů a průměrná maximální rychlosti nejlépe z definovaných parametrů popisuje bradykinezi. g) Definice nového parametru pro objektivizaci bradykineze, který je lineární kombinací poklesu vzdálenosti prstů a průměrná maximální rychlosti. 27