Aplikace robotiky v biomedicíně. Ing. Adam Chromý

Transkript

1 Ing. Adam Chromý

2 Obsah přednášky 1. Historie aplikované robotiky v biomedicíně první robotické systémy v medicíně, první podpůrné prostředky, jejich vývoj v čase, současný stav a trendy do budoucnosti 2. Přehled robotů v lékařství přehled robotických systémů v dnešním lékařství, jejich funkce, vlastnosti a výhody a nevýhody 3. Vývoj robotů pro biomedicínu obecný postup při návrhu nových robotů, hledání příležitostí, mezioborová spolupráce 4. Biomedicínská robotika na našem pracovišti představení našich projektů - Robotický 3D skener a měřicí balanční plošina pro fyzioterapii 2/78

3 Obsah přednášky 1. Historie aplikované robotiky v biomedicíně první robotické systémy v medicíně, první podpůrné prostředky, jejich vývoj v čase, současný stav a trendy do budoucnosti 2. Přehled robotů v lékařství přehled robotických systémů v dnešním lékařství, jejich funkce, vlastnosti a výhody a nevýhody 3. Vývoj robotů pro biomedicínu obecný postup při návrhu nových robotů, hledání příležitostí, mezioborová spolupráce 4. Biomedicínská robotika na našem pracovišti představení našich projektů - Robotický 3D skener a měřicí balanční plošina pro fyzioterapii 3/78

4 Počátky lékařské robotiky století snaha o vytvoření umělého člověka spíše hříčky pro přilákání pozornosti 19. století s rozvojem industrializace (parní stroj) první nápady na užití robotiky v lékařství nebyli schopni své nápady realizovat 4/78

5 Počátky lékařské robotiky 1. pol. 20. století GE Yes-Man, 1956 objevují se první praktické aplikace první teleoperátory stroje pro vykonávání činnosti na dálku vyvíjeny původně pro atomový průmysl začaly se užívat pro manipulaci s nakažlivými a toxickými materiály 5/78

6 Počátky lékařské robotiky GE Yes-Man, pol. 20. století činnosti na dálku Vizualizace vjemů pro vyvíjeny původně atomový průmysl začaly se užívat pro Snímání manipulaci spohybů nakažlivými a toxickými materiály Komunik. kanál objevují se první Teleoperátory praktické aplikace stroje bez umělé inteligence první teleoperátory zprostředkovávají dálkové vnímání a působení stroje pro vykonávání Snímání vjemů Silové působení 6/78

7 Počátky lékařské robotiky 1. pol. 20. století GE Yes-Man, 1956 objevují se první praktické aplikace první teleoperátory stroje pro vykonávání činnosti na dálku vyvíjeny původně pro atomový průmysl začaly se užívat pro manipulaci s nakažlivými a toxickými materiály 7/78

8 Počátky lékařské robotiky GE Yes-Man, 1956 MASCOT, /78

9 Počátky lékařské robotiky 2. pol. 20. století bouřlivý rozvoj lékařské robotiky první průmyslové roboty stále bez UI, ale realizují předepsaný program, který lze lehce přeprogramovat na rozdíl od teleoperátorů není potřeba operátor vyvinuty pro urychlení výroby aut v General Motors (UNIMATE, 1961) začaly se využívat pro automatizaci rutinních úkolů při přípravě léků (míchání, vážení, manipulace) 9/78

10 Počátky lékařské robotiky elektrické invalidní vozíky první kolečková křesla se objevují v 6 stol. př. n. l. na čínských malbách první elektricky poháněné vozíky až v roce 1953 (G. Klein, Kanada) robotické exoskelety vnější kostra se silovými aktuátory umožňuje zvýšit sílu nebo umožnit pohyb postižených končetin první exoskelet Hardiman v roce 1960 (General Electric, USA) 10/78

11 Počátky lékařské robotiky Hardiman násobič síly (25x) vnitřní oblek měří mech. napětí tenzometry vnější oblek pomocí motorů realizuje nás. sílu velká hmotnost (2x co uzvedne) velká časová odezva malá rychlost chůze neúspěšný 11/78

12 Počátky lékařské robotiky chirurgické roboty robot asistuje operatérovi, který jej ovládá v reálném čase první chirurg. robot Heartthrob, 1983 (Kanada) rehabilitační roboty (1989) pro pacienty s nervovým postižením pomáhá jim ve cvičení nervového systému (princip adaptivity) 12/78

13 Současný stav od vývoje univerzálních prostředků (exoskelety) se přechází spíše k jednoúčelovým univerzální složité roboty vs. efektivní jednoúčelové převládá spíše inovace a vylepšování stávajících aplikací než vývoj zcela nových pokrok brzdí velká byrokracie certifikace, zájem velkých firem o co největší složitost Simple Robot 13/78

14 Trendy do budoucnosti očekává se velká revoluce v souvislosti s rozvojem nanověd není však nic jisté nanorobotická cílená distribuce léčiv rakovina nanorobotické chirurgické operace menší invaze nanorobotické čištění cév snížení rizika infarktu... i v makrosvětě je velký prostor pro nová zařízení zdravotnictví má velké rezervy co se týče optimality zdravotnické péče rozvoj v této oblasti je brzděn neznalostí mezi obory 14/78

15 Obsah přednášky 1. Historie aplikované robotiky v biomedicíně první robotické systémy v medicíně, první podpůrné prostředky, jejich vývoj v čase, současný stav a trendy do budoucnosti 2. Přehled robotů v lékařství přehled robotických systémů v dnešním lékařství, jejich funkce, vlastnosti a výhody a nevýhody 3. Vývoj robotů pro biomedicínu obecný postup při návrhu nových robotů, hledání příležitostí, mezioborová spolupráce 4. Biomedicínská robotika na našem pracovišti představení našich projektů - Robotický 3D skener a měřicí balanční plošina pro fyzioterapii 15/78

16 Laparoskopie princip: výhody: minimální invazivnost operace => menší krvácení, bolest, rychlejší hojení, menší rizika (např. infekce) ne příliš nákladné vybavení nevýhody: 2D pohled přes kamery těžký pohyb s nástroji => velké nároky na zkušenost chirurga omezený výhled => riziko poranění okolních struktur 16/78

17 Chirurgické roboty funkce silového děliče umožňuje mikroposuvy a přesné pohyby ovládání pohyby jako u klasické operace nebo přes PC (joysticky) systém Da Vinci 17/78

18 Chirurgické roboty Robotický systém Da Vinci pův. pro US Army jeden chirurg pro více letadlových lodí princip: výhody: chirurg není stresován nemusí stát, může v klidu sedět vyšší přesnost pozicování nástroje => minimální invazivnost operace => menší krvácení, bolest, rychlejší hojení, menší rizika třetí ruka, kontrola zanoření nástroje, zoom,... => kvalitnější výkon SW omezení prudkých pohybů, apod. => vyšší bezpečnost možnost operace na dálku (ne příliš časté) nevýhody: cena systému 45 mil. Kč + každá nástroj 100 tis. Kč => 9 v ČR 18/78

19 Invalidní vozíky princip teleoperátorů dálkově ovládané vozítko problém s podvozky neexistuje univerzální podvozek diferenciální: jednoduché, dobrá manipulovatelnost, jen rovina Ackermanův: složitější, horší manipulovatelnost, i do terénu všesměrová kola: může jet všemi směry + rotovat, jen rovina, nečistoty hybridní robotické podvozky: 19/78

20 Invalidní vozíky 20/78

21 Robotické exoskelety silový násobič nebo dálkově ovládaný (jako invalidní vozík) praktické využití: zvedání pacientů v nemocnici rehabilitace končetin umožnění chůze nemohoucím 21/78

22 Umělé robotické končetiny náhrada chybějících končetin DARPA projekt => 100 mil. USD snaha o napojení na nerv. syst. ovládání ruky na dobré úrovni problémy se snímači tlak, teplota ukázka: Youtube (2:00 a 4:43) nevýhody: stále ještě příliš drahé pro masové použití napojení stroj/člověk velmi křehké nemožnost použití v běžném prostř. 22/78

23 Rehabilitační kybernetika Rehabilitační robotika roboty jsou využity jako pomůcka pro rehabilitaci převážně exoskelety ovládané pacientem, s pevným programem, ovládané fyzioterapeutem Zpětnovazební pomůcky ovládání her cíleným pohybem lidského těla hra kuličky v bludišti, balanční deska,... 23/78

24 Stomatologický robot Stomatologický 3D robot CEREC ušetří se čas, náhrada je přesnější a estetičtější zaměření zubní čelisti a tvorba 3D modelu modelování nového zubu frézování zubu z keramického bločku implantace zubu ukázka: Youtube (od času 1:50) 24/78

25 Manipulátory a teleoperátory teleoperační manipulátory manipulátory řízené dálkově v reálném čase pro manipulaci s nebezpečným (dynamické rentgeny) nebo nakažlivým materiálem (infikované tkáně) Průmyslové roboty pro automatizaci rutinních úkonů (výroba léků, biochemické analýzy, histologické rozbory) 25/78

26 Další aplikace robotiky Pomocné roboty robotická sestra podávání nástrojů, ovládané hlasem RIBA II zvedač a přenášeč paceintů v nemocnicích MySpoon krmení pacientů bez rukou exoskelety pro zvedání pacientů v nemocnicích a mnoho dalších... 26/78

27 Obsah přednášky 1. Historie aplikované robotiky v biomedicíně první robotické systémy v medicíně, první podpůrné prostředky, jejich vývoj v čase, současný stav a trendy do budoucnosti 2. Přehled robotů v lékařství přehled robotických systémů v dnešním lékařství, jejich funkce, vlastnosti a výhody a nevýhody 3. Vývoj robotů pro biomedicínu obecný postup při návrhu nových robotů, hledání příležitostí, mezioborová spolupráce 4. Biomedicínská robotika na našem pracovišti představení našich projektů - Robotický 3D skener a měřicí balanční plošina pro fyzioterapii 27/78

28 Pokrok ve zdravotnictví Snaha o vyléčení nevyléčitelného nové nástroje a procedury nové léky a terapie rozšiřuje oblast vyléčitelnosti Optimalizace léčebných procesů nové přístupy a způsoby nové metody nové nástroje zkracuje cestu k vyléčení 28/78

29 Pokrok ve zdravotnictví Snaha o vyléčení nevyléčitelného nové nástroje a procedury nové léky a terapie rozšiřuje oblast vyléčitelnosti Mezioborová spolupráce Optimalizace léčebných procesů lékař ví co je potřeba, ale neví jak nové přístupy a způsoby technik ví jak, ale neví co je potřeba nové metody výrazně ovlivňuje rychlost pokroku nové nástroje zkracuje cestu k vyléčení 29/78

30 Pokrok ve zdravotnictví Snaha o vyléčení nevyléčitelného nové nástroje a procedury nové léky a terapie rozšiřuje oblast vyléčitelnosti Optimalizace léčebných procesů nové přístupy a způsoby nové metody nové nástroje zkracuje cestu k vyléčení 30/78

31 Pokrok ve zdravotnictví Snaha o vyléčení nevyléčitelného Ukázka z praxe: vývoj robotického skeneru nové nástroje a procedury nové léky a terapie rozšiřuje oblast vyléčitelnosti Optimalizace léčebných procesů nové přístupy a způsoby nové metody nové nástroje zkracuje cestu k vyléčení 31/78

32 Pokrok ve zdravotnictví Snaha o vyléčení nevyléčitelného nové nástroje a procedury nové léky a terapie rozšiřuje oblast vyléčitelnosti Optimalizace léčebných procesů nové přístupy a způsoby nové metody nové nástroje zkracuje cestu k vyléčení 32/78

33 Případová studie Optimalizace procesu rekonvalescence pacienta po vážných zraněných nebo invazivních operacích. pro optimalizaci nutné kvantifikovat přínos léčby často velmi těžké jej kvantifikovat dotazníky, rozhovory velmi subjektivní = velký šum hledání objektivních parametrů měříme objem svalové hmoty a tvar svalu velmi malé přírůstky = nutné měřit velmi přesně srovnávání 3D modelů 33/78

34 Jak se to dělá dnes pomocí MRI je vytvořen 3D model z modelu se použije pouze povrch postižené části těla, vnitřní struktury jsou zbytečné na modelech měříme kvantitativní parametry rehabilitace srovnáváme tyto parametry v průběhu času 34/78

35 Jak se to dělá dnes pomocí MRI je vytvořen 3D model z modelu se použije pouze povrch postižené části těla, vnitřní struktury jsou zbytečné na modelech měříme kvantitativní parametry rehabilitace Velice drahé pořízení modelu srovnáváme tyto parametry v průběhu času Dlouhá doba skenování Blokování ostatních pacientů Nemožnost častého skenování 35/78

36 Projekt 3D skeneru laserový skener robotický manipulátor skenovaný objekt 36/78

37 Robotický 3D skener zařízení pro optické snímání povrchu těla neklade žádné speciální nároky na pacienta výstupem je 3D počítačový model 37/78

38 Parametry zařízení precizní komponenty: rozlišení výstupního obrazu desetiny až setiny milimetru robotické rameno: libovolná snímací trajektorie = zachycení detailů složitého povrchu výměnné skenery: vysoká flexibilita užití = jednoduše přizpůsobitelné konkrétní aplikaci optický princip: šetrný k pacientům, žádné přípravy pro snímání, žádné požadavky na pacienta i obsluhu 38/78

39 Srovnání s MRI několikanásobně nižší náklady (pořizovací i provozní) vyšší rozlišení při kratším skenovacím čase nulová zátěž pacienta a jednoduchá obsluha neblokujeme pacienty, kteří MRI potřebují 1 MRI1 Robotický 3D skener Pořizovací náklady od Kč cca Kč Cena snímku Kč cca 1 Kč Doba pořízení snímku min. 1 2 min. Rozlišení snímku až 0,5 mm 0,06 0,1 mm Výstupní model vnitřní struktury povrch objektu Zdroj: 39/78

40 Shrnutí případové studie Optimalizace léčebných procesů je neméně důležitý směr, kde je mnoho co dělat v konkrétním příkladu lékaři věděli, že proces není optimální, ale nevěděli, jak jej optimalizovat často však ani nevědí, že pracují neoptimálně důležitost mezioborové spolupráce komunikace s lékařskými odborníky jak se co dělá a hledání optimálnějšího řešení 40/78

41 Obsah přednášky 1. Historie aplikované robotiky v biomedicíně první robotické systémy v medicíně, první podpůrné prostředky, jejich vývoj v čase, současný stav a trendy do budoucnosti 2. Přehled robotů v lékařství přehled robotických systémů v dnešním lékařství, jejich funkce, vlastnosti a výhody a nevýhody 3. Vývoj robotů pro biomedicínu obecný postup při návrhu nových robotů, hledání příležitostí, mezioborová spolupráce 4. Biomedicínská robotika na našem pracovišti představení našich projektů - Robotický 3D skener a měřicí balanční plošina pro fyzioterapii 41/78

42 Robotický 3D skener laserový skener skenovaný objekt výsledný 3D model robotický manipulátor 42/78

43 Princip robotického 3D skeneru Měření vzdálenosti pomocí laserového řádkového snímače Pohyb se skenerem po předem známé trajektorii pomocí robotického ramene Výpočet polohy bodu ze znalosti polohy ramene, natočení skeneru a změřené vzdálenosti Stínovaný model povrchu snímaného objektu 43/78

44 Princip robotického 3D skeneru Měření vzdálenosti pomocí laserového řádkového snímače Pohyb se skenerem po předem známé trajektorii pomocí robotického ramene Výpočet polohy bodu ze znalosti polohy ramene, natočení skeneru a změřené vzdálenosti Stínovaný model povrchu snímaného objektu 44/78

45 Měření vzdálenosti Laserový skener scancontrol 2750 měřicí rozsah: mm délkové rozlišení: μm úhlové rozlišení: 0,019 snímací frekvence: až 2 khz hmotnost: 800g výstupem je sekvence vzdálenostních profilů: 45/78

46 Princip robotického 3D skeneru Měření vzdálenosti pomocí laserového řádkového snímače Pohyb se skenerem po předem známé trajektorii pomocí robotického ramene Výpočet polohy bodu ze znalosti polohy ramene, natočení skeneru a změřené vzdálenosti Stínovaný model povrchu snímaného objektu 46/78

47 Pohyb se skenerem Se skenerem je pohybováno po předem nadefinované trajektorii vlastní jednoduchý jazyk pro popis trajektorie zkompilováno do formy posloupnosti skenovacích pozic popsaných v 6 DOF: translace: x,y,z rotace: u,v,w u = roll (podle osy Z) v = pitch (podle osy Y) w = yaw (podle osy X) 47/78

48 Pohyb se skenerem Schéma hlavního mechanismu: 48/78

49 Princip robotického 3D skeneru Měření vzdálenosti pomocí laserového řádkového snímače Pohyb se skenerem po předem známé trajektorii pomocí robotického ramene Výpočet polohy bodu ze znalosti polohy ramene, natočení skeneru a změřené vzdálenosti Stínovaný model povrchu snímaného objektu 49/78

50 Výpočet polohy bodu Poloha je vypočtena postupným užitím několika homogenních transformací Transformace z nativních souřadnic robota a skeneru do výchozích souřadnic 50/78

51 Homogenní transformace 0 = výchozí souřadný systém M... manipulátor E... koncový bod manipulátoru S... laserový skener L... laserový dálkoměr 51/78

52 Homogenní transformace HSL: rotace kolem osy Z o úhel α = cos 8 sin 8 sin 8 cos 8 α... natočení rozmítacího systému laserového skeneru vůči ose x 52/78

53 Homogenní transformace HES: translace a RPY rotace v 6DOF popisující umístění laserového skeneru na robotu = + + xt, yt, zt... ut... vt... wt... translace rotace roll rotace pitch rotace yaw cx... sx... cos (xt) sin (xt) 53/78

54 Homogenní transformace HME: translace a RPY rotace v 6DOF popisující pozici koncového bodu manipulátoru = + + x, y, z... translace u... rotace roll v... rotace pitch w... rotace yaw cx... sx... cos (x) sin (x) 54/78

55 Homogenní transformace H0M: translace a RPY rotace v 6DOF popisující pozici manipulátoru ve výchozím souř. systému Souřadný systém 0 je obvykle stejný jako je souřadný systém manipulátoru M. 55/78

56 Homogenní transformace Celková transformace H0L: kombinace jednotlivých homogenní transformací 0 = 0 56/78

57 Ukázka získaného mraku bodů 57/78

58 Princip robotického 3D skeneru Měření vzdálenosti pomocí laserového řádkového snímače Pohyb se skenerem po předem známé trajektorii pomocí robotického ramene Výpočet polohy bodu ze znalosti polohy ramene, natočení skeneru a změřené vzdálenosti Stínovaný model povrchu snímaného objektu 58/78

59 Stínované modely povrchu hledání trojúhelníků v mraku bodů pomocí Delaunayovy triangulace nebo pomocí postupného spojování zobrazení dat aplikace s užitím frameworku XNA 59/78

60 Ukázka výsledného modelu 60/78

61 Měřicí balanční plošina Obslužný SW inerciální snímač balanční plošina 61/78

62 Měřicí balanční plošina víceúčelová rehabilitační pomůcka diagnostická funkce: objektivní měření funkce stabilizačního systému pomocí nadefinovaných testů terapeutická funkce: pomocí hraní her vytváří pomocnou zpětnou vazbu, která pomáhá správně nastavit regulátor v mozku 62/78

63 Měřicí balanční plošina žádaná hodnota akční zásah regulační odchylka regulátor neelektrická výst. veličina soustava převodník elektrická výst. veličina 63/78

64 Měřicí balanční plošina žádaná hodnota akční zásah regulační odchylka regulátor - stabilizační svalstvo neelektrická výst. veličina převodník elektrická výst. veličina 64/78

65 Měřicí balanční plošina žádaná hodnota regulační odchylka nervové signály regulátor - stabilizační svalstvo neelektrická výst. veličina převodník elektrická výst. veličina 65/78

66 Měřicí balanční plošina žádaná hodnota regulační odchylka nervové signály regulátor - stabilizační svalstvo náklon vůči rovn. poloze převodník elektrická výst. veličina 66/78

67 Měřicí balanční plošina žádaná hodnota regulační odchylka nervové signály regulátor - stabilizační svalstvo náklon vůči rovn. poloze rovnovážné ústrojí elektrická výst. veličina 67/78

68 Měřicí balanční plošina žádaná hodnota regulační odchylka nervové signály regulátor - stabilizační svalstvo náklon vůči rovn. poloze rovnovážné ústrojí nervové signály 68/78

69 Měřicí balanční plošina rovnováha regulační odchylka nervové signály regulátor - stabilizační svalstvo náklon vůči rovn. poloze rovnovážné ústrojí nervové signály 69/78

70 Měřicí balanční plošina nervové signály náklon rovnováha regulátor - stabilizační svalstvo náklon vůči rovn. poloze rovnovážné ústrojí nervové signály 70/78

71 Měřicí balanční plošina nervové signály náklon rovnováha regulace - stabilizační svalstvo náklon vůči rovn. poloze rovnovážné ústrojí nervové signály 71/78

72 Měřicí balanční plošina Balanční deska => pomocná regulační smyčka: převodník rovnováha - rovnováha nervové signály náklon regulace B nervové signály náklon stabilizační svalstvo náklon vůči rovn. poloze regulace A - rovnovážné ústrojí nervové signály 72/78

73 Měřicí balanční plošina elektr. signál rovnováha - rovnováha inerciální snímač nervové signály náklon regulace B nervové signály náklon stabilizační svalstvo náklon vůči rovn. poloze regulace A - rovnovážné ústrojí nervové signály 73/78

74 Měřicí balanční plošina obr. vizualizace náklonu obslužný SW rovnováha - rovnováha elektr. signál inerciální snímač nervové signály náklon regulace B nervové signály náklon stabilizační svalstvo náklon vůči rovn. poloze regulace A - rovnovážné ústrojí nervové signály 74/78

75 Měřicí balanční plošina obr. vizualizace náklonu nervové signály rovnováha oko - rovnováha obslužný SW elektr. signál inerciální snímač nervové signály náklon regulace B nervové signály náklon stabilizační svalstvo náklon vůči rovn. poloze regulace A - rovnovážné ústrojí nervové signály 75/78

76 Měřicí balanční plošina obr. vizualizace náklonu nervové signály rovnováha oko - rovnováha obslužný SW elektr. signál inerciální snímač nervové signály náklon regulace B nervové signály náklon stabilizační svalstvo náklon vůči rovn. poloze regulace A - rovnovážné ústrojí nervové signály 76/78

77 Měřicí balanční plošina obr. vizualizace náklonu nervové signály rovnováha oko - rovnováha obslužný SW elektr. signál inerciální snímač nervové signály náklon regulace B nervové signály náklon stabilizační svalstvo náklon vůči rovn. poloze regulace A adaptace - rovnovážné ústrojí nervové signály 77/78

78 Děkuji za pozornost Ing. Adam Chromý Technická Brno místnost SE1.112 «