Možnosti a příklady přenosu výsledků v počítačovém vidění a robotice do českého průmyslu Václav Hlaváč České vysoké učení technické v Praze Centrum strojového vnímání, přemosťující: CIIRC = Český institut informatiky, kybernetiky a robotiky FEL = Fakulta elektrotechnická hlavac@ciirc.cvut.cz; http://cmp.felk.cvut.cz/~hlavac
Osnova 2 1. Moje pracoviště (skupina V. Hlaváče), 2. Kanály pro transfer technologií 3. Příklady našich projektů Dva EU projekty jako zázemí Stabilizovaná kamerová hlavice AUTMODO monitorování hlukového zatížení Omni vidění pro Daimler 4. Robot Jetty, Neovision 5. Spolupráce s R&D centry velkých firem v ČR
Katedra kybernetiky EU Center of Excelence 80 zaměstnanců: 40 učitelů / výzkumníků 25 výzkumníků 50 interních Ph.D. studentů 8-10 absolventů Ph.D. ročně CIIRC Český institut informatiky robotiky a kybernetiky Vysokoškolský ústav, založen 1. 7. 2013 Roste zatím pomalu, chystá se nová budova 3
Financování katedry kybernetiky v roce 2012 4 Gov./Inst. Funding Public CZ 210 mil. Kč EU Projects Industry USA Japan and Korea EU Czech
Center for Machine Perception at glance, 35 FTE 5 Established 1986, the name CMP since 1995. Research interests: computer vision, pattern recognition, mathematics of uncertainty, cognitive robotics medical imaging. Impact & excellence numerous science prizes, hundreds of ISI citations per year, competitive results in contests, collaboration with hightech companies significant % of funding from EU and private companies, two spin-out companies.
Kanály pro přenos technologie Přímý výzkum a vývoj, konzultace pro firmy (také sponzorované laboratoře, pracovní místa, např. profesorská) Spin-off firmy R&D oddělení velkých korporací působící v ČR Knowledge transfer partnership, doktorand na 1 rok do průmyslu, rozvinuto v U.K. Národní a EU financované projekty (více se klonící k aplikacím v Horizon 2020) 6
Naše strategické cíle Vysoce kvalitní výzkum a vývoj s mezinárodně uznávanými výsledky Podpora přenosu know-how do průmyslu Živá spolupráce s průmyslem Výuka inženýrů a doktorandů. Výběrová, s cizinci, mezinárodním rozměrem Prostor pro firmy, diplomky, brigády 7
TRADR robotic platform 8 Embeded PC: Kontron KTGM45/mITX Plus Rotating 2D laser scanner: SICK LMS-151 Omnicam: Point Grey Ladybug 3 IMU/GPS: X-sens MTI-G ASUS Xtion Pro Thermocam Micro-Epsilon TIM160 UBUNTU 12.04 (64 bit) & ROS
Earthquake mission Mirandola May 20 June 18, 2012, Mirandola, Emilia-Romagna region, Italy 246 seismic activities, 3 6.1 Richter scale 9
Earthquake Mirandola 2012 10
CloPeMa úvod, cíle Partneři: CERTH, Greece CVUT Prague, CZ U of Genova, IT U of Glasgow, UK Neovision s.r.o., CZ Autonomní vnímání a manipulace s měkkými látkami (např. textiliemi). Souhra mezi senzory, vnímáním, robotickou manipulací a strojovým usuzováním. Levnější a přesnější dvojruký průmyslový robot. Očekávaný přesah do průmyslu. 11
CloPeMa - experimentální platforma Dva manipulátory Motoman s dutým zápěstím ROS pro integraci 12
Průmyslový robot s pružnou impedancí? 14 Dva 6-osé senzory síly a momentu Mini45 6150 každý z nich Silová zpětná vazba Úzké místo, rychlost, řídicí systém robotu
Stabilizovaná kamerová hlavice Vývoj od 2008 pro VTUL. Několik projektů, poslední TAČR. Nyní 3. generace; průměr 320, 250, 120 mm. Dvě zpětné vazby: Rychlá, tlumí vibrace a rychlé pohyby vrtulníku; Pomalá, sleduje cíl. 16
Kamerové hlavice, detaily 17 Diameter 250 mm Diameter 120 mm
Test na helikoptéře 18
AUTMODO - Automatické monitorování dopravního proudu 19 TAČR Alfa projekt Partner Ekola group s.r.o. (firma měřicí hlukové zatížení) Formulace úlohy: Vstup: 24-hodinový záznam (video+zvuk) + anotace ( 50 vozidel) umožňující adaptaci systému. Výstup: počet a klasifikace vozidel projíždějících sčítací zónou. Úloha detekce vozidel a jejich klasifikace ve videu je řádově složitější než u pevně namontovaných kamer ve snadných pozicích.
Přiblížení metody Detekce (Haar + Gentleboost) Sledování (KLT) Shlukování do trajektorií 20
Avoiding mirror blind spots 21 The main problem: truck drivers have limited view
Large blind spots Large blind spot areas emerge in front of the truck, on the passenger side, and behind the vehicle. 2.5m 22 Mirrors can only cover parts of the areas. View fragmented into many mirrors.
Omni-directional cameras 23 Four catadioptric cameras were mounted on the vehicle. 2 cameras on the truck. 2 cameras on the trailer.
Bird s eye view 24 Virtual image plane A virtual pinhole camera is placed above the vehicle and bird s-eye view is generated from catadioptric images
Corridors for maneuvering 25 Green - the bumpers of the truck and trailer. Blue desired parking position. Red must be free.
Result: Daimler Actros Truck & Trailer 26
Spin-off firmy CERTICON, a.s.: (150+ zaměstnanců): software house, testování sw, prediktivní algoritmy, plánování a rozvrhování ProTyS, a.s.: (38 zaměstnanců) vývoj sw, inteligentní řídicí algoritmy Neovision s.r.o.: (16 zaměstnanců): počítačové vidění, robotika, obrazová inspekce v průmyslu Eydea Recognition, s.r.o. (6 zaměstnanců) analýza obrazu, obrazové monitorování dopravy Cognitive Security, prodáno CISCO 27
Příklad prům. vazby, Neovision 28 Vzájemně výhodná spolupráce Příklad, robot Jetty
Yetti robot, cleaning 29
Výzkumná centra velkých společností v ČR 30 Spolupráce s: Rockwell Automation Research Center Prague Honeywell Laboratory Prague Honeywell R&D center in Brno Porsche Engineering