Možnosti a příklady přenosu výsledků v počítačovém vidění a robotice do českého průmyslu

Transkript

1 Možnosti a příklady přenosu výsledků v počítačovém vidění a robotice do českého průmyslu Václav Hlaváč České vysoké učení technické v Praze Centrum strojového vnímání, přemosťující: CIIRC = Český institut informatiky, kybernetiky a robotiky FEL = Fakulta elektrotechnická hlavac@ciirc.cvut.cz;

2 Osnova 2 1. Moje pracoviště (skupina V. Hlaváče), 2. Kanály pro transfer technologií 3. Příklady našich projektů Dva EU projekty jako zázemí Stabilizovaná kamerová hlavice AUTMODO monitorování hlukového zatížení Omni vidění pro Daimler 4. Robot Jetty, Neovision 5. Spolupráce s R&D centry velkých firem v ČR

3 Katedra kybernetiky EU Center of Excelence 80 zaměstnanců: 40 učitelů / výzkumníků 25 výzkumníků 50 interních Ph.D. studentů 8-10 absolventů Ph.D. ročně CIIRC Český institut informatiky robotiky a kybernetiky Vysokoškolský ústav, založen Roste zatím pomalu, chystá se nová budova 3

4 Financování katedry kybernetiky v roce Gov./Inst. Funding Public CZ 210 mil. Kč EU Projects Industry USA Japan and Korea EU Czech

5 Center for Machine Perception at glance, 35 FTE 5 Established 1986, the name CMP since Research interests: computer vision, pattern recognition, mathematics of uncertainty, cognitive robotics medical imaging. Impact & excellence numerous science prizes, hundreds of ISI citations per year, competitive results in contests, collaboration with hightech companies significant % of funding from EU and private companies, two spin-out companies.

6 Kanály pro přenos technologie Přímý výzkum a vývoj, konzultace pro firmy (také sponzorované laboratoře, pracovní místa, např. profesorská) Spin-off firmy R&D oddělení velkých korporací působící v ČR Knowledge transfer partnership, doktorand na 1 rok do průmyslu, rozvinuto v U.K. Národní a EU financované projekty (více se klonící k aplikacím v Horizon 2020) 6

7 Naše strategické cíle Vysoce kvalitní výzkum a vývoj s mezinárodně uznávanými výsledky Podpora přenosu know-how do průmyslu Živá spolupráce s průmyslem Výuka inženýrů a doktorandů. Výběrová, s cizinci, mezinárodním rozměrem Prostor pro firmy, diplomky, brigády 7

8 TRADR robotic platform 8 Embeded PC: Kontron KTGM45/mITX Plus Rotating 2D laser scanner: SICK LMS-151 Omnicam: Point Grey Ladybug 3 IMU/GPS: X-sens MTI-G ASUS Xtion Pro Thermocam Micro-Epsilon TIM160 UBUNTU (64 bit) & ROS

9 Earthquake mission Mirandola May 20 June 18, 2012, Mirandola, Emilia-Romagna region, Italy 246 seismic activities, Richter scale 9

10 Earthquake Mirandola

11 CloPeMa úvod, cíle Partneři: CERTH, Greece CVUT Prague, CZ U of Genova, IT U of Glasgow, UK Neovision s.r.o., CZ Autonomní vnímání a manipulace s měkkými látkami (např. textiliemi). Souhra mezi senzory, vnímáním, robotickou manipulací a strojovým usuzováním. Levnější a přesnější dvojruký průmyslový robot. Očekávaný přesah do průmyslu. 11

12 CloPeMa - experimentální platforma Dva manipulátory Motoman s dutým zápěstím ROS pro integraci 12

13 Průmyslový robot s pružnou impedancí? 14 Dva 6-osé senzory síly a momentu Mini každý z nich Silová zpětná vazba Úzké místo, rychlost, řídicí systém robotu

14 Stabilizovaná kamerová hlavice Vývoj od 2008 pro VTUL. Několik projektů, poslední TAČR. Nyní 3. generace; průměr 320, 250, 120 mm. Dvě zpětné vazby: Rychlá, tlumí vibrace a rychlé pohyby vrtulníku; Pomalá, sleduje cíl. 16

15 Kamerové hlavice, detaily 17 Diameter 250 mm Diameter 120 mm

16 Test na helikoptéře 18

17 AUTMODO - Automatické monitorování dopravního proudu 19 TAČR Alfa projekt Partner Ekola group s.r.o. (firma měřicí hlukové zatížení) Formulace úlohy: Vstup: 24-hodinový záznam (video+zvuk) + anotace ( 50 vozidel) umožňující adaptaci systému. Výstup: počet a klasifikace vozidel projíždějících sčítací zónou. Úloha detekce vozidel a jejich klasifikace ve videu je řádově složitější než u pevně namontovaných kamer ve snadných pozicích.

18 Přiblížení metody Detekce (Haar + Gentleboost) Sledování (KLT) Shlukování do trajektorií 20

19 Avoiding mirror blind spots 21 The main problem: truck drivers have limited view

20 Large blind spots Large blind spot areas emerge in front of the truck, on the passenger side, and behind the vehicle. 2.5m 22 Mirrors can only cover parts of the areas. View fragmented into many mirrors.

21 Omni-directional cameras 23 Four catadioptric cameras were mounted on the vehicle. 2 cameras on the truck. 2 cameras on the trailer.

22 Bird s eye view 24 Virtual image plane A virtual pinhole camera is placed above the vehicle and bird s-eye view is generated from catadioptric images

23 Corridors for maneuvering 25 Green - the bumpers of the truck and trailer. Blue desired parking position. Red must be free.

24 Result: Daimler Actros Truck & Trailer 26

25 Spin-off firmy CERTICON, a.s.: (150+ zaměstnanců): software house, testování sw, prediktivní algoritmy, plánování a rozvrhování ProTyS, a.s.: (38 zaměstnanců) vývoj sw, inteligentní řídicí algoritmy Neovision s.r.o.: (16 zaměstnanců): počítačové vidění, robotika, obrazová inspekce v průmyslu Eydea Recognition, s.r.o. (6 zaměstnanců) analýza obrazu, obrazové monitorování dopravy Cognitive Security, prodáno CISCO 27

26 Příklad prům. vazby, Neovision 28 Vzájemně výhodná spolupráce Příklad, robot Jetty

27 Yetti robot, cleaning 29

28 Výzkumná centra velkých společností v ČR 30 Spolupráce s: Rockwell Automation Research Center Prague Honeywell Laboratory Prague Honeywell R&D center in Brno Porsche Engineering