Využití programu MATLAB v robotice. počítačové vidění a deep learning

Transkript

1 Brno Využití programu MATLAB v robotice počítačové vidění a deep learning Jaroslav Jirkovský jirkovsky@humusoft.cz info@humusoft.cz

2 2 Co je MATLAB a Simulink MATLAB Inženýrský nástroj a interaktivní prostředí pro vědecké a technické výpočty Grafické a výpočetní nástroje Grafické aplikace (GUI, APPS) Otevřený systém Simulink Nadstavba MATLABu Modelování, simulace a analýza dynamických systémů Prostředí blokových schémat Platforma pro Model Based Design Aplikační knihovny Strojové učení, statistika a optimalizace Deep learning, neuronové sítě, fuzzy Zpracování obrazu a počítačové vidění Zpracování signálu a komunikace Finanční analýza a datová analytika Výpočetní biologie Modelování fyzikálních soustav Návrh řídicích systémů a robotika Systémy diskrétních událostí Měření a testování Tvorba samostatných aplikací Generování kódu (RT a embedded)

3 Zpracování obrazu a počítačové vidění Snímání reálného obrazu Zpracování obrazu a videa úprava obrazu, transformace, segmentace práce s barevnými prostory Počítačové vidění detekce a sledování objektů detekce obličeje, postav 3-D vision, OCR Deep Learning rozpoznávání obrazu a detekce objektů sémantická segmentace 3

4 4 Počítačové vidění

5 Detekce objektů Nalezení jednoho či více objektů na snímku Objekty dané skupiny mají určitou diverzitu Detektory Cascade object detector ACF object detector R-CNN, Fast R-CNN, Faster R-CNN (deep learning) Před-trénované detektory obličej, nos, oči, ústa, horní polovina těla, celá postava Trénování uživatelského klasifikátoru 5

6 Sledování objektů Sledování není opakovaná detekce Souvislosti v po sobě jdoucích snímcích Sledovače sledování bodů (algoritmus KLT) sledování oblasti na základě histogramu (algoritmus CAMShift) Postup určení bodů/oblasti ke sledování inicializace sledovače aplikace sledovače na nové snímky PointTracker, HistogramBasedTracker 6

7 7 Deep Learning

8 What is Deep Learning? Deep learning performs end-end learning by learning features, representations and tasks directly from images, text and sound

9 Deep Learning is Ubiquitous Computer Vision Pedestrian and traffic sign detection Landmark identification Scene recognition Medical diagnosis and discovery Signal and Time Series Processing Text Analytics

10 Convolutional Neural Networks What do filters do?

11 CNN in MATLAB layers = [imageinputlayer(image_size) convolution2dlayer(filter_size,num_filters) relulayer() maxpooling2dlayer(window_size,'stride',step) fullyconnectedlayer(num_classes) softmaxlayer() classificationlayer()]; options = trainingoptions('sgdm'); convnet = trainnetwork(trainingdata,layers,options); results = classify(convnet,newdata);

12 CNN in MATLAB layers = [imageinputlayer([ ]) convolution2dlayer(5,20) relulayer() maxpooling2dlayer(2,'stride',2) fullyconnectedlayer(10) softmaxlayer() classificationlayer()]; options = trainingoptions('sgdm'); convnet = trainnetwork(trainingdata,layers,options); results = classify(convnet,newdata);

13 CNN in MATLAB

14 2 Approaches for Deep Learning Approach 1: Train a Deep Neural Network from Scratch

15 2 Approaches for Deep Learning Approach 2: Fine-tune a pre-trained model (transfer learning)

16 Available pre-trained CNNs AlexNet VGG-16 and VGG-19 GoogLeNet ResNet-50 and ResNet-101 Inception-v3 Inception-ResNet-v2 SqueezeNet Import models from Caffe (including Caffe Model Zoo) Import models from TensorFlow-Keras 16

17 Verification using Deep Dream Images Visualize what the learned features look like Generate images that strongly activate a particular channel of the network layers function deepdreamimage

18 Deep Learning Models for Regression To predict continuous data such as angles and distances in images Include a regression layer at the end of the network 18 layers = [imageinputlayer([ ]) convolution2dlayer(12,25) relulayer() fullyconnectedlayer(1) regressionlayer()]; options = trainingoptions('sgdm'); convnet = trainnetwork(trainimages,trainangles,layers,options); results = predict(convnet,newimages);

19 Image Classification vs. Object Detection Image Classification classify whole image using set of distinct categories Object Detection recognizing and locating the (small) object in a scene multiple objects in one image 19 Detector R-CNN deep learning detector Fast R-CNN deep learning detector Faster R-CNN deep learning detector Function trainrcnnobjectdetector trainfastrcnnobjectdetector trainfasterrcnnobjectdetector

20 Semantic Segmentation Classify individual pixels Functions: perform semantic segmentation semanticseg special layers: pixelclassificationlayer, crop2dlayer complete networks: segnetlayers, fcnlayers SegNet Convolutional Neural Network 20

21 21 Semantic Segmentation

22 Automated Driving Design, simulate, and test ADAS and autonomous driving systems Object detection lane marker detection, vehicle detection, Multisensor fusion vision, radar, ultrasound Visualization annotation, bird s-eye-view, point cloud Scenario Generation synthetic sensor data for driving scenarios Ground-truth labeling annotating recorded sensor data 22

23 Embedded Deployment - GPU Coder Generates optimized CUDA code from MATLAB code deep learning, embedded vision, and autonomous systems Calls optimized NVIDIA CUDA libraries cudnn, cusolver, and cublas Generate CUDA as: source code static libraries dynamic libraries Prototyping on GPUs NVIDIA Tesla and NVIDIA Tegra Acceleration using MEX 23

24 24 3-D vidění a robotika

25 Rekonstrukce 3-D scény - hloubková mapa Cílem je rekonstruovat 3-D scénu z dvojice snímků rectifystereoimages() disparity() 25

26 Rekonstrukce 3-D scény point cloud reconstructscene() pcshow() Další možností objektu PointCloud uložení, načtení, získání ze zařízení Kinect hledání bodů v dané oblasti nebo okolí odstranění šumu podvzornování transformace registrace nebo merge dvou point cloud objektů 26

27 Structure From Motion Postup využívající předchozích metod Ze dvou pohledů Z několika pohledů pohybující se kamery Postupy popsány v dokumentaci volba vhodných nástrojů pro různé podmínky ukázkové příklady 27

28 Návrh autonomních systémů Mapování prostředí s využitím senzorových dat Segmentace a registrace lidarových point-cloud údajů SLAM pomocí lidaru: lokalizace robotu tvorba map okolního prostředí 28

29 Mobilní robotika Práce s mapou robotics.binaryoccupancygrid Plánování trasy (pravděpodobnostní) robotics.prm Řízení pohybu robotics.purepursuit Vyhýbání se překážkám robotics.vectorfieldhistogram Odhad stavů robotics.particlefilter robotics.montecarlolocalization 29

30 Simulace mapování / SLAM Vějíř simulovaných paprsků paprsky vyzařovány mobilním robotem LinePickSensor distance, isactive, pickedpoints Detekce protnutí objektů paprsky v modelované 3-D scéně Pro testovaní algoritmů mapování SLAM 30

31 Algoritmy manipulátorů Vytvoření robota robotics. + RigidBodyTree, RigidBody, Joint addbody, setfixedtransform Inverzní Kinematika úhly pro dosiažení pozice robotics.inversekinematics IK s omezeními robotics.generalizedinversekinematics orientace poloha klouby,... 31

32 Vizualizace robotických úloh Import robota vredit, [n,w] = vrimport('iiwa7.urdf') Pohyb v ose prefix axis_ Mobilní robotika plánování trasy řízení pohybu vyhýbání se překážkám odhad stavu Manipulátory Inverzní kinematika IK s omezeními (GIK) 32

33 Jak začít s prostředím MATLAB? Zkušební verze: plnohodnotná verze MATLAB časově omezena na 30 dní možnost libovolných nadstaveb v případě zájmu využijte kontaktní formulář MATLAB Onramp: on-line kurz zdarma časová náročnost: 2 hodiny přihlášení: 33

34 Děkuji za pozornost