Konvoluční neuronové sítě

Transkript

1 Konvoluční neuronové sítě Michal Hradiš

2

3 Obsah Motivace highlights industry success stories Cesta k hlubokému učení x ručně navržené příznaky Co to je neuronová síť? Jak se učí neuronové sítě? Co jsou to konvoluční sítě? Co jde dělat s konvolučními sítěmi? Nástroje Základy Caffe

4 Vyhledávání fotek Google photo search search your photo collection

5 Automatický popis fotek "man in black shirt is playing guitar." "construction worker in orange safety vest is working on road." "girl in pink dress is jumping in air." Andrej Karpathy, Li Fei-Fei: Deep Visual-Semantic Alignments for Generating Image Descriptions. CVPR

6 Automatický popis fotek "boy is doing backflip on wakeboard." "construction "black cat worker is sitting in orange safetyon vest top isof working suitcase." on road." "a cat is sitting on a couch with a remote control." Andrej Karpathy, Li Fei-Fei: Deep Visual-Semantic Alignments for Generating Image Descriptions. CVPR

7 Automatický popis fotek "a woman holding a teddy bear in front of a mirror." "a horse is standing in the middle of a road." "a young boy is holding a baseball bat." Andrej Karpathy, Li Fei-Fei: Deep Visual-Semantic Alignments for Generating Image Descriptions. CVPR

8 Facebook - DeepFace

9 Deep Dreams Thorne Brandt

10 Style transfer Leon A. Gatys, Alexander S. Ecker, Matthias Bethge: A Neural Algorithm of Artistic Style

11 Style transfer

12 Style transfer

13 Co je na obrázku? Intelligent stuff Tags outdoors indoors sport person water trees politician singing dog cat dancing cars walking running swimming mountains yes no yes yes yes yes no no no no no no no no no no 13

14 Kategorie slovní zásoba aktivní 3k 10k pasivní 50k Obecné kategorie Objekty, činnosti, prostředí, podmínky, nálada, pocity, druh fotografie/záběru, žánr Specifické (pojmenované) místa, konkrétní osoby, značky aut,

15 Strojové učení Flag AK-47 Intelligent stuff Flag AK-47 Flag

16 Základ - podobnost obrazů 16

17 Bag of Words

18 Bag of Words

19 Bag of Words 19

20 Image representations

21 Traditional approach Fixed engineered features followed by simple trainable classifier Human-driven academic evolution Feature Extractor Learning algorithm Simple Classifier (lin./kernel SVM) SUM x 0.7 = 6.3 x 0.4 = 0.8 x -0.3 = 0 x -0.2 = -0.2 = 7.1 > 0 GODDES < 0 Something else

22 Hluboké učení deep learning Navrženo člověkem (pracovití Ph.D. stud.) Extrakce příznaků Učící algoritmus Jednoduchý klasifikátor (lin./kernel SVM) Hluboké učení Učící algoritmus Extrakce příznaků klasifikátor

23 Hierarchy of features Low-level features Mid-level features High-level features

24 Co je to neuronová síť? Numerical input vector Neural Network function with trainable parameters Numerical output vector

25 Příklad neuronové sítě f x = ax + b

26 Strojové učení Flag AK-47 Intelligent stuff Flag AK-47 Flag

27 Příklad neuronové sítě f x = ax + b argmin a,b (x i,y i ) y i f x i 2

28 Generalizace učení

29 Generalizace učení

30 Neuronové sítě Klasické dopředné neuronové sítě Sítě můžou řešit velkou škálu úloh podle vlastností neuronů ve výstupní vrstvě a objektivní funkce Multi-class, multi-label, regrese,

31 Hlubší neuronové sítě Source: UFLDL tutorial,

33 Hlubší neuronové sítě x Source: UFLDL tutorial,

34 Základ neuronu x 1 x 2 w 1 w 2 f w (x) x 3 w 3 f w x = w 1 x 1 + w 2 x 2 +w 3 x 3

35 Neuron s ReLU aktivační funkcí x 1 x 2 w 1 w 2 f w (x) x 3 w 3 f w x = max(w 1 x 1 + w 2 x 2 +w 3 x 3, 0)

37 Výpočet x 2 = max W 1 x 1, 0 x 3 = max W 2 x 2, 0 x 4 = max W 3 x 3, 0 x 1 x 2 x 3 x 4

38 Učení neuronových sítí Zpětné šíření chyby derivace objektivní vzhledem ke všem parametrům sítě využití pravidla pro efektivní derivace složené funkce (chain rule) J x = h(g x ) J(x) x = h(x) g(x) g(x) x Příklad chybové fce. half squared error Source: UFLDL tutorial,

39 Zpětné šíření chyby 1. Dopředný průchod sítí, spočítat a uložit aktivace všech neuronů 2. Spočítat parciální derivace všech výstupních neuronů 3. Zpětný průchod rekurzivně spočítat parciální derivace všech neuronů v síti vždy z parciálních derivací neuronů v následující vrstvě 4. Spočítat derivace vah a biasů z aktivací předešlé vstvy a derivací následující vrstvy

40 Stochastic Gradient Descent Jak minimalizovat hodnotu objektivní funkce na datasetu? Gradient Parciální derivace dohromady tvoří gradient Pohyb ve směru gradientu zvyšuje hodnotu funkce (zhoršuje výsledky sítě) a pohyb proti směru gradientu snižuje hodnotu funkce (zlepšuje síť) Stochastic gradient se počítá na podmnožinách trénovací sady Pravidlo pro učení v Stochastic Gradient Descent

41 Stochastic Gradient Descent

42 Historie Konvolučních sítí 1980 Kunihiko Fukushima Neocognitron: A Selforganizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position 1998 LeCun et al.: Gradient-Based Learning Applied to Document Recognition 2012 Krizhevsky et al.: ImageNet Classification with Deep Convolutional Neural Networks 2013-dnes exploze aplikací

43 Konvoluční neuronové sítě Jsou to úplně normální dopředné neuronové sítě Bývají hluboké Vrstvy mají pevnou strukturu propojení KONVOLUCE váhy neuronových sítí = konvoluční jádra konvolučních sítí 43

44 Konvoluce

45 Konvoluční vrstva

46 Konvoluční vrstva - kanály

47 Pooling vrstva Podvzorkování pixely z okolí se agregují do jedné hodnoty zmenšení rozměru vrstvy používají se operace MAX/MEAN MAX přímo zvyšuje invarianci vůči posunutí

48 Architektura sítě

49 Vlastnosti konvolučních sítí Výhody Klasifikace obrázků je velmi rychlá. >100 fps na rychlé GPU Problémy Pro trénování je potřeba rozumět, co se děje uvnitř. Často sítě nedělají, co mají, a je potřeba zjistit proč. Trénování je výpočetně náročné. Velké sítě se na nejnovějších GPU trénují klidně měsíc.

50 Jak trénovat sítě? Koupit rychlou herní grafiku GTX 970/980 a podobné Vybrat nástroj a nainstalovat Caffe, Lasagne, Keras, OpenDeep Definovat problém Jaké vstupy, jaké výstupy Sehnat data Stáhnout existující předtrénovanou síť Model Zoo Podle potřeby vyměnit výstupní vrstvu sítě Dotrénovat síť na vlastním datasetu

51 CNN features Take pre-trained network and use activation of a late layer as features E.g. learned on ImageNet Use any classifier for your problem Fine-tuning on your problem gives better results. Donahue et al.:decaf: A Deep Convolutional Activation Feature for Generic Visual Recognition

52 CNN features Donahue et al.: DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition. ICML 2014

53 Cross-domain image search Crowley and Zissrman: In Search of Art, Workshop on Computer Vision for Art Analysis, ECCV, 2014

54 Feature visualization Layer 2 Zeiler, Fergus: Visualizing and Understanding Convolutional Networks, ECCV 2014.

55 Feature visualization Layer 5 Zeiler, Fergus: Visualizing and Understanding Convolutional Networks, ECCV 2014.

56 Layers and network size Start small low resolution, ~4 hidden layers, not too many channels run fast experiments Scale-up until overfitting takes over Fix overfitting and scale-up again Krizhevsky, A., Sutskever, I. and Hinton, G. E.: ImageNet Classification with Deep Convolutional Neural Networks, NIPS 2012.

57 Very Deep Convolutional Networks Karen Simonyan, Andrew Zisserman: Very Deep Convolutional Networks for Large-Scale Image Recognition,

58 GoogLeNet Szegedy et al.: Going deeper with convolutions

59 GoogLeNet - Inception Layer Winner of ILSVRC 2014 Szegedy et al.: Going deeper with convolutions

60 Detekce objektů R-CNN Girshick, R., Donahue, J., Darrell, T., & Malik, J., "Rich feature hierarchies for accurate object detection and semantic segmentation"

61 Fully Convolutional Network: FCN Model family for pixel prediction by conv. net applied to semantic segmentation - end-to-end learning - efficiency in inference and learning 175 ms per-image prediction - multi-modal, multi-task Further applications - depth estimation - denoising arxiv and pre-release Jon Long & Evan Shelhamer From: Shelhamer et al.: DIY Deep Learning for Vision:a Hands-On Tutorial with Caffe

62 Pose estimation Toshev et al.: DeepPose: Human Pose Estimation via Deep Neural Networks. CVPR 2014

63 Zarovnání obličejů Stejný přístup jako předchozí Sun et al.: Deep Convolutional Network Cascade for Facial Point Detection, CVPR 2013

64 Photo Deblurring Hradiš et al.: Convolutional Neural Networks for Direct Text Deblurring. BMVC

65 Rozpoznání obličejů Facebook DeepFace detekce obličejových bodů a napasování 3D modelu frontalizace obličeje do 2D natrénování CNN klasifikátoru na obrovském datasetu 4.4M obrázků, 4k lidí uříznutí poslední vrstvy předposlední se používá jako příznaky pro porovnávání obrázků Taigman et al.: DeepFace: Closing the Gap to Human-Level Performance in Face Verification, ECCV 2014

66 Similarity Siamese net Chopra, Sumit, Raia Hadsell and Yann LeCun: Learning a similarity metric discriminatively, with application to face verification, CVPR 2005

67 Deep dreams and others Image captioning Generating images numbers chairs Painting style transfer Deep dreams

68 Dataset: ImageNet Fotografie z webu obrázky vyhledány podle klíčových slov a ručně zkontrolovány jeden obrázek patří do jedné třídy 21k tříd (podstatná jména, většinou objekty, živočichové, rostliny) 14M obrázků Lokalizace objektů pro část datasetu ~200 tříd objektů - vhodné pro detekci Large Scale Visual Recognition Challenge 1000 tříd, 1.2M trénovačích obrázků Deng et al.: ImageNet: A Large-Scale Hierarchical Image Database, CVPR

69 Dataset: MS COCO >70 kategorií, segmentace objektů, více tříd a objektů na obrázku, >300k obrázků, >2M instancí objektů, Lin et al.: Microsoft COCO: Common Objects in Context, ECCV 2014

70 MS COCO a woman posing for a pic in front of a mountain, near the water. a woman poses for a photo while sitting on a bench by the seaside. lady in the jacket is sitting on the concrete bench smiling. woman sitting at a picnic table next to the ocean. a woman sitting on a stone bench in front of the beach.

71 Dataset: SUN397 from Abbey to Zoo 397 typů scén > 100 obrázků na kategorii Xiao et al.: SUN database: Large-scale scene recognition from abbey to zoo, CVPR 2010

72 Další datové sady PASCAL VOC 2007/2012, CALTECH 101/256

73 Data augmentation

74 Caffe základy

75 Caffe základy Vytvořit dataset Textový soubor s obrázky a jejich třídami Trénovací a testovací sada Definovat síť Protobuf soubor definující vrstvy a jejich propojení Nastavit trénování Konfigurační soubor Spustit trénování > caffe train -solver lenet_solver.prototxt -gpu 0 Python Matlab

76 Net A network is a set of layers connected as a DAG: name: "dummy-net" layers { name: "data" } layers { name: "conv" } layers { name: "pool" } more layers layers { name: "loss" } LogReg Caffe creates and checks the net from the definition. Data and derivatives flow through the net as blobs a an array interface LeNet ImageNet, Krizhevsky 2012 Shelhamer et al.: DIY Deep Learning for Vision:a Hands-On Tutorial with Caffe

77 Layer name: "conv1" type: CONVOLUTION bottom: "data" top: "conv1" convolution_param { num_output: 20 kernel_size: 5 stride: 1 weight_filler { type: "xavier" } } name, type, and the connection structure (input blobs and output blobs) layer-specific parameters Shelhamer et al.: DIY Deep Learning for Vision:a Hands-On Tutorial with Caffe

78 Konfigurace trénování solver train_net: "train_net.prototxt" base_lr: 0.01 momentum: 0.9 weight_decay: max_iter: snapshot_prefix: "lenet_snapshot" Shelhamer et al.: DIY Deep Learning for Vision:a Hands-On Tutorial with Caffe

79 Caffe - python import caffe caffe.set_mode_gpu() net = caffe.net(args.model_def, pretrained_model, 'test') out = classifier.forward_all(data=data) out = out[extract_layer]

80 Zdroje Krizhevsky, A., Sutskever, I. and Hinton, G. E.: ImageNet Classification with Deep Convolutional Neural Networks, NIPS LeCun et al.: Gradient-Based Learning Applied to Document Recognition, Proceedings of the IEEE, 1998 Hinton: Neural Networks for Machine Learning, on-line kurz COURSERA, UFLDL tutorial, Toshev et al.: DeepPose: Human Pose Estimation via Deep Neural Networks Girshick, R., Donahue, J., Darrell, T., & Malik, J., "Rich feature hierarchies for accurate object detection and semantic segmentation Taigman et al.: DeepFace: Closing the Gap to Human-Level Performance in Face Verification, ECCV 2014