Zpracování digitalizovaného obrazu (ZDO) - Popisy III Statistické popisy tvaru a vzhledu Ing. Zdeněk Krňoul, Ph.D. Katedra Kybernetiky Fakulta aplikovaných věd Západočeská univerzita v Plzni Zpracování digitalizovaného obrazu (ZDO) - Popisy III
Obsah přednášky Úvod do statistických modelů pro popis Statistický model tvaru významné body statistická analýza algoritmus ASM Kombinovaný model statistický model vzhledu kombinace lineárních modelů tvaru a vzhledu algoritmus AAM Zpracování digitalizovaného obrazu (ZDO) - Popisy III 1 / 27
Statistické modely pro popis statistické modely jsou používány k popisu tvaru, nebo tvaru + oblasti jsou více sofistikované reprezentace objektů v obrázcích často přebírají částečně i roli segmentace využívají apriorní znalost o popisovaném objektu často jde o metodu učení s učitelem statistická analýza se pak aplikuje na data reprezentující určitý tvar popř. tvar + vzhled za účelem nalezení a vytvoření jeho modelu dva základní algoritmy, které se liší typem práce s obrazovou informací: Active Shape Model (ASM)... využívá pouze informaci o tvaru objektu (hranici) Active Appearance model (AAM)... kombinovaný; přidává navíc informaci o textuře objektu Zpracování digitalizovaného obrazu (ZDO) - Popisy III 2 / 27
Statistické modely tvaru Cíl: Popis tvaru (hranice) objektu vektorem (několika málo parametry) více možností jak reprezentovat tvar ve 2D obraze, zde jde často o sledování významných bodů (zlomů hran a rohů) obecně pro statistické modely tvaru vhodné uvažovat dobře odlišitelné místa obrazu od okoĺı místa vybíráme tak, aby se ideálně vyskytovaly ve všech obrazech z trénovací množiny Zpracování digitalizovaného obrazu (ZDO) - Popisy III 3 / 27
Statistické modely tvaru - významné body např. konec prstu nebo koutek úst souřadnice těchto bodů popř. oblasti obrázku mezi body jsou pak použity pro statistickou analýzu zjištění vzájemné závislosti mezi pohybem jednotlivých bodů např. Analýza hlavních komponent (Principal Component Analysis - PCA) tvar objektu pak dostaneme vhodným propojením bodů Zpracování digitalizovaného obrazu (ZDO) - Popisy III 4 / 27
Ukázka definování významných bodů pro popis tvaru rtů: Zpracování digitalizovaného obrazu (ZDO) - Popisy III 5 / 27
Analýza hlavních komponent - Principal Component Analysis (PCA) PCA je ortogonální transformace předpokládaně korelovaných příznaků na novou sadu příznaků, které jsou vyjádřeny lineární kombinací nekorelovaných tzv. hlavních komponent 1. slouží k dekorelaci dat, známa od r. 1901 2. k redukci dimenze dat s možností ovlivnění množství ztracené informace jde o ortogonální transformaci množiny pozorování na soubor lineárně nezávislých proměnných výpočet založen na kovarianci naměřených dat x 1, x 2,... x n, dimenze x i je p C(i, j) = (x i µ i )(x j µ j ) T (1) C(i, j) je příslušný prvek kovarianční matice C, x i a x j jsou i-tá a j-tá dimenze vektor dat a µ i a µ j je příslušná střední hodnota Zpracování digitalizovaného obrazu (ZDO) - Popisy III 6 / 27
z kovarianční matice vypočteme matici vlastních vektorů V a vlastní čísla jako: V 1 CV = D tj. transformace kovarianční matice na diagonální matici vlastních čísel D hlavní komponenty jsou pak získané vlastní vektory velikost vlastních čísel udává jejich významnost vydělením vlastních čísel jejich celkovým součtem získáme procentuální významnost můžeme redukovat původní dimenzi zachováním např. 99% rozptylu dat (je zvykem zachovávat 95% či 99%). pozn. Procentuální hodnoty vlastních čísel pak sčítáme dokud nedostaneme požadovanou hodnotu a ostatní vlastní čísla a k nim náležící vektory vypustíme Zpracování digitalizovaného obrazu (ZDO) - Popisy III 7 / 27
Ukázka redukce dimenze vektoru dat z dimenze 3 do dimenze 2 Zpracování digitalizovaného obrazu (ZDO) - Popisy III 8 / 27
Vlastnosti transformovaných dat většina informace o variabilitě dat je soustředěna do první komponenty a nejméně informace je obsaženo v poslední komponentě získáme snížení dimenze úlohy čili redukce počtu příznaků bez velké ztráty informace pouze prvních několika hlavních komponent (v našem případě parametry modelu = získaný popis) nevyužité hlavní komponenty obsahují malé množství informace (předpokládejme šum), protože jejich rozptyl je příliš malý Zpracování digitalizovaného obrazu (ZDO) - Popisy III 9 / 27
Statistické modely tvaru - Lineární model tvaru princip pochází z PCA tvar objektu v obraze definován významnými body výpočet (určení) tvaru probíhá podle vzorce: x = x + Φ s b s (2) Φ je matice vlastních vektorů trénovacích dat tvaru x je střední hodnota trénovacích dat tvaru b s je vektor parametrů modelu x je vypočtený tvar výsledný (komplexní) tvar může být měněn pomocí změny několika málo parametrů modelu b s (s největší variancí) Zpracování digitalizovaného obrazu (ZDO) - Popisy III 10 / 27
Identifikace modelu v pozici objektu pozice lineárního modelu tvaru v obraze může být dále určena posunem (translací) po osách x a y, rotací θ a měřítkem s získáváme pak na těchto transformacích invariantní popis takovouto transformaci T (můžeme se s modelem pohybovat po obrázku, otáčet a zmenšovat/zvětšovat) vyjádříme jako x = T Xt,Y t,s,θ(x + Φ s b s ) (3) pro jeden významný bod (x, y) si lze transformační funkci představit jako: ( ) ( ) ( ) ( ) x Xt s cos θ s sin θ x T Xt,Yt,s,θ = + y s sin θ s cos θ y Y t princip: hledáme parametry modelu, pomocí kterých vypočteme tvar x odpovídající požadovaným bodům v obraze Y, minimalizujeme vlastně výraz: (4) Y T Xt,Y t,s,θ(x + Φ s b s ) 2 (5) Zpracování digitalizovaného obrazu (ZDO) - Popisy III 11 / 27
Tento postup se dá vyjádřit iterativním procesem: 1. Nastavení parametrů b s = 0 2. Výpočet tvaru z rovnice modelu x = x + Φ s b s 3. Nalezení parametrů t = (X t, Y t, s, θ), které nejlépe transformují x do bodů Y 4. Promítnutí bodů Y do souřadné soustavy 5. Aktualizace parametrů tvarového modelu y = T 1 X t,y t,s,θ (Y ) (6) b s = Φ T s (y x) (7) 6. Pokud se parametry b s výrazně liší od původních b s, pak b s b s návrat na krok 2 Pozn. porovnáním nových hodnot a hodnot z předchozího kroku, rozdíl se uvažuje v předem zvolené přesnosti Zpracování digitalizovaného obrazu (ZDO) - Popisy III 12 / 27
Active Shape Model (ASM) ASM (aktivní tvarový model) nejznámější algoritmus pro statistické modelování tvaru ASM iterativně deformuje svůj tvar tak nalezení nelepší shody se tvarem pozorovaném obraze na počátku hrubý odhad polohy hledaného objektu v obraze a průměrný tvar můžeme vytvořit instanci modelu: x = T Xt,Y t,s,θ(x + Φb) (8) k nasazení využijeme následující iterativní postup: Zpracování digitalizovaného obrazu (ZDO) - Popisy III 13 / 27
Algoritmus: 1. Prozkoumáme okoĺı každého bodu x i a najdeme nejlepší možný bod x i, kam by se měl bod X i přesunout, např. modelování profilů, viz teorie 2. Aktualizujeme parametry (X t, Y t, s, θ, b), tak aby co nejlépe seděli na nové body X 3. Opakujeme proces dokud nedokonverguje k řešení Zpracování digitalizovaného obrazu (ZDO) - Popisy III 14 / 27
Ukázka ASM modelu pro popis lidské tváře, ukázka konvergence pro jeden snímek: Zpracování digitalizovaného obrazu (ZDO) - Popisy III 15 / 27
Statistické modely vzhledu Statistické modely vzhledu byly vymyšleny jako rozšíření popisu tvaru jde o souběžný popis (modelování) textury (barevnosti, obrazové/jasové informace) v oblastech ohraničených tvarem pro vytvoření modelu opět potřeba předem znát trénovací obrazy s vyznačenými významnými body textura v daném tvaru je tzv. warpováním převedena na texturu ve střední hodnotě tvaru, tedy získáme tvarově nezávislou texturu (pro každý trénovací obraz) na tyto textury lze např. aplikovat PCA podobně jako u modelů tvaru Zpracování digitalizovaného obrazu (ZDO) - Popisy III 16 / 27
Zpracování digitalizovaného obrazu (ZDO) - Popisy III 17 / 27
Statistické modely vzhledu - Warpování obrazů warpování je mapování textury jednoho objektu (tvaru) na jiný objekt (tvar)... změna tvaru původní textury na tvar požadovaný nejjednodušší způsob je tzv. triangulace souřadnic oba objekty (tvary) nejdříve rozděĺıme na stejný počet trojúhelníků pro každý trojúhelník cílového objektu najdeme příslušný trojúhelník výchozího objektu pro každý bod cílového trojúhelníku najdeme příslušný bod výchozího trojúhelníku poloha bodu v trojúhelníku se dá vyjádřit pomocí souřadnic jeho vrcholů: [ ] [ ] [ ] [ ] x x1 x2 x3 = α + β + γ (9) y y 1 x 1,x 2 a x 3 jsou vrcholy trojúhelníku a x je souřadnice bodu vyjádřená pomocí těchto vrcholů Zpracování digitalizovaného obrazu (ZDO) - Popisy III 18 / 27 y 2 y 3
parametry α,β a γ vypočteme z rovnic: α = 1 (β + γ) (10) β = γ = yx 3 yx 1 x 3 y 1 xy 3 + x 1 y 3 + xy 1 x 2 y 3 + x 2 y 1 + x 1 y 3 + x 3 y 2 x 3 y 1 x 1 y 2 (11) xy 2 xy 1 x 1 y 2 yx 2 + x 2 y 1 + yx 1 x 2 y 3 + x 2 y 1 + x 1 y 3 + x 3 y 2 x 3 y 1 x 1 y 2 (12) x a y jsou souřadnice cílového bodu a x i a y i jsou souřadnice vrcholů cílového trojúhelníku souřadnice hledaného bodu získáme dosazením vrcholů výchozího trojúhelníku do rovnice 9 Zpracování digitalizovaného obrazu (ZDO) - Popisy III 19 / 27
Ukázka warpovené textury z instance modelu do středního tvaru: Zpracování digitalizovaného obrazu (ZDO) - Popisy III 20 / 27
Statistické modely vzhledu - Lineární model textury lineární model vzhledu vzniká aplikací PCA na nawarpované textury vektory stejné dimenze pak můžeme vyjádřit jako lineární model textury: g = g + Φ g b g (13) Φ g je matice vlastních vektorů trénovacích dat textury g je střední hodnota trénovacích dat textury b g je vektor parametrů modelu textury a g je vypočtená textura Zpracování digitalizovaného obrazu (ZDO) - Popisy III 21 / 27
Kombinovaný model pro vytvoření kombinovaného modelu definujeme závislost mezi parametry modelu tvaru a textury nejprve pro každý trénovací obraz provedeme výpočet příslušných parametrů a provedeme na nich PCA ( ) ( Ws b s Ws Φ T ) s (x x) b = = Φ T (14) g (g g) b g b je vektor parametrů složený z parametrů modelu textury b g a parametrů modelu tvaru b s W s je váhová matice... normalizace parametrů modelu tvaru s parametry modelu textury (souřadnice vs. pixely) Φ s a Φ g jsou vlastní vektory kovariančních matic trénovacích dat tvaru a textury x jsou skutečné souřadnice pro daný obraz, a jejich střední hodnota g je tvarově nezávislá textura příslušného obrazu a její střední hodnota Zpracování digitalizovaného obrazu (ZDO) - Popisy III 22 / 27
a pak opakováním PCA již nad spojeným vektorem b lze stanovit kombinovaný model jednoduše jako: b = Φ c c (15) Φ c jsou vlastní vektory kovarianční matice parametrů obou modelů c je vektor parametrů kombinovaného modelu pomocí (kombinovaných) parametrů c lze kontrolovat současně jak tvar tak texturu vypočítaného objektu Zpracování digitalizovaného obrazu (ZDO) - Popisy III 23 / 27
Active Appearance Model (AAM) AAM (aktivní vzhledový model) nejznámější algoritmus pro statistické modelování tvaru+vzhledu AAM vychází z ASM, kdy navíc pracuje s informací o textuře objektu, viz teorie... kombinovaný model kritérium kvality nasazení modelu na skutečný tvar je definováno jako vektor rozdílů: δi = I i I m (16) kde I i je vektor intenzit obrazu a I m je vektor intenzit textury vytvořené ze současných parametrů modelu Zpracování digitalizovaného obrazu (ZDO) - Popisy III 24 / 27
nalezení nejlepší shody minimalizujeme velikost = δi 2 změnou parametrů modelu c vzhledem k velkému počtu parametrů se toto může zdát jako složitá úloha ale každý pokus o nasazení instance modelu do obrazu je v podstatě stejná optimalizační úloha lze předem natrénovat jak se mají pro různé δi změnit parametry modelu c časově efektivní algoritmus vyhledávání Pozn. Při trénování systematicky odchylujeme jednotlivé parametry c a t od jejich známých optimálních hodnot a počítáme pro každou odchylku residuum r a tak určíme matici R. Zpracování digitalizovaného obrazu (ZDO) - Popisy III 25 / 27
Řešení optimalizačního problému AAM Z počátečních parametrů c 0 vytvoříme na startovní pozici instanci modelu s texturou g s Výpočet chybového vektoru δg 0 = g s g m Výpočet chyby E 0 = δg 0 2 Výpočet odchylky nových parametrů, δc = Rδg 0 Nastavení k = 1 c 1 = c 0 kδc Vytvoření instance modelu pomocí parametrů c 1, výpočet nového chybového vektoru δg 1 a chyby E 1 Když je E 1 < E 0 přijmeme c 1 jako nové parametry modelu V jiném případě zkoušíme k = 1.5, k = 0.5, k = 0.25 atd Zpracování digitalizovaného obrazu (ZDO) - Popisy III 26 / 27
Ukázka AAM modelu pro popis tvaru i podoby lidské tváře Zpracování digitalizovaného obrazu (ZDO) - Popisy III 27 / 27