Vsoké učení techncké v Brně Fkult nformčních technologí Rozpoznávání gest ve vdeo sekvencích Dplomová práce Rok odevzdání: 003 Autor: Mchl Špněl
Zdání dplomové práce Tém: Rozpoznávání gest ve vdeo sekvencích Pokn:. Prostudujte dostupnou lterturu n tém zprcování obrzu se změřením n rozpoznávání gest.. Vberte vhodnou metodu pro rozpoznávání výrzů oblčeje člověk ve vdeo sekvencích s omezeným rozlšením přípdně nvrhněte vlstní modfkce metod. 3. Implementujte metodu podle předchozího bodu zdání tk b prcovl s vdeo sekvencem pořízeným jednoduchou USB kmerkou. 4. Demonstrujte možnost loklzce sledování (trckng pohbu hlv v sekvenc sledování změn chrkterstckých regonů v oblčej. 5. Dskutujte dosžené výsledk.
Čestné prohlášení Prohlšuj že jsem tuto dplomovou prác vprcovl smosttně pod vedením Doc. Dr. Ing. Pvl Zemčík. Všechn lterární prmen publkce ze kterých jsem čerpl jsou řádně uveden buď přímo v tetu nebo v závěrečném seznmu ltertur... 3
Poděkování Velm rád bch poděkovl vedoucímu mé dplomové práce Doc. Dr. Ing. Pvlu Zemčíkov. Z jeho podnětné přpomínk trpělvost odborné rd mu ptří můj dík. Poděkování s jstě zslouží moje rodn lásk přátelé. Bez jejch trpělvost pomoc bch se jen těžko obešel. Děkuj vám všem. 4
Abstrkt Jeden z mnoh pohledů n problemtku rozpoznávání gest ve vdeo sekvencích bude prezentován v této prác. Změří se především n klsfkc výrzů ldské tváře. Předství poměrně novou metodu reprezentce obrzu oblčeje sledování jeho pohbu v obrzové sekvenc. Metodu modelující dskrétní vzor oblčeje lneární kombncí spojtých dvourozměrných lchých Gáborových funkcí (Síť Gáborových vlnek. Ukáže přednost této reprezentce př sledování pohbu oblčeje ve vdeo sekvenc zejmén pk její robustnost k deformcím uvntř oblčejového regonu (úsměv mrknutí změnám světelných podmínek. Dlší prostor pro plkc vlnkových sítí odhlí př klsfkc výrzu význmných oblčejových prtí (oč úst nebo-l v rozpoznávání výrzů oblčeje. Uvedené metod budou tvořt zákldní stvební kmen rozpoznávče výrzu ldské tváře. Klíčová slov Obrz reprezentce objektů síť Gáborových vlnek oblčejové rs trckng pohb v obrze klsfkce výrzu. 5
Abstrct Mn pproches to humn gesture recognton ests. Ths work presents one of the pproches. Especll the problems of humn fce representton trckng nd fcl epressons clssfcton re dscussed. A method where dscrete fce templte s represented b lner combnton of contnuous D odd-gbor wvelet functons (Gbor Wvelet Network-GWN s proposed. Usng ths representton n effectve fce trckng method s cheved tht s robust to llumnton chnges nd deformtons of fce mge such s smle. Fcl epresson clssfcton s nother problem tht cn be solved usng wvelet networks s well. Combnton of ths methods forms fcl epressons recognzer tht s lso dscussed. Kewords Imge object representton Gbor Wvelet Networks fcl fetures trckng fcl epressons mge moton epresson clssfcton. 6
Obsh ÚVOD... ZPRACOVÁNÍ OBRAZU... 3. Zákld zprcování obrzu... 4. Gbor Wvelet Network (GWN... 8.3 Prmetrcké model optckého toku... 9 3 ROZPOZNÁVÁNÍ GEST A VÝRAZU TVÁŘE... 36 3. Motvce pro relzc rozpoznávče výrzů tváře... 36 3. Přehled estujících metod... 36 4 NÁVRH A IMPLEMENTACE ROZPOZNÁVAČE... 4 4. Rozpoznávč výrzu ldské tváře... 4 4. Implementce rozpoznávče... 53 5 EXPERIMENTÁLNÍ VÝSLEDKY... 64 5. Optmlzce GWN... 64 5. Detekce oblčeje... 65 5.3 Trckng oblčeje... 68 5.4 Klsfkce výrzů... 70 6 ZÁVĚR... 7 LITERATURA... 73 A PŘÍLOHA... 75 7
Seznm obrázků Obr. : Fltrce občejným průměrováním... 5 Obr. : Detekce hrn Sobelův operátor... 7 Obr. 3: Neuronová síť pro promc spojtých funkcí... 9 Obr. 4: Vlnková síť (wvelet network... 9 Obr. 5: Dvourozměrná lchá Gáborov funkce... 0 Obr. 6: Výsledek optmlzce GWN 6 n oblčej... 3 Obr. 7: Optmlzovné GWN 6 GWN 5 GWN 6... 3 Obr. 8: GWN 5 optmlzovná n oblčejový regon... 4 Obr. 9: Přemístění GWN... 5 Obr. 0: Příkld GWN trckngu oblčeje... 6 Obr. : Odhd optckého toku vbrných bodů obrzu... 9 Obr. : Interpretce prmetrů optckého toku... 3 Obr. 3: Funkce Gemn-McClure její dervce... 33 Obr. 4: Sestvení obrzové prmd podvzorkováním... 34 Obr. 5: Výpočet optckého toku v oblčejovém regonu... 35 Obr. 6: Zákldní de rozpoznávče... 4 Obr. 7: Fnální struktur rozpoznávče... 43 Obr. 8: Vlnk promující osvětlení... 44 Obr. 9: Nlezení význmných rsů... 45 Obr. 0: Odstrnění nehomogenního osvětlení... 45 Obr. : Příkld detekce ldské kůže... 47 Obr. : Nlezení hrnčního obdélníku oblčejového regonu... 48 Obr. 3: Příkld mlé GWN glere oblčejových vzorů... 49 Obr. 4: Loklzce oblčeje v regonu nlezeném detekcí ldské kůže... 49 Obr. 5: Trckng oblčeje ve vdeo sekvenc... 50 Obr. 6: Pozce rozměr oblstí v oblčej... 5 Obr. 7: Glere GWN předloh rozpoznávných výrzů... 5 Obr. 8: Normlzce GWN sítě... 53 Obr. 9: Zvětšení GWN přes normlzovný tvr... 54 Obr. 30: Zákldní prncp evoluce... 56 Obr. 3: Hledání optm dvourozměrné spojté funkce... 57 Obr. 3: Ilustrce použtí rotčních úhlů... 57 Obr. 33: GWN 5 GWN 6 optmlzovné metodou ES... 58 8
Obr. 34: Ztrát poloh oblčeje př přechodu z levého do prvého snímku... 59 Obr. 35: Prmdální reprezentce obrzu odpovídjící GWN... 60 Obr. 36: Úspěšné přemístění GWN s použtím prmd... 60 Obr. 37: Oblst vnášející chb do GWN reprezentce nebo trckngu... 6 Obr. 38: Pozce váhovc elps hodnot vh (vprvo... 6 Obr. 39: Ukázk z progrmu GesIn... 63 Obr. 40: Porovnání optmlzce pomocí ES (vlevo LM (vprvo... 64 Obr. 4: Čsová náročnost optmlzce GWN... 65 Obr. 4: Jedn z použtých oblčejových glerí GWN 4... 66 Obr. 43: Rchlost detekce oblčeje... 66 Obr. 44: Úspěšná detekce oblčeje v přblžných oblstech... 67 Obr. 45: Rchlost trckngu v závslost n počtu vlnek GWN... 68 Obr. 46: Porovnání GWN trckngu (vlevo s výpočtem optckého toku... 69 Obr. 47: GWN glere pro oblst levého ok obočí... 70 Obr. 48: Rchlost klsfkce výrzů... 7 Obr. A: GesIn - roletová menu... 75 Obr. A: Pops okn Cpture wndow... 76 Obr. A3: Práce s obrzovou sekvencí... 77 Obr. A4: Ovládání okn Vdeo sequence wndow... 77 Obr. A5: Prmetrcké model optckého toku... 78 Obr. A6: Pops okn GWN trckng... 79 Obr. A7: Detekce oblčeje... 8 Obr. A8: Ovládání rozpoznávče výrzu tváře... 8 9
Seznm tbulek Tb. : Přehled GWN reprezentcí... Tb. : Výčet klsfkovných výrzů pro jednotlvé oblst tváře... 5 Tb. 3: Pops klsfkovných oblstí oblčeje... 5 Tb. 4: Úspěšnost detekce oblčeje... 67 Tb. 5: Úspěšnost klsfkce výrzů... 70 0
Úvod V průběhu stletí prošlo ldstvo velkým vývojem. Součsně s ním se vvíjí prostředk jeho komunkce. Ab s ldé dokázl rchle sndno sdělt své mšlenk vznkl řeč gest výrzů. Pozděj se vvnulo slovo mluvené psné. Stejně tk prochází svým vývojem komunkce člověk s počítčem. V součsné době zčínáme opouštět trdční klávesnce mš. Snžíme se počítče nučt komunkovt nším ldským způsobem. Velkým rozvojem prochází užvtelská rozhrnní zložená n nlýze rozpoznávání ldského hlsu. Obdobně se v posledních letech objevují více č méně úspěšně relzují sstém nlzující obrz užvtele zchcený kmerou. N zákldě jeho vzuálních podnětů může být počítč ovládán řízen. Rostoucí výpočetní výkon personálních počítčů bortí zeď mez lbortoří reálnou plkcí tohoto tpu. Aplkcí dostupnou běžnému užvtel. Jsme ted schopn nvrhnout mplementovt sstém jenž dokáže rozpoznt gest výrz člověk z vdeo sekvence? Snd n tuto otázku odpoví má dplomová práce. Neboť kromě hlsu jsou emoconální projev v oblst oblčeje gestkulce rukou č pohb tělem velm podsttnou složkou komunkce mez ldm je tto snh o vtvoření užvtelského rozhrní řízeného gest ted přenesení tohoto tpu komunkce mez člověk stroj pochoptelná. Složtost nterpretce ldských výrzů pro člověk smotného ční tuto oblst dosud plně nevužtou př zpojení počítčů do tohoto procesu. Vrblnost jednečnost způsobu provedení gest emocí mez jednotlvým ndvdultm je jen zákldním problémem se kterým se zcel určtě budou potýkt všchn př návrhu tkového sstému. V rámc této dplomové práce se pokusím ukázt možnost nlýz zprcování vdeo sekvencí které obshují obrz užvtele včetně jeho výrzových projevů. Npříkld dnes jž běžně dostupné kmerk s nízkým rozlšením mohou být prostředkem k zchcení tkových sekvencí. Změřím se zejmén n rozpoznávání výrzů oblčeje. Souvsejícím témtem bude loklzce sledování pohbu objektů (oblčeje ve vdeo sekvenc což je nutný zákld pro rozpoznávání gest výrzů. Úvodní druhá kptol je věnován zákldům zprcování obrzu. Nejprve budou vsvětlen některé zákldní pojm z této problemtk pro tuto prác klíčová metod reprezentce objektů v obrze. Metod poprvé předstvená V. Krugerem v [] která dskrétní vzor oblčeje promuje lneární kombncí dvourozměrných lchých Gáborových funkcí (tzv. Síť Gáborových vlnek. Kptolu ted tvoří potřebné teoretcké zákld pro pozdější rozbor návrh rozpoznávče. Poměrně krátká třetí kptolk nlzuje součsný stvu sstémů zložených n zprcování obrzu užvtele rozpoznávání jeho gest výrzů. Rovněž se pokouší o zákldní rozdělení všech metod do chrkterstckých skupn zmňuje se výhodách nevýhodách jejch předstvtelů. Ve třetí kptole se též objeví důvod proč moje volb pdl n rozpoznávání výrzu tváře. Návrhem celého sstému se zbývá kptol čtvrtá. S vužtím vlnkových sítí je v ní vřešen zákldní problém sledování pohbu oblčeje ve vdeo sekvenc le klsfkc výrzu význčných
oblčejových prtí (oč úst. Tké se dozvíte o zkušenostech s mplementcí jednotlvých lgortmů též o více č méně podsttných vlepšeních použtých metod. Reálné výsledk mplementovného sstému jeho kldné záporné vlstnost shrnutí robustnost dlších chrkterstk se objeví n stránkách kptol páté. Nní m nezbývá než Vám popřát příjemné chvíle strávené nd touto dplomovou prcí. Prcí jenž nvzuje n předchozí ročníkový semestrální projekt ve kterých jsem získl nejen znlost o problemtce různých přístupech k rozpoznávání gest le tké mnoho zkušeností důležtých pro volbu metod které moje dplomová práce dále rozvíjí.
Zprcování obrzu Předmětem zprcování přípdného rozpoznávání obrzu je obrzová nformce o reálném světě která do počítče vstupuje nejčstěj televzní č jnou kmerou. Cílem je porozumění obshu obrzu. Postup zprcování rozpoznávání obrzu reálného svět lze obvkle rozložt do několk zákldních kroků: Snímání dgtlzce uložení obrzu v počítč. Předzprcování obrzu. Segmentce pops objektů. Porozumění obshu obrzu přípdně jen klsfkce objektů. Prvním krokem zprcování obrzu je snímání dgtlzce uložení obrzu v číselné formě do počítče. Př snímání se převádějí vstupní optcké velčn n elektrcký sgnál spojtý v čse úrovn. Vstupní nformcí může být js (z kmer scnneru nebo několk spektrálních složek (červená zelená modrá př brevném snímání. Dgtlzcí se převádí vstupní spojtý sgnál do dskrétního tvru. Vstupní nlogový sgnál je popsán funkcí f( dvou proměnných souřdnc v obrze. Funkční hodnot odpovídá npř. jsu. Vstupní sgnál je vzorkován kvntován. Výsledkem je mtce čísel popsujících obrz. Jednomu prvku mtce se říká obrzový element pel. Druhým zákldním krokem je předzprcování obrzu. Cílem předzprcování je potlčt šum zkreslení vznklé př dgtlzc přenosu obrzu. Jnd se předzprcování snží zvýrznt určté rs obrzu podsttné pro dlší zprcování. Příkldem může být hledání hrn. Třetím s nejtěžším krokem postupu zprcování je segmentce která dovolí v obrze njít objekt. Z objekt lze povžovt t část obrzu které nás z hledsk dlšího zprcování zjímjí. Pops nlezených objektů v obrze je ovlvněn tím n co se bude užívt. Lze je popst buď kvntttvně pomocí souboru číselných chrkterstk nebo kvlttvně pomocí relcí mez objekt. Z krjně jednoduchý pops lze povžovt velkost ploch objektu. V některých přípdech není nutné provádět všechn uvedené krok. Npříkld př klsfkc neuronovou sítí se segmentce pops objektů eplctně neprovádí neboť je součástí chování struktur sítě. O to větší důrz může být klden n kvltní předzprcování obrzu. Velkou komplkcí př zprcování obrzu je totž vzth mez jsem který měří kmer tvrem povrchu 3D objektů v obrze. Js bodu totž závsí n mnoh vlvech (odrzvost povrchu poloh vlstnost zdrojů světl. 3
. Zákld zprcování obrzu Nejprve pár slov k ltertuře. K podrobnějšímu studu technk zprcování obrzu vám mohu doporučt lterturu [] přípdně knhu [3] věnovnou počítčovému vdění. Ltertur zbývjící se zprcováním obrzu je bezpočet zleží jen n konkrétní oblst všeho zájmu. Výkld problemtk zprcování obrzu se opírá o některé zákldní pojm které je třeb vsvětlt. Prvním pojmem je obrz. Obrzem rozumíme optcký obrz v obvklém smslu. Příkldem může být obrz vdění televzní kmerou. Tkový obrz má plošnou (dvourozměrnou povhu. Obrzová funkce Př formálním vmezení je použt mtemtcký model obrzu. Tím je spojtá funkce dvou proměnných tzv. obrzová funkce f(. Hodnotou obrzové funkce je nejčstěj js (ntenzt. Js je obrzová velčn která souhrnně vjdřuje vlstnost obrzového sgnálu způsobem jenž odpovídá vnímání člověkem. Obrzové funkce dělíme n spojté dskrétní. Spojtá funkce má defnční obor obor hodnot spojtý. Pokud tvoří defnční obor množn dskrétních bodů je-l oborem hodnot dskrétní množn potom funkc nzýváme dskrétní. Obrz může být v jednodušším přípdě monochromtcký. Je reprezentován jednou obrzovou funkcí. Ve složtějším přípdě se jedná o obrz brevný multspektrální. Kždé dvojc souřdnc odpovídá vektor hodnot nebo-l jsů pro jednotlvé brevné složk obrzu. Brevné složk obrzu mohou být reprezentován trojící jsů červeného zeleného modrého světl (RGB. Protože ldské oko vnímá ntenztu jednotlvých brevných složek světl různě vjdřuje se celkový js pomocí emprckého vzthu I 0.3R + 0.59G + 0. B. Spojtou obrzovou funkc je nutné reprezentovt v počítč získt její dskrétní ekvvlent. Dskretzce doshujeme dgtlzcí obrzu. Dgtlzce spočívá ve vzorkování obrzu v mtc bodů ve kvntování spojté úrovně jsové funkce. Čím jemnější je vzorkování kvntování tím přesnější je promce původního spojtého obrzu. Konvoluce Důležtou opercí př lneárním přístupu ke zprcování obrzu je konvoluce. Konvoluce dvourozměrných spojtých funkcí f h je defnován ntegrálem kde funkce f ( * h( f ( b h( b ddb h ( se nzývá konvolučním jádrem. Př prác s dgtálním obrzem se používá tzv. dskrétní konvoluce která je dskrétní dvojrozměrnou podobou předchozího vzthu 4
k I ( * h( I( j h( j. k k j k V tomto přípdě je I( dskrétní obrz h( jádro konvoluce. Fltrce Část opercí předzprcování obrzu se nzývá fltrce. Jedná se o metod vužívjící pro výpočet jsu bodu ve výstupním obrze jen lokálního okolí odpovídjícího bodu ve vstupním obrze. N fltrc lze tké pohlédnout jko n dskrétní konvoluc. Přčemž konvoluční jádro defnuje použté lokální okolí. V mnoh prktckých přípdech se vužívá prvoúhlého okolí. Ab blo použté okolí smetrcké vůč jeho středovému elementu ( volí se nejčstěj rozměr okolí z množn lchých přrozených čísel. Konvoluční lneární operce (fltr jsou použtelné pro vhlzování detekc hrn nebo čr (grdentní operce. Vhlzování obrzu vede k potlčení všších frekvencí obrzové funkce. Žádným výsledkem vhlzování je potlčení náhodného šumu. Součsně nneštěstí dochází k potlčení osttních náhlých změn jsové funkce nebo-l k rozmzání hrn. Příkldem vhlzování je npříkld občejné průměrování. Kždému bodu přřzuje nový js který je průměrem původních jsů ve zvoleném okolí.v některých přípdech se zvšuje váh středového bodu msk (konv. jádr nebo jeho sousedů b se lépe promovl vlstnost šumu s Gussovským rozložením. Příkldem čsto používných průměrovcích fltrů jsou h 6 4 6 h 0. 0 Výsledek vhlzování fltrem h 6 je znázorněn n obr.. Ve fltrovném obrze (vprvo je ptrné částečné odstrnění náhodného mpulsního šumu le výrzné rozmzání hrn. Obr. : Fltrce občejným průměrováním Grdentní operce s nm těsně souvsející ostření obrzu nopk vedou ke zdůrznění všších frekvencí. Součsně jsou zvýrzněn t obrzové element ve kterých se jsová funkce náhle mění má zde velký modul grdentu. Žádným výsledkem je zvýrznění hrn v obrze. Bohužel jsou zvýrzněn šumové bod. Z uvedeného srovnání vhlzovcích ostřících opercí je ptrná jejch protchůdnost. Řešení tohoto rozporu umožňují některé lgortm které ob postup kombnují. 5
Detekce hrn Hrn v obrze je vlstnost obrzového elementu jeho okolí. Hrn je vektorová velčn je určen velkostí směrem. Tto velčn vcházejí z grdentu (operátor nbl obrzové funkce. Hrn ndkuje bod obrzu ve kterých dochází ke změnám obrzové funkce. Grdent je dán f f f ( ( (. Z mtemtckého hledsk udává grdent směr v němž funkce f v bodě ( nejrchlej roste.jeho velkost se pk počítá jko ( ( ( + f f f. Příkld detekce hrn v obrze demonstruje obr.. Výpočet potřebných obrzových dervcí použtý operátor bude dále dskutován. Obrzové dervce Způsob reprezentce obrzu dskrétní obrzovou funkcí znemožňuje přesný výpočet obrzových dervcí. Tto dervce lze proto pouze promovt to npř. pomocí dferencí nebol rozdílů. Nejjednodušší jsou tzv. dvoubodové dference jejch mtemtcké vjádření je ( ( ( j k I j I j I ( ( ( k j I j I j I kde k je mlé celé číslo většnou. Výpočet dervcí použtím těchto rovnc je velm nepřesný lepších výsledků lze dosáhnout použtím tzv. centrálních dferencí + k j k I j k I k w j I ( ( ( ( ( + k k j I k j I k w j I ( ( ( ( ( kde k w je přípdná váhová funkce.... n Operátor pro detekc ohodnocení hrn v dskrétních obrzech vcházejí právě z dferencí. Příkldem dobré promce grdentu je Sobelův operátor který je směrově závslý. Sobelův operátor lze vtvořt pro různě velké rozměr msek. Příkldem konvoluční msk 33 pro dv z osm směrů jsou 6 0 0 0 h. 0 0 0 h
Chování operátoru h lustruje obr.. Čím výrznější je bod výsledného obrzu tím větší je odezv hrnového operátoru. Obr. : Detekce hrn Sobelův operátor Všeobecný úvod do zprcování obrzu máte z sebou. Dlší část této velké kptol Zprcování obrzu obshují teoretcké zákld metod které nlézjí upltnění zejmén př rozpoznávání ldských gest výrzů. 7
. Gbor Wvelet Network (GWN Estuje mnoho možností reprezentce objektů v obrze. Protože je moje práce orentován n rozpoznávání výrzů tváře předstvím v této kptole metodu zloženou n prác Kruger Somer []. Metodu velm perspektvní neboť je vhodná k utomtckému sledování pohbu objektu ve vdeo sekvenc což je zákldní problém počítčového vdění. Ze stejných důvodů je ve veškerých lustrtvních příkldech z sledovný objekt povžován ldský oblčej. K reprezentc obrzu oblčeje bude použt síť Gáborových vlnek. Robustní metod odolná vůč změnám světelných podmínek v obrze deformcím oblčejových prtí. Vzor oblčeje je reprezentován pomocí dvourozměrných lchých Gáborových funkcí (vlnek. Lneární kombnce vlnek tvoří spojtý model (templte dskrétního obrzu oblčeje. Váh D prmetr (pozce orentce měřítko jsou volen optmálně tk b model s dným počtem vlnek co nejlépe reprezentovl vzor. Vzhledem k dříve defnovným přístupům k reprezentc objektů lze tvrdt že vlnková síť spojuje prvk templte-bsed přístupů le feture-bsed (podrobnost vz. kptol 3. Kždá vlnk totž modeluje některý význčný rs ve vzoru. Počet vlnek sítě je voltelný. Uvedená vlstnost je důležtou chrkterstkou lgortmu. S rostoucím počtem vlnek roste přesnost promce obrzové nformce. Nopk použtím menšího počtu vlnek je možno potlčt vlv rozdílů mez ndvdultm užvtelů jejch oblčejů. Model je tk více všeobecný. Počet vlnek ovlvňuje výpočetní výkon potřebný k relzc lgortmu což může být podsttné u sstémů prcujících v reálném čse. Apromce funkce Vlnkové reprezentce oblčejové předloh je dosženo promcí dskrétní obrzové funkce. Jedná se o problém hledání neznámé spojté funkce f : R R. Používt budeme šedotónový obrz popsný funkcí jsu f: R R. Kždý pel obrzu lze ted defnovt dvojcí hodnot ( kde je pozce pelu je js nebol ntenzt pelu. Neuronové sítě Dopředné (ngl. feedforwrd neuronové sítě bl v mnulost ntenzvně studován jko efektvní nástroj k promc funkcí. Blo dokázáno že vícevrstvé perceptronové sítě s pouze jednou skrtou vrstvou neuronů jsou schopn promovt jkoukolv spojtou funkc defnovnou n hperkostce s hrnm (0. Zákldní struktur neuronové sítě je ptrná z obr. 3. 8
Obr. 3: Neuronová síť pro promc spojtých funkcí Je-l σ nelneární spojtá monotónně rostoucí funkce potom sum tvru: f '( M r w σ ( T r + b je popsem spojtých funkcí defnovných n ntervlu [0] n kde w b jsou reálná čísl R n. Jným slov jkoukolv spojtou funkc f defnovnou n [0] n lze nhrdt sumou f pro kterou pltí: kde ε >0 [0] n. f '( f ( < ε Vlnkové sítě Wvelet Networks Vlnkové sítě bl poprvé předstven jko lterntv k dopředným neuronovým sítím. Tento koncept bl nsprován dekompozcí n vlnk zároveň neuronovým sítěm. Je dobře známo že vlnková dekompozce nám umožňuje rozložt jkoukolv funkc f( L (R n n rodnu jných funkcí získných dltcí posunutím jedné tzv. mteřské vlnk ψ: R R. Funkc f je ted možné vjádřt lneární kombncí vlnek. Jejch váh jsou získán př procesu dekompozce. Počet vlnek je voltelný jejch koefcent určen v procesu učení. Více vlnek větší přesnost promce. Obr. 4: Vlnková síť (wvelet network Tpcká rchtektur vlnkové sítě je vdět n obr. 4. Můžeme j všk vjádřt mtemtck to následujícím vzorcem: f '( M wψ r n ( + f 9
kde w R ψ n je vlnková funkce vektor n jsou prmetr vlnk (pozce dltce orentce. Síť Gáborových vlnek Gbor Wvelet Network (GWN V tomto přípdě bude obrz oblčeje reprezentován vlnkovou sítí ve které je jko mteřská vlnk použt D lchá Gáborov funkce. Obrázek 5 lustruje použtou funkc. Obr. 5: Dvourozměrná lchá Gáborov funkce Nejdříve defnujme množnu M D lchých Gáborových funkcí ψ {ψ n ψ n ψ nm }. Vektor prmetrů n {c c θ s s } modfkuje tvr mteřské vlnk c c jsou trnslční prmetr (pozce s s je dltce (měřítko θ znčí orentc vlnk. ψ r n ( ep( [ s (( cos ( sn ] c θ + c θ π + [ s ( ( c snθ + ( c cosθ ] * *sn( s (( c cosθ ( c snθ Výše uvedený vzorec je mtemtckou defnc Gáborov vlnkové funkce. Struktur GWN bl defnován. V následujících kptolách budou dskutován dlší spekt reprezentce oblčeje vlnkovou sítí. Její možnost př trckngu oblčeje rozpoznávání výrzu tváře. + GWN reprezentce oblčeje Nlezení optmálních prmetrů vh vlnek je klíčové pro dosžení kvltní reprezentce oblčejové předloh. Důležtou částí metod je ted optmlzce prmetrů. Pro obrz f defnujeme chbovou (též energetckou funkc E. Funkce je v průběhu učícího procesu mnmlzován vzhledem k prmetrům vlnek sítě. E mn f ( w r r ψ n n w + f 0
Mnmlzc energe je vhodné řešt Levenberg-Mrqurdtovou metodou největšího spádu. Její nevýhodou je možnost uváznutí v některém lokálním mnmu. Proto je nutné dobře odhdnout ncální hodnot všech prmetrů. Říkáme že ob optmlzovné vektor ψ {ψ n ψ n ψ nm } w {w w w M } tvoří optmlzovnou síť Gáborových vlnek (GWN pro specfcký obrz oblčeje f. Rekonstrukce orgnálního obrzu je poměrně sndná: f ' M w ψ r + f. Kvlt rekonstrukce do znčné mír závsí n počtu použtých vlnek M. Získný spojtý pops oblčeje má několk výhod. Stupeň generlzce závsí n počtu vlnek. Model je do jsté mír munní vůč změnám č deformcím oblčejového regonu. A zároveň je vzhledem k odečtení střední hodnot obrzové funkce odolný k homogenním změnám světelných podmínek. n Levenberg-Mrqurdtov (LM mnmlzce Vužívá eplctní výpočet Hessov mtce. Jde o kombnc Guss-Newtonov metod s metodou největšího spádu tk b bl elmnován možné problém Guss-Newtonov metod dleko od hledného mnm. Př výpočtu vužívá druhých prcálních dervcí proto je vhodná tm kde je umíme sndno spočítt. Pro Guss-Newtonovu metodu pltí: r r Aδ f V LM metodě nhrdíme mtc druhých prcálních dervcí A (vžd dle dvou proměnných k l vz. dále mtcí A : ' A' jj ' j jj ( k ( + λ j j j Pokud λ 0 jedná se o Guss-Newtonovu metodu pro λ dostáváme mlý krok ve směru spádu. Algortmus mnmlzce pk vpdá zhrub tkto: Stnovíme vektor 0 hodnotu f( 0 Udáme hodnotu λ npříkld λ 0.00 pro k 0 r r Použjeme vzth Aδ f. ( k Vpočteme hodnotu p k + k f( p. Pokud f( p f( k krok zmítneme λ 0λ. V opčném přípdě krok přjmeme f( k+ f( p λ 0.λ k k + l Dále cklus opkujeme od třetího kroku. Levenberg-Mrqurdtov metod se čsto užívá u nelneární regrese (náš přípd. Zde mnmlzujeme funkc tvru: E N r [ ( ] / σ
vzhledem k. Pk N r r E ( ( r k l ( ( k l σ k l k Část sum kde se vsktují druhé prcální dervce lze znedbt. Pro řešení stčí vpočítt mtc A přblžně. Dokonce je to lepší z hledsk numercké stblt. l Optmlzce GWN Smotná optmlzce je prmdálně rozložen do několk vrstev. V prvním kroku mnmlzce GWN je rozmístěn mtce 44 vlnek prvdelně v reprezentovném regonu obrzu (v nšem přípdě oblčejový regon. Všechn vlnk jsou nhrubo nclzován odhdnutým prmetr. Těchto 6 vlnek tvoří první stupeň prmd. Prmetr vlnek jsou poté zpřesňován vzhledem k uvedené energetcké funkc. Výsledkem bude GWN reprezentující obrz I 6. Ve druhém kroku je určen rozdílový obrz D I I 6. Rozdílový obrz je následně promován dlší mtcí tentokrát 66 vlnek. Tto vlnk tvoří druhou úroveň prmd. Sloučením obou úrovní vznkne GWN ze které je možné zpětně rekonstruovt obrz I 5. Ted obrz popsný rozložením 5 vlnek. Obdobně lze postupovt v dlších úrovních prmd. Tímto prncpem je chb rekonstruovného obrzu účnně mnmlzován. Postupuje se totž od hrubších vlnek k jemnějším detlnějším. Přehled nejčstěj používných prmdálních struktur je v tb.. Celkový počet vlnek v GWN 6 5 4 5 65 80 6 Počet vrstev 3 Chrkter vrstv 0 44 33 44 44 44 44 44 Vrstv 44 55 66 77 88 66 Vrstv 88 Tb. : Přehled GWN reprezentcí Př rozmísťování vlnek je orentce volen náhodně měřítk s s jsou nclzován n hodnot specfcké pro kždou vrstvu prmd (vzhledem k počtu vlnek ve vrstvě. Optmlzce vrstv se neděje njednou le mnmlzují se postupně prmetr vžd jen jedné vlnk. Ale co váh? Jejch hodnot lze mnmlzovt součsně s osttním prmetr. Je všk efektvnější použít přímý výpočet vh blíže popsný n str. 3.
Obr. 6: Výsledek optmlzce GWN 6 n oblčej Výsledek optmlzčního procesu je znázorněn n obr. 6. N oblčejovém regonu blo prmdálně mnmlzováno 6 vlnek. Bl rozmístěn ve třech vrstvách o 44 66 88 vlnkách. V obrázku jsou pro lustrc vznčen poloh 6-t nejvýznmnějších vlnek. N dlším obrázku (obr. 7 je ptrný vlv počtu použtých vlnek n kvltu rekonstruovného obrzu. Zjevě pltí prvdlo vce vlnek větší přesnost reprezentce rekosntrukce. V některých přípdech npř. trckng oblčeje je všk výhodnější menší počet vlnek. Prvním důvodem jsou nžší výpočetní nárok le mnohem podsttnějším je lepší schopnost generlzce sítě. GWN potom potlčuje vlv rozdílů ndvduálních tváří. Méně přesná reprezentce je tke odolnější vůč lokálním změnám uvntř oblčeje. Mrknutí okem pod. Obr. 7: Optmlzovné GWN 6 GWN 5 GWN 6 Přímý výpočet vh Váhu vlnk není třeb určovt stejně jko osttní její prmetr Levenberg-Mrqurdtovou mnmlzcí. V prác [] utor předkládá lgortmus přímého výpočtu vh zložený n prncpech ortogonlt tzv. duálních vlnkách. Gáborov vlnk jsou neortogonální což znmená že je nemožné jejch váh určt jednoduchou projekcí do obrzu. Řešením tohoto problému je defnce bortogonální množn vlnek ψ. Říkáme že dvě množn ψ {ψ } ψ {ψ } jsou b-ortogonální pltí-l pro kždé j podmínk: ψ ψ ' δ j kde δ j je Drcov funkce δ j 0 pokud pokud j j 3
<fg> je sklární součn < f g > f ( g( d Vlnku ψ budeme nzývt duální vlnkou k ψ. Jkým způsobem určt duální vlnk? Velm jednoduše. Pouhým doszením do následujícího vzorce: N ψ ' r ( Ψ ψ r n j j n přčemž mtc Ψ defnujeme Ψ < ψ > r j n ψ r n. j Znlost duálních vlnek prncpu ortogonlt je vužto k přímému výpočtu vh. Jednoduchý fnální vzorec bude vpdt tkto: w < ψ ' r f >. n Vzhledem k náročnému výpočtu mtce Ψ je důležté poznment že j lze v mnoh přípdech předpočítt. Výpočet vh bude pozděj užíván př klsfkc obrzu kde předpočítní mtce Ψ ušetří mnoho čsu. Přemístění GWN Jž je jsné jk získt spojtou vlnkovou reprezentc oblčejového vzoru. Stejně tk blo vsvětleno pozdí pojmu síť Gáborových vlnek. Jk tuto reprezentc přemístt v novém obrze b vlnk pokrývl stejné význčné bod jko v obrze původním? Tento proces je nzýván přemístění GWN. Uvžujme GWN optmlzovnou n oblčejový regon v obrze I (obr. 8. Nní předpokládejme že došlo k pohbu oblčeje. V novém obrze J se pozce regonu změnl. Proces přemístění GWN se snží množnu vlnek korektně přesunout n odpovídjící s význčné bod oblčeje v novém obrze. Podsttné je že přemístění GWN pokrývá veškeré lneární trnsformce (trnslce zvětšení rotce zkosení plkovné n původní obrz. Obr. 8: GWN 5 optmlzovná n oblčejový regon 4
Přemístění GWN bude spočívt ve stnovení prmetrů této deformce. K jejch určení se užívá tzv. Gáborov supervlnk. Mějme GWN popsnou vektor ψ {ψ n ψ n ψ nm } w {w w w M }. Gáborovu supervlnku Ψ n (GSW defnujeme jko lneární kombnc vlnek ψ n tkto: Ψ wψ n ( SR( C + C + T n ( r kde vektor prmetrů n supervlnk Ψ n defnuje dltční mtc S rotční mtc R trnslční vektor T vektor C obshující souřdnce středu oblčejového regonu. Mtemtck zpsáno: s S 0 0 s cosθ snθ R snθ cosθ T t t ( C c c. ( Pro nový obrz J lze lbovolně deformovt supervlnku optmlzcí prmetrů n vzhledem k energetcké (č chbové funkc E mn J Ψr. r n Všmněte s že prmetr supervlnk obshují pouze trnslc dltc rotc. Stejně tk lze dodefnovt tzv. zkosení (též střh. S tímto novým prmetrem je pokrt jkákolv lneární trnsformce obrzu I n J. Po přdání nového prmetru s do vektoru n je přepsán dltční mtce: s S 0 Optmální prmetr GSW mnmlzující energetckou funkc jsou hledáván dříve popsným lgortmem Levenberg-Mrqurdt. Obvkle postčí prvotní nclzce v rozshu ±0% v pozc ±0% ve zvětšení (dltc ±0% v rotc supervlnk. s s n. Obr. 9: Přemístění GWN Podsttnou vlstností vlnkové reprezentce zůstává schopnost generlzce použtím menšího počtu vlnek. Algortmus přemístění GWN může být vužt pro reprmetrzc vlnkové sítě n oblčej jného člověk. 5
Sledování pohbu pomocí GWN Aplkcí popsného přemístění n sekvenc obrzů je řešen jeden ze zákldních problémů sledování pohbu (trckng oblčeje ve vdeo sekvenc. Oblčej je zde povžován z rovnný objekt promítnutý do snímného obrzu. Pro kždý snímek J t v čse t se optmlzuje Gáborov supervlnk Ψ n vzhledem k energ E. Energ defnujeme nlogck E mn J Ψr. r n Vektor prmetrů GSW v čse t- je vužt k nclzc procesu přemístění ve snímku J t. S klesjící velkostí změn mez snímk proces optmlzce konverguje k řešení rchlej. Po nclzc (loklzc oblčeje v obrze je nutno nlézt model oblčeje s vužtím GWN reprezentce. V kždém následujícím snímku je upřesněn GSW jejím optmálním přemístěním. Trnsformcí souřdnc bodů uvntř oblčeje je proveden jeho trckng. Prmetr této trnsformce odpovídjí získným prmetrům supervlnk (s s s c c θ. Výsledk trckngu v průběhu krátké sekvence jsou zobrzen n obr. 0. Oblčejový regon je zde zdán souřdncem čtř rohů hrnčního obdélníku. Poloh rohů je v průběhu sekvence ktulzován nlezenou trnsformcí supervlnk. t n t Obr. 0: Příkld GWN trckngu oblčeje Tento přístup zhrnuje geometr oblčeje jko celku proto je velm odolný vůč některým změnám uvntř regonu. Npříkld mrknutí okem nebo úsměv. Nvíc n rozdíl od klsckých templte-bsed metod trckngu není třeb vsoké korelce mez jednotlvým snímk v okolí význčných oblčejových rsů. 6
Klsfkce vzorů Jké jsou možnost vlnkové reprezentce ve vzthu k rozpoznávání obrzových vzorů? Ide porovnávání obrzu se vzor reprezentovným GWN sítí je jednoduchá. Vlnková síť optmlzovná n konkrétním vzoru je velm specfcká. Jkýkolv jný vzor nebude touto sítí stejně dobře reprezentován. V prvním kroku je třeb vtvořt obrzovou gler všech vzorů. Pro kždý vzor z glere je optmlzován jedn GWN. Klsfkovný obrz se nní pokusíme reprezentovt všem GWN sítěm z glere. Estuje-l síť která dobře pokrývá testovný obrz lze její původní vzor ztotožnt s klsfkovným obrzem. Porovnání testovného obrzu s estující glerí GWN probíhá podle následujícího schémtu: Kždá síť z glere je optmálně přemístěn v testovném obrze. Proces přemístění se snží rozprostřít GWN v obrze tk b jednotlvé vlnk co nejlépe pokrývl chrkterstk obrzu. Projekcí vlnek přemístěné GWN do klsfkovného obrzu jsou vpočten nové hodnot všech vh. Vužje se lgortmus přímého výpočtu popsný n str. 3. Rozdíl sd nově určených původních vh defnuje vzdálenost GWN od testovného obrzu. Je-l rozdíl mlý pk GWN dobře reprezentuje obrz protože neblo třeb njk změnt její povhu. Nopk velký rozdíl vh je způsoben nutností potlčt některé vlnk neboť GWN šptně promuje obrz. Vlnková síť jejíž nové váh se změnl nejméně je prohlášen z vítěze je ztotožněn s klsfkovným obrzem. Pro výpočet vzdálenost nebo též rozdílu nových původních vh je k dspozc několk metrk. Vzdálenost dvou množn vh Výpočet vzdálenost dvou množn vh bere v potz nejen rozdíl jejch hodnot le vzájemnou nterkc jednotlvých vlnek. Výsledná hodnot bude lépe rozlšovt jednotlvé sítě v gler vzhledem k jejch ndvduálnímu chrkteru. Uvžovná optmlzovná GWN(ψw je přemístěn v klsfkovném obrze jsou vpočten její nové váh v. Pro výpočet vzdálenost vh w v je možno použít klsckou eukldovskou metrku d T ( w. v ( v w ( Ψ ( v w ψ j kde mtce Ψ je defnován Ψ < ψ ψ > j j. Lepších rozlšovcích klsfkčních výsledků doshuje metrk nzývná normlzovná vzájemná korelce. Její znčnou výhodou je normlzce bsolutní hodnot výsledku do ntervlu <0>. Vzdálenost znmená totožné váh vzdálenost 0 bsolutně rozdílné váh. Uvedená vlstnost je důležtá př porovnávání vzdálenost několk vlnkových sítí s rozdílným počtem vlnek. Normlzovnou vzájemnou korelc popsuje vzorec 7
w w v v w v v w d j T j T j T c ( ( ( ( Ψ Ψ Ψ ψ. 8 Dlší vlstnost klsfkce obrzových vzorů s vužtím glere GWN sítí budou důkldněj dskutován v kptole 4 věnovné návrhu rozpoznávče výrzu ldské tváře.
.3 Prmetrcké model optckého toku Proměn v obrze způsobené pohbem lze zjšťovt pomocí tzv. optckého toku. Optcký tok zchcuje všechn změn obrzu z čs dt. Kždému bodu obrzu odpovídá dvojrozměrný vektor rchlost vpovídjící o směru velkost rchlost pohbu v dném místě obrzu. Výpočet optckého toku je zároveň předpokldem pro zprcování všší úrovně které umožňuje určt prmetr pohbu přípdně jej klsfkovt. Obr. : Odhd optckého toku vbrných bodů obrzu Prmetrcké model optckého toku jsou jednou z možností popsu změn optckého toku v lokálních oblstech obrzu. Užívjí prmetrzovné funkce souřdnc v tomto regonu. I s mlým počtem prmetrů jsou schopn přesně popst změn ve sledovném regonu. Popsem prmetrů v čsové ose lze detekovt rozpoznt pohb (trckng regonů proměn jejch obshu způsobené dnmkou změn v obrze. Metod odhdu optckého toku Zákldní mšlenk všech přístupů k výpočtu optckého toku předpokládá že světelné podmínk jsou neměnné. Pro obrzovou funkc lze potom psát: I ( + udt + vdt t + dt I( t což znmená že hodnot obrzu v bodě ( v čse t je stejná jko hodnot obrzu v čse t+dt.. Avšk v bodě jehož změn poloh je závslá pouze n velkost optckého toku (uv. 9
Korelční metod Nejjednodušší cest jk vužít předpokldu konstntních světelných podmínek je formulovt chbovou funkc jko sumu čtverců dferencí bodů v rámc regonu R. Předpokládá se že optcký tok je konstntní v celém tomto regonu. Mnmlzcí chbové funkce E( u v R [ I( + udt + vdt t + dt I( t] je odhdnut hodnot optckého toku. Korelční metod se čsto pojmenovávjí SSD (Sum-of- Squred Dfference correlton. Grdentní metod Opět pltí podmínk lokálně konstntní hodnot optckého toku. Po rozvoj obrzové funkce do Tlorov řd znedbání členů všších řádů lze psát: I I I I ( + udt + vdt t + dt I( t + udt + vdt + dt t I( t + I udt + I vdt I dt. + Z předpokldu neměnného osvětlení př trnslčním pohbu pro odhd rchlost pohbu pltí I I u I v t + kde I I I t jsou prcální dervce jsu podle prostorové čsové složk. Optcký tok (uv je čsto nterpretován jko vektor rchlost pohbu dného bodu. Z rovnce plne že čsová změn jsu v dném místě obrzu je způsoben součnem plošné změn jsu v dném místě obrzu rchlost pohbu tohoto míst. Anlogck odhdovný optcký tok mnmlzuje energ E( u v [ I u + I v + I ]. R t t Po jednoduché úprvě T E( f [( I. f ( u v + I ]. R t Funkce f(uv je hledný optcký tok dného bodu I(I I znčí dvourozměrný grdent obrzové funkce což je směr v němž funkce I roste nejrchlej. Regresní metod prmetrcké model optckého toku Potřebujeme-l rozšířt velkost regonu R nrzíme n problém zchování vsoké mír přesnost vpočteného optckého toku. V těchto přípdech můžeme optcký tok v rámc regonu modelovt prmetrzovnou funkcí souřdnc obrzu. 30
Model optckého toku Prmetrcký pops pohbu v obrze se snží přesněj zchtt změn optckého toku v rámc zvoleného regonu. Prmetrzovná funkce je tpck reprezentován polnom. V rámc mlého regonu většnou postčuje následující jednoduchý model: v u 5 4 3 0 ( ( + + + + kde jsou konstnt u( v( jsou horzontální vertkální složk optckého toku v bodě (. Prmetr mjí jednoduchou nterpretc v optckém toku (obr.. Npříkld 0 3 reprezentují horzontální vertkální posuv (trnslce celého regonu. Anlogck lze dodefnovt rotc dvergenc (zvětšení zmenšení deformc. 4 5 5 rotce deformce dvergence + Defnovný model není dostčující k zchcení pohbu v obrze je-l přípustná změn rovn pohledu n sledovný objekt. V těchto přípdech je použt slnější (plnární model. Jeho přínosem je že npříkld oblčej je sledován v rovně vděné pod určtým úhlem (perspektvní projekce. 0 5 4 3 0 0 ( ( p p v p p u + + + + + + + + Ob dv model jsou dosttečně robustní pro pohb oblčejových regonů v mnoh stucích. Avšk nedostčují pro regon jejchž změn prochází složtější vrcí pohbů. Zejmén zkřvení tvru regonu (obočí. Zvedení dlšího prmetru c 5 4 3 0 ( ( c v u + + + + + doplní prvek zkřvení regonu. Schopnost detekce je všk omezen pouze n jednoduché tp zkřvení. Dným rovncem nelze popst složté několknásobné ohb. Pro zchcení změn zkřvení úst přípdně obočí je všk model dostčující. Obr. : Interpretce prmetrů optckého toku 3
Určení prmetrů pohbu Nní robustní lgortmus nlezení uvedených prmetrů pohbu. Nejdříve mtcový záps prmetrů pro všechn tř model (jednoduchý plnární jednoduchý se zkřvením. 0 0 0 0 0 0 0 ( X [ ] [ ] [ ] 0 0 0 0 0 0 0 5 4 3 0 5 4 3 0 5 4 3 0 p p P c C A Horzontální vertkální změn poloh pro bod o souřdncích ( je v jednotlvých modelech defnován jko: A X v u f. ( ( r P X v u p f. ( ( r r C X v u c f. ( ( Je-l R množn bodů oblčejového regonu R jsou prmetr jednoduchého modelu těchto bodů pk chb modelu je dán funkcí + R t T I f I E (. (( ( σ ρ r r Problém odhdu optckého toku spočívá v mnmlzc chbové funkce E( volbou vhodných prmetrů r. Mtemtck ( mn E r. Funkce ρ ovlvňuje proces mnmlzce. Vhodnou volbou robustní ρ-funkce lze snížt chbu př výpočtu optckého toku znčně omezt vlv nepodsttných pohbů ve zkoumné oblst. Klscký přístup k mnmlzc pomocí SSD vede spíše než k odhlení podsttného optckého toku k nlezení průměrné hodnot všech pohbů změn v oblst. Nopk vhodný výběr ρ-funkce omezuje vlv zmňovných pohbů chrkteru šumu. Volb ρ-funkce Mchel J. Blck ve své prác [4] ukázl že vhodnou ρ-funkcí je tzv. Gemn-McClureho norm. Vzth pro výpočet její hodnot první dervce jsou následující: ( + σ σ ρ ( ( + σ σ σ ψ. 3 Průběh zvolené ρ-funkce ukzuje obr. 3. Grf vprvo je její první dervce.
Obr. 3: Funkce Gemn-McClure její dervce Algortmus mnmlzce Mnmlzce může být proveden jkoukolv vhodnou publkovnou metodou. Použtelný je npř. klscký horolezecký lgortmus (hll-clmbng nebo lgortmus EM (epectton mmzton. Zpřesnění odhdu je dosženo tertvním opkováním výpočtu. V kždé terc je proveden zpětná trnsformce obrzu dle jž vpočtených prmetrů pohbu následně jejch zpřesnění. Protože funkce Gemn-McClure je dobře dferencovtelná lze vužít lgortmu přerelce - SOR (smultneous-over-relton. Tto relční metod obshuje prvk Jcobov Guss- Seddelov metod. Pro lustrc chceme-l mnmlzovt hodnotu funkce E( vzhledem k prmetru pk zpřesnění výsledných hodnot v kroku n+ obkdenáší výpočet rovnce n+ n w T ( E T (. E kde Relční prmetr w volíme v rozmezí 0<w<. Př dodržení těchto hodnot je zručen konvergence metod. Hodnot T( je horní mez druhé prcální dervce E(. Fnální lgortmus Jk bude vpdt odhd optckého toku modelovného prmetrzovným funkcem? Výpočet je zložen n výše popsných lgortmech. Vužívá robustní normu Gemn-McClure mnmlzc terčním lgortmem SOR. Podrobnost včetně detlů jných metod nleznete v ltertuře [4] [5] přípdně [6]. Ab lgortmus úspěšně zchtl velm rchlé pohb je rozšířen o použtí tzv. obrzových prmd. Pro kždý obrz sekvence je vtvořen prmd která se skládá z kopí původního obrzu podvzorkovných n nžší rozlšení. 33
Obr. 4: Sestvení obrzové prmd podvzorkováním Výpočet zčíná n nejnžším rozlšení nebo-l nejvšší úrovn prmd. Incální optcký tok je nulový. Několk tercem (řádově n30 přípdně dokud není dosženo potřebné přesnost vpočteme jeho změnu. Obvkle nejprve trnslční prmetr 0 3. Teprve po odhdu trnslčního pohbu jsou nlezen zblé prmetr modelu (npř. 4 5. To vše terčním vzorcem mnmlzční metod SOR: n+ n E w. T ( Vpočtený optcký tok je promítnut n nžší úroveň prmd. V přípdě že podvzorkování blo dosženo výběrem kždého druhého bodu obrzu bude ncální odhd roven ( 0 3 4 5. N nové úrovn je původní regon posunut (wrpng ve směru proztímního optckého toku. Nní jsou opět terčně zpřesněn prmetr optckého toku. Tímto způsobem lgortmus pokrčuje ž n nejnžší úroveň prmd. T odpovídá největšímu rozlšení ted původnímu obrzu. Wrpng obrzu Prmetr popsují pohb (optcký tok v určté oblst mez prvním následujícím obrzem vdeo sekvence. Postup deformování prvního obrzu dle odhdnutého optckého toku je následující. Pro kždý pel ( cílového obrzu je nejprve nutné nlézt jeho pozc ( v původním obrzu. Potom lneární nterpolcí pelů v okolí bodu ( vpočítt hlednou hodnotu v bodě (. Jsou-l (c c souřdnce středu sledovného regonu lze v přípdě jednoduchého modelu optckého toku psát kde ( ( T T ( ' ' T ( c c T + ( 0 T + ( 0 3 3 T + A*( ' c ' c + ( I + A *( ' c ' c T T Inverzí této trnsformce dostneme A. 4 5 34
A konečně po několk úprvách T T T ( ' c ' c ( I + A * ( c c ( 0 3 T T T T ( ' ' ( + ( b0 b3 + B * ( c c přčemž mtce B vektor (b 0.b 3 se rovnjí B ( I + A I T T ( b 0 b3 ( I + B *( 0 3.. Sledování pohbu regonu ve vdeo sekvenc Prmetrcký pops optckého toku může být použt ke sledování pohbu objektu uvntř zvoleného regonu ve vdeo sekvenc. Obdobně jko př trckngu s použtím GWN je regon reprezentován souřdncem čtř rohů hrnčního obdélníku. V kždém novém snímku sekvence jsou odhdnut prmetr zvoleného modelu. Podle nlezených hodnot jsou loklzován nové pozce všech čtř rohů regonu. Příkld n obr. 5 ukzuje pozce sledovného oblčejového regonu ve vbrných snímcích krátké sekvence. Bl použt zákldní model optckého toku bez perspektv zkřvení. Obr. 5: Výpočet optckého toku v oblčejovém regonu Prmetrcký pops optckého toku přnáší možnost nlzovt nejen pohb regonu jko celku le dnmku jednoduchých změn uvntř sledovné oblst. Čsový průběh prmetrů v průběhu sekvence lze v některých přípdech povžovt z chrkterstcký pro změn uvntř regonu. Velkost regonu všk nesmí být přílš velká. Npříkld prmetr získné sledováním celého oblčeje jen těžko posthnou změn způsobené úsměvem zmrčením pod. Nopk přílš mlý regon negtvně ovlvňuje přesnost výpočtu. 35
3 Rozpoznávání gest výrzu tváře Rozpoznávání ldských gest je oblst zjímvá rchle se rozvíjející. Zejmén v posledních několk letech získává n znčné oblbě. Potencál těchto sstémů roste s vývojem hrdwru nárůstem výkonu personálních počítčů. Tto krátká kptolk nstíní přednost nedosttk estujících metod klsfkce gest výrzů. Nejprve všk několk slov která odůvodní změření této dplomové práce n rozpoznávání výrzů ldské tváře. 3. Motvce pro relzc rozpoznávče výrzů tváře Snd pochopíte že není možné věnovt se jk rozpoznávání gest tk klsfkc výrzů oblčeje. Metod vhodné pro nlýzu gest rukou nejsou čsto úspěšné př rozpoznávání výrzu tváře. Je nutné věnovt se těmto oblstem smosttně. Po jejch vývoj lze prvk obou sstémů zkombnovt do jednoho konzstentního bloku. Jk jste se dozvěděl estuje mnoho přístupů k reprezentc objektů v obrze sledování jejch pohbu rozpoznávání gest. Není jednoduché vbrt tu správnou metodu protože žádná správná unverzální neestuje. Kždá z nch má své výhod nevýhod. Př studu jednotlvých možností jsem nrzl n poměrně nový přístup zložený n vlnkových sítích (podrobnost v kptole.. Jž od první chvíle mne tto metod zujl chtěl jsem se pokust o mplementc jejch zákldních lgortmů. Pozděj jsem zčl zkoumt vlstnost metod hledt její dlší upltnění. Blo nutné odstrnt některé její neduh pokust se o zlepšení celkové robustnost. Vlnkové sítě bl předstven jko lterntv ke známým metodám reprezentce sledování oblčeje. Tké proto je rozpoznávání výrzu ldské tváře obshem této práce. 3. Přehled estujících metod Dnmk ldských gest zvádí do jejch klsfkce dlší podsttné prvk. Prvním z nch je čsová os. Občejné pokývnutí hlvou může trvt necelou sekundu le mnohem méně. Ještě více vrblní jsou složtější gest. Dlším prvkem je ndvduální provedení gest různým ldm. S řešením uvedených problémů se kždý utor vpořádl jným způsobem. Zákldní přehled bude obshem následujících řádek. První chrkterstk Nejprve možnost rozdělení všech sstémů pro rozpoznávání ldských gest výrzů. Lze je dělt podle přístupu ke zprcování vdeo sekvence: 36
Dnmcké (moton-bsed - zložené n pohbu změně mez jednotlvým obrz sekvence. Tto metod vhodnocují pohb mez dvěm po sobě jdoucím snímk. Prmetr pohbu získávjí n zákldě výpočtu čsově-prostorových dervcí obrzové sekvence nebo výpočtem tzv. optckého toku. Sttcké Prcují vžd nd jedním obrzem sekvence dle loklzovné poloh sledovných částí těl jejch vzájemné nterkce stvu se snží dentfkovt gest výrz. N zákldě technk reprezentce modelovní sledovných objektů v obrze lze sstém rozlšt tkto: 3D model sledovné část těl (3D-bsed Podle modelu část těl jeho vlstností dných strukturou (možnost pohbu dlně prstů je v průběhu celé sekvence postupně nlzován poloh 3D modelu v prostoru. To umožňuje přesné rozlšení velm jemných gest. Tto metod jsou všk znčně výpočetně náročné. D metod (D mge-bsed nlýzou D obrzu metodou sledující rozložení brv (přípdně jsu v obrze jsou schopn rozlšt výrz gest. Čsto se užívá D modelů ldského těl. Poslední krtérum bere v potz postoj sstému k pohbu objektů v sekvenc. Nebo-l jkým způsobem sstém nlzuje pohb získává prmetr podsttné ke klsfkc gest: Zložené n regonech (regon-bsed metod spojují nformce získné nd sledovným oblstm obrzu umožňují tk nlýzu pohbu částí těl. Hrnční metod (boundr-bsed změřují se n nespojtost v obrze ldského těl př pohbu. Nní se budeme věnovt konkrétnějšímu popsu dříve zveřejněných metod. Metod reprezentce objektů v obrze jejch loklzce sledování pohbu klsfkc smotných gest. Reprezentce oblčeje v obrze Estuje mnoho možností reprezentce objektů v obrze. Důrz je klden n metod vhodné k reprezentc oblčejového regonu pozděj ke sndnému sledování jeho pohbu v obrze. Jké jsou výhod nevýhod několk hojně užívných metod? Jedn z nejúspěšnějších metod reprezentující objekt jejch vzor (tzv. templte-bsed přístup je zložen n PCA nlýze (Prncpl Component Anlss. Zejmén detekce klsfkce objektů jsou oblst vužívjící PCA. Neboť promuje pouze strukturu (teturu není hodnocen geometrcká nformce o objektu jko celku projevují se její nevýhod v ctlvost n deformce uvntř klsfkovného regonu změnu světelných podmínek. Metod AAM (Actve Appernce Model [7] rozšřuje PCA přístup právě o geometrcké vlstnost objektu. Potom je možné modelovt jkýkolv oblčej č gesto. Tto metod kódují nformc přímo n pelovém zákldě. Bohužel výpočetní nárok jsou velm vsoké. Egentrckng přístup prezentovný M. J. Blckem v [8] ství n zákldech PCA nlýz prmetrckých modelech optckého toku. Vzor pro PCA nlýzu jsou zde chápán jko objekt vděné určtým pohledem. Snh odhlt trnsformc známých vzorů n ktuálně pozorovný objekt je podepřen robustním metodm odhdu optckého toku. Jní utoř [9] [0] předstvují možnost plkce umělých neuronových sítí (ANNs - Artfcl Neurl Networks př reprezentc objektů. Vstupem neuronové sítě jsou různě podvzorkovné 37
šedotónové obrz objektů přípdně jejch tříd. Vzor jejch podvzorkovné verze jsou užíván v řdě korelčních metod v některých přípdech doplňovných o geometrcké nformce []. Etrkcí chrkterstckých rsů obrzu popsem jejch vzthů lze rovněž reprezentovt objekt. V těchto přípdech se čsto hovoří o tzv. feture-bsed metodách. Npříkld Co v [] předkládá metodu detekce oblčeje n těchto zákldech. Pro rozpoznání oblčeje je nutné plkcí fltrů n obrzovou nformc nlýzou jejch odezv detekovt význčné oblčejové rs. Vzhledem k defnovným geometrckým vlstnostem oblčeje (souměrnost pod. pomocí lgortmů feture groupngu je odhlován přítomnost oblčeje v obrze. Čsto se užívá rozlčných prvděpodobnostních modelů k ohodnocení mír shod obrzu se vzorem oblčeje. Kombnc obou přístupů nvrhuje ve své metodě Wskott [3]. Vužívá chrkterstk feture-bsed templte-bsed metod. N zákldě dskrétní vlnkové trnsformce postvl metodu která v ručně zvolených bodech plkuje Gáborov fltr. Množnou odezev těchto fltrů pk reprezentuje dný bod. V průběhu trénování jsou tto chrkterstk počítán nd pevně zvolenou množnou význmných bodů v celé skupně trénovcích vzorů. Kždý bod je tk popsán kompletní množnou odezev dále tké pozcí bodu. Tto nformce ted tvoří jkýs grf. Zpomenout bchom neměl n n hstogrm-bsed přístup. Měřením sttstk lokálních vlstností obrzu npříkld brv dervcí pod. sestvují tto metod hstogrm. Vícerozměrných hstogrmů pk užívjí k modelování funkce hustot prvděpodobnost rozložení lokálních globálních příznků vlstností obrzu. Hstogrm velm potlčují geometrcké nformce o objektu. Čsto n není možné oddělt pozdí od vlstního objektu tto segmentce může být totž velm obtížná. Stížená segmentce je důvodem pro nžší robustnost těchto metod př proměnném pozdí vdeo sekvence. Loklzce oblčeje V zásdě se užívá několk způsobů nlezení poloh oblčeje v obrze. Vlná většn z nch prcuje se sdou význmných oblčejových rsů (úst oč obočí td. jejchž vzájemná poloh nterkce je popsán množnou vzthů č prvdel. Lze říc grfem. Yng Hung nvrhl herrchckou metodu detekce oblčeje []. Jejch sstém prcuje se třem úrovněm prvdel. N první úrovn je prohledáván celý obrz hledjí se knddátské oblst. N dlších úrovních jsou plkován zpřesňující prvdl. Všší úrovně popsují jednotlvé rs oblčeje kdežto nžší se věnují obecnému chrkteru oblčeje. Výsledk metod nebl deální. Její důležtá vlstnost herrchcký zpřesňující model bl všk přenesen do dlších přístupů. Přínos zpřesňující strtege spočívá ve větší robustnost menších výpočetních nárocích. Opčným přístupem se vznčují metod které předpokládjí že kždý oblčej lze popst vzthem několk rsů. Postupují ted od loklzce rsů (oč obočí ž k jejch spojování v celek tvořící oblčej. Vzth oblčejových rsů jsou čsto modelován sttstckým metodm. Velkou nevýhodou těchto přístupů je ctlvost n změnu osvětlení šum. Oblčejové rs mohou být sndno porušen. Npříkld stín mohou v obrze vtvořt velm výrzné hrn jenž znemožní korektní detekc rsů. Z hledsk přehledu metod není podsttná loklzce rsů. Lze užít detekc hrn plkovt jné robustnější druh fltrů specfckých pro oblčejové rs nebo prostou korelcí odhlt přítomnost předloh rsu v obrze. 38
V mnoh sstémech se jko efektvní robustní nástroj ukázl detekce brv ldské kůže. Protože kždý člověk má brvu kůže jnou blo nutné hledt co nejlepší model pro dstrbuc brv v brevném prostoru. Mez používné brevné prostor ptří: normlzovné RGB YCbCr HSV mnohé dlší. Všechn ť už prvděpodobnostní č jné přístup musí být schopn pokrýt změn vlvem vrblního osvětlení. Ve snze zvětšt robustnost lgortmu bl pozděj nvržen různé dptvní model ldské kůže. Detekce ldské kůže je velm efektvní rchlá metod nlezení regonů obshujících ldský oblčej ruce pod. Nevpovídá všk nc o konkrétním obshu oblst. Čsto obdržíme pouze nformc o hrnc oblst musíme použít dlších metod pro pochopení jejího obshu. Je ted nutné zpřesnt výsledk detekce odhlt přípdnou přesnou polohu oblčeje. Velm pěkný podrobný souhrn všech metod detekce oblčeje v obrze nleznete v celkovém přehledu [4]. Sledování pohbu oblčeje Pro většnu počítčových sstémů zložených n počítčovém vdění je sledování pohbu (trckng částí ldského těl fundmentální problém. Incální loklzce sledovného oblčeje ve D sstémech znmená nlezení jeho hrnčního obdélníku. Následně trckngem rozumíme sledování změn poloh velkost nlezené hrnce v obrzové sekvenc. Poždvk kldené n loklzc trckng jsou zejmén robustnost přesnost použté metod le tké rchlost neboť těchto lgortmů se čsto užívá v sstémech prcujících v reálném čse. Rozdílné vlstnost hlvně tp reprezentce dferencují přístup k těmto dvěm problémům. Některé z metod se změřují n chrkterstcké hrn ostré okrje (edge-bsed feture-bsed. Jný přístup loklzuje pohb oblčeje n zákldě jeho obrzových předloh vzorů (regon-bsed templte-bsed. Obě tto metod jsou velm přesné pro sekvenc s mlým dferencem mez jednotlvým snímk ted s nepřílš velkým pohbem. Pokud tento předpokld není splněn což v pr nstává poměrně čsto metod zprvdl selhávjí jejch zotvení znčně závsí n jejch obvkle nízké robustnost. Alterntvním přístupem je tzv. blob-bsed trckng který sleduje oblčej vzhledem k jeho chrkterstcké brvě (brvě kůže přípdně dlším spektům npříkld tvru pod. Metod je mnohd rchlejší hlvně podsttně robustnější než metod předchozí. Zákldním prvkem blobbsed přístupu je segmentce brev v obrze pro nlezení objektů s hlednou chrkterstkou brv. V přípdě trckngu oblčeje je podmínkou kvltní segmentce sttstcký model brv ldské kůže. Tento model musí být schopen pokrýt rozdíl mez ldm změn vlvem jných světelných podmínek. Práce [4] [5] předstvují dlší ktegor metod trckngu. Autoř v nch popsují svoj reprezentc klsfkc pohbu s vužtím prmetrckých modelů optckého toku. Ldský oblčej oblčejové regon (oč rt reprezentují jko rovnné plošk jejchž pohb v sekvenc lze modelovt polnom nízkého řádu. Robustní lgortmus odhdu optckého toku užívjí k nlezení vhodných koefcentů těchto polnomů. Získné prmetr mohou být rovněž užt k rozpoznávání ldských gest výrzů. Jž několkrát blo řečeno že ve své dplomové prác stvím n reprezentc oblčeje vlnkovou sítí. Tto reprezentce je dosttečně přesná efektvní pro sledování jeho pohbu v obrzové 39