D E T E K C E P O H Y B U V E V I D E U A J E J I C H I D E N T I F I K A C E

D E T E K C E P O H Y B U V E V I D E U A J E J I C H I D E N T I F I K A C E CÍLE LABORATORNÍ ÚLOHY 1. Seznámení se s metodami detekce pohybu z videa. 2. Vyzkoušení si detekce pohybu v obraze kamery ÚKOL 1. Seznamte se metodami detekce pohybu ve videu a jejich identifikace 2. Prostudujte použití programovacího jazyku C# a matlab pro detekci pohybu. Ukázky zdrojových kódů jsou v balíčku zdrojovekody.zip 3. Vytvořte software pro detekci postavy v obrazu kamery TEORETICKÝ ZÁKLAD POHYB Pojmem pohyb rozumíme stav, při němž hmotné objekty svoji vzájemnou polohu, tvar, velikost, teplené, elektrické nebo magnetické vlastnosti, skupenství, chemické složení, biologické vlastnosti apod. Jedná se o základní projev existence pohyb. Pokud není jinak uvedeno, je zpravidla pod pojmem pohyb chápán určitý druh mechanického pohybu, který se budeme snažit detekovat. ANALÝZA POHYBU Obecně chceme-li určit ze snímání pohyb, nemůžeme ho posoudit pouze z jednoho obrazu. Je zapotřebí více záběru stejného prostředí se stejným pohybujícím se objektem. Proto pracujeme výhradně s takzvaným dynamickým obrazem. Dynamický obraz je v podstatě posloupnost statických obrazů. Statický obraz nám poskytne informace o poloze objektů v obraze, ale nedozvíme se nic o směru, rychlosti či zrychlení pohybu. Pohyb nejsme schopni ani identifikovat. Tento problém se řeší posloupností statických obrazů, u nichž je znám čas pořízení, což nám později umožnit výše popsané pohybové veličiny. Statický obraz je definován jasovou funkcí g(x,y), kde každému bodu v rovinném obraze je přiřazena určitá hodnota světelnosti, u dynamických obrazů je tato funkce navíc závislá na čase Stránka 1 z 10

f(x,y,t). Obraz může být binární (pouze 0 a 1), šedotónový (256 úrovní šedi) nebo barevný (tři složky - červená, zelená, modrá). Při pořízení obrazu musíme vycházet ze vztahů mezi kamerou a objektem. Podle toho pak volíme vhodné metody pro detekci a vhodné úpravy vstupního obrazu z kamery. Pro demonstraci uvedu několik takových vztahů: Kamera v klidu, objekty v klidu Kamera v pohybu, objekty v klidu Kamera v klidu, objekty v klidu Kamera v pohybu, objekty v klidu METODY PRO ZPRACOVÁNÍ DYNAMICKÝCH OBRAZŮ Detekce pohybující se objektů ve videozáznamu hraje důležitou a často stěžejní roli v mnoha aplikacích počítačového vidění (lékařství nevyjímaje). V mnoha různých odvětví lidské činnosti nalezly tyto aplikace praktického využití a proto je také kladen důraz na jejich rozšiřování a vylepšení. Dobrým příkladem může být sledování vozidel v autodopravě, sledování a rozpoznávání lidí, vojenské aplikace, průmyslové kamery, rozhraní člověk stroj (rozpoznání přítomnosti uživatele u počítače) atd. Standartním postupem k rozpoznání pohybu je oddělení pozadí od popředí, kde jako pozadí bereme tu část obrazu, na které chceme zjišťovat změny a popředí v sobě nese právě ty změny. Pozadí mezi snímky záznamu většinou nebývá statické (úplně beze změny), ale nejčastěji je plné menších i větších změn, které při vyhodnocování detektory chceme stále považovat za pozadí. Může jít o změny vlivem šumu, který produkuje snímací zařízení, změny v osvětlení vlivem denní doby, běžný pohyb venkovního prostředí jako stromy ve větru, apod. Existují mnohé metody, které řeší ten či onen problém, avšak s různými nároky a výpočetní složitostí. Na cvičení se budeme zabývat těmito metodami: 1. Porovnání histogramu mezi snímky 2. Sledování rozdílných bodů mezi snímky 3. Porovnání snímků zpracovaných detektorem hran 4. Metoda optického toku Stránka 2 z 10

POROVNÁNÍ HISTOGRAMU MEZI SNÍMKY Jedná se o nejjednodušší metodu detekce pohybu ve scéně. Algoritmus porovnává světelnou charakteristiku (histogram hodnot jasu pixelů) aktuálního snímku se stejnou informací u jíného, který reprezentuje statickou scénu bez pohybujících se objektů (referenční obraz pozadí). Jakákoliv změna ve sledované scéně pak způsobí, že aktuální snímek bude vykazovat v histogramu odlišnou jasovou charakteristiku. Výhody Metoda je výpočetně málo náročná, jelikož nejméně jeden histogram pro referenční snímek máme vždy již dopředu vytvořený, čímž se ušetříme výpočtu při porovnávání. Snímek poté můžeme ještě před získáním jasového popisu zbavit šumu i přes náročnější filtry, protože jde o operace prováděnou jednou za čas. Nevýhody Metoda je velice náchylná ke změnám v prostředí, které ne vždy můžeme přesně předvídat a tedy i správná aktualizace referenčního snímku je poměrně problematická. Problémy Aktualizace referenčního snímku podle denní doby a tomu podobným problémům se lze vypořádat ještě před nasazením detektorů, avšak jiné problémy je třeba řešit přímo za běhu. Největším takovým problémem je šumová informace, která se k původní informaci dodatečně přidala a teď je její neoddělitelnou součástí. Potlačení této negativní složky je do určité míry možné použitím filtrů ovšem za cenu zvýšených výpočetních nároků. Jelikož s jistou dávkou šumu vždy počítáme, je součástí této metody i uživatelem stanovená mez, nad kterou zjištěné změny mezi obrazy má smysl považovat za pohyb a jakékoli změny pod tuto mez je bráno jako chyba vlivem šumu. VYUŽITÍ Tato metoda nalézá využití zejména v programech typu alarm, tedy v upozorňovacích zařízeních, že se na sledovaném místě něco děje, ale ve své základní podobě nedokáže vyznačit místo pohybu. Jedná se například o sledování prostor s neproměnlivými světlenými podmínkami (např. skladiště) a jediným proměnlivým faktorem zůstává šum. Pokud bychom brali v úvahu do takovýchto programů proměnlivé světelné podmínky, například v závislosti na denní době, nebo plánovanými změnami, na které nemá být brán zřetel, nevystačíme pouze s jedním referenčním snímkem statické scény, ale je nutné jej aktualizovat. Výpočetně nejméně náročným je vytvořit průměrný referenční histogram průměrováním ze sekvence snímků, ve kterých detektor neoznačil pohyb. Tím se podaří vyřešit problém s proměnnými světelnými podmínkami a rovněž i s informačním šumem. Nevýhodou této metody je buď zvýšená reakce na každou změnu v obraze použitím pouze jednoho statického referenčního snímku nebo naopak slabá reakce na pomalu se pohybující malé objekty, které se kvůli průměrování výchozího snímku velice rychle stanou součástí pozadí a detektory na ně nebudou reagovat. Metoda reaguje pouze na změnu poměru odstínů mezi aktuálním a referenčním snímkem a proto je pro ni velký problém vyvolat alarm, pokud se objekt v obraze pohybuje, ale celková barevná charakteristika obrazu zůstane stejná. Dobrým příkladem je záběr na točící se kolo na pouti, kde vlivem otáčení nepochybně dochází k pohybu, ale rozložení barev v obraze se prakticky nemění a obecná verze algoritmu by v tomto případě nezaznamenala žádný pohyb. Stránka 3 z 10

SPECIALIZACE A OPTIMALIZACE Úlohy pro praktickou výuku zpracování obrazových dat Kdybychom použili nejzákladnější podobu algoritmu, tedy jeden histogram na celý snímek, tak bychom se připravili o možnost vysledovat, na kterém místě se pohyb udál. Řešením tohoto problému je rozložit snímek na více podprostorů a pro každý pak vytvořit a porovnávat samostatný histogram. Pokud se jedná o konkrétní scénu a sledujeme konkrétní místo, kde pohyb očekáváme, můžeme vytvořit hustší síť menších oblastí, čímž získáme je hranice pohybujícího se objektu a naopak na místech, kde je pohyb méně pravděpodobný vytvoří se síť řidší, čímž šetříme výkon. I započítáním jiných negativních faktorů je tato metoda velice rychlá a přesná a v praksi nejvíce používaná. IDEA IMPLEMENTACE DETEKTORU Jak již bylo zmíněno, v tomto případě tato metoda spočívá v porovnávání histogramů jejich jasové složky. Histogram je implementován jako jednorozměrné pole, kde každý prvek reprezentuje určitou hodnotu jasu a jeho hodnota udává počet takových pixelů ve snímku. Pro vygenerování takového histogramu musíme spočítat, kolik takových pixelů s touto hodnotou je v něm obsaženo. Jasová hodnota se vezme buď jako jedna ze složek barevného modelu (RGB) nebo převodem na odstíny šedi. Výhodné je snížit rozsah histogramu s tím, že jeden jeho oddíl bude reprezentovat určitý interval jasových hodnot pixelu. Zrychlí se tím porovnávání a zredukuje se chyba zařazení vlivem malých odstínů jasu. Podobné snímky by měly vykazovat rovněž malé změny mezi histogramy. Korespondující histogramy se proto odečtou výsledný histogram reprezentuje právě odlišné pixely, jenž by ideálně měly být body popředí. V tomto histogramu se poté sečtou počty odlišných pixelů a výsledek se porovná s hranicí stanovenou uživatelem, kdy překročení této hranice vyvolá alarm detektoru. SLEDOVÁNÍ ROZDÍLNÝCH BODŮ MEZI SNÍMKY Metoda je sama o sobě jednoduchá a funguje tak, že pouze porovnáváme korespondující pixely mezi dvěma snímky videa, které v případě výrazně odlišné hodnoty označují pohybující se objekt. V případě ideálních snímků bez chyb (lze si představit na tisknutém obrázku bez chyb tisku atd.) by metoda byla velice pohodlná a jednoduchá, která by přesně označila pohybující se objekt. Ideální snímky ovšem v praxi těžko získáváme. Pro tuto metodu lze použít histogramů. V tomto případě je zpravidla jeden z histogramů předpočítán a každém kroku se vytváří jen histogram aktuálního. V nejhorším případě tato metoda bude pracovat s každým pixelem obou snímků (aktuálního a referenčního), což je výpočetně velice náročné, proto zpravidla je nutné brát ohled na redukci zpracovaných pixelů, které nás mohou zajímat. Mějme dva barevné snímky,na kterých budeme zjišťovat rozdíly. Pokud nebude rozdílem změna barvy můžeme na stejných snímcích, ale v černobílé podobě a redukce barevné informace na odstín šedi neodstraní tak informaci o celkovém uspořádání scény. U barevných pixelů se naproti odstínů šedi porovnávají tři barevné složky(rgb),proto je v hodné použít jiný barevný model s menším počtem barevných složek, čímž algoritmu uspoříme přístupy k informaci a výrazně ho tím urychlíme. Barevný obrázek můžeme převést do odstínu šedi dvě přístupy: 1. Místo modelu RGB budu mít obrazovou informaci uloženou v jednom z modelů HSV nebo YUV 2. RGB převedu přímo z 24-bitové prezentace na 8-bitovou pomocí speciální vzorce U modelů HSV,YUV je výhodou, že si stále uchovávám barevnou informaci k obrázku, ovšem pokud mi na ní nezáleží, tak je možné uspořit paměť a použít metody převodu na 8-bitovou prezentaci odstínů šedi. Na rozdíl od histogramových metod jsme se snažili ještě před startem odstranit šum, zde se tím tato metoda zabývá až při zpracování průběhu snímků. Nyní si ukážeme postup zpracování obrázků na následujícím příkladě. Máme aktuální vstupní snímek a referenční (obr 1). Stránka 4 z 10

Obr.1: Aktuální snímek (vlevo) a referenční snímek (napravo) vstupující do rozdílového detektoru Na vstupu detektoru máme aktuální snímek, na kterém vyhledáváme objekty a detekujeme pohyb a referenční snímek, který v sobě nese pouze pozadí (snímek bez objektu). U obou snímků použijeme nebarevnou informaci získanou jedním ze dvou výše uvedených postupů. Obrázky od sebe v této podobě odečteme a získáme nový snímek, který nyní bude prezentovat rozdíl složek. Čím méně se od sebe korespondující pixely liší, tím se jejich hodnot v rozdílu bude více blížit hodnotě 0 (černá barva). Místa, která se mezi snímky lišila mnohem výrazněji a patrně budou i součástí obrysu postavy, budou hodnotově dále od nuly (světlejší). Šumová informace se nám promítne do světlejších míst, ne však uvnitř obrysu postavy, kde rozdíly složek šedi jsou největší a šum výsledek ovlivňuje jen nepatrně. Obr.2: Převod obrázků do odstínů šedi. Vpravo převeden aktuální snímek. Vlevo rozdíl v odstínech šedi. Stejně jako u jiných metod potřebujeme stanovit hranici šumu a spočítat, kolik pixelů se pohybuje nad touto hranicí. Jednou možností je projít postupně všechny pixely a spočítat, kolik se jich nachází nad touto definovanou hranici. Jinou možností je, pokud se chceme dostat k přesnějším výsledkům a případně i vyznačit pohybující se objekt v obraze, před spočtením pixelů aplikujeme v sérii jiné filtrovací algoritmy. V následujících krocích bude cílem z 8 bitového obrazu ve stupních šedi extrahovat 2 bitovou černobílou masku, kde budou mít pixely popředí bílou a pozadí černou bravu. Aplikujeme prahovací filtr, jenž bude porovnávat hodnotu jednotlivých pixelů se stanovenou hranici, a pokud je tato hodnota větší, bude pixel ve výsledku bílý, v opačném případě černý. Vznikne tak dvoubitová maska. Obrys postavy v popředí je krásně zřetelný, ale i tak se uvnitř i vně obrysu nachází spousta nesprávně interpretovaných pixelů roztroušených po obrázku vlivem šumu. Vzhledem k tomu, že pixely jsou roztroušené a nevytvářejí celky, použijeme filtr pro erozi, Který odstraní jednotlivé pixely a vyplní vnitřky spojitých ploch tvořených chybnými pixely. Výsledná maska v sobě ponese dominantní oblasti Stránka 5 z 10

popředí s minimem šumové informace. Ta je pak vhodně vizuální zvýraznění odlišných míst nebo pro spočtení konečného počtu odlišných pixelů. Jakmile bude k dispozici informace o konečném počtu odlišných pixelů, detektor porovná tuto hodnotu se stanovenou hranicí a vyvolá tak alarm. Obr.3: Vlevo obrázek po aplikaci prahovacího filtru, vpravo obrázek po aplikace eroze. MOŽNOSTI VYUŽITÍ Největší výhodou této metody je, že bez dalších mechanismů nám může přesně ukázat, kde k pohybu dochází, naopak nevýhodou je poměrně dlouhá práce s propočítáváním, čímž se snižuje její rychlost. Praktické využití poskytuje v detektorech typu alarm, který bude výpočetně méně náročný, kdy rozpozná pohyb, pak teprve použije rozdílovou metodu a vytáhne pak z obrazu oblasti popředí. Vhodným způsobem se tato metoda může uplatnit i v rozpoznávacích algoritmech (např. rozpoznávání obličeje, značek na automobilech apod.) S pomocí dodatečných filtrů si tato metoda dokáže poradit i se šumem, čímž však roste počet nutných zásahů uživatele, který mimo nastavení hranice alarmu musí provést i nastavení těchto dalších filtrů. Každé nastavení bude fungovat jen v neměnných podmínkách a při vnější změně klesá jeho rozlišovací schopnost. Stejně jako u histogramových metod se tento nedostatek dá eliminovat rozumnou aktualizací referenčního snímku. Pokud se však snímky pozadí příliš nemění a hladina šumu není příliš velká, dokáže tato metoda rozlišit i malé pomalu se pohybující objekty, na které jsou histogramové metody ve své základní podobě slabé. I v případě objektů, které zachovávají celkovou barevnou charakteristiku obrazu stejnou jako v referenčním snímku, nemusíme problémy jako u histogramových metod vůbec uvažovat. Celkovou nevýhodou je systémová náročnost. Stránka 6 z 10

POROVNÁNÍ SNÍMKŮ ZPRACOVANÝCH PŘÍMO DETEKTOREM HRAN Metoda je založena na aplikaci filtru pro zvýraznění hran na obraz před prahováním. Hrany obecně definují okraje objektů, což je informace, která nám pro porovnání snímků bohatě postačí. Výhodné je, že drobný šum, který nepřeroste v souvislé oblasti, se jako hrana nezvýrazní a tak se jej elegantně zbavíme. Na obr 4 je zobrazen rozdíl mezi výsledkem prahování u obrázku získaného metodou odečtení snímků a po aplikaci hranového filtru Obr.4: Postupně úplně nalevo je původní rozdílový snímek, další ukazuje výsledek po prahování, na třetím je podoba prvního po aplikaci zvýraznění hran a poslední prezentuje výsledek prahování třetího obrázku. Ke konečnému vyhodnocení si lze vybrat jeden z dříve zmíněných postupů. Prvním může být porovnání na základě histogramů, u kterého by se dál postupovalo stejně jako v rozdílové metodě, tedy sestavení histogramů a jejich vzájemné porovnání s možností vyvolat alarm i vyznačení místa pohybujícího se objektu. Druhým principem je popsaný v kapitole rozdílových bodů, kdy jsou od sebe vedlejší snímky odečítány. Zde lze dále pokračovat na základě jednoho ze dvou obecných přístupů. Buď dříve popsaným způsobem odečíst snímky, aplikovat prahovací filtr, sečíst bílé pixely (místa, která se od sebe výrazně liší), vyhodnotit množství s danou hranicí anebo provést prahování (zůstane pouze černý obraz s bílými oblastmi, kde byly hrany),ten odečíst od stejně upraveného předchozího snímku a dále stejně sečíst a vyhodnotit počet bílých pixelů. Druhý způsob má výhodu, že zvýrazněné hrany více odliší objekty od šumu a po prahování se ztratí všechen šum, kterému se nepovedlo vytvořit souvislou oblast rozpoznatelnou jako samostatný objekt. Stránka 7 z 10

METODA OPTICKÉHO TOKU Metoda optického toku dokáže sledovat pohyb pixelu mezi snímky ve video sekvenci a zjistit tak a rychlost pohybu. To se dá využít v předpovědi, kam se objekt přesune nebo podle historie určit, jaký pohyb vykonával. Metoda je výpočetně velice náročná a nelze ji sledovat pro každý pixel v obraze. S určitou optimalizací pro její efektivní chod je možné použít i jako detektor, i když se jedná pro tento účel příliš náročnou metodu. Síť bodů v obraze, pro které by se optický bod počítal, by byla v případě detektoru příliš řídká, čímž by se jen na pár pixelech porovnávalo, jestli se nějak významně posunuli z místa a až by se pohnuly, měli bychom jistotu, že se v obraze něco děje. Teprve potom by algoritmus mohl přejít do výpočetně náročnějšího stavu, kde by se už přímo sledoval další pohyb objektu. Metoda zachycuje všechny změny v obraze v čase dt. Každému bodu v obraze odpovídá dvourozměrný vektor rychlosti, vypovídající o směru a velikosti rychlosti pohybu v daném místě obrazu. VÝPOČET OPTICKÉHO TOKU Jak už víme dynamický obraz lze popsat jasovou funkcí polohy a času f(x,y,t). Po rozvoji do Taylorovy řady a zanedbání členů vyšších řádů platí: Když budeme předpokládat neměnné osvětlení při translačním pohybu daném hodnotami dx, dy, tak platí: Cílem výpočtů je také určení rychlosti charakterizované jako: Stránka 8 z 10

PŘÍKLAD METODY OPTICKÉHO TOKU Úlohy pro praktickou výuku zpracování obrazových dat Snímání krajiny z letadla Obr 5.: Ukázka optického toku z letadla letícího přes skalnatou poušť Obr 5. ukazuje, jak by mohl vypadat optický tok při pohledu z letadla letící přes skalnatou poušť. Modré šipky ukazují optický tok, který by byl viděn kamerou nebo pasažéry na palubě letadla. Pohled dolů ukazuje silné optické proudové pole. Optický tok je nejrychlejší přímo pod letadlem a je zvlášť rychlý tam, kde je skála největší. Využití této vlastnosti by mohlo být třeba u senzoru letadla, které by detekovalo vysoké skály. Pohled vpřed ukazuje další proudové pole. Vpravo je silné optické proudové pole, které vzniká kvůli blížící se skále, a dole je menší optické proudové pole kvůli zemi. Naopak v pravém horním rohu není vidět žádný optický tok, protože v této části pohledu je obloha a nic se zde nepohybuje. Modrý kruh přímo v centru ukazuje ohnisko expanze, které určuje specifický směr, kterým letadlo letí. Rotace objektu Obr. 6: Rubikova kostka na rotačním stolku Stránka 9 z 10

Na obr. 6. je Rubikova kostka na rotačním stole, jde tedy pouze o rotační pohyb. Z fyzikálních znalostí víme, že body v obrazu dále od osy otáčení vykonávají rychlejší pohyb po delší trajektorii. Další věc, která ovlivní velikost vektoru, je vzdálenost bodu od pozorovatele (kamery). Výsledný optický tok je znázorňen na obr 7. Obr. 7: Tok vektorů vypočítaných z porovnání dvou obrazů Rubikovy kostky Stránka 10 z 10