POV prezentace projektu Projekt pro předmět POV, ZS 2012 Varianta projektu č. 12: Detekce a rozpoznávání mincí v obraze Autoři: Adam Crha, xcrhaa00 Jan Matyáš, xmatya02 Strana 1 z 11
Řešený problém a cíl práce Proč rozpoznávat mince v obraze? automaty, samoobslužné systémy třídění mincí Rakouská charita Licht ins Dunkel vytřídila 300 tun mincí! Cíl práce: automatizovaně vyhledat mince v obrázku určit jejich hodnotu zaměřit se na české mince 1 Kč / 2 Kč / 5 Kč klasifikovat 10 Kč, 20 Kč, 50 Kč je snazší (kvůli barvě) Strana 2 z 11
Etapy práce na projektu Jak jsme projekt rozčlenili? Pořízení trénovací sady dat Ruční označení mincí na fotkách. Programování detektoru Detektor hledá objekty zájmu na fotografiích. Extrakce mince ze snímku a předzpracování Normalizace rozměrů, zvýraznění reliéfu mince Klasifikace Určení hodnoty mince. Vyhodnocení Statistické zpracování výsledků detekce a klasifikace Strana 3 z 11
Anotátor Anotátor = jednoduchá aplikace v OpenCV pro ruční vytvoření trénovacích dat. Strana 4 z 11
Detektor Detektor aplikace v OpenCV pro lokalizaci mincí v obraze Jak na to? - 3 metody: Obrázek 1: Visuální výstup po předzpracování obrázku. Area - Metoda založená na poměru ploch. Rozdíl poměrů ploch vůči ploše ideální elipsy Mask - Metoda založená na masce. Vytvoření obrysů (masky) a porovnání s konturami Mask 2 Vylepšená varianta Mask Vylepšený preprocessing obrázku Obrázek 2: Visuální výstup po předzpracování obrázku pro metodu mask2. Strana 5 z 11
Detektor Grafický výstup detektoru Metoda Mincí Nalezeno Trefil Minul Poplach Chyba Doba Area 972 896 837 135 59 19,9% 43,3s Mask 972 809 808 164 1 16,9% 70,5s Mask 2 972 831 831 141 0 13,7% 144,0s Strana 6 z 11
Klasifikátor Klasifikátor aplikace pro určení hodnoty mince v OpenCV 6 tříd pro klasifikaci (3x líc, 3x rub mince) Zásadní problém: Jak zjistit orientaci (natočení) mince na fotce? Jak na to? 2 přístupy: 1. Rotačně invariantní příznaky rozvinutí mince do polárních souřadnic a LBP histogram comparehist(), k-nearest neighbors neosvědčilo se, úspěšnost jen ~ 20 % 2. Odhadnout úhel natočení + libovolné příznaky klasifikátor Fisherfaces z OpenCV úhel natočení mince: a) prozradit klasifikátoru :-) b) maximální gradient c) zkusit různé možnosti (výsledek dle nejvyššího skóre) Strana 7 z 11
Klasifikátor vyhodnocení Metoda Hits Misses Celkem mincí Přesnost Doba běhu Fisherfaces, tell 920 52 972 94,65 % 8 min 54 s Fisherfaces, maxgrad 828 144 972 85,19 % 19 min 47 s Fisherfaces, trial 762 210 972 78,40 % 8 min 59 s (50 trénovacích vzorků/třída, vyhodnocení samotného klasifikátoru bez detektoru) Matice záměn pro variantu Fischerfaces, maxgrad : Strana 8 z 11
Vyhodnocení detekce a klasifikace Vyhodnocení klasifikace nad výstupem detektoru detektor se dopouští nepřesností jak se to projeví na úspěšnosti klasifikace? 50 trénovacích vzorků/třída: Metoda Úspěšnost klasifikace na čistých datech Úspěšnost klasifikace po detekci Fisherfaces, maxgrad 85,19% 46,37% Fisherfaces, trial 70,40% 57,51% Zlepšení u trial při 20 trénovacích vzorcích/třída: 57,51 % 71,76 % Závěr: Došlo k přetrénování (ztráta generalizace na zašuměná data z detektoru) Metoda trial je robusnější vůči nepřesnostem detektoru Fischerfaces je obecně citlivá na variace (rotace, posuv) vstupních dat Strana 9 z 11
Závěr Podařilo se :) Experimenty s několika metodami detekce a klasifikace. Vyhodnotit úspěšnost jednotlivých metod a jejich kombinace. Zhodnotit silné a slabé stránky metod Co se nepodařilo :-/ Přiblížit se úspěšnosti požadované pro praktické nasazení systému Možnosti rozšíření a vylepšení Zdokonalit detektor, aby vyloučil stín vržený mincí Použití jiného klasifikátoru než Fisherfaces ideálně klasifikátor méně citlivý na variace v proporci nebo posunu mince. Dokonalejší rotačně invariantní příznaky Strana 10 z 11
Testování Konec prezentace uživatelského rozhraní 3 fáze testování: Pozorování uživatele při práci s aplikací Stručný dotazník po dokončení práce přinutit uživatele zamyslet se nad rozhraním aplikace za účelem následného rozhovoru Krátký závěrečný rozhovor zde očekáváme klíčové výstupy Během testování Nefrormální atmosféra Děkujeme za pozornost. Ujištění uživatele, že nejsou testovány jeho znalosti práce s PC ani znalosti pravidel silničního provozu