CROWDSOURCING METADAT O INFORMACI V OBRAZECH. ověřovací analýza, finální návrh UI

Transkript

1 CROWDSOURCING METADAT O INFORMACI V OBRAZECH ověřovací analýza, finální návrh UI

2 OBSAH Ověřovací analýza... 3 Principy fungování systému... 3 Způsob zabezpečení kvality informací a nové prvky v pilotní verzi... 4 Popis implementovaných rolí... 4 Stavy revizí... 5 Změny v uživatelském prostředí editoru tvarů a workflow editora... 5 Změny v uživatelském prostředí správy revizí a workflow moderátora... 6 Finální návrh uživatelského interface editoru tvarů... 6 Spuštění okna editoru... 6 Editor pro kreslení tvarů v obrazech... 7 Rozhraní správy revizí, moderace Popis pracovních postupů Závěr

3 Ověřovací analýza Tato část dokumentu se zabývá srovnáním beta-verze aplikace popsané v dokumentu Implementace nástrojů pro podporu crowdsourcingu do systému Manuscriptoria v souvislosti se zpřesňováním výsledků automatického rozpoznávání informací v obrazech (Zpráva ke smlouvě Smlouva o spolupráci ve výzkumu a vývoji č. NK- 3000/ORST/2011) s nově přepracovanou a do pilotního provozu uvedenou verzí pro poloprovoz. Na základě praktických zkušeností uživatelů s výše uvedenou beta-verzí jsme navrhli změny ve work-flow a uživatelském rozhraní. Jedná se o aplikace pro zpřesňování a kreslení tvarů a jiných informací v obrazech a také v rozhraní moderace. Navržené změny zajistí úplnou ochranu práce uživatelů a rozšiřují paletu nástrojů pro moderátora. Z nově navrženého a realizovaného pracovního postupu sice přibývá více povinností a práv moderátorovi, ale zároveň nové nástroje ulehčí a urychlí jeho práci. Především hromadné akce, filtrování a řazení editovaných stránek s tvary podle stavu nebo data poslední změny pomohou v usnadnění a urychlení práce moderátora. V následujícím textu jsou uvedeny nově navržené a implementované změny. Principy fungování systému Následující schéma naznačuje work-flow zvolené pro realizaci pilotního řešení: Obrázek 1: Obecné schéma pilotního řešení. Pro realizaci pilotního projektu byla navržena dedikovaná databáze, která umožní správu vytvořených metadat. Navržené work-flow předpokládá, že tato databáze je plněna výsledky automatického rozpoznání v jednorázových dávkách. Obsah této databáze je na vyžádání prezentován uživateli přímo v prostředí Manuscriptoria. Uživatel jej dle své úvahy buď jen použije, nebo rovnou upraví a v takovém případě systém výsledek jeho práce uloží zpět do databáze. Aktualizovaná verze je následně předána moderátorovi ke schválení. Po schválení je v pravidelných dávkách (indexace v Manuscriptoriu probíhá dávkově) indexována do katalogu. 3

4 Způsob zabezpečení kvality informací a nové prvky v pilotní verzi V nové verzi aplikace je kontrola a koordinace tvorby uživatelů zajištěna pomocí rolí moderátor a editor s oprávněním pro kreslení a editaci tvarů v obrazech. Novinkou je také uzamčení záznamu. K těmto úpravám jsme dospěli po nasazení beta-verze aplikace, kdy docházelo k několika kolizním stavům. Jednak bylo možné, aby neustále vznikaly nové revize k jakémukoliv již revidovanému dokumentu. Moderátor mohl provádět kontrolu jen namátkově a vracet se k předešlým revizím, ale to nechránilo dřívější práci editorů a mohlo docházet dočasně ke ztrátě kvality rozpoznaných a nakreslených tvarů. Proto jsme zavedli možnost uzamknout záznam. Dále pak bylo nutné zajistit, aby editor mohl pracovat nerušeně jen na své verzi, kterou pak nabídne ke schválení moderátorovi. Proto je implementováno verzování revizí pro každého uživatele samostatně a schvalování verzí moderátorem. V průběhu práce však mohou vznikat revize jiných uživatelů k jednomu shodnému obrazu a mezi výslednými revizemi odeslanými ke schválení si pak vybere moderátor. Další novinkou je náhled editora na všechny vlastní rozpracované verze. Zavedením těchto nových vlastností a nástrojů je možné efektivně realizovat a organizovat týmovou práci a využít pravidel crowdsourcingu. Popis implementovaných rolí Byly zavedeny dvě nové role - moderátor a editor. Práva editora mohou být přidělena například automaticky všem uživatelům a pak následně v případě potřeby je odebírat, nebo je naopak přidělovat vybraným uživatelům. Následuje popis práv a možností obou rolí. Moderátor 1. schvaluje uživatelem navržené revize (převádí je na výchozí verzi, více v kapitole Stavy revizí) 2. maže nevhodné a neschválené revize (uvolní opět k nové editaci uživateli) 3. může nahlížet do všech existujících revizí 4. uzamyká revize k editaci 5. může filtrovat revize a vyhledávat 6. může aplikovat hromadné akce Uživatel editor 1. může kreslit, mazat, editovat tvary ve vybraných obrazech 2. může posílat moderátorovi ke schválení své hotové revize 3. může vzít zpět revize odeslané ke kontrole (ještě neschválené) 4. může nahlížet do schválených (výchozích) revizí a použít je jako počáteční stav pro svou práci 5. může ukončit práci a smazat všechny své nakreslené tvary pro daný obraz 4

5 Stavy revizí Zavádíme pojem výchozí verze. Jedná se o existující revizi, která buď vznikla při automatizovaném zpracování nových obrazů, nebo byla nakreslena uživatelem a moderátorem pak jako výchozí verze schválena. Tato revize je pak v pravidelných dávkách použita pro indexaci a zpřístupněna pro vyhledávání a zobrazení všem uživatelům Manuscriptoria. Popis stavu revizí a možnosti uživatelů, jak s touto revizí nakládat, jsou uvedeny v následující tabulce. Dochází k následujícím stavům revizí: Revize je ve stavu: Moderátor Editor Běžný a nepřihlášený uživatel není výchozí verze X vytvořit a editovat vlastní verzi, smazat vlastní verzi, prohlížet verze a odeslat je ke schválení X výchozí verze (schváleno moderátorem) uzamknout, prohlížet vytvořit a editovat vlastní verzi, smazat vlastní verzi, prohlížet verze a odeslat je ke schválení X vlastní verze uživatele (rozpracováno uživatelem) měnit výchozí verzi, mazat, uzamknout, prohlížet vytvořit a editovat vlastní verzi, smazat vlastní verzi, prohlížet verze a odeslat je ke schválení X odeslán ke schválení měnit výchozí verzi, mazat, uzamknout, prohlížet Vzít odeslání ke schválení zpět X Současně mohou nastat následující stavy: 1. není výchozí verze 2. není výchozí verze + vlastní verze uživatele 3. výchozí verze + odeslán ke schválení 4. výchozí verze + vlastní verze uživatele, odeslán ke schválení Ostatní uživatelé mohou využívat rozpoznané a nakreslené tvary a informace až po indexaci. Pak jsou zobrazeny v detailu dokumentu a je možné vyhledávat podle zakreslených a rozpoznaných tvarů. Změny v uživatelském prostředí editoru tvarů a workflow editora Ve srovnání s předchozí verzí aplikace došlo k následujícím změnám: - z okna faksimile se pomocí tlačítka otevře nové okno s editorem tvarů, - v editoru tvarů v panelu nástrojů přibyla tlačítka (Uložit a smazat, Uložit a odejít, Ukončit a odeslat), dále pak tlačítko pro náhled na výchozí revizi a pro maximalizaci okna na celou obrazovku, informace o počtu uživatelů editujících shodný obraz. V pracovním postupu editora došlo k několika změnám: - editor nemůže vytvářet revizi k jakémukoliv obrazu, ty mohou být totiž uzamčeny moderátorem, - editor se v rozpracovaných verzích vrací vždy ke své poslední uložené verzi, - editor odesílá svou dokončenou revizi ke schválení moderátorovi, - editor může svou neodeslanou práci na revizi smazat, - editor může odeslanou revizi ke schválení odvolat a vrátit se k editaci, pokud ještě nebyla moderátorem vyřešena, - editor využívá náhledu pro kontrolu svých rozpracovaných a odeslaných revizí. 5

6 Postup kreslení a klasifikace tvarů, nebo jejich přesuny v rámci obrazu zůstaly zachovány, stejně tak i použití filtrů jednotlivých nakreslených tvarů. Změny v uživatelském prostředí správy revizí a workflow moderátora Zde byly pracovní postupy a celé uživatelské interface (UI) zcela přepracovány. UI jsou popsány v následujících kapitolách. Práci moderátora se pokusíme demonstrovat na možném modelu organizace jeho práce. Moderátor nechá nastavit právo editora vybrané skupině dobrovolníků, kteří mají zájem o spolupráci. Tato skupina je pak na základě žádosti uživatelů a odsouhlasení moderátorem rozšiřována. Moderátor pak v intervalech přichází do aplikace pro správu revizí. Nastaví filtr pro interval od poslední návštěvy a nechá si zobrazit revize ke schválení a použije také filtr podle jména editora. Výsledkem takového hledání je pak souhrn všech revizí ke schválení od vybraného editora. Revize může namátkově zkontrolovat, a pokud se mu jeví kvalitně zpracované, může je hromadnou akcí schválit a nastavit je jako výchozí. Revize je možné i hromadně uzamknout a tím zamezit další editaci a vzniku nežádoucích revizí. Finální návrh uživatelského interface editoru tvarů Při návrhu uživatelského interface (UI) jsme vycházeli z požadavku integrace do stávajícího Manuscriptoria verze 3 a předchozí verze aplikace pro kreslení tvarů v obrazech. Konkrétní návrh UI je názorně ilustrován níže uvedenými výstřižky z aplikace s připojenými komentáři. Při návrhu jsme se snažili o dosažení intuitivního a přehledného UI jak pro editory, tak pro moderátora. S ohledem na nasazení aplikace do pilotního řešení je možné, že na základě reakcí uživatelů bude docházet k následným úpravám UI. Spuštění okna editoru Pro spuštění okna editoru pro kreslení tvarů v obrazech Manuscriptoriu je potřeba otevřít konkrétní faksimile, zde v pravém rohu okna se nachází sada nástrojů. Pro otevření editoru klikněte na tlačítko se symbolem tužky a pravítka. Obrázek 2: Panel nástrojů okna faksimile. Ikona pro spuštění editoru je první z leva ve druhém řádku Tlačítko pro zobrazení editoru a náhledu tvarů v obrazech Obrázek 3: V okně zobrazení faksimile v Manuscriptoriu je tlačítko pro spuštění editoru kreslení tvarů, okno pro kreslení a editaci tvarů se otevírá v nové záložce. 6

7 Editor pro kreslení tvarů v obrazech Okno pro kreslení, editaci a zobrazení tvarů v obrazech Manuscriptoriu se otevírá v nové záložce (tu je možné také z prohlížeče vyjmout jako nové okno). Od levého horního rohu se vykresluje obraz faksimile a nad ním pak, v průhledných vrstvách, editorem nakreslené tvary. Obraz je možné zvětšovat a zmenšovat posuvníkem (lupa v popisku obrázku níže). V pravém horním rohu se pak nachází panel nástrojů, který je zde zakotven a nemění velikost. V panelu nástrojů se nachází: - tlačítko Skrýt nástroje slouží pro skrytí tohoto panelu. Po kliknutí na toto tlačítko nahradí celý panel nástrojů malé tlačítko pro obnovu panelu nástrojů v pravém horním rohu. Tato funkce je vhodná pro uvolnění místa na menších monitorech a k prohlížení obrazu a nakreslených (rozpoznaných) tvarů. - tlačítko Maximalizovat, pro přepnutí okna do celoobrazovkového režimu, - lupa, nastavuje velikost zobrazení faksimile v rozsahu 30% 250%, - filtr zobrazených tvarů je sada typů tvarů, zaškrtnuté položky se zobrazují, - tlačítko Ukončit a smazat, všechny úpravy editora jsou odstraněny, - tlačítko Uložit a odejít, po kliknutí dojde k zápisu úprav do systému a ukončení editoru, - tlačítko Dokončit a odeslat, po kliknutí dojde k zápisu úprav do systému, odeslání dokončené revize moderátorovi ke schválení a ukončení editoru, - tlačítko Výchozí verze zobrazí poslední schválenou verzi, - informace o počtu editorů dané stránky je důležitým ukazatelem, že jiný editor začal na dané stránce pracovat. To může vést k tomu, že moderátorovi bude nabídnuto více verzí ke schválení. Je na editorovi, zda se rozhodne i přesto na stránce dál pracovat. Zobrazení obrazu Panel nástrojů pro kreslení tvarů Tlačítko pro zobrazení okna na celou obrazovku Filtr zobrazených tvarů Zobrazení výchozí verze Lupa Tlačítko pro zrušení vlastní revize Tlačítko pro uložení aktuálního stavu a ukončení aplikace, k práci je možné se vrátit Tlačítko pro odeslání revize ke schválení moderátorovi Informace o počtu rozpracovaných revizí jiných uživatelů Obrázek 4 Popis částí editoru pro kreslení tvarů a jejich revizí. 7

8 Přímo při kreslení tvarů má editor k dispozici několik kontextových menu. Menu kro klasifikaci typu nakresleného obrazce, menu pro uložení nových změn a menu pro editaci umístění a klasifikace již exitujícího tvaru. Uživatelem nakreslený obrazec Výběr typu obrazce Obrázek 5: Po dokreslení tvaru, kliknutím na zelený terčík u prvního bodu, se zobrazí nabídka pro klasifikaci obrazce. Obrázek 6: Po každé změně v tvarech je možné práci uložit, nebo naposledy provedenou změnu stornovat. K uložení práce editora je možné použít jak tlačítek v panelu nástrojů, tak i kontextové nabídky v levém horním rohu. Další kontextová menu jsou připojena k nakresleným tvarům, nebo se zobrazují bezprostředně po dokončení každého tvaru (Obrázek 4 a 6). Obrázek 7: Kontextové menu obrazce. 8

9 Obrázek 8: Celkový pohled na pracovní plochu editoru Aplikace pro editaci stejně jako prostředí moderátora využívá hlášení - alertů - pro vyšší informovanost uživatelů a bezpečnost dat. Hlášení jsou zobrazována buď jako informační boxy, nebo jako dialogy pro potvrzení akce. Obrázek 9: Ukázka užití alertů 9

10 Ve stavu, kdy je záznam odeslán ke schválení a čeká na akci moderátora, je stále možné se k editaci vrátit. Na spodním okraji panelu nástrojů je pro odvolání odeslání připraven odkaz. Obrázek 10 Po odeslání revize ke schválení je do doby schválení moderátorem možné vzít odeslání zpět a vrátit se k editaci. Náhled revizí uživatele Pro lepší orientaci v rozpracovaných revizích editora vznikl nový nástroj, který zobrazí všechny editorovy rozpracované a ke schválení odeslané revize. Tento náhled je možné řadit či filtrovat podle intervalu data. Barevně jsou odlišeny revize odeslané ke schválení a rozpracované revize. Červená barva v záhlaví náhledu symbolizuje revizi odeslanou ke schválení, zelené záhlaví pak rozpracované revize. Obrázek 11 Náhledy vlastních revizí uživatele 10

11 Rozhraní správy revizí, moderace. V rozhraní moderátora došlo k podstatným změnám. Především jde o přidání výkonných nástrojů pro filtraci a hromadné úpravy. Nyní je nutné, aby všechny revize odeslané editorem ke schválení, byly pro zapracování do vyhledávání a zobrazení všem uživatelům Manuscriptoria schváleny a převedeny na výchozí verzi. Ta je pak použita pro indexaci a vyhledávání. Moderátorovi tím sice opticky přibývá více práce, ale díky nástrojům pro vyhledávání a filtraci a hlavně také nástrojům hromadných úprav je tento nárůst eliminován. Celkově pak nová koncepce vede k získání kvalitních výsledků při zpřesňování tvarů v obrazech řešených v rámci crowdsourcingu. moderace Řádek pro formulaci filtru hledání Uzamčený záznam symbolizuje ikona zámku a červená barva Seznam všech revizí k dané stránce Obrázek 12: Pracovní plocha moderátora. 11

12 Jednotlivé revize jsou řazeny chronologicky nad sebe podle data poslední změny. Datum změny revize je aktivní odkaz, po kliknutí se moderátorovi zobrazí náhled revize. Černou barvou textu jsou značeny revize výchozí, červeně uživatelem editované. Zelený pruh pod revizí indikuje revizi odeslanou editorem ke schválení. Ikony vpravo u editovaných revizí slouží ke smazání, nebo potvrzení revize jako výchozí. Ikona oka značí revizi výchozí. Vždy po každé akci je vhodné aktualizovat okno pomocí klávesy F5. Obrázek 13: Řádek pro filtraci obsahuje i dialogy pro výběr data. Moderátor má nový výkonný nástroj pro filtraci a lepší správu revizí. V řádku dotazu je možné nastavovat následující filtrační položky: - jméno uživatele, u vyhledávací řádky je implementován našeptávač - stav revizí, nabývá hodnot: vše, odeslané, editované, needitované, zamčené - interval data od a do - posledním nastavením je výběr řazení podle data a podle stavu, vzestupně a sestupně Obrázek 14: U výběru uživatele je implementován našeptávač. Hromadné akce Jak bylo již uvedeno, nové rozhraní moderace implementuje nástroje pro hromadné úpravy revizí. Tyto nástroje jsou však vázány na použití filtru uživatele. Předpokládáme, že právě na základě znalosti práce daného uživatele, je schopen moderátor rozhodnout o aplikaci hromadných úprav. Jsou k dispozici následující hromadné akce: odemknout, zamknout, převést na výchozí verzi, smazat vše. Aby tento užitečný nástroj nenapáchal více škody, než užitku, je po každém kliknutí na tlačítko třeba ještě potvrdit dotaz v dialogovém okně. Obrázek 15: Lišta hromadných akcí se zobrazí až s relevantním výsledkem hledání a pouze pokud je ve formulaci filtru použito jméno uživatele. 12

13 Obrázek 16: Výsledek hledání je nyní možné například převést na výchozí verzi, čímž proběhne schválení vyhledaných revizí. Náhled na revizi Prostředí editoru je použito s omezenými funkcemi k náhledu revize pro moderátora. Chybí tlačítka v panelu nástrojů pro odesílání, ukládání a mazání práce editora, ale přibylo tlačítko použít jako výchozí revizi v levém horním rohu. Toto tlačítko je duplicitní k ovládacímu prvku v aplikaci moderátora a usnadňuje tak rychlé rozhodnutí editora. Obrázek 17: Náhled moderátora na revizi. 13

14 Popis pracovních postupů První kreslení (editor): 1) přihlášený uživatel otevře záložku faksimile 2) otevře obrázek 3) klikne na ikonu kreslení - více v kapitole Spuštění okna editoru 4) v nové kartě prohlížeče se otevře stránka s nástroji pro kreslení s vybranou stránkou dokumentu 5) pokud má stránka už vytvořenou výchozí revizi zobrazí se, jinak bude stránka prázdná 6) uživatel může kreslit, mazat, posouvat načtené obrazce Odeslání revize ke kontrole (editor): 1) uživatel uloží všechny změny a tvary 2) uživatel klikne na tlačítko dokončit a odeslat 3) aplikace požádá o potvrzení akce 4) pokud uživatel potvrdí akci, aplikace zavře záložku a odešle revizi ke kontrole 5) pokud uživatel nepotvrdí akci, nic se nezmění a může kreslit dál Náhled do výchozích revizí ke stránce (editor): 1) aplikace načte do panelu nástrojů vytvořené a schválené revize, pokud existují 2) uživatel klikne na poslední revizi 3) aplikace otevře novou záložku a načte do ní výchozí revizi 4) pokud uživatel začne editovat výchozí revizi a klikne na tlačítko uložit, aplikace přepíše uživatelovu revizi pro tuto stránku výchozí revizí s jeho změnami Smazání práce (editor) 1) uživatel klikne na tlačítko ukončit a smazat 2) aplikace požádá o potvrzení akce 3) pokud uživatel potvrdí, aplikace smaže jeho postup a zavře záložku 4) pokud uživatel nepotvrdí akci, nic se nezmění a může dál kreslit Uzamknutí stránky (moderátor) 1) uživatel otevře moderátorské rozhraní 2) uživatel se rozhodne, že určitá stránka je dokončena a není potřeba její další editace 3) uživatel klikne na ikonku zámku 4) hlavička boxu se stránkou se obarví na červeno a ikonka se změní na zamčenou 5) aplikace uzamkne stránku a uživatelé po zobrazení uvidí poslední výchozí revizi a nemají možnost editace Smazání revize u stránky (moderátor) 1) uživatel otevře moderátorské rozhraní 2) uživatel zobrazí odeslanou nebo neodeslanou revizi 3) uživatel se rozhodne, že daná revize není správná nebo by mohla pohoršovat 4) uživatel v moderátorském rozhraní klikne na ikonku křížku vedle revize 5) aplikace smaže danou revizi 14

15 Závěr Aplikace byla implementována a testována na vývojových serverech řešitele a následně uvedena v poloprovoz na testovacím serveru Manuscriptoria. V tomto stádiu pilotního provozu může, s ohledem na vyhodnocování praktických zkušeností uživatelů, docházet ke změnám uživatelského rozhraní a dokumentace projektu. Všechny výše popsané moduly jsou umístěny na testovacím serveru. URL jednotlivých modulů jsou umístěny na testovacím serveru MNS. Modul pro správu revizí, prostředí pro moderaci: Modul pro kontrolu vlastních revizí editora: Testovací účty poskytne NK ČR. 15