Využítí crowdsourcingu pro účely anotace, vytěžování a porozumění historichých dokumentů

Transkript

1 Využítí crowdsourcingu pro účely anotace, vytěžování a porozumění historichých dokumentů Ing. Milan Legát, Ph.D. Prosinec 2020 Amitia Váš partner pro řešení umělé inteligence

2 Agenda Agenda 1. Seznámení s crowdsourcingem Co je crowdsourcing Výhody/nevýhody Úspěchy crowdsourcingu 2. Jak na crowdsourcing projekt Volba tématu a příprava Spuštění a údržba projektu 3. Jak zvýšit efektivitu Kontrola kvality Human-in-the-loop (HITL) 4. Crowdsourcingové nástroje 5. Co s výsledky? Naše vize

3 Úvod Co je crowdsourcing? Crowdsourcing je způsob dělby práce, kdy je úkol zadán většinou velké skupině lidí jako všeobecná výzva. Kde se crowdsourcing hodí? Rutinní práce vyžadující lidskou inteligenci Velký rozsah práce Úlohy rozdělitelné na menší podúkoly Anotace dat pro strojové učení!

4 Úvod Výhody/nevýhody crowdsourcingu Výhody: Flexibilita: lze řešit širokou paletu problémů Škálovatelnost: možnost zpracování až milionů položek Nízké náklady Nevýhody: Vyžaduje nástroje pro dělbu a administraci práce Nástroje a procesy pro zaručení kvality V zásadě je to stále manuální práce

5 Úspěchy crowdsourcingu By the People By the People Cíl: přepis a tagování digitalizovaných sbírek Library of Congress Spuštěn v roce stránek vypuštěno ke zpracování; 21 kampaní dokončených stránek zveřejněno v online katalogu knihovny Financován ze zdrojů National Digital Library Trust Fund, Library of Congress Více informací:

6 Úspěchy crowdsourcingu Bentham Project Bentham Project Cíl: přepis a zpřístupnění rukopisů Jeremy Benthama ( , britský filosof a reformátor) University College London, spuštěn v roce 2010 Přepsáno téměř stránek Financován ze zdrojů Arts and Humanities Research Council, Andrew W. Mellon Foundation, EU Horizon 2020 Více informací:

7 Úspěchy crowdsourcingu Staré mapy Staré mapy Cíl: zvýšit úroveň zpřístupnění digitalizovaných mapových sbírek v ČR Spuštěn v roce 2013, MZK + zapojeno hned několik dalších institucí v ČR ~ map Financován ze zdrojů Programu aplikovaného výzkumu a vývoje národní a kulturní identity NAKI (DF11P01OVV003), Ministerstvo kultury ČR Více informací:

8 Jak na crowdsourcing projekt Volba tématu a příprava Volba tématu a stanovení cíle projektu Motivace anotátorů (téma, leaderboard, atd.) Krátký název související s tématem Výběr dat a návrh anotací (např. strukturovaný přepis, volba kategorie, lokalizace objektů, apod.) Příprava projektu Výběr anotačního nástroje Připravte data a nahrajte do anotačního nástroje Jasně a srozumitelně popište, jak má vypadat anotace (krátký tutorial)

9 Jak na crowdsourcing projekt Spuštění a údržba projektu Spuštění projektu Musí o Vás být vědět (marketingová kampaň na webu, sociálních sítích kdekoliv je Vaše cílová skupina) Oslovte blízké spolupracovníky nebo partnery Připravte se na zodpovídání dotazů anotátorů a ladění detailů Údržba projektu Určete odpovědnou osobu, která se pravidelně (alespoň jeden den v týdnu) věnuje běžícímu projektu Kontrolujte kvalitu! Pravidelně zveřejňujte výsledky, FAQ prostor, diskuzní forum, apod.

10 Jak zvýšit efektivitu Kontrola kvality Metoda revize Jeden člověk anotuje, jiný kontroluje Pokud jsou při kontrole provedeny změny, následuje další iterace s jinou osobou Postup se opakuje dokud není výstup beze změn Metoda agregace Anotace provádí více lidí a výsledek se agreguje Metody založené na strojovém učení Detekce anomálií Shlukovací metody

11 Jak zvýšit efektivitu Human-in-the-loop Human-in-the-loop (HITL) Zapojení crowdsourcingu do smyčky se strojovým učením Postup konverguje k plně automatizovanému řešení

12 Crowdsourcingové nástroje Obecné požadavky a možnosti Obecné požadavky Podpora různých typů anotací Správa anotátorů (a jejich rolí) Administrace anotátorských prací, distribuce anotátorských prací skupinám anotátorů Paralelní zpracování, kontrola kvality, efektivita Existující nástroje Amazon Mechanical Turk, Crowdflower (Appen) Neevo (DefinedCrowd) From The Page, Zooniverse,... Mark!t (Amitia) -

13 Co s výsledky? Zveřejnit chceme přeci historické dokumenty zpřístupnit široké veřejnosti Naše vize Využít pro strojové učení chceme se přeci dožít toho, že naše kulturní dědictví bude kompletně zpřístupněno Kaitos Moderní řešení pro digitalizaci kulturního dědictví vystavěné na posledních poznatcích z oblasti umělé inteligence, strojového učení a práce s velkými objemy dat

14 Děkuji za pozornost! Otázky?

15 Česká Republika Kontakty K Hnízdům 221/7, Plzeň, Česká Republika South Korea Rosedale Bld. #1632, 280 Gwangpyeong-ro, Gangnam-gu, Seoul, Korea info@amitia-ai.com