Aplikovaná informatika

Transkript

1 Aplikovaná informatika Analýza validity informací a tvorba citací. ZEMÁNEK, Z. - PLUSKAL, D. - SMETANA, B. Operační program Vzdělávání pro konkurenceschopnost Název projektu: Inovace magisterského studijního programu Fakulty ekonomiky amanagementu Registrační číslo projektu: CZ.1.07/2.2.00/

2 Analýza validity informací a tvorba citací. i 1. Analýza validity informací ve vybraném SW 2. Analýza získaných informací z Data Miningu 3. Doplnění citací pro KP 4. Kontrolní otázky a úkoly samostudia

3 Cíle cvičen ení 1. Předat studentům základní informace o analýze informací ve vybraném m software. 2. Uvést a objasnit základy z tvorby citací se softwarovou podporou. 3. Uvést postup tvorbt vorby citace a analýzy informací pro KP.

4 Analýza validity informací ve vybraném m SW Při získávání dat z různých zdrojů, stejně jako při statistickém hodnocení technologických procesů (například dodržení předepsaných standardů), je důležité zkoumat validitu, to jest platnost získaných výsledků vzhledem ke skutečnosti. Kvalitativní nebo nezávislá kvantitativní validace je důležitá zejména tam, kde zkoumaný jev nelze úplně oddělit od dalších vlivů a kde je interpretace výsledků složitá. Smyslem je ověřit u uložených dat platnost a současně zjistit jak dalece jsou informace relevantní vzhledem k řešenému enému problému. [1]

5 Frekvenční analýza textu hustota klíčových slov Je základní metodou vytěžování nestrukturovaných textů. Jako univerzální metoda našla své uplatnění v dešifrování. Analyzovat lze i texty vyjádřené graficky. Pro text mining má význam analýza klíčových slov (keywords analysis). Je spojená s konkrétním jazykem - A. C. Doyle -Tančící figurky.

6 Frekvenční analýza textu - význam klíčových slov Odpověď důležitosti výskytu (keyword density) klíčových slov dává frekvenční analýza slov. Ve všech přirozených jazycích platí tzv. Zipfův zákon - potom součin tohoto pořadí dle frekvence a frekvence slova zůstává pro všechna slova přibližně konstantní. S výjimkou těch nejméně a nejvíce četných slov toto pravidlo funguje velmi dobře. [2]

7 Frekvenční analýza textu - význam klíčových slov Důsledek Zipfova zákona - základ jazyka je tvořen relativně malým počtem stále se opakujících slov. Při selekci nevýznamných slov s frekvencí < 10 (překlepy a chyby ), snížíme počet slov dokonce na 17 %. Seznam takzvaných stop slov = převážně spojky a předložky, které lze vynechat. [2]

8 Frekvenční analýza textu - význam klíčových slov Extrakce příznakp znaků - nahrazení původní množiny příznaků novou - sloučit do jedné dimenze slova, která mají stejný význam. Lemmatizace -převod slova na jeho základní tvar vhodný pro češtinu. Stemming -převod slova na jeho kmen vhodný pro angličtinu. = Například základním tvarem slova učil je infinitiv učit a kmenem je uč. [2]

9 Frekvenční analýza textu - význam klíčových slov Velkým problémem lemmatizace a stemmingu je víceznačnost. Problém homonym - slova souzvučná (slova se dvěma významy = zámek (visací zámek, sídlo šlechtice). Problém synonym - zubař vs. stomatolog. [2] Dvě lemmata?? Dvě lemmata?? Vybrání správn vného lemmatu (desambiguace( desambiguace).

10 Data Mining - Text Mining ve fulltextu Získávání (dobývání) ) znalostí z dat nazýváme proces netriviálního získávání implicitní, dříve neznámé a potencionálně užitečné a platné (validní) informace z dat. Data Miningové metody pracují s čísly,, případnp padně s nomináln lními či i ordináln lními proměnnými, jako jsou názvy n kategorií apod. Text mining pracuje s nestrukturovaným textem, lze ho tedy definovat jako proces vytěž ěžení cenné informace z textu, metoda můžm ůže e pomoci i při p i samotné dataminingové analýze.

11 Podstata Text Miningu Dolování z textu (angl. Text Mining [text majnyn]) je vědecká disciplína na pomezí dolování z dat, strojového učení a počítačové lingvistiky. Vyvíjí se s potřebou automatického zpracování velkého množství informací v podobě volného textu. Klasické metody dolování z dat totiž pracují pouze se strukturovanými daty (obsahujícími metadata důležitá pro zpracování) a většina informací jim tak zůstává nepřístupná. [1] 11

12 Využit ití Text Miningu Shrnutí textu (text summary) Vybrat nejdůležitější pasáže (např. věty) a ty vhodně seřadit (summary extraction). Nebo je možné text hlouběji analyzovat a na základě jeho sémantické reprezentace parafrázovat jeho obsah (summary abstraction). Analýza sentimentu (sentiment analysis) Na základě výskytu citově zabarvených slov lze usuzovat na autorův pozitivní či negativní postoj k předmětu zprávy. [1]

13 Využit ití Text Miningu Určování druhu textů Přiřazení kategorie - sport, politika, krimi. Podle frekvence klíčových slov. Data Shlukování textů/dokumentů (text clustering) do skupin na základě jejich vzájemných podobností. Každý dokument je zařazen právě do jedné skupiny. Vytvořené skupiny mohou, ale nemusí odpovídat očekávaným kategoriím(množství čísel).

14 Využit ití Text Miningu Extrakce konceptů; ; rozpoznání pojmenovaných entit (concept extraction; named entity recognition) Jde o určení entit, které jsou v textu zmíněny (např. v článku o telekomunikacích by tedy výrazy mobilní operátor a Vodafon měly být přiřazeny stejné entitě). Určen ení vztahu mezi entitami Určení entity umožňuje na základě analýzy vět (např. pomocí rámců - FrameNet) určit jejich vztahy (např. z výrazu Karel je ženatý s Evou je možné získat vztah, že Eva je manželkou Karla).

15 TextStat frekvenční analýza hustota klíčových slov Software TextStat - z libovolného textového souboru vygeneruje statistiku: počet řádků, počet slov, počet znaků, počet vět, počet mezer, počet použití tabulátorů a několik dalších informací. Vygenerovanou statistiku lze uložit do souboru. = Program umožňuje několik dalších nastavení, jako například zadání nepočitatelných znaků a podobně. [3]

16 Citace a jejich zdůvodn vodnění Bibliografické citace uvedené v odborné práci jsou významnou informací pro čtenáře, e, recenzenty či i jiné posuzovatele práce, např.. oponenty Hlavní důvody: Dokázat vlastní orientaci v tématu. t Odkázat čtenáře e na další literaturu. Dodržet autorskou etiku a zákon z o autorských právech. [4]

17 Bibliografická citace = souhrn údajů o citované publikaci nebo její části umožň žňující její identifikaci. Uvádí se jednak citace pramene, odkud byla informace převzata, p často místo m odkud byl citát vybrán, tj. stránka citovaného dokumentu. Vešker keré získané cizí informace, které použijeme ve vlastní odborné práci, je nutno citovat a používat odkazy na citace. [4]

18 Etapy práce s citacemi 1. Vytvořen ení bibliografických citací = citace musí publikaci jednoznačně identifikovat, aby byla vyhledatelná v katalogu, v časopise, na www, atd. 2. Vytvořen ení a uspořádání soupisu citací = seznam použit ité literatury. 3. Odkazování v textu na bibliografické citace v seznamu použit ité literatury, = odkazy na příslup slušné publikace v seznamu použit ité literatury uvedené v textu na místm stě,, kde je použita myšlenka citovaného autora, popis jeho metody nebo odvolání na výsledky jeho práce. [4]

19 Citační normy ISO 690 Bibliografické citace obsah, forma struktura = schémata a příklady p citací různých druhů dokumentů,, stanoví pořad adí a způsob uvádění jednotlivých údajů v citaci. ISO Bibliografické citace. Část 2: elektronické dokumenty nebo jejich části. [4] ŠARMANOVÁ, Jana. METODY ANALÝZY DAT - Učební text. [online]. [cit ] 2012, Ostrava: VŠB-TU. 170 s. ISBN Dostupné z:

20 Odkazy na citace v textu Existuje několik metod, jak zapisovat odkazy na citace v textu. Všechny metody mají svá pro a proti. Doporučujeme metodu odkazování v závěrečných pracích volit na základě požadavků fakulty, popř. po dohodě s vedoucím práce: Harvardský systém - hojně používaná zejména v USA, známá také jako metoda prvku a data. Metoda číselných odkazů metoda používaná především v přírodních a technických vědách. Metoda poznámek - často se kombinuje se seznamem zdrojů na konci dokumentu.

21 Odkazy na citace v textu Harvardský systém - hojně používaná zejména v USA, známá také jako metoda prvku a data Pro studenty, kteří nejsou příliš zběhlí v práci v textovém editoru, je nejvhodnější metodou Harvardský systém, který nevyžaduje nastavování křížových odkazů či poznámek pod čarou. Navíc je hojně používán zejména v humanitních vědách. [4] Příklady: Citace v textu: Svět, realita je pojem přílip liš obecný a široký (Šarmanová, 2012, s. 7). Je-li jméno autora uvedeno přímo p v textu, stačí do závorky z uvést rok a stranu: Šarmanová (2001, s.31) se domnívá, že výsledky jsou nejednoznačné... Pak ZDROJE: 1. ŠARMANOVÁ, Jana. METODY ANALÝZY DAT - Učební text. [online]. [cit ] 2012, Ostrava: VŠB-TU. 170 s. ISBN Dostupné z:

22 Odkazy na citace v textu Metoda číselných odkazů - metoda používaná především v přírodních a technických vědách Metoda číselných odkazů má tu výhodu, že je možné v elektronické verzi práce, se rychle prokliknout na zdroj a není nutné scrollovat na konec textu. Tato metoda si žádá využití křížových odkazů a jejich pečlivou kontrolu. Je tedy z hlediska formátování náročnější, ale nejpoužívanější. [4] Příklad: Svět, realita je pojem přílip liš obecný a široký. [1] Pak ZDROJE: 1. ŠARMANOVÁ, Jana. METODY ANALÝZY DAT - Učební text. [online]. [cit ] 2012, Ostrava: VŠB-TU. 170 s. ISBN Dostupné z:

23 Odkazy na citace v textu Metoda poznámek v textu pod čarou - často se kombinuje se seznamem zdrojů na konci dokumentu. Metoda poznámek nabízí čtenáři práce bibliografickou citaci přímo na konkrétní stránce pod čarou, což je velmi pohodlné. Nastavení poznámek pod čarou je navíc velice jednoduché. Na bibliografické citace odkazujeme pořadovým číslem poznámky. Číslo musíme me odlišit it od vlastního textu použit itím m horního indexu. 1 Na druhou stranu se doporučuje uvedení abecedního seznamu bibliografických citací na konci dokumentu, takže uvádíte citace v dokumentu dvakrát, což je samozřejmě práce navíc. [4] V poznámce pod čarou, nebo na konci dokumentu, jsou bibliografické citace v pořad adí,, v jakém m je na něn odkazováno v textu: 1. ŠARMANOVÁ, Jana. METODY ANALÝZY DAT - Učební text. [online]. [cit ] 2012, Ostrava: VŠB-TU. 170 s. ISBN Dostupné z:

24 Zásady k zapamatování autor vždy v tiskacími písmenyp smeny,, v invertovaném m tvaru (= příjmenp jmení,, křestnk estní jméno, př. p. HÁVA, H Petr) práce bez autora pod prvním m významovým slovem z názvu n (v abecedním m seznamu) nikdy: Anonym; kolektiv autorů,, apod. název zdrojového dokumentu vždy v kurzívou (název knihy, název n časopisu, název n sborníku) každý údaj se odděluje diakritickým znaménkem nkem u části dokumentu vždy v stránka citace musí být úplná,, přehlednp ehledná a jednotná citujeme výhradně z primárn rních dokumentů zachováváme jazyk knihy [4]

25 Primárn rní odpovědnost dnost = autor/autoři Vždy ve tvaru: PŘÍJMENÍ,, KřestnK estní jméno. Jeden autor: HÁVA, Petr. HÁVA, P. Více autorů: HÁVA, P., MAŠKOV KOVÁ,, P., POTŮČ ŮČEK, M. a kol. HÁVA, P. - MAŠKOV KOVÁ,, P. - POTŮČ ŮČEK, M. a kol. HÁVA, P. (ed( ed.)..). [4]

26 Podpora prostřed edí ( Možnost generování své citace dle normy ČSN ISO 690 a ČSN ISO Přebírání záznamů od dalších uživatelů nebo zdrojů. Správa citací (úprava, třídět do složek, přidávání vlastních poznámek, obsahů, recenzí). Zpřístupnění záznamů prostřednictvím RSS kanálů, sdílení s jinými uživateli. Export záznamů do RTF pro Word a do HTML. [5]

27 Administrace Moje citace PROSTOR PRO REGISTROVANÉ UŽIVATELE Generování citací Import citací Moje citace Nově vygenerované citace Citace uložené do složek Moje citace ze staré verze portálu Moje RSS kanály Moje složky Nezařazené citace Složky vytvořené uživatelem [5]

28 VKLÁDÁNÍ ZÁZNAMŮ Vkládání záznamů do formuláře vybraného modulu Povinná pole Nepovinná pole Interaktivní pole Přebírání záznamů od jiných uživatelů Přebírání záznamů ze souborného katalogu MU [5]

29 PRÁCE SE ZÁZNAMYZ ZNAMY Úprava bibliografické citace (upravit) Přidávání detailů (detaily) Poznámky Obsahy Recenze Tagy Mazání Přesunutí do složek [5]

30 PRÁCE SE SLOŽKAMI Vytvoření nové složky Zveřejnění složky (zpřístupnění složky pro ostatní uživatele) Export složky Vytvoření RSS kanálu Další funkce Generování HTML kódu složky pro vložení do webové stránky Přejmenování Smazání [5]

31 Tvorba citací a analýza informací pro KP Zvolte klíčová slova pro Data Minig. Vyberte z prvních tří stránek vyhledávače nejlepší odpovídající dokument. Uložte jako text. Proveďte analýzu TextStatem. Výskyt klíčových dokumentujte grafem a vložte do KP. Doplňte citace všech dokumentů včetně grafiky v citace.com a uložte do KP.

32 Kontrolní otázky a úkoly samostudia Otestujte své znalosti o Text Miningu dle prezentace a zdrojů. V rámci samostudia vytvořte te citace dle zadání v prezentaci. Doplňte do KP základnz kladní statistiku Text Miningu. Dokumentujte grafem dle výsledků v Text Statu.

33 Zdroje doplňuj ující studijní literatura: 1. ŠARMANOVÁ, Jana. METODY ANALÝZY DAT - Učební text. [online]. [cit ] 2012, Ostrava: VŠB-TU. 170 s. ISBN Dostupné z: 2. Semanticka-analyza-textu-3. [online] [cit ]. Dostupné z: 3. TextStat. [online] [cit ]. Dostupné z: ovnavani/textstat/?g[hledano]=textstat&g[oz]= Bibliografické citace. <i>samba.fsv.cuni.cz</i> [online] [cit ]. Dostupné z: samba.fsv.cuni.cz/~tomandlo/jsm514/bibliografické%20citace.ppt 5. Citace snadněji a rychleji. [online] [cit ]. Dostupné z: