Kvantitativní analýza textu. miroslav kubát FF OU Ostrava

Rozměr: px

Začít zobrazení ze stránky:

Download "Kvantitativní analýza textu. miroslav kubát FF OU Ostrava"

Aleš Havel
před 7 lety
Počet zobrazení:

1 Kvantitativní analýza textu miroslav kubát FF OU Ostrava

2 Kvantitativní lingvistika Hledání zákonů v jazyce (např. MAL) Nalezení jazykové teorie. Korpusová lingvistika. Klasifikace textů, určování autorství apod. Automatické překlady apod. Textové analýzy, stylometrie.

3 Stylometrické metody Lingvisticky interpretovatelné (slovní bohatství, tematická koncentrace, délka tokenu, vzdálenosti sloves, aktivita & deskriptivita textu). Lingvisticky neinterpretovatelné (klastrové analýzy n-gramů či nejfrekventovanějších slov apod.)

4 Lingvisticky interpretovatelné metody Výhody: víme přesně, co měříme, nové poznatky pro lingvistiku. Nevýhody relativně nízká přesnost, relativně triviální.

5 Lingvisticky neinterpretovatelné metody Výhody: vysoká přesnost, úspěšná aplikace zejména v určování autorství a automatické klasifikaci textů. Nevýhody nevíme přesně co měříme, minimální poznatky pro lingvistiku.

6 Výběrový soubor aneb Korpus Hledisko kvantitativní Hledisko kvalitativní

7 Výběrový soubor aneb Korpus Neexistuje reprezentativní korpus žádného jazyka, navzdory tvrzení ČNK: Korpus SYN2005 je synchronní reprezentativní korpus současné psané češtiny. SYN2000 je synchronní korpus, to znamená, že je v něm zachycen současný český jazyk. Do korpusu jsou ovšem zařazena i významná díla české literatury, která vznikla před rokem 1990 (například Krakatit Karla Čapka, nebo Zbabělci Josefa Škvoreckého).

8 Korpus SYN % 25 % 15 % publicistika odborná literatura beletrie

9 Korpus SYN % beletrie 33 % publicistika 27 % odborná literatura

10 Vhodný výběrový soubor Pouze specializovaný korpus může sloužit jako relevantní vzorek pro výzkum. Např. texty jediného autora v žánrové analýze.

11 Co je text? ČNK: Tento korpus (SYN2000) je vytvořený z celých textů. Je sbírka povídek, básní či celý román jeden text? A jak je to s kolektivním autorstvím? Mnoho textů je stejný mix jako korpus!

12 Jaký text je vhodný pro analýzu jazyka? Novinový článek? Beletrie? Překlady? Mluvený text? Twitter? Blog? A jak je to s dramaty?

13 Proces vytváření novinového článku

14 Za text považuji Kapitolu románu. Povídku. Báseň. Dopis. Pohádku. Článek.

15 Přirozené vs. umělé jednotky Přirozené (foném, slabika, morfém, slovo) Umělé jednotky (n-gramy, délkové motivy) Něco mezi (grafémy, hreby)

16 Author s Multilevel N-gram Profile (AMNP) by George Mikros Word 3-grams Semantics Word 2-grams Syntax Character 3- grams Morphology Character 2-grams Phonology GEORGE MIKROS IQLA-GIAT Summer School in Quantitative Analysis of Textual Data University of Padua, September

17 Slovní bohatství Poměr různých slov v textu k celkové délce textu. ( ) vždy veselo bývalo v Kyjově, vždy veselo v Kyjově bude ( ) P. Bezruč: Kyjov TTR = V N = 6 10 =0.6

18 TTR Type-Token Ratio (TTR) text size (N)

19 Eliminace vlivu délky textu A) omezení textu na prvních n slov. B) upravit rovnici pro výpočet. C) Něco mezi (MATTR).

20 Moving Average Type-Token Ratio (MATTR) Moving Average Type-Token Ratio (MATTR) MATTR L = N L i=1 V i L(N L + 1) N délka textu L délka okna Vi počet typů v okně

21 Vyhodnocení Statistický test: u = X 1 X 2 s 2 1 n1 +s 2 n2 X 1, X 2...aritmetický průměr skupiny S 1, S 2 směrodatná odchylka n 1, n 2 počet výsledků ve skupině

22 MATTR Moving Average Type-Token Ratio (MATTR) text size (N)

23 Intuice vs. intersubjektivita Určete pořadí následujících žánrů podle slovního bohatství: o Román o Cestopis o Novinový sloupek o Dopis o Pohádka o Báseň o Odborná studie o Povídka

24 MATTR Slovní bohatství (MATTR) cestopis sloupek povídka román dopis báseň studie pohádka

25 MATTR výsledky u-testu mezi žánry, signifikantní rozdíly (u 1,96) román povídka cestopis studie sloupek pohádka dopis román x povídka 1,35 x cestopis 3,31 1,57 x studie 5,04 5,78 7,64 x sloupek 1,63 0,24 1,33 6,05 x pohádka 7,14 7,68 9,04 3,13 7,88 x dopis 0,07 1,10 2,47 4,01 1,31 6,25 x báseň 1,00 1,44 1,99 0,94 1,54 2,57 0,94

26 Intuice vs. intersubjektivita Jazyk totality, např. newspeak v Orwellově románu Nineteen Eighty-Four. Určete pořadí novoročních a vánočních projevů československých a českých prezidentů podle slovního bohatství.

27 Prezidenti Masaryk Beneš Hácha Gottwald Zápotocký Novotný Svoboda Husák Havel Klaus Zeman

28 MATTR prezidenti

29 MATTR prezidenti

30 Moving Window Type-Token Ratio (MWTTR)

31 % Výsledné hodnoty MWTTRD v žánrech román povídka cestopis studie sloupek pohádka dopis báseň počet typů v 100 tokenech

32 Quantitative Index Text Analyzer QUITA

33 Literatura Čech, R., Popescu, I. I., Altmann, G. (2014). Metody kvantitativní analýzy (nejen) básnických textů. Olomouc: Univerzita Palackého v Olomouci. Čech, R. (2014). Jen popis čísly? Perspektivy korpusové lingvistiky. Naše řeč, 97(4 5), s Chromý, J. (2014). Korpus a reprezentativnost. Naše řeč 97(4 5), s Kubát, M., Matlach, V., Čech, R. (2014). QUITA Quantitative Index Text Analyzer. Lüdenscheid: RAM. Mikros, G. K., & Perifanos, Kostas. (2013). Authorship attribution in Greek tweets using multilevel author s n- gram profiles. In: E. Hovy, V. Markman, C. H. Martell & D. Uthus (eds.), Papers from the 2013 AAAI Spring Symposium "Analyzing Microtext", March 2013, Stanford, California. Palo Alto, California: AAAI Press, s

34 Literatura Popescu, I. I., Altmann, G., Grzybek, P., Jayaram, B. D., Köhler, R., Krupa, V., Mačutek, J., Pustet, R., Uhlířová, L., Vidya, M. N. (2009). Word frequency studies. Berlin/New York: Mouton de Gruyter. Wimmer, G., Altmann, G., Hřebíček, L., Ondrejovič, S., Wimmerová, S. (2003). Úvod do analýzy textov. Bratislava: Veda. Těšitelová, M. (1987). Kvantitativní lingvistika. Praha: SPN.

35 Literatura Covington, M. A., McFall J. D. (2008). The Moving-Average Type-Token Ratio. Presented as a poster at the Annual Meeting of the Linguistic Society of America. Covington, M. A., McFall J. D. (2010). Cutting the Gordian Knot: The Moving-Average Type-Token Ratio (MATTR). Journal of Quantitative Linguistics, 17(2), Köhler, R., Gale,M. (1993): Dynamic Aspects of Text Characteristics. In L.Hřebíček, G. Altmann (eds.) Quantitative Text Analysis. Trier, Wissenschaftlicher Verlag, Milička, J. (2013). MaWaTaTaRaD. Prague. (Software) Scott, M. (2013). WordSmith Tools. Liverpool: Lexical Analysis Software. Kubát, M., Milička, J. (2013). Vocabulary Richness Measure in Genres. Journal of Quantitative Linguistics, 20(4),

Podobné dokumenty

stylometrický software quita miroslav kubát ff ou ostrava js ostrava

stylometrický software quita miroslav kubát ff ou ostrava js 9. 3. 2016 ostrava Katedra českého jazyka Vás zve na workshop Quantitative Index Text Analyzer pod vedením Miroslava Kubáta a Radka Čecha 18.