The Theory behind Keyword Analysis. Václav Cvrček Workshop on Quantitative Text Analysis for SSH Brown University April 8, 2016

Transkript

1 The Theory behind Keyword Analysis Václav Cvrček Workshop on Quantitative Text Analysis for SSH Brown University April 8, 2016

2 IntroductionIj

3 Introduction Text interpretation at the core of the humanities mission

4 Introduction Text interpretation at the core of the humanities mission our interpretation + other people s interpretation

5 Introduction Text interpretation at the core of the humanities mission our interpretation + other people s interpretation interpretation with minimum amount of extra-textual information and intuition

6 Introduction Text interpretation at the core of the humanities mission our interpretation + other people s interpretation interpretation with minimum amount of extra-textual information and intuition frame of reference, scheme, expectations, communicative norms

7 Introduction Text interpretation at the core of the humanities mission our interpretation + other people s interpretation interpretation with minimum amount of extra-textual information and intuition frame of reference, scheme, expectations, communicative norms there is no objective interpretation depends on point of view (recipient)

8 Language corpusij

9 What is a corpus? sample of naturally occurring written texts or transcribed speeches stored electronically (searchable) basis for linguistic analysis and description

10 CADS = corpus assisted discourse studies A Needle in a Haystack (collaborative research project of Brown and Charles University) how language reflects the changing nature of the society?

11 CADS = corpus assisted discourse studies A Needle in a Haystack (collaborative research project of Brown and Charles University) how language reflects the changing nature of the society? how different is the interpretation of the contemporary and historical reader?

12 CADS = corpus assisted discourse studies A Needle in a Haystack (collaborative research project of Brown and Charles University) how language reflects the changing nature of the society? how different is the interpretation of the contemporary and historical reader? how can we test the limits of the corpus-based quantitative analysis of text?

13 Prominent itemsij

14 Interpretation and prominence How do we start with interpretation? what is striking in a text? topics, motives, themes expressed by words interaction between words, topics function/meaning of words, topics minimize researcher bias

15 Why don t you simply count them? Top 10 lemmas: the be of a and to he it have in the and to be of we that a our in the and be of to a he have in they

16 Why don t you simply count them? Top 10 lemmas: the be of a and to he it have in the and to be of we that a our in the and be of to a he have in they G. Orwell: 1984 SOTU JRRT: Hobbit

17 Thematic concentration content words with abnormal frequency

18 Thematic concentration content words with abnormal frequency Zipf s word-frequency distribution

19 Thematic concentration content words with abnormal frequency Zipf s word-frequency distribution h-point: rank = frequency

20 Thematic concentration content words with abnormal frequency Zipf s word-frequency distribution h-point: rank = frequency h-point approximately separates autosemantic and synsemantic branch

21 Thematic concentration content words with abnormal frequency Zipf s word-frequency distribution h-point: rank = frequency h-point approximately separates autosemantic and synsemantic branch content words above the h-point are TC words

22 Thematic concentration content words with abnormal frequency Zipf s word-frequency distribution h-point: rank = frequency h-point approximately separates autosemantic and synsemantic branch content words above the h-point are TC words Popescu & Altmann 2006

23 Thematic concetration

24 TC words 1984: Winston, say, know, Party, face, word, O Brien, seem, look, never, think, moment, always, hand, year, way, long, now, eye, day, possible, war SOTU: year, job, work, America, new, people, american, know, need, help, country, business, time, world, economy, family, right, tax, Congress, nation Hobbit: come, go, Bilbo, see, dwarves, time, long, make, think, great, good, know, far, still, goblin, find, way, look, little, light

25 TC: discussion Pros and cons of TC words + objective based on frequency distribution

26 TC: discussion Pros and cons of TC words + objective based on frequency distribution + text analytical applications: comparing texts according to their thematic compactness

27 TC: discussion Pros and cons of TC words + objective based on frequency distribution + text analytical applications: comparing texts according to their thematic compactness + no reference corpus required

28 TC: discussion Pros and cons of TC words + objective based on frequency distribution + text analytical applications: comparing texts according to their thematic compactness + no reference corpus required - set of TC words is invariant

29 TC: discussion Pros and cons of TC words + objective based on frequency distribution + text analytical applications: comparing texts according to their thematic compactness + no reference corpus required - set of TC words is invariant - interpretation without interpretor interpretation always depends on the point of view

30 Keyword analysisij

31 Keywords and KWA Keywords homonymous term 1 1 For other meanings see e.g. Williams 1976 or Wierzbicka 1997.

32 Keywords and KWA Keywords homonymous term 1 words with higher relative frequency in a text 1 For other meanings see e.g. Williams 1976 or Wierzbicka 1997.

33 Keywords and KWA Keywords homonymous term 1 words with higher relative frequency in a text based on comparison with reference corpus 1 For other meanings see e.g. Williams 1976 or Wierzbicka 1997.

34 Keywords and KWA Keywords homonymous term 1 words with higher relative frequency in a text based on comparison with reference corpus significance testing: χ 2 test, log-likelihood (G) test, Fisher test 1 For other meanings see e.g. Williams 1976 or Wierzbicka 1997.

35 Keywords and KWA Keywords homonymous term 1 words with higher relative frequency in a text based on comparison with reference corpus significance testing: χ 2 test, log-likelihood (G) test, Fisher test A word-form which recurs within the text in question will be more likely to be key in it. (Scott Tribble 2006) 1 For other meanings see e.g. Williams 1976 or Wierzbicka 1997.

36 Obtaining keywords algorithm Procedure count frequency of each word most frequent words are the, of, was

37 Obtaining keywords algorithm Procedure count frequency of each word most frequent words are the, of, was compare it with a frequency of the same word in a corpus

38 Obtaining keywords algorithm Procedure count frequency of each word most frequent words are the, of, was compare it with a frequency of the same word in a corpus use statistical tests: χ 2, log-likelihood or Fisher to find out if the difference is significant

39 Obtaining keywords algorithm Procedure count frequency of each word most frequent words are the, of, was compare it with a frequency of the same word in a corpus use statistical tests: χ 2, log-likelihood or Fisher to find out if the difference is significant interpret top X most prominent keywords

40 Obtaining keywords algorithm Procedure count frequency of each word most frequent words are the, of, was compare it with a frequency of the same word in a corpus use statistical tests: χ 2, log-likelihood or Fisher to find out if the difference is significant interpret top X most prominent keywords Keywords: Words which appear in a text or corpus that are statistically significantly more frequent than would be expected by chance when compared to a corpus which is larger or of equal size.

41 Note on significance and effect size Gabrielatos, C. & Marchi, A. (2012): there is a difference between (statistical) significance and (linguistic) relevance (effect size)

42 Note on significance and effect size Gabrielatos, C. & Marchi, A. (2012): there is a difference between (statistical) significance and (linguistic) relevance (effect size) Metrics used to calculate keyness significance level of certainty we have that the difference exists (N.B. χ 2 test is asymptotically true )

43 Note on significance and effect size Gabrielatos, C. & Marchi, A. (2012): there is a difference between (statistical) significance and (linguistic) relevance (effect size) Metrics used to calculate keyness significance level of certainty we have that the difference exists (N.B. χ 2 test is asymptotically true ) relevance importance of the difference (for interpretation)

44 Note on significance and effect size Gabrielatos, C. & Marchi, A. (2012): there is a difference between (statistical) significance and (linguistic) relevance (effect size) Metrics used to calculate keyness significance level of certainty we have that the difference exists (N.B. χ 2 test is asymptotically true ) relevance importance of the difference (for interpretation) crucial for the top X approach:

45 Note on significance and effect size Gabrielatos, C. & Marchi, A. (2012): there is a difference between (statistical) significance and (linguistic) relevance (effect size) Metrics used to calculate keyness significance level of certainty we have that the difference exists (N.B. χ 2 test is asymptotically true ) relevance importance of the difference (for interpretation) crucial for the top X approach: 1. identification of KWs statistical tests

46 Note on significance and effect size Gabrielatos, C. & Marchi, A. (2012): there is a difference between (statistical) significance and (linguistic) relevance (effect size) Metrics used to calculate keyness significance level of certainty we have that the difference exists (N.B. χ 2 test is asymptotically true ) relevance importance of the difference (for interpretation) crucial for the top X approach: 1. identification of KWs statistical tests 2. ranking of KWs task for a different metric

47 DIN coefficient Variation on the Sørensen Dice s coefficient 2 : DIN = 100 RelFq(Target) RelFq(Reference) RelFq(Target) + RelFq(Reference) values of DIN 2 cf. Hofland Johansson (1982).

48 DIN coefficient Variation on the Sørensen Dice s coefficient 2 : DIN = 100 RelFq(Target) RelFq(Reference) RelFq(Target) + RelFq(Reference) values of DIN -100 (= when a word is present only in the RefC) 2 cf. Hofland Johansson (1982).

49 DIN coefficient Variation on the Sørensen Dice s coefficient 2 : DIN = 100 RelFq(Target) RelFq(Reference) RelFq(Target) + RelFq(Reference) values of DIN -100 (= when a word is present only in the RefC) 0 (= when a word occurs equally in target and RefC) 2 cf. Hofland Johansson (1982).

50 DIN coefficient Variation on the Sørensen Dice s coefficient 2 : DIN = 100 RelFq(Target) RelFq(Reference) RelFq(Target) + RelFq(Reference) values of DIN -100 (= when a word is present only in the RefC) 0 (= when a word occurs equally in target and RefC) 100 (= when a word is present only in the target corpus) 2 cf. Hofland Johansson (1982).

51 DIN coefficient Variation on the Sørensen Dice s coefficient 2 : DIN = 100 RelFq(Target) RelFq(Reference) RelFq(Target) + RelFq(Reference) values of DIN -100 (= when a word is present only in the RefC) 0 (= when a word occurs equally in target and RefC) 100 (= when a word is present only in the target corpus) represents the proportion of the difference of relative frequencies to their mean ( 50) 2 cf. Hofland Johansson (1982).

52 DIN coefficient Variation on the Sørensen Dice s coefficient 2 : DIN = 100 RelFq(Target) RelFq(Reference) RelFq(Target) + RelFq(Reference) values of DIN -100 (= when a word is present only in the RefC) 0 (= when a word occurs equally in target and RefC) 100 (= when a word is present only in the target corpus) represents the proportion of the difference of relative frequencies to their mean ( 50) identical value of DIN for words appearing in a target text only (!) 2 cf. Hofland Johansson (1982).

53 DIN coefficient Variation on the Sørensen Dice s coefficient 2 : DIN = 100 RelFq(Target) RelFq(Reference) RelFq(Target) + RelFq(Reference) values of DIN -100 (= when a word is present only in the RefC) 0 (= when a word occurs equally in target and RefC) 100 (= when a word is present only in the target corpus) represents the proportion of the difference of relative frequencies to their mean ( 50) identical value of DIN for words appearing in a target text only (!) useful for ranking of KWs (not for their identification!) 2 cf. Hofland Johansson (1982).

54 Example 1: Grammatical words Keywords from all Husák s New Year s Addresses All NYA (gram. words highlighted) Dice (rank) Log likelihood (rank) 1987 spoluobčané 1986 rozkvétala přičiňme střízlivým domovům vzkvétala pozdravuji vstupujeme 1983 drazí 1982 dařila udělejme přeji připomeneme dopady uplynulým xvii pokročili novoroční zamýšlíme zdravím pohodu pohodě svědomitou posíláme optimismem poděkovat xvi vzestupný opíráme generacím přikládáme kvalitněji spokojený vážení náročně vašim zdravíme uplynulý přátelé důvěrou opravňují nejspolehlivější rozvíjelo prožili tvořivá 1981 hodnotíme vzpomínat plodem nestraníků výhodnou nastávajícím rodinném vážené upevnili podporujeme přátele soudružky poctivou opravňuje spokojenost realisticky srdečně energičtěji přispěli nadcházejícím odvrácení díváme spokojenosti bratrskému přátelům odhodláním klademe efektivněji dialogu upřímně osvobozování udrželi uplynulého oceňujeme rozkvět prošli činorodé obětavá vykonanou začneme všestranná vážíme obětavé hrozby tvořivou připomněli vyvrcholení Úspěšně přejeme jdeme obav věříme spolehlivou mírový příslušníkům vstupu uvědomujeme hrdí školských dynamiku jistot osmé prahu usilujeme prostá chci uplynulém připomínat přáteli ústavech historickými spokojeně vykonali odhodláni konstruktivní občanům tužby vyspělou pramení jménem přáním osvobozenecký pozdravy hranicemi vůlí inteligenci pozitivních odpovědně přestavbě složitá rozloučili dobrým horečného měny důstojně rovnováhu jistoty slabá kontinentě bratrský rokem považujeme podíleli šťastného dějinné hladiny poctivé dovolte děkuji štěstí složitou Čechů vyspělost nadcházející náročné pevným překonávat šťastný zastupitelských rozdílným slováků národností vítěznou pozdravil spojenectví desetiletí katastrofy upřímné dnešním angažovanost samozřejmé kriticky zlepšovat úspěšný zdraví pozvednout složitost přesvědčeni spravedlnost rozkvětu budeme Československá vyžadovat naléhavé ženám tvořivé jaderné hrdosti konfrontace zasedáních osobním naléhavě hovoříme dařilo hrdostí progresivních důvěry našim příznivý životě rolníkům společenství minulého sborů rozvíjela ústředního překážek vám stručně mládeži mírového zhodnotil společným vlast přesvědčen soudružské bratrskými osvobozeneckého otevřela mírových důvěra dělníkům pevné podnětem abyste metra obětavou celkově překonávání spojenci urychlení drahé potvrdily náročný zmařit můžeme vlasti přestavby odzbrojení uplynulých úsecích fronty uskutečňovat mírovému varšavské zajistili výsledkům dosažené zřízením Československo reálné spojeno Československa dopravě úseků podílí nového obětavě užívání službách uvolňování prohlubovat udržet aktivně překonání prohlubování zápasu všestranný krizových nejvyšších vzájemně ekonomiku nemálo světě pokrokovým nezbytná starat úspěšného zničení zápas žít usilovat uspokojením čelit továrnách rok občany vrstev zdravotnických důraz částech kultuře náročných vyžadují dobré 1978 pokračoval významných blaho všestranného odkazu svazem příznivé našeho podporuje bratrské energetické hospodařit vstříc smyslem museli přispívat široká jaderných životních solidaritu těžkosti státy úspěchů srdce pokroku radost správě příštích dalšími říci důkaz zdůraznit soudruzi odkaz socialistického složitých napětí bratrských události rovnosti právem prospěchu zlepšování vědomím minulém občanů vnější zdrojem dosáhli víme zdravotnictví život zabezpečit mírovou stupních dobrou všem stupňů plnou loňském uskutečňování láskou hodně zápase soužití vás lidstvo lépe socialistickými zřízení nimiž národně naší správnou armádou duchovní dobrých novém pevnou letošním kupředu prosinci sovětským povinnosti lidu záměry chceme upevňování současných složek sociálních výsledky ovzduší náš vývojem našich abychom potřebám přínos potvrzují perspektivy odhodlání československého všestranné všude roku krok vůle pracovišti hmotné pětiletky generace zásluhou významné republika nezávislosti aktivita československé stavbách společenský otevřeně pokračovat rychleji životní nadále budoucnosti řešit dobrá xiv mezinárodních pracovat dobrý bezpečnost společný podporu světem pracovištích vlastenectví abych cestou věnovat jsme cesta mírové přání národní lepší úspěchy rostoucí rozvoji dalšího pozitivní našimi máme života naše milióny rozvíjet výsledků zbrojení pokrok státu našemu důsledně návrhy podmínkách volby vztazích dalším šesté komunistické oblastech školství veškeré zeměmi občané roce ozbrojených zajištění sovětskou zlepšení jednoty zachování úsilí zájmům úroveň dalších inteligence závěry každém socialistických vysoce mezinárodním jednou postup díky vysokou nedostatků materiální úspěšně vývoj evropě příští kterém úkoly vše socialistická plní pracujícího potřebné krize upevnění rozvoj cestu odpovídá postupu jaký dalšímu svým společné mezinárodní program naši musíme výročí národů spolupráce mnoho ekonomického cíle hospodářství možností úrovně politika států bezpečnosti plně velkou kterým lidstva nás společnosti vědeckých splnění celém zájmu nedostatky rozvoje prací přátelství práci znovu našem míru svobody cen socialistické spolupráci politice tvůrčí problémů postavení dále sjezd výboru spolu všech problémy úkolů národy sociální hospodářského organizací potřeb politiku společenské země nových orgánů velký lid celého růstu vztahy celé další i plnění síly lidí nám zasedání sovětského pracujících řešení sil politiky pracovní svou sjezdu proto aby let svazu práce všechny které pro si a to strany ve s našim vám abyste 1978 našeho vstříc všem vás nimiž naší náš našich abychom abych našimi naše našemu veškeré každém díky kterém vše jaký svým naši kterým nás našem všech i nám svou proto aby všechny které pro si a to ve s

55 Tools for KWAIj

56 KWords

57 KWords: analysed text

58 KWords: list of keywords Two types of prominent units: keywords and thematic concentration

59 Dispersion plot SOTU 2016: terrorism economy

60 Keyword links Keyword links according to the size of the window Distant KW Links = KWs appearing in distant context (-15;-5) and (5;15); these KW links indicate that the themes represented by these KWs may form a discourse-semantic network

61 Keyword links Keyword links according to the size of the window Distant KW Links = KWs appearing in distant context (-15;-5) and (5;15); these KW links indicate that the themes represented by these KWs may form a discourse-semantic network Immediate KW Links (multi-word KWs) = co-occurrence of two or more KWs within immediate or near context (-2;2); these adjacent KW may signal multi-word KW unit (e.g. American people, better politics)

62 Keyword links Keyword links according to the size of the window Distant KW Links = KWs appearing in distant context (-15;-5) and (5;15); these KW links indicate that the themes represented by these KWs may form a discourse-semantic network Immediate KW Links (multi-word KWs) = co-occurrence of two or more KWs within immediate or near context (-2;2); these adjacent KW may signal multi-word KW unit (e.g. American people, better politics) custom = arbitrary size of the span

63 isil qaeda bipartisan hardworking weaken folks terrorists americans terrorist voices strongest america planet stamp allies leadership democracy climate trends economy american harder retirement fellow businesses politics our elected al citizens nation jobs tonight congress vote everybody spirit agree workers families opportunity happen energy change security basic job nearly military believe we better us every future let everything states care lot country world want keep need work make who just year years people new

64 Comparison For comparing texts time series (SOTU)

65 State of the UnionIj

66 Obama s State of the Union Address Eight addresses ( ) Tokens Types Average length N = 7351 Average vocabulary V(N) = 1505 source: Reference corpus: British National Corpus (BNC)

67 Permanent KWs (Key KWs) KWs appearing in all eight addresses: america, american, americans, businesses, congress, country, economy, jobs, nation, tonight KWs appearing in six or seven addresses: energy, every, let, more, new, people, democrats, families, make, millions, republicans, tax, why

68 SOTU: Topics economy/politics

69 Reference corpus in KWAIj

70 Reference corpus in KWA What does reference corpus affect? size: bigger reference corpus more KWs

71 Reference corpus in KWA What does reference corpus affect? size: bigger reference corpus more KWs composition: different reference corpora represent different readers (conceptualized reader)

72 Reference corpus in KWA What does reference corpus affect? size: bigger reference corpus more KWs composition: different reference corpora represent different readers (conceptualized reader) balanced corpus general reader

73 Reference corpus in KWA What does reference corpus affect? size: bigger reference corpus more KWs composition: different reference corpora represent different readers (conceptualized reader) balanced corpus general reader specialized corpus specific reader (e.g. from the past, with specific background )

74 Different readers = different interpretations Contrastive KWA analysis different RefCs: interferences time, style, topic differences

75 Different readers = different interpretations Contrastive KWA analysis different RefCs: interferences time, style, topic differences New Year s Addresses of the last communist president of the Czechoslovakia Gustáv Husák ( )

76 Different readers = different interpretations Contrastive KWA analysis different RefCs: interferences time, style, topic differences New Year s Addresses of the last communist president of the Czechoslovakia Gustáv Husák ( ) contemporary reader (SYN2010) reader from the past (Totalita)

77 Different readers = different interpretations Contrastive KWA analysis different RefCs: interferences time, style, topic differences New Year s Addresses of the last communist president of the Czechoslovakia Gustáv Husák ( ) contemporary reader (SYN2010) reader from the past (Totalita) State of the Union addresses of Barack Obama ( )

78 Different readers = different interpretations Contrastive KWA analysis different RefCs: interferences time, style, topic differences New Year s Addresses of the last communist president of the Czechoslovakia Gustáv Husák ( ) contemporary reader (SYN2010) reader from the past (Totalita) State of the Union addresses of Barack Obama ( ) general reader (BNC) politician/expert (rest of Obama s speeches)

79 Husák: Influence of the reference corpora What happens if we compare texts to different RefCs? the inventory of KWs does not differ substantially

80 Husák: Influence of the reference corpora What happens if we compare texts to different RefCs? the inventory of KWs does not differ substantially the difference is in ranking (prominence of KWs DIN)

81 Husák: Influence of the reference corpora What happens if we compare texts to different RefCs? the inventory of KWs does not differ substantially the difference is in ranking (prominence of KWs DIN) Historical reader (Totalita) genre differences Modal verbs: want, can Verbs: 1. sg./pl.

82 Husák: Influence of the reference corpora What happens if we compare texts to different RefCs? the inventory of KWs does not differ substantially the difference is in ranking (prominence of KWs DIN) Historical reader (Totalita) genre differences Modal verbs: want, can Verbs: 1. sg./pl. Contemporary reader (SYN2010) connected with historical events ideology archaisms, historism

83 Detailed comparison 3 thematic groups Cold war: mír, míru, mírová, mírové, mírového, mírovému, mírovou, mírový, mírových, mírovými, mírumilovné, mírumilovných, mírumilovným; napětí; odzbrojení, výzbroje, zbrojení, zbrojením, ozbrojených Collective possession: náš, naše, našeho, našem, našemu, naši, naší, našich, našim, naším, našimi Ideo markers: socialismu, socialismus, socialistická, socialistické, socialistického, socialistickém, socialistickému, socialistickou, socialistický, socialistických, socialistickým, socialistickými; komunismu, komunisté, komunistů, ksč, komunistům, komunisty komunistická, komunistické, komunistickým

84 Cold war Cold War KWs in SYN KWA and TOT KWA DIN SYN KWA TOT KWA Year Fidler Cvrček (2015)

85 Collective possession KWs "our" in SYN KWA and TOT KWA DIN SYN KWA TOT KWA Year Fidler Cvrček (2015)

86 Ideological markers Ideological markers KWs in SYN KWA and TOT KWA DIN SYN KWA TOT KWA Year Fidler Cvrček (2015)

87 Reader from the past contemporary reader Totalita 1. style & genre: fellow citizens, friends 2. propaganda: blossom, succeed 3. 1st pers. sg. (greet, wish) SYN ideology-related: comrade(s), socialist, five-year plan 2. period-specific: brotherly, liberating, feverish, dutiful, imperialistic

88 Difference in sensitivity lines for both readers have similar tendencies

89 Difference in sensitivity lines for both readers have similar tendencies contemporary reader has higher overall level of prominence (DIN)

90 Difference in sensitivity lines for both readers have similar tendencies contemporary reader has higher overall level of prominence (DIN) tendencies are more visible for reader from the past

91 Difference in sensitivity lines for both readers have similar tendencies contemporary reader has higher overall level of prominence (DIN) tendencies are more visible for reader from the past contemporary reader cannot distinguish subtle changes (overwhelmed by unusual lexicon)

92 Difference in sensitivity lines for both readers have similar tendencies contemporary reader has higher overall level of prominence (DIN) tendencies are more visible for reader from the past contemporary reader cannot distinguish subtle changes (overwhelmed by unusual lexicon) astute reader from the past might notice slight shifts in the discourse

93 2015 SOTU: General vs. specialist s view Rank Keyword 1 rebekah 2 bipartisan 3 hardworking 4 loopholes 5 childcare 6 republicans 7 folks 8 veterans 9 diplomacy 10 striving 11 terrorists 12 americans 13 infrastructure 14 fastest 15 democrats Rank Keyword 1 ben 2 economics 3 childcare 4 rebekah 5 west 6 believed 7 striving 8 tools 9 sick 10 spread 11 write 12 paid 13 surely 14 issues 15 scientists

94 2015 SOTU: Differences Specialist s view: Rhetorics/style: believed, write, thing, tools Important topics: economics, leave, paid, childcare

95 2015 SOTU: Differences Specialist s view: Rhetorics/style: believed, write, thing, tools Important topics: economics, leave, paid, childcare General view: Political speeches: bipartisan, republicans, folks, veterans, diplomacy, terrorists, americans, infrastructure, democrats, combat, sanctions Topical words: hardworking, loopholes, childcare, striving, fastest

96 References Cvrček, V. Vondřička, P. (2013): KWords. FF UK. Praha. Available at: < Fidler, M. - Cvrček, V. (2015): A Data-Driven Analysis of Reader Viewpoints: Reconstructing the Historical Reader Using Keyword Analysis. Journal of Slavic Linguistics 23(2), (p ). Gabrielatos, C. Marchi, A. (2012): Keyness: appropriate metrics and practical issues. Paper presented at the CADS International Conference, Bologna, Italy, September 2012 ( Hofland, K. Johansson, S. (1982): Word frequencies in British and American English. Bergen: The Norwegian computing centre for the Humanities. Popescu, I. Altmann, G. (2006): Some Aspects of Word Frequencies. Glottometrics 13, (p ). Scott, M. Tribble, C. (2006): Textual patterns: Keyword and corpus analysis in language education. Amsterdam: Benjamins. Wierzbicka, A. (1997): Understanding cultures through their keywords. English, Russian, Polish, German, and Japanese. Oxford, New York: Oxford UP. Williams, R. (1976/85): Keywords: A vocabulary of culture and society. New York: Oxford UP.

97 Thank you for your attention!