Frekvence Korelační analýza Jazykové zákony

Transkript

1 Frekvence Korelační analýza Jazykové zákony EVJA miroslavkubat.webnode.cz

2 Tematické okruhy ke zkoušce Empirický výzkum v jazykovědě. Kvantitativní a kvalitativní metody. Vzorek a populace. Testování vědeckých hypotéz. Statistické testy. Distribuce a rozdělení. Vizualizace dat. Jazykové jednotky. Frekvenční charakteristiky. Reliabilita a validita výzkumu. Jazykové teorie a zákony. Lingvistický software I. Lingvistický software II.

3 Zkouška Základní literatura Přednášky (miroslavkubat.webnode.cz) Znalost českých pracovišť a aktuálního výzkumu (QL.webnode) Orientace v softwaru a zdrojích dat (QL.webnode)

4 Zkouška Písemný test 20 otázek Min. 14 správných odpovědí

5 Literatura ke zkoušce ČECH, R. - POPESCU, I. I. - ALTMANN, G.: Metody kvantitativní analýzy (nejen) básnických textů. Olomouc: UP, CHROMÝ, J.: Práce s empirickými daty. Praha: Karolinum, TĚŠITELOVÁ, M.: Kvantitativní lingvistika. Praha: SPN, TĚŠITELOVÁ, M.: Otázky lexikální statistiky. Praha: Academia, VOLÍN, J.: Statistické metody ve fonetickém výzkumu. Praha: Epocha, WIMMER, G. - ALTMANN, G. - HŘEBÍČEK, L. - ONDREJOVIČ, S. - WIMMEROVÁ, S.: Úvod do analýzy textov. Bratislava: Veda, 2003.

6 Frekvence (četnost) Absolutní Relativní

7 Frekvence (četnost) Rank Absolutní frekvence Relativní frekvence

8 Rank (pořadí) rank = pořadí dle frekvence, přičemž každá hodnota odpovídá pouze jedné frekvenci, počítá se tedy jen hodnota frekvence, nikoli kvalita jednotky, hodnota ranku je tedy vždy stejná nebo nižší než hodnota pořadí pořadí = hodnota, která určuje pořadí dle absolutní frekvence, přičemž se nepřihlíží k tomu, má-li více jednotek stejnou frekvenci

9 Rank (pořadí) Pořadí Absolutní frekvence Rank Absolutní frekvence Rank Absolutní frekvence

10 Frekvenční struktura textu (Rank-Frequency Distribution) V QL nejčastěji pracujeme s frekvencemi a rankem (pořadím) různých jednotek, typicky slov (slovní tvary, lemmata).

11 f Rank-frequency Distribution r

12 Type-Token Relation

13 Type-Token Ratio TTR = V N V počet typů N počet tokenů Interpretace? Slovní bohatství Informační tok Morfologická komplexita

14 TTR délka textu (N)

15 Vocabulary Richness MATTR A text is divided into the overlapped subtexts of the same length. TTR is computed for every subtext. MATTR is defined as a mean of particular values. MATTR L = σ i=1 N L V i L(N L + 1) L arbitrarily chosen length of a window, L < N N text length in tokens V i number of types in an individual window

16 Vocabulary Richness MATTR a, b, c, a, a, d, f a, b, c b, c, a c, a, a a, a, d a, d, f MATTR 3 = σ i=1 N L V i L(N L + 1) = ( ) = 0.87 L=3 N=7 V i number of types in an individual window

17 MATTR délka textu

18 Intervaly hodnot TTR = V N = = 1 TTR = V N = =0.01 R = V N = = 10 R = V N = = 0.1 V počet typů = 1, 100 N počet tokenů = 100

19 Vizualizace dat Tabulky Grafy Bodové Sloupcové Spojnicové Dendrogramy Sítě

20 Grafy Vždy popisky os Při porovnávání více grafů je důležitá stejná škála

21 TTR Bodový graf délka textu (N)

22 MATTR Sloupcový graf cestopis sloupek povídka román dopis báseň studie pohádka

23 Histogram Histogram je grafické znázornění distribuce dat pomocí sloupcového grafu. Výška sloupců vyjadřuje četnost sledované veličiny v daném intervalu.

24 MWTTR Spojnicový graf délka textu (N)

25 Dendrogram

26 Síť

27 Jazykové jednotky Tradiční ( přirozené ) Netradiční ( umělé ) Všechny jednotky jsou jen konstrukty, které nám umožňují nějakým způsobem uvažovat o jazyce a zkoumat jej.

28 Jazykové jednotky N-gramy Délkové motivy Větné agregáty (hreby)

29 N-gramy N-gram = sled po sobě jdoucích jednotek o stanovené délce n V lingvistice nejčastěji bigramy a trigramy slov a grafémů Klasifikace textů Toto je text. => To ot to o_ _j je e_ _t te ex xt t.

30 Délkové motivy (L-motivy) Sekvence neklesajících (stejných nebo větších) délek zvolených jednotek. Délka je měřena v arbitrárně zvolených jednotkách. Např. délka slov počítaná ve slabikách. Do lingvistiky zavedl Reinhard Köhler. Různé modifikace, např. nestoupající délky (opak původních motivů).

31 Délkové motivy (L-motivy) Motivy délky jsou lingvistické jednotky, které se chovají stejně jako jiné jednotky.

32 Hreb (agregát, sémantický konstrukt) Agregát byl Hřebíčkem definován jako nakupení vět, skupina vět daného textu s určitou lexikální jednotkou. Hreb je jazyková jednotka odkazující ke stejné entitě

33 Data Velké korpusy (ČNK, BNC, ) Městská knihovna v Praze ( Česká elektronická knihovna - Poezie 19. a počátku 20. století (1700 básnických knih, Repozitář LINDAT ( Projekt Guntenberg ( Brown Corpus (americká AJ 60. let, 1 mil. slov) Chinese Text Project (

34 Software Textové editory (PSPad, Notepad++, Poznámkový blok) Textové procesory (Word, Writer, WordPad) Správa e-knih (Calibre) Korpusové manažery (Bonito, AntConc) Text processing (tokenizace, lemmatizace, morfologické značky, např. NLTK, Majka, FSMTokenizer)

35 Software Textové editory (PSPad, Notepad++, Poznámkový blok) Textové procesory (Word, Writer, WordPad) Správa e-knih (Calibre) Korpusové manažery (Bonito, AntConc) Text processing (tokenizace, lemmatizace, morfologické značky, např. NLTK, Majka, FSMTokenizer) Tabulkové procesory (Excel, Calc) Statistické programy (R, Statistica) Speciální programy (QUITA, WordSmith) Programy pro vizualizaci dat (Pajek, Gephi)

36 Korelace

37 Korelace neimplikuje kauzalitu Prodej zmrzliny koreluje s útoky žraloků Střelba na amerických školách koreluje s hraním PC her

38 Korelační analýza Znázorňuje statistickou závislost dvou kvantitativních veličin (měří vzájemný vztah dvou proměnných). Dvě proměnné jsou korelované, jestliže určité hodnoty jedné proměnné mají tendenci se vyskytovat společně s určitými hodnotami druhé proměnné.

39 Korelační koeficienty Vlastnosti korelačního koeficientu r: Označujeme r R -1,1 R = 0 nezávislost R = 1 přímá závislost R = -1 nepřímá závislost

40 Pearsonův korelační koeficient Měří statistickou závislost u lineárních dat (je parametrický) Korelační koeficient je velmi ovlivněn odlehlými hodnotami Korelační koeficient se počítá pomocí směrodatných odchylek obou proměnných a jejich kovariance (kovariance = míra vzájemné vazby mezi veličinami) R = σ (x i ҧ x)(y തy) σ(x i x) ҧ 2 σ(y i തy) 2

41 Koeficient determinace Vyjadřuje podíl, jakým je rozptyl závislé proměnné veličiny vysvětlen změnami nezávisle proměnné Obvykle se vyjádřen v procentech Druhá mocnina R Interval <0; 1>

42 Kendallův korelační koeficient τ Neparametrický test Rozdíl mezi pravděpodobností, že hodnoty dvou proměnných jsou ve stejném pořadí, a pravděpodobností, že ve stejném pořadí nejsou Interval <0; 1>

43 Kendallův korelační koeficient τ = P Q n(n 1) 2 P = počet konkordancí Q = počet diskordancí n = počet pozorování.

44 Jazykové zákony

45 Princip nejmenšího úsilí George Kingsley Zipf ( ). Snaha snížit fyzickou a mentální námahu při verbalizaci a dekódování textu. Force of unification (tlak unifikace): mluvčí by v ideálním případě používal pouze jediné slovo, které by zastupovalo všechny možné významy. Force of diversification (tlak diverzifikace): Pro adresáta by byl ideální takový slovník mluvčího, který by pro každý význam obsahoval vlastní unikátní slovo.

46 První Zipfův zákon r f = c r rank f frekvence c konstanta Tendence po ustavení rovnováhy mezi počtem slov v jazyce (rozrůzněnost jazyka) a jejich frekvencí (jazyková ekonomie). Každý text obsahuje velmi malý počet slov frekventovaných a většinu slov málo frekventovaných.

47

48 První Zipfův zákon Slovo s největší četností se vyskytuje v textu dvakrát častěji než druhé nejčastější slovo, třikrát častěji než třetí, čtyřikrát častěji než čtvrté. Nejrozšířenější řečí na zemi (čínštinou) hovoří dvojnásobně tolik lidí než druhou nejčastější (hindštinou), třikrát tolik jako třetí nejrozšířenější (angličtinou) a čtyřikrát tolik jako čtvrtou nejrozšířenější (španělštinou). Německý týdeník s největším nákladem (Bild am Sonntag) má dvojnásobný náklad než druhý nejsilnější týdeník (Das Beste) a třikrát větší než třetí nejsilnější (Stern) a čtyřikrát větší než čtvrtý nejsilnější (Focus).

49 Druhý Zipfův zákon a f = c a...počet slov s frekvencí f c...konstana Čím vyšší frekvenční hladinu zkoumáme, tím méně slov na ní najdeme.

50 Třetí Zipfův zákon m f = c m počet významů slova o frekvenci f c konstanta Slova s nejvyšší frekvencí bývají často polysémní (mají více významů), zatímco slova z nižších frekvenčních pásem mají často jen jeden význam.

51 Menzerathův-Altmannův zákon 1928 Paul Menzerath Vztah mezi délkou slova a délkou slabiky Čím delší je slovo, tím kratší je průměrná délka slabiky 1980 Gabriel Altmann Zobecnil platnost pro vztah hierarchicky sousedících jednotek Čím delší je konstrukt, tím kratší jsou jeho konstituenty Věta klauze slovo slabika hláska Věta klauze slovo morfém foném

52 Menzerathův-Altmannův zákon Čím delší je v jazyce nějaký konstrukt, tím kratší jsou v průměru jeho konstituenty. y délka konstintuentu x délka konstruktu A, b parametry y = Ax -b

53 Menzerathův-Altmannův zákon Testován na mnoha jazycích Testovány různé úrovně včetně nadvětných Aplikace na DNA Funguje jen v jednotlivých přirozených textech

54 Význam MAL Obecný mechanismus řídící naše jazykové chování Pokud jde o obecný mechanismus, můžeme jej použít jako kritérium pro segmentaci jazykových jednotek

55 Interpretace MAL Princip nejmenšího úsilí Pokud použiju delší tvar, je výhodnější jej poskládat z menších částí PA-DÁM PA-DÁ-ME Pokud je tato strategie výhodná, postupně se uplatní v celém systému

56 Interpretace MAL The Register Hypothesis (R. Köhler) Registr = nástroj zpracování jazyka (krátkodobá paměť) Registr má omezenou kapacitu Čím delší je konstrukt, tím víc informací registr zpracovává => tím menší kapacita zbývá pro komponenty (konstituenty)

57 Aplikace MAL v gramatických jevech Např. negace, vid, stupňování Např. negované sloveso se bude vyskytovat v kratších klauzích, protože je o slabiku delší (jsem x nejsem)