Úvod do kvantitativní lingvistiky. Radek Čech

Transkript

1 Úvod do kvantitativní lingvistiky Radek Čech

2 Historie KL G. K. Zipf ( ) PLK B. Trnka (problematika těsnopisu) M. Těšitelová a kol. G. Altmann, R. Köhler, L. Hřebíček

3 Místo KL v lingvistice cíle lingvistiky (obecně) metody lingvistiky (obecně) předmět lingvistiky (obecně)

4 Základní rysy KL cílem nikoliv popis (klasifikace) jednotek jazykového systému, ale vytvoření modelu, jehož vlastnosti jsou založeny na empiricky testovatelných hypotézách lingvistika jako experimentální věda

5 KL (teorie) verbální formulace hypotézy + operacionalizace matematická formalizace experiment matematické vyhodnocení experimentu lingvistická explanace

6 Kvantitativní lingvistika Co je teorie? Jak poznat, která teorie je lepší než jiná? Plyne něco z teorie? Lingvistické teorie?

8 Kvantitativní lingvistika Co je hypotéza? Formální vlastnosti hypotézy? Lingvistické hypotézy

9 Hypotéza v lingvistice V hláskosloví ani v jiných rovinách vodňanského herbáře nejsou prokazatelné další nářeční jevy z oblasti, kde nedošlo ke vzniku vibranty ř (východomoravské území), dáváme proto přednost hypotéze, že se jedná o nedbalý zápis (Černá 2005, s. 76); V nich se překlad Františka Vrby jeví jako silně zatížený mužským genderovým úhlem pohledu a estetikou vnímání; potvrzuje se tak původní hypotéza, že se spíše staví na stranu mužského hrdiny, resp. autorského tvůrce a erotické líčení prezentuje spíše z jeho perspektivy (Širokovská 2004, s. 23); Proč není samo slovo plémě ve staročeských textech doloženo v očekávaném významu, o tom lze vznášet různé hypotézy. (Šimandl 2007, s. 238); Hypotéza 2.1: Co-text je věrným zrcadlem (situačního) kontextu v tom smyslu, že všechny pro danou komunikační situaci relevantní kontextové vlastnosti jsou cotextem explicitně reflektovány, a mají tedy nějaký textový korelát. ( ) Hypotéza 2.2: (Textový) kontext věrně reflektuje všechny vlastnosti jazykových jevů relevantní pro jejich užití. (Cvrček 2013, s. 24) ; Vycházeje z toho, že teorie valence i přes zjevná slabá místa představuje dobrý konstrukt lingvistické teorie, pokusím se nyní představit hypotézu modifikované valenční teorie (MVT) a formulovat základní principy této teorie. (Karlík 2001, s. 171n).

10 Od popisu k hypotéze předpokládaný vztah mezi dvěma vlastnostmi = působení mechanismu zaměříme-li na vztahy mezi vlastnostmi, překračujeme hranice popisu jednotek směrem k odhalování toho, proč jsou sledované vlastnosti oněch jednotek takové, jaké jsou nástrojem analýzy tohoto typu je empiricky testovatelná hypotéza

11 Hypotéza hypotéza (Greis 2009, s. 11) tvrzení, které se týká více než jednoho jevu či případu; má alespoň implicitně strukturu podmínkového souvětí, tj. jestliže, pak, případně čím, tím (např. čím je slovo frekventovanější, tím je kratší); je falzifikovatelné (tj. vyvratitelné) prostřednictvím experimentu, který dovoluje rozhodnout, zda predikce formulovaná prostřednictvím hypotézy je vyvrácena, či ne (vyhodnocení se většinou experimentu pomocí statistických testů).

12 Hypotéza která tvrzení jsou/nejsou testovatelnými hypotézami? 1. hodně mužů má pleš 2. pokud se v knize vyskytují biblický příběh, je to apokryf 3. jestli se zavedou řidičáky na zkoušku, může se snížit nehodovost mladých řidičů a řidiček 4. muži mají častěji pleš než ženy 5. jestliže se je sloveso dokonavé, častěji se na něj váže přímý akuzativní předmět než na sloveso nedokonavé 6. ženy jsou citlivé 7. čím je slovo frekventovanější, tím je větší jeho polysémie 8. jestli se zavedou řidičáky na zkoušku, sníží se nehodovost mladých řidičů a řidiček 9. nářečí často ovlivňují podobu mluveného jazyka obyvatel dané nářeční oblasti

14 Operacionalizace vs. klasifikace Způsoby klasifikace jevů V(A) = V(B), nebo V(A) V(B) V(A) > V(B), nebo V(A) = V(B), nebo V(A) < V(B) V(A) V(B) = d

15 Operacionalizace vs. klasifikace Způsoby klasifikace jevů V(A) = V(B), nebo V(A) V(B) V = substantivum: dům = stůl; dům spát V(A) > V(B), nebo V(A) = V(B), nebo V(A) < V(B) V(A) V(B) = d

16 Operacionalizace vs. klasifikace Způsoby klasifikace jevů V(A) = V(B), nebo V(A) V(B) V = substantivum: dům = stůl; dům spát V(A) > V(B), nebo V(A) = V(B), nebo V(A) < V(B) V = synt. objekt: Vidím Marii > Myslím na Marii > Dívám se na Marii > > Zabil Marii sekyrou V(A) V(B) = d

17 Operacionalizace vs. klasifikace Způsoby klasifikace jevů V(A) = V(B), nebo V(A) V(B) V = substantivum: dům = stůl; dům spát V(A) > V(B), nebo V(A) = V(B), nebo V(A) < V(B) V = synt. objekt: Vidím Marii > Myslím na Marii > Dívám se na Marii > > Zabil Marii sekyrou V(A) V(B) = d V = délka slova (ve slabikách): Trojanovice vs. Ostrava: 5 3 = 2 Trojanovice vs. Praha: 5 2 = 3 Trojanovice vs. Malenovice: 5 5 = 0

18 Operacionalizace vs. klasifikace už pouhá kvantifikace klasifikace přináší hlubší pohled na dané jevy srov. korpusová lingvistika

19 Operacionalizace je třeba jasně a jednoznačně definovat proměnné, mezi kterými se předpokládá závislost H: čím je slovo frekventovanější, tím je polysémnější v čem může být problém?

20 Operacionalizace je třeba jasně a jednoznačně definovat proměnné, mezi kterými se předpokládá závislost H: čím je slovo frekventovanější, tím je polysémnější frekvence: je třeba jasně uvést co se myslí slovem jak se budou počítat frekvence polysémie: je třeba uvést jak se bude polysémie kvantifikovat

21 Operacionalizace H: ženy mají větší pasivní slovní zásobu než muži problém?

22 Operacionalizace H: ženy mají větší pasivní slovní zásobu než muži jak definovat pasivní slovní zásobu?

23 Operacionalizace špatná operacionalizace znehodnocuje celou analýzu H: subjekt je v češtině v průměru delší než objekt Muž v triku veze naše dopisy pokuste se formulovat některé problémy s určováním délky

24 Operacionalizace špatná operacionalizace znehodnocuje celou analýzu H: subjekt je v češtině v průměru delší než objekt Muž v triku veze naše dopisy některé problémy s určováním délky: rozvitý vs. nerozvitý subjekt/objekt? počet slov? počet slabik? počet morfémů? je neslabičná předložka samostatným slovem? způsob měření ovlivňuje podobu výsledku!!!

26 Kvantitativní lingvistika Matematická formalizace vyjádření sledovaných vlastností čísly např. frekvenční distribuce, vztah mezi dvěma vlastnostmi atp.

27 Matematická formalizace hypotéza čím více morfo-fonetických změn se v daném tvaru slova projevuje (vzhledem k nominativu), tím nižší je jeho frekvence

28 Matematická formalizace zdůvodnění Minimisation of producing, encoding, memory effort (speaker) Minimisation of decoding, (hearer) the conserving effect of token frequency

29 Matematická formalizace počet změn f

31 Co je experiment? Experiment

32 Experimentální přístup výhody replikovatelnost pokud testujeme stejnou hypotézu na různých jazycích můžeme dospět k jazykovému zákonu vyvrácení hypotézy nemusí vždy znamenat neplatnost celé hypotézy, ale jen odhalení tzv. hraničních podmínek intersubjektivita nevýhody redukcionismus specifické nároky (technické prostředky, aplikace statistiky atp.), se kterými se běžně školený lingvista musí vyrovnat

34 Kvantitativní lingvistika Matematické vyhodnocení experimentu náhoda vs. mechanismus statistický test

35 Statistické testy významnosti testuje se pravděpodobnost toho, zda je pozorovaná závislost způsobena náhodou, či ne hod mincí (100x) pokud padne 50x panna a 50x orel, nepředpokládá se, že by někdo podváděl pokud padne 52x panna a 48x orel, nepředpokládá se, že by někdo podváděl padne-li však 98x panna, dá se předpokládat, že někdo podvádí a co když padne panna 59x nebo 60x nebo 61x nebo 62x?

36 Statistické testy významnosti dá se spočítat (srov. např. Greis 2010, s. 33nn), že pokud padne panna 61x, tak je větší než 95procentní pravděpodobnost, že jeden z hráčů podvádí jinými slovy: pravděpodobnost, že budeme neoprávněně tvrdit, že jeden z hráčů nepodvádí, je menší než 5procentní

37 Statistické testy významnosti porovnávají se dvě hypotézy nulová hypotéza: tvrzení, které obvykle deklaruje žádný rozdíl, tj. nalezený rozdíl je dán variablitou dat, náhodou (např. mince není falešná; mezi formou jazyka a četností užívaní bychom/bysme není rozdíl) alternativní hypotéza: situace, kdy nulová hypotéza neplatí, tj. mezi proměnnými se předpokládá závislost; důležité je přitom nějaké teoretické zdůvodnění

38 Statistické testy významnosti hladina významnosti pravděpodobnost, že se zamítne nulová hypotéza, ačkoliv ona platí obvykle 5 % (0,05) nebo 1 % (0,01)

39 Chí-kvadrát test dobré shody příklad: předpokládáme, že v románech se bude častěji používat nespisovná varianta slova bychom než v publicistických textech proměnnými jsou: a) typ textu; b) varianta slova H 0 : mezi typem textu a používáním nespisovné varianty slova bychom není žádný vztah H 1 : mezi typem textu a používáním nespisovné varianty slova bychom je vztah, tj. tato forma se častěji vyskytuje v próze

40 Chí-kvadrát test dobré shody SYN2005nov (romány) SYN2005pub (publicistika) bychom bysme % bysme 13,6 0,6 SYN2005nov (romány) SYN2005col (povídky) bychom bysme % bysme 13,6 8,2

41 Chí-kvadrát test dobré shody SYN2005nov (romány) SYN2005pub (publicistika) bychom bysme % bysme 13,6 0,6 p = 0, SYN2005nov (romány) SYN2005col (povídky) bychom bysme % bysme 13,6 8,2

42 Chí-kvadrát test dobré shody SYN2005nov (romány) SYN2005pub (publicistika) bychom bysme % bysme 13,6 0,6 p = 0, SYN2005nov (romány) SYN2005col (povídky) bychom bysme % bysme 13,6 8,2 p = 0,

43 Statistické testy významnosti někteří lingvisté (vesměs korpusoví) jsou přesvědčeni, že čím více dat máme k dispozici, tím lépe Sinclair: The more, the better! z hlediska použitelnosti statistických testů to však neplatí, srov. Rietvield T. et al.: Pitfalls in Corpus Research. Computers and the Humanities 38: , 2004.

44 Statistické testy významnosti romány novely Σ % novely konstrukce A ,09% konstrukce B ,93% Σ chi^2 = 5.43, p=0,020

46 Kvantitativní lingvistika popis vs. interpretace vs. explanace

47

48

49 Kvantitativní lingvistika International Quantitative Linguistics Association ( časopisy: Journal of Quantitative Linguistics ( e=njql20#.uytfjfl5om4) Glottotheory ( Glottometrics ( knižní řady Quantitative Linguistics (de Gruyter) Studies in Quantitative Linguistics (RAM-Verlag)

50 Kvantitativní lingvistika

51 Kariéra kvantitativního lingvisty