Multimodalita jako možnost pro gramatiku procesuálního typu. Martin Janečka Katedra obecné lingvistiky

Transkript

1 Multimodalita jako možnost pro gramatiku procesuálního typu Martin Janečka Katedra obecné lingvistiky

2 OSNOVA 1) diskuse M. Komárek Kořenský R. Čech 2) procesuální gramatika 3) tradiční popis gramatických jednotek a MAL 4) (systém) neverbální komunikace 5) multimodalita

3 1) Prolog: diskuse M. Komárek Kořenský R. Čech Strukturalismus dichotomické pojetí jazyka jazykový kód (langue) realizující se v konkrétních řečových aktech. Opuštění tohoto modelu a vnímání jazyka monisticky jako neustále sebevytvářejícího se procesu (Kořenský, 2003); jediná realita je množství řečových aktů. Čech (2005) je nutné na L-P (dichotomické) pojetí jazyka rezignovat, nedaří se totiž (Komárkovi) vymezit povahu kódu (langue) a zejména možnosti jeho poznání. Výsledkem tohoto přístupu je rezignace na pojem kódu (langue). Lingvistické teorie aproximativní modely popisující pouze vynořující se pravidelnosti. Ambice našeho poznání se zmenšují adekvátnější a obhájitelnější O jaký typ gramatiky/gramatického přístupu ale jde?

4 2) Procesuální gramatika Proces = řečová činnost jako sémiotické reagování je uskutečňování znakových vztahů mezi jistými fyzikálními kvalitami zvukové/grafické povahy a substrukturami objektivní reality. (SaS 1987, K procesuálnímu modelování řečové činnosti, s. 177). Předpokadem jsou zejména audiovizuální záznamy mluvené, tedy hlavně spontánní komunikace s možností okamžitých audiovizuálních zpracování. Obsahová stránka řečové činnosti výzkum univerzálních sémantických a pragmatických faktorů přirozeně řečového sémiotického reagování, tzn. obsahových hodnot, jež nejsou identifikovatelné standardními výrazovými prostředky (tamtéž, s. 178). Potřeba vypracovat analytické algoritmizované procedury interdisc. charakteru (tamtéž, s. 179) ke zkoumání reálných dat v max. autentické podobě (srov. i Kořenský 2003, s. 6).

5 2) procesuální gramatika Vliv Systemic-Functional Grammar M.A.K.Hallidaye; Hopperova emergentní gramatika obdobné závěry jako v českém prostředí Kořenský: Gramatika vyvstává přirozeně z užívání jazyka v komunikaci; Reálnost dat (ne abstraktní formy a pravidla); Zájem o význam ve společenském životě; Jazyk = sociálně sémiotický systém, neboli zdroj významu mezi mnoha konstantně se měnícími kontexty lidské komunikace; Používat přirozená data, ne konstruovaná! Structure can only be seen as emergent if forms are examined in their naturally occurring contexts. (Hopper 1998, s. 165).

6 3) tradičnípopis gramatických jednotek a MAL Novějšílexikostatistickévýzkumy pracují, resp. musejípracovat s přepisem mluveného textu, jelikožgrafika disponuje mnoha prvky, kteréjsou na jazyce nezávislé, jsou povahy arbitrární. Přepisy slovních interakcízprostředkujístěžívíc nežobsah řeči. Většina analogového materiálu (hlasitost, rychlost, pauzy a všechny další neverbálníprojevy) zůstáváv onom přepisu nezachycena (např. Watzlawick 2011, s. 73).

7 4) Systém neverbální komunikace R. Birdwhistell Vypadá přirozeně, že význam v interakci nesou slova (nebo slova plus gramatika) a že všechno další chování jsou buď nějaké modifikátory, vyjádření individuálních osobnostních rozdílů jednotlivých participantů (a tedy negeneralizovatelné) nebo jen nepodstatné a nezáměrné zvuky (hluk atd.). Nahlížení komunikace jakožto naprosto uspořádaného a kontinuálního systému je pro většinu z nás něco nepřijatelného. Přemýšlíme o komunikaci jako o centrálně verbální centrálně kognitivní a centrálně záměrné (intenční) a jen sekundárně jako o ovlivněné defekty, tj. jinými modalitami interakce. Není žádným překvapením, že konstrukce, se kterými ve výzkumu určitého jevu pracujeme, budou zrcadlit tuto strukturu konvenční reality. Takové popisy nebudou ve finální analýze poskytovat modely, které přispívají k popisu komunikační struktury Nemohou být považovány za popisně korektní jednoduše proto, že jsou populární (Birdwhistell 1970, zejm. s. 87 a 88).

8 4) Systém neverbální komunikace Birdwhistell: kinémy (fonémy figury), kinemorfy a kinemorfickékomplexy (pohybovébloky při pozičních kompozicích). Gramatiky gest (mimiky)? Jen metafora, jelikož materiálu analogové komunikace schází hodně spojovacích prvků, na kterých je založena morfologie a syntax digitálního jazyka (Watzlawick 2011, s. 99). [V]erbal and nonverbal activity is a unified whole, and theory and methodology should be organized to describe it as such. (Pike 1967, s. 26)

9 5) Multimodalita Satelitní vidění jazyka paralelní k vidění planety Země ze satelitních fotek jako jedné z mnoha planet. Multimodalita překonává vidění (verb.) jazyka jako jediného modu vyjadřování a odhaluje tak to, o čem jsme věděli již dříve, ale co jsme byli schopni celou dobu ignorovat že je nutné vše uvažovat jako celek (Kress 2010, s. 10n.).

10 Multimodální korpusy Vysoce empirický výzkum; Anotované multimodální korpusy; Přirozenákomunikačnísituace, (klasické) filmy ne, max. dokumenty; tzv. face tracking, 3 D modelovánítváře, simulace lidského pohybu, další 3D rekonstrukce. KIPP, M. MARTIN, J. C. PAGGIO, P. HEYLEN, D. (2009) The Nottingham Multi-Modal Corpus

11 Závěr(y) I. Současné výzkumy (např. Fricke, 2012) ukazují, že zkoumat neverbální projevy je nutné také/zejména při konstruování gramatik daného jazyka, jelikož některé konstrukce jsou nedílně spjaty s některými druhy neverbálních projevů (návaznost na TMA) jedině komplexní popis dané kom. struktury/konstrukce je adekvátní

12 FRICKE (2012) Na příkladu nominálních skupin ukazuje, že gesta spadajíjak do syntaktického, tak do sémantického pojmosloví a že mohou (gesta) modifikovat jádrové substantivum nominální skupiny. Gesta mohou substituovat konstituenty nominálních skupin (mohou se vtěchto pozicích gramatikalizovat!) a že je skrze vyřčený kontext ovlivňována SPECIFIČNOST UTVÁŘENÍ substituujícího gesta.

13 Prolog: závěr(y) II. Metodologický lapsus 20. století: od de Sausura se propaguje nutnost zkoumat jazyk mluvený zejména formalismus (Chomsky etc.) kde jsou prostředky neverbální povahy? Např. elidování klitik se při nominalizaci učit se učení; možnosti pohybu volného kondicionálového morfu korpusy ČNK typu SYN, resp. ORAL pro mluvenost (dojem autentičnosti). Pokud nás ale zajímá význam v procesu komunikace ( smysl v textu ), pak korpusy psaného jazyka nemohou naši potřebu zákonitě uspokojit a ani korpusy mluveného jazyka! Potřeba konstruovat (derivovat) gramatiky podle toho, co se reálně děje s jazykem v procesu komunikace multimodální korpusy: nejvýhodnější a nejadekvátnější materiál pro takovéto postupy.

14 REFERENCE BIRDWHISTELL, R. L. (1970): Kinesics and Context. Essays on Body Motion Communication. University of Pennsylvania Press, Philadelphia. ČECH, R. (2005): Komunikace versus systém, nebo komunikace versus model? Slovo a slovesnost, 66, 3, s FRICKE, H. (2012): Grammatik multimodal: Wie Wörter und Gesten zusammenwirken. De Gruyter, Berlin. HALLIDAY, M.A.K. (2003). On Language and Linguistics. Continuum International Publishing, London- New York HOPPER, P. (1998). Emergent Grammar. In: M. Tomasello (ed.), The New Psychology of Language. Mahwah, N.J.: Lawrence Erlbaum Associates, Publishers, s KIPP, M. MARTIN, J. C. PAGGIO, P. HEYLEN, D. (2009) (eds.): Multimodal Corpora. From Models of Natural Interaction to Systems and Applications. Springer-Verlag, Berlin Heidelberg. KOŘENSKÝ, J. (1987): K procesuálnímu modelování řečové činnosti. Slovo a slovesnost, 40, s KOŘENSKÝ, J. (2003): Procesuální gramatika v kontextu současných tendencí lingvistického myšlení. Slovo a slovesnost, 64, s KRESS, G. (2010): Multimodality: a social semiotic approach to contemporary communication. Routledge, London. PIKE, K. L. (1967): Language in Relation to a Unified Theory of the Structure of Human Behaviour. Mouton, Hague WATZLAWICK, P. (2011): Pragmatika lidské komunikace: interakční vzorce, patologie a paradoxy. Newton Books, Brno.

15 Děkuji za pozornost!