Multimodalita jako možnost pro gramatiku procesuálního typu Martin Janečka Katedra obecné lingvistiky martin.janecka@upol.cz
OSNOVA 1) diskuse M. Komárek Kořenský R. Čech 2) procesuální gramatika 3) tradiční popis gramatických jednotek a MAL 4) (systém) neverbální komunikace 5) multimodalita
1) Prolog: diskuse M. Komárek Kořenský R. Čech Strukturalismus dichotomické pojetí jazyka jazykový kód (langue) realizující se v konkrétních řečových aktech. Opuštění tohoto modelu a vnímání jazyka monisticky jako neustále sebevytvářejícího se procesu (Kořenský, 2003); jediná realita je množství řečových aktů. Čech (2005) je nutné na L-P (dichotomické) pojetí jazyka rezignovat, nedaří se totiž (Komárkovi) vymezit povahu kódu (langue) a zejména možnosti jeho poznání. Výsledkem tohoto přístupu je rezignace na pojem kódu (langue). Lingvistické teorie aproximativní modely popisující pouze vynořující se pravidelnosti. Ambice našeho poznání se zmenšují adekvátnější a obhájitelnější. O jaký typ gramatiky/gramatického přístupu ale jde?
2) Procesuální gramatika Proces = řečová činnost jako sémiotické reagování je uskutečňování znakových vztahů mezi jistými fyzikálními kvalitami zvukové/grafické povahy a substrukturami objektivní reality. (SaS 1987, K procesuálnímu modelování řečové činnosti, s. 177). Předpokladem jsou zejména audiovizuální záznamy mluvené, tedy hlavně spontánní komunikace s možností okamžitých audiovizuálních zpracování. Obsahová stránka řečové činnosti výzkum univerzálních sémantických a pragmatických faktorů přirozeně řečového sémiotického reagování, tzn. obsahových hodnot, jež nejsou identifikovatelné standardními výrazovými prostředky (tamtéž, s. 178). Potřeba vypracovat analytické algoritmizované procedury interdisc. charakteru (tamtéž, s. 179) ke zkoumání reálných dat v max. autentické podobě (srov. i Kořenský 2003, s. 6).
2) procesuální gramatika Systemic-Functional Grammar M.A.K.Hallidaye; Hopperova emergentní gramatika obdobné závěry jako v českém prostředí Kořenský: Gramatika vyvstává přirozeně z užívání jazyka v komunikaci; Reálnost dat (ne abstraktní formy a pravidla); Zájem o význam ve společenském životě; Jazyk = sociálně-sémiotický systém, neboli zdroj významu mezi mnoha konstantně se měnícími kontexty lidské komunikace; Používat přirozená data, ne konstruovaná! Structure can only be seen as emergent if forms are examined in their naturally occurring contexts. (Hopper 1998, s. 165).
3) tradičnípopis gramatických jednotek a MAL Ústup psaných k. preference mluvených k. Novější lexikostatistické výzkumy pracují, resp. musejí pracovat s přepisem mluveného textu, jelikož grafika disponuje mnoha prvky, které jsou na jazyce nezávislé, jsou povahy arbitrární. Přepisy slovních interakcí zprostředkují stěží víc než obsah řeči. Většina analogového materiálu (hlasitost, rychlost, pauzy a všechny další neverbální projevy) zůstává v onom přepisu nezachycena (např. Watzlawick 2011, s. 73).
4) Systém neverbální komunikace R. Birdwhistell Nahlížení neverbální komunikace jakožto naprosto uspořádaného a kontinuálního systému je pro většinu z nás něco nepřijatelného. Přemýšlíme o komunikaci jako o centrálně verbální a centrálně záměrné (intenční) a jen sekundárně jako o ovlivněné defekty, tj. jinými modalitami interakce. Není žádným překvapením, že konstrukce, se kterými ve výzkumu určitého jevu pracujeme, budou zrcadlit tuto strukturu konvenční reality. Takové popisy nebudou ve finální analýze poskytovat modely, které přispívají k popisu komunikační struktury. Nemohou být považovány za popisně korektní jednoduše proto, že jsou populární (Birdwhistell 1970, zejm. s. 87 a 88).
4) Systém neverbální komunikace Birdwhistell: kinémy (fonémy figury), kinemorfy (morfémy) a kinemorfické komplexy (pohybové bloky při pozičních kompozicích). Gramatiky gest (mimiky)? jen metafora, jelikož materiálu analogové komunikace schází hodně spojovacích prvků, na kterých je založena morfologie a syntax digitálního jazyka (Watzlawick 2011, s. 99). [V]erbal and nonverbal activity is a unified whole, and theory and methodology should be organized to describe it as such. (Pike 1967, s. 26)
5) Multimodalita = inovativní přístup ke komunikaci, reprezentaci a interakci, který skrze zvuky, obrazy a různé typy nonverbální komunikace zkoumá procesy, které se dějí za jazykem/řečí, a to proto, aby ukázal mnohost způsobů lidské komunikace. Jewitt, C. (2011): The Routledge Handbook of Multimodal Analysis. Routledge, London New York.
5) Multimodalita Satelitní vidění jazyka paralelní k vidění planety Země ze satelitních fotek jako jedné z mnoha planet. Multimodalita překonává vidění (verb.) jazyka jako jediného modu vyjadřování a odhaluje tak to, o čem jsme věděli již dříve, ale co jsme byli schopni celou dobu ignorovat že je nutné vše uvažovat jako celek (Kress 2010, s. 10n.).
Multimodální korpusy Vysoce empirický výzkum; Anotované multimodální korpusy; Přirozená komunikační situace, (klasické) filmy ne, max. dokumenty; tzv. face tracking, 3 D modelování tváře, simulace lidského pohybu, další 3D rekonstrukce. KIPP, M. MARTIN, J. C. PAGGIO, P. HEYLEN, D. (2009): Multimodal Corpora. From Models of Natural Interaction to Systems and Applications. The Nottingham Multi-Modal Corpus
Závěr(y) I. Současné výzkumy (např. Fricke, 2012) ukazují, že zkoumat neverbální projevy je nutné také/zejména při konstruování gramatik daného jazyka, jelikož některé konstrukce jsou nedílně spjaty s některými druhy neverbálních projevů (návaznost na TMA) jedině komplexní popis dané kom. struktury/konstrukce je adekvátní.
FRICKE (2012) Na příkladu nominálních skupin ukazuje, že gesta spadají jak do oblasti syntaxe, tak do sémantiky, a že mohou (gesta) např. modifikovat nebo substituovat konstituenty nominálních skupin (mohou se v těchto pozicích gramatikalizovat!)
Prolog: závěr(y) II. Metodologický lapsus 20. století: od de Sausura se propaguje nutnost zkoumat jazyk mluvený zejména formalismus (Chomsky etc.) avšak bez prostředků neverbální povahy! Např. elidování klitik se při nominalizaci učit se učení; možnosti pohybu volného kondicionálového morfu korpusy ČNK typu SYN, resp. ORAL pro mluvenost (dojem autentičnosti). Pokud nás zajímá význam v procesu komunikace ( smysl v textu ), pak korpusy psaného jazyka nemohou naši potřebu zákonitě uspokojit a ani korpusy mluveného jazyka! Potřeba konstruovat (derivovat) gramatiky podle toho, co se reálně děje s jazykem v procesu komunikace multimodální korpusy: nejvýhodnější a nejadekvátnější materiál pro takovéto postupy.
Otázky a odpovědi Lingvistické přístupy založené na datech x lingvistické přístupy založené na teorii: je možno je INTEGROVAT? JE TO NUTNÉ!!! Diachronní data x teoretické/metodologické přístupy synchronní lingvistiky: je možno je KOMBINOVAT? Gramatikalizace v Meilletově smyslu (l attribution du caractère grammatical à un mot jadis autonome) x pragmatikalizace (a jiné -izace): mohou spolu KOOPEROVAT?
REFERENCE BIRDWHISTELL, R. L. (1970): Kinesics and Context. Essays on Body Motion Communication. University of Pennsylvania Press, Philadelphia. ČECH, R. (2005): Komunikace versus systém, nebo komunikace versus model? Slovo a slovesnost, 66, 3, s. 176-180. FRICKE, H. (2012): Grammatik multimodal: Wie Wörter und Gesten zusammenwirken. De Gruyter, Berlin. HALLIDAY, M.A.K. (2003). On Language and Linguistics. Continuum International Publishing, London- New York HOPPER, P. (1998). Emergent Grammar. In: M. Tomasello (ed.), The New Psychology of Language. Mahwah, N.J.: Lawrence Erlbaum Associates, Publishers, s. 155-175. KIPP, M. MARTIN, J. C. PAGGIO, P. HEYLEN, D. (2009) (eds.): Multimodal Corpora. From Models of Natural Interaction to Systems and Applications. Springer-Verlag, Berlin Heidelberg. KOŘENSKÝ, J. (1987): K procesuálnímu modelování řečové činnosti.slovo a slovesnost, 40, s. 187-189. KOŘENSKÝ, J. (2003): Procesuální gramatika v kontextu současných tendencí lingvistického myšlení. Slovo a slovesnost, 64, s. 1 7. KRESS, G. (2010): Multimodality: a social semiotic approach to contemporary communication. Routledge, London. PIKE, K. L. (1967): Language in Relation to a Unified Theory of the Structure of Human Behaviour. Mouton, Hague WATZLAWICK, P. (2011): Pragmatika lidskékomunikace:interakčnívzorce, patologie a paradoxy. Newton Books, Brno.
Děkuji za pozornost!