Bateman i in. (2017) uznają multimodalność procesów poznawczych za niezaprzeczalne zjawisko. Jednak termin „multimodalność” jest wieloznaczny; w myśl proponowanego tutaj podejścia termin ten odnosi się do dwu odmiennych, choć powiązanych (sparowanych) ze sobą zjawisk: multisensoryczności (percepcja) i polisemiotyczności (komunikacja).
Podczas spotkania przybliżę problematykę multimodalności z perspektywy semiotyki kognitywnej, dziedziny badającej procesy tworzenia znaczeń (meaning-making) w aktywnościach podmiotów poznawczych. W szczególności, semiotyka kognitywna bada zjawisko polisemiotycznej komunikacji rozumianej jako wykorzystywanie różnych zasobów semiotycznych (semiotic resources) i systemów semiotycznych (semiotic systems) w procesie komunikowania. W rozważaniach nad polisemiotycznością szczególną rolę odgrywa język – traktowany jako paradygmatyczny przykład systemu semiotycznego (Zlatev i in. 2020). Jednakże ludzka komunikacja obejmuje znacznie więcej niż tylko język: w rzeczywistych sytuacjach komunikacyjnych język stanowi jeden z elementów bardziej złożonego systemu polisemiotycznego – mowa jest zintegrowana w kilkoma innymi ucieleśnionymi aktywnościami jak: postawa ciała, ruchy głowy, mimika, spojrzenie czy wreszcie gesty. Takie pozajęzykowe zasoby (systemy?) semiotyczne zyskują na znaczeniu w kontekście „podejścia ucieleśnionego” w badaniach nad poznaniem i komunikacją.
Idee polisemiotyczności i ucieleśnienia komunikacji przedstawię na przykładzie dwojakiego rodzaju badań. Pierwszy z nich obejmuje badania nad tzw. gestykulacjami (gesticulations, Kendon 1988) określanymi również jako spontaniczna gestykulacja (McNeill 1992; Müller 2018): mowie towarzyszą spontanicznie wykonywane gesty – globalne, syntetyczne i holistyczne które nie są wyraźnie planowane ani monitorowane (Quaeghebeur et al. 2014).
Ucieleśnienie i polisemiotyczność komunikacji językowej ujawniają się również w badaniach Mondady (2016) nad postawą cielesną i ruchem ciała; całe „chodzące ciała” (walking bodies) są skoordynowane z aktywnością werbalną podmiotu w akcie komunikacji, jednocześnie aktywność cielesna i mowa okazują się wzajemnie od siebie zależne.
Wyniki powyższych badań sugerują, że język wraz z ucieleśnionymi zasobami semiotycznymi można traktować w badaniach jak jeden, szerszy, polisemiotyczny system komunikacji. W konsekwencji, prezentację zakończą metodologiczne wskazówki związane z empirycznymi badaniami nad polisemiotycznymi systemami komunikacji.
Bibliografia
- Bateman, J., Wildfeuer, J. & Hiippala, T. (2017). Multimodality. Foundations, Research and Analysis. A Problem-Oriented Introduction. Berlin: De Gruyter Mouton.
- Kendon, A. (1988). How gestures can become like words. In F. Poyatos (Ed.), Cross-cultural perspectives in nonverbal communication (pp. 131–141). Hogrefe & Huber Publishers.
- McNeill, D. (1992). Hand and Mind: What Gestures Reveal About Thought. Chicago: University of Chicago Press.
- Mondada, L. (2016). Challenges of multimodality: Language and the body in social interaction. Journal of Sociolinguistics 20 (3), 336-366.
- Müller, C. (2018). Gesture and Sign: Cataclysmic Break or Dynamic Relations? Frontiers in Psychology 9:1651.
- Quaeghebeur, L., Duncan, S., Gallagher, S., Cole, J. & McNeill, D. (2014). Aproprioception, gesture, and cognitive being. In: Müller, C. Cienki, A. Fricke, E. Ladewig, S.H. McNeill, D. & Teßendorf, S. (eds.) Body – Language – Communication (HSK 38.2), (pp. 2048-2061). De Gruyter-Mouton.
- Zlatev, J., Żywiczyński, P. & Wacewicz, S. (2020). Pantomime as the original human-specific communicative system. Journal of Language Evolution 5(2), 156–174.