Особенности мультимодального подхода к анализу поликодовых текстов
Поликодовость текстов – неотъемлемая часть становления и развития человеческой коммуникации. Её качественное изучение позволяет глубже познать процесс общения, кодирования и декодирование информации, а мультимодальный подход усиливает этот процесс.
Ключевые слова: поликодовость, поликодовые тексты, мультимодальность, мультимодальный подход, коммуникация
Коммуникация сегодня – сложный и многогранный процесс, который претерпел большую трансформацию за всю историю человечества. И главной его характеристикой сегодня будет являться поликодовость. А.Г. Сонин утверждает, что такие тексты «построены на соединении в едином графическом пространстве семиотически гетерогенных составляющих – вербального текста в устной или письменной форме, изображения, а также знаком иной природы» (Сонин 2005: 117). Т.В. Нестерова говорит о поликодовом тексте, как о том, в котором сообщение закодировано семиотически разнородными средствами – вербальными (языковые единицы разных уровней, тексты) и невербальными компонентами (мимика, жесты, рисунки, фотографии, схемы, эмблемы и т.д.), объединение которых представляет собой определённую структуру, характеризующуюся проявлением взаимосвязи этих составляющих как в содержательном, так и в формальном аспектах (Нестерова 2019: 213).
Поликодовые тексты, в силу своей природы, не могут рассматриваться однобоко (только с анализом одной сторон / одного источника коммуникации). Если же они рассматриваются именно так, значит, интерпретация коммуникации будет неполной и, что более вероятно, неверной. Поэтому в современном мире используется именно мультимодальный подход и анализ.
Прежде, чем использовать мультимодальный подход, нужно изучить контекст коммуникативной ситуации (Дегтева 2019: http://). Для этого предлагается задать 4 базовых вопроса:
1. От кого исходит информация?
2. Кто является реципиентом?
3. При каких обстоятельствах передается информация (какое коммуникативное полотно используют акторы)?
4. Какова длительность коммуникации.
Этот «преданализ» позволит выбрать наилучшие способы и инструменты уже непосредственно самого анализа и даст более полную картину. Также эти вопросы значительно облегчат проведение мультимодального анализа.
Основоположники мультимодальности как науки Т. ван Ливен и Г. Кресс в своих работах также рассуждали на тему мультимодального подхода в коммуникации. Они предложили несколько закономерностей в репрезентации и интерпретации отношений в контексте изображения (Цит. по Детинко 2017: 113). Первое, что нужно сделать, это задать вопрос «Как изображенные люди соотносятся с тем, кто смотрит на изображение?». Здесь авторы говорят о трёх измерениях:
● Социальная дистанция между изображенными и наблюдателем.
● Социальные отношения между изображенными и наблюдателями.
● Социальное взаимодействие между изображенными и наблюдателем.
Далее необходимо задать вопрос «Как изображены люди?». И уже затем, благодаря полученным данным, проводится сам анализ.
Примечательно, что, несмотря на то, что исследователи описывали этот процесс применительно именно к изображению, подобный мультимодальный подход можно использовать при анализе любого поликодового текста.
Эти же исследователи говорили о модусах, которые являются основополагающими элементами мультимодального подхода. Функциональные возможности таких модусов существенно различаются (Петрова 2008: http://). Их набор, вариативности, комбинации и акценты очень сильно влияют на протекание и, самое главное, исход коммуникации. Поэтому очень важно при анализе поликодовых текстов уделять внимание каждому используемому модусу и его роли в общей картине. Не стоит забывать, что рассматривание каждого модуса по отдельности – ошибка. К примеру, возьмём язык жестов, мимики. Если человек просто сидит/идёт и переводит взгляд с места на место – это обычное поведение скучающего человека (или же он что-то ищет). Если происходит межличностная коммуникация и при ответах на вопросы человек совершает те же действия, можно сделать вывод, что он нервничает. Поэтому важно рассматривать все модусы в совокупности и придавать значение лишь конечному результату анализа поликодового текста.
Говоря о мультимодальном подходе, нельзя не упомянуть о гипермодальности. Джей Лемке определял данный феномен как не просто комбинацию текста, картинки и звука, а комплекс имплицитных (скрытых) и эксплицитных (явных) взаимосвязей между ними (Lemke 2002: 305). На наш взгляд, это один из важнейших факторов в мультимодальном анализе, ведь именно правильно раскрытая и понятая взаимосвязь этих аспектов поможет понять сущность, цель и итог коммуникации, а также нацеленность созданного поликодового текста.
Развивая эту мысль, не стоит забывать о импликатурах в поликодовых текстах (когда человек зашифровывает скрытый смысл) (Нестерова 2019: 213). Например, адресант с помощью какого-либо поликодового текста транслирует свои побуждения и ждёт от адресата ответную реакцию. Такая коммуникация часто проявляется в интернет общении, но и в межличностом диалоге/полилоге она имеет место быть. Это является один из важнейших факторов, который важно учитывать при мультимодальном подходе.
Одним из таких поликодовых текстов являются трейлеры – «видеоролики, состоящие из наиболее зрелищных кадров кинофильма, смонтированные в единую композицию, используемую для его продвижения» (Глазова 2017: http://).
Стоит отметить, что вся визуальная часть не будет эффективной без должного музыкального сопровождения. Именно здесь трейлер начинает раскрывать как поликодовый текст, который задействует несколько каналов для влияния на аудиторию. Поэтому создатели фильмов всегда тщательно подходят к подбору композиторов для саундтреков. В трейлерах в моменты нагнетания и усиления эмоционального фона звуковое сопровождение также усиливается и заставляет зрителя переживать больше. В трейлерах к фильмам ужасов пугающая тишина, а затем резкий музыкальный взрыв – это то, что нужно целевой аудитории, любящей подобные фильмы. Качественное воздействие на аудиальный канал – половина успеха трейлера.
Продолжая развивать поликодовость, создатели, помимо визуальной и аудиальной составляющей, добавляют текст в разных форматах: титры, диалоги, монологи, закадровый голос и т.д. Аудитория, как известно, более лояльна к таким видам текстов и лучше воспринимает заложенный авторами смысл. Более того, совокупность всех этих составляющих вызывает чувство эстетического наслаждения, что заставляет зрителей не только посмотреть трейлер единожды, но и поделиться им со знакомыми и самостоятельно пересмотреть его (может и не раз).
Трейлеры можно назвать одними из самых ярких представителей поликодовых текстов, где задействуются все каналы коммуникации. И именно их совокупность (а не каждый канал по отдельности) оказывает положительный для создателей эффект на аудиторию.
Сегодня, в век высоких технологий, появляются новые способы мультимодального подхода: специально разработанный мультимодальный дискурс-анализ, системно-функциональные модели, созданные с помощью Adobe Premier 6.0, изучение контента видеохостинга YouTube и т.д. (Омельяненко 2018: http://). Мы уверены, что дальше таких способов и форматов будет только больше. Но даже сейчас некоторые авторы считают, что мультимодального подхода недостаточно (Кибрик 2010: 136), так как широта понимания поликодовых текстов невероятно большая. А значит, необходимо будет находить новые подходы в изучении поликодовости уже в ближайшем будущем.
__________________
Список литературы
Lemke J.L. Travels in Hypermodality. Visual Communications. Vol. 1. 2002. P. 299-325.
Глазова М.С., Савельева О.О. Трейлер: экранная реклама или минифильм? // Наука телевидения. – 2017. – Режим доступа: https://cyberleninka.ru/article/n/treyler-ekrannaya-reklama-ili-minifilm/viewer (Дата обращения: 07.08.2021).
Дегтева И.С. Дж. Бейтман, Дж. Уилдфер, Т. Хиппала. Мультимодальность. Базовые принципы, способы исследования и методы анализа. Проблемно-ориентированное введение // МЕТОД: Московский ежегодник трудов из обществоведческих дисциплин. 2019. №9. URL: https://cyberleninka.ru/article/n/dzh-beytman-dzh-uildfer-t-hippala-multimodalnost-bazovye-printsipy-sposoby-issledovaniya-i-metody-analiza-problemno-orientirovannoe (дата обращения: 15.11.2021).
Детинко Ю.И. Политическая коммуникация: опыт мультимодального и критического дискурс-анализа: монография. – Красноярск: Сиб. федер. ун-т, 2017. – 168 с.
Кибрик А.А. Мультимодальная лингвистика // Когнитивные исследования – IV. – М.: ИП РАН, 2010. – С. 134–152.
Нестерова Т.В. Поликодовый текст как способ коммуникации // Человек в информационном пространстве: сборник научных статей (Ярославль, 15–17 ноября 2018 г.) под общ. ред. Т.П. Курановой. – Ярославль: РИО ЯГПУ, 2019. – 447 с.
Омельяненко В.А., Ремчукова Е.Н. Поликодовые тексты в аспекте теории мультимодальности // Коммуникативные исследования. – 2018. – Режим доступа: https://cyberleninka.ru/article/n/polikodovye-teksty-v-aspekte-teorii-multimodalnosti/viewer (Дата обращения: 07.08.2021).
Петрова А.А. Мультимодальные аспекты исследования интеракции // Вести Вологодского государственного университета. – 2008. – Режим доступа: https://cyberleninka.ru/article/n/multimodalnye-aspekty-issledovaniya-interaktsii/viewer (Дата обращения: 07.08.2021).
Сонин А.Г., Мичурин Д.С. Эволюция поликодовых текстов: от воздействия к взаимодействию // Вопросы психолингвистики. – 2012. – Режим доступа: https://cyberleninka.ru/article/n/evolyutsiya-polikodovyh-tekstov-ot-vozdeystviya-k-vzaimodeystviyu/viewer (Дата обращения: 07.08.2021).
__________________
FEATURES OF THE MULTIMODAL APPROACH TO THE ANALYSIS OF POLYCODE TEXTS
The polycode nature of texts is an integral part of the formation and development of human communication. Its qualitative study allows us to learn more about the process of communication, encoding and decoding of information, and the multimodal approach enhances this process.
Keywords: polycode, polycode texts, multimodality, multimodal approach, communication