在话语分析理论如火如荼的发展中，人们发现单纯从语言的角度已经不能对话语进行深入全面的分析和研究，因为话语的意义中的一大部分是由非语言因素体现的，如伴语言特征：音响度、声调、语调、音速等，身体特征：手势、身势、面部表情、动作、移动等，非身体特征：PPT、音响设备、网络、实验室、周围的环境因素等。在这种情况下，交际不再是利用一种感官进行，如说话是听觉，书写是视觉，盲文是触觉等，而是用两种或者多种感官同时进行，如用PPT上课则是视觉与听觉同时进行的；模拟与讲解则是听觉、视觉和触觉同时进行的。以这种交际方式产生的话语就是多模态话语。
那么多模态话语是怎么产生的呢？
感知模态的产生
生命科学的研究成果告诉我们,生命体在演化过程中逐步获得视觉、听觉、嗅觉、味觉、触觉等5种不同的感知通道( sensory channel) :
(1)靠眼睛获得的视觉通道( visual channel) ;
(2)靠耳朵获得的听觉通道( auditive channel) ;
(3)靠皮肤获得的触觉通道( tactile channel) ;
(4)靠鼻子获得的嗅觉通道( olfactory channel) ;
(5)靠舌头获得的味觉通道( gustatory channel) 。
这些通道是生命体与周围环境进行信息交换的界面和路径。在残酷的物竞天择面前,这些感知通道能否相互作用,对周围的一切作出迅速而有效的反应,直接影响生命体的生存和繁衍。生物学家们认为,上述5种感知渠道的获得分别导致以下5种交际模态的产生:视觉模态( visual modality) 、听觉模态( auditive modality) 、触觉模态( tactile modality) 、嗅觉模态( olfacotry modality) 和味觉模态( gustatory modality) 。
在上述模态中,与话语分析关系最紧密的是视觉模态和听觉模态。近年来,由于科学技术的发展,触觉模态、嗅觉模态和味觉模态也开始用于话语交际。这里仅以触觉模态为例,随着数据手套( dataglove)的问世,人们可以依靠传递手指的弯曲角度,打出各种各样的三维手势,把语言和手势结合起来,从而使人机对话更加接近于自然的人际对话。
小贴士：
媒介：语言交际所使用的技术（technology）
模态：交流的渠道和媒介，包括语言、技术、图像、颜色、音乐等符号系统。
我们该如何识别多模态话语？
第一条标准是看涉及的模态种类有多少,这是当前语言学界普遍认可的标准。只使用一种模态的话语叫做“单模态话语”(multimodal discourse) ,如使用听觉模态收听新闻广播或使用视觉模态阅读小说。同时使用两种或两种以上模态的话语叫做“多模态话语”(multimodal discourse) ,也有人把同时使用两种模态的话语叫做“双模态话语”( bimodal discourse) 。同时使用两种模态的例子有使用可视电话进行交际时,交际双方都需要用耳朵听对方的讲话内容,用眼睛看对方的表情变化和手势变化。同时使用三种或三种以上模态的例子很多。
在日常生活中,我们使用手机交流时,需要用耳朵听,用嘴讲,用笔写信息,用手发信息;电脑上网时,需要用眼睛看屏幕上显示的文字和图象,用耳朵听文字的录音和图象发出的声音,在技术允许的条件下还可以用鼻子闻到电脑里发出的某种气味。技术含量更高的是美ATT贝尔实验室设计的HuMaNet系统,这个系统能使异地客户召开会议时同时获得声音、文字、数据和图象。
第二条标准是看涉及的符号系统有多少。有些话语虽然只涉及一种模态,但包含两个或两个以上的符号系统,如连环画虽然只涉及视觉模态,但既有文字又有图画;广播小说虽然只涉及听觉模态,但既有文字内容又有背景音乐。我们也把这些话语看作是多模态话语。(至于手势语、面部表情和身势语等副语言(paralanguage) ,我们既可以把它们看作语言,也可以看作另一种模态。）
多模态话语分析的理论基础
多模态话语的最合适的理论模式是系统功能语言学理论，因为它不需要为适应新的目的而对理论框架本身进行改造。虽然多模态话语分析似乎扩大了它的研究范围，但系统功能语言学理论本身不需要做任何改动就可以直接作为其理论框架。这个框架主要由五个层面的系统组成(Martin, 1992)。这五个层面分别是：
(1) 文化层面，包括作为文化的主要存在形式的意识形态和作为话语模式的选择潜势的体裁或者称体裁结构潜势。
(2) 语境层面，包括由话语范围、话语基调和话语方式组成的语境构型。
(3) 意义层面，包括由几个部分组成的话语意义及概念意义、人际意义和谋篇意义。
(4) 形式层面，实现意义的不同形式系统，包括语言的词汇语法系统，视觉性的表意形体和视觉语法系统，听觉性的表意形体和听觉语法系统，触觉性的表意形体和触觉语法系统等以及各个模态的语法之间的关系，分为互补性的和非互补性的两大类。互补性包括强化和非强化两类；非互补包括内包、交叠、增减、情景交互。
(5) 媒体层面，是话语最终在物质世界表现的物质形式，包括语言的和非语言的两大类。语言的包括纯语言的和伴语言的两类；非语言的包括身体性的和非身体性的两类。身体性的包括面部表情、手势、身势和动作等因素；非身体性的包括工具性的，如PPT、实验室、网络平台、实物(投影)、音响、同声传译室等。
下面我们按照从下到上的顺序分别进行探讨，即首先探讨媒体层面可以实现意义的媒体形式，然后探讨在形式层面可以实现的意义的模态及其之间的关系，接着探讨多模态话语分析的综合框架，最后初步探讨多模态话语语法系统的特点。
多模态话语的媒体系统
语言媒体
从传统的语言学研究的角度讲， 实现意义传播的媒体形式主要有两种：声波传导的声音符号和由笔等生成的书写符号。这两种媒体是语言传播信息的主要媒介。但随着信息技术的不断发展，其他技术开始用于语言信息的传播，如计算机文字输入、计算机语音识别等，但最后的传播媒体仍然是声音或者字符。
伴随语言的媒体形式对语言意义的传递起到辅助、补充和强化的作用，包括音响、声音的大小、音调、声音的频率、口音、语气以及字体形状、大小、空间的布局等。这些伴随语言的媒体特征对意义整体的表达起着十分重要的作用，有时是关键作用，因为它可以引起整体意义的改变。
非语言媒体
表达意义的非语言媒体包括交际者的身体动作和交际者在意义表达中所使用的非语言手段，如工具、环境等。交际者肢体的动作可以分为三个类别：
(1) 与头部有关的动作，包括眼神、挤眼、凝视、摇头、点头、仰头、低头、欢喜的表情、伤心的表情、嫉恨的表情、凝重的表情、大笑、龇牙咧嘴以及鼻子和耳朵的动作形成的媒体符号等。
(2) 由手臂和腿形成的媒体符号，包括手势，手臂的状态、形成的形状、摇动等，腿的并立、踢跳、弯伸等。
(3) 躯干的动作，如姿势、移动、摇摆、模拟等。非肢体媒体主要包括工具和环境两个方面。
随着现代科学技术的发展，交际者肢体以外的交际媒体变得十分发达。从起初的音响设备到现在的网络平台、同声传译室等都是工具性媒体。除此之外，交际者还可以利用环境中已有的任何相关因素来进行交际，包括现场环境中的人和物、有象征意义的符号等。
参考文献：
多模态话语分析的理论基础与研究方法[A], 朱永生, 外语学刊, 2007年, 第5期
多模态话语分析综合理论框架探索[A], 张德禄, 中国外语, 2009年, 第1期
来源：语言文化探索
热点推荐