第三节 信息论及其相关理论

信息论是研究信息的本质，并用数学方法研究信息的计量、传递、变换和储存的一门学科。它发端于20世纪20年代，成熟于20世纪40年代。1948年，申农在《贝尔系统技术杂志》上发表的《通信数学理论》一文，被认为是本学科诞生的标志。在论文中，申农第一次从理论上阐明了信源、信宿、信道和编码等有关通讯方面的一些基本问题，创立了通信系统的模式，并以精确的数学概念提出了信息量的计算公式。这一研究成果实现了与申农同时代并且也致力于相关问题研究的学者们（如维纳、韦弗、布里渊等），力图将信息理论从物理学、工程学和数学的研究中独立出来组成一个单一的理论的梦想，从而使信息理论不仅对电子、通讯科学具有应用价值，也广泛适用于行为和社会科学。

一、信息论的研究内容

信息论的任务是用概率论和数理统计方法研究信息的度量、传递和变换规律，特别是研究通讯和控制系统中普遍存在的信息活动的共同规律，包括如何达成信息获取、度量、变换和传递的最佳效果，如何保证其准确性和可靠性等。因而，所涉及的内容主要包括以下几个方面。

（一）分析信息的本质属性及其特征

信息是什么？至今中外学术界仍争论不休。信息是物质的，还是精神的，抑或是一种能量？有学者认为，信息是既非物质亦非能量的“第三态”。与此同时，信息与传播的关系是什么，信息与讯息是否有区别，信息的载体形式和符号传递如何等，均成为信息论要科学界定和阐释的基本问题。

（二）信息的变换和传递

信息论把编码－译码、调制－解调作为信息变换和传递的途径。编码－译码是符号信息之间的符号转换，调制－解调是便于信息传递、接收的手段。所谓编码，就是把信息转化为适合于传播和保存，便于信息接收者接纳和理解的各种符号，比如语言、文学、图像等。它是信源提供者（传者）“如何传情达意的一个创作过程，也是信息符号化的制作过程”。所谓译码，是指信息接收者把符号重新还原为信息，以便接收者能够识别、进行有效的使用。需要指出的是，从“编码”向“译码”流动的符号群，严格意义上讲，往往仅是一种物态的讯息，即现实环境中实际存在的信号。这些信号所包含的意义，只有经过“译码”的转换作用才能被呈现出来。当个体不需要或不能破译某些信息时，这些信号对于个体而言就仍然还停留在讯息状态；如果个体有选择地注意到某些信号，又进一步去理解、判断、记忆或遗忘它们，这类经过一系列译码转换的信号，对受众个体而言，就是信息（如图2－7所示）。因此，讯息是各种信号（如消息、情报、指令、数据、科研成果和资料）的载体或具体的表现形式；信息是讯息接触者对这些载体（符号群）排除了“不确定因素”之后，从中提炼出自己需要的那部分内容。

调制是指利用物理规律对声音、图像等信息进行转换，以达到便于传输，特别是远距离传输的目的。解调是指把调制信号恢复成原有形式的转换。在通信设备和自动机中大量进行着这种调制和解调工作。在传播学领域，则主要是对编码－译码的研究。

（三）进行信息的度量

在信息论中，度量信息的基本出发点是把信息作为用来消除“不确定性”的东西。信息数量的大小用消除“不确定性”的多少来表示，而事物的“不确定性”的多少，则用概论函数来描述。申农提出的下列计算公式就是对信息进行度量的科学工具：

H：每个讯息的平均信息量；k：波尔兹曼常数；Pi：先验概率；比特：以z为底的对数时信息单位。如果用文字表述上面的公式，即信息量等于可能性选择的概率的对数。

用这种定量分析的方法对信息的属性和运动规律进行研究的信息论提出一个重要的观点：信息“所涉及的，不全在于你说什么，更在于你能说什么”。这使人们对信息的理解能够从一个全新的角度——借自热力学的一个相关概念“熵”开始。

熵即无规则，或者说情境中组织（系统中的相互依存关系）的缺乏。一个完全是熵的情境是无法预测的。

熵是一个变量，你所面临的大多数情境是可以做出部分预测的。如乌云笼罩天空，你会预测天要下雨，而且你可能是对的。因为气候是一个有组织的系统，因此存在某些可能的关系（如云和雨）。但你不可能对下雨做出完全的预测，因为有某些不确定性。比如，2003年春季的“伊拉克战争”。在这场战争打响之前，人们一直认为战争是可以通过某些政治途径避免的。因为根据“冷战”时期国际社会已经基本认可的游戏规则，我们可以对当时正在酝酿的战争风云进行预测。但战争打响之后，情境中不确定性增大，尤其是美英联军攻占巴格达以后，人们开始对战争的下一阶段和未来国际关系的变化感到难以预测了。总之，熵越多，组织性（相互依赖性）和可预测性就越少。

信息是什么呢？信息论认为，信息是对环境中不确定性或熵的测定。不确定性越大，可能的信息量就越大。所以，信息就是为减少环境中的不确定性所需要的信号数量。如“9·11”事件引发的后续事件追踪报道，新闻的价值就在于及时提供“变动中的事实”，以满足公众排除环境中不确定因素的信息需求。当一个情境是可以完全预测时，那就无所谓信息了。这种情形被叫作“负熵”。例如，你的朋友将要投掷硬币（刺激），它会是正面向上还是反面向上呢？你不能确定，你无法预测。这一不确定性在看到投币结果（信号）后就消失了。但如果结果是“定好了的”，那么对你而言，“投币”的结果因没有不确定性，亦即没有信息了。所以，一个你完全熟悉的环境对你来说就等于没有信息。

信息还可以被认为是一个人预测情境的结果时所拥有的选择方案的数目。由于任何预测（决策）都会有或正或负的结果，人们为了避祸求福，总是有选择地寻找足够多的方案。这就增加了信息量，在情境中为自己赢得更多的选择机会。从这个意义上讲，信息量也就是人们所拥有的自由选择讯息的度量。

接下来，我们将看到信息的另一面，那同样是信息论的重要构成部分，这就是有关“冗余”和“噪音”的概念和相关的研究。所谓冗余，指环境中“可预测性”的东西，是相对于熵的功能，是对确定性的测定。例如观看电视连续剧，受众对收看的时间和内容是可以预测的，非选择性的，因而是冗余的。“冗余”的存在，使受者在接收信息的过程中具有两个方面的能动性：一是当所传信息出现缺失或错误时，受众可以自行填补或纠正，如阅读一份寄自恋人的却因水渍而字迹模糊的情书，或看一部盗版武侠小说时的情形，受众用于填补和纠正的信息，我们称之为“冗余信息”。二是受众可以用“冗余信息”去抵消传播渠道中的“噪音”。所谓噪音，是指传播过程中一切对正常信息传递的干扰，其中包括传递发射器本身出现故障和外界的干扰，比如传播者的口误或印刷媒体的错别字。一旦噪音出现，受众就会利用经验（冗余信息）去自动校正。当噪音越多，尤其是来自外界的对抗性的言论越多，受众就越注意主渠道中那些一再被强调或复述讯息中的关键内容（冗余信息）。这样一来，在一个单位时间内所能接触的有效信息——受众第一次接触的讯息——就减少了，但社会文化规范却有望得以形成和巩固。因此，对传播者而言，冗余信息的使用常常与传播功能的效力体现联系在一起，要想发挥传播活动的正功能作用，就必须在有效信息和冗余信息之间取得平衡。

（四）重视信息方法

所谓信息方法，就是运用信息的观点，把系统看作借助于信息的获取、传送、加工、处理而实现其有目的性的运动的一种研究方法。它的特点是用信息概念作为分析和处理问题的基础，完全撇开对象的具体运动形态，仅仅从可能出现的概率变化来研究事物运动、变化过程并找出其内在联系，把系统的有目的的运动抽象为一个信息变换过程，从整体出发，研究事物与外界环境之间、输出和输入之间的关系。信息方法揭示了机器、生物有机体和社会不同物质运动形态之间的信息联系，对过去难以理解的现象做出科学说明，是促使科学整体化的重要手段。

二、语言和信息

人们使用语言时，总是一个字母跟着一个字母，一个词跟着一个词，一句话跟着一句话线性地一一道来。无论是“深思熟虑”而后言，还是“脱口而出”，都会按照约定俗成的结构或语法规则来表达。例如在英语中，形容词后跟名词的概率很高，字母“q”后总跟字母“u”，这使得英语句子的总体排列是有规律的，是可以做出部分预测的。同时，接受者的解码过程也变得简单容易，因为情境中出现了冗余度较高，熵相对较低，信息量较少的必然性结果。但语言的“分离性”（结构、内容的转换）和“任意性”（譬如现在汉语中对“秀”“靓”等词语的运用。我们常常听说某某在“作秀”，这个“秀”其实是从英文“show”取音而来的）又会增加其不确定性。

我们很清楚也早已接受了这样的观点：语言既是思维的工具，又是交际的工具，它可以用来表达思想感情，描述各种事物和事件。但语言与信息的关系究竟是什么呢？信息论认为语言是传递信息的载体。这种载体可以是人体自身，也可以是现代的通信技术和各类CMC（以电脑为媒介的传播）硬件或软件设备。前者主要生成言语形成系统，后者则构成稳定的、规则的、可以被独立出来进行分析的语言处理系统，比如情报检查系统、编辑照排系统（包括新闻通讯网）、程序教学和计算机辅助教学设备、自动翻译和计算机辅助翻译设备、文字的模式识别等。信息是语言的内容，它决定语言的意义和张力，世界上既没有无“信息”的语言，也没有不“言语”的信息，两者相互依存，不可分割。承认这一点，也就承认了：凡是有“信息”处，必有“语言”；反之亦然。

三、信息的存在方式

在哲学视野中，信息是事物（物质和能量）的存在方式（运动状态）以及对这种方式（状态）的直接或间接的表述。“信息总是处在一定的流动状态下，以极强的渗透力冲破种种非自然的束缚，通过多种渠道和传输手段向外扩散着。”譬如，“鸟语”“花香”是一种生物信息的存在方式；“电闪”“雷鸣”是一种物理信息的运动状态；“你言”“我语”是人类社会信息的传输过程。它们无时不在，无处不在，普遍存在于整个自然生态中，信息论抛开有关信息意义的探讨而专注于人类社会信息的传输与接收研究，对今天的电子媒介传播而言，显得尤为重要。在申农－韦弗传播技术模式（图2－8）中，我们会发现媒介传播中的硬件设备及其使用技术是十分重要的制约因素。

在这一模式中，信息来源由不断聚合的等待选择或准备传输的符号（包含一切可传递和交换的知识类的消息、情报、指令、数据或各种可视性图像等）组成。发射机把这些符号转换（编码）成适合于传输的信号，然后通过一个波道传递至接收器，接收器把收到的信号再转换（译码）成讯息（迅速报道新闻事实的一种新闻体裁）。申农、韦弗的传播技术模式可应用于多情境。比如表2－1对媒介传播和人际传播所进行的结构差异比较分析。

这一模式不仅可以用来分析大众传播过程的技术性问题，也可以分析人际传播的物质构成因素，并为我们比较出这两类传播结构上的差异。

在一个电视节目的传受过程中，传播人（信源）使用发射机的行为也就是一个讯息的编码过程。它以信号的形式经由电波（波道）传送至电视机（接收器），这是一个将信号还原为讯息的译码环节，最后到达受众那里。在这个过程中，讯息收到编码、波道、译码三个环节的干扰，其中，“波道”所产生的噪音还具有“有效信息”和“冗余信息”两种构成成分。有效信息是指讯息中新鲜而具有吸引力的部分，冗余信息指被强调和复述的关键性部分。不容忽视的是，信息中的冗余部分对噪音有校正作用，可以帮助信息接收者填补丢失和被歪曲的数据和句子的意思。例如，读一封被雨水淋湿的字迹变得模糊的情书时，收信人可以凭借与写信人的“心心相印”去体验和连接那些因雨水浸渍而变得残缺的话语。

限制传输准确性的另一个因素是波道容量。所谓波道容量，指在一定时间里（如每秒）一个波道能传输的最大信息量。如果“通过量”大于波道的容量，失真就会产生。

那么，怎样才能实现有效传输呢？我们可以尝试：

（1）以不会超过波道容量的最高速度进行编码。

（2）使用代码时有充分的冗余以校正波道中出现的噪音。

一个反面的极端例子就是：不少读者对金庸小说图书盗版版本的“噪音”的高容忍度。当然，冗余过量，传输效果会出现负值；冗余出现太少，传输的准确度又会偏低。