《信源和信息熵》PPT课件.ppt

第二章 信源和信息熵,2.1 信源的数学模型及分类 2.2 离散信源的信息熵 2.3 离散平稳信源的熵 2.4 连续信源的熵,2.1 信源的数学模型及分类,通信系统模型及信息传输模型：,,一、离散无记忆信源,例：扔一颗质地均匀的正方体骰子，研究其下落后，朝上一面的点数每次试验结果必然是1点、2点、3点、4点、5点、6点中的某一个面朝上每次试验只随机出现其中一种消息，不可能出现这个集合以外的消息，考察此事件信源的数学模型 解：数学模型为： 且满足：,离散信源：信源输出是单一符号的消息，其符号集 的取值是有限的或可数的 无记忆：不同的信源输出消息之间相互独立 一维离散信源数学模型就是离散型的概率空间： 且满足：,连续信源：信源输出数据取值是连续的，但又是随机 的，即可能出现的消息数是不可数的无限 值数学模型是连续型的概率空间： 且满足：,,X的概率 密度函数,,,实数集（，）,,随机矢量：信源输出的消息是按一定概率选取的符号 序列用N维随机矢量X描述： X（x1，x2， xN） 其中：N维随机矢量X也称为随机序列（过程） 平稳随机序列：序列的统计性质与时间的推移无关。

二、信源分类 （1）根据随机序列X中每个随机变量xi的取值不同： 离散平稳信源：如语言文字、离散化平面图像 连续平稳信源：如语音信号、热噪声信号等,,,（2）信源发出的符号间彼此是否独立：,无记忆信源：随机矢量的各分量相互独立 有记忆信源：随机矢量的各分量不相互独立 表述有记忆信源比无记忆信源困难的多，实际中，信 源发出的符号往往只与前若干符号的依赖关系强，与 更前面的符号依赖关系弱，这类信源可用马尔可夫信 源表示 不同统计特性的信源可用随机变量、随机矢量以及随 机过程描述其输出的消息2.2 离散信源的信息熵,一、信息量和熵 信息的度量应符合实际情况： 出现概率小的随机事件，不确定性大，信息量大； 出现概率大的随机事件，不确定性小，信息量小； 概率为1的确定事件，信息量为0 香农定义的自信息量I(x)：任意随机事件出现概率的对数的负值表示自信息量设随机事件xi的出现概率为pi，则自信息为： I(xi)logpilog(1/pi) 例：一个输出两种消息的离散无记忆信源，计算消息x1、x2的自信息量，其概率空间为： 解：I（x1)=-log0.99=0.014比特 I（x2)=-log0.01=6.644比特 自信息的两种含义：信源输出消息x1之前，自信息I(x1)是关于x1发生地不确定性的度量；而在信源输出消息x1后，自信息I(x1)表示x1所含有的信息量。

注意：信息单位比特（表示以2为底的对数）与计算机术语中的比特（表示二进制数的位）的意义是不同的 收到某消息获得的信息量收到此消息前关于某事件发生的不确定性收到此消息后关于某事件发生的不确定性 即：收信者所获得的信息量应等于信息传输前后不确定性的减少的量 例：设一条电线上串联8个灯泡，且损坏的可能性为等概，若仅有一个坏灯泡，须获知多少信息量才可确认？,例解： 测量前，P1(x)1/8，存在不确定性： I(P1(x))log83bit 第一次测量获得信息量： 第二次测量获得信息量： 第三次测量获得信息量： 每次测量获得1bit信息量，需三次测量可确定坏灯泡,自信息I是一个随机变量，不能作为信源总体的信息量 定义：自信息量的数学期望为信源的平均信息量，即信 源的信息熵，数学表示为： 信息熵的单位取决于对数选取的底，r进制信息熵： r进制信息熵与二进制信息熵的关系：,例如，有两个信源： 则：H（X）=0.08比特/符号 H（Y）=1比特/符号 显然，信源X输出消息x1的可能性是99%，所以对X 的平均不确定性较小；而信源Y输出y1、y2的可能性 均为0.5，则我们对Y输出哪一个消息的平均不确定性 较大。

熵的物理含义： 信息熵H(x)是表示信源输出后，每个消息(或符号)所提 供的平均信息量；信息熵H(x)是表示信源输出前，信源 的平均不确定性；用信息熵H(x)来表征变量X的随机 性 注意：信息熵是信源的平均不确定的描述一般情况 下，它并不等于平均获得的信息量，获得的信息量是两 熵之差，并不是信息熵本身二、信息熵的基本性质 1、对称性： 此性质说明：熵的总体性它只与随机变量的总体结 构有关，而不在于个别值的概率，甚至也不因随机变 量取值的不同而异 2、非负性：,3、扩展性：,说明：概率很小的值的出现，给予接收者以较大的信息，但在熵的计算中占的比重很小，这是熵的总体平均性的一种体现 4、确定性： H（1,0）H（0,1）H（1,0,0, ）0 说明：从熵的不确定概念来说，确知信源的不确定度应该为05、可加性： 二个随机变量X和Y不独立时： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 二个随机变量X和Y独立时： H(XY)=H(X)+H(Y) 6、极值性： H(p1,p2, ,pq) pilogqi，当qi1/q时， 可见：所有概率分布pi所构成的熵，以等概时为最大， 称为最大离散熵定理。

7、上凸性：,熵函数具有严格的上凸性，它的极值必为最大值 8、递增性： 其中： 此性质说明：熵增加了一项由于划分而产生的不确定性 量例：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值 可见：熵函数的递增性也可称为递推性，表示n 个元素的信源熵可以递推成（n1）个二元信 源的熵函数的加权和可使多元信源的熵函数 计算简化成计算若干个二元信源的熵函数2.3 离散平稳信源的熵,离散平稳信源：各维联合概率分布均与时间起点无关 的完全平稳信源称为离散平稳信源 一、联合事件的熵和互信息 设两个随机变量X1和X2，单个符号数学模型为： 联合事件的概率空间：,条件概率分布： 二个符号的数学模型： 联合熵：,联合熵（共熵）：是联合空间X1X2上的每个元素对 X1X2的自信息量的概率加权平均值共熵表示信源输 出长度为2的序列的平均不确定性，或所含的信息量 条件熵：联合空间X1X2上的条件自信息量的概率加权 平均值： 联合熵、信息熵及条件熵的关系为： H（X2）H（X1/X2）,根据熵的极值性可得： 表明某一变量的条件熵必小于或等于它的无条件熵。

还可得： 且X1、X2独立时，上式等号成立 定义无条件熵和条件熵之差为互信息： I(X1;X2)H(X1)H(X1/X2) 0 H(X1)H(X2)H(X1X2) 且：I(X1;X2)I(X2;X1),注意：任何无源处理总是丢失信息的，至多保持原来的信息，这是信息不可增性的一种表现 二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, XN 概率分布： 联合熵： 定义序列的平均符号熵总和/序列长度，即：,平均符号熵就是信源符号序列中平均每个信源符号所携带的信息量 条件熵无条件熵；条件较多的熵条件较少的熵，所以：,离 散 平 稳 信 源 性 质（H1(X)<时）：,条件熵随N的增加是递减的； 平均符号熵条件熵； 平均符号熵HN(X)随N增加是递减的； 极限熵,结论：当平稳信源的记忆长度为m，则离散平稳 信源的极限熵等于有限记忆长度m的条件熵：,三、信源信息冗余与熵的相对率,对于一般的离散信源都可以近似地用不同记忆长度 的马尔可夫信源来逼近 一阶时（m1）：信息熵为H2H（X1/X2） 无记忆时（m0）：信息熵为H1H（X） 无记忆等概（q种取值）：H0logq 显然：logqH0H1H2HmH，即：只要有传送H的手段即可传送信源信息。

所以，非等概分布的信源所输出的符号中，每一 位信源符号所载荷的平均信息量并没有达到其应 具有的最大输出信息能力，这表明信源输出符号 中含有一定程度的不含有信息的多余部分 信息冗余度（或称剩余度、多余度）可衡量信源 输出符号序列中不含有信息的多余部分的大小 一个信源实际的信息熵与具有同样符号集的最大 熵的比值称为熵的相对率熵的相对率： 则信源的信息冗余度为： 显然，信源符号间依赖关系强，相关距离长，则H较 小，冗余度就大；相关性弱则冗余度小；若信源符号相 互独立且等概，则输出的平均信息量达到最大值H0，信 源输出符号中部包含任何多余成分，冗余度为0 例：设英文信源输出符号为26个字母和空格，考察英文 信源输出地符号序列，计算其信息冗余度例解：1）无记忆且等概时：H0=log27=4.76比特/符号； 2）根据统计各字母和空格出现的概率，非等概无记忆时： H1=H（p1,p2, p27）=4.03比特/符号； 3）若取m=1，则H2=3.32比特/符号； 4）若取m=2，则H3=3.1比特/符号； 一般H=1.4比特/符号； 则相对熵为0.29，信息冗余度为0.71 信息的剩余度可以表示信源可以压缩的程度，但 剩余度大的消息具有强的抗干扰能力。

2.4 连续信源的熵,一、连续信源熵的定义 所谓连续信源是指其输出量是连续的，在任何时 刻，在某个范围内可以取无穷多个数值数学模 型： 如图为连续信源 概率密度分布示意图：,把取值区间a,b分割成n个小区间且等宽： =（b-a）/n，则X处于第i区间的概率Pi是： Pi=Pa+(i-1) xa+i=p(xi) ，且Pi=1 此时离散熵： H(Xn)=-PilogPi=- p(xi) log p(xi) =- p(xi) log p(xi) - p(xi) log 当n，0时， H(Xn)的极限值就是连续熵：,离散信源定义的熵是一个绝对量，上式第二项是趋于无限大的常数，所以避开第二项，定义连续信源的熵是一个比无穷大（）大多少的相对量，不是绝对量： 注意：连续变量的熵具有相对性，在取两熵之间的差 时，才具有信息的所有特征，也称h(X)为差熵，具有离 散熵的主要特征，但不一定具备非负性例：一个连续信源，输出概率密度服从均匀分布，若把此信源的输出信号放大2倍，求放大前、后的信息熵并比较 注意：连续熵的相对性，说明信息不是与熵相等，如：Y=aX+b中，H(Y)可大于H(X)，但并不意味着经过放大器可提高信息量。

二、二元联合信源的共熵,连续信源的互信息也具有信息特征（非负性）： I（X；Y）=I（Y；X） h（X）h（X/Y） h（Y）h（Y/X） h（X）h（Y）h（XY） 0 因此：当X被测量得到Y时，两者可能都是连续变量， 互信息的概念仍然存在，且是有限值若对Y进行处理，成为Z，也会丢失信息，即： I（X；Z） I（X；Y），其中 Zf（Y）,三、连续信源的最大熵 问题：在连续信源中，怎样的概率密度分布函数p(X)能 使连续熵最大？ 1、限峰功率最大熵定理 信源输出信号的幅度或瞬时功率受到限制，如幅度限制 在a，b之间时：,结论：输出信号值的范围受限的连续信源，其输出最大熵的条件是输出信号在该范围内的分布是均匀分布，其最大熵为概率分布密度倒数的对数 推广到N维连续平稳信源情况：,可以证明：对于任何p(X)，其熵必小于均匀分布 时的熵2、限平均功率的最大熵定理 设信源的平均功率为 可以得出：当信源概率密度是数学期望为0，方差为平均功率的高斯分布时，有最大熵，即：,即： 所以：具有高斯分布的连续信源的熵最大，其大小随 平均功率P的增加而增加 在不同限制条件下最大熵是不同的，在无限制下最大 熵不存在。