信息论第3章-1.pptx

《信息论第3章-1.pptx》由会员分享，可在线阅读，更多相关《信息论第3章-1.pptx（38页珍藏版）》请在一课资料网上搜索。

1、信息论与编码,信道与信道容量,第三章,3,3.1 信道分类和表示参数 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4 连续信道及其容量,内容,4,3.1 信道分类和表示参数,5,信道,信道：信息传输的通道 在通信中,信道按其物理组成常被分成微波信道、光纤信道、电缆信道等。信号在这些信道中传输的过程遵循不同的物理规律, 通信技术必须研究信号在这些信道中传输时的特性 信息论不研究信号在信道中传输的物理过程,并假定信道的传输特性已知,这样信息论就可以抽象地将信道用下图所示的模型来描述。,信 道,输入量X (随机过程),输出量Y (随机过程),p(Y|X),6,3.1.1 信道

2、分类,按输入/输出信号在幅度和时间上的取值: 离散信道： 输入和输出的随机序列取值都是离散的信道 连续信道： 输入和输出的随机序列取值都是连续的信道 半离散(半连续)信道： 输入变量取值离散而输出变量取值连续 输入变量取值连续而输出变量取值离散 波形信道： 信道的输入和输出都是一些时间上连续的随机信号。,7,信道分类,按输入/输出之间关系的记忆性来划分： 无记忆信道： 信道的输出只与信道该时刻的输入有关,而与其他时刻的输入无关 有无记忆信道： 信道的输出不但与信道现时的输入有关而且还与以前时刻的输入有关,8,信道分类,按输入输出信号之间的关系是否是确定关系: 无干扰信道： 输入/输出符号之间有

3、确定的一一对应关系 有干扰信道： 输入/输出之间关系是一种统计依存的关系 输入/输出的统计关系： 离散无记忆信道： 用条件概率矩阵来描述。 离散有记忆信道： 可像有记忆信源中那样引入状态的概念。,9,3.1.2 信道参数,设信道的输入X=(X1, X2 Xi, ), Xi a1 an 输出Y= (Y1, Y2 Yj,), Yj b1 bm 信道转移概率矩阵p(Y|X)： 描述输入/输出的统计依赖关系,反映信道统计关系,信 道,X,Y,p(Y|X),10,无干扰(无噪声)信道,无干扰(无噪声)信道 信道的输出信号Y与输入信号X之间有确定的关系Y=f (X),已知X后就确知Y 转移概率:,11,有

4、干扰无记忆信道,有干扰无记忆信道 信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足:,有干扰无记忆信道可分为: 二进制离散信道 离散无记忆信道 离散输入、连续输出信道 波形信道,12,离散无记忆信道DMC,信道输入是n元符号 Xa1, a2, , an 信道输出是m元符号 Yb1, b2, , bm 转移矩阵,pij=p(bj|ai),13,P:转移概率矩阵 已知X,信道输出Y表现出来的统计特性 完全描述了信道的统计特性,其中有些概率是信道干扰引起的错误概率,有些是正确传输的概率,转移概率矩阵,14,反信道转移概率矩阵 已知Y,信道输入X表现出来的统计特性,(ai|bj):后向概

5、率 已知信道输出端接收到符号bj但发送的输入符号为ai的概率。,15,二进制离散信道BSC,二进制离散信道BSC 输入符号X取值0,1； 输出符号Y取值0,1 很重要的一种特殊信道 信道转移概率： p(0|0) = 1p p(1|1) = 1p p(0|1) = p p(1|0) = p,无错误传输的概率,传输发生错误的概率,16,二元删除信道BEC,二元删除信道BEC 输入符号X取值0,1； 输出符号Y取值0,1,2 转移矩阵,0,2,1,0,1,p,1-p,q,1-q,17,3.2 离散单个符号信道及其容量,18,信道容量,我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量,即信

6、道的信息传输率R 平均互信息I (X;Y)： 接收到符号Y后平均每个符号获得的关于X的信息量。,信道的信息传输率就是平均互信息,19,信道容量,信道容量C： 最大的信息传输率,单位时间的信道容量：,20,信道容量的计算,对于一般信道,信道容量计算相当复杂,我们只讨论某些特殊类型的信道： 离散信道可分成： 无干扰(无噪)信道 无嗓无损信道 有噪无损信道 无噪有损信道 有干扰无记忆信道 有干扰有记忆信道,21,3.2.1 无干扰离散信道,设信道的输入XA=a1 an,输出YB=b1 bm 无嗓无损信道 输入和输出符号之间有确定的一一对应关系,X,a1 b1 Y a2 b2 a3 b3,1,1,1,

7、22,无干扰离散信道,无嗓无损信道,X,a1 b1 Y a2 b2 an-1 bn-1 an bn,1,1,23,无干扰离散信道,无嗓无损信道 由,计算得： 噪声熵H(Y|X) = 0 损失熵H(X|Y) = 0,24,无干扰离散信道,无嗓有损信道 多个输入变成一个输出(nm),X,a1 Y a2 b1 a3 a4 b2 a5,1,1,1,1,1,输出Y是输入X的确定函数,但不是一一对应,而是多一对应关系。,25,无干扰离散信道,无嗓有损信道 多个输入变成一个输出(nm),噪声熵H(Y|X) 0 损失熵H(X|Y) 0,信道中接收到符号Y后不能完全消除对X的不确定性,信息有损失。但输出端Y的平

8、均不确定性因噪声熵等于零而没有增加。,26,无干扰离散信道,有嗓无损信道 一个输入对应多个输出(nm),X,b1 Y a1 b2 b3 a2 b4 b5,1/3,1/3,1/3,1/4,3/4,计算得,同理,由,27,无干扰离散信道,有嗓无损信道 一个输入对应多个输出(nm),接收到符号Y后,对发送的X符号是完全确定的。 噪声熵H(Y|X) 0 损失熵H(X|Y) = 0,28,3.2.1 对称DMC信道,对称离散信道： 对称性: 每一行都是由同一集q1, q2,qm的诸元素不同排列组成输入对称 每一列都是由p1, p2,pn集的诸元素不同排列组成输出对称,满足对称性,所对应的信道是对称离散信

9、道。,29,对称DMC信道,信道矩阵,不具有对称性,因而所对应的信道不是对称离散信道。,30,对称DMC信道,若输入符号和输出符号个数相同,都等于n,且信道矩阵为,此信道称为强对称信道 (均匀信道) 信道矩阵中各列之和也等于1,31,对称DMC信道,对称离散信道的平均互信息为,32,对称DMC信道,对称DMC信道的容量：,上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量p1, p2,pm 和输出符号集的个数m有关。,强对称信道的信道容量：,33,例 某对称离散信道的信道矩阵为,信道容量为,34,设二进制对称信道的输入概率空间 信道矩阵：,BSC信道容量,35,36,当p

10、固定时,I (X,Y) 是的 型上凸函数。,I(XY),BSC信道容量,1-H(p),I (X,Y) 对存在一个极大值。,BSC信道容量,37,p,C,当固定信源的概率分布时,I (X,Y) 是p的 型 下凸函数。,信道无噪声,当p = 0, C =10 = 1bit = H(X),当p =1/2,信道强噪声,BSC信道容量,BSC信道容量,38,信道容量,定理： 给定转移概率矩阵P后,平均互信息I (X;Y)是输入信源的概率分布p(ai)的 型上凸函数。,定理： 平均互信息I (X;Y)是信道传递概率p(bj|ai)的 型凸函数。,信道容量是完全描述信道特性的参量,是信道能够传输的最大信息量。,