第三章_信息论基础知识.ppt

《第三章_信息论基础知识.ppt》由会员分享，可在线阅读，更多相关《第三章_信息论基础知识.ppt（33页珍藏版）》请在一课资料网上搜索。

1、1 科学技术发展的三大支柱 能源 材料 信息 信息论 是信息科学的理论基础 是运用数理统计方法研究信息的获取 变换 传输与处理的新兴学科 2 信息论与广义通信系统 本章主要内容 1 信息与信息技术 3 信息的定量描述 信源模型与信息熵 4 连续信源及最大熵定理 5 信息与熵的守恒定律 第三章信息论基础知识 2 一 信息的定义 3 1信息与信息技术 1 泛说 信息就是消息 有一定道理 但并不确切 确切地说 信息是消息的内核 消息是信息的外壳 消息与信息并不是一回事 一则消息可能包含丰富的信息 也可能只包含很少信息 信息就是情报 不错 在一定条件下 信息就是情报 但从一般情形来讲 二者不能等同 情

2、报只是信息中的一个类 而不是全体 信息就是知识 这也要有条件 反过来讲 知识是一种信息 这是对的 但知识也是信息的一部分 而不是全体 信息也不等同于信号 信号是消息的载体 消息蕴含在信号中 目前 人们对于信息的研究还没达到完全揭示其本质的程度 2 定义 几个较为典型和著名的关于 信息 的定义 3 2 美国科学家山农 C E Shanon 在1948年 通信的数学理论 一文中 把信息定义为熵的减少 换言之 他把信息定义为 能够用来消除不定性的东西 因为熵是不定性的度量 3 意大利学者郎格 G Longo 在1975年出版的 信息论 新趋势和未决问题 一书中定义为 事物之间的差异 而不是事物本身

3、1 美国科学家维纳 N Wiener 在1948年出版的奠基性著作 控制论 动物和机器中的通信与控制问题 一书中指出 信息就是信息 不是物质 也不是能量 后来 他又在 人有人的用处 一书中 提出新的看法 信息就是人和外界互相作用的过程中互相交换的内容的名称 一般地讲 从纯客观的角度 信息定义为 4 二 信息的作用 1 信息是一种资源 正像物质和能源是人类生存和发展所必需的资源一样 信息也是一种不可缺少的资源 物质 各种材料 能源 各种动力 信息 无穷无尽的知识和智慧 物质使系统具有形体 能量使系统具有力量 信息使系统具有 灵魂 2 物质 能量 信息三者的关系 自动化防空体系 自动化轧钢系统 5

4、 3 信息的基本性质 1 可以识别通过人的感官 各种探测工具 信息科学 是研究如何认识和利用信息的科学 认识信息方面 探讨信息的本质 建立信息问题的完整数学描述方法和定量度量方法 探明信息的产生 识别 提取 变换 传递 检测 存储 检索 处理和分析 利用信息方面 研究利用信息进行有效控制和组织最优系统的一般原理和方法 三 信息科学 3 可以存储 4 可以传输 此外 还具有可共享性和永不枯竭性 即信息经过传播可以成为全人类的财富 信息作为事物运动的状态和方式 是永不枯竭的 只要事物在运动 就有信息存在 1 信息科学 信息科学以信息为主要研究对象 传统科学以物质和能量为研究对象 信息科学的主体结构

5、应是信息论 控制论 系统论三者的结合 而人工智能则是三者的综合利用 6 2 信息科学的方法论 信息科学的方法论 包括1 信息分析综合法 2 行为功能模拟法 3 系统整体优化法 有时也称为信息方法 功能准则和系统准则 1 信息分析综合法从信息的观点出发 抓住对象的信息特征和联系来分析对象 理解和揭示它的工作机制 例如 由蝙蝠 警戒雷达系统 青蛙识别活动目标 活动目标雷达系统 人脑部分思维 人工智能系统 等等 2 功能模拟法就是在信息综合时 要从行为的观点出发 以行为的相似性为基础 从功能上模拟事物与环境的相互作用方式 在进行信息分析和综合时遵循的原则 追求功能上的相似 而绝少追求结构上的相似 3

6、 系统整体优化法就是在信息综合时 要从系统的观点出发 从整体与部分之间 整体与外部环境之间的相互联系中综合地考察对象 进行合理的组织 从而达到最优地解决问题的目的 信息分析综合法主要源于信息论 行为功能模拟法主要来自控制论 系统整体优化法则以系统工程 系统论为主要背景 7 补充知识 声音是人们生活中不可缺少的要素 通过语言 人们交流思想和感情 优美的音乐使人们获得艺术的享受 工程技术人员还把声学系统应用在工业生产和军事技术中 成为颇为重要的信息之一 自从潜水艇问世以来 随之而来的就是水面的舰船如何发现潜艇的位置以防偷袭 而潜艇沉入水中后 也须准确测定敌船方位和距离以利攻击 因此 在第一次世界大

7、战期间 在海洋上 水面与水中敌对双方的斗争采用了各种手段 海军工程师们也利用声学系统作为一个重要的侦察手段 首先采用的是水听器 也称噪声测向仪 通过听测敌舰航行中所发出的噪声来发现敌舰 只要周围水域中有敌舰在航行 机器与螺旋桨推进器便发出噪声 通过水听器就能听到 能及时发现敌人 但那时的水听器很不完善 一般只能收到本身舰只的噪声 要侦听敌舰 必须减慢舰只航行速度甚至完全停车才能分辨潜艇的噪音 这样很不利于战斗行动 不久 法国科学家郎之万 1872 1946 研究成功利用超声波反射的性质来探测水下舰艇 用一个超声波发生器 向水中发出超声波后 如果遇到目标便反射回来 由接收器收到 根据接收回波的时

8、间间隔和方位 便可测出目标的方位和距离 这就是所谓的声纳系统 人造声纳系统的发明及在侦察敌方潜水艇方面获得的突出成果 曾使人们为之惊叹不已 岂不知远在地球上出现人类之前 蝙蝠 海豚早已对 回声定位 声纳系统应用自如了 生物在漫长的年代里就是生活在被声音包围的自然界中 它们利用声音寻食 逃避敌害和求偶繁殖 因此 声音是生物赖以生存的一种重要信息 意大利人斯帕兰赞尼很早以前就发现蝙蝠能在完全黑暗中任意飞行 既能躲避障碍物也能捕食在飞行中的昆虫 但是堵塞蝙蝠的双耳后 它们在黑暗中就寸步难行了 面对这些事实 帕兰赞尼提出了一个使人们难以接受的结论 蝙蝠能用耳朵 看东西 第一次世界大战结束后 1920年

9、哈台认为蝙蝠发出声音信号的频率超出人耳的听觉范围 并提出蝙蝠对目标的定位方法与第一次世界大战时郎之万发明的用超声波回波定位的方法相同 遗憾的是 哈台的提示并未引起人们的重视 而工程师们对于蝙蝠具有 回声定位 的技术是难以相信的 直到1983年采用了电子测量器 才完完全全证实蝙蝠就是以发出超声波来定位的 但是这对于早期雷达和声纳的发明已经不能有所帮助了 8 蛙眼是十分敏锐的 对运动物体简直是 明察秋毫 然而 对静止不动的东西它却 视而不见 似乎变得 眼大无神 了 但这并不是它的缺陷 而正是蛙眼视觉机能的独到之处 是它适应其特定生活环境所形成的一套特殊本领 正是靠了这双眼睛 青蛙才能准确地捕食和逃

10、避敌害 得以在地球上生存了200万年 科学工作者们经过深入地研究 发现蛙眼具有四类感觉细胞 即四种 检测器 它们分别负责辨认 抽取视网膜图像的不同特征 这样 就把一个复杂的图像分解成了几种易于辨认的特征 同时传送到大脑的视中枢 视顶盖 在视顶盖 视神经细胞按自上而下的顺序也分成4层 上层的 反差变化检测器 神经元 抽取图像的暗前缘和后缘 其次是 运动凸边检测器 检测朝视野中心运动的暗凸边 再下是抽取静止和运动图像边缘的 边缘检测器 最下层的 变暗检测器 抽取运动图像暗前缘 每一层都产生图像的一种特征 这四层里的特征叠加在一起 经过综合 青蛙便看到了原来的完整图像 根据蛙眼的视觉原理 借助于电子

11、技术 人们制成了多种 蛙眼电子模型 其中 最简单的是 昆虫检测器 模型 蛙眼电子模型还可以像真蛙眼那样 准确无误地识别出特定形状的物体 这种图像识别能力是雷达系统所需要的 雷达工作时 往往受到各种干扰 使显示屏上的影象看不清楚 依据蛙眼分别抽取图像特征的工作原理而改进的雷达系统 能够在显示屏上清晰地从强背景噪声中区分出目标来 因而提高了雷达的抗干扰能力 这种雷达系统也能快速而准确地识别出具有特定形状的飞机 舰船 导弹等 特别是能够根据导弹的飞行特性 将真假导弹区分开来 从而不被作为诱饵的假导弹所迷惑 它还可以有效地把预定要搜索的目标与其他物体分开 特别是把目标与背景分开 模仿蛙眼的工作原理 人

12、们还制成了另一种 电子蛙眼图像识别机 它可以成为机场飞行调度员的出色助手 这种装置可以监视飞机的起飞与降落 班机是否按时到达 若发现飞机将要发生碰撞 能及时发出警报 防止相撞 现在 国外已投入使用的一种人造卫星 自反差跟踪系统 就是模仿蛙眼的工作原理制造出来的 9 3 信息科学的目的和任务 人的信息功能 是人同信息打交道的本领 主要包括提取信息 传递信息 处理信息和产生信息的本领 1 感觉器官 主要承担信息提取 信息变换和检测的功能 2 神经系统 主要承担信息传递和某些信息处理的功能 3 大脑 主要承担信息存储 分析和产生 决策 的功能 信息科学的目的和任务 在分析 探索和掌握这些功能的机制的

13、基础上 运用信息科学提供的原理和方法以及各种技术 综合出新的人工系统 以延长 增强 补充和扩展人的信息器官的功能 四 信息技术 1 信息技术 信息技术 所有可扩展人的信息功能的技术 信息技术的主体包括 1 传感技术 是人的信息感受器官的扩展和延伸 2 通信技术 是人的信息传输系统 神经系统 功能的扩展和延伸 3 计算机技术 是人的信息处理器官 大脑 功能的延伸 传感 通信 计算机技术构成信息技术的核心 被称为 3C Collection CommunicationandComputer 即信息收集 通信 计算机技术 10 2 信息技术与新技术革命 信息技术向人类提供各种有用的知识 是现代技术的

14、智慧和灵魂 在新的技术革命中扮演主要的角色 微电子技术是由新材料技术和信息技术派生出来的一门新技术 激光技术是新能源技术和信息技术派生出来的新技术 而生物技术 空间技术和海洋技术则是新材料 新能源和信息技术共同派生出来的三门新技术 至于光导纤维通信和计算机技术则是信息技术的具体分支 11 3 信息技术与传统技术 信息技术在当代整个技术体系中 担负着对传统技术进行补充 改造和更新的使命 例如 在改造传统工业方面 实现生产过程的自动化 图3 4生产过程自动化系统原理模型 图3 4表示了生产过程自动化系统原理模型 过程监测系统 实质是传感系统 包括一系列传感设备和仪表 由它来观察 记录 测量生产过程

15、演进的情况 过程数据处理系统 一般包括数据的平滑 整理 分析 剔除多余或无用数据 归纳 分类等等 它是信息处理技术的一种具体形式 计算机主机系统 根据来自生产过程的演进的信息以及给定的生产过程的目标信息进行必要的分析 计算 作出相应的决策 调节控制系统 根据计算机输出的决策指令 对生产过程进行相应的控制和调整 12 一 信息论基本概念 3 2信息论与广义通信系统 起源 信息论作为一门科学起源于20世纪40年代 信息论源自通信工程 其发展背景是基于通信系统的以下问题 1 信息传输的效率 2 信息传输的准确性 3 噪声干扰 4 信道频率特性等 定义 信息论是一门应用数理统计方法研究信息的获取 变换

16、 传输与处理的新兴学科 对信息论的三种理解 1 狭义信息论 主要研究信息的测度 信道容量以及信源和信息编码理论等 这一部分即Shannon信息基本理论 2 一般信息论 也是主要研究通信问题 但包括噪声理论 信号滤波与预测 信号调制与处理等 这一部分理论的代表人是Wiener等 3 广义信息论 不仅包含上述内容 而且包括与信息有关的领域 如心理学 遗传学 神经生理学 语言学 甚至包括社会学中有关信息的问题 信息论应用于工程测试领域 始于20世纪60年代 即从信息论观点出发 认识测试技术领域中的一些问题 13 二 广义通信系统 实例1 无限电通信系统 信息源 大脑的思维活动 信源的输出是语言符号

17、表达了要传输的信息 信宿 人耳感知声音 经过大脑的思维分辨 获取所传输的信息 14 实例2 声发射 AcousticEmission AE 监测系统 研究者从X Y记录仪上显示的图像 感知到AE波峰值的突变现象 再根据已经掌握的AE波变化规律 经过大脑的思维分析 判断构件可能发生断裂的界限 从而获得构件受力变形的信息 实例3 切削过程中刀具磨损监测系统 信源是刀具磨损状态 信源的输出是切削力 切削温度 刀架振动 声发射波等 这些物理量携带着刀具磨损状态的信息 传感器 测力仪 热电偶 加速度计 AE传感器等 反向控制 调节刀架系统 进行补偿或退刀 15 实例4 金属切削过程颤振的监测 识别与控制

18、系统 信源 是切削过程中刀具 工件系统的运动状态 信源的输出是工件相对于床身的位移或刀架系统的加速度 这些物理量蕴涵着颤振发生过程的信息 传感器 电涡流传感器 压电加速度计 反向控制 控制主轴调速系统或走刀系统 调节速度或走刀量 以抑制颤振过程的发生 单片机 16 一 信息论基本概念 3 3信息的定量描述 信息模型与信息熵 定性描述只能解释一些现象 但尚未上升的学术水平 Shannon信息理论的贡献 运用概率论与数理统计学方法 对信息给予数学描述 使信息论作为一门科学建立起来 1 信源 信源内部结构往往很复杂 如人的大脑 一般只研究信源输出的信号 对于工程物理系统 信源就是所研究的客观事物 或

19、称物理过程 例如 雷达遥测系统中 被搜寻物在空间的坐标 速度 加速度 形状等构成信源 信源的输出是随机性的 如事先知道信源的输出 就无信息可言 应用随机变量或随机矢量来描述 或用概率空间来描述信源 是Shannon信息理论的基本假设 随机变量可取值于某一离散集合或某一连续区间 相应的信源称为离散信源及连续信源 17 二 离散信源模型 这是等概率事件 可称为先验概率 是与人们对事物的认识有关 是根据历史或知识的积累而分析判断的 实例1 掷硬币 有 无裂纹的概率P x1 P x1 是不知道的 即其先验概率不十分清楚 但根据产品质量的历史可粗略估计两者的大小 实例2 超声波探伤 18 三 自信息 事

20、件发生的不确定性与事件发生的概率有关 概率越小 不确定性越大 信息量就多 对于发生概率等于1的必然事件 就不存在不确定性 因此 某事件发生所含有的信息量 应是该事件发生先验概率的函数 即 根据客观事实和人们的习惯概念 函数f P xi 应满足以下条件 1 I xi 是先验概率P xi 的单调递减函数 P xi 越大 I xi 越小 2 当P xi 1 I xi 0 必然事件信息量为零 3 当P xi 0 I xi 不可能发生的事件发生了 其信息量最大 4 两个独立事件的联合信息量 应等于它们各自信息量之和 显然 满足条件 1 2 3 时 应取信息量I xi 为先验概率P xi 的倒数 满足条件

21、 4 时 最好的方法是用对数来定义信息量 因此 有 因为它描述的是事件xi发生时的信息量 故又称为自信息 19 1 当事件xi发生以前 表示事件xi发生的不确定性 1 若以2为底 则所得信息量单位为比特 bit binaryunit的缩写 I xi 代表两种含义 2 当事件xi发生以后 表示事件xi所含有的信息量 自信息采用的测度单位取决于所取对数之底 2 若以e为底 则为奈特 nat natureunit的缩写 3 若以10为底 则为哈特 Hart Hartley的缩写 1哈特 3 322比特 一般都采取以2为底的对数 因为当P xi 1 2时 I xi 1比特 所以1比特信息量就是两个互不

22、相容的等可能事件之一发生时 所提供的信息量 四 信息熵 自信息I xi 是指信源 物理系统 某一事件xi发生时所含的信息量 物理系统内不同事件发生时 其信息量不同 所以自信息I xi 是一个随机变量 它不能用来作为整个系统的信息的度量 20 定义 Shannon定义自信息的数学期望为信息熵 即信源的平均信息量 熵的单位 bit 事件 或 bit 符号 或 bit 消息 bit 事件 信息熵的物理含义 表征了信源整体的统计特性 是总体的平均不确定性的度量 对于某一特定的信源 其信息熵只有一个 不同的信源 因统计特性不同 其熵也不同 实例 两信源X Y的分析 信息熵分别为 21 五 信息熵的基本性

23、质 其中P是概率矢量 其分量为P1 P2 PN 并有 熵H是概率P1 P2 PN的N元函数 但因为 所以独立变量只有N 1个 H是 N 1 元函数 一般可写成 信息熵具有如下性质 1 对称性当概率空间P x1 P x2 顺序任意互换时 熵函数的值不变 此性质表明 熵只与随机变量的总体结构有关 与信源的总体统计特性有关 也表明了所定义的熵有其局限性 它不能描述事件本身的主观意义 2 确定性如果信源的输出只有一个状态是必然的 即P x1 1 P x2 P x3 0 则H X 0 22 对于连续信源的熵 不存在这一性质 例 信源有两种状态时的H x P x1 关系图 该性质表明 等概率分布信源的平均

24、不确定性最大 此即最大离散熵定理 4 可加性即统计独立信源X和Y的联合信源的熵等于它们各自的熵之和 3 非负性即H X 0 因00 所以熵为正值 只有当随机变量是一确知量时 熵才等于零 5 极值性信源各个状态为等概率分布时 熵值最大 P x1 P x2 P xn 1 n时 H X logn 23 六 信息熵与热力学熵 熵 字源于统计热力学 它的中文意义 热量被温度除所得的商 相同热量的温度高则熵小 温度底则熵大 外文意义 熵的外文原名是希腊字母拼成的 愿意是 转变 的意思 指热量可以转变为功的程度 熵小则转变程度高 熵大则转变程度低 热力学熵的定义和信源的信息熵的定义在表达形式上是相似的 两者

25、在物理概念上有一定联系 广义地讲 热力学的熵是物理系统无序状态的描述 是紊乱程度的测度 一个物理系统的熵 可以用系统的微观状态数的对数来描述 热力学熵S kln 式中k为波尔兹曼常数 是系统微观状态数 S就表示物理系统分子状态的杂乱程度 在热熵问题中 认为系统的演化总是有向等概率状态变动的趋势 所以热力学熵总是增大的 此即热力学熵不减原理 信息熵也可认为是信源紊乱程度的测度 亦可用来表征物理系统运动状态的不确定性 无序性 通过通信收到信息后 消除了这种不确定性 就获得信息 信息熵也是动态的 当信息通过系统传输到收信者后 信息的熵要改变 在信息论中 信息熵只会减少 不可能增加 此即信息熵不增原理

26、 24 一 连续信源 3 4连续信源及最大熵定理 连续信源 它的输出是时间和取值都是连续的消息 可用连续随机变量来描述信源可能出现的状态 例 机床工作状态的监测 连续信源的数学模型为连续型的概率空间 并满足 25 连续信源的熵 连续信源的信息测度可用离散信源的信息测度来逼近 将取值x分为n个小区间 任一小区间的概率为 离散信源的熵为 当n x 0 若极限存在 则得到连续信源的熵 定义连续信源的熵为 说明 这样定义的连续信源的熵不是实际信源的绝对熵 因为忽略了一项无限大常数项 这样定义的熵具有相对性 故称为相对熵或差熵 26 二 最大熵定理 连续信源的最大熵值因各约束条件的不同而不同 分两种情况

27、 1 峰值功率受限条件下信源的最大熵 当信源输出信号的峰值功率受限 即信号的取值被限定在某范围 a b 之内 则在限定的范围内 当输出信号的概率密度是均匀分布时 信源具有最大相对熵 则 输出信号的幅值限为 a b 概率密度 证明 任何概率密度分布时的熵必小于均匀分布时的熵 设q x 为任意分布的概率密度函数 则有 27 所以 28 2 平均功率受限条件下信源的最大熵 若信源输出信号的平均功率有限 则其输出信号幅度的概率密度分布是高斯分布 即正态分布 时 信源有最大相对熵 一维随机变量X的概率密度分布为 此连续信源的熵为 其中 可见 正态分布的连续信源的熵只与方差 2有关 与m无关 当m 0时

28、X的方差 2就等于信源输出的平均功率 显然 这一条件下的平均功率受限 就是方差 2受限 29 证明 连续信源的方差 2受限时 任意概率密度分布的信源的熵 都小于正态概率密度分布信源的熵 设q x 为信源输出的任意概率密度分布 因其方差受限为 2 所以必满足 和 则有 前已证明 因此 30 加深理解 1 当连续信源输出信号的平均功率受限时 只有信号的统计特性与高斯噪声的统计特性一样时 才会有最大的熵值 从物理意义上解释这是合理的 因为噪声是一个最不确定的随机过程 而最大的信息量只能从最不确定的事件中获得 2 为什么在平均功率受限条件下 正态分布信源的熵最大 亦可作如下解释 当限制平方平均值时 由

29、于大的幅值x平方后变得更大 因此出现的次数不可能太多 所以x值越增大 出现的概率就越小 对于x的正负值是对称的 若x较小 则概率尽可能相同时 熵变大 在接近x 0时 变得接近于平均的均匀分布 故有正态分布形式 31 三 联合信源的熵 联合信源 由两个或更多个基本信源组合所构成的信源 1 二维离散信源的联合熵 以轴孔配合间隙为例讨论 联合信源的熵 等于各个基本信源的熵之和 设一组孔 有n种尺寸 x1 x2 xn 另一组轴 有m种尺寸 y1 y2 yn 轴孔配合间隙问题构成二维联合信源的概率空间 32 根据信息熵的定义 联合信源的熵为 如果两信源X和Y相关 例如 轴与孔装配时采用 大轴配大孔 小轴配小孔 则联合概率为条件概率 或 33 2 N维连续信源的联合熵 3 5信息与熵的守恒定律 一个体系的信息与熵的和保持恒定 并等于该体系在给定条件下所能达到的最多信息或最大熵 信息与熵的守恒定律的数学描述 或 信息与熵的守恒定律也可表述为信息有所得 则熵必有所失 且得失相抵 理解为什么信息又称为 负熵 实例 掷硬币 掷之前 先验概率空间为 系统的原始熵Hmax为1 掷之后 后验概率空间为 消除了系统的不确定性 熵H 0 观测后实得信息为两个概率空间变化量 即I 1 0 1bit