马尔可夫过程与泊松过程.ppt

《马尔可夫过程与泊松过程.ppt》由会员分享，可在线阅读，更多相关《马尔可夫过程与泊松过程.ppt（47页珍藏版）》请在一课资料网上搜索。

1、第六章马尔可夫过程 马尔可夫过程 在电子系统中 是研究热噪声和散弹噪声的数学基础 在通信系统中 是研究多级传输 网络传输等诸多问题时 需要用到的重要随机过程 马尔可夫过程是一类重要的随机过程 广泛应用在近代物理 生物 生灭过程 公用事业 信号处理 自动控制等方面 马尔可夫过程 马尔可夫性 无后效性 当随机过程在时刻所处的状态已知时 过程在时刻所处的状态仅与过程在时刻的状态有关 而与过程在时刻以前所处的状态无关 1 马尔可夫链时间离散 状态离散 2 离散马尔可夫过程时间连续 状态离散 3 马尔可夫序列时间离散 状态连续 4 连续马尔可夫过程时间连续 状态连续 马尔可夫过程分类 马尔可夫 马尔可夫

2、过程 6 1马尔可夫链 6 3马尔可夫过程 6 4独立增量过程 马尔可夫过程 独立增量过程正交增量过程泊松过程维纳 列维过程独立随机过程 6 1马尔可夫链 主要内容 马尔可夫 Markov 链马尔可夫链的定义及一般特性齐次马尔可夫链平稳马尔可夫链及其求解马尔可夫链状态分类马尔可夫链的遍历性 一 定义及一般特性 6 1马尔可夫链 状态和时间参量都是离散的随机过程 若过程在时刻tm k变成任一状态的概率 只与过程在tm时刻的状态有关 而与过程在tm时刻以前的状态无关 则该过程称马尔可夫链 定义 一 定义及一般特性 6 1马尔可夫链 典型马尔可夫链一维随机游动 0 0 3 1 2 4 5 6 7 1

3、 2 3 4 一 定义及一般特性 6 1马尔可夫链 典型马尔可夫链二元通信信道 0 1 0 1 1 1 一 定义及一般特性 6 1马尔可夫链 马尔可夫链的一般特性 状态概率 概率分布列 状态转移概率 转移矩阵 一 定义及一般特性 6 1马尔可夫链 马尔可夫链的性质 1 3 4 2 一 定义及一般特性 马尔可夫链的性质 5 切普曼 柯尔莫哥洛夫方程 二 齐次马尔可夫链 6 1马尔可夫链 如果马尔可夫链的转移概率只取决于n s 而与n和s本身的值无关 则称为齐次马尔可夫链 简称齐次链 一步转移概率 n s步转移矩阵 对于齐次马尔可夫链 状态概率由初始概率和一步转移概率决定 即利用初始分布和一步转移

4、概率矩阵就能完整地描述齐次马尔可夫链的统计特性 二 齐次马尔可夫链 6 1马尔可夫链 令 利用切普曼方程 有 二 齐次马尔可夫链 例1分析用于表征通信系统的错误产生机制的马尔可夫模型 假定其级数为2 求二步转移概率矩阵 三 平稳链 6 1马尔可夫链 如果齐次链中所有时刻的状态概率分布列相同 即 则此齐次链是平稳的 对于齐次链 由切普曼 柯尔莫哥洛夫定理 三 平稳链 如果齐次链的状态概率都相同 即p n p 1 则称为平稳链 只要p 2 p 1 则必定p n p 1 对于平稳链 三 平稳链 平稳链状态概率的计算 在方程 中取N 1个方程 求出N个未知数 三 平稳链 平稳链状态概率的计算 0 2L

5、 2L L L 例2 具有反射壁的随机游动 设有一质点在线段上游动 终端设有反射壁 质点只能停留在上 游动的概率法则如下 如果游动前质点在位置 则以1 2概率向前或向后移动一单位L 在位置 则以概率1游动到 在位置 则以概率1游动到 画出状态转移图 并求概率分布列 三 平稳链 平稳链状态概率的计算 计算举例 反射壁 三 平稳链 平稳链状态概率的计算 上例中反射壁换成吸收壁 四 状态分类 6 1马尔可夫链 1 到达和相通 如果对于状态ai与aj 简写为i与j 总存在某个n n 1 使得Pij n 0 即 由状态i出发 经n步转移以正的概率到达状态j 则称自状态i可达状态j 记为 此时对任意的n

6、n 1 总有 无限制的随机游动 每个状态都是可到达的 带吸收壁的随机游动 吸收壁状态不能到达任何其它状态 反之 i不能到达j 记为 四 状态分类 6 1马尔可夫链 1 到达和相通 设两状态i与j 由状态i可达状态j 从状态j也可达状态i 则称状态i与j相通 记为 无限制的随机游动 所有状态都是相通的 带吸收壁的随机游动 除吸收壁外 其余状态都是相通的 性质 到达具有传递性 即 若i r r j 则i j 相通具有传递性 即 若i r r j 则i j 四 状态分类 6 1马尔可夫链 1 到达和相通 设两状态i与j 由状态i可达状态j 从状态j也可达状态i 则称状态i与j相通 记为 无限制的随机

7、游动 所有状态都是相通的 带吸收壁的随机游动 除吸收壁外 其余状态都是相通的 性质 到达具有传递性 即 若i r r j 则i j 相通具有传递性 即 若i r r j 则i j 四 状态分类 2 状态空间的分解 设C I 若从子集C内任一状态i不能到达C外的任一状态 则称C为闭集 闭集的充分必要条件是 i C j在C外 恒有Pij n 0 n 1 若单个状态i构成一个闭集 则称此闭集为吸收态 除了整个状态空间外 没有别的闭集的马氏链称为不可约的 此时 所有状态相通 四 状态分类 2 状态空间的分解 例 设有三个状态 0 1 2 的马尔可夫链 它的一步转移概率矩阵为 三个状态均相通 所以是不可

8、约的 四 状态分类 2 状态空间的分解 例 设有四个状态的马尔可夫链 0 1 2 3 一步转移概率矩阵为 状态3为闭集 它是一个吸状态 0 1两个状态与其它状态也不相通 0 1两个状态也是一个闭集 P33 1 P32 P31 P30 0 四 状态分类 3 常返态和滑过态 非常返态 定义Tij为自i出发首次到达状态j的时刻 对于某个状态j xn可能永远也不为j 那么上式就不存在n 这时规定 为一随机变量 取值范围为 四 状态分类 3 常返态和滑过态 非常返态 很显然 定义 四 状态分类 3 常返态和滑过态 非常返态 定义 很显然 四 状态分类 3 常返态和滑过态 非常返态 定理 对任意的及 给出

9、了和的联系 自状态i出发 经n步首次到达状态j的概率 自状态i出发 经n步到达状态j的概率 定理 的充要条件是 四 状态分类 3 常返态和滑过态 非常返态 定理 状态i是常返的充要条件是 自i出发首次返回状态i所需要的时间 自i出发经有限步迟早要返回状态i的概率 根据的取值不同 将状态i分成如下两类 1 如果 则称状态i为常返态 2 如果 则称状态i为非常返态 或滑过态 四 状态分类 3 常返态和滑过态 非常返态 定理 状态i是常返的充要条件是 如果状态i为非常返态 则 说明如下 如果i状态为常返态 则从i状态出发 经过有限步的转移迟早要返回状态i 即 这样 过程自i状态出发 返回 再出发 再

10、返回 周而复始 如果过程无限地进行下去 那么 访问i的次数也无限地增加 四 状态分类 3 常返态和滑过态 非常返态 如果i状态为非常返的 则自i状态出发 经过有限步转移返回状态i的概率fii 1 而永不进入状态i的概率为1 fii 如果过程自i开始 全过程恰有m次处于状态i的概率为 因此 如果i状态是常返的 当且仅当从i状态出发 该过程处于状态i的平均次数为无穷次 故处于i状态的平均次数为 四 状态分类 3 常返态和滑过态 非常返态 对于一个非常返态 在过程中访问它的次数是有限的 对于有限状态的马尔可夫链 不是所有状态都为非常返态 或者说至少有一个状态是常返态 定理 如果i j 若i是常返的

11、则j也是常返的 由于同类中各态是相通的 所以有一个是常返的 其它也是常返的 有一个是非常返的 其它也是非常返的 常返和非常返可以看成类的一种特性 四 状态分类 3 常返态和滑过态 非常返态 举例 设有五个状态 0 1 2 3 4 的马尔可夫链 其一步转移概率矩阵为 2 3不与其它状态相通 构成闭集 2 3是常返态 4 0 4 1但0 4 1 4 0 1 组成一个闭集 也是常返态 而 4 为非常返的 四 状态分类 4 周期状态和非周期状态 定义 如果有正数d d 1 只有当n d 2d 3d 时 无限制随机游动是周期的 周期为2 则称i是周期的 四 状态分类 4 周期状态和非周期状态 例设有四个

12、状态 0 1 2 3 的马尔可夫链 其一步转移概率矩阵为 4个状态可以分成 0 1 和 2 3 两个类 该过程具有确定性周期转移 0 1 2 3 0 1 2 3 周期为2 四 状态分类 5 遍历性 定义 对于齐次马尔可夫链 如果对一切i和j 存在不依赖i的极限 则称该链具有遍历性 含义 当转移步数足够长时 不论n步之前是处于哪种状态 n步后转移到状态j的概率接近pj 定理 对于有限状态的马尔可夫链 如存在正整数s 使则该链具有遍历性 四 状态分类 5 遍历性 例 下面的马尔可夫链是遍历的 不遍历的例子 四 状态分类 5 遍历性 例3 设马尔可夫链的一步转移矩阵为 分析其遍历性 一 定义 6 2

13、马尔可夫序列 一个随机序列X n 若对任意的n 有 称此序列为马尔可夫序列 显然 联合概率密度可表示为 二 性质 6 2马尔可夫序列 由马尔可夫序列的定义可得 马尔可夫序列转移概率密度满足下列方程 其中n r s 即切普曼方程 三 齐次马尔可夫序列 6 2马尔可夫序列 如果条件概率密度 与n无关 则称马尔可夫序列是齐次的 如果一个马尔可夫序列是齐次的 并且所有的随机变量具有相同的概率密度 则称马尔可夫序列是平稳的 在一个齐次马尔可夫序列中 若最初两个随机变量和具有相同的概率密度 则此序列是平稳的 一 独立增量过程 6 3其他马尔可夫过程 特殊的马尔可夫过程 设随机过程X t t 0满足 对任意的时刻 过程的增量 是相互独立的随机变量 则称X t 为独立增量过程 又称可加过程 特点 在任一时间间隔上 过程状态的改变 并不影响将来任一时间间隔上过程状态的改变 也称无后效性 二 正交增量过程 6 3其他马尔可夫过程 设随机过程X t t T 若其均值为零 二阶矩存在 当时 有 则称X t 为正交增量过程 三 泊松过程 6 3其他马尔可夫过程 则称X t 为正交增量过程 若有独立增量过程 其增量的概率分布服从泊松分布 即