32ARMA模型的参数估计1.ppt

《32ARMA模型的参数估计1.ppt》由会员分享，可在线阅读，更多相关《32ARMA模型的参数估计1.ppt（126页珍藏版）》请在一课资料网上搜索。

1、第四章 ARMA模型的参数估计,ARMA模型的参数估计 求和模型与季节模型的处理方法 回归与自回归混合模型的处理方法 其它时序模型的统计方法,模型参数估计一般分两步： 1、找出模型参数的初估计。常见三种方法（矩估计直接法，矩估计的逆函数法，矩估计的逆相关函数法） 2、在初估计的基础上，根据一定准则求得模型参数的精估计。常见两种方法（线性和非线性最小二乘方法，近似极大似然估计,第一节 自回归模型的拟合,如果时间序列 是平稳AR序列，根据此序列的一段有限样本值 对 的模型进行统计，称为自回归模型拟合 自回归模型拟合主要包括： (1) 判断自回归模型AR的阶数； (2) 估计模型的参数； (3) 对

2、拟合模型进行检验,一. AR(p)模型的参数估计 目的：为观测数据建立AR(p)模型 (1.1) 假定自回归阶数p已知，考虑回归系数 和零均值白噪声 的方差 的估计。 数据 的预处理：如果样本均值不为零，需将它们中心化，即将它们都同时减去其样本均值 再对序列按(1.1)式的拟合方法进行拟合,假定数据 适合于以下模型 (1.2) 其中，p为给定的非负整数， 为未知参数，记 为系数参数， 为独立同分布序列，且 ， 与 独立，参数 满足平稳性条件,1. AR(p)模型参数的Yule-Walker估计 对于AR(p)模型，自回归系数 由AR(p)序列的自协方差函数 通过Yule-Walker方程 唯一

3、决定，白噪声方差 由 决定,AR(p)模型的自回归系数和白噪声方差的矩估计 就由样本Yule-Walker方程 (1.3) 和 (1.4) 决定,令 则(1.3),(1.4)式可写为,实际应用中，对于较大的p,为了加快计算速度可采用如下的Levison递推方法 递推最后得到矩估计,上式是由求偏相关函数的公式： 导出,定理1.1 如果AR(p)模型中的 是独立同分布的 ，则当 时 (1) (2) 依分布收敛到p维正态分 布,注：用 表示 的第 元素时，可知 依分布收敛到 ，于是 的 95%的渐近置信区间是 在实际问题中， 未知，可用 的 元素 代替 ，得到 的近似置信区间,2. AR(p)模型参

4、数的最小二乘估计 如果 是自回归系数 的估计，白噪声 的估计定义为 通常 为残差。 我们把能使 (1.6) 达到极小值的 称为 的最小二乘估计,记 则 ，于是 的最小二 乘估计为 即,相应地，白噪声方差 的最小二乘估计 式中 为 的p个分量,定理1.2 设AR(p)模型中的白噪声 是独 立同分布的， 是自回归系数 的最小二乘估计，则当 时， 依分布收敛到p维正态分布 注：对于较大的n，最小二乘估计和矩估计 (Yule-Walker)估计的差别不大,3. AR(P)模型的极大似然估计 假定模型AR(p)中的 为正态分布，则观测向量 的高斯似然函数为 相应的对数似然函数为 其中， 为 的协方差阵，

5、 表示 的行列式，使得对数似然函数 达到极大值的 和 称为 和 的极大似然估计,从另一角度考虑,注：当n充分大时，AR(p)模型参数的极大似然估计、最小二乘估计和矩估计(Yule-Walker估计)三者都非常接近，即三者渐近相等，它们都可以作为AR(p)模型的参数估计，这是AR(p)模型的独有的优点,例1.1. 由下列AR(1)序列 产生长度为n=300的样本，计算出前5个样本自协方差函 数值为 求参数的矩估计和最小二乘估计。 (1) 参数 的矩估计 分别为 将样本自协方差函数值代入得,2) 参数 的最小二乘估计 分别为,例1.2 求AR(2)模型 参数 的估计，这里n=300, (1) AR

6、(2)模型的矩估计为,计算出的前5个样本协方差函数值为 将其值代入上式得： (2) 最小二乘估计,注：一般在求高阶AR(p)模型参数的矩估计时，为了避免求高阶逆矩阵，可采用求偏相关函数的递推算法，求出 即为 的矩估计，将它们代入 的表达式可得,二. AR(p)模型的定阶 1. 偏相关函数的分析方法 一个平稳序列是AR(p)序列当且仅当它的偏相关函数是p步截尾的。 如果 p步截尾：当 时， ； 而 ，就以 作为p的估计,定理1.3 设 由 定义，如果AR(p)模型中的白噪声是独立同分布的， ， 则对确定的kp,当 时， 依分布收敛到k维正态分布,推论：在定理1.3的条件下，对kp, 依分布收敛到

7、标准正态分布N(0,1)。 根据推论，对于AR(p)序列和kp，当样本量n比较大时， 以近似于0.95的概率落在区间 之内。于是对于某个固定的k，以 作为p的估计,或者根据推论有如下的检验方法：对于某个正整数p, 显著地异于零，而 近似等于零,其满足 (或 )的 个数占 的比例近似地为68.3%(或95.5%),则近似 地认为 在p步截尾， 初步判定为AR(p,例1.3（例1.1续）使用样本偏相关函数对AR(p)的模 型阶数作初步的判定。 结果：取上限 ，样本自相关函数 呈拖尾状， 而从15个偏相关函数来看,除 显著异于零之外，其余 14个中绝对值不大于 的有10个，于是 结论：初步判定为AR

8、(1)模型,前15个样本偏相关函数,例1.4（例1.2续）使用样本偏相关函数对AR(p)的模 型阶数作初步的判定。 结果：取上限 ，样本自相关函数 呈拖尾状， 而从15个偏相关函数来看，除 显著异于零之外， 其余14个中绝对值不大于 的有9个,于是 结论：初步判定为AR(2)模型,前15个样本偏相关函数,2. AIC准则方法(A-Information Criterion) 为了使拟合残差平方和 尽量小，而又不至于引 入过多的虚假参数的估计，Akaike于1973年引入如下 的准则函数，假定已有阶数p的上阶 ， AIC(k)的最小值点 (若不唯一，应取小的)称为AR(p) 模型的AIC定阶，即

9、,具体步骤： 1. 取定p=k时，根据数据 使用前一小节所提的任何一种参数的估计方法，给出噪声方差 的估计 ； 2. 再找出AIC取极小值时，所对应的阶数p. 注：AIC定阶并不相合，AIC定阶通常会对阶数略有高估。故在应用中，当样本量不是很大时，使用AIC定阶方法,为了克服AIC定阶的不相合性，可使用BIC准则方法。设 为AR序列，则BIC准则函数为 将此准则函数达到最小值的解 作为p的估计，就是BIC准则方法。 注： 1. 理论上已证明BIC准则的定阶具有相合性。 2. 当n不是很大时，用BIC定阶有时会低估阶数p，造成模型的较大失真，故在实际问题中，特别当样本量不是很大时,BIC的定阶效

10、果并不如AIC定阶准则,例1.5（例1.1续）n=300个观测，定阶。 方法：观察偏相关函数，确定上界是P=10，对p=1,2,10 分别解Yule-Walker方程得到 的Yuler-Walker估计，再 对p=1,2,10分别计算出AIC和BIC函数，计算结果如下,结果：AIC(1)和BIC(1)分别是AIC和BIC函数的最小值。 结论：由AIC和BIC定阶可知阶数p=1,AIC函数图,BIC函数图,例1.6 （例1.2续） n=300个观测，定阶。 方法：观察偏相关函数，确定上界是P=10,对p=1,2,10 分别求出 的估计，再对p=1,2,10，计算AIC和BIC 函数，计算结果如下

11、,结果：AIC(2)和BIC(2)分别是AIC和BIC函数的最小值。 结论：由AIC和BIC定阶可知阶数p=2,AIC函数图,BIC函数图,例1.7：独立重复1000次实验，每次产生符合模型AR(4) 的300个观测，得到AIC和BIC定阶情况如下,在1000次模拟计算中AIC将阶数定为4的有674次，而BIC阶数定为4的有476次。BIC定阶对阶数低估的比率为51.5% 增大样本量n=1000，获得如下结果,AIC定出的平均阶数是Avc(AIC)=4.593，BIC定出的平均阶数是Avc(BIC)=3.996，故对于较大的样本量有必要综合考虑AIC定阶和BIC定阶,三. 拟合模型的检验 现有

12、数据 ，欲判断它们是否符合以下模型 式中 被假定为独立序列,且 与 独立。 原假设 ：数据 符合AR(p)。故在 成立时，下列序列 为独立序列 的一段样本值序列,步骤： 1. 首先，根据公式 计算出残差的样本自相关函数， 2. 利用上一章关于独立序列的判别方法，判断 是否为独立序列的样本值 3. 根据判断结果，如果接受它们为独立序列的样本值，则接受原假设，即接受 符合AR(p),否则，应当考虑采用新的模型拟合原始数据序列,例1.8（例1.5续） 拟合后，给出残差头15个数据，有11个落在 之间， 故不能否定原假设，即 符合AR(1)模型,残差的图形,残差的自相关函数,例1.9（例1.6续） 拟

13、合后，给出残差头15个数据，有15个落在 之间，故不能否定原假设，即 符合AR(2)模 型,残差的图形,残差的自相关函数,第二节 滑动平均模型拟合,对于已给的时间序列数据 ，用MA(q)式的滑动平均模型去拟合它们，称为滑动平均模型拟合。 滑动平均模型拟合主要包括： (1) 判断滑动平均模型MA的阶数； (2) 估计模型的参数； (3) 对拟合模型进行检验,一. 参数估计 假定数据序列 适合以下模型 (2.1) 其中 为独立同分布的序列,且 ,q为给定的非负整数， 为 未知参数，并满足可逆性条件,1. 参数的矩估计方法 MA(q)序列的自协方差函数与MA(q)的模型参数有如下 公式： 故， 和

14、的矩估计 和 ，为 (2.2,1) 解析法 对于阶数较低的MA(q)模型，例如MA(1)和MA(2)，可利用解析法求解。 对于MA(1)模型： , 和 满足 可得 和 的矩估计分别为,例4.11 由MA(1)模型 产生长度n=300的样本，计算出前两个样本自协方差函数 值 ,由上述讨论,对于MA(2)模型： , 其中 满足 可得 的估计为:当 时,当 时， 从而可得,例4.12 求MA(2)模型 的n=950的样本的参数 的矩估计。 解：已知前三项的样本自相关函数分别为 使用上述公式，可得到如下估计值,2). 线性迭代算法 将(2.2) 式表示为 (2.3) 在可逆域内，给定 的初值,代入 (

15、2.3)式右边，得到一步迭代值 ，再将它们 代入(2.3)式右边，得出(2.3)式左边的第二不迭代值 ，同法重复直到某步,设有精度 ,当 同时成立时，就停止迭代（否则继续迭代下去），以 作为 的矩估计,3) Newton- Raphson 算法 优点：方法简便、收敛速度快 缺点：使用该算法得到的解 不能保证满足属于可逆域，需要采用调整方法才可做到。详见时间序列的分析与应用或应用时间序列分析,2. 极大似然估计 若(2.1)中， 为正态分布，则 服从 分布，其中 是 的协方差矩阵。 于是有似然函数： 其中， 。使似然函数达到极大值之 解的 和 ，即为 和 的极大似然估计,近似极大似然估计方法：假

16、定(2.1)式中的初值 给定，不妨设为零值。则由(2.1)式 和数据 可以求出 (2.4) 于是可得到如下近似似然函数为： (2.5) 记,由(2.5)式决定的近似极大似然估计 和 满足以下 方程 于是 为以下方程的解 而,3. 自回归逼近方法 原理：可逆的MA(q)模型有逆转形式 模型，且逆转形式中的无穷阶自回归系数满足以指数衰减到零的趋势，故一个可逆的MA模型可用适当高阶的AR模型近似。 用一个高阶的AR模型拟合一个较低的MA序列称为自回归逼近拟合方法,步骤： 1. 对原始数据 进行自回归模型拟合。可用AIC定阶，求参数的Yule-Walker估计，在进行检验；或直接拟合AR(p)模型。其

17、中，当n不太大时，取 ；当n很大时，取 。将拟合后模型记为 (2.6,2. 利用(2.6)式，计算拟合残差： 于是(2.1)式的模型可近似写为 记 (2.7,于是，(2.7)可简记为 故， 和 的最小二乘估计分别为 和 优点：不涉及非线性代数方程，易于实际应用,二. 阶数的估计 1. 自相关函数估计方法 依据：一个平稳序列为MA(q)序列的充要条件是它的自协方差函数q步截尾。对于MA(q)模型，当kq，n充分大时， 的分布渐近正态 ，于是当kq，n充分大时，下列等式近似成立,方法：对于每一个正整数q,计算样本自相关函数(M一般 取为 左右),考察其中满足 的个数是否占M的68.3%(或95.5

18、%)左右,如取某 显著地异于零，而 近似等于零，并满足上 述不等式的个数达到了68.3%(或95.5%)左右比例，则初步认 为 在 步截尾， 初步判定为,例2.3 设 为MA(1)序列： 由它产生长度为n=300样本值 ，计算出前 17个样本自相关函数为 ，计算出,2. AIC准则定阶方法 给出模型阶数q的上界 ，对于 按前述的 方法逐个拟合MA(m)模型。并给出白噪声方差 的估计 量 ，定义AIC函数 其中，n是样本个数，AIC(m)的最小值点(如不唯一，应 取小的)称为MA(q)模型的AIC定阶,例2.3的定阶问题，使用AIC准则，有,三. 拟合模型的检验 如果一段时间序列数据 符合(2.

19、1)式，则当给定初始值 ，由(2.2)式计算出 ，它应当是独立序列 的一段样本值。故检验问题就转化为检验 是否为独立序列的一段样本值的问题 方法： 检验和正态检验,四. 建模例题： 产生模型 的n=300个样本数据，建立模型。 (1) 求出样本均值、样本自协方差函数、样本自相关函 数,样本自相关函数,2) 观察样本自相关函数为1步结尾，或使用前述的两种 定阶方法，初步判定MA(1) (3) 使用第二小节的矩估计的解析方法可得 (4) 检验：给出 我们使用 检验，给出 ，计算出,取值图,第三节 ARMA模型的拟合,根据数据序列 ，拟合以下ARMA(p,q)模 型： (3.1) 其中， 为独立同分

20、布的序列，且 对一切st成立，参数 和 满足平稳性和可逆性条件，且 与 无公共根,一. 模型参数的估计 1. 矩估计方法 步骤1. 的矩估计 ，满足如下方程： (3.2) 其中， ，由(1.19)可知p元线性方 程组,记 于是(3.2)可简写为 若 满秩，则 (3.3,步骤2. 和 满足以下的方程式 (3.4) 式中 其中， (3.4)式关于 的非线性代数方 程组。当q=1,2可求出 显示解，当 ，可用 数值解法,2. 近似极大似然估计方法 方法:取初始值 对于任意给定的一组参数 ,由(3.1)迭代算出 相应值，即 (3.5) 定义关于 的函数 则，近似似然函数为,使得上式取到极大值的 ，称它

21、们为 的近似 极大似然估计，也称最小平方和估计。 当q=0，上述极值问题简化为Yule-Walker估计。 当p=0，上述极值问题与第三节的近似极大似然估计 方法一致。 (3.1)式中的 的估计为,3. 自回归逼近方法 基本思路： (1) 为数据 建立AR模型，取自回归阶数的上 界 ，采用AIC定阶方法得到AR模型的阶数估计P和 自回归系数 的估计. 。 (2) 计算残差 写出近似的ARMA(p,q)模型,3) 对目标函数 (2.6) 极小化,得到最小二乘估计 , 的 最小二乘估计由下式定义,具体算法 定义,则目标函数(2.6)可写成， 可解出最小二乘估计为 相应地， 的估计为,二. 模型阶数

22、的估计 1. 相关分析法用于ARMA模型的定阶 方法： (1) 给定初值 (一般取初值为 零)将 的估计代入(3.2)递推得到残差估计,2) 作假设检验 来自于白噪声序列长度为n的样本。 不是白噪声序列的长度为n的样本。 令 检验 等价于检验 是否来自于N(0,1)总体的k个独 立抽样问题,a. 检验 的绝对值是否有68.3%左右小于1. b. 检验法：在 成立条件下，当n充分大时， 是k个相互独立N(0,1)随机变量，则 服从自由度为k的中心 分布，则以显著水平为 的否定域为,2. AIC准则方法 给定ARMA模型阶数的上界 和 。对于每一对 (k,j)， ,计算AIC函数 取 ，使 此时称

23、 为ARMA模型的阶的估计，其中 一般 取 或 中的整数,具有相合性的定阶准则BIC, 使上式达最小的 为ARMA模型的阶。 中的整数,三. 拟合模型的检验 ARMA模型的检验是检验其拟合残差序列是否为独立序 列。 方法：取初值 计算 的样本值，即 检验 是否为独立序列的样本值,四. 例子：kejian2 由计算机产生模拟时间序列数据 。 (1) 计算出样本均值、自相关函数、自协方差函数和偏相关函数,样本自相关函数,样本偏相关函数,2) 取定阶数 由AIC准则：p=q=1 (3) 估计参数： (4) 检验 结论：数据符合ARMA(1,1)模型,补充：ARMA(p,q)阶数判定的方法 -推广样本

24、自相关函数法,基本思路：首先，观察样本自相关函数和样本偏相关函数是否有截尾性。若均无，则将原序列拟合AR(1)模型后,观察其残差序列的样本自相关函数是否截尾，若 步截尾，则原序列为 , 否则，再拟合AR(2)后，观其残差序列的样本自相关函数，若 步截尾，则原序列为 ，否则再增大p的阶数，重复上述步骤，直至得到样本的残差序列截尾为止,一. 推广的自相关函数(extended ACF) 考虑ARMA(1,1)模型,我们定义 为下式的解 和过程 于是对ARMA(1,1)有 总之,考虑ARMA(1,2)模型,我们定义 为下式的解 和过程 于是对ARMA(1,2)有,考虑ARMA(1,q)模型,于是对A

25、RMA(1,q)我们有,定义 为 的第 个自相关函数 如果模型为ARMA(1,1)，则 如果模型为ARMA(1,2)，则 一般地，ARMA(1,q)模型，有 称之为1阶推广的自相关函数(1ST EACF,考虑ARMA(2,q)模型： 我们有,我们定义 为下式的解 和过程 于是对ARMA(2,q)有,定义 为 的第 q 个自相关函数，我们有 称之为2阶推广的自相关函数(2st EACF,对于第m阶推广的自相关函数，我们定义 为下式 的解 和过程,定义 为 的第 个自相关函数，我们有 称之为m阶推广的自相关函数,二 根据EACF定阶 我们得到如下推广自相关函数 注意到，对于ARMA(p,q)模型，

26、我们有 这就构成一个三角形式,例如，对ARMA(1,1)模型其渐近EACF可形成零三角阵 其顶点正对(1,1)位置，通常对ARMA(p，q)过程，其零三角阵的顶点正对(p,q)位置,三. 平稳过程 的EACF的步骤： (1)使用最小二乘估计方法计算出 的相合估计 (2) 给出序列 (3) 计算出,EACF的迭代回归算法： (1) 使用最小二乘法拟合模型： 算出 的最小二乘估计为 给出残差： (2) 使用最小二乘法拟合模型： 得到 给出残差,3) 使用最小二乘法拟合模型： 得到 给出残差： 重复上述过程 得到 一阶EACF. 对二阶EACF 的计算：拟合 对m阶ESACF的计算：拟合,例：样本量n=900的时序，使用推广的样本自相关函数法判断模型的阶数,故判定为ARMA(1,1)模型