翻译 PDF

ECON324 ：机器学习与计量经济

Chapter 1 Characteristics of Time Series

Email: weilin_econ@163.com

1 / 69.

大纲

引言

时间序列数据的性质

时间序列统计模型

依赖性度量

平稳时间序列

相关性估计

2 / 69.

大纲

引言

时间序列数据的性质

时间序列统计模型

依赖性度量

平稳时间序列

相关性估计

3 / 69.

数据类型

根据收集方法，有三种数据类型：

▶ 横截面数据： ( y i , x i ) , i = 1, . . . , n

▶ 时间序列数据： ( y t , x t ) , t = 1, . . . , T

▶ 面板数据（即纵向数据）： ( y it , x it ) , i = 1, . . . , n 和 t = 1, . . . , T .

4 / 69.

时间序列分析

▶ 这是对在不同时间点观察到的实验和观察数据的分析。

▶ 由相邻时间点的采样引入的时间依赖性和相关性是将时间序列数据与横截面数据区分开来的最显著特征。

▶ TSA在许多学科中被广泛使用，包括社会科学和自然科学。

5 / 69.

两种方法

▶ 时间域 (时间域) 方法通常是基于这样的假设，即时间上相邻点之间的相关性最好通过当前值对过去值的依赖来解释，例如线性回归模型、自回归积分滑动平均 (ARIMA) 模型和状态空间模型等。

▶ 频率域 (频率域) 方法假设时间序列分析中主要关注的特征与大多数数据中自然存在的周期性或系统性正弦变化有关，例如谱分析。

6 / 69.

大纲

引言

时间序列数据的性质

时间序列统计模型

依赖性度量

平稳时间序列

相关性估计

7 / 69.

时间序列图

▶ 任何时间序列调查的第一步总是涉及对记录数据的仔细检查，数据是随时间绘制的。

▶ 时间序列图通常会暗示分析方法以及在总结数据中的信息时将会有用的统计数据。

8 / 69.

9 / 69。

示例 1.2 全球变暖

▶ 数据是与1951-1980年平均值的偏差，以摄氏度为单位测量。

▶ 在20世纪后期，系列中出现明显的上升趋势。

▶ 整体趋势是否是自然的，或者是否是由某些人为干预造成的。

10 / 69.

示例 1.4 道琼斯工业平均指数

▶ 该系列的均值似乎是稳定的，平均回报大约为零。

▶ 高度波动（可变）时期往往聚集在一起：波动聚集。

11 / 69.

大纲

引言

时间序列数据的性质

时间序列统计模型

依赖性度量

平稳时间序列

相关性估计

12 / 69.

随机过程与时间序列

时间序列分析的主要目标是开发提供样本数据合理描述的数学模型。

▶ 一般来说，一组随机变量 { X t }，按 t 索引，被称为随机过程。

▶ 随机过程的观察值 { x t }，形成时间序列，被称为随机过程的实现。

▶ 时间下标 t 是离散的，并在整数 t = 0, ± 1, ± 2, . . . 或某个整数的子集上变化。

13 / 69.

建模策略

在本课程中，我们采用时间域方法。

我们假设相邻时间点是相关的，因此在时间 t 的序列值 x t 在某种程度上依赖于过去的值 x t − 1，x t − 2，……。

这个模型（或信念）表达了一种基本方式，我们可以生成看起来真实的时间序列。

14 / 69。

例 1.8 白噪声（3 种类型）

▶ 白噪声： w t ∼ wn ( 0, σ 2 w ) 满足 cov ( x t , x s ) = { σ 2 w , 对于所有 t = s 0, 对于所有 t ̸ = s (1)

▶ iid 噪声（白色独立噪声）： w t ∼ iid ( 0, σ 2 w ) 要求 { w t } 是独立同分布（iid）随机变量，因此满足条件 (1)。

▶ 高斯白噪声： w t ∼ iid N ( 0, σ 2 w ) 要求 w t 是独立的正态随机变量，均值为 0 和方差为 σ 2 w 。

15 / 69.

▶ 通常，有两种方法可以将序列相关性引入时间序列模型：移动平均和滤波自回归 16 / 69。

示例 1.9 移动平均和过滤

▶ 假设 w t 是一个白噪声序列。

v t = 1 3 ( w t − 1 + w t + w t + 1 ) 。

(2)

▶ 时间序列中值的线性组合，如 (2) 所示，通常被称为过滤序列。

▶ 问题：对于所有 t 和 s ， cov ( v t , v s ) 是多少？

17 / 69.

示例 1.10 自回归

▶ 假设 w t 是一个白噪声序列。

依次进行 t = 1, 2, . . . , 500 。

▶ 它表示当前值 x t 的回归或预测，作为该序列过去两个值的函数，因此，建议将此模型称为 自回归 。

1 ▶ 注意 (3) 依赖于初始条件 x 0 和 x − 1 。

1 当人或事物回归时，他们返回到一个更早和不那么先进的发展阶段。

18 / 69.

19 / 69.

20 / 69。

如何看待趋势？

示例 1.11 带漂移的随机游走

▶ 目前，之前介绍的 WN、MA 和 AR 系列没有趋势行为。

▶ 分析趋势的模型，例如在全球温度数据中看到的，是带漂移的随机游走模型，表示为 x t = δ + x t − 1 + w t (4)，其中 t = 1, 2, . . .，初始条件为 x 0 = 0，w t 是白噪声。

▶ 常数 δ 被称为漂移，当 δ = 0 时，(4) 被称为简单的随机游走。

21 / 69.

请做以下练习：

x t = x 0 + δ t + ∑ t j = 1 w j 其中 x 0 = 0

22 / 69。

大纲

介绍

时间序列数据的性质

时间序列统计模型

依赖性度量

平稳时间序列

相关性估计

23 / 69.

Essential feature of TSA

现在，我们介绍用于描述时间序列行为的各种理论测量。

完整的描述涉及联合采样值的多元分布函数 x 1 , x 2 , . . . , x n ，而更经济的描述可以通过均值和自相关函数来获得。

因为相关性是时间序列分析的一个基本特征，最有用的描述性测量是以协方差和相关函数的形式表达的。

24 / 69.

25 / 69.

边际分布函数和密度函数

▶ 边际分布函数是 F t ( x ) = P { x t ≤ x }，对应的边际密度函数是 f t ( x ) = ∂ F t ( x ) / ∂ x。

▶ 当存在时，它们通常对检查系列的边际行为很有帮助。

▶ 另一个有信息量的边际描述性度量是均值函数。

26 / 69。

定义 1.1 均值函数 ▶ 均值函数定义为 μ xt = E ( x t ) = ∫ ∞ − ∞ x f t ( x ) dx , (5) 前提是它存在，其中 E 表示通常的期望值算子。 ▶ 当没有关于我们所指的时间序列的混淆时，我们将省略下标，写作 μ xt 为 μ t 。 ▶ 问题：上述提到的 MA 序列和带漂移的 RW 的均值函数是什么？ 27 / 69。

28 / 69.

自协方差

▶ 自协方差测量在不同时间观察的同一系列中两个点之间的线性依赖性。

▶ 注意无线性依赖和独立性之间的区别。

▶ 非常平滑的系列表现出自协方差函数，即使在 t 和 s 相距较远时也保持较大，而波动较大的系列则倾向于在大分离时自协方差函数几乎为零。

▶ 现在我们考虑WN和RW系列的自协方差。

29 / 69.

属性 1.1 线性组合的协方差

如果随机变量 U = m ∑ j = 1 a j X j 和 V = r ∑ k = 1 b k Y k 是（有限方差）随机变量 { X j } 和 Y k 的线性组合，则 cov ( U , V ) = m ∑ j = 1 r ∑ k = 1 a j b k cov ( X j , Y k ) = a ′ Ω b 。

问题：Ω 是什么？U 的方差是什么？ 30 / 69。

示例 1.17 移动平均的自协方差

▶ 设 w t ∼ wn ( 0, σ 2 w ) 和 v t = ( w t − 1 + w t + w t + 1 ) /3 。

0, | s − t | ≥ 3。

▶ 平滑操作引入了一个协方差函数，该函数随着两个时间点之间的间隔增加而减小，并在时间点之间间隔三个或更多时间点时完全消失。

▶ γ v ( s , t ) 仅依赖于时间滞后 | s − t | 而不依赖于点的绝对位置。 （弱平稳性）

31 / 69.

例 1.18 随机游走的自协方差

w t ∼ wn ( 0, σ 2 w )。

32 / 69。

定义 1.3 自相关函数 (ACF)

▶ 在经典统计中，处理 − 1 和 1 之间的关联度量更为方便，这导致了以下定义。

▶ 自相关函数 (ACF) 定义为 ρ ( s , t ) = γ ( s , t ) √ γ ( s , s ) γ ( t , t ) 。

▶ ACF 测量在时间 t 的序列的线性可预测性，假设 x t ，仅使用值 x s 。

▶ 根据柯西-施瓦茨不等式 | γ ( s , t ) | 2 ≤ γ ( s , s ) γ ( t , t ) ，我们有 − 1 ≤ ρ ( s , t ) ≤ 1 。

33 / 69.

定义 1.4 和 1.5 交叉协方差函数和交叉相关函数 (CCF)

▶ 通常，我们希望测量另一个序列 y t 从序列 x s 的可预测性。假设两个序列都有有限的方差，我们有以下定义。

。

▶ 交叉相关函数 (CCF) 由 ρ xy ( s , t ) = γ xy ( s , t ) √ γ x ( s , s ) γ y ( t , t ) 给出。

34 / 69.

35 / 69.

大纲

引言

时间序列数据的性质

时间序列统计模型

依赖性度量

平稳时间序列

相关性估计

36 / 69.

定义 1.6 严格平稳性

▶ 一个严格平稳的时间序列是指每一组值 { x t 1 , x t 2 , . . . , x t k } 的概率行为与时间平移后的集合 { x t 1 + h , x t 2 + h , . . . , x t k + h } 的概率行为相同。

▶ 也就是说，Pr { x t 1 ≤ c 1 , . . . , x t k ≤ c k } = Pr { x t 1 + h ≤ c 1 , . . . , x t k + h ≤ c k } 对于所有 k = 1, 2, . . . ，所有时间点 t 1 , t 2 , . . . , t k ，所有数字 c 1 , c 2 , . . . , c k ，以及所有时间平移 h = 0, ± 1, ± 2, . . . .

37 / 69.

严格平稳性的含义

▶ MDF的时间平移不变性：所有变量子集的多元分布函数必须与移位集中的对应函数在所有移位参数h的值上保持一致。

▶ 常数均值：如果序列的均值函数μ t存在，则对于所有s和t，我们有μ s = μ t，因此μ t必须是常数。

▶ 过程的自协方差/自相关函数仅依赖于s和t之间的时间差，而不依赖于实际时间。

38 / 69.

严格平稳性的缺点

▶ 对于大多数应用来说，严格平稳性过于强烈。

▶ 从单个时间序列中评估严格平稳性是困难的。

▶ 我们将使用一个更温和的版本，该版本仅对序列的前两个矩施加条件，而不是对时间序列的所有可能分布施加条件。

39 / 69.

40 / 69.

▶ 平稳性要求均值和自相关函数的规律性，以便这些量（至少）可以通过时间平均来估计。

▶ 严格平稳 ⇒ 弱平稳，但反之不成立。

▶ 如果时间序列是高斯的，则两种平稳性是等价的。

▶ 为了简化符号，我们将写作 μ t = μ 和 γ ( h ) = γ ( s , t ) 其中 h = | s − t | 。请参见接下来的两个定义。

41 / 69.

定义 1.8

。

▶ 平稳时间序列的自相关函数 (ACF) 将写作 ρ ( h ) = γ ( t + h , t ) √ γ ( t + h , t + h ) γ ( t , t ) = γ ( h ) γ ( 0 ) 。

42 / 69.

43 / 69.

示例 1.22 （线性）趋势平稳性

让 x t = α + β t + y t ，其中 y t 是平稳的。

▶ 验证 x t 不是弱平稳的。

▶ 显示 x t 的自协方差函数与时间无关。

▶ 因此，该模型可以被视为围绕线性趋势具有平稳行为；这种行为有时称为 趋势平稳性 。

44 / 69.

几个特殊性质

平稳过程的自协方差函数具有几个特殊性质：

▶ 线性组合的方差 x t 永远不会为负。也就是说，对于任何 n ≥ 1 ，以及常数 a 1 ，. . . ， a n ，有 var ( a 1 x 1 + · · · + a n x n ) = n ∑ j = 1 n ∑ k = 1 a j a k γ ( j − k ) = a ′ Γ a ≥ 0，其中 Γ = { γ ( j − k ) : j ， k = 0, 1, . . . ， n } 是一个非负定矩阵。

▶ Cauchy – Schwarz 不等式意味着 | γ ( h ) | ≤ γ ( 0 ) 。

▶ 平稳序列的自协方差函数在原点对称；也就是说， γ ( h ) = γ ( − h ) 。

45 / 69.

46 / 69.

定义 1.11 交叉相关函数 (CCF)

▶ 共同平稳时间序列 x t 和 y t 的交叉相关函数 (CCF) 定义为 ρ xy ( h ) = γ xy ( h ) √ γ x ( 0 ) γ y ( 0 ) 。

▶ 再次，我们得出结果 − 1 ≤ ρ xy ( h ) ≤ 1 。

▶ 交叉相关函数通常不是关于零对称的，即通常 ρ xy ( h ) ̸ = ρ xy ( − h ) 。 然而，确实存在 ρ xy ( h ) = ρ yx ( − h ) 的情况。

47 / 69.

示例 1.23 联合平稳性

▶ 设 w t ∼ wn ( 0, σ 2 w ) 并定义 x t = w t + w t − 1 和 y t = w t − w t − 1 。

▶ 计算 x t 和 y t 的交叉协方差函数，验证它们是联合平稳的。

48 / 69.

49 / 69.

随机线性过程

▶ 上述线性过程依赖于未来 ( j < 0 )，现在 ( j = 0 ) 和快速 ( j > 0 )。

▶ 为了预测，依赖未来的模型将是无用的。

▶ 因此，我们将专注于不依赖未来的过程。这种模型称为因果模型，因果线性过程在 j < 0 时有 ψ j = 0。

50 / 69.

定义 1.13 高斯过程

▶ 一个重要的情况是，弱平稳序列也是严格平稳的，即正态或高斯序列。

▶ 一个过程 { x t } 被称为高斯过程，如果 n 维向量 x = ( x t 1 , x t 2 , . . . , x t n ) ′，对于每一组不同的时间点 t 1 , t 2 , . . . , t n 和每一个正整数 n，具有多元正态分布。

51 / 69.

52 / 69.

它是微不足道的看到 X 是正态分布的，并且 ( X , Y ) 不是双变量正态的。 （为什么？）我们只需要证明 Y 的边际分布仍然是标准正态的， Pr ( Y ≤ y ) = Pr ( Z ≤ y , XZ > 0 ) + Pr ( − Z ≤ y , XZ ≤ 0 ) = ∫ z ∫ x 1 ( z ≤ y ) 1 ( xz > 0 ) ϕ ( x ) ϕ ( z ) dxdz + ∫ z ∫ x 1 ( − z ≤ y ) 1 ( xz ≤ 0 ) ϕ ( x ) ϕ ( z ) dxdz = 1 2 Φ ( y ) + 1 2 Φ ( y ) = Φ ( y ) 。

我们只证明第一个项的结果， ∫ z ∫ x 1 ( z ≤ y ) 1 ( xz > 0 ) ϕ ( x ) ϕ ( z ) dxdz = ∫ z ( ∫ ∞ − ∞ 1 ( xz > 0 ) ϕ ( x ) dx ) 1 ( z ≤ y ) ϕ ( z ) dz 。

53 / 69.

括号中的术语可以分解为两个部分，

∫ ∞ − ∞ 1 ( xz > 0 ) ϕ ( x ) dx = ∫ ∞ x = 0 1 ( z > 0 ) ϕ ( x ) dx + ∫ 0 x = − ∞ 1 ( z < 0 ) ϕ ( x ) dx 。

将这个术语代入，我们有

∫ z ∫ x 1 ( z ≤ y ) 1 ( xz > 0 ) ϕ ( x ) ϕ ( z ) dxdz = 1 2 ( ∫ ∞ z = 0 1 ( z ≤ y ) ϕ ( z ) dz + ∫ 0 z = − ∞ 1 ( z ≤ y ) ϕ ( z ) dz ) = 1 2 ∫ y − ∞ ϕ ( z ) dz = 1 2 Φ ( y ) 。

54 / 69.

−3 −2 −1 0 1 2 3

−4 −2 0 2 4

X

Z

−3 −2 −1 0 1 2 3

−4 −2 0 2 4

X

Y

55 / 69.

大纲

介绍

时间序列数据的性质

时间序列统计模型

依赖性度量

平稳时间序列

相关性估计

56 / 69.

▶ Last section: A hypothesized model

⇒ deducing theoretical autocorrelation and cross-correlation functions

▶ Current section: An observed sample path (TS)

⇒ estimating the mean, autocovariance, and autocorrelation functions

▶ In the usual situation with only one realization (sample path) for the underlying stochastic process, the assumption of stationarity becomes critical.

▶ With stationarity, we could use averages over the one sample path to estimate the population means and covariance functions.

57 / 69.

样本均值

▶ 假设时间序列 x t 是平稳的，均值函数 E ( x t ) ≡ μ t = μ 是常数，因此我们可以通过样本均值来估计它， x = 1 n n ∑ t = 1 x t 。

▶ 很容易验证 E ( x ) = μ ，因此我们使用样本均值 x 作为总体均值 μ 的估计量。

▶ 那么 var ( x ) 呢？ 58 / 69。

= 1 n n ∑ h = − n ( 1 − | h | n ) γ ( h ) .

▶ 如果过程 x t 是白噪声， var ( x ) = σ 2 x / n . (验证一下！)

59 / 69.

定义 1.14 样本自协方差函数

▶ 样本自协方差函数定义为 ̂ γ ( h ) = 1 n n − h ∑ t = 1 ( x t + h − x )( x t − x )，其中 ̂ γ ( − h ) = ̂ γ ( h )，对于 h = 0, 1, . . . , n − 1。

▶ 在 ̂ γ ( h ) 中，为什么不将求和除以 n − h？这是因为除以 n 确保线性组合的方差估计 x t 永远不会为负，即 ̂ var ( a 1 x 1 + · · · + a n x n ) = n ∑ j = 1 n ∑ k = 1 a j a k ̂ γ ( j − k ) = a ′ ̂ Γ a ≥ 0，其中 ̂ Γ = { ̂ γ ( j − k ) : j, k = 0, 1, . . . , n } 是一个非负定矩阵。

60 / 69.

定义 1.15 样本自相关函数

▶ 样本自相关函数定义为 ̂ ρ ( h ) = ̂ γ ( h ) ̂ γ ( 0 ) 。

▶ 样本自相关函数具有一个抽样分布，使我们能够评估数据是否来自完全随机的序列，或者在某些滞后下相关性是否具有统计显著性。

61 / 69。

Property 1.2 Large-Sample Distribution of the ACF

▶ 在一般条件下，如果 x t 是白噪声，那么对于 n 较大时，样本自相关函数 ̂ ρ x ( h ) ，对于 h = 1, 2, . . . , H ，其中 H 是固定但任意的，近似正态分布，均值为零，标准差为 σ ̂ ρ x ( h ) = 1 √ n 。

▶ 如果 x t 是白噪声， ̂ ρ x ( h ) 的 95% 置信区间是什么？

▶ 许多统计建模程序依赖于使用各种类型的变换（模型）将时间序列减少为白噪声序列。在应用此类程序后，残差的绘制自相关函数应大致位于上述给定的限制内。（你的时间序列模型是否足够？）

62 / 69.

定义 1.16 样本交叉协方差/相关函数

▶ 交叉协方差函数的估计量， γ xy ( h ) 和交叉相关 ρ xy ( h ) 分别由样本交叉协方差函数给出， ̂ γ xy ( h ) = n − 1 n − h ∑ t = 1 ( x t + h − x )( y t − y ) ， 其中 ̂ γ xy ( − h ) = ̂ γ yx ( h ) 确定负滞后的函数，样本交叉相关函数 ̂ ρ xy ( h ) = ̂ γ xy ( h ) √̂ γ x ( 0 ) ̂ γ y ( 0 ) 。

63 / 69.

Property 1.3 Large-Sample Distribution of Cross-Correlation

▶ 大样本分布的 ̂ ρ xy ( h ) 是正态分布，均值为零，σ ̂ ρ xy ( h ) = 1 √ n 如果至少有一个过程是独立白噪声。

▶ 为了使用上述属性 1.3，至少有一个序列必须是白噪声。如果不是这种情况，就没有简单的方法来判断交叉相关估计是否显著不同于零。

▶ 我们稍后将讨论在交叉相关分析之前对序列进行预白化的想法。

64 / 69.

示例 ▶ 让 x t ∼ iid N ( 0, 1 ) 并且序列 y t 由 y t = 10 + 2 x t − 6 + w t 生成，其中 w t ∼ iid N ( 0, 1 ) 。

▶ 我们绘制 x t 和 y t 的样本自相关函数， y t 与 x t − 6 的散点图，以及 x t 和 y t 之间的互相关函数。

65 / 69.

0 5 10 15 −0.2 0.2 0.6 1.0

滞后 ACF(x)

0 5 10 15 −0.2 0.2 0.6 1.0

滞后 ACF(y)

系列 y 66 / 69.

−2 −1 0 1 2 6 8 10 12 14

lag(x, k = −6) y

Pop. reg. line

Sample reg. line

−15 −10 −5 0 5 10 15

−0.2 0.0 0.2 0.4 0.6

Lag CCF(x,y)

67 / 69.

68 / 69.