这是用户在 2024-10-3 5:14 为 https://app.immersivetranslate.com/pdf-pro/fe607b26-4f15-4ff9-b85a-f6a1ce139726 保存的双语快照页面,由 沉浸式翻译 提供双语支持。了解如何保存?

 1. 概率基础


1.1. 概率空间与一点测度理论


任何概率模型的基础是一个概率空间 ( Ω , F , P ) ( Ω , F , P ) (Omega,F,P)(\Omega, \mathcal{F}, \mathbb{P}) ,其中

  • Ω Ω Omega\Omega 是包含所有可能结果 ω ω omega\omega 的样本空间,称为基本事件;

  • 事件空间 F 2 Ω F 2 Ω Fsub2^(Omega)\mathcal{F} \subset 2^{\Omega} 是我们希望分配概率的样本空间的子集集合。一个集合 A F A F A inFA \in \mathcal{F} 称为事件;

  • P P P\mathbb{P} 是一种概率测度,它为每个事件 A F A F A inFA \in \mathcal{F} 指派一个概率 P ( A ) [ 0 , 1 ] P ( A ) [ 0 , 1 ] P(A)in[0,1]\mathbb{P}(A) \in[0,1]

示例 1.1.1. 考虑抛掷一个公平硬币两次的实验。我们模型 Ω = { H H , H T , T H , T T } = Ω = { H H , H T , T H , T T } = Omega={HH,HT,TH,TT}=\Omega=\{H H, H T, T H, T T\}= { ω i : i = 1 , , 4 } ω i : i = 1 , , 4 {omega_(i):i=1,dots,4}\left\{\omega_{i}: i=1, \ldots, 4\right\}
F = 2 Ω = { , Ω , { H H } , { H T } , { T H } , { T T } , { H H , H T } , { H H , T H } , { H H , T T } , { H T , T H } , { H T , T T } , { T H , T T } , { H H , H T , T H } , { H H , H T , T T } , { H H , T H , T T } , { H T , T H , T T } } F = 2 Ω = { , Ω , { H H } , { H T } , { T H } , { T T } , { H H , H T } , { H H , T H } , { H H , T T } , { H T , T H } , { H T , T T } , { T H , T T } , { H H , H T , T H } , { H H , H T , T T } , { H H , T H , T T } , { H T , T H , T T } } {:[F=2^(Omega)={O/","Omega","{HH}","{HT}","{TH}","{TT}","{HH","HT}","{HH","TH}","{HH","TT}","{HT","TH}","{HT","TT}","],[{TH","TT}","{HH","HT","TH}","{HH","HT","TT}","{HH","TH","TT}","{HT","TH","TT}}]:}\begin{aligned} & \mathcal{F}=2^{\Omega}=\{\varnothing, \Omega,\{H H\},\{H T\},\{T H\},\{T T\},\{H H, H T\},\{H H, T H\},\{H H, T T\},\{H T, T H\},\{H T, T T\}, \\ &\{T H, T T\},\{H H, H T, T H\},\{H H, H T, T T\},\{H H, T H, T T\},\{H T, T H, T T\}\} \end{aligned}

由于硬币是公平的,每个 4 个基本事件 { H H } , { H T } , { T H } , { T T } { H H } , { H T } , { T H } , { T T } {HH},{HT},{TH},{TT}\{H H\},\{H T\},\{T H\},\{T T\} 具有相同的概率,即 1 / 4 1 / 4 1//41 / 4 ,对于所有 ω Ω ω Ω omega in Omega\omega \in \Omega 来说是 P ( { ω } ) = 1 / 4 P ( { ω } ) = 1 / 4 P({omega})=1//4\mathbb{P}(\{\omega\})=1 / 4 。其中一个不同结果 H T H T HTH T T H T H THT H 发生的概率可以通过求和直观地获得,即 P ( { H T , T H } ) = P ( { H T , T H } ) = P({HT,TH})=\mathbb{P}(\{H T, T H\})= P ( { H T } ) + P ( { T H } ) = 1 / 4 + 1 / 4 = 1 / 2 P ( { H T } ) + P ( { T H } ) = 1 / 4 + 1 / 4 = 1 / 2 P({HT})+P({TH})=1//4+1//4=1//2\mathbb{P}(\{H T\})+\mathbb{P}(\{T H\})=1 / 4+1 / 4=1 / 2 。更一般地,对于 C { 1 , , n } C { 1 , , n } C sub{1,dots,n}C \subset\{1, \ldots, n\} ,我们可以设定
P ( { ω i : i C } ) = P ( i C { ω i } ) = i C P ( { ω i } ) = | C | / 4 . P ω i : i C = P i C ω i = i C P ω i = | C | / 4 . P({omega_(i):i in C})=P(uuu_(i in C){omega_(i)})=sum_(i in C)P({omega_(i)})=|C|//4.\mathbb{P}\left(\left\{\omega_{i}: i \in C\right\}\right)=\mathbb{P}\left(\bigcup_{i \in C}\left\{\omega_{i}\right\}\right)=\sum_{i \in C} \mathbb{P}\left(\left\{\omega_{i}\right\}\right)=|C| / 4 .

注意,然而根据这个定义,事件的并集的概率(意为“至少一个事件发生”)并不总是通过相加得到的:
P ( { H T } { H T , T H } ) = P ( { H T , T H } ) = 1 / 2 3 / 4 = P ( { H T } ) + P ( { H T , T H } ) . P ( { H T } { H T , T H } ) = P ( { H T , T H } ) = 1 / 2 3 / 4 = P ( { H T } ) + P ( { H T , T H } ) . P({HT}uu{HT,TH})=P({HT,TH})=1//2!=3//4=P({HT})+P({HT,TH}).\mathbb{P}(\{H T\} \cup\{H T, T H\})=\mathbb{P}(\{H T, T H\})=1 / 2 \neq 3 / 4=\mathbb{P}(\{H T\})+\mathbb{P}(\{H T, T H\}) .

原因在于:这些事件不是不相交的!在上述模型中,我们可以例如将“第一次掷出正面”识别为事件 { H H , H T } { H H , H T } {HH,HT}\{H H, H T\} ,其概率为 1 / 2 1 / 2 1//21 / 2 ,或者将“至少出现一次正面”识别为事件 { H T , T H , H H } { H T , T H , H H } {HT,TH,HH}\{H T, T H, H H\} ,其概率为 3 / 4 3 / 4 3//43 / 4 。对此进行重新表述可以是“反面未出现两次”,其概率可以表示为
3 / 4 = 1 1 / 4 = 1 P ("tails appears twice") = 1 P ( { T T } ) = 1 P ( Ω { H T , T H , H H } ) . 3 / 4 = 1 1 / 4 = 1 P  ("tails appears twice")  = 1 P ( { T T } ) = 1 P ( Ω { H T , T H , H H } ) . 3//4=1-1//4=1-P" ("tails appears twice") "=1-P({TT})=1-P(Omega\\{HT,TH,HH}).3 / 4=1-1 / 4=1-\mathbb{P} \text { ("tails appears twice") }=1-\mathbb{P}(\{T T\})=1-\mathbb{P}(\Omega \backslash\{H T, T H, H H\}) .

为了使这些概念在数学上严谨,我们引入了测度理论的一些基本概念,借此构建一个在一般空间上为集合分配体积的一致理论。首先,我们处理在概率空间中允许的事件空间类型。

定义 1.1.2。如果满足以下所有条件,则称 F 2 Ω F 2 Ω Fsub2^(Omega)\mathcal{F} \subset 2^{\Omega} σ σ sigma\sigma -代数:

(i) Ω F Ω F Omega inF\Omega \in \mathcal{F}
(ii) A F A c := Ω A F A F A c := Ω A F A inFLongrightarrowA^(c):=Omega\\A inFA \in \mathcal{F} \Longrightarrow A^{\mathrm{c}}:=\Omega \backslash A \in \mathcal{F}
(iii) ( A n ) n N F n N A n F A n n N F n N A n F (A_(n))_(n inN)subFLongrightarrowuuu_(n inN)A_(n)inF\left(A_{n}\right)_{n \in \mathbb{N}} \subset \mathcal{F} \Longrightarrow \bigcup_{n \in \mathbb{N}} A_{n} \in \mathcal{F}

如果 F F F\mathcal{F} 是一个 σ σ sigma\sigma -代数在 Ω Ω Omega\Omega 上,我们称 ( Ω , F ) ( Ω , F ) (Omega,F)(\Omega, \mathcal{F}) 为可测空间。

引理 1.1.3。任何 σ σ sigma\sigma -代数 F F F\mathcal{F} 都具有以下性质:

 {i} F F O/ inF\varnothing \in \mathcal{F}
(ii) A , B F A B F A , B F A B F A,B inFLongrightarrow A uu B inFA, B \in \mathcal{F} \Longrightarrow A \cup B \in \mathcal{F}
(iii) A , B F A B F A , B F A B F A,B inFLongrightarrow A nn B inFA, B \in \mathcal{F} \Longrightarrow A \cap B \in \mathcal{F}
 (四) ( A n ) n N F n N A n F A n n N F n N A n F (A_(n))_(n inN)subFLongrightarrownnn_(n inN)A_(n)inF\left(A_{n}\right)_{n \in \mathbb{N}} \subset \mathcal{F} \Longrightarrow \bigcap_{n \in \mathbb{N}} A_{n} \in \mathcal{F}
(v) A , B F A B F A , B F A B F A,B inFLongrightarrow A\\B inFA, B \in \mathcal{F} \Longrightarrow A \backslash B \in \mathcal{F}
 证明。练习。

例 1.1.4. 最简单的 σ σ sigma\sigma -代数例子是平凡的 σ σ sigma\sigma -代数 F = { , Ω } F = { , Ω } F={O/,Omega}\mathcal{F}=\{\varnothing, \Omega\} 和幂集 F = 2 Ω F = 2 Ω F=2^(Omega)\mathcal{F}=2^{\Omega} (有时称为离散 σ σ sigma\sigma -代数)。

对于不可数空间 Ω Ω Omega\Omega ,幂集 2 Ω 2 Ω 2^(Omega)2^{\Omega} 通常不是一个好的选择,因为它太大了,无法设计出有意义的度量,使得我们能够一致地为 Ω Ω Omega\Omega 的所有子集分配体积(如果你对原因感兴趣,可以查一下巴拿赫-塔斯基悖论)。相反,我们通常从 Ω Ω Omega\Omega 的一个良好子集族 E E E\mathcal{E} 开始,并在包含 E E E\mathcal{E} 的最小 σ σ sigma\sigma -代数中进行工作。

定义 1.1.5. 设 E E E\mathcal{E} Ω Ω Omega\Omega 的一个子集族。则 σ ( E ) σ ( E ) sigma(E)\sigma(\mathcal{E}) 定义为包含 E E E\mathcal{E} σ σ sigma\sigma -代数中最小的 Ω Ω Omega\Omega ,或者等价地,
σ ( E ) := F A F σ ( E ) := F A F sigma(E):=nnn_(FinA)F\sigma(\mathcal{E}):=\bigcap_{\mathcal{F} \in \mathcal{A}} \mathcal{F}

其中 A = { F 2 Ω : F A = F 2 Ω : F A={Fsub2^(Omega):F:}\mathcal{A}=\left\{\mathcal{F} \subset 2^{\Omega}: \mathcal{F}\right. 是一个 σ σ sigma\sigma -代数和 E F } E F {:EsubF}\left.\mathcal{E} \subset \mathcal{F}\right\} 。族 E E E\mathcal{E} 称为 σ ( E ) σ ( E ) sigma(E)\sigma(\mathcal{E}) 的生成元。


练习 1.1.6. 设 Ω Ω Omega\Omega 是一个可数集, E = { { ω } : ω Ω } E = { { ω } : ω Ω } E={{omega}:omega in Omega}\mathcal{E}=\{\{\omega\}: \omega \in \Omega\} 。证明 σ ( E ) = 2 E σ ( E ) = 2 E sigma(E)=2^(E)\sigma(\mathcal{E})=2^{\mathcal{E}}

For our statistical purposes the by far most important σ σ sigma\sigma-algebra is the Borel σ σ sigma\sigma-algebra B ( R ) B ( R ) B(R)\mathcal{B}(\mathbb{R}) over the real numbers R R R\mathbb{R}, which is defined as
对于我们的统计目的,迄今为止最重要的 σ σ sigma\sigma -代数是实数 R R R\mathbb{R} 上的 Borel σ σ sigma\sigma -代数 B ( R ) B ( R ) B(R)\mathcal{B}(\mathbb{R}) ,其定义为
B ( R ) := σ ( { O R : O open } ) B ( R ) := σ ( { O R : O  open  } ) B(R):=sigma({O subR:O" open "})\mathcal{B}(\mathbb{R}):=\sigma(\{O \subset \mathbb{R}: O \text { open }\})
and we will always implicitly equip R R R\mathbb{R} with this σ σ sigma\sigma-algebra when considering it as a measurable space. The Borel σ σ sigma\sigma-algebra has the following simpler characterisation.
我们在将 R R R\mathbb{R} 视为可测空间时,会始终隐式地为其装备这个 σ σ sigma\sigma -代数。Borel σ σ sigma\sigma -代数有以下更简单的表述。
Lemma 1.1.7. All of the following families of sets are generators of B ( R ) B ( R ) B(R)\mathcal{B}(\mathbb{R}) :
引理 1.1.7. 以下所有集合族都是 B ( R ) B ( R ) B(R)\mathcal{B}(\mathbb{R}) 的生成元:

(i) E 1 = { ( a , b ) : < a b < } E 1 = { ( a , b ) : < a b < } E_(1)={(a,b):-oo < a <= b < oo}\mathcal{E}_{1}=\{(a, b):-\infty<a \leq b<\infty\}  E 1 = { ( a , b ) : < a b < } E 1 = { ( a , b ) : < a b < } E_(1)={(a,b):-oo < a <= b < oo}\mathcal{E}_{1}=\{(a, b):-\infty<a \leq b<\infty\}
(ii) E 2 = { [ a , b ] : < a b < } E 2 = { [ a , b ] : < a b < } E_(2)={[a,b]:-oo < a <= b < oo}\mathcal{E}_{2}=\{[a, b]:-\infty<a \leq b<\infty\}
(iii) E 3 = { ( a , b ] : < a b < } E 3 = { ( a , b ] : < a b < } E_(3)={(a,b]:-oo < a <= b < oo}\mathcal{E}_{3}=\{(a, b]:-\infty<a \leq b<\infty\}
(iv) E 4 = { ( , a ) : a R } E 4 = { ( , a ) : a R } E_(4)={(-oo,a):a inR}\mathcal{E}_{4}=\{(-\infty, a): a \in \mathbb{R}\}
(v) E 5 = { ( , a ] : a R } E 5 = { ( , a ] : a R } E_(5)={(-oo,a]:a inR}\mathcal{E}_{5}=\{(-\infty, a]: a \in \mathbb{R}\}

证明。我们只证明 σ ( E 1 ) = B ( R ) σ E 1 = B ( R ) sigma(E_(1))=B(R)\sigma\left(\mathcal{E}_{1}\right)=\mathcal{B}(\mathbb{R}) ,其余的陈述留作练习。由于任何开区间 ( a , b ) ( a , b ) (a,b)(a, b) R R R\mathbb{R} 中都是开放的,我们有 E 1 { O R : O E 1 { O R : O E_(1)sub{O subR:O\mathcal{E}_{1} \subset\{O \subset \mathbb{R}: O 开放 } } }\} ,因此
σ ( E 1 ) σ ( { O R : O open } ) = B ( R ) σ E 1 σ ( { O R : O  open  } ) = B ( R ) sigma(E_(1))sub sigma({O subR:O" open "})=B(R)\sigma\left(\mathcal{E}_{1}\right) \subset \sigma(\{O \subset \mathbb{R}: O \text { open }\})=\mathcal{B}(\mathbb{R})