数理统计讲义笔记：假设检验 数理统计讲义中参数假设检验部分的学习笔记。
发布于 2021年5月28日
假设检验使统计推断的两大类方法之一。当关心的问题不需要给出具体的数字或者区间，而是做判断，这类问题被称之为假设检验问题 Hypothesis Tests。这里讲义中仅讨论参数假设检验。
概念
形式化
H 0 H_0 H 0 H 1 H_1 H 1 参数假设检验基本形式：
设总体来自与某参数分布族{ F ( x , θ ) , θ ∈ Θ } \{F(x, \theta), \theta \in \Theta \} { F ( x , θ ) , θ ∈ Θ } Θ \Theta Θ
假设检验定义为 H 0 : θ ∈ Θ 0 vs. H 1 : θ ∈ Θ 1 H_0: \theta \in \Theta_0 \text{ vs. } H_1: \theta \in \Theta_1 H 0 : θ ∈ Θ 0 vs. H 1 : θ ∈ Θ 1 Θ 0 ≠ ∅ , Θ 1 ⊂ Θ , Θ 0 ∩ Θ 1 = ∅ \Theta_0 \neq \empty, \Theta_1 \subset \Theta, \Theta_0 \cap \Theta_1 = \empty Θ 0 = ∅ , Θ 1 ⊂ Θ , Θ 0 ∩ Θ 1 = ∅ Θ 1 = Θ − Θ 0 \Theta_1=\Theta - \Theta_0 Θ 1 = Θ − Θ 0
两种错误
基于样本数据做出接受/拒绝原假设的判断。由此把样本空间划分为互为补集的两部分：
拒绝域：如果样本数据判断出的参数落在拒绝域则拒绝原假设
接受域：反之，接受原假设
两种错误：
第一类错误：拒真, 概率记为 α = P ( X ∈ 拒绝域 ∣ H 0 ) \alpha = P(X \in 拒绝域 | H_0) α = P ( X ∈ 拒绝域 ∣ H 0 )
第二类错误：纳伪, 概率记为 β = P ( X ∉ 拒绝域 ∣ H 1 ) \beta = P(X \notin 拒绝域 | H_1) β = P ( X ∈ / 拒绝域 ∣ H 1 )
假设检验的核心问题：如果控制犯两类错误的概率
参数假设检验中可以使用功效函数p w ( θ ) pw(\theta) pw ( θ )
α = p w ( θ ) , θ ∈ Θ 0 \alpha = pw(\theta), \theta \in \Theta_0 α = pw ( θ ) , θ ∈ Θ 0 β = 1 − p w ( θ ) , θ ∈ Θ 1 \beta = 1 - pw(\theta), \theta \in \Theta_1 β = 1 − pw ( θ ) , θ ∈ Θ 1 大多数情况下两种错误概率是背道而驰的，样本量不变的情况下，“按下葫芦浮起瓢”：拒绝域选取上，在保证第一类错误概率不超过一定水平(显著性水平)下，选择第二类错误尽可能小的拒绝域
UMP
uniformly most powerful 一致最大功效，一个关于拒绝域的描述性定语
定义W W W α \alpha α α \alpha α W ′ W' W ′ p w ( θ ) ≥ p w ′ ( θ ) , for any θ ∈ Θ 1 pw(\theta) \geq pw'(\theta), \text{for any } \theta \in \Theta_1 pw ( θ ) ≥ p w ′ ( θ ) , for any θ ∈ Θ 1
定义W W W α \alpha α p w ( θ ) ≥ α , for any θ ∈ Θ 1 pw(\theta) \geq \alpha, \text{for any } \theta \in \Theta_1 pw ( θ ) ≥ α , for any θ ∈ Θ 1
定义W W W α \alpha α W W W a l p h a alpha a l p ha
似然比检验
似然比：设L ( x 1 : n ; θ ) L(x_{1:n}; \theta) L ( x 1 : n ; θ ) θ 1 , θ 2 ∈ Θ \theta_1, \theta_2 \in \Theta θ 1 , θ 2 ∈ Θ L R = L ( x 1 : n ; θ 2 ) L ( x 1 : n ; θ 1 ) LR = \frac{L(x_{1:n}; \theta_2)}{L(x_{1:n}; \theta_1)} L R = L ( x 1 : n ; θ 1 ) L ( x 1 : n ; θ 2 )
Neyman-Pearson定理：对于简单假设检验 ，似然比检验得到的拒绝域是UMP
似然比检验得到的拒绝域是无偏的
广义似然比检验：似然比假设推广至复合假设检验
设H 0 : θ ∈ Θ 0 H_0: \theta \in \Theta_0 H 0 : θ ∈ Θ 0 H 1 : θ ∉ Θ 0 H_1: \theta \ \notin \Theta_0 H 1 : θ ∈ / Θ 0 λ ( x 1 : n ) = sup θ ∈ Θ L ( x 1 : n ; θ ) sup θ ∈ Θ 0 L ( x 1 : n ; θ ) = L ( x 1 : n ; θ ^ ) L ( x 1 : n ; θ ^ 0 ) \lambda(x_{1:n}) = \frac{\sup_{\theta \in \Theta}L(x_{1:n}; \theta)}{\sup_{\theta \in \Theta_0}L(x_{1:n}; \theta)} = \frac{L(x_{1:n};\widehat{\theta})}{L(x_{1:n}; \widehat{\theta}_0)} λ ( x 1 : n ) = s u p θ ∈ Θ 0 L ( x 1 : n ; θ ) s u p θ ∈ Θ L ( x 1 : n ; θ ) = L ( x 1 : n ; θ 0 ) L ( x 1 : n ; θ )
其中分子上的参数θ ^ \widehat{\theta} θ
而分母上的参数θ ^ 0 \widehat{\theta}_0 θ 0
广义似然比的拒绝域定义为：W = { x 1 : n : λ ( x 1 : n ) > λ 0 } ， λ 0 ≥ 1 W = \{ x_{1:n}: \lambda(x_{1:n}) > \lambda_0 \}， \lambda_0 \geq 1 W = { x 1 : n : λ ( x 1 : n ) > λ 0 } ， λ 0 ≥ 1
思想：如果原假设成立，则似然函数在原假设参数范围内的最大值应与全局最大值接近，如果相差很大，则有理由拒绝原假设
单参数指数型分布族
为了方便得获得UMP拒绝域得一般形式，尝试用单参数指数型分布族进行建模。
对于x ∈ X x \in \mathcal{X} x ∈ X X X X f ( x ; θ ) = S ( θ ) h ( x ) exp { Q ( θ ) V ( x ) } f(x;\theta) = S(\theta)h(x)\exp\{Q(\theta)V(x)\} f ( x ; θ ) = S ( θ ) h ( x ) exp { Q ( θ ) V ( x )}
变量θ \theta θ Θ = ( a , b ) , − ∞ ≤ a < b ≤ ∞ \Theta=(a,b), -\infin \leq a \lt b \leq \infin Θ = ( a , b ) , − ∞ ≤ a < b ≤ ∞
S ( θ ) > 0 S(\theta) \gt 0 S ( θ ) > 0 x ∈ X , h ( x ) > 0 x \in \mathcal{X}, h(x) \gt 0 x ∈ X , h ( x ) > 0 函数Q ( θ ) Q(\theta) Q ( θ )
很多常见的分布都属于这个范畴：
指数分布： f ( x ; λ ) = λ e − λ x , S ( λ ) = λ , h ( x ) = 1 , Q ( λ ) , V ( x ) = − x f(x;\lambda) = \lambda e^{- \lambda x}, S(\lambda) = \lambda, h(x) = 1, Q(\lambda), V(x) = -x f ( x ; λ ) = λ e − λ x , S ( λ ) = λ , h ( x ) = 1 , Q ( λ ) , V ( x ) = − x
正态分布（σ \sigma σ f ( x ; μ ) = 1 2 π σ e − ( x − μ ) 2 2 σ 2 = 1 2 π σ e − x 2 − 2 μ x + μ 2 2 σ 2 = 1 2 π σ e − x 2 2 σ 2 e μ σ 2 ( x − μ / 2 ) f(x; \mu) = \frac{1}{\sqrt{2\pi} \sigma} e^{-\frac{(x - \mu)^2}{2 \sigma^2}} = \frac{1}{\sqrt{2\pi} \sigma} e^{-\frac{x^2 - 2\mu x + \mu^2}{2 \sigma^2}} = \frac{1}{\sqrt{2\pi} \sigma} e^{- \frac{x^2}{2\sigma^2}} e^{\frac{\mu}{\sigma^2} (x - \mu/2)} f ( x ; μ ) = 2 π σ 1 e − 2 σ 2 ( x − μ ) 2 = 2 π σ 1 e − 2 σ 2 x 2 − 2 μx + μ 2 = 2 π σ 1 e − 2 σ 2 x 2 e σ 2 μ ( x − μ /2 )
正态分布（μ \mu μ Q ( σ ) = − 1 2 σ 2 , V ( x ) = ( x − μ ) 2 Q(\sigma) = - \frac{1}{2\sigma^2}, V(x)=(x - \mu)^2 Q ( σ ) = − 2 σ 2 1 , V ( x ) = ( x − μ ) 2
我们可以在这种分布下给出常见的假设检验UMP/UMPU, 步骤如下：
根据分布写出检验统计量: T ( x 1 : n ) = ∑ i = 1 n V ( X i ) T(x_{1:n}) = \sum_{i=1}^n V(X_i) T ( x 1 : n ) = ∑ i = 1 n V ( X i )
根据假设检验写出拒绝域W W W T ( x 1 : n ) > C , T ( x 1 : n ) < C , T ( x 1 : n ) ∈ ( C 1 , C 2 ) T(x_{1:n}) \gt C, T(x_{1:n}) \lt C, T(x_{1:n}) \in (C_1, C_2) T ( x 1 : n ) > C , T ( x 1 : n ) < C , T ( x 1 : n ) ∈ ( C 1 , C 2 )
根据拒绝域的待定参数C，根据设定的检验水平α \alpha α P θ 0 ( T ( X 1 : n ) ∈ W ) = α P_{\theta_0}(T(X_{1:n}) \in W) = \alpha P θ 0 ( T ( X 1 : n ) ∈ W ) = α
正态总体：
关于期望的检验统计量为n X ˉ n\bar{X} n X ˉ X ˉ \bar{X} X ˉ
关于方差的检验统计量为∑ i = 1 n ( X i − μ ) 2 \sum_{i=1}^n (X_i - \mu)^2 ∑ i = 1 n ( X i − μ ) 2
置信区间
假设参数θ \theta θ [ L ( X 1 : n ) , U ( X 1 : n ) ] [L(X_{1:n}), U(X_{1:n})] [ L ( X 1 : n ) , U ( X 1 : n )] P θ ( θ ∈ [ L , U ] ) = 1 − α , for any θ i n Θ P_\theta (\theta \in [L, U]) = 1 - \alpha, \text{for any } \theta \ in \Theta P θ ( θ ∈ [ L , U ]) = 1 − α , for any θ in Θ H 0 : θ = θ 0 vs. H 1 : θ ≠ θ 0 H_0: \theta = \theta_0 \text{vs. } H_1: \theta \neq \theta_0 H 0 : θ = θ 0 vs. H 1 : θ = θ 0 W ( θ 0 ) W(\theta_0) W ( θ 0 ) P θ 0 ( X 1 : n ∈ W ( θ 0 ) ) = α , for any θ 0 ∈ Θ P_{\theta_0}(X_{1:n} \in W(\theta_0)) = \alpha, \text{for any } \theta_0 \in \Theta P θ 0 ( X 1 : n ∈ W ( θ 0 )) = α , for any θ 0 ∈ Θ
p值
显著水平的重新选择需要重新计算参数空间中的拒绝域，引入p值就是根据样本把问题直接映射到显著水平的概率空间上来，直接与设定的显著水平做比较进行判断。
对于固定的样本集，我们可以计算出一个临界值p值，当p < α p \lt \alpha p < α p ≥ α p \geq \alpha p ≥ α p ( x 1 : n ) = θ ∈ Θ 0 sup P θ ( T ( X 1 : n ) > T ( x 1 : n ) ) p(x_{1:n}) = \mathop{}_{\theta \in \Theta_0}^{\sup} P_\theta(T(X_{1:n}) \gt T(x_{1:n})) p ( x 1 : n ) = θ ∈ Θ 0 s u p P θ ( T ( X 1 : n ) > T ( x 1 : n ))
p值可以视为样本与原假设的相容程度。当p值小于α \alpha α
检验时，可以先看p值，如果很小可以直接拒绝原假设，如果较大，则接受。这样避免考虑α \alpha α
References
Photo by Nika Benedictova on Unsplash