这篇 blog 我们讨论一下统计里的 unbiasedness 与 consistency。这是我们在衡量一个 estimator 的时候，经常用，也可以说是最重要的两个指标。本文的主要内容也还是依据《Mathematical Statistics and Data Analysis, 3rd Ed.》这本书。

Unbiasedness (无偏性)

1. 定义 (Definition)

教材在第7章的7.3.1节和第8章的8.4节中都提到了这个概念。一个估计量 θ^\hat{\theta} 如果被称为是参数 θ\theta 的无偏估计量，那么它的期望值（即其抽样分布的均值）必须等于它所估计的真实参数值。

用数学公式表达就是：

E(θ^)=θE(\hat{\theta}) = \theta

如果 E(θ^)≠θE(\hat{\theta}) \neq \theta，那么这个估计量就是有偏的 (biased) ，其偏差为 E(θ^)−θE(\hat{\theta}) - \theta。

2. 直观解释

无偏性是一个关于**“平均”的概念。它并不意味着你某一次抽样计算出的估计值 θ^\hat{\theta} 就等于真实值 θ\theta。它意味着，如果你可以无数次重复整个抽样过程**，每次都计算出一个估计值，那么所有这些估计值的平均数将会精确地等于真实的参数值 θ\theta。

换句话说，一个无偏的估计程序在长期来看，既不会系统性地高估，也不会系统性地低估真实参数。它的误差是随机的，而不是系统性的。

3. 书中的例子

  • 样本均值 Xˉ\bar{X} 是总体均值 μ\mu 的无偏估计量：这是最经典的例子。书中在第 7 章的定理 A (7.3.1节) 证明了 E(Xˉ)=μE(\bar{X}) = \mu。
  • 样本方差 s2s^2 是总体方差 σ2\sigma^2 的无偏估计量：当样本方差定义为 s2=1n−1∑(Xi−Xˉ)2s^2 = \frac{1}{n-1}\sum(X_i - \bar{X})^2 时，它是无偏的。书中在第 8 章的例 B (8.4节) 和第 7 章的定理 A (7.3.2节) 提到，如果分母是 nn（即 σ^2=1n∑(Xi−Xˉ)2\hat{\sigma}^2 = \frac{1}{n}\sum(X_i - \bar{X})^2），那么这个估计量就是有偏的，它会系统性地低估真实的方差 σ2\sigma^2。这正是为什么我们在计算样本方差时使用 n−1n-1 作为分母的原因。

4. 局限性

一个无偏的估计量不一定就是一个“好”的估计量。它可能虽然“平均正确”，但方差很大，导致任何单次的估计值都可能离真实值很远。

Consistency (一致性 / 相合性)

1. 定义 (Definition)

教材在第8章的8.4节明确定义了一致性。一个估计量 θ^n\hat{\theta}_n（下标 nn 强调它依赖于样本量）如果被称为是参数 θ\theta 的一致估计量，那么当样本量 nn 趋向于无穷大时，这个估计量会依概率收敛 (converge in probability) 到真实的参数值 θ\theta。

用数学公式表达就是，对于任何一个极小的正数 ϵ>0\epsilon > 0：

lim⁡n→∞P(∣θ^n−θ∣>ϵ)=0\lim_{n\to\infty} P(|\hat{\theta}_n - \theta| > \epsilon) = 0

我们有的时候会用下面这个 notation 来代表 converge in probability：

θ^n→Pθ\hat{\theta}_n \xrightarrow{P} \theta

2. 直观解释

一致性是一个关于大样本的性质。它告诉我们一个非常重要的保证：只要你有足够多的数据，你的估计值就会任意地接近真实的参数值。

换句话说，随着你收集的数据越来越多，你的估计量会变得越来越精确，最终“锁定”在真实参数值上。一个不具备一致性的估计量是不可取的，因为它意味着即使你拥有海量数据，你的估计值也可能始终偏离真实值。

3. 书中的例子

  • 大数定律 (Law of Large Numbers)：这是体现一致性的最核心的定理。书中第 5 章的定理 A (5.2节) 指出，样本均值 Xˉn\bar{X}_n 依概率收敛于总体均值 μ\mu。这正是说，样本均值是总体均值的一个一致估计量。
  • 矩估计量 (MoM) 和最大似然估计量 (MLE)：书中在第 8 章提到，在适当的条件下，这两种方法产生的估计量通常都具有一致性。

总结与对比

为了更清晰地区分这两个概念，我们可以用一个表格和比喻来总结：

特性 无偏性 (Unbiasedness) 一致性 (Consistency)
核心问题 估计量的抽样分布是否中心对准了真实参数？ 随着样本量增大，估计量的抽样分布是否收缩到真实参数上？
样本量 有限样本性质 (对任意 nn 都成立) **大样本（渐近）**性质 (只在 n→∞n \to \infty 时有保证)
衡量标准 期望值 (E(θ^)=θE(\hat{\theta}) = \theta) 依概率收敛 (θ^n→Pθ\hat{\theta}_n \xrightarrow{P} \theta)
直观比喻 射击平均准：一个射手可能打得很散（方差大），但所有弹孔的平均中心正好是靶心。 射击最终准：一个射手可能开始打得有点偏（有偏），但随着练习（数据增多），他的弹着点越来越集中于靶心。

两者关系：

  • 无偏不一定一致：如果一个无偏估计量的方差不随着样本量增大而减小到0，那么它就不是一致的。
  • 有偏但可能一致：一个估计量可能在有限样本下是有偏的，但只要它的偏差随着 n→∞n \to \infty 而趋近于0，并且其方差也趋近于0，它就是一致的。例如，正态分布方差的MLE σ^2=1n∑(Xi−Xˉ)2\hat{\sigma}^2 = \frac{1}{n}\sum(X_i-\bar{X})^2 是有偏的，但它是一致的。
  • 理想情况：最好的估计量是既无偏又一致的，例如样本均值 Xˉ\bar{X}。