经验分布函数

统计

---

设$x_1, x_2, \cdots, x_n$是取自总体$X$的样本, 其分布函数为$F(x)$, $F(x)$是未知的. 为了估计分布函数$F(x)=P(X\leq x)$, 使用如下统计量

$$F_n(x)=\frac{\#\{i: x_i\leq x\}}{n},$$
其中$\#A$表示集合$A$中元素的个数, 称$F_n(x)$为经验分布函数 (empirical distribution function). 上式中经验分布函数$F_n(x)$的定义体现了用频率近似概率的想法.

如果用$I_A(x)$表示集合$A$的特征函数, 即

$$I_A(x):=\begin{cases} 1, & x\in A,\\ 0, & x\notin A, \end{cases}$$
则经验分布函数$F_n(x)$可以改写成
$$F_n(x)=\frac{1}{n}\sum_{i=1}^nI_{[x_i, \infty)}(x).$$

将样本$x_1, x_2, \cdots, x_n$理解成样本值时, $F_n(x)$是一个分布函数.
设随机变量$W\sim F_n(x)$, 则$W$服从离散分布, 在$\{x_1, x_2, \cdots, x_n\}$内取值, 如果各$x_i$ 互不相同则$W$服从$\{x_1, x_2, \cdots, x_n\}$上的离散均匀分布$P(W=x_i)=\frac{1}{n}$, $i=1,2,\cdots, n$. 如果$\{x_1, x_2, \cdots, x_n\}$中有相同的观测值则其相应的取值概率是$\frac{1}{n}$ 乘以重复次数.
对样本$x_1, x_2, \cdots, x_n$从小到大排序得到$x_{(1)}\leq x_{(2)}\leq \cdots\leq x_{(n)}$, 称为样本的次序统计量. 如果$x_{(1)}< x_{(2)}< \cdots< x_{(n)}$, 易见

$$F_n(x)=\begin{cases} 0, & \textrm{当}\, x< x_{(1)},\\ \dfrac{i}{n}, & \textrm{当}\,x_{(i)}\leq x< x_{(i+1)},\quad i=1,2,\cdots, n-1,\\ 1, & \textrm{当}\, x\geq x_{(n)}. \end{cases}$$

将样本$x_1, x_2, \cdots, x_n$看成随机变量时, $F_n(x)$是样本统计量.
$I_{[x_i, \infty)}(x)$是独立同分布的随机变量, 其共同分布为两点分布$b(1, F(x))$. 由Glivenko-Cantelli定理可知, 当$n\to\infty$时,

$$\sup_{x\in\mathbb R}|F_n(x)-F(x)| \xrightarrow[]{\;\;{\rm a.s.}\;\;} 0.$$
此结果表明$F_n(x)$是$F(x)$的一致强相合估计(uniformly and strongly consistent estimator). 于是当样本容量$n$充分大时, $F_n(x)$能良好地逼近总体分布函数$F(x)$. 这是在统计学中以样本推断总体的依据.

经验分布函数与样本均值的关系

如果随机变量$W\sim F_n(x)$, 显然$W$的期望

$$E(W)=\frac{1}{n}\sum_{i=1}^nx_i=\bar x,$$
即样本均值. 所以样本均值可以理解成服从经验分布的随机变量的数学期望. 样本均值$\bar x$用于估计总体均值$E(X)$, 其本质上是用经验分布函数$F_n(x)$近似总体分布函数$F(x)$. 用经验分布函数$F_n(x)$近似总体分布函数$F(x)$的一个应用是bootstrap方法.

经验分布函数与直方图的关系

直方图 (histogram) 是估计分布密度非常直观简单的方法.

直方图作法

1. 确定区间端点$(a, b)$使得样本值$x_1, x_2, \cdots, x_n$都落入$(a, b)$内;

2. 确定分组数$m$, 用划分点: $a=t_0<t_1<\cdots<t_{m-1}<t_m=b$ 将区间$[a, b]$ 分割成$m$个小区间;

3. 计算样本值落入第$k$个小区间的个数$u_k=\#\{i: t_{k-1}<x_i\leq t_k\}$和频率$u_k/n$;

4. 以$(t_{k-1}, t_k]$为底，$\displaystyle \frac{u_k/n}{t_k-t_{k-1}}$为高画长方形, 这$m$个长方形的顶部为密度估计值.

由直方图的作法可知其对应的密度函数为

$$p_n(x)=\begin{cases} \sum\limits_{k=1}^m \displaystyle \frac{u_k/n}{t_k-t_{k-1}}I_{(t_{k-1}, t_k]}(x), & \text{ when } t_0<x\leq t_m,\\ 0, & \text{ when } x\leq t_0\text{ or }x>t_m, \end{cases}$$
所以在第$k$个小区间上,
$$p_n(x)=\frac{u_k/n}{t_k-t_{k-1}}=\frac{\#\{i: x_i\leq t_k\}-\#\{i: x_i\leq t_{k-1}\}}{n(t_k-t_{k-1})}=\frac{F_n(t_k)-F_n(t_{k-1})}{t_k-t_{k-1}}.$$
经验分布函数$F_n(x)$是分段函数, 不可导. 而直方图定义的密度函数$p_n(x)$恰好是经验分布函数$F_n(x)$对应于划分$\{t_k\}_{k=0}^m$ 的分段差商.

经验分布函数与Rosenblatt直方图的关系

在直方图作法中， 估计$x_0$处的密度$p(x_0)$时其所在区间$(t_{k-1}, t_k]$的所有$p(x)$都估计成同一个值， 这些分点$\{t_k\}$是预先取好的，与要估计$p(x)$的自变量$x$的位置无关.

我们可以针对每一个$x$， 以$x$为中心、$\frac{h}{2}$为半径做小区间$[x-\frac{h}{2}, x+\frac{h}{2}]$, 用

$$\tilde p(x)=\frac{\#(\{x_i:x_i\in[x-\frac{h}{2}, x+\frac{h}{2}]\})/n}{h}$$
来估计$p(x)$. 这个分布密度估计叫做Rosenblatt直方图估计.

如果把上面的区间改为左开右闭区间$(x-\frac{h}{2}, x+\frac{h}{2}]$, $\tilde p(x)$ 与经验分布函数$F_n(x)$恰好满足如下关系：

$$\tilde p(x)=\frac{F_n(x+\frac{h}{2})-F_n(x-\frac{h}{2})}{h},\quad x\in\mathbb R,$$
即$\tilde p(x)$是对经验分布函数用差商近似估计$F(x)$导数的结果.