第十八讲 条件数学期望

概率论与数理统计 讲义 NUDT 2023SP

---

---

随机变量的条件分布

• 离散型：条件分布律 $\bbox[lightgreen]{p_{x|y}(x|y)=\frac{p(x,y)}{p_Y(y)}}$
  
  • 取值范围：$x\in\{x_1,x_2,...,\}$，前提：$p_Y(y)\ne 0$
• 连续型：条件密度 $\bbox[lightblue]{f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}}$
  
  • 取值范围：$x\in\mathbb{R}$，前提：$f_Y(y)\ne 0$

---

18.1 条件数学期望

• 离散型： 若 $\sum\limits_{x}|x|P_{X|Y}(x|y)<\infty$，则称
  

  $$\bbox[lightgreen]{E(X|Y=y)=\sum\limits_{x}xp_{X|Y}(x|y)}$$
  为 $X$ 对 $Y$ 在 $Y=y$ 条件下的条件数学期望

• 连续型： 若 $\int_{\mathbb{R}} |x|f_{X|Y}(x|y) \mathrm{d} x <\infty$，则称
  

  $$\bbox[lightblue]{E(X|Y=y)=\int_{\mathbb{R}} x\cdot f_{X|Y}(x|y) \mathrm{d} x}$$ 为 $X$ 对 $Y$ 在 $Y=y$ 条件下的条件数学期望

---

条件期望的几何意义

---

例 设 $(X,Y)$ 服从平面区域 $D:0\leq x\leq y\leq 1$ 上的均匀分布，求 $E(X|Y=y)$.

---

提示：

• $f(x,y)=2I_D(x,y)$
• $f_Y(y)=2yI_{[0,1]}(y)$
• $f_{X|Y}(x|y)=\frac{1}{y}I_{[0,y]}(x),\quad 0<y<1$.
• $E(X|Y=y)=\frac{y}{2},\quad 0<y<1.$

---

条件期望的本质

$$\bbox[lightblue]{E(X|Y=y)=\int_{-\infty}^{+\infty} x\cdot f_{X|Y}(x|y) \mathrm{d} x}$$

• $E(X|Y=y)$ 是一个数.
• $E(X|Y=y)$ 的值与 $y$ 有关.
• $y$ 是随机变量 $Y$ 的取值.
• 故 $E(X|Y=y)$ 是某个随机变量的值.
• 将这个随机变量记为 $E(X|Y)$，称为 $X$ 对 $Y$ 的条件期望.

---

例 设 $(X,Y)$ 服从单位圆上的均匀分布，求 $E(X|Y=y)$ 和 $D(X|Y=y)$.

• $\displaystyle f_{X|Y}(x|y)=\left\{\begin{array}{cc} \frac{1}{2\sqrt{1-y^2}} & |x|\leq\sqrt{1-y^2} \\ 0 & \text{其他} \end{array}\right.$
• $E(X|Y=y)=0,\quad (|y|\leq 1)$
• $\displaystyle D(X|Y=y)=\frac{1}{3}(1-y^2),\quad (|y|\leq 1)$

---

18.2 全期望公式

$$\bbox[yellow]{E(X)=E[E(X|Y)]}$$

• 根据随机变量 $Y$ 的类型
  
  • 离散型： $\bbox[lightgreen]{E[E(X|Y)]=\sum\limits_yE(X|Y=y)p_Y(y)}$
  • 连续型： $\bbox[lightblue]{E[E(X|Y)]=\int_{\mathbb{R}} E(X|Y=y)f_Y(y) \mathrm{d} y}$

---

例： 设随机变量 $X$ 有密度函数

$$f_X(x)=\lambda^2x\mathrm{e}^{-\lambda x}I_{[0,\infty)}(x).$$

随机变量 $Y\sim U(0,X)$，求 $E(Y|X)$ 及 $E(Y)$.

---

提示：

• $x>0$ 时，$E(Y|X=x)=\frac{x}{2}$，故 $E(Y|X)=\frac{X}{2}$.
• $E(Y)=E[E(Y|X)]=E\left(\displaystyle\frac{X}{2}\right)$
  
  • $=\frac{1}{2}\int_{0}^{+\infty} \lambda^2x^2\mathrm{e}^{-\lambda x} \mathrm{d} x =\frac{1}{2\lambda}\int_{0}^{+\infty} u^2\mathrm{e}^{-u} \mathrm{d} u$
  • $=\frac{1}{2\lambda}\Gamma(3)=\frac{1}{\lambda}.$

---

全期望公式与全概率公式

• 设 $A$ 是一个事件，其示性函数 $I_A(\omega)=\left\{\begin{array}{cc} 1 & \omega\in A \\ 0 & \omega\notin A \end{array}\right.$
• 进而 $E(I_A)=P(A)$，$E(I_A|Y=y)=P(A|Y=y)$.
• 令 $X=I_A$，代入全期望公式即得全概率公式
  
  • $\displaystyle P(A)=E(I_A)=E[E(I_A|Y)]=\left\{\begin{array}{cc} \bbox[lightgreen]{\sum\limits_yP(A|Y=y)p_Y(y)} & \text{离散型} \\ \bbox[lightblue]{\displaystyle\int_{-\infty}^{+\infty} P(A|Y=y)f_Y(y) \mathrm{d} y} & \text{连续型} \end{array}\right.$

---

连续型的全概率公式

例 如图，在 $\Delta ABC$ 内任取一点 $P$，在其底边 $BC$ 上任取一点 $Q$，求直线 $PQ$ 与 $AB$ 相交的概率.

• 提示： 定义 rv $Z=BQ$
• 事件 $A$：直线 $PQ$ 与 $AB$ 相交
• $A$ 发生，当且仅当 $P\in\Delta ABQ$
• $\displaystyle P(A|Z=z)=\frac{S_{\Delta ABQ}}{S_{\Delta ABC}}=\frac{z}{BC}$
• 由全概率公式 $\displaystyle P(A)=\int_{-\infty}^{+\infty} P(A|Z=z)f_Z(z) \mathrm{d} z$
  
  • $\displaystyle =\int_{0}^{BC} \frac{z}{BC}\frac{1}{BC} \mathrm{d} z =\frac{1}{2}$

---

条件期望的性质

1. 若 $X,Y$ 相互独立，则 $E(X|Y)=E(X)$
2. 对常数 $C$，$E(C|Y)=C$
3. 对任意 $a,b\in\mathbb{R}$, $E(aX_1+bX_2|Y)=aE(X_1|Y)+bE(X_2|Y)$
4. 设 $g(Y)$ 为连续函数，则 $\bbox[lightgreen]{E[g(Y)X|Y]=g(Y)E(X|Y)}$

---

例：顾客的平均消费额

• 设进入某商店的顾客购买商品的概率是 $0.5$.
• 购买商品的顾客的消费金额 $M\sim N(\mu,\sigma^2)$.
• 求每个顾客的平均消费金额.

---

提示：

• 定义事件 $A$：顾客购买商品
• rv $X$ 表示顾客消费的金额，则 $X=0\cdot I_{\overline{A}}+M\cdot I_A=M\cdot I_A$
• 由全期望公式
  
  • $E(X)=E[E(X|I_A)]=E[E(M\cdot I_A|I_A)]$
    
    • $=E(M|I_A=1)]P(I_A=1)+E(0|I_A=0)P(I_A=0)$
    • $\displaystyle =\mu\times\frac{1}{2}+0\times\frac{1}{2}=\frac{1}{2}\mu$

---

例：巴格达窃贼问题

• 某窃贼被关在3个门的地牢中.
• 1号门通向自由，出这个门3小时后便回到地面；
• 2号门通向一个通道，在此通道中走5个小时返回地牢；
• 3号门通向一个更长的通道，在此通道中走7个小时返回地牢；
• 如果窃贼选择3个门的可能性相等，求他为获得自由奔走的平均时长.

---

提示：

• 设窃贼需要走 $X$ 小时到达地面，$Y$ 为其每次选择的门的编号.
• $\displaystyle E(X)=E(E(X|Y))=\sum\limits_{i=1}^3E(X|Y=i)P\{Y=i\}$.
• 由已知 $E(X|Y=1)=3$，$E(X|Y=2)=5+E(X)$，$E(X|Y=3)=7+E(X)$.
• 代入计算 $\displaystyle E(X)=\frac{1}{3}[3+5+E(X)+7+E(X)]$.
• 解得 $E(X)=15$.

---

随机个随机变量之和的期望

定理 假设 $\{X_k\}$为独立同分布的随机变量序列，其期望与方差均存在，分别记为 $E(X),D(X)$. 如果 $Y$ 为取值自然数的随机变量，与每个 $X_k$ 独立，且 $E(Y),D(Y)$ 都存在，则

1. $E\left(\sum\limits_{k=1}^{Y}X_k\right)=E(Y)E(X)$.
2. $D\left(\sum\limits_{k=1}^{Y}X_k\right)=E(Y)D(X)+D(Y)[E(X)]^2$.

---

---

证明：1. $E\left(\sum\limits_{k=1}^{Y}X_k\right)=E(Y)E(X)$.

• $E\left(\sum\limits_{k=1}^{Y}X_k\right)=E\left[E\left(\sum\limits_{k=1}^{Y}X_k\bigg| Y\right)\right]$
  
  • $=\sum\limits_{y=1}^{\infty}E\left(\sum\limits_{k=1}^{Y}X_k\bigg| Y=y\right)P\{Y=y\}=\sum\limits_{y=1}^{\infty}E\left(\sum\limits_{k=1}^{y}X_k\right)P\{Y=y\}$
  • $=\sum\limits_{y=1}^{\infty}yE(X)P\{Y=y\}=E(X)\sum\limits_{y=1}^{\infty}yP\{Y=y\}=E(X)E(Y)$

---

证明：2. $D\left(\sum\limits_{k=1}^{Y}X_k\right)=E(Y)D(X)+D(Y)[E(X)]^2$

• $D\left(\sum\limits_{k=1}^{Y}X_k\right)=\bbox[yellow]{E\left[\left(\sum\limits_{k=1}^{Y}X_k\right)^2\right]}-\left[E\left(\sum\limits_{k=1}^{Y}X_k\right)\right]^2$
• $\bbox[yellow]{E\left[\left(\sum\limits_{k=1}^{Y}X_k\right)^2\right]}=E\left\{E\left[\left(\sum\limits_{k=1}^{Y}X_k\right)^2\Bigg|Y\right]\right\}$
  
  • $=\sum\limits_{y=1}^{\infty}E\left[\left(\sum\limits_{k=1}^{\bbox[lightgreen]{Y}}X_k\right)^2\bigg|Y=y\right]P\{Y=y\}=\sum\limits_{y=1}^{\infty}E\left[\left(\sum\limits_{k=1}^{\bbox[lightgreen]{y}}X_k\right)^2\right]P\{Y=y\}$

---

• 因为 $X_k$ 相互独立，故
• $E\left[\left(\sum\limits_{k=1}^{y}X_k\right)^2\right]=D\left(\sum\limits_{k=1}^{y}X_k\right)+\left[E\left(\sum\limits_{k=1}^{y}X_k\right)\right]^2=yD(X)+y^2\left[E(X)\right]^2$
• $E\left[\left(\sum\limits_{k=1}^{Y}X_k\right)^2\right]=\bbox[yellow]{\sum\limits_{y=1}^{\infty}P\{Y=y\}y}D(X)+\bbox[lightgreen]{\sum\limits_{y=1}^{\infty}P\{Y=y\}y^2}\left[E(X)\right]^2$
  
  • $=\bbox[yellow]{E(Y)}D(X)+\bbox[lightgreen]{E(Y^2)}\left[E(X)\right]^2$
• $D\left(\sum\limits_{k=1}^{Y}X_k\right)=E(Y)D(X)+E(Y^2)\left[E(X)\right]^2-\left[E(Y)E(X)\right]^2$
  
  • $=E(Y)D(X)+D(Y)\left[E(X)\right]^2$

---

例：商店的平均营业额

• 某商店一天内到达的顾客数 $N\sim P(\lambda)$，顾客购买商品的概率是 $0.5$，而购买商品的顾客消费金额 $M\sim N(\mu,\sigma^2)$.
• 假设每个顾客是否购买商品是独立的，且 $N$ 与 $M$ 独立.
• 求商店一天的平均营业额.

---

提示：

• 设每个顾客消费的金额为 $X_i\;(i=1,2,...,N)$
• 由前例 $\displaystyle E(X_i)=\frac{1}{2}\mu$
• $\displaystyle E\left( \sum\limits_{i=1}^NX_i \right)=E(X_i)E(N)=\frac{1}{2}\lambda\mu$

---

18.3 最优预测的构造

定理 设 $X,Y$ 的二阶矩均存在，若以连续函数 $g(Y)$ 作为 $X$ 的预测，则当 $g(Y)=E(X|Y)$ 时均方误差 $E\left\{[X-g(Y)]^2\right\}$ 取最小值.

• 即：对任意 $g(Y)$，总有 $\bbox[lightgreen]{E\left\{[X-E(X|Y)]^2\right\}\leq E\left\{[X-g(Y)]^2\right\}}$.
• 称 $g(y)=E(X|Y=y)$ 为 $X$ 关于 $Y$ 的回归函数.

---

提示： 以连续型为例. 记 $X,Y$ 的联合密度与边缘密度分别为 $f(x,y),f_X(x),f_Y(y)$.

• $E\left[(X-g(Y))^2\right]=E\left\{E\left[(X-g(Y))^2\big|Y\right]\right\}$
  
  • $=\int_{\mathbb{R}}E\left[(X-g(Y))^2\big|Y=y\right]f_Y(y)\mathrm{d}y$
• 其中 $E\left[(X-g(Y))^2\big|Y=y\right]$ 是在 $Y=y$ 条件下 $X$ 的条件分布关于直线 $x=g(y)$ 的转动惯量.
• 由方差的性质，当且仅当 $f(y)=E(X|Y=y)$ 时该值取到最小，为 $D(X|Y=y)$.
• 因为 $f_Y(y)$ 非负，由此即知 $g(Y)=E(X|Y)$ 使得 $E\left\{[X-E(X|Y)]^2\right\}$ 达到最小.

---

二维正态分布

设 $(X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^1,\rho)$，求 $X$ 关于 $Y$ 的回归函数.

• $\displaystyle f(x,y)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\mathrm{exp}\bigg\{-\frac{1}{2(1-\rho^2)}\left[\left(\frac{x-\mu_1}{\sigma_1}\right)^2-2\rho\frac{(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\left(\frac{y-\mu_2}{\sigma_2}\right)^2\right]\bigg\}$
• $\displaystyle f_{X|Y}(x|y)=\frac{1}{\sigma_1\sqrt{2\pi(1-\rho^2)}}\mathrm{exp}\bigg\{-\frac{1}{2\sigma_1^2(1-\rho^2)}\cdot\left[x-\left(\mu_1+\frac{\rho\sigma_1(y-\mu_2)}{\sigma_2}\right)\right]^2\bigg\}$
• 可见 $X$ 关于 $Y$ 的条件分布仍然是正态分布，于是易知所求回归函数
• $g(y)=E(X|Y=y)=\mu_1+\frac{\rho\sigma_1}{\sigma_2}(y-\mu_2)$

---

小结

• 条件期望 $E(X|Y)$ 是随机变量
• 全期望公式
  
  • $E(X)=E[E(X|Y)]=\left\{\begin{array}{ll} \bbox[lightgreen]{\sum\limits_yE(X|Y=y)p_Y(y)} & \text{离散型} \\ \bbox[lightblue]{\displaystyle\int_{-\infty}^{+\infty} E(X|Y=y)f_Y(y) \mathrm{d} y} & \text{连续型} \end{array}\right.$
• 全概率公式
  
  • $P(A)=\left\{\begin{array}{ll} \bbox[lightgreen]{\sum\limits_yP(A|Y=y)p_Y(y)} & \text{离散型} \\ \bbox[lightblue]{\displaystyle\int_{-\infty}^{+\infty} P(A|Y=y)f_Y(y) \mathrm{d} y} & \text{连续型} \end{array}\right.$
• 随机个随机变量之和的期望 $\bbox[lightgreen]{E\left(\sum\limits_{k=1}^{Y}X_k\right)=E(Y)E(X)}$