第十五讲 条件分布与随机变量的独立性

概率论与数理统计 讲义 NUDT 2023SP

---

---

回顾：联合分布与边缘分布

$$\begin{array}{c|c|c} \hline & \text{pmf/pdf} & \text{cdf}\\ \hline \text{联合} & \begin{aligned} p(x,y)&=P\{X=x,Y=y\}\\ &=F(x,y)+F(x-0,y-0)\\ &\quad\quad -F(x-0,y)-F(x,y-0)\\ f(x,y)&=\frac{\partial^2}{\partial x\partial y}F(x,y) \end{aligned} & \begin{aligned} F(x,y)&=P\{X\leq x,Y\leq y\}\\ &=\left\{\begin{array}{l} \displaystyle\sum\limits_{x_i\leq x,y_j\leq y}p(x_i,y_j)\\ \displaystyle\int_{-\infty}^x\int_{-\infty}^yf(t,s)\mathrm{d}s\mathrm{d}t \end{array}\right. \end{aligned}\\ \hline \text{边缘} & \begin{aligned} p_X(x)&=\sum\limits_yp(x,y)=F_X(x)-F_X(x-0)\\ f_X(x)&=\int_{\mathrm{R}}f(x,y)\mathrm{d}y=\frac{\mathrm{d}}{\mathrm{d}x}F_X(x) \end{aligned} & \begin{aligned} F_X(x)&=F(x,+\infty)\\ &=\left\{\begin{array}{l} \displaystyle\sum\limits_{x_i\leq x}p_X(x_i)\\ \displaystyle\int_{-\infty}^xf_X(t)\mathrm{d}t \end{array}\right. \end{aligned}\\ \hline \end{array}$$

---

15.1 条件分布

设离散型 rv $X,Y$ 的联合分布律为 $p(x,y)$，$X$ 的边缘分布律为 $p_X(x)$.

• 对任意满足 $p_X(x)>0$ 的 $x$, 可定义 $X=x$ 的前提下 $Y$ 的条件分布律 (conditional pmf )

  • $\displaystyle p_{Y|X}(y|x)=\frac{p(x,y)}{p_X(x)},\quad (y\in\mathbb{R})$

• 如果 $X,Y$ 均为连续型 rv，将以上的 pmf 都替换成对应的 pdf，则可定义 $X=x$ 的前提下 $Y$ 的条件概率密度 (conditional pdf).

---

连续型条件概率密度的意义

对连续型 rv $X$,总有 $P\{X=x\}=0$，因此条件概率

$$P\{Y\leq y|X=x\}=\frac{P\{Y\leq y,X=x\}}{P\{X=x\}}$$

从数学形式上看是没有意义的.

• 为此，我们转而定义 $\displaystyle f_{Y|X}(y|x)=\frac{\mathrm{d}}{\mathrm{d}y}\left[\lim\limits_{\Delta x\to 0}P\{Y\leq y|x<X\leq x+\Delta x\}\right]$

---

分析：

• $P\{Y\leq y|x<X\leq x+\Delta x\}$
  
  • $\displaystyle =\frac{P\{Y\leq y,x<X\leq x+\Delta x\}}{P\{x<X\leq x+\Delta x\}}$
  • $\displaystyle =\frac{\displaystyle \int_{-\infty}^{y}\int_{x}^{x+\Delta x}f(u,v)\mathrm{d}u\mathrm{d}v}{\displaystyle \int_{x}^{x+\Delta x}f_X(u)\mathrm{d}u}\quad (\exists\eta_1,\eta_2\in(x,x+\Delta x))$
  • $\displaystyle =\frac{\Delta x\displaystyle \int_{-\infty}^{y}f(\eta_1,v)\mathrm{d}v}{\Delta xf_X(\eta_2)}=\frac{\displaystyle \int_{-\infty}^{y}f(\eta_1,v)\mathrm{d}v}{f_X(\eta_2)}$
  • $\displaystyle \to\frac{\displaystyle \int_{-\infty}^{y}f(x,v)\mathrm{d}v}{f_X(x)}\quad (\Delta x\to 0)$
• $\displaystyle f_{Y|X}(y|x)=\frac{\mathrm{d}}{\mathrm{d}y}\left[\frac{\displaystyle \int_{-\infty}^{y}f(x,v)\mathrm{d}v}{f_X(x)}\right]=\frac{f(x,y)}{f_X(x)}$

---

条件密度的几何意义

取定 $X=x_0$，等价于取联合密度曲面与平面 $x=x_0$ 的交线.

---

联合密度曲面与平面 $x=x_0$ 的交线，是关于 $y$ 的函数 $f(x_0,y)$

---

• $\displaystyle \int_{-\infty}^{+\infty} f(x_0,y) \mathrm{d} y=f(x_0)\ne 1$，说明函数 $f(x_0,y)$ 不满足 pdf 的本征特性，因此不是一个 pdf.
• $\displaystyle f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}$ 满足 pdf 的本征特性.

---

例：求离散型随机变量的条件分布律

从 $1,2,3,4$ 中随机抽取 rv $X$，然后从 $1$ 到 $X$ 的整数中随机抽取 rv $Y$，求 $Y=3$ 的前提下 $X$ 的条件分布律.

---

$$\begin{array}{c|cccc|c} \hline y \;\;\backslash\;\; x & \quad 1\quad & \quad 2\quad & \quad 3\quad & \quad 4\quad & \quad p_Y(y)\quad \\ \hline 1 & \frac{1}{4} & \frac{1}{8} & \frac{1}{12} & \frac{1}{16} & \frac{25}{48}\\ %\hline 2 & 0 & \frac{1}{8} & \frac{1}{12} & \frac{1}{16} & \frac{13}{48}\\ %\hline 3 & 0 & 0 & \frac{1}{12} & \frac{1}{16} & \frac{7}{48}\\ %\hline 4 & 0 & 0 & 0 & \frac{1}{16} & \frac{3}{48}\\ \hline p_X(x) & \frac{1}{4} & \frac{1}{4} & \frac{1}{4} & \frac{1}{4} & 1\\ \hline \end{array}$$

---

解：

$$\begin{array}{l} p_{X|Y}(1|3)=P\{X=1|Y=3\}=\frac{p(1,3)}{p_Y(3)}=\frac{0}{7/48}=0\\ p_{X|Y}(2|3)=P\{X=2|Y=3\}=\frac{p(2,3)}{p_Y(3)}=\frac{0}{7/48}=0\\ p_{X|Y}(3|3)=P\{X=3|Y=3\}=\frac{p(3,3)}{p_Y(3)}=\frac{1/12}{7/48}=\frac{4}{7}\\ p_{X|Y}(4|3)=P\{X=4|Y=3\}=\frac{p(4,3)}{p_Y(3)}=\frac{1/16}{7/48}=\frac{3}{7}\\ \end{array}$$

---

例：求连续型的条件密度函数

已知随机向量 $(X,Y)$ 的密度函数为

$$f(x, y)=\left\{\begin{array}{cc}{6} & {x^{2} \leq y \leq x} \\ {0} & {\text {其他}}\end{array}\right.$$

求 $f_{X|Y}(x|y)$ 和 $f_{Y|X}(y|x)$.

• $f_X(x)=\left\{\begin{array}{cc}6 x(1-x)& 0 \leq x \leq 1 \\ 0& \text {其他}\end{array}\right.$, $f_Y(y)=\left\{\begin{array}{cc}{6(\sqrt{y}-y)} & { 0 \leq y \leq 1} \\ {0} & {\text {其他}}\end{array}\right.$

---

• 当 $0\leq x\leq 1$ 时，
  
  • $f_{Y|X}(y|x)=\left\{\begin{array}{cc}\displaystyle \frac{1}{x(1-x)}& x^2 \leq y \leq x \\ 0& \text {其他}\end{array}\right.$
• 当 $0\leq y\leq 1$ 时，
  
  • $f_{Y|X}(y|x)=\left\{\begin{array}{cc}\displaystyle\frac{1}{\sqrt{y}-y} & { y \leq x \leq \sqrt{y}} \\ {0} & {\text {其他}}\end{array}\right.$

---

15.2 随机变量的独立性

两个随机变量 $X,Y$ 相互独立(independent) 当且仅当，对任意 $x,y$, 总有

$$F(x,y)=F_X(x)\cdot F_Y(y).$$

• **推论：**rv $X,Y$ 相互独立,当且仅当：对任意 $x,y$, 总有
  
  • $p(x,y)=p_X(x)\cdot p_Y(y)$, 若 $X,Y$ 均为离散型 rv
  • $f(x,y)=f_X(x)\cdot f_Y(y)$, 若 $X,Y$ 均为连续型 rv

---

例：离散型随机变量独立性的判断

$$\begin{array}{c|cccc|c} \hline y \;\;\backslash\;\; x & \quad 1\quad & \quad 2\quad & \quad 3\quad & \quad 4\quad & \quad p_Y(y)\quad \\ \hline 1 & \frac{1}{4} & \frac{1}{8} & \frac{1}{12} & \frac{1}{16} & \frac{25}{48}\\ %\hline 2 & 0 & \frac{1}{8} & \frac{1}{12} & \frac{1}{16} & \frac{13}{48}\\ %\hline 3 & 0 & 0 & \frac{1}{12} & \frac{1}{16} & \frac{7}{48}\\ %\hline 4 & 0 & 0 & 0 & \frac{1}{16} & \frac{3}{48}\\ \hline p_X(x) & \frac{1}{4} & \frac{1}{4} & \frac{1}{4} & \frac{1}{4} & 1\\ \hline \end{array}$$

• 由以上 pmf 可知，rv $X,Y$ 不相互独立.

---

例：连续型随机变量独立性的判断

已知 rv $(X,Y)$ 的 pdf

$$f(x, y)=\left\{\begin{array}{cc} 2 \mathrm{e}^{-(2 x+y)}& x \geq 0, y \geq 0\\ 0 & {\text {其他}}\end{array}\right.$$

判断 $X,Y$ 是否相互独立.

---

解：

• $\displaystyle f_{X}(x)=\int_{-\infty}^{\infty} f(x, y) \mathrm{d} y=\left\{\begin{array}{cc}2 \mathrm{e}^{-2 x}& x \geq 0 \\ 0& x<0\end{array}\right.$
• $\displaystyle f_{Y}(y)=\int_{-\infty}^{\infty} f(x, y) \mathrm{d} x=\left\{\begin{array}{cc} \mathrm{e}^{- y}& y \geq 0 \\ 0& y<0\end{array}\right.$
• 因为对任意 $(x,y)\in\mathbb{R}^2$，$f(x, y)=f_{X}(x) f_{Y}(y)$, 故可知 $X,Y$ 相互独立.

---

随机变量独立性的判断准则

定理： 连续型 rv $X,Y$ 相互独立，当且仅当：其联合 pdf 是可分离变量的，即：存在函数 $g(x),h(y)$，使得

$$f(x,y)=g(x)h(y).$$

• 推广：如果联合 pmf/pdf/cdf 是可分离变量的，则两个随机变量相互独立

---

例： $f(x, y)=\left\{\begin{array}{cc}2 \mathrm{e}^{-(2 x+y)}& x \geq 0, y \geq 0\\ 0 & {\text {其他}}\end{array}\right.$

• 提示： 记 ${I_{A\times B}(x,y)=I_A(x)I_B(y).}$
• $f(x,y)=2\mathrm{e}^{-(2 x+y)}I_{[0,\infty)\times[0,\infty)}(x,y)$
  
  • $=2\mathrm{e}^{-2x}I_{[0,\infty)}(x)\cdot \mathrm{e}^{-y}I_{[0,\infty)}(y)=g(x)\cdot h(y)$

---

例：设 rv $(X,Y)$ 的 pdf 为

$$f(x,y)=\left\{\begin{array}{cc} \mathrm{e}^{-y} & 0<x<y \\ 0 & \text{其他} \end{array}\right.$$

判断 $X,Y$ 是否相互独立？

---

提示：

• $f_X(x)=\left\{\begin{array}{cc}\displaystyle \int_x^{\infty}\mathrm{e}^{-y}\mathrm{d}y=\mathrm{e}^{-x} & x>0 \\ 0 & \text{其他} \end{array}\right.$
• $f_Y(y)=\left\{\begin{array}{cc}\displaystyle \int_0^{y}\mathrm{e}^{-y}\mathrm{d}x=y\mathrm{e}^{-y} & y>0 \\ 0 & \text{其他} \end{array}\right.$
• $f(x,y)\ne f_X(x)f_Y(y)$
• 注意：仅由 $f(x,y)$ 的表达式无法判断其是否是可分离变量的，必须要结合其取值的区域共同考虑！

---

从边缘分布到联合分布

• 从 $(X,Y)$ 的联合分布总是可以得到 $X,Y$ 的边缘分布.
• 当 $X,Y$ 相互独立时，由其边缘分布可以唯一确定联合分布.
• 注意： 若 $X,Y$ 不相互独立，则可以构造出无穷多个不同的联合分布函数 $F(x,y)$，使得其对应的边缘分布函数分别为 $F_X(x),F_Y(y)$.

---

由边缘分布函数“构造”联合分布函数

• 设 $X,Y$ 的分布函数分别为 $F_X(x),F_Y(y)$.
• 记 $H_1(x,y)=\max\{0,F_X(x)+F_Y(y)-1\}$，$H_2(x,y)=\min\{F_X(x),F_Y(y)\}$.

• $H(x,y)=cH_1(x,y)+(1-c)H_2(x,y),\;(c\in(0,1)).$

  1. $H(x,y)$ 满足联合分布函数的本征特性.
  2. $H(\infty,y)=cF_Y(y)+(1-c)F_Y(y)=F_Y(y).$
  3. $H(x,\infty)=cF_X(x)+(1-c)F_X(x)=F_X(x).$

---

15.3 多个随机变量的独立性

设 rv $X_i$ 的 cdf 分别为 $F_{X_i}(x_i)\;(i=1,2,\ldots,n)$. $X_i\;(i=1,2,\ldots,n)$ 相互独立，当且仅当：其联合 cdf

$$F\left(x_{1}, x_{2}, \cdots, x_{n}\right)=F_{X_{1}}\left(x_{1}\right) F_{X_{2}}\left(x_{2}\right) \cdots F_{X_{n}}\left(x_{n}\right)$$

---

随机向量的相互独立性

设随机向量 $(X_1,X_2,\ldots,X_m)$，$(Y_1,Y_2,\ldots,Y_n)$ 的 cdf 分比为 $F_1(x_1,x_2,\ldots,x_m)$ 和 $F_2(y_1,y_2,\ldots,y_n)$. $(X_1,X_2,\ldots,X_m)$ 与 $(Y_1,Y_2,\ldots,Y_n)$ 相互独立，当且仅当：其联合 cdf 为

$$F_{1}\left(x_{1}, \cdots, x_{m}\right) \cdot F_{2}\left(y_{1}, \cdots, y_{n}\right)$$

---

试验数据的独立性

定理：若随机向量 $(X_1,\ldots,X_m)$ 与 $(Y_1,\ldots,Y_n)$ 相互独立，则

• 对任意 $i=1,\ldots,m$ 和 $j=1,\ldots,n$, $X_i$ 与 $Y_j$ 相互独立.
• 设 $h,g$ 分别为 $m$ 和 $n$ 元函数，则 $h(X_1,\ldots,X_m)$ 与 $g(Y_1,\ldots,Y_n)$ 相互独立.
  
  • 相互独立的两组数据，经过加工（处理）之后仍然相互独立.

---

例：从不独立到独立

已知 $(X,Y)$ 的密度函数

$$f(x,y)=\frac{1}{4}(1+xy)I_{[-1,1]\times[-1,1]}(x,y)$$

验证：$X,Y$ 不相互独立，但 $X^2,Y^2$ 相互独立.

• 注：如果 $X,Y$ 不相互独立，仍然可以找到函数变换 $g,h$，使得 $g(X),h(Y)$ 相互独立.

---

提示：

• $\displaystyle f_X(x)=\frac{1}{2}I_{[-1,1]}(x)$，$f_Y(y)=\frac{1}{2}I_{[-1,1]}(y).$
• $\displaystyle f_X(x)f_Y(y)=\frac{1}{4}I_{[-1,1]\times[-1,1]}(x,y)\ne f(x,y).$
• 对任意 $s,t\in[0,1]$，
• $\displaystyle P\{X^2\leq s,Y^2\leq t\}=\frac{1}{4}\int_{-\sqrt{s}}^{\sqrt{s}}\int_{-\sqrt{t}}^{\sqrt{t}}(1+xy)\mathrm{d}y\mathrm{d}x$
  
  • $=\sqrt{st}=P\{X^2\leq s\}P\{Y^2\leq t\}$

---

小结

• 条件分布律与条件密度
  
  • $\displaystyle p_{Y|X}(y|x)=\frac{p(x,y)}{p_X(x)},\quad (y\in\mathbb{R})$
  • $\displaystyle f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)},\quad (y\in\mathbb{R})$
• 随机变量相互独立 $\Leftrightarrow$ 由二者所定义的所有事件均相互独立
  
  • 联合分布函数/分布律/密度函数是可以分离变量的

---

The study of mathematics, like the Nile, begins in minuteness but ends in magnificence.
--Charles Caleb Colton

---

---

例：圆盘上的均匀分布

随机变量 $(X,Y)$ 服从圆盘

$$G:x^2+y^2\leq 1$$

上的均匀分布, 试求 $f_{X|Y}(x | y)$，并判断 $X,Y$ 是否相互独立.

---

分析：

• $f(x, y)=\left\{\begin{array}{cc}1 / \pi,& x^{2}+y^{2} \leq 1 \\ 0,& \text {其他}\end{array}\right.$
• $f_{Y}(y)=\displaystyle \int_{-\infty}^{\infty} f(x, y) \mathrm{d} x=\left\{\begin{array}{cc}\displaystyle \frac{2}{\pi} \sqrt{1-y^{2}},&|y|<1 \\ 0,& |y| \geq 1\end{array}\right.$
• 因此, 当 $-1<y<1$ 时,
  
  • $\displaystyle f_{X|Y}(x | y)=\frac{f(x, y)}{f_{Y}(y)}=\left\{\begin{array}{cc}\displaystyle \frac{1}{2 \sqrt{1-y^{2}}},&-\sqrt{1-y^{2}}<x<\sqrt{1-y^{2}} \\ 0,& \quad \text{其他}\end{array}\right.$

---

• $\displaystyle f_{X}(x)=\int_{-\infty}^{\infty} f(x, y) \mathrm{d} y=\left\{\begin{array}{cc}\displaystyle \frac{2}{\pi} \sqrt{1-x^{2}},&|x|<1 \\ 0,& |x| \geq 1\end{array}\right.$
• $f_{X}(x)f_{Y}(y)=\left\{\begin{array}{cc}\displaystyle \frac{4}{\pi^2} \sqrt{1-x^{2}}\sqrt{1-y^{2}},&|x|<1,|y|<1 \\ 0,& \text{其他}\end{array}\right.$
  
  • $\ne \left\{\begin{array}{cc}\displaystyle \frac{1}{\pi},& x^{2}+y^{2} \leq 1 \\ 0,& \text {其他}\end{array}\right.=f(x,y)$
• 综上，$X,Y$ 不相互独立!

---

例：前两次命中的射击次数

• 设某个战士的射击命中率为 $p$.
• 现让其连续射击，直到命中两次时停止.
• 记随机变量 $X,Y$ 分别为其第一次和第二次命中时已经射击的次数.
• 计算 $p_{Y|X}(y|x)$，判断 $X,Y$ 是否相互独立.

---

提示：

• $p(x,y)=\left\{\begin{array}{cc}p^2(1-p)^{y-2}& x<y,(x,y)\in\mathbb{N}^2\\ 0&\text{其他}\end{array}\right.$
• $\displaystyle p_X(x)=\sum\limits_{y=x+1}^{\infty}p^2(1-p)^{y-2}=p(1-p)^{x-1},\;(x=1,2,...)$
• $\displaystyle p_Y(y)=\sum\limits_{x=1}^{y-1}p^2(1-p)^{y-2}=(y-1)p^2(1-p)^{y-2},\;(y=1,2,...)$
• 对 $x\in\mathbb{N}^+$，$p_{Y|X}(y|x)=\left\{\begin{array}{cc}p(1-p)^{y-x-1}& y=x+1,x+2,...\\ 0&\text{其他}\end{array}\right.$

---

例：随机变量向量的函数

• 设 $X\sim\mathrm{Exp}(\lambda), Y\sim\mathrm{Exp}(\mu)$ 相互独立.
• 定义 $Z=\left\{\begin{array}{cc} 1 & X\leq Y,\\ 0 &\text{其他}\end{array}\right.$
• 求 $Z$ 的分布律.

---

提示：

• $f(x,y)=f_X(x)f_Y(y)=\left\{\begin{array}{cc}\lambda\mu\mathrm{e}^{-\lambda x-\mu y}& x,y>0\\ 0&\text{其他}\end{array}\right.$
• $\displaystyle P\{Z=1\}=P\{X\leq Y\}$
  
  • $\displaystyle =\int_0^{\infty}\int_x^{\infty}\lambda\mu\mathrm{e}^{-\lambda x-\mu y}\mathrm{d}y\mathrm{d}x=\frac{\lambda}{\lambda+\mu}$
• $\displaystyle Z\sim\begin{pmatrix} 1 & 0 \\ \frac{\lambda}{\lambda+\mu} & \frac{\mu}{\lambda+\mu} \end{pmatrix}$