第十七讲 期望、协方差与相关系数

概率论与数理统计 讲义 NUDT 2023SP

---

---

17.1 随机向量的函数的期望

已知 rv $(X,Y)$ 的 pmf $p(x, y)$ 或 pdf $f(x, y)$，函数 $h(X, Y)$ 的期望为

$$E[h(X,Y)]=\left\{\begin{array}{ll} \sum\limits_x\sum\limits_yh(x,y)\cdot p(x,y) & X,Y\text{ 为离散型}\\ \int\limits_{-\infty}^{\infty}\int\limits_{-\infty}^{\infty}h(x,y)\cdot f(x,y)\mathrm{d}x\mathrm{d}y & X,Y\text{ 为连续型} \end{array}\right.$$

---

例： 设 rv $(X,Y)$ 的 pdf 为

$$f(x,y)=\left\{\begin{array}{cc}15xy^2 & 0\leq y\leq x\leq 1\\ 0 & \text{其他}\end{array}\right.$$

求 $E(X),E(Y),E(XY)$.

---

解：

$$\begin{aligned} E(X) &=\iint_{\mathbb{R}^2} x f(x, y) \mathrm{d} x \mathrm{d} y \\ &=\iint_{0 \leq y \leq x \leq 1} x \cdot 15 x y^{2} \mathrm{d} x \mathrm{d} y \\ &=\int_{0}^{1} \int_{0}^{x} 15 x^2 y^{2} \mathrm{d} y\mathrm{d} x =\frac{5}{6} \end{aligned}$$

$$E(Y)=\iint_{\mathbb{R}^2} y f(x, y) \mathrm{d} x \mathrm{d} y=\frac{5}{8}$$

$$E(X Y)=\iint_{\mathbb{R}^2} x y f(x, y) \mathrm{d} x \mathrm{d} y=\frac{15}{28}$$

---

数学期望的线性性

定理：若 rv $X,Y$ 的期望都存在，则

$$E(X+Y)=E(X)+E(Y)$$

• 推论： 设 rv $X_1,X_2,\ldots,X_n$ 都有有限的期望值，则对任意 $a_k\in\mathbb{R}, k=0,1,\ldots,n$
  
  • $\displaystyle E\left(\sum_{k=1}^{n}a_kX_k+a_0\right)=\sum_{k=1}^{n}a_kE(X_k)+a_0$

---

例：二项随机变量的数学期望

设 $X\sim b(n,p)$，求 $E(X)$.

• 记 $X_k\sim b(1,p), k=1,2,\ldots,n$，则 $E(X_k)=p$.
• $\displaystyle X= \sum\limits_{k=1}^{n}X_k$
• $\displaystyle E(X)=E\left(\sum\limits_{k=1}^{n}X_k\right)=\sum\limits_{k=1}^{n}E(X_k)=np$

---

期望与随机变量的独立性

定理：若 rv $X,Y$ 相互独立且期望均存在，则

$$E(X\cdot Y)=E(X)\cdot E(Y)$$

• 注：由 $E(X\cdot Y)=E(X)\cdot E(Y)$ 无法推出 $X,Y$ 相互独立.

---

例：单位圆盘上的均匀分布

设 rv $(X,Y)$ 服从 $G:x^2+y^2\leq 1$ 上的均匀分布, 验证

1. $E(XY)=E(X)E(Y)$
2. $X,Y$ 不相互独立

---

验证 $E(XY)=E(X)E(Y)$

• $f(x,y)=\left\{\begin{array}{cc}\frac{1}{\pi} & x^2+y^2\leq 1\\ 0 & \text{其他}\end{array}\right.$
• $\displaystyle E(X Y)=\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} x y f(x, y) \mathrm{d} x \mathrm{d} y=\iint_{x^{2}+y^{2} \leq 1} x y \frac{1}{\pi} \mathrm{d} x \mathrm{d} y=0$
• $\displaystyle E(X)=\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} x f(x, y) \mathrm{d} x \mathrm{d} y=\iint_{x^{2}+y^{2} \leq 1} x \frac{1}{\pi} \mathrm{d} x \mathrm{d} y=0$

---

验证 $X,Y$ 不相互独立

• $\displaystyle f_X(x)=\int_{-\infty}^{+\infty} f(x,y) \mathrm{d} y = \left\{\begin{array}{cc} \int_{-\sqrt{1-x^2}}^{\sqrt{1-x^2}}\frac{1}{\pi}\mathrm{d}y & |x|\leq 1 \\ 0 & \text{其他} \end{array}\right.=\left\{\begin{array}{cc} \frac{2}{\pi}\sqrt{1-x^2} & |x|\leq 1 \\ 0 & \text{其他} \end{array}\right.$
• $\displaystyle f_Y(y)=\left\{\begin{array}{cc} \frac{2}{\pi}\sqrt{1-y^2} & |y|\leq 1 \\ 0 & \text{其他} \end{array}\right.$
• $\displaystyle f_X(x)f_Y(y)=\left\{\begin{array}{cc} \frac{4}{\pi^2}\sqrt{1-x^2}\sqrt{1-y^2} & |x|\leq 1,|y|\leq 1 \\ 0 & \text{其他} \end{array}\right.$

---

17.2 协方差

若 rv $X,Y$ 的方差都存在，则

• $D(X+Y)=E\left[((X+Y)-E(X+Y))^{2}\right]$
  
  • $=D(X)+D(Y)+2 E[(X-E(X))(Y-E(Y))]$
• 定义 $E[(X-E(X))(Y-E(Y))]$ 为 $X,Y$ 的协方差( covariance )
  
  • 记号：$\mathrm{Cov}(X,Y)$

---

协方差的性质

• $\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)$
• $\mathrm{Cov}(X,X)=D(X)$
• $\mathrm{Cov}(aX,bY)=ab\mathrm{Cov}(X,Y),\quad (a,b\in\mathbb{R})$
• $\mathrm{Cov}(X_1+X_2,Y)=\mathrm{Cov}(X_1,Y)+\mathrm{Cov}(X_2,Y)$
• $\mathrm{Cov}(X,Y)=E(XY)-E(X)E(Y)$
• 思考： 设 $c\in\mathbb{R}$, 则 $\operatorname{Cov}(X, c)=?$

---

协方差与随机变量的独立性

定理：若 rv $X,Y$ 相互独立且方差均存在，则

• $\mathrm{Cov}(X,Y)=0$
• $D(X+Y)=D(X)+D(Y)$

---

协方差的意义

• 若 $\mathrm{Cov}(X,Y)\ne 0$, 则 $X,Y$ 不相互独立.
  
  • 不相互独立，意味着 $X,Y$ 的取值存在某种联系
• 问题：可否/如何度量这种联系的“强度”？
• 例： 任取 $k>1$, 则 $\operatorname{Cov}(k X, k Y)=k^{2} \operatorname{Cov}(X, Y)$
  
  • 如果使用协方差来度量两个随机变量之间的联系，则上式意味着 $kX,kY$ 之间的联系比 $X,Y$ 之间的更强！
  • 由此可见，直接使用协方差来度量两个随机变量之间联系的强度并不完全合适

---

相关系数

随机变量 $X,Y$ 的相关系数 (correlation coefficient) 定义为

$$\rho_{XY}=\frac{\mathrm{Cov}(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$

• 其他记号：$\rho_{X,Y}$，$\mathrm{Corr}(X, Y)$，$\rho$
• 若令 $\displaystyle X^{*}=\frac{X-E(X)}{\sqrt{D(X)}}, Y^{*}=\frac{Y-E(Y)}{\sqrt{D(Y)}}$
  
  • 则 $\rho_{XY}=\mathrm{Cov}(X^*,Y^*)$
  • $X^*,Y^*$ 称为 $X,Y$ 的 标准化随机变量(standardized rv).

---

相关系数的性质

• 对任意的 rv $X,Y$, $|\rho_{X,Y}|\leq 1$.
• 若 $X,Y$ 相互独立，则 $\rho_{X,Y}=0$
  
  • 但是，$\rho_{X,Y}=0$ 无法推出 $X,Y$ 相互独立
• 对任意 $a,b,c,d\in\mathbb{R}$，若 $ac\geq 0$
  
  • 则 $\mathrm{Corr}(aX+b,cY+d)=\mathrm{Corr}(X,Y)$
• $|\rho_{X,Y}|=1$，当且仅当存在 $a,b\in\mathbb{R}$，使得 $Y=aX+b$ 几乎处处（almost everywhere, 缩写：a.e.）成立

---

随机变量的线性相关性

问题：如果用 rv $X$ 的线性函数 $\hat{Y}=aX+b$ 近似 rv $Y$，最好的情况下可以近似到什么程度？

• 以均方方差(mean square error) $e=E\left[(Y-\hat{Y})^{2}\right]$ 作为评价的标准
  
  • $e$ 越小，则近似程度越高
  • 如果存在某一对 $a,b$，使得 $e=0$，则意味着 $Y=\hat{Y}$ 是几乎处处成立的

---

最佳线性近似的求解

• $e$ 可以视为 $a,b$ 的函数，为了使其最小，令 $\bigtriangledown e=0$.
• 也即 $\left\{\begin{array}{l}{\displaystyle \frac{\partial e}{\partial a}=2 a+2 b E(X)-2 E(Y)=0} \\ \displaystyle {\frac{\partial e}{\partial b}=2 b E\left(X^{2}\right)-2 E(X Y)+2 a E(X)=0}\end{array}\right.$
• 解得 $\displaystyle a_{0}=\frac{\operatorname{Cov}(X, Y)}{D(X)}, b_{0}=E(Y)-a_{0} E(X)$.
• $\displaystyle \min _{a, b} e =\min _{a, b} E\left[(Y-(aX+b ))^{2}\right]=E\left[\left(Y-\left(a_{0}X+b_{0} \right)\right)^{2}\right]=\ldots=D(Y)\left(1-\rho_{X Y}^{2}\right)$
• 由上式可知，当且仅当 $|\rho_{XY}|=1$ 时, $e$ 的最小值为 $0$.

---

相关性的意义

• 相关系数刻画了两个随机变量之间线性关系的强弱
• 两个随机变量相互独立，则取值之间不存在任何联系或依赖关系
• 两个随机变量的取值不存在线性关系，并不一定能说明它们之间不存在其他类型的依赖关系

---

例：从线性模型到非线性模型

考虑线性模型： $Y=aX+Z$, 其中 $X\sim N(0,1)$, $Z\sim N(0,1)$ 相互独立. 求 $\rho_{XY}$?

• $\displaystyle \rho_{XY}=\frac{\mathrm{Cov}(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}=\frac{a}{\sqrt{a^2+1}}$
• 讨论： 如果改为二次模型：$Y=aX^2+Z$, $\rho_{XY}$ 会有怎样的变化？

---

17.3 二维正态分布

设 $X_1,X_2$ 相互独立且均服从 $N(0,1)$，则其联合密度函数为

$$f(x_1,x_2)=\frac{1}{2\pi}\exp\left\{-\frac{1}{2}(x_1^2+x_2^2)\right\}$$

• 记 $\boldsymbol{x}=[x_1,x_2]^{\mathrm{T}}$, 则可记 $\displaystyle f(\boldsymbol{x})=\frac{1}{2\pi}\exp\left\{-\frac{1}{2}\boldsymbol{x}^{\mathrm{T}}\boldsymbol{x}\right\}$
• 随机向量 $(X_1,X_2)$ 的分布称为 二维标准正态分布(two dimensional standard normal distribution)

---

一般的二维正态分布

设 $X_1,X_2$ 相互独立且均服从 $N(0,1)$，令

$$\left\{\begin{array}{l}{Y_{1}=a_{11} X_{1}+a_{12} X_{2}+\mu_{1}} \\ {Y_{2}=a_{21} X_{1}+a_{22} X_{2}+\mu_{2}}\end{array}\right.$$

其中 $a_{ij},\mu\in\mathbb{R}$ 且 $\det[a_{ij}]_{2\times 2}\ne 0$.

• $Y_1\sim N(\mu_1,a_{11}^2+a_{12}^2)$
• $Y_2\sim N(\mu_2,a_{21}^2+a_{22}^2)$
• 随机向量 $(Y_1,Y_2)$ 的分布称为二维正态分布

---

记 $\boldsymbol{A}=\left[ \begin{array}{ll}{a_{11}} & {a_{12}} \\ {a_{21}} & {a_{22}}\end{array}\right], \boldsymbol{\mu}=\left[ \begin{array}{c}{\mu_{1}} \\ {\mu_{2}}\end{array}\right], \boldsymbol{y}=\left[ \begin{array}{l}{y_{1}} \\ {y_{2}}\end{array}\right], \boldsymbol{x}=\left[ \begin{array}{l}{x_{1}} \\ {x_{2}}\end{array}\right].$

• 则 $\boldsymbol{y}=\boldsymbol{Ax}+\boldsymbol{\mu}$.
  
  • 若 $\det(\boldsymbol{A})\ne 0$, 则 $\boldsymbol{x}=\boldsymbol{A}^{-1}(\boldsymbol{y}-\boldsymbol{\mu})$.
• $\displaystyle |J|=\left|\frac{\partial\left(x_{1}, x_{2}\right)}{\partial\left(y_{1}, y_{2}\right)}\right|=\left|\frac{\partial\left(y_{1}, y_{2}\right)}{\partial\left(x_{1}, x_{2}\right)}\right|^{-1}=|\det(\boldsymbol{A})|^{-1}=\left[\det\left(\boldsymbol{A}\boldsymbol{A}^{\mathrm{T}}\right)\right]^{-1 / 2}$.
• 于是 $(Y_1,Y_2)$ 的联合密度函数
  
  • $\displaystyle f\left(\boldsymbol{y}\right)=\frac{1}{2\pi\left|\boldsymbol{A A}^{\mathrm{T}}\right|^{1 / 2}} \exp \left\{-\frac{1}{2}(\boldsymbol{y}-\boldsymbol{\mu})^{\mathrm{T}}\left(\boldsymbol{A A}^{\mathrm{T}}\right)^{-1}(\boldsymbol{y}-\boldsymbol{\mu})\right\}$
• 记为: $(Y_1,Y_2)\sim N(\boldsymbol{\mu},\boldsymbol{A A}^{\mathrm{T}})$

---

注记

• 若 $\det(\boldsymbol{A})\ne 0$, 则 $\boldsymbol{A A}^{\mathrm{T}}$ 是正定矩阵
  
  • 此时，可记 $\boldsymbol{A A}^{\mathrm{T}}=\left[ \begin{array}{cc}{\sigma_{1}^{2}} & {\rho \sigma_{1} \sigma_{2}} \\ {\rho \sigma_{1} \sigma_{2}} & {\sigma_{2}^{2}}\end{array}\right]$.
• 由 $\left|\boldsymbol{A A}^{\mathrm{T}}\right|=\sigma_{1}^{2} \sigma_{2}^{2}\left(1-\rho^{2}\right) \geq 0$, 可知 $|\rho|\leq 1$
• 由此可知二维正态分布可由五个相互独立的参数确定：$\mu_{1}, \mu_{2}, \sigma_{1}^{2}, \sigma_{2}^{2}, \rho$
  
  • 因此二维正态分布也记为 $N\left(\mu_{1}, \mu_{2}, \sigma_{1}^{2}, \sigma_{2}^{2}, \rho\right)$

---

二维正态分布的密度函数

$$\begin{aligned} f(\boldsymbol{y})&=f\left(y_{1}, y_{2}\right)\\ &= \frac{1}{2\pi\left|\boldsymbol{A A}^{\mathrm{T}}\right|^{1 / 2}} \exp \left\{-\frac{1}{2}(\boldsymbol{y}-\boldsymbol{\mu})^{\mathrm{T}}\left(\boldsymbol{A A}^{\mathrm{T}}\right)^{-1}(\boldsymbol{y}-\boldsymbol{\mu})\right\}\\ &= \frac{1}{2 \pi \sigma_{1} \sigma_{2} \sqrt{1-\rho^{2}}} \exp \left\{-\frac{1}{2\left(1-\rho^{2}\right)}\left[\left(\frac{y_1-\mu_{1}}{\sigma_{1}}\right)^{2}-2 \rho \frac{\left(y_1-\mu_{1}\right)\left(y_2-\mu_{2}\right)}{\sigma_{1} \sigma_{2}}+\left(\frac{y_2-\mu_{2}}{\sigma_{2}}\right)^{2}\right] \right\} \end{aligned}$$

---

二维正态分布的性质

若 $\left(Y_{1}, Y_{2}\right) \sim N\left(\mu_{1}, \mu_{2}, \sigma_{1}^{2}, \sigma_{2}^{2}, \rho\right)$，则

• $Y_{1} \sim N\left(\mu_{1}, \sigma_{1}^{2}\right), Y_{2} \sim N\left(\mu_{2}, \sigma_{2}^{2}\right)$
• $\rho=\rho_{XY}$
  
  • $\mathrm{Cov}(Y_1,Y_2)=\rho\sigma_1\sigma_2$
• $Y_1,Y_2$ 相互独立当且仅当 $\rho=0$
  
  • 正态随机变量的独立与不相关相互等价
• $b_1^2+b_2^2\ne 0$，则 $b_1Y_1+b_2Y_2$ 仍服从正态分布
  
  • 正态分布的线性组合仍为正态分布

---

不同相关系数下对应的二维正态分布的形态.

---

n 维正态分布

设 $X_1,X_2,\ldots,X_m$ 相互独立均服从 $N(0,1)$, 令

$$\left\{\begin{array}{l}{Y_{1}=a_{11} X_{1}+a_{12} X_{2}+\cdots+a_{1 m} X_{m}+\mu_{1}} \\ {Y_{2}=a_{21} X_{1}+a_{22} X_{2}+\cdots+a_{2 m} X_{m}+\mu_{2}} \\ {\vdots} \\ {Y_{n}=a_{n 1} X_{1}+a_{n 2} X_{2}+\cdots+a_{n m} X_{m}+\mu_{n}}\end{array}\right.,$$

其中矩阵 $[a_{ij}]_{n\times m}$ 行满秩，$\mu_i\in\mathbb{R},\; i=1,2,...,n$, 则随机向量 $\left(Y_{1}, Y_{2}, \cdots, Y_{n}\right)$ 的分布称为 n 维正态分布

---

记 $\boldsymbol{A}=\left[ \begin{array}{cccc} {a_{11}} & {a_{12}} & {\cdots} & {a_{1 m}} \\ {a_{21}} & {a_{22}} & {\cdots} & {a_{2 m}} \\ {\vdots} & {\vdots} & {{ }} & {\vdots} \\ {a_{n 1}} & {a_{n 1}} & {\cdots} & {a_{n m}}\end{array}\right], \boldsymbol{\mu}=\left[ \begin{array}{c}{\mu_{1}} \\ {\mu_{2}} \\ {\vdots} \\ {\mu_{n}}\end{array}\right], \boldsymbol{y}=\left[ \begin{array}{c}{y_{1}} \\ {y_{2}} \\ {\vdots} \\ {y_{n}}\end{array}\right]$

因为 $\boldsymbol{A}$ 行满秩，故 $|\boldsymbol{A A}^{\mathrm{T}}|\ne 0$, 于是 $\left(Y_{1}, Y_{2}, \cdots, Y_{n}\right)$ 的联合密度

$$f\left(\boldsymbol{y}\right)=\frac{1}{2\pi\left|\boldsymbol{A A}^{\mathrm{T}}\right|^{1 / 2}} \exp \left\{-\frac{1}{2}(\boldsymbol{y}-\boldsymbol{\mu})^{\mathrm{T}}\left(\boldsymbol{A A}^{\mathrm{T}}\right)^{-1}(\boldsymbol{y}-\boldsymbol{\mu})\right\}$$

• 记为: $(Y_1,Y_2,\ldots,Y_n)\sim N(\boldsymbol{\mu},\boldsymbol{A A}^{\mathrm{T}})$.

---

多个正态随机变量的独立性

定理：若 $(Y_1,Y_2,\ldots,Y_n)\sim N(\boldsymbol{\mu},\boldsymbol{A A}^{\mathrm{T}})$, 则

$$\begin{aligned} \boldsymbol{A A}^{\mathrm{T}}&=\left[\mathrm{Cov}(Y_i,Y_j)\right]_{n\times n}\\ &=\begin{bmatrix} \mathrm{Cov}(Y_1,Y_1) & \mathrm{Cov}(Y_1,Y_2) & ... & \mathrm{Cov}(Y_1,Y_n) \\ \mathrm{Cov}(Y_2,Y_1) & \mathrm{Cov}(Y_2,Y_2) & ... & \mathrm{Cov}(Y_2,Y_n) \\ ... & ... & ... & ... \\ \mathrm{Cov}(Y_n,Y_1) & \mathrm{Cov}(Y_n,Y_2) & ... & \mathrm{Cov}(Y_n,Y_n) \end{bmatrix} \end{aligned}$$

• $Y_1,Y_2,\ldots,Y_n$ 相互独立，当且仅当 $\boldsymbol{A A}^{\mathrm{T}}$ 为对角阵.

---

协方差阵

对 $n$ 维随机向量 $(Y_1,Y_2,...,Y_n)$，$\left[\mathrm{Cov}(Y_i,Y_j)\right]_{n\times n}$ 称为其对应的 协方差阵(covariance matrix)

• 若记 $\boldsymbol{Y}=[Y_1\;Y_2\;...\;Y_n]^{\mathrm{T}}$，协方差阵通常也记为 $D(\boldsymbol{Y})$ 或 $\mathrm{Cov}(\boldsymbol{Y},\boldsymbol{Y})$
• 定理： 记 $E(\boldsymbol{Y})=[E(Y_1)\;E(Y_2)\;...\;E(Y_n)]^{\mathrm{T}}$，则
  
  • $D(\boldsymbol{Y})=\mathrm{Cov}(\boldsymbol{Y},\boldsymbol{Y})=E[(\boldsymbol{Y}-E(\boldsymbol{Y}))(\boldsymbol{Y}-E(\boldsymbol{Y}))^{\mathrm{T}}]$

---

小结

• 熟练掌握期望和协方差的性质与计算公式
  
  • $\mathrm{Cov}(X,Y)=E(XY)-E(X)E(Y)$
• 理解相关性的含义
  
  • 熟练掌握相关系数的计算公式： $\displaystyle \rho_{XY}=\frac{\mathrm{Cov}(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$
• 理解二维正态分布的性质和参数的含义
  
  • 正态随机变量的线性组合仍为正态随机变量
  • 正态随机变量的相互独立与不相关等价

---

Science is a way of thinking much more than it is a body of knowledge.”
--Carl Sagan