正态分布

概率论

---

1、正态分布

---

如果随机变量$X$的概率密度为

$$f(x)=\frac{1}{\sqrt{2\pi\sigma}}e^{-\frac{1}{2\sigma ^2}(x-\mu )^2},-\infty<x<+\infty\tag 1$$
其中，$\sigma>0,\sigma,\mu$为常数，则称$X$服从参数为$\sigma,\mu$的正态分布，记作$X\sim N(\mu,\sigma^2)$。

特别地，当$\mu=0,\sigma^2=1$时，称$X$服从标准正态分布，即$X \sim N(0,1)$，其概率密度函数和分布函数分别用$\phi(x),\Phi(x)$表示。

$$\phi(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}},-\infty<x<+\infty\tag 2$$
$$\Phi(x)=\int_{-\infty}^{x}\phi(x)dx=\int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt\tag 3$$

若$X\sim N(\mu,\sigma^2)$，则

1. $Y=aX+b\sim N(a\mu+b,a^2\sigma^2)$，其中$a\neq0,b$为常数；

2. $Y=\frac{X-\mu}{\sigma}\sim N(0,1)$（标准化）

那么
(1) $F(x)=P\{X\leq x\}=P\{\frac{X-\mu}{\sigma}\leq\frac{x-\mu}{\sigma}\}=\Phi(\frac{x-\mu}{\sigma})$
(2) $f(x)=F'(x)=\frac{1}{\sigma}\phi(\frac{x-\mu}{\sigma})$
(3) 对任意区间$[x_1,x_2],P\{X_1<x\leq x_2\}=P\{\frac{x_1-\mu}{\sigma}<X\leq \frac{x_2-\mu}{\sigma}\}=\Phi(\frac{x_1-\mu}{\sigma})-\Phi(\frac{x_2-\mu}{\sigma})$

---

2、二维正态分布

---

设二维随机变量$(X,Y)$的概率密度为

$$f(x,y)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}exp\{-\frac{1}{2(1-\rho^2)}[\frac{(x-\mu_1)^2}{\sigma_1^2}-\frac{2\rho(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}]\},$$
$$-\infty<x<+\infty,-\infty<y<+\infty\tag 4$$
其中，$\mu_1,\mu_2,\sigma_1,\sigma_2,\rho$都是常数，且$\sigma_1>0,\sigma_2>0,-1<\rho<1$，则称$(X,Y)$服从参数为$\mu_1,\mu_2,\sigma_1,\sigma_2,\rho$的二维正态分布，记作$(X,Y)\sim N(\mu_1,\mu_2,\sigma_1,\sigma_2,\rho)$，它是最常见的二维连续型分布，它的图形就好像是一个草帽。

设$(X,Y)服从参数为\mu_1,\mu_2,\sigma_1,\sigma_2,\rho$的二维正态分布，

$$f_X(x)=\frac{1}{\sqrt{2\pi\sigma_1}}e^{-\frac{(x-\mu_1)^2}{2\sigma_1^2}},-\infty<x<+\infty\tag 5$$

$$f_Y(y)=\frac{1}{\sqrt{2\pi\sigma_2}}e^{-\frac{(y-\mu_2)^2}{2\sigma_2^2}},-\infty<y<+\infty\tag 6$$

二维正态分布的两个边缘分布是一维正态分布，并且都不依赖于参数$\rho$，即对于给定的$\mu_1,\mu_2,\sigma_1,\sigma_2$，不同的$\rho$对应不同的二维正态分布，但他们的边缘分布却是一样的。这一事实表明，但有关于$X$和$Y$的边缘分布，一般来说是不能确定随机变量$X$和$Y$的联合分布的。两个边缘分布都是正态分布的二维随机变量，他们的联合分布还可以不是二维正态分布。

设$(X,Y)服从参数为\mu_1,\mu_2,\sigma_1,\sigma_2,\rho$的二维正态分布，

$$f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}=\frac{1}{\sqrt{2\pi}\sqrt{\sigma_1^2(1-\rho^2)}}\cdot exp\{-\frac{1}{2\sigma_1^2(1-\rho^2)}[x-(\mu_1+\rho\frac{\sigma_1}{\sigma_2}(y-\mu_2))]^2\},$$
$$-\infty<x<+\infty\tag 7$$

$$f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}=\frac{1}{\sqrt{2\pi}\sqrt{\sigma_2^2(1-\rho^2)}}\cdot exp\{-\frac{1}{2\sigma_2^2(1-\rho^2)}[y-(\mu_2+\rho\frac{\sigma_2}{\sigma_1}(x-\mu_1))]^2\},$$
$$-\infty<y<+\infty\tag 8$$

以上结果表明，在给定$X=x$下，$Y$的条件概率密度服从正态分布$N(\mu_2+\rho\frac{\sigma_2}{\sigma_1}(x-\mu_1),\sigma_2^2(1-\rho^2))$；在给定$Y=y$下，$X$的条件概率正态分布$N(\mu_1+\rho\frac{\sigma_1}{\sigma_2}(y-\mu_2),\sigma_1^2(1-\rho^2))$。
注：联合分布唯一确定边缘分布和条件分布，反之，边缘分布和条件分布都不能唯一确定联合分布，但一个条件分布和对应的边缘分布一起，能唯一确定联合分布，这是因为$f(x,y)=f_x(x)f_{Y|X}(y|x)$。

设$(X,Y)$是二维正态随机变量，它的概率密度为

$$f(x,y)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}exp\{-\frac{1}{2(1-\rho^2)}[\frac{(x-\mu_1)^2}{\sigma_1^2}-\frac{2\rho(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}]\}$$
证明$X$与$Y$相互独立的充要条件为$\rho=0$。

证
(1) 随机变量$X$边缘密度函数为

$$f_X(x)=\frac{1}{\sqrt{2\pi\sigma_1}}e^{\frac{(x-\mu_1)^2}{2\sigma_1^2}},-\infty<x<+\infty$$

又随机变量$Y$边缘密度函数为

$$f_Y(y)=\frac{1}{\sqrt{2\pi\sigma_2}}e^{\frac{(y-\mu_2)^2}{2\sigma_2^2}},-\infty<y<+\infty$$

所以当$rho=0$时，$(X,Y)$的联合密度函数为

$$f(x,y)=\frac{1}{2\pi\sigma_1\sigma_2}exp\{-\frac{1}{2}[\frac{(x-\mu_1)^2}{\sigma_1^2}+\frac{(y-\mu_2)^2}{\sigma_2^2}]\}=f_X(x)\cdot f_Y(y)$$
这表明随机变量$X$和$Y$相互独立。

(2) 反之,如果随机变量$X$和$Y$相互独立，则对于任意的实数$x,y$有

$$f(x,y)=f_X(x)\cdot f_Y(y)$$

特别地，有

$$f(\mu_1,\mu_2)=f_X(\mu_1)\cdot f_Y(\mu_2)$$

即

$$\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}=\frac{1}{\sqrt{2\pi}\sigma_1}\cdot \frac{1}{\sqrt{2\pi}\sigma_2}$$
由此得$\rho=0$

---

3、正态分布的重要性质

---

$$EX=\mu \tag 9$$
$$DX=\sigma^2 \tag {10}$$

若$X_i\sim N(\mu_i,\sigma_i^2)(i=1,2,\cdots,n)$且它们相互独立，则他们的线性组合

$$a_1X_1+a_2+X_2+\cdots+a_nX_n$$
（其中$a_1,a_2,\cdots,a_n$是不全为0的常数）仍服从正态分布，即
$$a_1X_1+a_2+X_2+\cdots+a_nX_n\sim N(\sum_{i=1}^{n}a_i\mu_i,\sum_{i=1}^na_i^2\sigma_i^2)\tag {11}$$