概率论与数理统计笔记 第四章 随机变量的数字特征

概率论与数理统计笔记（计算机专业） 作者：catpub 新浪微博：@catpub

课程：中国大学MOOC浙江大学概率论与数理统计

部分平台可能无法显示公式，若公式显示不正常可以前往CSDN或作业部落进行查看

前往知乎查看目录与导航

第27讲 随机变量的数学期望

• 离散型
  
  • $$P(X=x_k)=p_k\ k=1,2,...$$
  • $$E(X)=\sum_{k=1}^{+\infty}x_k p_k$$
  • 要求 $E(X)$ 绝对收敛
  • 拓展：绝对收敛与条件收敛
    
    • 如果级数 $$\sum U_n$$ 收敛，而 $$\sum |U_n|$$ 发散，则称级数 $$\sum U_n$$ 条件收敛
    • 如 $$(-1)^k\cdot \frac{1}{x}$$ 条件收敛，但他的期望不存在
• 连续型
  
  • $$E(X)=\int_{-\infty}^{+\infty}xf(x)dx$$
  • 要求 $E(X)$ 绝对收敛
• 常见分布的期望
  
  • $$X\sim 0-1(p),E(X)=p$$
  • $$X\sim \pi(\lambda),E(X)=\lambda$$
  • $$X\sim N(\mu,\sigma^2),E(X)=\mu$$
  • $$X\sim E(\lambda),E(X)=\frac{1}{\mu}$$
  • $$X\sim B(n,p),E(X)=np$$
  • $$X\sim G(p),E(X)=(1/p)$$
  • $$X\sim U(a,b),E(X)=\frac{a+b}{2}$$

第28讲 随机变量函数的数学期望

• 离散型
  
  • $$E(Y)=E[g(X)]=\sum_{k=1}^{\infty}g(x_k)p_k$$
  • 要求 $E(Y)$ 绝对收敛
• 连续型
  
  • $$E(Y)=E[g(X)]=\int_{-\infty}^{+\infty}g(x)f(x)dx​$$
  • 要求 $E(Y)$ 绝对收敛
• 提示：已知一个分布，求他的函数的分布，利用以上公式，无需再求一次概率密度
• 二元离散型
  
  • $$E(Z)=E[h(X,Y)]=\sum_{i=1}^{\infty}\sum_{j=1}^{\infty}h(x_i,y_j)p_{ij}$$
• 二元连续型
  
  • $$E(Z)=E[h(X,Y)]=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}h(x,y)f(x,y)dxdy$$
  • 特别的
  • $$E(X)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}xf(x,y)dxdy$$

第29讲 数学期望的性质

• 数学期望的性质
  
  • 设 $c$ 是常数，则有 $E(c)=c$
  • 设 $X$ 是一个随机变量，$c$ 是常数，则有 $E(cX)=xE(X)$
  • 设 $X,Y​$ 是两个随机变量，则有 $E(X+Y)=E(X)+E(Y)​$
  • 设 $X,Y$ 是相互独立的两个随机变量，则有
  • $E(XY)=E(X)E(Y)$
  • 上述运算均可推广至 $n$ 个随机变量运算

第30讲 方差定义和计算公式

• 方差
  
  • $$D(X)=Var(X)=E\{[X-E(X)^2]\}$$
• 标准差
  
  • $$\sigma(X)=\sqrt{D(X)}$$
• 离散型
  
  • $$D(X)=\sum_{i=1}^{+\infty}[x_i-E(X)]^2p_2$$
• 连续型
  
  • $$D(X)=\int_{-\infty}^{+\infty}[x-E(X)]^2f(x)dx$$
• 计算公式
  
  • $$D(X)=E(X^2)-[E(X)]^2$$
• 常见分布的方差（一）
  
  • $$X\sim 0-1(p),E(X)=p,D(X)=p(1-p)$$
  • $$X\sim \pi(\lambda),E(X)=\lambda,D(X)=\lambda$$
  • $$X\sim N(\mu,\sigma^2),E(X)=\mu,D(X)=\sigma^2$$
  • $$X\sim E(\lambda),E(X)=\frac{1}{\mu},D(X)=\frac{1}{\lambda^2}$$
  • $$X\sim B(n,p),E(X)=np,D(X)=np(1-p)$$

第31讲 方差的性质

• 方差的性质
  
  • 设 $c$ 是常数，则有 $D(c)=0$
  • 设 $X$ 是一个随机变量，$c$ 是常数，则有 $D(cX)=c^2D(X)$
  • 设 $X,Y$ 是两个随机变量，则有 $D(X+Y)=D(X)+D(Y)+2\cdot Cov$
  • $Cov=E\{[X-E(X)][Y-E(Y)]\}$
  • 设 $X,Y$ 是相互独立的两个随机变量，则
  • $D(X+Y)=D(X)+D(Y)$
  • 上述运算均可推广至 $n$ 个随机变量运算
• 此处可证明第二章第15讲的正态分布的性质
  
  • 若 $X_i\sim N(\mu_i,\sigma_i^2)$ 且他们相互独立，则它们的线性组合
  • $$c_0+c_1X_1+c_2X_2+...+c_nX_n\\ \sim N(c_0+c_1\mu_1+...+c_n\mu_n,c_1^2\sigma_2^2+c_2\sigma_2^2+...+c_n^2\sigma_n^2)$$
• 标准化变量
  
  • $$X^*=\frac{X-\mu}{\sigma}$$
  • 性质
  • $$E(X^*)=0$$
  • $$D(X^*)=1$$
  • 标准化的变量是没有量纲的

第32讲 协方差与相关系数

• 协方差 Covariance
  
  • $$Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}$$
  • $Cov(X,Y)>0$，$X$ 与 $Y$ 正相关
  • $Cov(X,Y)<0$，$X$ 与 $Y$ 负相关
  • $Cov(X,Y)=0$，$X$ 与 $Y$ 不相关
  • $$Cov(X,Y)=E(XY)-E(X)E(Y)$$
• 协方差的性质
  
  • $$Cov(X,Y)=Cov(Y,X)$$
  • $$Cov(X,X)=D(X)$$
  • $$Cov(aX,bY)=ab\cdot Cov(X,Y)$$
  • $$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$$
• 相关系数 Correlation coefficient
  
  • $$\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}}$$
  • $$\rho_{XY}=Cov(X^*,Y^*)$$
  • 提示：$X^*$ 与 $Y^*$ 的概念在上一讲有提到
  • $$X^*=\frac{X-E(X)}{\sqrt{D(X)}}$$
  • 相关系数的性质
  • $$|\rho_{XY}|\leq 1$$
  • $$|\rho_{XY}|=1\Leftrightarrow P(Y=a+bX)=1$$
    
    • 即当相关系数为 $1$ 时，表明 $X,Y$ 之间有严格的线性关系
    • 当相关系数为 $0$ 时，$X,Y$ 不相关

第33讲 不相关与独立

• 不相关 Uncorrelated
  
  • $\rho_{XY}=0$
• 独立
  
  • 第三章已说明
  • $$P(X=x_i,Y=y_j)=P(X=x_i)P(Y=y_j)$$
  • $$f(x,y)=f_X(x)f_Y(y)$$
• 独立一定不相关，但不相关不一定独立
  
  • 不相关其实是描述线性不相关
• 正态分布的独立性和相关性是相同的

第34讲 矩，协方差矩阵，多元正态分布的性质

• 矩
  
  • $E(X^k)$ 存在，则称为 $X$ 的 $k$ 阶（原点）矩
  • $E\{[X-E(X)]^k\}$ 存在，则成为 $X$ 的 $k$ 阶中心矩
  • 之前提到的随机变量的期望和方差就是其 $1$ 阶原点矩和 $2$ 阶中心矩
• 协方差矩阵 Covariance Matrix
  
  • $$C=Cov(\tilde x)=\begin{pmatrix}D(X_1)&Cov(X_1,X_2)&...&Cov(X_1,X_n)\\Cov(X_2,X_1)&D(X_2)&...&Cov(X_2,X_n)\\ \vdots&\vdots&\vdots&\vdots\\Cov(X_n,X_1)&Cov(X_n,X_2)&\cdots&D(X_n) \end{pmatrix}$$
• $n$ 元正态随机变量的联合概率密度的矩阵表示
  
  • 列向量 $x=(x_1,x_2,\cdots,x_n)^T,\tilde\mu=(E(X_1),E(X_2),\cdots,E(X_n))^T$
  • 它的协方差矩阵为 $C=(C_{ij})_{n\times n},c_{ij}=Cov(X_i,X_j)$
  • 则其联合概率密度为
  • $$f(x_1,x_2,\cdots,x_n)=\frac{1}{(2\pi)^{\frac{n}{2}}|C|^{\frac{1}{2}}}\cdot exp\{-\frac{1}{2}(x-\tilde \mu)^TC^{-1}(x-\tilde\mu)\}$$
• 以上略有难度，无需详细掌握

• $n​$ 元正态随机变量的重要性质

  • 对于 $$\tilde X=(X_1,X_2,...,X_n)^T$$
  • 任意切片是正态随机变量
  • 任意线性组合服从一元正态分布
  • $X_n$ 相互独立 $\Leftrightarrow$ $X_n$ 两两不相关 $\Leftrightarrow$ $\tilde X$ 的协方差矩阵为对角矩阵## 第27讲 随机变量的数学期望

• 离散型

  • $$P(X=x_k)=p_k\ k=1,2,...$$
  • $$E(X)=\sum_{k=1}^{+\infty}x_k p_k$$
  • 要求 $E(X)$ 绝对收敛
  • 拓展：绝对收敛与条件收敛
    
    • 如果级数 $$\sum U_n$$ 收敛，而 $$\sum |U_n|$$ 发散，则称级数 $$\sum U_n$$ 条件收敛
    • 如 $$(-1)^k\cdot \frac{1}{x}$$ 条件收敛，但他的期望不存在
• 连续型
  
  • $$E(X)=\int_{-\infty}^{+\infty}xf(x)dx$$
  • 要求 $E(X)$ 绝对收敛
• 常见分布的期望
  
  • $$X\sim 0-1(p),E(X)=p$$
  • $$X\sim \pi(\lambda),E(X)=\lambda$$
  • $$X\sim N(\mu,\sigma^2),E(X)=\mu$$
  • $$X\sim E(\lambda),E(X)=\frac{1}{\mu}$$
  • $$X\sim B(n,p),E(X)=np$$
  • $$X\sim G(p),E(X)=(1/p)$$
  • $$X\sim U(a,b),E(X)=\frac{a+b}{2}$$

第28讲 随机变量函数的数学期望

• 离散型
  
  • $$E(Y)=E[g(X)]=\sum_{k=1}^{\infty}g(x_k)p_k$$
  • 要求 $E(Y)$ 绝对收敛
• 连续型
  
  • $$E(Y)=E[g(X)]=\int_{-\infty}^{+\infty}g(x)f(x)dx​$$
  • 要求 $E(Y)$ 绝对收敛
• 提示：已知一个分布，求他的函数的分布，利用以上公式，无需再求一次概率密度
• 二元离散型
  
  • $$E(Z)=E[h(X,Y)]=\sum_{i=1}^{\infty}\sum_{j=1}^{\infty}h(x_i,y_j)p_{ij}$$
• 二元连续型
  
  • $$E(Z)=E[h(X,Y)]=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}h(x,y)f(x,y)dxdy$$
  • 特别的
  • $$E(X)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}xf(x,y)dxdy$$

第29讲 数学期望的性质

• 数学期望的性质
  
  • 设 $c$ 是常数，则有 $E(c)=c$
  • 设 $X$ 是一个随机变量，$c$ 是常数，则有 $E(cX)=xE(X)$
  • 设 $X,Y​$ 是两个随机变量，则有 $E(X+Y)=E(X)+E(Y)​$
  • 设 $X,Y$ 是相互独立的两个随机变量，则有
  • $E(XY)=E(X)E(Y)$
  • 上述运算均可推广至 $n$ 个随机变量运算

第30讲 方差定义和计算公式

• 方差
  
  • $$D(X)=Var(X)=E\{[X-E(X)^2]\}$$
• 标准差
  
  • $$\sigma(X)=\sqrt{D(X)}$$
• 离散型
  
  • $$D(X)=\sum_{i=1}^{+\infty}[x_i-E(X)]^2p_2$$
• 连续型
  
  • $$D(X)=\int_{-\infty}^{+\infty}[x-E(X)]^2f(x)dx$$
• 计算公式
  
  • $$D(X)=E(X^2)-[E(X)]^2$$
• 常见分布的方差（一）
  
  • $$X\sim 0-1(p),E(X)=p,D(X)=p(1-p)$$
  • $$X\sim \pi(\lambda),E(X)=\lambda,D(X)=\lambda$$
  • $$X\sim N(\mu,\sigma^2),E(X)=\mu,D(X)=\sigma^2$$
  • $$X\sim E(\lambda),E(X)=\frac{1}{\mu},D(X)=\frac{1}{\lambda^2}$$
  • $$X\sim B(n,p),E(X)=np,D(X)=np(1-p)$$

第31讲 方差的性质

• 方差的性质
  
  • 设 $c$ 是常数，则有 $D(c)=0$
  • 设 $X$ 是一个随机变量，$c$ 是常数，则有 $D(cX)=c^2D(X)$
  • 设 $X,Y$ 是两个随机变量，则有 $D(X+Y)=D(X)+D(Y)+2\cdot Cov$
  • $Cov=E\{[X-E(X)][Y-E(Y)]\}$
  • 设 $X,Y$ 是相互独立的两个随机变量，则
  • $D(X+Y)=D(X)+D(Y)$
  • 上述运算均可推广至 $n$ 个随机变量运算
• 此处可证明第二章第15讲的正态分布的性质
  
  • 若 $X_i\sim N(\mu_i,\sigma_i^2)$ 且他们相互独立，则它们的线性组合
  • $$c_0+c_1X_1+c_2X_2+...+c_nX_n\\ \sim N(c_0+c_1\mu_1+...+c_n\mu_n,c_1^2\sigma_2^2+c_2\sigma_2^2+...+c_n^2\sigma_n^2)$$
• 标准化变量
  
  • $$X^*=\frac{X-\mu}{\sigma}$$
  • 性质
  • $$E(X^*)=0$$
  • $$D(X^*)=1$$
  • 标准化的变量是没有量纲的

第32讲 协方差与相关系数

• 协方差 Covariance
  
  • $$Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}$$
  • $Cov(X,Y)>0$，$X$ 与 $Y$ 正相关
  • $Cov(X,Y)<0$，$X$ 与 $Y$ 负相关
  • $Cov(X,Y)=0$，$X$ 与 $Y$ 不相关
  • $$Cov(X,Y)=E(XY)-E(X)E(Y)$$
• 协方差的性质
  
  • $$Cov(X,Y)=Cov(Y,X)$$
  • $$Cov(X,X)=D(X)$$
  • $$Cov(aX,bY)=ab\cdot Cov(X,Y)$$
  • $$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$$
• 相关系数 Correlation coefficient
  
  • $$\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}}$$
  • $$\rho_{XY}=Cov(X^*,Y^*)$$
  • 提示：$X^*$ 与 $Y^*$ 的概念在上一讲有提到
  • $$X^*=\frac{X-E(X)}{\sqrt{D(X)}}$$
  • 相关系数的性质
  • $$|\rho_{XY}|\leq 1$$
  • $$|\rho_{XY}|=1\Leftrightarrow P(Y=a+bX)=1$$
    
    • 即当相关系数为 $1$ 时，表明 $X,Y$ 之间有严格的线性关系
    • 当相关系数为 $0$ 时，$X,Y$ 不相关

第33讲 不相关与独立

• 不相关 Uncorrelated
  
  • $\rho_{XY}=0$
• 独立
  
  • 第三章已说明
  • $$P(X=x_i,Y=y_j)=P(X=x_i)P(Y=y_j)$$
  • $$f(x,y)=f_X(x)f_Y(y)$$
• 独立一定不相关，但不相关不一定独立
  
  • 不相关其实是描述线性不相关
• 正态分布的独立性和相关性是相同的

第34讲 矩，协方差矩阵，多元正态分布的性质

• 矩
  
  • $E(X^k)$ 存在，则称为 $X$ 的 $k$ 阶（原点）矩
  • $E\{[X-E(X)]^k\}$ 存在，则成为 $X$ 的 $k$ 阶中心矩
  • 之前提到的随机变量的期望和方差就是其 $1$ 阶原点矩和 $2$ 阶中心矩
• 协方差矩阵 Covariance Matrix
  
  • $$C=Cov(\tilde x)=\begin{pmatrix}D(X_1)&Cov(X_1,X_2)&...&Cov(X_1,X_n)\\Cov(X_2,X_1)&D(X_2)&...&Cov(X_2,X_n)\\ \vdots&\vdots&\vdots&\vdots\\Cov(X_n,X_1)&Cov(X_n,X_2)&\cdots&D(X_n) \end{pmatrix}$$
• $n$ 元正态随机变量的联合概率密度的矩阵表示
  
  • 列向量 $x=(x_1,x_2,\cdots,x_n)^T,\tilde\mu=(E(X_1),E(X_2),\cdots,E(X_n))^T$
  • 它的协方差矩阵为 $C=(C_{ij})_{n\times n},c_{ij}=Cov(X_i,X_j)$
  • 则其联合概率密度为
  • $$f(x_1,x_2,\cdots,x_n)=\frac{1}{(2\pi)^{\frac{n}{2}}|C|^{\frac{1}{2}}}\cdot exp\{-\frac{1}{2}(x-\tilde \mu)^TC^{-1}(x-\tilde\mu)\}$$
• 以上略有难度，无需详细掌握
• $n​$ 元正态随机变量的重要性质
  
  • 对于 $$\tilde X=(X_1,X_2,...,X_n)^T$$
  • 任意切片是正态随机变量
  • 任意线性组合服从一元正态分布
  • $X_n$ 相互独立 $\Leftrightarrow$ $X_n$ 两两不相关 $\Leftrightarrow$ $\tilde X$ 的协方差矩阵为对角矩阵