第九讲 连续型随机变量及其概率分布

概率论与数理统计 讲义 NUDT 2023SP

---

---

9.1 连续型随机变量

• 连续型随机变量 (Continuous rv)
  
  • 值域为 $\mathbb{R}$ 上的某个区间
• 例：
  
  • 随机选择不同的位置测量湖水的深度，记为 $X$,
  • 设 $M$ 为该湖泊的最大深度,
  • 则 $X\in[0,M]$.

---

从直方图到密度曲线

• 按照不同的粒度（变化幅度）对不同深度值出现的频率进行统计，随着粒度的不断细化，顶部曲线趋于平滑

---

概率密度函数

随机变量 $X$ 取值于 $\mathbb{R}$，如果存在函数 $f(x)$ 满足：对任意 $a\leq b$，总有

$${P\{a\leq X\leq b\}=\int_{a}^{b}f(x)\mathrm{d}x}$$

则称 $X$ 为连续型随机变量，$f(x)$ 是 $X$ 的概率密度函数 (probability density function，缩写：pdf ).

• pdf 的本征特性： (1) 对任意 $x$, $f(x)\geq 0$; (2) $\int_{-\infty}^{\infty}f(x)\mathrm{d}x=1$.

---

例：车辆通过的时间间隔

设 rv $X$ 为高速公路上任意相邻两台车通过同一个计时点的时间间隔，已知 $X$ 的 pdf 为：

$$f(x)=\left\{\begin{array}{cc}0.15e^{-0.15(x-0.5)}& x\geq 0.5\\ 0 & \text{其他}\end{array}\right.$$

• 则两辆相邻的汽车行驶间隔不超过 5 秒的概率
  
  • $P\{X\leq 5\}=\int_{0.5}^{5}0.15e^{-0.15(x-0.5)}\mathrm{d}x\approx 0.491$

---

例：均匀取值的连续型随机变量

rv $X$ 表示某个从 $0^{\circ}$ 到 $360^{\circ}$ 等可能取值的角度值，其 pdf 可表示为

$$f(x)=\left\{\begin{array}{cc}\frac{1}{360}& 0\leq x<360\\ 0 & \text{其他}\end{array}\right.$$

• $X$ 的取值介于 $90^{\circ}$ 和 $180^{\circ}$ 之间的概率
  
  • $P\{90\leq X\leq 180\}=\int_{90}^{180}\frac{1}{360}\mathrm{d}x=0.25.$

---

均匀分布

rv $X$ 服从区间 $[A, B]$ 上的均匀分布（uniform distribution），是指其 pdf 为

$$f(x;A,B)=\left\{\begin{array}{cc}\frac{1}{B-A}& A\leq x\leq B\\ 0 & \text{其他}\end{array}\right.$$

• 记为: $X\sim U(A,B)$

---

连续型 rv 的性质

定理：给定连续型 rv $X$ 和任意常数 $c$

$$P\{X=c\}=0.$$

• 推论：给定连续型 rv $X$ 和任意的 $a\leq b$
  
  • $P\{a\leq X\leq b\}=P\{a< X<b\}$
    
    • $=P\{a<X\leq b\}=P\{a\leq X<b\}$

---

密度函数曲线与概率

• pdf 的取值不是概率，但可以用来导出概率值.
• 在给定区间范围内，pdf 曲线与横轴所夹的面积即为该区间对应事件的概率.

---

连续型 rv 的概率分布函数

对连续型 rv $X$，其概率分布函数（或累积分布函数，缩写：cdf）为

$$F(x)=P\{X\leq x\}=\int_{-\infty}^{x}f(t)\mathrm{d}t,$$

其中 $f(x)$ 为 $X$ 的 pdf.

• $P\{X>a\}=1-F(a)$
• $P\{a\leq X\leq b\}=F(b)-F(a)$

---

pdf 与 cdf

$$f(x)=\frac{\mathrm{d}}{\mathrm{d}x}F(x)\quad\Leftrightarrow\quad F(x)=\int_{-\infty}^{x}f(t)\mathrm{d}t$$

---

例：设某桥梁的动态载荷 $X$ 的 pdf 为

$$f(x)=\left\{\begin{array}{cc}k(1+x)& 0\leq x\leq 2\\ 0 & \text{otherwise}\end{array}\right.$$

其中 $k$ 为常数, 求 $X$ 的 cdf.

---

解：由 pdf 的性质，

$$1=\int_{-\infty}^{+\infty}f(x)\mathrm{d}x=\int_{0}^{2}k(1+x)\mathrm{d}x=4k,$$

故 $k=\frac{1}{4}$. 对任意 $x\in[0,2]$

$$F(x)=\int_{-\infty}^{x}f(t)\mathrm{d}t=\int_{0}^{x}\frac14\left(1+t\right)\mathrm{d}t=\frac{x}4+\frac1{8}x^2.$$

故 $X$ 的 cdf 为

$$F(x)=\left\{\begin{array}{cc}0& x<0\\ \frac{x}4+\frac1{8}x^2& 0\leq x\leq 2\\ 1 & x>2\end{array}\right.$$

---

例：假设某电源系统的输出电压为 $X$，且 $X$ 大于 $x(x>0)$ 的概率与 $1+x$ 成反比, 求 $X$ 的 pdf.

• 设 $P\{X>x\}=1-F(x)=\frac{k}{1+x}$
  
  • 其中 $k>0$ 为常数.
• 由 $F(0)=0$, 可得 $k=1$.
• 于是 $X$ 的 cdf $F(x)=\left\{\begin{array}{cc}0& x\leq0\\ \frac{x}{1+x}& x>0\end{array}\right.$
• 进而 $X$ 的 pdf $f(x)=\frac{\mathrm{d}}{\mathrm{d}x}F(x)=\left\{\begin{array}{cc}0& x\leq0\\ \frac{1}{(1+x)^2}& x>0\end{array}\right.$

---

均匀分布的 pdf 与 cdf

$$f(x;A,B)=\left\{\begin{array}{cc}\frac{1}{B-A}& A\leq x\leq B\\ 0 & \text{otherwise}\end{array}\right.\qquad F(x)=\left\{\begin{array}{cc}0& x<A\\ \frac{x-A}{B-A}& A\leq x\leq B\\ 1 & x>B\end{array}\right.$$

---

9.2 连续型分布的分位点

设 $p\in(0,1)$. 对连续型 rv $X$，若 $P\{X\leq\eta(p)\}=p$, 则称 $\eta(p)$ 是 $X$ 对应的概率分布的 $p$ 分位点

---

例： 连续型 rv $X$ 的 pdf 为

$$f(x)=\left\{\begin{array}{cc}\frac32(1-x^2)& 0\leq x\leq 1\\ 0 & \text{其他}\end{array}\right.$$

求其分布的 $0.5$ 分位点.

• $0.5$ 分位点 $\eta(0.5)$ 通常也称为该分布的 中位数 (median).

---

解：对 $x\in[0,1]$，$X$ 的 cdf

$$F(x)=\int_{-\infty}^{x}f(t)\mathrm{d}t=\int_{0}^{x}\frac32(1-t^2)\mathrm{d}t=\frac32\left(x-\frac{x^3}3\right)$$

进而 $F(x)=\left\{\begin{array}{cc}0 & x<0\\ \frac32\left(x-\frac{x^3}3\right)& 0\leq x\leq 1\\ 1 & x>1\end{array}\right.$

令 $F(\eta)=0.5$, 可得

$$\eta^3-3\eta+1=0.$$

解得 $\eta=\eta(0.5)\approx 0.347$.

---

9.3 连续型随机变量的期望值

设连续型 rv $X$ 的 pdf 为 $f(x)$，则其 期望 或 均值 可定义为

$$E(X)=\int_{-\infty}^{\infty}x\cdot f(x)\mathrm{d}x$$

• 当 $\int_{-\infty}^{\infty}|x|\cdot f(x)\mathrm{d}x$ 发散时，称 $E(X)$ 不存在.
• 设 $X$ 服从 Cauchy 分布，pdf $f(x)=\frac{1}{\pi(1+x^2)}$，不难验证 $E(X)$ 不存在.

---

例：设连续型 rv $X$ 的 pdf 为

$$f(x)=\left\{\begin{array}{cc}\frac32(1-x^2)& 0\leq x\leq 1\\ 0 & \text{其他}\end{array}\right.$$

求 $E(X)$.

• $E(X)=\int_{-\infty}^{\infty}x\cdot f(x)\mathrm{d}x$
  
  • $=\int_{0}^{1}x\cdot \frac32(1-x^2)\mathrm{d}x=\frac38$

---

连续型随机变量的函数的期望

定理：设连续型 rv $X$ 的 pdf 为 $f(x)$，$g(x)$ 是关于 $x$ 的连续函数，则

$$E(g(X))=\int_{-\infty}^{\infty}g(x)\cdot f(x)\mathrm{d}x$$

• 如果 $X$ 是离散型 rv，pmf 为 $p(x)$，则
  
  • $E(g(X))=\sum_xg(x)p(x)$

---

例： 连续型 rv $X$ 的 pdf 为

$$f(x)=\left\{\begin{array}{cc}2x& 0\leq x\leq 1\\ 0 & \text{其他}\end{array}\right.$$

求 $E(\max\{X,1-X\})$.

---

解：

$$\begin{aligned} E&(\max\{X,1-X\})=\int_{-\infty}^{\infty}\max\{x,1-x\}\cdot f(x)\mathrm{d}x\\ &=\int_{0}^{1}\max\{x,1-x\}\cdot 2x\mathrm{d}x\\ &=\int_{0}^{1/2}(1-x)\cdot 2x\mathrm{d}x+\int_{1/2}^1x\cdot 2x\mathrm{d}x=\frac34 \end{aligned}$$

---

数学期望的线性性

推论： 对 rv $X$ (无论 $X$ 为离散型还是连续型)

• 任取 $a,b\in\mathbb{R}$，
  
  • $E(aX+b)=aE(X)+b$.
• 任取 $c\in\mathbb{R}$，
  
  • $E(c)=c$.
• 求期望的运算可以和线性运算（加法和数乘）交换次序

---

9.4 连续型随机变量的方差

连续型 rv $X$ 的 pdf 为 $f(x)$ 且其期望存在，则

$$D(X)=E[(X-E(X))^2]$$

称为 $X$ 的方差

• $\sigma=\sqrt{D(X)}$ 称为 $X$ 的标准差.

---

方差的性质

定理： 对任意（离散或连续型）随机变量 $X$

$$D(X)=E(X^2)-[E(X)]^2$$

• 对任意 $a,b\in\mathbb{R}$, $D(aX+b)=a^2D(X)$
• 对任意 $c\in\mathbb{R}$, $D(c)=0$

---

均匀分布的方差

设 $X\sim U(A,B)$

• $E(X)=\frac{A+B}2$
• $E(X^2)=\frac13(B^2+AB+A^2)$
• $D(X)=\frac{1}{12}(B-A)^2$

---

小结

• 连续型 rv 的概率分布
  
  • pdf 和 cdf
  • 期望和方差
  • 均匀分布 $U(A,B)$ 的 pdf、cdf、期望和方差
• 与离散型 rv 的异同
  
  • cdf 的定义相同
  • pdf 不是概率，而只是 cdf 的变化率
    
    • pmf 可视为对 cdf 的差分

---

‘Obvious’ is the most dangerous word in mathematics.
-- Eric Temple Bell

---

---

熵与信息论

给定概率空间 $(\Omega,\mathscr{F},P)$，事件的熵 (Entropy) 是形如

$$I:\mathscr{F}\to\mathbb{R}$$

的函数. 满足

1. 如果 $P(E_1)\leq P(E_2)$，则 $I(E_1)\geq I(E_2)$.
2. 如果 $E_1,E_2$ 相互独立，则 $I(E_1E_2)=I(E_1)+I(E_2)$.
3. 对任意 $E\in\mathscr{F}$, $I(E)\geq 0$.

---

随机变量的熵

离散型随机变量 $X$ 的分布律为 $P\{X=x_k\}=p_k,\;k=1,2,...$，则 $X$ 的熵定义为

$$H(X)=\sum_kp_k\log_2(p_k).$$

• 若 $X$ 是密度函数为 $f(x)$ 的连续型随机变量，则其熵定义为
  
  • $H(X)=\int_{\mathbb{R}}f(x)\log_2(f(x))\mathrm{d}x.$

---

最大熵优化

• 连续随机变量的种类非常丰富，对其一一做研究显然不很现实.
• 一般来说，需要从中选择代表性较强，应用较为广泛的典型例子.
• 在同等条件下，具有最大熵性质的连续随机变量包含的信息量最多.
• 因此，最大熵准则（maximum entropy principle）就成为挑选典型的随机变量的一个重要出发点.

---

具有最大熵的连续型随机变量

问题： 给定连续型随机变量 $X$ 的取值区间 $I$，以及某些关于其数字特征的约束条件，求 $X$ 的分布，使其熵 $H(X)$ 取到最大值.[1]

1. $I=(-\infty,\infty)$，且 $E(X)=\mu$，$D(X)=\sigma^2$ $\quad\Longrightarrow\quad \bbox[yellow]{X\sim N(\mu,\sigma^2)}$
2. $I=[0,\infty)$ 且 $E(X)=\frac{1}{\lambda}$ $\quad\Longrightarrow\quad \bbox[lightgreen]{X\sim\mathrm{Exp}(\lambda)}$
3. $I=[a,b]$ $\quad\Longrightarrow\quad \bbox[lightblue]{X\sim U(a,b)}$.