概率学习笔记

概率

第一章 组合分析

排列

容易理解，n个元素的所有排列方式有n!个。设$m \leq n$，从n个元素里取出m个的所有排列方式为

$m \times n + m \times (m - 1)\cdots m \times (m - n + 1)$。

如果从n个元素中有$n_{1}$个是元素彼此相同，另外$n_{2}$个元素彼此相同,...,$n_{r}$个也彼此相同，那么一共有

$\frac{n!}{(n_1!n_2!\cdots n_r!)}$

个排列方式。

组合

从n个里面取出m个的组合方式个数记作$\binom{n}{m}$，

$\binom{n}{m} = \frac{n \times (n - 1) \cdots n \times (n - m + 1)}{m!}$

可以这样理解：假设n个元素各不相同，从n个元素中取m个做分组，一共有$m \times n + m \times (m - 1)\cdots m \times (m - n + 1)$种方式，对于任一m个元素组成的分组，有m！种排列方式，由于实际上组合不必考虑次序，所有元素被认为无差别，所以用上述计算结果除以m！后得到最终结果。

上式分子分母同时乘以 (n - m)!得：

$\binom{n}{m} = \frac{n!}{m!(n-m)!}$

一个常用的组合公式是：$\binom{n}{r} = \binom{n - 1}{ r - 1} + \binom{n-1}{r}$

二项式定理

$(x + y)^n = \sum_{k=0}^{n} \binom{n}{k}x^ky^{n-k}$

多项式定理

把n个不同的元素分成r组，每组分别为$n_1,n_2,\cdots , n_r$,一共有$\frac{n! }{n_1!n_2!\cdots n_r!}$种分法

第二章 概率论公理

设样本空间为S，A为其中任意事件，A对应一个数P(A)，若P(A)满足以下条件，则称P(A)为A的概率：

1. $0 \leq P(A) \leq 1$
2. P(S) = 1
3. 对于任意互斥事件$A_{i}$，有$P(\bigcup\limits_{i=1}^{\infty}A_i) = \sum_{i=1}^\infty P(A)$

有用的推论：

• $P(A^c) = 1 - P(A)$
• $P(A\cup B) = P(A) + P(B) - P(AB)$
• $P(\bigcup\limits_{i=1}^n A_i) = \sum_{i=1}^n P(A_i) - \sum\sum_{i<j} P(A_i P_j) + \sum\sum\sum_{i<j<k}P(A_i A_j A_k) + \cdots + (-1)^{n+1}P(A_1\cdots A_n)$

第三章 条件概率和独立性

条件概率公式

• $P(E|F) = P(EF)/P(F)$
• $P(EF) = P(E|F)P(F)$

由上述公式推广出乘法规则：$P(E_1 E_2 E_3 \cdots E_n) = P(E_1)P(E_2|E_1)P(E_3|E_1 E_2)\cdots P(E_n|E_1 \cdots E_{n-1})$
全概率公式：$P(E) = P(E|F)P(F) + P(E|F^c)P(F^c)$
这样理解全概率公式：在F发生的情况下E发生的概率加上在$F^c$发生的情况下E发生的概率就是E发生的总概率。
全概率公式也可推广为任何和为1的事件$F_1, F_2 \cdots F_n$:
$P(E) = \sum_{i=1}^{n}P(EF_i) = \sum_{i=1}^nP(E|F_i)P(F_i)$
贝叶斯公式：$P(E|F) = \frac{P(F|E)P(E)}{P(F)} = \frac{P(F|E)P(E)}{P(F|E)P(E) + P(F|E^c)P(E^c)}$
贝叶斯公式的伟大之处在于从结果反推原因

第四章 离散型随机变量的分布

概率函数

设X为离散型随机变量，其全部取值为{$a_1,a_2,\cdots a_n$},则
$p_i = P(X=a_i)$
成为X的概率函数。例如投掷两枚均匀骰子，以X表示出现点数之和，用分布表表示如下：

分布函数

$P(X \leq x) = F(x)$
称为X的分布函数，该函数同样适用于连续性随机变量，有定义可知：
$F(x) = \sum_{\{i|a_i \leq x\}}p_i$，其中$-\infty < x < \infty$。以上面的分布表为例：

• $F(0) = 0$
• $F(3) = 3/36$
• $F(3.5) = 3/36$
• $F(12) = 1$

二项式分布

设事件A在一次实验中发生的概率是p，现把此实验独立重复n此，X表示A在n次实验中发生的次数，求概率分布函数P(X = i), i可以取值0到n。

要想事件{X=i}发生，必须在这n次实验
$AAA^cA \cdots AA^cA$
中，有i个A，n-i个$A^c$这样的序列出现，其概率为$p^i(1-p)^{n-i}$，这样的序列一共有$\binom{n}{i}$个，所有：
$p_i = P{X=i} = \binom{n}{i}p^i(1-p)^{n-i}$
这样的用变量X表示n次实验中出现事件A的次数的分布被称为二项式分布，常记作B(n,p)，变量X服从B(n,p)分布的两个条件：

• A在每次实验中发生的概率p稳定
• 各实验独立

泊松分布