随机试验，事件，随机变量，随机过程

概率统计

事件是样本空间的子集。
概率是定义在事件上的。
随机变量将元事件映射到实数。随机变量的取值空间是一个新的随机试验的样本空间。随机变量取到哪个范围值，是一个事件。等价于 在原随机试验中，将哪些元事件映射到这个范围内的实数。
随机过程是在随机变量上加了时间维，在每个时间点上是一个随机变量。

概率论

1. 随机试验random experiment: 实验过程+ 测量/观察集合
   试验一E1：抛硬币三次，记录正反面。
   试验二E2: 抛硬币三次，记录正面的次数。
   试验三E3: 从0到1之间取一个数。

2. 样本空间sample space：一个事件的所有可能的输出集合。
   S1={HHH,HHT,HTH,THH,HTT,THT,TTH,TTT} 离散样本空间
   S2={0,1,2,3} 离散样本空间
   S3=[0,1] 连续样本空间

3. 事件event: 随机试验的某一种特定输出结果。事件是样本空间的一个子集。
   事件一A1: 抛硬币三次，第二次是正面。{HHH,HHT,THH,THT}
   事件二A2：抛硬币三次，是正面的次数共小于4。S2。必然事件certain event
   事件三A3: 从0到1之间取一个数，取到了2。 不可能事件，零事件$\varnothing$
   事件的交$\cap$：多个事件同时发生。集合的交集。
   两个事件互斥: 它们的交集是空。不可能同时发生。
   事件的并$\cup$：多个事件至少有一个发生。
   两个事件互补: 它们的并集是整个样本空间，交集是空。有且仅有一个发生。**

4. 概率probability：为样本空间为S的随机试验E中的每一种事件A赋予一个实数P[A] （事件到实数的映射）且满足 ①非负0$\leq$ P[A] , ②必然事件P[S]=1, ③可加性 A1,A2,...任意两都互斥，则$P[\cup_k A_k]=\sum_k P[A_k]$

5. 条件概率conditional probability: 事件B发生的条件下事件A发生的概率。
   $P[A|B]=\frac{P(A\cap B) }{P[B]},P[B]>0$
   两个事件独立: P[A$\cap$B]=P[A]P[B] 同时发生的概率=分别发生的概率的乘积。

6. 事件序列

随机变量

随机变量是 一个函数，将随机试验的样本空间中的每一个输出 （元事件）$\zeta$ 映射到一个实数$X(\zeta)$。（多个不同的试验输出可以被映射到同一个实数。）

• 随机变量取某范围值的概率

这个函数是在进行实验前就固定的确定好的，观察到X取什么实数，是由随机试验本身确定的。观察到X取某个范围的实数值的概率，可以由随机试验中的多个元事件的概率确定。

随机试验E：样本空间S，其中一个事件A。（A是S的子集）
随机变量X：定义域S，值域$S_X$。
随机变量取值的随机试验Ex：样本空间$S_X$, 其中一个事件B。(B是$S_X$的子集)
事件B：随机变量取到某个范围的值。

E：抛硬币三次，记录正反面。
S: {HHH,HHT,HTH,THH,HTT,THT,TTH,TTT}
A：抛硬币三次，最多有一次是反面。{HHH,HHT,HTH,THH}

$E_X$：抛硬币三次，正面在上的次数为X，X的取值。
$S_X$: {0,1,2,3}
B: X取值不小于2。{2,3}

$X$: S到$S_X$的函数

随机试验空间$S$中的事件A发生，当且仅当,随机试验空间$S_X$中的事件B发生，A和B两事件的概率相等，是equivalent事件。

• 随机变量的累计分布函数cdf
  X的一种可能取值方法${X \leq x}$，该事件的概率。
  $F_X(x)=P[X\leq x]$

离散的随机变量：其cdf是阶梯状的，跳跃点是可数的
连续的随机变量：其cdf是处处连续的，可以写出pdf的积分

• 离散随机变量的概率质量函数pmf
  X的一种可能取值方法${X = x}$，该事件的概率。
  $p_X(x)=P[X=x]$
  连续随机变量等于某个数值的概率等于0。

• 随机变量的概率密度函数pdf
  cdf的导数(如果存在)。
  $f_X(x)=\frac{dF_X(x)}{dx}$

• 离散随机变量的pdf的表示:
  delta函数$\delta(t)$的积分得到单位跳跃函数$u(x)$。
  $u(x)=\int_{-\infty}^x \delta(t)dt$
  在$x=b$处的delta函数的积分得到从b开始的跳跃函数。
  $u(x-b)=\int_{-\infty}^x \delta(t-b)dt$
  pmf $F_X(x)=\sum_k p_X(x_k) u(x-x_k)$
  pdf $f_X(x)=\sum_k p_X(x_k) \delta(x-x_k)$

• 随机变量的期望/均值

• 多个随机变量

随机过程

为随机试验样本空间$S$里的每一个可能的输出（元事件）$\zeta$定义一个事件的函数：$X(t,\zeta), t\in I$
固定时间，$X(t_k,\zeta)$是一个随机变量；
所有时间，$X(t,\zeta)$是一个随机变量族，称为一个随机过程。
固定输出，$X(t,\zeta_0)$是随机过程的采样函数。
时间（的索引）空间$I$可以是离散的，可以是连续的。
从时间维采样k个时间点，得到k个随机变量的族，$X_1,X_2,...,X_k$随机过程。

参考
Probability and Random Processes for Electrical Engineering, by Alberto Leon-Garcia[M]. Addison-Wesley, 1994.