第一讲 课程简介与基本概念

概率论与数理统计 讲义 NUDT 2023SP

1.1 课程简介

• 课程目标
  
  1. 理解概率论与数理统计的基本概念与结论
  2. 掌握用概率与统计的方法分析和解决实际问题的基本方法
  3. 了解常用的统计软件的使用方法

课程内容：概率论

• 概率的公理化定义与性质
  
  • 事件运算与概率的计算
• 条件概率、Bayes公式与事件的独立性
• 离散型与连续型随机变量
  
  • 分布律/密度函数，分布函数
  • 期望，方差，分位点
• 高维随机变量
  
  • 联合分布、边缘分布、条件分布
  • 协方差、相关系数、随机变量的独立性

课程内容：数理统计

• 大数定律、中心极限定理
• 统计量、抽样分布
• 矩估计、最大似然估计
  
  • 点估计的评价准则
• 正态总体均值和方差的区间估计
• 参数假设检验

参考书

• 张颢，概率论，高等教育出版社，2018，北京.
• 杨振明，概率论（第二版），科学出版社，2008，北京.
• 陈希孺，概率论与数理统计，中国科技大学出版社，2017，合肥.
• 茆诗松，程依明，濮晓龙，概率论与数理统计教程（第二版），高等教育出版社，2010，北京.
• Morris H. DeGroot, Mark J. Shervish, Probability and Statistics (4th Ed.), Pearson Education Inc., 2002, Boston, MA. download
• Jay L. Devore, Probability and Statistics for Engineering and The Sciences (5th Ed.)-影印版，高等教育出版社，2004.11，北京. download

MOOC/SPOC

吴翊，概率论与数理统计，中国大学MOOC.

MOOC: https://www.icourse163.org/course/NUDT-438002

SPOC: https://www.icourse163.org/spoc/course/NUDT-1462496216?tid=1467684446

考核

课程总评包含三个部分

• 作业/讨论题 (10%)
• 单元测验 (10% $\times$ 2)
• 期末考试 (70%)

作业

• 全部通过 EduCoder 发布与提交
• 每次课后发布，每周六早 8:00 提交截止
• 作业如非 Markdown 输入，必须拍照按图片方式上传
• 每次抽查总人数的 $30-40\%$
• 按百分制评分
• 对评分结果有异议请及时申诉

1.2 基本概念

概率的起源

• The concepts of chance and uncertainty are as old as civilization itself.
• Cubical dice with markings virtually identical to those on modern dice have been found in Egyptian tombs dating from 2000 B.C.

1654 年，赌徒的困境

Chevalier de Méré:

• 两个玩家 A 和 B，进行一场五局三胜的赌博. 每人的赌本是 32 个金币.
• 进行了三局后不得不终止，此时 A 获胜两局，B 获胜一局.
• 这种情况下，总的赌本该如何分配？

Pierre de Fermat

• 接下来两局之内必可决出胜负.
• 接下来两局的结果有四种可能: AA, AB, BA, 和 BB.
• 只有第四种结果意味着最终 B 获胜.
• 因此, 最终 A, B 的获胜几率之比为 3:1, 所以应该按照 48:16 来分配赌本.

Blaise Pascal

• 若第四轮 B 获胜, A 和 B 地位相同.
  
  • 若此时结束赌局, 二人各分 32 个金币.
• 若第四轮 A 获胜, 赌局结束, A 独得 64 个金币.
• 对 A 而言, 无论第四轮的结果如何, 都可分得至少 32 个金币.
• 剩下 32 个金币的归属, 由第四轮决定.
  
  • 第四轮可以视为争夺 32 个金币的公平竞赛, 两人获胜的几率相同, 因此所得金币的期望值为 16.
• 综上, 如果赌局在三局后终止, A 应该分到 32+16=48 个金币, 余下的 16 个金币归 B.

概率论与数理统计的现代定义

大英百科全书: (https://www.britannica.com/science/probability)

• The branches of mathematics concerned with the laws governing random events(随机事件背后的支配规律), including the collection, analysis, interpretation, and display of numerical data.
• Probability has its origin in the study of gambling and insurance in the 17th century, and it is now an indispensable tool of both social and natural sciences(自然科学和社会科学不可或缺的工具).
• Statistics may be said to have its origin in census counts taken thousands of years ago.
• As a distinct scientific discipline, however, it was developed in the early 19th century as the study of populations, economies, and moral actions and later in that century as the mathematical tool for analyzing such numbers.

随机性 (Randomness)

• 同/近义词:
  
  • 不确定性 (Uncertainty, Indeterminacy)
  • 不可预测性 (Unpredictable)
• 不能简单地等同于
  
  • 未知 (Unkown)
  • 不可知 (Agnostic)
  • 不可数 (Uncountable)
  • 不可量化 (Nonquantifiable)
• Randomness is ubiquitous.

试验 (Experiment)

• 对于特定随机现象或过程的一次观测 (observation).
  
  • 试验的结果称为数据 (data).
• 对于同一现象或过程的不同观测, 应视为不同的试验.
• 例: 投两个骰子 (🎲🎲).
  
  • 试验 1: 记录二者顶面的点数之和.
  • 试验 2: 记录二者顶面的点数之差.
  • 试验 3: 记录二者落点之间的距离.

样本与样本空间

给定一个随机试验.

• 样本/样本点: (Sample) 某一个观测结果.
  
  • 常用记号: $\omega$
• 样本空间: (Sample space) 所有可能的观测结果组成的集合.
  
  • 常用记号: $\Omega$
• 例: 投一个骰子 (🎲), 记录顶面上的点数.
  
  • 样本: $1,2,3,4,5,6$
  • 样本空间: $\Omega=\{1,2,3,4,5,6\}$

例: 投两个骰子 (🎲🎲), 记录顶面点数的组合, 写出其样本与样本空间.

• 样本: $\omega=(i,j)$, $i,j=1,...,6$
  
  • 例如: $(1,2), (2,6), (3,3), ...$
• 样本空间: $\Omega=\{(i,j)\big|i,j=1,...,6\}$
• 对于样本数量有限的样本空间, 其样本的总数称为总点数, 记为 $n(\Omega)$
  
  • 本例中, $n(\Omega)=36$

随机事件

• 随机事件:(Random Event) 样本空间的子集. 记为: $A,B,...$
  
  • 一些特定结果所组成的集合.
• 例: 投两个骰子 (🎲🎲), 记录顶面点数的组合
  
  • 事件 $A$: 两个骰子的点数相同
    
    • $A=\{(1,1),(2,2),...,(6,6)\}$
  • 事件 $B$: 两个骰子的点数之和为 $6$
    
    • $B=\{(1,5),(2,4),...,(5,1)\}$
• 如果观测结果落在事件 $A$ 的范围内, 则称事件 $A$ 出现/发生 (occur/happen).

• 简单事件 (Simple event) 仅包含一个样本的事件.
  
  • 记为: $\{\omega\}$, 其中 $(\omega\in\Omega)$
• 空事件/不可能事件 (Null event) 不包含任何样本的事件.
  
  • 记为: $\varnothing$
• 样本空间对应的事件也称为必然事件(Certain event)
• 思考: 不可能事件是否等同于不可能发生的事件 ?
  
  • 不等同！不可能发生的事件一般指发生概率为 $0$ 的事件.
  • 反例：任取 $[0,1]$ 区间中的一个数，显然 $P(\{0.7\})=0$，但是 $\{0.7\}\ne\varnothing$.
  • 同理必然事件也不等同于必然发生的事件（发生概率为 $1$ 的事件）

例: 在一张纸上画出 $n$ 条等距的平行线, 然后重复 $m$ 次将一根长度与平行线间距相等的针投到纸上.

• 记录针与平行线所夹的锐角以及针的中心到最近的平行线的距离.
• 给出该试验对应的样本空间.
• 给出事件 $A$: "针与某条平行线相交" 的数学描述.

Buffon 投针试验

1.3 事件的运算

基本运算

• 和事件(Unite/Joint) $A\cup B$
  
  • $A$ 和 $B$ 至少有一个发生
• 积事件(Intersect/Product) $A\cap B$ 或 $AB$
  
  • $A$ 和 $B$ 同时发生
• 逆事件(Inverse) $\overline{A}$
  
  • $A$ 不发生
• 差事件(Difference) $A-B$ 或 $A\backslash B$
  
  • $A$ 发生而 $B$ 不发生

可数多个事件的运算

• 一个集合称为 可数的 当且仅当存在其与自然数集的某个子集之间的一一映射
• $\bigcap\limits_{i=1}^nA_i=A_1\cap A_2\cap ...\cap A_n$
• $\bigcap\limits_{i=1}^{\infty}A_i=A_1\cap A_2\cap A_3\cap \ldots$

de Morgan 律

• $\overline{A\cap B}=\overline{A}\cup\overline{B}$
  
  • $\overline{\bigcup\limits _ { k = 1 } ^ { n } A _ { k }} = \bigcap\limits _ { k = 1 } ^ { n } \overline { A } _ { k }$
• $\overline{A\cup B}=\overline{A}\cap\overline{B}$
  
  • $\overline{\bigcap\limits _ { k = 1 } ^ { n } A _ { k }} = \bigcup\limits _ { k = 1 } ^ { n } \overline { A } _ { k }$

事件的互斥

• $A,B$ 称为 互斥/不相容 (mutually exculsive/disjoint) 当且仅当 $A\cap B=\varnothing$
• $A,B,C$ 两两互斥/不相容 (pairwise exculsive/disjoint), 是指
  
  • $A\cap B=\varnothing$, $B\cap C=\varnothing$, $C\cap A=\varnothing$
• 问： $A\cap B\cap C=\varnothing$ 可否推出这三个事件互斥？
  
  • 不能！
  • 例如：$A=\{1,2\},B=\{2,3\},C=\{3,1\}$

例: 给定事件 $A,B,C$, 用事件的运算表示下列事件:

• $A$ 发生, 且 $B$, $C$ 都不发生.
• $A$, $B$ 均发生, 且 $C$ 不发生.
• $A,B,C$ 都不发生.
• $A,B,C$ 中最多一个发生.
• $A,B,C$ 中最多两个发生.
• $A,B,C$ 中至少两个发生.

参考解答:

• $A$ 发生, 且 $B$, $C$ 都不发生.
  
  • $A-(B\cup C)$
  • $A\cap(\overline{B\cup C})$
  • $A\cap\overline{B}\cap\overline{C}$
• $A$, $B$ 均发生, 且 $C$ 不发生.
  
  • $A\cap B\cap\overline{C}$
• $A,B,C$ 都不发生.
  
  • $\overline{A\cup B\cup C}$
• $A,B,C$ 中最多一个发生.
  
  • $(\overline{A\cup B\cup C})\cup (A\cap\overline{B}\cap\overline{C})\cup (\overline{A}\cap{B}\cap\overline{C})\cup (\overline{A}\cap\overline{B}\cap{C})$
  • $\overline{(A\cap B)}\cap\overline{(B\cap C)}\cap\overline{(C\cap A)}$
  • $\overline{(A\cap B)\cup(B\cap C)\cup(C\cap A)}$
• $A,B,C$ 中最多两个发生.
  
  • $\overline{A\cap B\cap C}$
  • $\overline{A}\cup \overline{B}\cup \overline{C}$
• $A,B,C$ 中至少两个发生.
  
  • $(A\cap B)\cup(B\cap C)\cup(C\cap A)$

小结

• 样本空间：一次试验的所有可能结果
• 事件：所关心的一部分样本构成的集合
• 事件的运算：和、积、逆、差
• 事件的互斥
• 熟练掌握用基本事件的运算表示所关心的事件

The book of nature is written in the language of Mathematics.
-- Galileo Galilei