Deep Learning Book学习笔记（2）数学基础

人工智能 深度学习 笔记 数学

线性代数

标量、向量、矩阵、张量
矩阵的运算 + - *
矩阵的逆
特殊矩阵
--对角矩阵 Diagonal matrix
--对称矩阵 Sysmetric matrix
--单位向量 Unit vector
--正交 Orthogonal
--单位正交 Orthonorm
特征分解 Eigendecomposition & Eigen vector & Eigen value
-= A = QλQ-1
单值分解 Singular Decomposition
-= A = UDVT (U left sv : AAT eigenvector) (V right sv : ATA eigenvector)
-= 1、U & V orthogonal
-= 2、D diagonal (with singular values)
-= for inversion for non-square matrix
伪逆 Pseudoinverse
-= A+ = VD+UT
迹 Trace
-= Tr(A) = Tr(AT); Tr(ABC) = Tr(BCA) = Tr(CAB); Tr(a) = a;
行列式 Determinant
--Example:Principal Components Analysis (PCA)

概率论 信息论 Probability & Information Theory

Framework

is a framework for representing uncertain statements
用定量的方式来描述不确定度，用于处理不确定量 & 随机变量（stachastic quantities）
不确定度的三个来源：
1、系统的随机性（量子机器、随机抽签）
2、不完整的观察（猜骰子）
3、不完整的模型
逻辑学：假设 -> 结论
概率论：Likelihood -> Another Likelihood

随机变量 Random Variables

可能有不同值的变量
随机值 x1, x2, ...
随机变量 x
随机变量（向量表示法） x

概率分布 Probability Distributions

随机变量取每个随机值的概率之集合（离散/连续）

1、离散变量 & 概率散点图 Probability Mass Function
表示法：P(x = x), x~P(x)
联合概率分布：P(x = x, y = y), 简记为P(x, y)
三个条件：
①定义域包含x的所有可能值
②0 <= P(x) <= 1
③Sum(P(x)) = 1

2、连续变量 & 概率密度曲线 Probability Fensity Function
also 三个条件：
①定义域
②0 <= P(x) <= 1
③Intergral(P(x)) = 1

均匀分布（Uniform distribution）
表示法：x~U(a, b)
u(x;a,b) = 1/(b-a)

Mariginal Probability

p(x) = SumY(p(x, y)), p(x) = Intergral(p(x, y)dy)

Conditional Probability

p(y = y | x = x) = p(y = y, x = x) / p(x = x)
(in above, y = event, x = condition)

The Chain Rule of Conditional Probability

p(a, b, c) = p(a | b, c) p(b | c) p(c)

Independence : p(x, y) = p(x)p(y)

Conditional Independence : p(x, y | z) = p(x | z) p(y | z)

Expectation, Variance, Covariance

Ex~p[f(x)] = SumX(p(x)f(x))
Ex~p[f(x)] = Integral(p(x)f(x)dx)
linear: Ex(af(x)+bg(y)) = aEx(f(x))+bEx(g(x))
Var(f(x)) = E[f(x) - E(f(x))]^2
Cov(f(x), g(y)) = E[(f-E(f)) * (g-E(g))]
Cov(**x**)i,j = Cov(**x** i,j)
Cov(xi, xi) = Var(xi)

Common Probability Distributions

数值计算