机器学习： 极大似然估计

machine-learning

---

https://blog.csdn.net/zengxiantao1994/article/details/72787849

数学定义

1. 似然函数

• 对于离散型总体X，设其概率分布为 $P\{X = a_i\} = p(a_i; \theta)， i=1, 2, \cdots$, 则称以下函数为参数 $\theta$ 的似然函数
  

  $$L(\theta) = L(X_1, X_2, \cdots, X_n; \theta) = \prod_{i=1}^n p(X_i; \theta)$$

• 对于连续型总体X，设其概率密度为$f(x;\theta)$ , 则称以下函数为参数 $\theta$ 的似然函数.
  

  $$L(\theta) = L(X_1, X_2, \cdots, X_n; \theta) = \prod_{i=1}^n f(X_i; \theta)$$

2. 最大似然估计法

对于给定的样本值$(x_1, x_2, \cdots, x_n)$, 使得似然函数 $L(x_1, x_2, \cdots, x_n; \theta)$达到最大值的参数值 $\hat{\theta} = \hat{\theta} (x_1, \cdots, x_n)$ 称为未知数 $\theta$ 的最大似然估计值。

极大似然估计的意义

参数估计指的是从根据从总体中抽取的随机样书， 来估计总体分布中未知参数的过程。

• 首先， 最大似然估计法是一种参数估计方法。所以能够使用极大似然估计方法的样本必须需要满足一些前提假设。
  前提： 训练样本的分布能代表样本的真实分布。每个样本集中的样本都是所谓独立同分布的随机变量 ，且有充分的训练样本。

• 极大似然估计的目的是： 利用已知的样本结果，反推出最有可能导致这种结果的参数值。

• 原理：极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

极大似然估计求解 $\theta$

如果 $L(\theta)$ 或 $lnL(\theta)$关于 $\theta$ 可微，那么可以得出似然方程.
如果参数有一个， 则可以通过以下求解

$$\frac{d L(\theta)} {d \theta} = 0 或 \frac{d ln L(\theta)} {d \theta} = 0$$

如果参数有多个，则：

$$\frac{d L(\theta_i)} {d \theta_i} = 0 或 \frac{d ln L(\theta_i)} {d \theta_i} = 0$$

求取 $\theta_i$ 的值

方程的解只是一个估计值，只有在样本数趋于无限多的时候，它才会接近于真实值。

求解最大似然估计量过程

1. 写出似然函数
2. 对似然函数取合适的似然方程：$L(\theta), ln(L(\theta))$
3. 求似然方程的导数
4. 解似然方程，求得参数的解