先验概率 后验概率 似然估计

不发布 备忘

先验概率：历史上$\theta$平均的概率
似然估计：存在结果$\theta$那么原因发生$x$的概率
后验概率：在$x$的情况下发生$\theta$的概率

其中$p(\theta|x)$为后验概率，$p(\theta)$为先验概率，$p(x|\theta)$为似然估计，$p(x)$在有些书中被称为是证据。
一般来说，我们希望能够找到一个模型是似然估计值最大（不考虑过拟合的情况），那么$p(\theta|x)$就会相应的变大。