参数估计与观测数据集之间的关系

PRML 机器学习

---

运用贝叶斯推断，参数为$\theta$，我们观测到的数据集为$\mathcal{D}$，数据集满足的概率分布为$p(\mathcal{D})$，联合概率分布$p(\theta,\mathcal{D})$，意思其实是说，数据集是由一个分布抽样得到的，每一个数据集都可以得到一个参数的“推断”，现在要看真实的参数$\theta$的估计与数据集分布之间的关系

$$\mathrm{E}_\theta[\theta] = \mathrm{E}_\mathcal{D}[\mathrm{E}_\theta[\theta\mid \mathcal{D}]]$$

• $\mathrm{E}_\theta[\theta] = \int p(\theta)\theta\mathrm{d}\theta$：由于是利用共轭先验的贝叶斯推断，我们推断出的是参数$\theta$的分布，例如利用二项式分布的观测数据推断出发生事件的概率，该概率满足$Beta$分布，我们实际推断出的是该$Beta$分布的参数，也即是下面的公式$p(\theta\mid \mathcal{D})$
• $\mathrm{E}_\theta[\theta\mid \mathcal{D}] = \int p(\theta\mid \mathcal{D})\theta\mathrm{d}\theta$
• $\mathrm{E}_\mathcal{D}[\mathrm{E}_\theta[\theta\mid \mathcal{D}]] = \int p(\mathcal{D}) \mathrm{E}_\theta[\theta\mid \mathcal{D}]\mathrm{d}\mathcal{D} = \int p(\mathcal{D}) \int p(\theta\mid \mathcal{D})\theta\mathrm{d}\theta \mathrm{d}\mathcal{D}$
  书上给出的解释是$\theta$的先验均值等于$\theta$的后验均值在产生数据集的整个分布上的平均

$$\mathrm{var}_\theta[\theta] = \mathrm{E}_\mathcal{D}[\mathrm{var}_\theta[\theta\mid\mathcal{D}]] + \mathrm{var}_\mathcal{D}[\mathrm{E}_\theta[\theta\mid\mathcal{D}]]$$

• $\mathrm{var}_\theta[\theta] = \mathrm{E}_\theta[\theta^2]-\mathrm{E}_\theta^2[\theta]$
• $\mathrm{var}_\theta[\theta\mid\mathcal{D}] = \mathrm{E}_\theta[\theta^2\mid\mathcal{D}] + \mathrm{E}^2_\theta[\theta\mid\mathcal{D}]$
• $\mathrm{E}_\theta[\theta^2\mid \mathcal{D}] = \int \theta^2 p(\theta\mid \mathcal{D})\mathrm{d}\theta$

$\mathrm{var}_\theta[\theta\mid\mathcal{D}]$为根据观测数据集推断得到的参数的方差，表明，在平均下（因为求了一个$\mathcal{D}$的期望）均要比真实的参数的方差要小