监督下降优化方法

论文笔记

---

P1

优化方法在计算机视觉领域有着重要应用。这点在许多论文提出的方法上可以看出来。比较著名的应用包括神经网络最小化代价函数，和 SVM 最大化间隔。传统存在许多优秀的优化方法，比如梯度下降，牛顿方法等。

P2

牛顿法虽然古老，但是在存在二阶导数的时候，牛顿法是很好的优化方法：

$$x_{k+1} = x_k - H^{-1}(x_k) \times J_f(x_k)$$
图 1(a) 展示了牛顿方法解决非线性最小二乘问题的主题思想。

P3

但是牛顿法存在一定缺陷：

• 函数必须存在二阶导数，这属于强假设；
• 计算海森矩阵及其逆的代价都是巨大的。

P4

监督下降方法不同于传统的下降方法，它通过训练得到下降方向。

图 1(b) 展示了监督下降方法的思路。训练集包含一系列训练数据，通过训练数据，监督下降方法学习到一系列的，逐渐减小目标函数的下降方向。

P5

监督学习方法可以应用于于许多问题，论文给出了利用监督下降方法进行人脸关键点定位的例子。

论文提出，人脸关键点定位通过最小化目标函数

$$f(x_0 + \Delta x) = \| h(d(x_0 + \Delta x)) - h(d(x_*)) \|_2^2$$
实现，其中 $h$ 表示 SIFT 算子。

P6

但是，SIFT 算子不可微，所以牛顿法并不能解决问题。于是，监督下降方法使用了下降方向 $R$ 和偏移 $b$ 来产生最优解：

$$x_k = x_{k-1} + R_{k-1} \times h(d(x_{k-1})) + b_{k-1}$$
其中，下降方向 $R$ 和偏移 $b$ 通过学习产生。

P7

监督下降方法通过给定图像，与手工标定的关键点来学习下降方向。

$$\arg \min_{R_k, b_k} \sum_{d^i} \sum_{x_k^i} \| x_*^i - x_k^i - R_k \times h(d(x_k^i)) - b_k \|^2$$
由于这个式子属于线性最小二乘问题，可以通过闭式解法快速求解。通常 3～5 轮迭代目标函数可以得到收敛。

P8

该方法在 LFPW 数据上的到了 96.7% 的准确率，部分结果如图 6 所示。

P9

最后是一些个人的思考。虽然方法准确率并不能与主流的神经网络方法相提并论，其优势在于：

• 训练快速
• 计算代价小

所以，我认为这样的算法在很多计算能力匮乏的场合还是很不错的。