神经网络上无需训练的深度图像先验

算法 神经网络

摘要

牛津和Skolkovo科技研究所的研究人员发明了一种生成式神经网络，无需训练就可以成功渲染“深度图像先验（deep-image priors）”。

正文

2017年，牛津和Skolkovo科技研究所的研究人员详细介绍了他们在“深度图像先验（deep-image priors）”方面的工作。直观上讲，深度图像先验以提供的抽样为基础，让一张有噪声或者失真的图像看起来和原来一样。但是，他们的工作更进一步，他们不需要参看原始图像，也不需要训练，就可以达到这个目的。

通过卷积图像生成器结构就可以获取大量的图像统计特性，而不是通过任何学习能力……（而且）……在这个网络中，没有哪一部分是从数据学习；相反，该网络的权重都是随机初始化的，因此，网络本身的结构里只有先验信息。

这项研究的重点是超分辨率、去噪、图像重建和修复。他们创建并证明了一个生成式神经网络，不需要提前训练，也不需要能够让他们渲染出原始图像的数据库。其结果与研究论文中提到的标准不相上下，而该标准是基于训练好的深度卷积神经网络或ConvNets。研究人员Ulyanov、Vedaldi、Lempitsky断言：

与任何学习相比，生成式神经网络的结构足以捕获大量的底层图像统计特性的先验知识……我们的研究显示，一个随机初始化的神经网络可以用作人造先验知识，并且在标准的逆问题中取得了不错的效果，如去噪、超分辨率、图像修复……（而且）填补了两类常用图像复原方法之间的空白：使用ConvNets以学习为基础的方法和基于人造图像先验知识（如自相似性）的免学习方法。

该团队使用Python的Torch库实现了生成式神经网络。他们开发了一些模块，专门处理由黑白相间或“电视噪声”、像素置乱、图像掩蔽等导致的图像噪声、失真、干涉。图像修复的过程就是删除图像“遮罩”的过程。遮罩是诸如图片库中的版权水印这样的东西，但是，通常的图象掩蔽演示都是用于示例代码中。PNG文件经过神经网络处理后输出的样例表明，神经网络成功识别并删除了类似这样覆盖在原始图像之上的东西。

网络本身会交替使用卷积、提升采样、非线性活化等过滤操作……网络结构的选择会对梯度下降法这样的方法搜索解空间产生很大的影响。特别地，我们的研究显示，网络会抵制“糟糕”的解决方案，向着看上去更自然的图像加速下降。

他们的发现挑战了ConvNets从数据中学习现实先验的能力推动了他们的成功的观点。该团队指出，他们的“瑞士军刀法”是计算密集型的，一张512x512像素的图像就需要几分钟GPU时间。GitHub上提供了Python代码，包括Jupyter Notebooks和样例数据。

查看英文原文：Deep Image Priors on Neural Networks With No Training