如何看待深度学习？

深度学习 机器学习 ANN Numenta 神经网络

摘要

近来，深度学习成为一个流行词。有分析师认为，它会削弱现有机器学习方法的地位。实际上，深度学习并不是一个新概念，它是上世纪90年代就已经出现的人工神经网络（ANN）算法的一种扩展。由于ANN需要极大的数据集用于训练，所以被边缘化了。深度学习算法为ANN带来了新生，它会训练多层ANN，而所需的数据比先前的预期要少。近日，数据科学家Anubhav Srivastava撰文分享了一些有关深度学习的看法。

正文

近来，深度学习成为一个流行词。有分析师认为，它会削弱现有机器学习方法的地位。实际上，深度学习并不是一个新概念，它是上世纪90年代就已经出现的人工神经网络（ANN）算法的一种扩展。由于ANN需要极大的数据集用于训练，所以被边缘化了。深度学习算法为ANN带来了新生，它会训练多层ANN，而所需的数据比先前的预期要少。近日，数据科学家Anubhav Srivastava撰文分享了一些有关深度学习的看法。

深度学习可以更好地通过增加数据集的规模来改善学习结果，这是人们需要这种算法的原因。在实际的解决方案中，深度学习更适合于未标记数据，而这超出了自然语言处理的范畴，后者更多限于实体识别。与传统的机器学习工具相比，深度学习挖掘了神经网络的潜力。基于强大的特征提取，它比其他工具更适合模式识别（图像、文本、音频）。

但是，深度学习并不会取代其他所有的机器学习算法。对于许多应用而言，一些简单点的算法（如逻辑回归、支持向量机）就已经足够。支持者之所以为深度学习而兴奋，一个基本的原因是，它是一种不同于线性或内核模型的元算法。这意味着，深度学习没有任何损失函数的特性，而且不受特定的公式限制，可以为科学家提供更大的灵活性。

有分析师认为，深度学习是最像大脑的算法，但Anubhav认为这种观点有些片面，并以Numenta为例进行了进一步的阐述。Numenta“皮质（cortical）”算法基于分级时序记忆（HTM）模型，而后者是在“稀疏分布记忆（sparse distributed memory）”概念的基础上发展而来，那是一种学习人类长期记忆的数学模型。皮质算法既可以从空间维度，也可以从时间维度进行特征提取，使它更像是大脑的仿制品。

有鉴于此，Anubhav认为，目前围绕深度学习和Numenta的一些争论不甚合理。有种观点是，Numenta HTM适合无监督学习，并将此视为其相对于深度学习算法的一个重大优势。还有一种观点是，Numenta可以视为一种时间-内存需求更小的在线学习算法。Anubhav指出，有一个很重要的事实被忽略了，就是深度学习是一个多层模型。在多数情况下，神经网络模型一次只能求解一种问题类型，面对多种问题类型时，就需要使用混合模型。在这方面，深度学习算法的多层模型是一个巨大的优势，即使Numenta也无法与其相比。