Deep Learning Book学习笔记（1）人工智能概述

深度学习 人工智能 笔记

如果你想学习深度学习，那么了解一些历史背景是绝对必要的。 在这里我们不详述深度学习的历史，而是确定了一些总的趋势变化和关键节点：
•深刻学习历史悠久，但在之前它不叫这个名字，不同的名字反映了不同的研究角度。（1 2 3）
•随着可用的培训数据量的增加，深度学习变得更加有用。（4）
•随着计算机硬件和软件基础设施的改进，深度学习的模型随着时间的推移不断优化。（5）
•随着时间的推移，深度学习解决的问题越来越复杂，结果也越来越准确。（6）

1、发展简史

三次浪潮

1、控制论 1940 - 1960（Cybernetics）
2、联结主义 1980 - 1990（Connectionism）
3、深度学习 2006 - now（Deep Learning）

最初的灵感

来自于生物智能， artificial neural networks（ANNs）

convolutional neural network 在图像处理方面很靠谱

三个概念

architecture
learning algorithm
train
在结构和学习算法方面，我们并没有特别大的突破，并没有勘破真正的生物智能的内涵，在这方面还应该有所突破。

向大脑学习

深度学习和大脑的联系也许被过分的夸大了。就现在而言，深度学习虽然一直在借鉴大脑智能，但它比起真正的智能还是有很大差异。

相关学科

与之相关的主要是以下几个学科：
1、神经科学
2、数学

• Linear algebra
• Probablity theory
• Information theory
• Numerical computation

3、计算神经学（交叉学科），主要研究大脑的工作原理（相较于深度学习主要研究的是如何用电脑解决智能问题）
4、认知心理学：引进了几个关键概念：

• Distributed representation
• Back-prepagation algorithm（反向传播算法）

1990之后

第二次低谷
主要成就 LSTM network @sequence model task @natural language process

1995
Kenel machine, graphical models ↑, but neural network ↓

2006
计算能力的提高和新的技术突破带来：
unsupervised learning algorithm & train from small data
不过现在主流又有所变化：
supervised learning algorithm & train from large data

4、数据量增加

enough datasets : 5000 -> 100000

5、模型的规模增加

neuron amounts : 10 -> 1e4 -> 1e6 -> ... ->. 1e11
几乎没2.4年翻一番，预计在2056年达到1e11（人类的神经元数量）
随着将来：
Cpu & Gpu↑
Network Conectivity↑
Software infrastructure↑
Distributed comoputation↑
模型的规模一定会越来越大

6、准确性、复杂性、影响力增加

准确性：

图像识别
种类变多：从识别2种物体到识别1000种物体
错误率下降：26.1 -> 15.3 -> 3.6

语音识别
错误率：下降

行人识别 & 图像划分 （交通信号识别）

复杂度：

识别字符 -> 识别字符串
neural Turing machines
reinforcement learning（trial & error, without guidence）