TensorFlow 学习计划

未分类

1. 首先学习机器学习算法，理解其概念、工作原理以及用途（先看Andrew Ng的视频），这里其实有很多概念需要区分，比如分类与聚类、有监督、半监督与无监督，分类与回归，拟合与插值等
2. 然后是重点理解神经网络知识，了解其发展历程，重点是要理解深度神经网络的工作原理，由输入是怎么一步步得到输出的，在数学层面上是怎么理解的，重点理解神经网络是怎么训练的，是怎样通过损失函数来一步一步达到最好的结果。（先看Andrew Ng的视频），如果要设计及优化深度神经网络模型，那么这些原理一定要理解。
3. 有了这些基础以后（当然也可以同步进行），看paper，了解TensorFlow核心概念。tensor（张量）包括常量、变量以及占位符是TensorFlow中的一个特别重要的概念，它定义的是计算规则，而不保存计算数据，是构建计算图的组成部分，可以说，TensorFlow计算的过程就是Tensor来建立计算图，然后使用Session会话来启动计算得到结果的过程。
4. 看官方文档，了解Usage,看TensorFlow相关视频，参照文档写demo。
5. 学习搭建多层深度神经网络，理解层数与神经元数对整个模型的影响。
6. 然后进一步学习CNN卷积神经网络，理解卷积层与Pool层的工作过程与作用，以及卷积层数的变化对模型的影响，了解输入空间经过每一层的作用后output的形状.
7. 这时需要了解更多的激活函数（relu、tanh、softmax、sigmoid等），对于什么类型的模型适用于哪些激活函数，理解更多的损失函数（mean_square_error、crossentropy的一系列组合等），以及这些损失函数的适用场景，最后则是优化器optimizer的选择，用来减少loss值的方法，有SGD、adam、RMSprop等
8. 为了防止过拟合，可以用正则化方法在误差项进行改变，还有一种专门用在神经网络中的dropout regularization方法
9. 进行更深入的研究，学习RNN循环神经网络、LSTM神经网络等更高级的神经网络，以及怎样去搭建使用它们。
10. 学习可视化助手Tensorboard
11. 看源码。