学习记录.2015.11.27

GjzCV

Neural networks and deep learning

这周大部分时间花在了这本在线书上，算是看完了，不过有少部分没看，覆盖率在 $\%80$ ～ $\%90$ 中间，书引用了一部分文献和链接，二三十个左右，我都下下来或者收藏了，少部分我看了下摘要。

这周大部分的工作，一部分在这三篇中

• Dl 在线书籍源码阅读（一）
• Dl 在线书籍源码阅读（二）
• Dl 在线书籍源码阅读（三）

一部分记录在脑子里和稿纸上，少部分忘掉了。

Deep Learning

Ian Goodfellow, Aaron Courville, Yoshua Bengio 三人合作的这本书，该书平均以每天两至三页的速度更新。该书分为三个部分，第一部分为 Applied Math and Machine Learning Basics，数学部分有 Linear Algebra, Probability and Information Theory, Numerical Computation, 剩下的就是 Machine Learning Basics 了；第二部分是 Deep Networks : Modern Practices。

纵观整本书，我把自己所涉猎的知识与之对照了一下，我现在基本看完的 nn&dl 这本书，属于第二部分的范畴，第二部分没触碰到的，有第 10 章的 RNN，以及 12 章的 Applications （当然，这些术语以及应用的方向我大概还是知道的）。关于第一部分，线性代数部分，我大概花了一个半天的时间看的差不多，11 个 parts，有两个 parts 不太熟悉（书上讲的是比较基础的，在 Dl 领域可能用的到的，概念性的，看完了不等于掌握了），概率及信息论部分，数值分析部分我还没开始看，关于这几个部分，我把书里推荐的书目都下下来了(pdf 版)。我想了想，ML 和 DL 领域对数学的要求应该是不低的，但是"盲目"地去看数学，投入大量的时间未必对专业领域很有效，即性价比不高。看看与领域相关的部分，比如能够掌握相关的一套数学符号体系，我想也是很有必要的。Deep Learning 这本书，在与 DL 相关的数学上应该是一本不错的参考指南书，提供一个可能的数学知识的索引。Machine Learning Basics 这章我想我有时间应该好好看看，因为我现在对 ML 还没有一个比较系统的概念，DL 是从 ML 中进化而来，肯定会渗透 ML 的知识。

第三部分估计是实打实的东西了，毕竟以 Deep Learning Research 为名。浏览了一下目录，大部分的 word 我碰到过，很少一部分的 words 我了解过。这可能意味着我道行太浅，得继续修炼。

另外，这里谈一点我对于学习过程的一点看法。当我看到第三部分熟悉而陌生的词汇时，我完全可以立即去 Google 一下，看看维基链接，相关文献，博客等，但我暂时拒绝这样做，因为这可能会花大量时间，而我现在的任务是先把这几篇报告给写好。c++/python 的语法错误，软件的某个 bug等，这才是适合即时搜索的东西。我会尽量的记住这些陌生的 words，作为知识点的索引，某天碰到了，就可以回来翻翻了。最近一段时间，我碰到对 DL 可能有用的文献都会想办法下下来，碰到没接触的 术语，认为比较好的参考链接，大多会收藏下来，也搜集了些些优质的数学物理书，公开课视频。这些都是为了构建知识的索引，以便日后翻阅，这种想法跟我之前的一篇博客类似。这样的做法会让自己每天接触的信息量不小，有时候会陷入超链接的递归中回不来了。也经常会冒出一些奇怪的小想法：比如我看 nn & dl 这本书看的差不多了，我想根据这本书统计一下我认识的单词量，手动操作我是拒绝的，便琢磨着 python 把网页爬下来，对文本进行简单地分析，得出单词的数据库，结合自己平时查阅的单词数量，大概分析下。想法多好啊，然而不幸的是，我的词典的历史记录无缘无故地就没了！这还怎么分析自己的词汇量。

Others

学习之余，抽空看了看以下的这些非专业相关书，算是课外书吧，之所以有兴趣看物理，一部分原因在这里，我摘下来放在末尾。
《费曼物理学讲义》
《费曼传》
《别闹了，费曼先生》
《普林斯顿数学指南》

反思

我一直在想，自己的这种学习模式到底好不好，会不会项目驱动式学习更好；到什么阶段适合做一些更深入的研究；什么样的论文算是高质量的论文......

接下来的工作

把 nn & dl 这本书扫尾，然后会以 caffe 为主，配合 Deep Learning 这本书以及相关的论文，尝试探索一下 DL&CV。另外，想比较系统地学习下 DIP(Digital Image Processing) ，觉得 DL&CV 的应用部分需要 DIP 作为基础。

p.s.

最近天很冷，我一直拿电脑暖手。

Yann LeCun's advice to students

Advice to students: if you are an undergrad, take as many math and physics course as you can, and learn to program. If you are an aspiring grad student: apply to schools where there is someone you want to work with. It's much more important that the ranking of the school (as long as the school is in the top 50). If your background is engineering, physics, or math, not CS, don't be scared. You can probably survive qualifiers in a CS PhD program. Also, a number of PhD programs in data science will be popping up in the next couple of years. These will be very welcoming to students with a math/physics/engineering background (who know continuous math), more welcoming than CS PhD programs.

Another advice: read, learn from on-line material, try things for yourself. As Feynman said: don't read everything about a topic before starting to work on it. Think about the problem for yourself, figure out what's important, then read the literature. This will allow you to interpret the literature and tell what's good from what's bad.

Physics is about modeling actual systems and processes. It's grounded in the real world. You have to figure out what's important, know what to ignore, and know how to approximate. These are skills you need to conceptualize, model, and analyze ML models.

Another set of courses that are relevant is signal processing, optimization, and control/system theory.

That said, taking math and statistics courses is good too.