学习记录.2015-11-13

GjzCV

---

v0.11
之前提到的梯度下降应用到线性方程组求解中不懂的地方，其实是矩阵求导(matrix calculus)的内容，矩阵求导属于矩阵计算的范畴。

---

v0.1

这周由于有入党、课程结课论文PPT等事，投入到学习的时间少了很多。

摘要：这周涉及到的内容主要有BP神经网络、BP算法、梯度下降算法(gradient descent)、主成分分析(PCA)、Caffe和tensorflow等DL框架、NN and DL的学习。

BP(backpropagation algorithm)

了解了BP网络的结构、forward和backward的过程，对python版本的bp代码进行了详细分析与测试。

参考资料：
《MATLAB数学建模算法及实例分析》
backpropagation algorithm 的中、英文维基以及其 ref、external link

Gradient descent

梯度下降算法是一个first-order optimization algorithm。英文维基上对其如何梯度下降的过程有详细描述，就是一个（多元）函数，在它的邻域内，在导数的负方向下降是最快的，经过多次迭代后会（局部）收敛。但梯度算法的局限在于，某些情况下收敛很慢，构造出来的二元非线性函数$f(x,y)=(1-x)^{2}+100(y-x^{2})^{2}$。梯度下降算法在求解linear and non-linear equations都有应用。

维基中提到conjugale gradient(共轭梯度法)方法用于求解linear equations最多，但我对这个不熟，还没去了解；雅可比矩阵也没什么印象；此外，在梯度下降应用到linear equations中，$(2)$式是怎么推导的我还不明白：

$$F(x)=||(Ax-b)||^{2} \tag 1$$ $$\nabla F(x)=2A^{T}(Ax-b) \tag 2$$

Python版本的梯度下降算法的一个demo。

参考资料：
Gradient descent的中英文维基及其ref、external link
辅助工具及网站：
Mathematica、MathWorld

PCA

主成分分析只看了一点，《MATLAB数学建模算法及实例分析》中关于多元分析的内容不少，目前只把聚类分析浏览了一遍，大概知道matlab哪些函数能实现这些功能。聚类分析感觉不难，认为主要是两个点：选择什么距离（Euclid、Mahal、CityBlock等），选择什么聚类方式。关于主成分分析，数理统计及矩阵的知识储备感觉薄了些，待补相关知识点后再花时间研究研究。

参考资料：
《MATLAB数学建模算法及实例分析》
中英文维基及其引用拓展链接

Tensorflow

在github上star了google的这个项目，已经过了10000stars了。看commit的信息，有caffe的作者贾扬清，他在google应该也在参与这个项目。

Caffe

着手看caffe的官方文档，在啃中。

NN and DL

顺便搜罗了些的NN和DL的tutorial和online book，在看中。

---

以上是这周大概涉及的东西，额外的像linux、matlab、mathematica、python、C++、网络等就不提了。

---