机器学习/深度学习 算法集合

Machine-Learning Deep-Learning 2017-10

这里随记 机器学习/深度学习 相关算法，全部原来网络，并整合在这里，以期后面学习和整理。

LDA

监督学习类，线性判别分析（Linear Discriminant Analysis）

• 主要目的
  

  降维度，减轻计算负担

• 主要思想

  投影（降维度后）

  • 类内方差最小
  • 类外方差最大

• 主要数学基础

  瑞利商
  广义瑞利商

PCA

非监督学习类，主成分分析（Principal components analysis）

• 主要目的

降维度，减轻计算负担

• 主要思想

• 样本到投影直线（或者超平面）的距离足够近
• 样本到投影直线（或者超平面）尽可能分开

最小二乘法

Gradient Descent

牛顿方法

同时可以参考一下知乎提问：最优化问题中，牛顿法为什么比梯度下降法求解需要的迭代次数更少？，其中最爱麦丽素的回答。

最大似然到EM

文章来源zouxy09的专栏

关于数学推导，可以进一步看原文。

另外EM（期望最大算法）的应用还包括GMM高斯混合模型，K-means聚类算法，HMM隐马尔可夫模型等）

GMM 高斯混合模型

高斯混合模型--GMM（Gaussian Mixture Model）

K-means 聚类算法

深入浅出K-Means算法
算法杂货铺——k均值聚类(K-means)

HMM 隐马尔可夫模型

一文搞懂HMM（隐马尔可夫模型）

BackPropagation （神经网络基础-反向传播）

核函数

这里取核函数的直观理解，来自知乎回答：

贝叶斯的通俗理解

朴素贝叶斯分类算法

贝叶斯网络模型

卷积神经网络各层分析

零基础入门深度学习系列文章

决策树和随机森林

GTB-梯度提升（gradient boosting）算法

主题模型（LDA） 亦可参考

集成学习原理小结

Word2Vec

集成学习Boosting&Bagging区别

xgboost入门