[关闭]
@vivounicorn 2021-09-08T16:03:05.000000Z 字数 5814 阅读 2010

机器学习与人工智能技术分享-第一章 基本概念

机器学习 基本概念

回到目录


1. 一些基本概念

1.1 生成式模型与判别式模型

从概率分布的角度看待模型。
给个例子感觉一下: 如果我想知道一个人A说的是哪个国家的语言，我应该怎么办呢?

  • 生成式模型
    我把每个国家的语言都学一遍，这样我就能很容易知道A说的是哪国语言，并且C、D说的是哪国的我也可以知道，进一步我还能自己讲不同国家语言。
  • 判别式模型
    我只需要学习语言之间的差别是什么，学到了这个界限自然就能区分不同语言，我能说出不同语言的区别，但我可能不会讲。

如果我有输入数据，并且想通过标注去区分不同数据属于哪一类，生成式模型是在学习样本和标注的联合概率分布 而判别式模型是在学习条件概率 。

  • 生成式模型可以通过贝叶斯公式转化为，并用于分类，而联合概率分布也可用于其他目的，比如用来生成样本对。

  • 判别式模型的主要任务是找到一个或一系列超平面，利用它(们)划分给定样本到给定分类，这也能直白的体现出“判别”模型这个名称。

最后给一个很简单的例子说明一下：
假如我有以下独立同分布的若干样本，其中为特征，为标注,，则：

一些理论可看：On Discriminative vs Generative classifiers: A comparison of logistic regression and naive Bayes。

  1. 常见生成式模型

    • Naive Bayes
    • Gaussians
    • Mixtures of Gaussians
    • Mixtures of Experts
    • Mixtures of Multinomials
    • HMM
    • Markov random fields
    • Sigmoidal belief networks
    • Bayesian networks

  2. 常见判别式模型

    • Linear regression
    • Logistic regression
    • SVM
    • Perceptron
    • Traditional Neural networks
    • Nearest neighbor
    • Conditional random fields

1.2 参数学习与非参学习

从参数与样本的关系角度看待模型。

1.2.1 参数学习

参数学习的特点是：

  1. 选择某种形式的函数并通过机器学习用一系列固定个数的参数尽可能表征这些数据的某种模式；
  2. 不管数据量有多大，函数参数的个数是固定的，即参数个数不随着样本量的增大而增加，从关系上说它们相互独立；
  3. 往往对数据有较强的假设，如分布的假设，空间的假设等。
  4. 常用参数学习的模型有：
    • Logistic Regression
    • Linear Regression
    • Polynomial regression
    • Linear Discriminant Analysis
    • Perceptron
    • Naive Bayes
    • Simple Neural Networks
    • 使用线性核的SVM
    • Mixture models
    • K-means
    • Hidden Markov models
    • Factor analysis / pPCA / PMF

1.2.2 非参学习

注意不要被名字误导，非参不等于无参。

  1. 数据决定了函数形式，函数参数个数不固定；
  2. 随着数据量的增加，参数个数一般也会随之增长；
  3. 对数据本身做较少的先验假设。
  4. 一些常用的非参学习模型：
    • k-Nearest Neighbors
    • Decision Trees like CART and C4.5
    • 使用非线性核的SVM
    • Gradient Boosted Decision Trees
    • Gaussian processes for regression
    • Dirichlet process mixtures
    • infinite HMMs
    • infinite latent factor models

进一步知识可以看：Parametric vs Nonparametric Models。

1.3 监督学习、非监督学习与强化学习

1.3.1 监督学习

对于每一个样本都会提供一个明确的学习目标（标注），有自变量也有因变量，学习机接收样本进行学习并通过对该样本预测后的结果和事先给定的目标比较后修正学习过程，这里的每一个样本都是标注好的，所以好处是歧义较低，坏处是万一有一定量样本标错了或者没标会对最终应用效果影响较大。通常监督学习过程如下：


picture from here

1.3.2 非监督学习

对于每个样本不提供明确的学习目标（标注），有自变量但无因变量，学习机接收样本后会按事先指定的必要参数，依据某种相似度衡量方式自动学习样本内部的分布模式，好处是没有过多先验假设，能够体现数据内在模式并应用，坏处是有“盲目”性，并会混在噪声数据。比如：常用LDA做主题聚类，但如果使用场景不是降维而是想得到可输出的主题词，基本上没有人肉的干预无法直接使用（虽然整体上看感觉可能不错）。


picture from here

1.3.3 强化学习

我认为强化学习是最接近人类学习过程的，很多情况下我们无法直接表达什么是正确的什么是错误的（比如：我正在爬山，迈了一大步，又迈了一小步，那么没法儿说我迈了大步正确还是错误），但是可以通过惩罚不好的结果或者奖励好的结果来强化学习的效果（我迈了个大步，导致没有站稳，那么对迈大步做惩罚，然后接下来我会迈小一点）。所以强化学习是一个序列的决策过程，学习机的学习目标是通过在给定状态下选择某种动作，寻找合适动作的策略序列使得它可以获得某种最优结果的过程。
强化学习的几个要素，体现其序列、交互性：

经典的训练狗的实验就是一种强化学习的过程：


picture from here

强化学习的有趣应用例如：

References

如有遗漏请提醒我补充：
1、《Understanding the Bias-Variance Tradeoff》
http://scott.fortmann-roe.com/docs/BiasVariance.html
2、《Boosting Algorithms as Gradient Descent in Function Space》
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.51.6893&rep=rep1&type=pdf
3、《Optimal Action Extraction for Random Forests and
Boosted Trees》
http://www.cse.wustl.edu/~ychen/public/OAE.pdf
4、《Applying Neural Network Ensemble Concepts for Modelling Project Success》
http://www.iaarc.org/publications/fulltext/Applying_Neural_Network_Ensemble_Concepts_for_Modelling_Project_Success.pdf
5、《Introduction to Boosted Trees》
https://homes.cs.washington.edu/~tqchen/data/pdf/BoostedTree.pdf
6、《Machine Learning:Perceptrons》
http://ml.informatik.uni-freiburg.de/_media/documents/teaching/ss09/ml/perceptrons.pdf
7、《An overview of gradient descent optimization algorithms》
http://sebastianruder.com/optimizing-gradient-descent/
8、《Ad Click Prediction: a View from the Trenches》
https://www.eecs.tufts.edu/~dsculley/papers/ad-click-prediction.pdf
9、《ADADELTA: AN ADAPTIVE LEARNING RATE METHOD》
http://www.matthewzeiler.com/pubs/googleTR2012/googleTR2012.pdf
9、《Improving the Convergence of Back-Propagation Learning with Second Order Methods》
http://yann.lecun.com/exdb/publis/pdf/becker-lecun-89.pdf
10、《ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION》
https://arxiv.org/pdf/1412.6980v8.pdf
11、《Adaptive Subgradient Methods for Online Learning and Stochastic Optimization》
http://www.jmlr.org/papers/volume12/duchi11a/duchi11a.pdf
11、《Sparse Allreduce: Efficient Scalable Communication for Power-Law Data》
https://arxiv.org/pdf/1312.3020.pdf
12、《Asynchronous Parallel Stochastic Gradient Descent》
https://arxiv.org/pdf/1505.04956v5.pdf
13、《Large Scale Distributed Deep Networks》
https://papers.nips.cc/paper/4687-large-scale-distributed-deep-networks.pdf
14、《Introduction to Optimization —— Second Order Optimization Methods》
https://ipvs.informatik.uni-stuttgart.de/mlr/marc/teaching/13-Optimization/04-secondOrderOpt.pdf
15、《On the complexity of steepest descent, Newton’s and regularized Newton’s methods for nonconvex unconstrained optimization》
http://www.maths.ed.ac.uk/ERGO/pubs/ERGO-09-013.pdf
16、《On Discriminative vs. Generative classifiers: A comparison of logistic regression and naive Bayes 》
http://papers.nips.cc/paper/2020-on-discriminative-vs-generative-classifiers-a-comparison-of-logistic-regression-and-naive-bayes.pdf
17、《Parametric vs Nonparametric Models》
http://mlss.tuebingen.mpg.de/2015/slides/ghahramani/gp-neural-nets15.pdf
18、《XGBoost: A Scalable Tree Boosting System》
https://arxiv.org/abs/1603.02754
19、一个可视化CNN的网站
http://shixialiu.com/publications/cnnvis/demo/
20、《Computer vision: LeNet-5, AlexNet, VGG-19, GoogLeNet》
http://euler.stat.yale.edu/~tba3/stat665/lectures/lec18/notebook18.html
21、François Chollet在Quora上的专题问答：
https://www.quora.com/session/Fran%C3%A7ois-Chollet/1
22、《将Keras作为tensorflow的精简接口》
https://keras-cn.readthedocs.io/en/latest/blog/keras_and_tensorflow/
23、《Upsampling and Image Segmentation with Tensorflow and TF-Slim》
https://warmspringwinds.github.io/tensorflow/tf-slim/2016/11/22/upsampling-and-image-segmentation-with-tensorflow-and-tf-slim/

添加新批注
在作者公开此批注前，只有你和作者可见。
回复批注