机器学习与人工智能技术分享-目录

目录

1. 一些基本概念

　　1.1 生成式模型与判别式模型
　　1.2 参数学习与非参学习
　　　　1.2.1 参数学习
　　　　1.2.2 非参学习
　　1.3 监督学习、非监督学习与强化学习

2. 建模方法回顾

　　2.0 偏差与方差
　　2.1 线性回归-Linear Regression
　　　　2.1.1 模型原理
　　　　2.1.2 损失函数
　　2.2 支持向量机-Support Vector Machine
　　　　2.2.1 模型原理
　　　　2.2.2 损失函数
　　　　2.2.3 核方法
　　2.3 逻辑回归-Logistic Regression
　　　　2.3.1 模型原理
　　　　2.3.2 损失函数
　　2.4 Bagging and Boosting框架
　　　　2.4.1 Bagging框架
　　　　2.4.2 Boosting框架
　　2.5 Additive Tree 模型
　　　　2.5.1 Random Forests
　　　　2.5.2 AdaBoost with trees
　　　　2.5.3 Gradient Boosting Decision Tree
　　　　2.5.4 简单的例子
　　　　2.5.5 CatBoost
　　2.6 人工神经网络-Neural Network
　　　　2.6.1 神经元
　　　　2.6.2 神经网络的常用结构
　　　　2.6.3 一个简单的神经网络例子

3. 机器学习中的统一框架

　　3.1 目标函数
　　　　3.1.1 损失函数
　　　　3.1.2 正则化项
　　　　3.1.3 L2 正则
　　　　3.1.4 L1 正则
　　　　3.1.5 正则化的几何解释
　　　　3.1.6 Dropout正则化与数据扩充
　　3.2 神经网络框架
　　　　3.2.1 Linear Regression
　　　　3.2.2 Logistic Regression
　　　　3.2.3 Support Vector Machine
　　　　3.2.4 Bootstrap Neural Networks
　　　　3.2.5 Boosting Neural Network

4. 最优化原理

　　4.1 泰勒定理
　　　　4.1.1 泰勒展开式
　　　　4.1.2 泰勒中值定理
　　4.2 梯度下降法
　　　　4.2.1 基本原理
　　　　4.2.2 迭代框架
　　　　4.2.3 批量梯度下降
　　　　4.2.4 随机梯度下降
　　　　4.2.5 小批量梯度下降
　　　　4.2.6 牛顿法
　　　　4.2.7 Momentum
　　　　4.2.8 AdaGrad
　　　　4.2.9 AdaDelta
　　　　4.2.10 Adam
　　4.3 并行SGD
　　　　4.3.1 AllReduce
　　　　4.3.2 参数服务器(Parameter Server)
　　4.4 二阶优化方法
　　　　4.4.1 概览
　　　　4.4.2 牛顿法(Newton Method)
　　　　4.4.3 拟牛顿法(Quasi-Newton Method)
　　4.5 OWL-QN算法
　　　　4.5.1 BFGS算法回顾
　　　　4.5.2 L-BFGS算法
　　　　4.5.3 OWL-QN算法原理

5. 深度神经网络

　　5.1 反向传播
　　5.2 卷积网络结构演化史
　　5.3 CNN基本原理
　　　　5.3.1 Sigmoid激活函数
　　　　5.3.2 输入层
　　　　5.3.3 卷积层
　　　　5.3.4 Zero-Padding
　　　　5.3.5 采样层(pooling)
　　　　5.3.6 全连接样层
　　　　5.3.7 参数求解
　　　　5.3.8 CNN在NLP领域应用实例
　　5.4 LeNet-5
　　　　5.4.1 输入层
　　　　5.4.2 C1卷积层
　　　　5.4.3 S2下采样层
　　　　5.4.4 C3卷积层
　　　　5.4.5 S4下采样层
　　　　5.4.6 C5卷积层
　　　　5.4.7 F6全连接层
　　　　5.4.8 输出层
　　　　5.4.9 LeNet-5代码实践
　　5.5 AlexNet
　　　　5.5.1 网络结构分析
　　　　5.5.2 ReLu激活函数
　　　　5.5.3 Local Response Normalization
　　　　5.5.4 Overlapping Pooling
　　　　5.5.5 Dropout
　　　　5.5.6 数据扩充
　　　　5.5.7 多GPU训练
　　　　5.5.8 AlexNet代码实践
　　5.6 VGG
　　　　5.6.1 网络结构
　　　　5.6.2 VGG代码实践
　　5.7 MSRANet
　　5.8 Highway Networks
　　5.9 Residual Networks
　　　　5.9.1 ResNet产生的动机
　　　　5.9.2 恒等映射
　　　　5.9.3 模型集成角度看残差网络
　　　　5.9.4 残差网络中的短路径
　　　　5.9.5 代码实践
　　5.10 Maxout Networks
　　5.11 Network in Network
　　　　5.11.1 NIN卷积层(MLP Convolution)
　　　　5.11.2 NIN抽样层(Global Average Pooling)
　　5.12 GoogLeNet Inception V1
　　　　5.12.1 一些思考
　　　　5.12.2 GoogLeNet结构
　　　　5.12.3 代码实践
　　5.13 GoogLeNet Inception V2
　　　　5.13.1 一些思考
　　　　5.13.2 BN原理
　　　　5.13.3 卷积神经网络中的BN
　　　　5.13.4 代码实践
　　5.14 GoogLeNet Inception V3
　　　　5.14.1 网络结构设计的准则
　　　　5.14.2 平滑样本标注
　　　　5.14.3 网络结构
　　　　5.14.4 代码实践
　　5.15 GoogLeNet Inception V4/ResNet V1/V2
　　　　5.15.1 GoogLeNet Inception V4网络结构
　　　　5.15.2 GoogLeNet Inception ResNet网络结构
　　　　5.15.3 代码实践
　　5.16 模型可视化
　　　　5.16.1 一些说明
　　　　5.16.2 代码实践

6. 循环神经网络

　　6.1 RNN
　　　　6.1.1 基本原理
　　　　6.1.2 BPTT 原理
　　　　6.1.3 代码实践
　　6.2 混沌理论
　　　　6.2.1 一维映射
　　　　6.2.2 二维映射
　　　　6.2.3 线性映射
　　　　6.2.4 非线性映射
　　　　6.2.5 混沌的演化及结构
　　　　6.2.6 RNN长依赖学习问题
　　6.3 LSTM
　　　　6.3.1 基本原理
　　　　6.3.2 代码实践
　　6.4 Sequence to Sequence应用

7. 对抗神经网络(待填坑)

　　7.1 GANs
　　7.2 Wasserstein GAN
　　7.3 代码实践

8. 目标检测

　　8.1 Selective Search
　　　　8.1.1 启发式生成设计准则
　　　　8.1.2 Selective Search
　　　　8.1.3 使用Selective Search做目标识别
　　　　8.1.4 代码实践
　　8.2 OverFeat
　　　　8.2.1 OverFeat分类任务
　　　　8.2.2 OverFeat定位任务
　　　　8.2.3 OverFeat检测任务
　　　　8.2.4 代码实践
　　8.3 R-CNN
　　　　8.3.1 IoU
　　　　8.3.2 NMS
　　　　8.3.3 mAP
　　　　8.3.4 R-CNN原理
　　　　8.3.5 代码实践
　　8.4 SPP-Net
　　　　8.4.1 问题回顾
　　　　8.4.2 SPP详解
　　　　8.4.3 感受野(Receptive Field)
　　　　8.4.4 feature map与原图对应关系转换
　　　　8.4.5 代码实践
　　8.5 Fast R-CNN
　　　　8.5.1 算法概述
　　　　8.5.2 训练阶段
　　　　8.5.3 代码实践
　　8.6 Faster R-CNN
　　　　8.6.1 算法概述
　　　　8.6.2 RPN
　　　　8.6.3 Anchor
　　　　8.6.4 代码实践
　　　　8.6.5 Faster R-CNN训练流程
　　　　8.6.6 Faster R-CNN with Caffe
　　8.7 R-FCN
　　　　8.7.1 算法概述
　　　　8.7.2 position-sentitive RoI pooling
　　　　8.7.3 模型训练
　　　　8.7.4 代码实践
　　8.8 DenseNet
　　　　8.8.1 关于神经网络的深度
　　　　8.8.2 DenseNet思路
　　　　8.8.3 代码实践
　　8.9 Mask R-CNN
　　8.10 YOLO
　　8.11 SSD
　　8.12 YOLO 9000

9. 语义分割

　　9.1 FCN
　　　　9.1.1 算法概述
　　　　9.1.2 1×1卷积回顾
　　　　9.1.3 全卷积网络
　　　　9.1.4 Nyquist–Shannon采样定理
　　　　9.1.5 转置卷积(Transposed Convolution)
　　　　9.1.6 代码实践
　　9.2 FCN-CRF
　　9.3 SegNet
　　9.4 UberNet

10. 物体跟踪(待填坑)

　　10.1 卡尔曼滤波器
　　10.2 CamShift
　　10.3 DLT
　　10.4 SO-DLT
　　10.5 FCNT
　　10.6 MDNet
　　10.7 RTT
　　10.8 DeepTracking

11. OCR

　　11.1 背景知识
　　11.2 数据预处理
　　　　11.2.1 图像滤波
　　　　11.2.2 去模糊、去水印
　　　　11.2.3 图片角度识别
　　11.3 基于神经网络的文字OCR
　　　　11.3.1 行检测模型算法思路
　　　　11.3.2 行识别模型算法思路

12. 机器学习框架

　　12.1 通用机器学习框架
　　　　12.1.1 典型场景浅析
　　　　12.1.2 系统流程
　　　　12.1.3 系统架构
　　12.2 NNI AutoML框架介绍
　　　　12.2.1 AutoML综述
　　　　12.2.2 NNI框架介绍

13. ADAS&自动驾驶

　　13.1 Openpilot
　　　　13.1.1 项目简介
　　　　13.1.2 基本概念
　　　　13.1.3 系统架构
　　　　13.1.4 软件架构
　　　　13.1.5 汽车基础组件
　　　　13.1.6 公共组件
　　　　13.1.7 手机组件
　　　　13.1.8 自动驾驶组件
　　　　13.1.9 总结
　　13.2 基于视觉的车道检测
　　　　13.2.1 传统车道检测方法
　　　　13.2.2 深度学习套路
　　　　13.2.3 Vanishing Point Guided Network

14. 金融风控应用

　　14.1 风控概述
　　　　14.1.1 风控在行业上的区别
　　　　14.1.2 风控审批流程逻辑框架
　　　　14.1.3 风控是需要动态闭环的
　　　　14.1.4 数据是风控的核心
　　　　14.1.5 融资租赁业务需要以风险为中心考虑收益和产品发展策略
　　　　14.1.6 风险政策是分层级联的
　　　　14.1.7 风控是以若干假设为前提的
　　　　14.1.8 风控是个最优化问题
　　　　14.1.9 风控是在不停的做实验
　　　　14.1.10 保证风控实验的置信度在于正确分割流量
　　　　14.1.11 评价指标在风控中是至关重要的
　　　　14.1.12 有效监控对风控业务保驾护航
　　14.2 风控平台架构
　　　　14.2.1 风控系统发展概述
　　　　14.2.2 风控系统架构
　　14.3 风控建模方法
　　　　14.3.1 建模概述
　　　　14.3.2 需求分析与目标定义
　　　　14.3.3 数据准备
　　　　14.3.4 数据标注
　　　　14.3.5 拒绝推断
　　　　14.3.6 风控建模
　　14.4 风控模型监控
　　　　14.4.1 离线模型监控
　　　　14.4.2 在线模型监控
　　　　14.4.3 业务监控

15. 强化学习(待填坑)

16. BOT(待填坑)