Terminology of Machine Learning

Machine_Learning

A

1. AdaGrad
   一种复杂的梯度下降算法，重新调节每个参数的梯度，高效地给每个参数一个单独的学习率。详见论文：Adaptive Subgradient[1]

2. AUC,ROC
   ROC曲线，AUC by @ds17

C

1. Converence
   收敛

   • 训练一定次数后，再迭代，训练损失和验证损失，改变很小或不变；
   • 对当前数据再训练已经无法再提升模型表现水平的时候，即收敛。

2. Concex function
   凸函数
   形状大致呈“U”形或“碗”形的函数，例如：

   • L2损失函数
   • Log损失函数
   • L1正则化函数
   • L2正则化函数
     两个凸函数相加后任然是凸函数。

3. Cross-entropy
   交叉熵

   • 多类别分类问题中对Log损失函数的推广。
   • 交叉熵量化两个概率分布之间的区别。
   • 参见困惑度（perplexity）。

D

1. Decision boundary
   决策边界

   • 二元分类或多类别分类问题中模型学习的类别之间的分离器

2. Dense feature
   密集特征←→ 稀疏特征(sparse feature)

   • 大多数取值为非零的一种特征，通常用取浮点值的张量（tensor）表示

3. derived feature
   派生特征，合成特征（synthetic feature）

4. discrete feature
   离散特征，有限个取值的特征

5. Dynamic model
   动态模型

   • 以连续更新的方式在线训练的模型。即数据连续不断的输入模型。

P

1. perplexity
   困惑度
   
   • 对模型完成任务的程度的一种度量指标。
     $$P=2^{-CrossEntropy}$$

S

Softmax

synthetic feature
合成特征

W

1. wide model
   宽模型 ←→ 深度模型
   
   • 线性模型通常具备很多稀疏输入特征
   • 具有大量与输出节点直接连接的输入，是一种特殊类型的神经网络
   • 尽管宽模型无法通过隐藏层表达非线性，但它们可以使用特征交叉和 bucketization 等转换用不同方式对非线性建模。

Refer

1. 谷歌开发者机器学习词汇表
2. Github - Artificial-Intelligence-Terminology