机器学习2 KNN算法

研究生学习 机器学习 监督学习

最邻近算法KNN

分类算法 懒惰学习
Nearest Neighbor 邻近取样
根据它的邻居是什么类别 来判断它是什么类别
k -- 最邻近的实例个数
1. 选择参数k 通常选奇数
2. 计算未知实例与已知实例的距离差
3. 选择距离最近的k个点
4. 根据少数服从多数的原则判断未知实例类别

距离
1. L-1 距离 绝对值
2. L-2距离 平方后开根
3. 曼哈顿距离

优缺点
增大k 减少噪音
算法复杂度高
大量存储空间
分布不平衡产生错误归类

改进
给距离增加权重 1/d 再次判定