PCA/KPCA/AE/KNN算法步骤总结

机器学习

PCA

假设给定一个M*N维样本数据矩阵X（其中M代表样本个数，N代表特征个数），期待降到K维(N>K)

1. 零均值化：求出每一列对应的均值，每一列的数值都减去这个均值；
2. 协方差矩阵：由$\frac{1}{M}X^TX$，得到最后的结果是N*N维协方差矩阵；
3. 求出这个协方差矩阵的特征值与特征向量
4. 对特征值进行排序，由大到小取得前k个对应的特征向量，组成N*K维矩阵P；
5. 原先的样本数据矩阵X右乘P，得到降维后的M*K维样本数据矩阵。

参考文献[1]

KPCA

区别于PCA的地方在于，KPCA可处理非线性数据（线不线性，在几何上直观认识就是能不能找到一条直线把不同类型的数据隔开），一般做法是先利用Kernel Tricks把非线性数据映射到高维空间，再利用PCA算法降维，这里核函数以高斯核函数$k(x^(i),x)$

1.