基于KNN和Kmeans算法利用MNIST数据集实现手写数字识别

K-最近邻法最初由Cover和Hart于1968年提出，是一个在理论上比较成熟的分类算法。这是一种基于模板匹配思想的算法，虽然简单，但很有效，至今仍在被使用。此外，KNN优化方案还有kd-tree和BFPTR等。kd树是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。kd树是是一种二叉树，表示对k维空间的一个划分，构造kd树相当于不断地用垂直于坐标轴的超平面将K维空间切分，构成一系列的K维超矩形区域。利用kd树可以省去对大部分数据点的搜索，从而减少搜索的计算量。K-means算法就是这种用于统计的无监督聚类技术。因此可以采取KNN与Kmeans结合的方式。而在预测过程中我们采取KNN算法，通过与所有的中心点运算，最终取得多数值作为预测标签，这样能增加预测的准确度。