基于决策树与特征投影的改进KNN算法（DF-KNN）

技术信息

作品详情

行业场景

工业传感器数据、生物信息等场景常面临高维、含噪的数据，传统KNN算法因维度灾难、特征权重均等、欧氏距离信息损失等问题，分类性能严重下降。本作品针对此类数据，设计改进KNN算法，提升分类准确率与鲁棒性。

功能介绍

本作品提出DF-KNN算法，主要功能模块包括：
1. 特征选择模块：利用决策树筛选有效特征，剔除噪声与无关特征，保留对分类贡献最大的特征子集。
2. 特征加权模块：基于决策树输出的特征重要性系数，计算归一化权重，实现自适应特征加权。
3. 一维语义投影模块：结合皮尔逊相关系数判断各特征与标签的相关性方向（正/负），通过加权求和将多维特征投影为一维语义得分。
4. 分类预测模块：在语义空间中计算测试样本与训练样本的绝对距离，选择K个最近邻进行多数投票，输出预测标签。

项目实现

作为第一作者，我负责以下工作：
1. 算法设计：独立设计DF-KNN整体框架，融合决策树特征选择、自适应加权、一维投影等机制，解决KNN在高维噪声数据上的三大问题（维度灾难、权重均等、距离信息损失）。
2. 实验验证：生成含100维特征（95维噪声）的3000样本数据集，完成100次重复实验，与常规KNN、决策树、随机森林等基线算法进行对比。
3. 结果分析：DF-KNN在高维噪声数据分类任务中取得优于基线算法的准确率，训练效率显著提升，通过统计检验验证结果的有效性。
4. 论文撰写：独立完成全文写作与修改，已被《福建电脑》录用。
技术栈：Python、NumPy、Scikit-learn、决策树、KNN、特征工程