问题背景

文本分类是自然语言处理中的经典任务，但面临两大核心挑战：

1. 高维稀疏性：当采用词袋模型时，特征维度可能高达数十万，而单个文档仅包含少量词汇，导致矩阵填充率极低（通常<1%）。例如20newsgroup数据集的原始词汇量约为13万维
2. 语义鸿沟：同义词、多义词现象使得单纯词频统计效果受限，需要结合上下文特征

技术选型对比

• KNN优势：
• 无需训练阶段（惰性学习）
• 对数据分布无假设
• 距离度量可灵活调整（适合文本的余弦相似度）
• 对比模型：
• 朴素贝叶斯：计算高效但独立性假设过强
• SVM：适合高维数据但核函数选择困难

核心实现步骤

1. 数据加载与预处理

from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer

# 选择8个典型类别减少计算量
categories = ['sci.space', 'rec.sport.baseball', 'comp.graphics', 
              'talk.politics.mideast', 'alt.atheism', 'sci.med']

# 加载数据时去除邮件头尾等噪声
newsgroups = fetch_20newsgroups(subset='all', categories=categories, 
                               remove=('headers', 'footers', 'quotes'))

2. 特征工程关键参数

tfidf = TfidfVectorizer(
    max_features=50000,          # 控制维度
    stop_words='english',        # 内置英文停用词
    ngram_range=(1,2),           # 包含二元词组
    min_df=5,                    # 忽略文档频率<5的词
    norm='l2'                    # 欧式空间归一化
)
X = tfidf.fit_transform(newsgroups.data)
y = newsgroups.target

3. KNN模型实现

from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split

# 数据分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 重要参数说明：
# - metric='cosine' 更适合文本相似度计算
# - n_jobs=-1 启用多核并行
knn = KNeighborsClassifier(n_neighbors=5, metric='cosine', algorithm='brute', n_jobs=-1)
knn.fit(X_train, y_train)
print(f"Test Accuracy: {knn.score(X_test, y_test):.3f}")

参数优化实战

使用网格搜索寻找最优K值和距离度量：

from sklearn.model_selection import GridSearchCV

param_grid = {
    'n_neighbors': [3,5,7,10],
    'metric': ['cosine', 'euclidean']
}

grid = GridSearchCV(KNeighborsClassifier(), param_grid, cv=5, n_jobs=-1)
grid.fit(X_train[:5000], y_train[:5000])  # 使用数据子集加速

print("Best params:", grid.best_params_)
print("Best score:", grid.best_score_)

大规模数据优化方案

当特征维度超过10万时：

1. 内存优化：

   from sklearn.feature_extraction.text import HashingVectorizer
   
   hasher = HashingVectorizer(n_features=2**18, alternate_sign=False)
   X_hashed = hasher.transform(newsgroups.data)

2. 降维技巧：

3. 使用TruncatedSVD进行语义降维
4. 先进行chi2特征筛选

常见问题解决方案

1. 停用词失效：

2. 自定义停用词表：tfidf.set_params(stop_words=list(custom_stopwords))

3. 维度灾难：

4. 调整max_features参数

5. 增加min_df阈值

6. 类别不平衡：

7. 在KNN中设置class_weight参数
8. 采用SMOTE过采样

延伸思考

1. 如何利用Word2Vec等嵌入表示改进KNN的相似度计算？
2. 当面对多语言文本时，应如何调整特征提取策略？

完整代码示例已上传至：[Github仓库链接]（此处替换为实际链接）