别再死记公式了！用Python+sklearn的TfidfVectorizer，5分钟搞定文本向量化

文本数据在机器学习中的应用越来越广泛，但如何将非结构化的文本转换为计算机可理解的数值特征，一直是许多初学者的痛点。传统方法往往要求先深入理解复杂的数学公式，这无形中为实践设置了门槛。本文将带你绕过理论障碍，直接掌握用Python的sklearn库快速实现文本向量化的实用技巧。

1. 为什么选择TF-IDF向量化？

在自然语言处理（NLP）任务中，文本向量化是必不可少的一步。TF-IDF（词频-逆文档频率）因其简单有效而成为最常用的方法之一。与one-hot编码相比，TF-IDF能更好地反映词语在文档中的重要性。

TF-IDF的核心优势 ：

• 自动降低高频常见词的权重（如"的"、"是"）
• 提升文档特有词的显著性
• 无需手动特征工程即可获得较好效果

提示：虽然理解TF-IDF公式有帮助，但sklearn已经完美实现了算法，初期只需关注如何正确使用即可。

2. 快速上手TfidfVectorizer

让我们从一个最简单的例子开始。假设我们有以下4个文档需要处理：

from sklearn.feature_extraction.text import TfidfVectorizer

docs = [
    "苹果 手机 好用",
    "华为 手机 也不错",
    "小米 性价比 高", 
    "苹果 电脑 很贵"
]

# 初始化向量化器
vectorizer = TfidfVectorizer()

# 拟合数据并转换
tfidf_matrix = vectorizer.fit_transform(docs)

# 查看结果
print("特征词：", vectorizer.get_feature_names_out())
print("向量化结果：\n", tfidf_matrix.toarray())

这段代码会输出：

• 所有文档中出现的词汇表（按字母排序）
• 每个文档对应的TF-IDF向量

关键参数解析 ：

参数	说明	常用值
stop_words	停用词列表	['的','是'] 或 "english"
ngram_range	考虑的词组范围	(1,1) 仅单词；(1,2) 包含单词和二元组
max_df	忽略高频词阈值	0.9（忽略出现在90%以上文档的词）
min_df	忽略低频词阈值	2（忽略出现在少于2个文档的词）

3. 实战技巧与常见问题

3.1 处理中文文本的注意事项

中文需要先分词才能有效向量化。推荐使用jieba等分词工具：

import jieba

text = "这是一句需要分词的中文句子"
words = " ".join(jieba.cut(text))
# 输出："这 是 一 句 需要 分词 的 中文 句子"

3.2 优化向量化效果的技巧

• 停用词处理 ：创建自定义停用词表提升效果

my_stopwords = ["的", "是", "在"]
vectorizer = TfidfVectorizer(stop_words=my_stopwords)

• 调整n-gram范围 ：捕获短语特征

# 同时考虑单词和二元组
vectorizer = TfidfVectorizer(ngram_range=(1,2))

• 控制特征维度 ：避免维度爆炸

# 只保留最重要的1000个特征
vectorizer = TfidfVectorizer(max_features=1000)

4. 进阶应用场景

4.1 文本分类实战

将TF-IDF向量输入分类模型：

from sklearn.pipeline import make_pipeline
from sklearn.svm import LinearSVC

# 创建分类管道
model = make_pipeline(
    TfidfVectorizer(),
    LinearSVC()
)

# 训练模型
model.fit(train_texts, train_labels)

# 预测
predictions = model.predict(test_texts)

4.2 相似文档检索

计算文档间余弦相似度：

from sklearn.metrics.pairwise import cosine_similarity

# 计算第一个文档与其他文档的相似度
sim_matrix = cosine_similarity(tfidf_matrix[0:1], tfidf_matrix)

在实际项目中，我发现合理设置max_df和min_df参数能显著提升模型效果。例如，过滤掉出现在80%以上文档中的词和仅出现在单个文档中的词，通常能得到更有区分度的特征。