1. TF-IDF 算法原理深度解析

第一次接触TF-IDF是在处理一批新闻稿件时，当时需要自动提取每篇文章的关键词。试过简单统计词频，结果"的"、"是"这类词总是霸榜。直到发现TF-IDF这个神奇的组合，才真正解决了关键词提取的痛点。

TF-IDF全称Term Frequency-Inverse Document Frequency，由两部分组成。就像评价一个学生的表现，既要看单科成绩（TF），也要考虑学科难度系数（IDF）。举个例子，"区块链"在某篇科技文章中出现了5次（TF高），同时这个词在整个文档集合中出现的文档很少（IDF也高），那它的TF-IDF值就会非常高。

具体计算时，TF部分通常采用标准化词频：

def compute_tf(word, document):
    return document.count(word) / len(document.split())

而IDF的计算更像一个惩罚因子：

import math
def compute_idf(word, documents):
    doc_count = sum(1 for doc in documents if word in doc)
    return math.log(len(documents) / (doc_count + 1))

这里有个工程细节要注意：+1是为了防止除零错误，这种技巧在机器学习中称为平滑处理。不同库的实现可能略有差异，比如sklearn默认使用自然对数而非以2为底的对数。

2. 手动实现TF-IDF的实战技巧

三年前接手一个定制化文本分析项目时，因为特殊的数据预处理需求，不得不自己实现TF-IDF。这段经历让我深刻理解了算法细节，也踩过不少坑。

完整的Python实现需要考虑语料库的增量更新。下面这个类封装了核心功能：

class EnhancedTFIDF:
    def __init__(self):
        self.doc_count = 0
        self.word_doc_count = defaultdict(int)
        self.vocab = set()
    
    def update_corpus(self, new_docs):
        """支持动态添加新文档"""
        for doc in new_docs:
            self.doc_count += 1
            unique_words = set(doc.split())
            self.vocab.update(unique_words)
            for word in unique_words:
                self.word_doc_count[word] += 1
    
    def get_tfidf_vector(self, document):
        vector = {}
        words = document.split()
        total_words = len(words)
        
        for word in set(words):
            tf = words.count(word) / total_words
            idf = math.log(self.doc_count/(self.word_doc_count.get(word,0)+1))
            vector[word] = round(tf*idf, 4)
        
        return vector

实际使用时要注意几个问题：

1. 内存优化：当语料库很大时，可以用稀疏矩阵存储
2. 性能瓶颈：提前计算所有词的IDF值缓存起来
3. 特殊字符处理：需要先做文本清洗

我曾经处理过一批微博数据，因为没过滤@和#开头的词，导致效果很差。后来加了正则过滤r'[@#]\w+'才解决。

3. sklearn工业级应用指南

在电商评论分析项目中，当数据量达到百万级时，手动实现的版本就力不从心了。这时切换到sklearn的TfidfVectorizer，速度提升了近百倍。

基础用法很简单：

from sklearn.feature_extraction.text import TfidfVectorizer

corpus = [
    "手机 外观 漂亮 拍照 效果好",
    "电池 续航 时间 短",
    "系统 流畅 不 卡顿"
]

vectorizer = TfidfVectorizer(tokenizer=lambda x: x.split())
matrix = vectorizer.fit_transform(corpus)

但真正发挥威力的是这些高级参数：

• max_features=5000：限制特征数量防止维度爆炸
• ngram_range=(1,2)：考虑词组组合
• sublinear_tf=True：对TF做对数变换

有个实际案例：分析产品评论时，开启sublinear_tf后，"不错"和"非常不错"的权重差异更合理了。配置示例：

optimized_vectorizer = TfidfVectorizer(
    tokenizer=jieba.cut,
    max_features=8000,
    ngram_range=(1, 3),
    sublinear_tf=True,
    stop_words=stopwords
)

4. 性能优化与业务适配

在搭建推荐系统时，发现TF-IDF计算成了性能瓶颈。通过测试对比，总结出这些优化方案：

内存优化技巧：

• 使用HashingVectorizer替代TfidfVectorizer，避免存储词表
• 设置dtype=np.float32减少内存占用

并行计算方案：

vectorizer = TfidfVectorizer(analyzer='word', n_jobs=-1)

增量学习技巧：

from sklearn.feature_extraction.text import TfidfTransformer
transformer = TfidfTransformer()
X = transformer.partial_fit_transform(batch)

不同场景的参数配置差异很大：

• 短文本（如微博）：min_df=2, max_df=0.9
• 长文档（如论文）：min_df=5, max_df=0.5
• 跨语言文本：需要先做语言检测

在金融风控项目中，我们结合业务特点调整了权重计算：将金额数字的TF-IDF权重人工调高3倍，显著提升了欺诈文本识别率。