1. 情感分析入门：为什么选择情感词典？

刚接触情感分析时，很多人第一反应就是用机器学习或者深度学习模型。确实，BERT、LSTM这些模型在准确率上表现很出色，但我在实际项目中发现，当遇到以下场景时，基于情感词典的方法反而更合适：

• 需要快速上线：从数据准备到模型训练往往需要大量时间，而词典方法当天就能跑通流程
• 解释性要求高：金融、法律等领域经常需要说明"为什么判断为积极/消极"
• 小样本场景：当标注数据不足时，词典方法比机器学习更稳定

记得去年帮一家电商做评论分析，老板坚持要看到"具体哪个词影响了评分"。用词典方法生成的报告直接标红了"物流慢"、"包装差"等关键词，比神经网络的黑箱输出直观多了。

2. 四大词典准备实战

2.1 情感词典：文本的"温度计"

BosonNLP提供的情感词典是我的首选，它包含约10万条带有情感值得分的词汇。下载解压后你会看到这样的结构：

"如虎添翼 6.37503943135"
"定购 6.37503943135"
"富婆团 6.37503943135"

第一列是词语，第二列是情感值（正值越大约积极）。我建议用Python的defaultdict加载：

from collections import defaultdict

sentiment_dict = defaultdict(float)
with open('BosonNLP_sentiment_score.txt', 'r', encoding='utf-8') as f:
    for line in f:
        if line.strip():
            word, score = line.split()
            sentiment_dict[word] = float(score)

2.2 否定词库：情感的"反转器"

否定词文件需要注意编码问题，我踩过的坑是直接用open()读取中文会乱码。正确的打开方式：

not_words = []
with open('notDict.txt', 'r', encoding='utf-8') as f:
    not_words = [line.strip() for line in f if line.strip()]

2.3 程度副词：情感的"放大器"

程度副词需要区分强化(>1)和弱化(<1)两类。建议创建带权重的字典：

degree_dict = {}
with open('degree.txt', 'r', encoding='utf-8') as f:
    for line in f:
        word, degree = line.strip().split(',')
        degree_dict[word] = float(degree)

2.4 停用词处理：过滤的"白名单"

停用词表需要特别处理，否则可能误删否定词。我的经验是：

def load_stopwords(stop_file, keep_words):
    with open(stop_file, 'r', encoding='utf-8') as f:
        return {word.strip() for word in f if word.strip() not in keep_words}
        
stopwords = load_stopwords('stopwords.txt', not_words + list(degree_dict.keys()))

3. 文本预处理三部曲

3.1 智能分词实战

jieba分词基础用法大家都会，但要注意特殊场景：

import jieba

# 添加领域专有词
jieba.add_word("yyds") 
jieba.add_word("绝绝子")

# 精确模式 vs 全模式
text = "这个产品简直yyds！"
print("精确模式:", list(jieba.cut(text)))
print("全模式:", list(jieba.cut(text, cut_all=True)))

3.2 停用词过滤技巧

过滤时建议保留原始位置信息，方便后续分析：

def filter_stopwords(words, stopwords):
    return [(i, w) for i, w in enumerate(words) if w not in stopwords]

words = list(jieba.cut("这个东西一点都不好"))
filtered = filter_stopwords(words, stopwords)

3.3 词性标注的妙用

虽然词典方法不强制需要词性标注，但能提升准确率：

import jieba.posseg as pseg

words = pseg.cut("客服态度很差但物流很快")
for word, flag in words:
    if flag in ['a', 'ad', 'ag']:  # 形容词/副词的词性
        print(word, flag)

4. 情感计算引擎实现

4.1 词语分类算法

def classify_words(seg_list):
    sen_word = {}
    not_word = {}
    degree_word = {}
    
    for i, word in enumerate(seg_list):
        if word in sentiment_dict:
            sen_word[i] = sentiment_dict[word]
        elif word in not_words:
            not_word[i] = -1
        elif word in degree_dict:
            degree_word[i] = degree_dict[word]
    
    return sen_word, not_word, degree_word

4.2 权重计算策略

核心算法要考虑否定词叠加和程度副词修饰：

def calculate_score(sen_word, not_word, degree_word, seg_list):
    W = 1.0
    score = 0
    sentiment_index = -1
    index_list = sorted(sen_word.keys())
    
    for i in range(len(seg_list)):
        if i in sen_word:
            score += W * sen_word[i]
            sentiment_index += 1
            W = 1.0  # 重置权重
            
            if sentiment_index < len(index_list)-1:
                # 检查两个情感词之间的修饰词
                for j in range(index_list[sentiment_index], index_list[sentiment_index+1]):
                    if j in not_word:
                        W *= -1
                    elif j in degree_word:
                        W *= degree_word[j]
    return score

4.3 句子级情感聚合

处理长文本时建议分句计算：

import re

def split_sentences(text):
    return [s for s in re.split(r'[。！？；.!?;]', text) if s.strip()]

def text_score(text):
    sentences = split_sentences(text)
    total = 0
    for sent in sentences:
        seg = list(jieba.cut(sent))
        sw, nw, dw = classify_words(seg)
        total += calculate_score(sw, nw, dw, seg)
    return total / len(sentences)

5. 效果优化与调参经验

5.1 词典增强技巧

• 领域词添加：电商场景加入"物美价廉"、"踩雷"等
• 网络用语处理："yyds"(6.0)、"破防"(-5.0)
• 情感值校准：用少量标注数据调整原始词典分值

5.2 权重调整策略

通过混淆矩阵分析常见错误：

1. 否定词被停用词过滤 → 调整停用词表
2. 程度副词权重过高 → 限制连乘次数
3. 长文本得分稀释 → 改用段落最大分值

5.3 混合方法实践

在关键位置结合规则方法：

def hybrid_analysis(text):
    # 先用词典方法快速判断
    basic_score = text_score(text)
    
    if abs(basic_score) < 0.5:  # 中性文本再用模型判断
        return model_predict(text)
    return basic_score

6. 典型业务场景案例

6.1 电商评论分析

reviews = [
    "衣服质量不错但是物流太慢了",
    "客服态度很差，不会再买了",
    "物超所值！已经推荐给朋友"
]

for review in reviews:
    score = text_score(review)
    print(f"【{review}】=> 情感得分: {score:.2f}")

6.2 新闻舆情监测

处理新闻时要特别注意：

• 标题权重加倍
• 引语部分单独分析
• 命名实体识别避免误判

6.3 社交媒体情绪分析

针对微博/小红书的特点：

• 表情符号转换（[心]→+2.0）
• 网络用语特殊处理
• 话题标签单独分析

我在实际项目中总结出一套调参经验：对于短文本，适当放大程度副词的影响；对于长文本，更关注情感词密度。当遇到"不是很差"这种双重否定时，建议设置否定词的最大叠加次数。