大家好，我是你们的技术伙伴。👋

在2026年的今天，虽然大模型（LLM）已经能写出优美的文章，但你是否想过，机器眼中的“我爱你”和“你爱我”真的是一样的吗？在AI理解语义之前，它必须先学会“切分”和“数字化”。

今天，我们不聊那些虚无缥缈的Transformer架构，我们来聊聊NLP（自然语言处理）的地基——文本预处理。我们将一起探索如何利用Python的Jieba库把中文文本“切”得明明白白，如何让机器识别出人名、地名，以及如何把文字变成AI能吃的“数字大餐”。

准备好了吗？让我们开始这场硬核的“庖丁解牛”！🔪

---

🔪 第一章：中文分词的艺术——Jieba的三种武器

中文分词是NLP的第一道坎。因为中文不像英文有天然的空格隔开，机器需要知道哪里是词的边界。

1. 精确模式：追求极致的准确性

这是Jieba的默认模式，它试图将句子最精确地切开，适合文本分析、情感分析等需要高精度的场景。

• 特点：不产生歧义，切分粒度适中。

2. 全模式：地毯式的关键词扫描

全模式会把句子中所有可能成词的词语都扫描出来，速度极快，但会产生大量歧义。

• 特点：速度快，召回率高，适合关键词提取等不需要严格准确性的场景。

3. 搜索引擎模式：为了“搜索”而生

这是最贴近我们日常使用习惯的模式。它在精确模式的基础上，对长词进行再次切分，极大地提高了召回率。

• 场景：用户搜“人工智”，你能匹配到“人工智能”吗？搜索引擎模式可以！

核心代码实战：

import jieba

# 1. 定义测试文本
content = '人工智能技术正在改变世界，搜索引擎模式非常强大。'

# 2. 精确模式分词
print("【精确模式】：")
result_exact = jieba.lcut(content, cut_all=False)
print(result_exact)
# 输出: ['人工智能', '技术', '正在', '改变', '世界', '，', '搜索', '引擎', '模式', '非常', '强大', '。']

# 3. 全模式分词
print("\n【全模式】：")
result_full = jieba.lcut(content, cut_all=True)
print(result_full)
# 输出: 包含 '人工', '智能', '搜索', '引擎', '人工智能' 等所有可能组合

# 4. 搜索引擎模式分词
print("\n【搜索引擎模式】：")
result_search = jieba.lcut_for_search(content)
print(result_search)
# 输出: 在精确模式基础上，将'人工智能'切分为'人工', '智能'

💡 2026年独家提示：
在电商搜索场景中，搜索引擎模式是王道。例如用户搜索“苹果手机套”，如果只用精确模式，可能匹配不到“苹果”和“手机保护套”的组合；但搜索引擎模式会将其切分为“苹果”、“手机”、“套”，从而大大提高匹配成功率。

---

🏷️ 第二章：给词汇“贴标签”——词性标注 (POS) 与 命名实体识别 (NER)

分完词还不够，我们还需要知道这个词是“人”、“地”还是“物”。

1. 词性标注 (POS)

基于语法规则，给每个词打上标签（如名词、动词、形容词）。这是机器理解语法结构的基础。

2. 命名实体识别 (NER)

这是NLP中的一块硬骨头，专门用于识别人名、地名、机构名等专有名词。它是信息提取、知识图谱构建的基石。

核心代码实战：

import jieba.posseg as pseg

# 1. 定义包含专有名词的文本
content = '马云在杭州创办了阿里巴巴'

# 2. 使用 pseg 进行分词和词性标注
result = pseg.lcut(content)

print("【词性标注与NER结果】：")
for word, flag in result:
    print(f'词语: {word}, 词性/标签: {flag}')

# 输出示例:
# 词语: 马云, 词性/标签: nr    (nr通常代表人名)
# 词语: 在, 词性/标签: p
# 词语: 杭州, 词性/标签: ns    (ns通常代表地名)
# 词语: 创办, 词性/标签: v
# 词语: 了, 词性/标签: u
# 词语: 阿里巴巴, 词性/标签: nz (nz通常代表机构名)

避坑指南：
Jieba自带的词性标注模型虽然强大，但对于非常生僻的领域词汇（如特定的医学术语或新出现的网络热词），准确率可能会下降。这时候，我们需要用到自定义词典。

---

🧮 第三章：机器眼中的世界——文本张量表示与维度计算

文字是给人看的，数字才是给机器吃的。这一章是很多初学者的噩梦，也是面试必考题。

1. 文本数字化的演变

• One-Hot 编码：最原始的方法，把词变成巨大的稀疏向量（维度=词典大小），缺点是维度爆炸且无法表达语义。
• Word2Vec / Word Embedding：将词映射到低维稠密向量空间。在这个空间里，“国王 - 男人 + 女人 ≈ 王后”。

2. 维度（Dimension）的奥秘

在PyTorch/TensorFlow中，数据都是张量（Tensor）。搞懂维度是进行深度学习的前提。

• 核心公式：结果张量的维度 = 冒号的数量 + 省略的维度个数。

核心代码实战（面试题解析）：

import torch

# 设置随机种子，保证结果可复现
torch.manual_seed(30)

# 1. 创建一个3维张量: 2个矩阵，每个矩阵3行4列
a = torch.randn(2, 3, 4)
print(f'原始张量 shape: {a.shape}') # 输出: torch.Size([2, 3, 4])

# 2. 切片操作与维度分析
print("\n【维度计算实战】：")

# 场景1: a[:1] -> 取第0个矩阵 (包含1个维度)
# 冒号数量: 1 (在第一个维度), 省略维度: 2个 (3,4) -> 结果维度: 1+2=3维
print(f'a[:1] shape: {a[:1].shape}') # 输出: torch.Size([1, 3, 4])

# 场景2: a[:1, :2] -> 取第0个矩阵的前2行
# 冒号数量: 2 (前两个维度), 省略维度: 1个 (4) -> 结果维度: 2+1=3维
print(f'a[:1, :2] shape: {a[:1, :2].shape}') # 输出: torch.Size([1, 2, 4])

# 场景3: a[:, 1, :2] -> 取所有矩阵的第1行的前2列
# 冒号数量: 2 (第1维和第3维), 省略维度: 0个 -> 结果维度: 2+0=2维
print(f'a[:, 1, :2] shape: {a[:, 1, :2].shape}') # 输出: torch.Size([2, 2])

💡 2026年独家提示：
在处理文本数据时，我们通常会遇到 NCHW 或 NLC 的格式转换问题。

• N (Batch): 样本数量。
• C (Channel)/L (Length): 通道数或序列长度。
• H/W: 高度和宽度（图像用）或 特征维度（文本用）。
  记住这个公式，能帮你避免90%的维度报错！

---

🛠️ 第四章：进阶技巧——自定义词典与繁体处理

1. 自定义词典 (Custom Dictionary)

当你的业务场景中有很多专业术语（如“Transformer”、“多头注意力”）时，Jieba可能无法正确切分。这时候，我们需要强行“喂”给它词典。

词典文件格式 (userdict.txt)：

人工智能 100 n
深度学习 100 n
Transformer 50 eng

(格式：词语 词频 词性)

代码加载：

# 加载自定义词典
jieba.load_userdict('./userdict.txt')

# 此时再分词，'人工智能' 就会被强制识别为一个词

2. 繁体分词

针对港台地区的用户，Jieba也原生支持繁体中文，无需额外转换编码。

content_traditional = '繁惱即是菩提，我暫且不提'
result = jieba.lcut(content_traditional)
print(result)

📝 结语

恭喜你读完这篇NLP地基搭建指南！🎉

今天我们完成了一场从“切词”到“数字化”的深度探索。你学会了：

1. Jieba的三种分词模式，以及如何在不同业务场景（如搜索引擎）中灵活运用。
2. 词性标注与NER，让机器不仅能“切词”，还能“懂语法”。
3. 文本张量表示，掌握了维度计算的“独孤九剑”，不再害怕PyTorch的报错。

在2026年的AI赛道上，基础不牢，地动山摇。希望这篇博客能帮你夯实基础，更好地驾驭大模型。

最后的叮嘱：

1. 多动手：代码敲一遍，比看十遍都有用。
2. 善用自定义词典：这是解决特定领域分词不准的神器。
3. 关注维度：在构建神经网络时，时刻关注输入输出的shape。

如果你觉得这篇长文对你有帮助，请务必点赞、收藏，并关注我。有任何关于NLP的问题，欢迎在评论区留言，我会一一解答。💬