之前介绍的工具集主要用于英文的处理，而以中文为代表的汉藏语系与以英语为代表的印欧语系不同，一个显著的区别在于词语之间不存在明显的分隔符，句子一般是由一串连续的字符构成，因此在处理中文时，需要使用更有针对性的分析工具。语言技术平台（Language Technology Platform,LTP）是哈尔滨工业大学社会计算与信息检索研究中心（HIT-SCIR）历时多年研发的一整套高效、高精度的中文自然

对问题进行形式化：文本（文本预处理、文本表示、重新加权、降维、向量对比、机器学习算法）文本表示分布式词表示：降维：自编码器：嵌入：使用嵌入向量：深度表示学习：长序列怎么样？...

OpenAI公司在2018年提出了一种生成式预训练(Generative Pre-Training,GPT)模型，用来提升自然语言理解任务的效果，正式将自然语言处理带入“预训练”时代。“预训练”时代意味着利用更大的规模的文本数据以及更深层的神经网络模型学习更丰富的文本语义表示。GPT的出现打破了自然语言处理各个任务之间的壁垒，使得搭建一个面向特定任务的自然语言处理模型不再需要了解非常多的任务背景，

现代深度学习系统的模型结构变得越来越复杂，若要从头开始则极其耗时耗力，而且非常容易出错。幸好，看似纷繁复杂的深度学习模型，都可以分解为一些同构的简单网络结构，通过将这些简单网络结构连接在一起，就可构成复杂的模型。因此，很多深度学习库应运而生，它们可以帮助用户快速搭建一个深度学习模型，并完成模型的训练（也称学习或优化）、预测和部署等功能。本书使用的是PyTorch开源深度学习库，它由Facebook

按研究对象：形式语义推理语用分析理性主义/经验主义经验主义：基于统计模型/深度学习模型/最新的预训练模型的三个阶段“新范式”：预训练+精调1.1 自然语言处理的概念自然语言通常指的是人类语言（本文特指文本符号，而非语音信号），是人类思维的载体和交流的基本工具，也是人类区别于动物的根本标志，更是人类智能发展的外在体现形式之一。NLP：理解，生成计算语言学，Computational Linguist

现代深度学习系统的模型结构变得越来越复杂，若要从头开始则极其耗时耗力，而且非常容易出错。幸好，看似纷繁复杂的深度学习模型，都可以分解为一些同构的简单网络结构，通过将这些简单网络结构连接在一起，就可构成复杂的模型。因此，很多深度学习库应运而生，它们可以帮助用户快速搭建一个深度学习模型，并完成模型的训练（也称学习或优化）、预测和部署等功能。本书使用的是PyTorch开源深度学习库，它由Facebook

1.2 自然语言处理的基础知识自然语言处理是人类语言的机器处理，旨在教授机器如何处理和理解人类的语言，从而在人与机器之间建立一个简单的沟通渠道。编程语言：“机器能够轻松理解和处理的是什么？”顺应机器自然语言处理：使机器能够与人类保持一致，并学习人类的交流方式。数值数据：机器学习模型，深度学习模型自然语言处理：文本数据---》数值数据，从而使得机器学习模型和深度学习模型能够适用于文本数据1.3 自然

NLTK(Natural Language Toolkit)是一个Python模块，提供了多种语料库（Corpora）和词典（Lexicon）资源，如WordNet等，以及一系列基本的自然语言处理工具，包括：分句，标记解析（Tokenization）、词干提取（Stemming）、词性标注（POS Tagging）和句法分析（Syntactic Parsing）等，是对英文文本数据进行处理的常用工

BERT(Bidirectional Encoder Representation from Transformers)是由Devlin等人在2018年提出的基于深层Transformer的预训练语言模型。BERT不仅充分利用了大规模无标注文本来挖掘其中丰富的语义信息，同时还进一步加深了自然语言处理模型的深度。这一节将着重介绍BERT的建模方法，其中包括两个基本的预训练任务以及两个进阶预训练任务。

1.在编辑的py文件中，在想要调试的语句上，加上断点：右键：set Breakpoint，clear Breakpoint可以清除断点。2.运行该py文件，快捷键：fn+f5在出现的shell窗口中，点击菜单栏Debug中的Debugger,出现调试控制窗口。