---

关于 NLP

NLP：Natural Language Processing，自然语言处理。
NLP 是 AI 的一个子领域。

---

NLP： 自然语言处理，数据是文本。
CV： 计算机视觉，数据是图像。

---

发展

• 萌芽期（1956年以前）
  贝叶斯方法、隐马尔可夫、最大熵、支持向量机……，主流仍为基于规则的理性主义方法；

• 快速发展期（1980~1999年）
  基于统计、基于实例和基于规则的语料库技术在这一时期蓬勃发展；

• 突飞猛进期（2000年至今）
  神经网络与深度学习；

---

基础任务

• 词法分析
  序列标注：分词、词性标注（POS）、命名体识别(NER)
• 句法分析(Syntatic Analysis）
• 语义分析（Semantic Analysis）
• 句子关系判断
  语义相似判断
• 句子生成
  机器翻译
• 文本分类
  情感分析

---

应用

• 关键词抽取：抽取目标文本中的主要信息；

• 文本挖掘：主要包含对文本的聚类、分类、信息抽取、摘要、情感分析及对挖掘的信息和知识的可视化、交互式的呈现界面；

• 机器翻译：将输入的源语言文本通过自动化翻译转化为另一种语言的文本；

• 信息检索：对大规模的文档进行索引；

• 问答系统：针对某个自然语言表达的问题，由问答系统给出一个精确答案；
  和信息检索的区别：检索返回相关结果，问答返回答案。问答需要更多语义方面的理解。

• 对话系统：系统通过多回合对话，与用户进行聊天、问答、完成某项任务；

• 文本摘要生成

---

NLG & NLU

NLP = NLU + NLG

• NLU：自然语言理解； 语音、文本 --> 意思（meaning）
• NLG：自然语言生成； 意思 --> 文本

---

自然语言生成 NLG

NLG：Natural Language Generation 自然语言生成

指从结构化数据中以读取的方式自动生成文本，主要包括三个阶段：

• 文本规划：完成结构化数据中的基础内容规划；

• 语句规划：从结构化数据中组合语句来表达信息流；

• 实现：产生语法通顺的语句来表达文本；

• 研究任务

  • 机器翻译
  • 情感分析
  • 智能问答
  • 文摘生成
  • 文本分类
  • 舆论分析
  • 知识图谱

---

NLP 的挑战

• 表达方式不同
• ambiguity

---

资料

• ML-NLP
  https://github.com/NLP-LOVE/ML-NLP

---