通过简单的pyhanlp 分词然后根据词性获取实体对象from pyhanlp import *# 词性切分sentence = u'''上线三年就成功上市,拼多多上演了互联网企业的上市奇迹,却也放大平台上存在的诸多问题，拼多多在美国上市。'''# 词性标注+切分# 此处以代码的方式插入自定义词语，在实际项目中也可以用词典文件的方式CustomDictionary.insert("拼多多", "电

与训练词向量类似，可以使用 gensim 包来训练文档向量。import multiprocessing# gensim Doc2vec 模块为语料库中的每篇文档包含了词向量嵌入和文档向量from gensim.models.doc2vec import TaggedDocument, Doc2Vec# gensim的simple_preprocess 单元是一个粗分词器，会去除单字母词和所有标点

线性回归模型可能会受到离群值的严重影响。在某些情况下，一小部分数据可能会对估计的模型系数有很大的影响。除了淘汰离群值之外，这里利用RANSAC拟合稳健的回归模型迭代RANSAC算法如下：1.随机选择一定数量的样本作为内点来拟合模型。2.用模型测试所有其他的点，把落在用户给定容限范围内的点放入内点集。3.调整模型中使用的所有的内点。4.用内点重新拟合模型。5.评估模型预测结果与内点集相比较的误差。6

如果能够度量两个文本之间的重合度，就可以很好地估计它们所用词的相似程度，而这也是它们语义上重合度的一个很好的估计。import numpy as npimport pandas as pdsentences = """Thomas Jefferson began building Monticello at the age of 26.\n"""sentences += """Constructi

长短时记忆网络(Long Short Term Memory Network, LSTM)，是一种改进之后的循环神经网络，可以解决RNN无法处理长距离的依赖的问题，目前比较流行。LSTM 通过三个“门”结构来控制不同时刻的状态和输出，分别为：遗忘门，输入门，输出门，结构图如下：遗忘门（forget gate）：它决定了上一时刻的单元状态c_t-1有多少保留到当前时刻c_t输入门（input gat

奇异值分解是 LSA（潜在语义分析）即计算主题向量背后的算法。SVD 是一种可以将任何矩阵分解成 3 个因子矩阵的算法，而这 3 个因子矩阵可以相乘来重建原始矩阵。这类似于为一个大整数找到恰好 3 个整数因子，但是这里的因子不是标量整数，而是具有特殊性质的二维实矩阵。通过 SVD 计算出的 3 个因子矩阵具有一些有用的数学性质，这些性质可以用于降维和 LSA。用代码来实现SVD的矩阵分解：from

情感分析涉及分析句子或文本文档所表达的想法。现用多对一的体系结构来实现多层RNN以用于情感分析。输入或输出的数据将会属于以下三种不同的类别：·多对一：输入数据是一个序列，但输出数据不是序列而是固定的向 量。例如，情感分析的输入基于文本，而输出是分类标签。·一对多：输入数据是标准格式，不是序列，而输出数据是序列。一个例子是图像字幕，输入是图像，输出是英语短语。·多对多：输入和输出阵列都是序列。可以根

FastText 是 facebook 开源的一个词向量与文本分类工具，模型简单，训练速度非常快。FastText 做的事情，就是把文档中所有词通过 lookup table 变成向量，取平均后直接用线性分类器得到分类结果。# 导入fasttext模块import fasttext# 以cooking.stackexchange.txt为训练集训练模型modelmodel = fasttext.t

情感分析涉及分析句子或文本文档所表达的想法。现用多对一的体系结构来实现多层RNN以用于情感分析。输入或输出的数据将会属于以下三种不同的类别：·多对一：输入数据是一个序列，但输出数据不是序列而是固定的向 量。例如，情感分析的输入基于文本，而输出是分类标签。·一对多：输入数据是标准格式，不是序列，而输出数据是序列。一个例子是图像字幕，输入是图像，输出是英语短语。·多对多：输入和输出阵列都是序列。可以根

词袋模型把文本（段落或者文档）被看作是无序的词汇集合，忽略语法甚至是单词的顺序，把每一个单词都进行统计，同时计算每个单词出现的次数，常常被用在文本分类中，如贝叶斯算法、LDA 和 LSA 等。import jieba# 首先，引入 jieba 分词器、语料和停用词。# 定义停用词、标点符号punctuation = ["，", "。", "：", "；", "？"]# 定义语料content =