Transformer经典案例3.1 使用Transformer构建语言模型学习目标了解有关语言模型的知识.掌握使用Transformer构建语言模型的实现过程.什么是语言模型:以一个符合语言规律的序列为输入，模型将利用序列间关系等特征，输出一个在所有词汇上的概率分布.这样的模型称为语言模型.# 语言模型的训练语料一般来自于文章，对应的源文本和目标文本形如:src1 = "I can do" tg

目录结构text│run.py│train_eval.py│utils.py│utils_fasttext.py│├─models││TextCNN.py││TextRNN.py│││└─__pycache__│TextCNN.cpython-36.pyc│TextRNN.cpython-36.pyc│├─THUCNews│├─data││class.txt││

import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport torchimport warningswarnings.filterwarnings('ignore')%matplotlib inlinepath = 'E:/nlp课件/test_data/temps.csv'features = pd.rea

分类的目的和分类的方法1. 文本分类的目的回顾之前的流程，我们可以发现文本分类的目的就是为了进行意图识别在当前我们的项目的下，我们只有两种意图需要被识别出来，所以对应的是2分类的问题可以想象，如果我们的聊天机器人有多个功能，那么我们需要分类的类别就有多个，这样就是一个多分类的问题。例如，如果希望聊天机器人能够播报当前的时间，那么我们就需要准备关于询问时间的语料，同时其目标值就是一个新的类别。在训练

fasttext工具的使用1.1 认识fasttext工具学习目标了解fasttext工具的作用.了解fasttext工具的优势及其原因.掌握fasttext的安装方法.作为NLP工程领域常用的工具包, fasttext有两大作用:进行文本分类训练词向量fasttext工具包的优势:正如它的名字, 在保持较高精度的情况下, 快速的进行训练和预测是fasttext的最大优势.fasttext优势的原

多分类图像识别案例CIFAR-10CIFAR-10数据集由10个类别的60000 32x32彩色图像组成，每个类别有6000张图像。有50000个训练图像和10000个测试图像。数据集分为五个训练集和一个测试集，每个集有10000个图像。测试集包含来自每个类的正好1000个随机选择的图像。训练集的每个类别5000个图像。图像类别如下：数据集下载里面有很多种版本，这里下载 CIFAR-10二进制版本

一、个性化电商广告推荐系统介绍1.1数据集介绍Ali_Display_Ad_Click是阿里巴巴提供的一个淘宝展示广告点击率预估数据集数据集来源：天池竞赛原始样本骨架raw_sample淘宝网站中随机抽样了114万用户8天内的广告展示/点击日志（2600万条记录），构成原始的样本骨架。 字段说明如下：user_id：脱敏过的用户ID；adgroup_id：脱敏过的广告单元ID；time_stamp

TensorflowTensorFlow是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。**节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。**它灵活的架构让你可以在多种平台上展开计算，例如台式计算机中的一个或多个CPU（或GPU），服务器，移动设备等等。TensorFlow 最初由Goog

莎士比亚风格的文本生成任务学习目标¶了解文本生成任务和相关数据集.掌握使用GRU模型实现文本生成任务的过程.任务说明¶这是一项使用GRU模型的文本生成任务，文本生成任务是NLP领域最具有挑战性的任务之一，我们将以一段文本或字符为输入，使用模型预测之后可能出现的文本内容，我们希望这些文本内容符合语法并能保持语义连贯性。但是到目前为止，这是一项艰巨的任务，因此从实用角度出发，更多的尝试在与艺术类文本相

BERT,Transformer的模型架构与详解1.1 认识BERT学习目标了解什么是BERT.掌握BERT的架构.掌握BERT的预训练任务.什么是BERTBERT是2018年10月由Google AI研究院提出的一种预训练模型.BERT的全称是Bidirectional Encoder Representation from Transformers.BERT在机器阅读理解顶级水平测试SQuAD