https://aistudio.baidu.com/aistudio/projectdetail/2335535一、词向量one-hot表示把每个词表示为一个长向量。这个向量的维度是词表大小，向量中只有一个维度的值为1，其余维度为0，这个维度就代表了当前的词。 例如：苹果 [0,0,0,1,0,0,0,0,···] 。one-hot表示不能展示词与词之间的关系，且特征空间非常大。分布式表示wor

编程作业 3 - 多类分类对于此练习，我们将使用逻辑回归来识别手写数字（0到9）。 我们将扩展我们在练习2中写的逻辑回归的实现，并将其应用于一对一的分类。 让我们开始加载数据集。 它是在MATLAB的本机格式，所以要加载它在Python，我们需要使用一个SciPy工具。import numpy as npimport pandas as pdimport matplotlib.pyplot...

bert 类型albert、Albert_tiny、Albert v2模型--------精简版的bert模型huggingfacebert模型存放的地方https://huggingface.co/distilbert-base-uncased-finetuned-sst-2-english/tree/main

当我们爬虫完成后需要将文件存在docx中方便别人使用时，可以用python完成下载包pip install python-docx -i https://mirrors.aliyun.com/pypi/simple注意不要直接用 pip install docx，那样会报AttributeError: 'module' object has no attribute 'Document'，因为软件

倒排索引一般用在你已经知道有些值，你想返回去去找到对应的关系就可以用这种方法，其实就是一个字典反过来查找def false_index(index_set):all_words = []for i in index_set.values():cut = i.split()all_words.extend(cut)# set_all_words = set(all_words)# 构建倒排索引inv

编程作业 3 - 多类分类对于此练习，我们将使用逻辑回归来识别手写数字（0到9）。 我们将扩展我们在练习2中写的逻辑回归的实现，并将其应用于一对一的分类。 让我们开始加载数据集。 它是在MATLAB的本机格式，所以要加载它在Python，我们需要使用一个SciPy工具。import numpy as npimport pandas as pdimport matplotlib.pyplot...

这个库主要运用在CRF中，keras调用，但是安装有点不容易，网上的教程一般是pip install git+https://www.github.com/keras-team/keras-contrib.git会出现超时等报错，所以我建议1：直接去官网https://github.com/keras-team/keras-contrib2：在你对应的环境中进行安装python setup.py

由于数据量小，以及我目前无法处理引入“unk”值导致准确率较高的情况，所以还需要进行优化，目前先用这个代码，等我优化好后重新上传，主要分为三步，第一数据的预处理，第二模型的构建，第三测试集处理第一步分为：构建数据，需要构建enc_input，dec_output, dec_input结巴分类以及去掉停用词给enc_input输入值添加一个结束状态，给dec输入状态添加一个开始状态，dec输出状态结

这个库主要运用在CRF中，keras调用，但是安装有点不容易，网上的教程一般是pip install git+https://www.github.com/keras-team/keras-contrib.git会出现超时等报错，所以我建议1：直接去官网https://github.com/keras-team/keras-contrib2：在你对应的环境中进行安装python setup.py

关键字提取import pandas as pd# 载入语料raw = pd.read_csv("data/附件2_金庸-射雕英雄传txt精校版.txt",names = ['txt'], sep ='aaa', encoding ="utf-8" ,engine='python')# 章节判断用变量预处理def m_head(tmpstr):...