情感分析与情感分类情感分析（sentiment analysis）是近年来国内外研究的热点，其任务是帮助用户快速获取、整理和分析相关评价信息，对带有情感色彩的主观性文本进行分析、处理、归纳和推理。情感分析包含较多的任务，如情感分类（sentiment classification）、观点抽取（opinion extraction）、观点问答和观点摘要等。因此很难简单地将其划归为某一个领域，往往..

在NLP的应用中，分类算法是最常用的算法，而分类算法最常用的损失函数是交叉熵。为什么我们会用交叉熵作为分类算法的标配呢？在模型的训练过程中，最小化交叉熵意味着模型学到了什么？为什么不用均方误差（MSE）作为分类算法的损失函数呢？如果MSE不好，那其他的损失函数，比如合页损失（Hing Loss）呢？交叉熵最小话到底在学什么？博文中介绍了信息熵、KL散度、交叉熵，从信息论的角度解释了为什么可以用交叉

https://blog.csdn.net/zongza/article/details/89185852

文章目录一、事件抽取的定义二、ACE2005数据集事件类型一、事件抽取的定义命名实体识别、关系抽取、事件抽取是NLP中信息抽取的主要任务。事件抽取是把含有事件信息的非结构化文本以结构化的形式呈现出来，在自动文摘、自动问答、信息检索等领域有着广泛的应用。近些年来 ,事件抽取一直吸引着许多研究机构和研究者的注意力。MUC (Message Understanding Conference) 会议、AC

pytorch的LSTM及RNN的dropout不会对每个time step进行dropout，只对一层的输出设置了dropout。在新版本的pytorch中，对于1层的lstm，dropout参数无效了，就说明对每个时间步是不dropout的。源码中，也是最后一层的输出时才加上的dropout.for i in range(num_layers):all_output = []for j, in

pytorch的torch.add()及torch.split()函数import torch# outputs是一个[batch, seq, 40]维的tensor，把outputs分割成两个[batch, seq, 20]的tensor，并每个元素求平均值add = torch.add(*torch.split(outputs, 20, dim=2)) / 2

nvidia-smi显示一次当前GPU占用情况nvidia-smi -l 每秒打印一次GPU占用情况并显示watch -n 5 nvidia-smi 每隔5秒刷新打印信息一共有两张表，第一张：第一栏的Fan：N/A是风扇转速，从0到100%之间变动，这个速度是计算机期望的风扇转速，实际情况下如果风扇堵转，可能打不到显示的转速。有的设备不会返回转速，因为它不依赖风扇冷却而是通过其他外...

在使用神经网络的过程中，经常会用到把一个tensor扩展一个或多个维度的情况，然后把扩展后的维度用来广播。扩展一个维度的情况，使用unsqueeze()函数，缩小一个维度使用squeeze()函数。参数是dim，是一个int。也就是说只能扩展或缩小一个维度。t = torch.tensor([[1,2,3]])t = t.unsqueeze(0)#t.shape#[1, 1, 2]...

1. Adam optimizeradam优化器是经常使用到的模型训练时的优化器，但是在bert的训练中不起作用，具体表现是，模型的f1上不来。2. AdamWtransformers 库实现了基于权重衰减的优化器，AdamW，这个优化器初始化时有6个参数，第一个是params，可以是torch的Parameter，也可以是一个grouped参数。betas是Adam的beta参数，b1和b2。e

IF-IDF概念TF-IDF是NLP中常用的方法，也比较经典。IF-IDF的思想：如果一个词在文档中出现了很多次，但是这个词在其它文档中出现的次数很少，则这个词对这篇文档很重要，在一定程度上可以代表这个文档的关键信息。所以在网页搜索、关键词提取中常用到IF-IDF。TF-IDF就是tf−idf(t,d)=tf(t,d)×idf(t)tf-idf(t,d)=tf(t,d) \times idf(..