注意，本文代码来自于plm-nlp-code。学习任何模型都需要一个简单可行的例子进行说明，我会基于plm-nlp-code的代码进行说明lstm在序列标注和句子极性二分类两个例子的应用。序列标注参考文件lstm_postag.py.1. 加载数据12#加载数据train_data, test_data, vocab, pos_vocab = load_tre...

最近闲置出来两块1080ti GPU，内心那叫一个激动哇，虽然有些老，另外训练时转速提不上去，此次就解决这个问题。方法一(个人只在单GPU上实验成功)1. 生成xorg.conf如果:cannot stat /etc/x11/xorg.conf no such file or directory123# 生成这个文件$ sudo nvidia-xconfi...

这三种模型可以形成一条多模态的发展路径：模型图文处理方式能力优点不足CLIP图文分开编码 + 对比学习图文检索、匹配训练数据丰富、表现稳定不会说话，只能匹配ViLT图文融合 + Transformer图文匹配、分类模型轻巧、统一结构图像理解能力弱，不生成语言LLaVA图像理解 + LLM生成图像问答、对话能看图说话、回答灵活拼接结构、效率较低至此，我们大致初步讲清楚了多模态的历史发展，以及从能力角

对transformers库不常用记录，方便回溯。知识点1. fast的含义比如BertTokenizerFast,use_fast, 示例如下：1AutoTokenizer.from_pretrained('hfl/chinese-electra-180g-small-discriminator', use_fast=True)它的含义是使用rust加速速度。...

关于transformer的一些基础知识，之前在看李宏毅视频的时候总结了一些，可以看here，到写此文章时，也基本忘的差不多了，故也不深究，讲两个关于transformer的基本应用，来方便理解与应用。序列标注参考文件transformer_postag.py.1. 加载数据12#加载数据train_data, test_data, vocab, pos_voc...

在上篇文章中，我们介绍了Word2Vec以及它的作用，总的来说：Word2Vec是我们理解NLP的第一站Word2Vec将词变成了“向量”—— 终于可以用机器理解词语的相似度我们获得了例如“国王 - 男人 + 女人 ≈ 女王” 的类比能力我们可以将Word2Vec这种算法能力，应用到各种创新场景，例如基于Graph的推荐系统，后续如果小伙伴有需要，可以一起深入交流。但同时也指出了它的不足：一个词=

关系抽取调研——学术界目录1. 任务1.1. 任务定义1.2. 数据集1.3. 评测标准1.4. SOTA2. 方法总结2.1. 基于模式挖掘的方法2.1.1. 基于模板匹配的方法2.1.2. 基于依存句法的方法2.2. 监督学习2.2.1. 机器学习2.2.1.1. 基于特征向量的方法2.2.1.2. 基于核函数的方法...

关系抽取调研——工业界目录1. 任务1.1. 任务定义1.2. 数据集1.3. 评测标准2. 方法总结2.1. 基于模板的方法2.1.1. 基于触发词/字符串2.1.2. 基于依存句法2.2. 监督学习2.2.1. 机器学习2.2.2. 深度学习 Pipeline vs Joint Model2.3. 半监督/无监督方法2....