logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

BERT(论文阅读):Pre-training of deep Bidirectional Transformers For Language Understanding

首段讲述本文工作对GPT和ELMo做出怎样的改进,第二段是BERT结果怎样好,讲述BERT在NLP(自然语言处理方面)取得了先进的成果,包括绝对精度和相对精度。BERT、GPT和ELMo的区别:GPT使用新的Transformer架构,使用左侧信息来预测未来信息。单项模型的缺点主要是不能获得好的词表示。ELMo通过使用从左到右(LTR)、从右到左(RTL)两个模型的输出拼接获得词的表示,双向信息融

文章图片
#bert#论文阅读#人工智能
GRAM(论文解读):Gradient-Regulated Meta-Prompt Learning for Generalizable Vision-Language Models

提示微调是最近一种新兴的范式,通过学习“软提示”来调节冻结的预训练模型,使强大的视觉-语言预训练模型以参数和数据高效的方式适应下游任务。尽管提示微调表现出有效性,但是在few-shot场景中提示微调的性能对初始化非常敏感,需要很耗时的过程才能收敛到一个好的解,从而限制了预训练模型快速适应的能力。此时,提示微调可能会破坏预训练模型的泛化能力,因为可学习的提示标记很容易对有限的训练样本产生过拟合。

文章图片
#语言模型#人工智能#论文阅读
CoCoOp(论文解读):Conditional Prompt Learning for Vision-Language Models

随着预训练的视觉语言模型(如 CLIP)的兴起,研究使这些模型适应下游数据集的方法变得至关重要。最近CoOp方法将NLP领域中的提示学习引入到视觉领域中,来调整预训练的视觉语言模型。具体来说,CoOp 将提示中的上下文转换为一组可学习的向量,并且只需少量带有标签的图像进行学习,就实现比手动修改提示更大的提升。本文发现 CoOp 的一个关键问题:学习的上下文提示无法扩展到同一数据集中更广泛的未见的类

文章图片
#人工智能#深度学习#计算机视觉 +2
MAE(论文阅读):Masked Autoencoders are scalable vision learners

本文主要介绍了掩码自编码器( MAE, Masked autoencoders)是视觉领域中可扩展的自监督学习算法。MAE具体操作为随机屏蔽输入image中的patchs,再重建丢失的像素。其基于两个核心操作。第一个是建立不对称的编码器-解码器架构,编码器只对没有屏蔽掉的patchs操作,轻量化的解码器通过潜在表示和屏蔽令牌重建原始图像。第二是发现了一种屏蔽图像patchs的高比例,比如75%。结

文章图片
#论文阅读#人工智能#深度学习 +2
到底了