（1）不知道大家发现没有：自从LLM取得历史性的效果提升后，其他模态的AI比如语音和图像等等都也在最近几年突飞猛进，当然不排除扩散模型这种创作性的工作，但是很多都是借鉴甚至直接利用了LLM进行了加持，而LLM最关键也是最牛逼的地方就是能推理，而且能天然用到几乎各个领域。作为技术，如果仅从技术角度看这个事的话，我们的收获是我们可以尝试想办法把LLM这个backbone用进自己的领域（比如VQ-VAE

前言大一统模型目前越来越火，不论是今天要给大家介绍的信息抽取统一模型，还是再往大了说多模态统一模型，理论上来说这个idea的出发点还是不错的，在理想情况下，他可以将很多任务建模到同一个模型，使得任务之间可以相互增益，而且另外一个好处就是既然统一到同一个模型了，那么各个任务的数据集都可以使用，一块丢进去进行学习，数据量剧增。今天要介绍的这篇paper是对文本的信息抽取任务进行统一模型设计，关于多模态

前言多模态已是当下比较热的研究方向了，基于transformer框架的预训练多模态模型也是百花齐放，比如VILBERT等等。关于当前多模态的模型，笔者之前在微信公众号写过一篇综述，感兴趣的可以看一下：多模态预训练模型综述紧跟研究热点，快来打卡多模态知识点吧~https://mp.weixin.qq.com/s?__biz=MzkzOTI4ODc2Ng==&mid=2247485865&am

长视频理解大模型！

如何得到高质量的SFT数据？

前言在实际场景中，想有一份干净的监督数据是非常难的，而标注数据需要耗费大量的人力，是非常昂贵的，于是乎基于弱监督的方法就显得非常重要了，今天介绍一篇基于弱监督方法的文本分类模型。论文链接：https://arxiv.org/pdf/2205.06604.pdf方法作者总体思路就是额外获取一个监督信号，以此来增强分类任务的进行即弱监督。具体的作者是从预训练模型中获取监督信号，然后借助该信号进行后续的

（1）强化学习好就好在仅需要知道最终答案就可以训练了，而不需要精心准备类似sft那些需要中间推理结果的数据，所以当你只有正确答案而没有中间结果时，强化学习不失为一个好的手段，当然也有人说可以蒸馏中间更大模型的推理结果进行sft，或者本身已经有了中间结果的sft数据，那这个时候是该sft还是强化学习呢？这个笔者也没有定论，业界一般认为后者学出来的泛化性会高一些，前者学习的效率会更高，但最终哪个好，还

前言：bert等预训练模型虽然大放异彩，但是实际在落地的时候还是遇到各种问题，比如：储存空间的限制，时延的限制等等。为此有很多工作都是针对预训练模型的压缩展开的。比如最常见的就是模型蒸馏，今天想说的是另外一个思路：NAS即模型搜索，其主要思路就是不需要人为去设计特定的网络，而是让模型自己去选择，这类方法通常需要考虑的两点就是：（1 ）怎么定义候选空间。（2 ）加速训练缺点其实很明显了，那就是耗时、

本篇给出了一些宝贵的经验，同时我们也看到如果从头开始训练一个大模型确实是一个浩大的工程，会遇到许多问题，是一个不断摸索和实验的过程，同时本篇也提出了另外一个很有趣的话题就是模型参数量和数据量的关系，到底是需要更大的模型更小的数据量，还是说模型还没有训练充分，其实需要增加数据量，作者也在附录提了一些OpenAI给的一些建议，不过总的来说，具体定量的分析现在还没有结论，但一个基本的大模型和海量数据是肯

前言我们在训练完模型后，可以试试模型融合，一般会带来一点收益，这里所说的模型融合是这样一种场景：假设训练了多个epoch，我们就可以拿到topk个最好的模型，假设3个吧：a,b,c。那么我们可以分别加载这三个模型，取得它们训练好的参数值然后平均，将平均后的参数值作为一个新的模型。当然了还有一种模型融合是将得到的三个模型的预测结果取平均（类似投票原理），这也可以试试，但是这种方式显然在上线的时候要先