（1）模态、任务的大统一是趋势，这个方向段时间内应该还会继续有很多工作，甚至把语音一款融合进来。但是大的框架应该是相同的即【输入】每个模态（任务）可能有自己对应的encoder进行分别编码【主框架】主框架应该都还是用LLM，毕竟他的推理能力强，当然这里可以有各种花样比如dense、moe等等。但大概率都是复用目前一些训练好的强大推理能力的参数【输出】每个模态（任务）可能有自己对应的encoder进

通过本篇我们快速学习了如何使用Qwen2-VL来训练自己的业务，如果大家有类似的需求，可以动手尝试啦～，快去试试吧！咱们下期再见！

如何得到高质量的SFT数据？

前言：即上篇理论的学习之后，我们来实践一个天池上面的比赛:o2o优惠券的使用预测（目前第一名auc:0.81，本篇:0.786,待优化）大赛地址https://tianchi.aliyun.com/getStart/introduction.htm?spm=5176.100066.0.0.479b33aflxXSQ8&raceId=231593首先解题思路来源于原第一名wepe..

AI 助力生活～

前言大一统模型目前越来越火，不论是今天要给大家介绍的信息抽取统一模型，还是再往大了说多模态统一模型，理论上来说这个idea的出发点还是不错的，在理想情况下，他可以将很多任务建模到同一个模型，使得任务之间可以相互增益，而且另外一个好处就是既然统一到同一个模型了，那么各个任务的数据集都可以使用，一块丢进去进行学习，数据量剧增。今天要介绍的这篇paper是对文本的信息抽取任务进行统一模型设计，关于多模态

前言多模态已是当下比较热的研究方向了，基于transformer框架的预训练多模态模型也是百花齐放，比如VILBERT等等。关于当前多模态的模型，笔者之前在微信公众号写过一篇综述，感兴趣的可以看一下：多模态预训练模型综述紧跟研究热点，快来打卡多模态知识点吧~https://mp.weixin.qq.com/s?__biz=MzkzOTI4ODc2Ng==&mid=2247485865&am

多模态事件图谱

长视频理解大模型！

视觉大模型