记录训练本地的deep search agent过程

基于ms-swift强化微调qwen3-vl

最近多模态模型特别火，一起从头学习ViT和Transformer！本文记录一下学习过程，所以是自上而下的写，从ViT拆到Transformer。

CLIP多模态模型技术学习

swift框架支持的不同peft方式

function call的学习记录（langchain+冷启动+微调）

前几篇里面学习了常见的一些多模态模型的典型架构和源代码，上一篇里面测试使用了minicpm-v系列模型，在尝试RLHF的时候发现swift特别好用特别全，记录一下对swift的一些使用，欢迎批评指正～前一篇里面写了minicpm-v的使用方法，这里主要记录qwen2-vl的使用。

多模态大模型Minicpm-V-2.6参数8B，int4版本推理显存仅7GB，作为端侧大模型效果非常好，并且在幻觉数据集上效果优于其他模型，一起来学习为什么它这么强

WWW2025多模态对话系统意图识别挑战赛记录

最近多模态模型特别火，从头开始学习！在前面写的几篇里面学习了MiniCPM-V、ViT、CLIP和BLIP/BLIP-2之后，今天学习一下Flamingo模型，记录学习过程，欢迎批评指正，一起学习~~