本文完整覆盖了 VS Code 从本地安装、远程服务器连接、AI 编码插件配置，到工业级算法环境部署的全流程。本地轻量编辑，算力全部下沉到服务器，兼顾开发体验与计算性能Codex 本地生成代码，API 密钥不上传服务器，降低数据安全风险Remote-SSH 无缝衔接文件、终端、调试，一体化开发效率更高。

✅ Qwen2-VL 多模态模型的加载与数据预处理✅ 使用 LoRA 对大模型进行轻量化微调✅ SwanLab 可视化监控训练全过程✅ 训练完成后加载 LoRA 权重做推理✅ 看懂 loss 曲线，判断是否过拟合这套流程可以直接迁移到你自己的数据集上，不管是做工业缺陷图文描述、文档VQA还是其他多模态任务，换个数据格式就能直接开训。2B 只是入门款，想效果更好可以上 7B 版本，原理完全一样，就是

Evo-1解决了传统VLA“大参高显存、微调破坏语义、依赖海量机器人数据”三大痛点，0.77B超轻量架构搭配两阶段保语义训练，在仿真、真机双场景实现SOTA，同时推理帧率16.4Hz适配边缘嵌入式设备。对于预算有限、仅有RTX4080/4090、低成本xArm6/SO100机械臂的科研人员，是复现成本极低、实验指标全面的标杆轻量VLA，非常适合作为消融对比基线。

通俗来说：网络训练时，前面层的参数会不断更新，导致后面层的输入分布一直在变。后面的层就像一个学生，老师每天都换不同难度的教材，学生永远跟不上进度，学习效率自然极低。第一层网络是语文老师，第一次考试出的题很难，全班平均分50分第二层网络是数学老师，根据50分的平均分调整了自己的教学计划结果第二次语文老师出的题很简单，全班平均分90分数学老师的教学计划完全失效，只能重新调整这样循环下去，网络永远在"追

LLaVA是多模态大模型发展史上的一个里程碑式的工作。它证明了用语言-only的大模型生成多模态指令数据，然后微调一个简单的多模态模型是一种非常有效且低成本的方法。简单就是美：有时候最简单的架构反而能取得最好的效果数据为王：高质量的指令数据比复杂的模型架构更重要站在巨人的肩膀上：充分利用已经训练好的单模态模型，可以大大降低多模态模型的训练成本LLaVA的开源也极大地推动了多模态大模型的研究和应用。

更难得的是，智谱AI始终坚持开源路线，从ChatGLM-6B到最新的GLM-4-9B-1M，累计下载量超过1000万次，极大地推动了国内大模型生态的发展。更重要的是，智谱AI始终坚持开源路线，将GLM-4-9B等模型免费开放给社区，极大地推动了国内大模型生态的发展。从2021年提出GLM架构，到2022年开源GLM-130B，再到三代ChatGLM-6B的快速迭代，最后到2024年的GLM-4系列

通过这种方式，RT-2-PaLI-X-55B可以达到1-3Hz的控制频率，而较小的RT-2-PaLI-X-5B可以达到5Hz，完全满足实时控制的要求。最大的RT-2-PaLI-X-55B模型有550亿个参数，这在普通的机器人GPU上根本跑不起来。受到大语言模型中思维链（Chain-of-Thought）提示的启发，研究人员还尝试让RT-2先生成一个自然语言的计划，然后再生成动作。这样一来，我们就可

FiLM层就像一个"调光器"。对于不同的语言指令，它会对图像特征图的不同通道进行不同程度的"调亮"或"调暗"。那么，我们能不能像NLP和CV领域那样，训练一个通用的机器人大模型，让它能够从大量多样化的数据中学习通用的技能，然后零样本或少样本地泛化到新任务上呢？：想象一下，未来你可以用自然语言告诉你的家庭机器人"帮我准备早餐"，它会自动打开冰箱，拿出牛奶、面包和鸡蛋，然后为你煎鸡蛋、烤面包、倒牛奶。

在上一篇文章中，我们跟随李飞飞的脚步，走过了她从移民少女到找到人生"北极星"的前半段旅程。如果我们给计算机提供足够多、足够丰富的数据，它就能像人类一样学会"看见"世界。今天，我们将继续解读这本书的后6章，看看李飞飞是如何用ImageNet验证这个假设，如何引爆了席卷全球的深度学习革命，以及她在功成名就之后，如何面对科技与伦理的冲突，最终找到自己的"下一颗北极星"的。这6章不仅是一部技术发展史，更是

✅ Qwen2-VL 多模态模型的加载与数据预处理✅ 使用 LoRA 对大模型进行轻量化微调✅ SwanLab 可视化监控训练全过程✅ 训练完成后加载 LoRA 权重做推理✅ 看懂 loss 曲线，判断是否过拟合这套流程可以直接迁移到你自己的数据集上，不管是做工业缺陷图文描述、文档VQA还是其他多模态任务，换个数据格式就能直接开训。2B 只是入门款，想效果更好可以上 7B 版本，原理完全一样，就是