具身智能：没有共识的赛道，胜负藏在工程飞轮里

东离与糖宝

151人浏览 · 2026-11-10 13:27:31

东离与糖宝 · 2026-11-10 13:27:31 发布

文章目录

P.S. 无意间发现了一个巨牛的人工智能教程，非常通俗易懂，对AI感兴趣的朋友强烈推荐去看看，传送门https://blog.csdn.net/HHX_01

1. 这行现在最大的共识，是"没有共识"

2026 年，具身智能依然是 AI 里最热闹的那条街。上百家公司、上百套数据方案、好几条模型路线，全在同一条街上开张，招牌还长得挺像。

你要是问十个做这行的人"路线收敛了吗"，能收到十一个答案。多出来那个，是站在旁边一直听、实在忍不住插嘴的投资人。

模型这边，code-as-policy、VLA、world model、skills 各占一块地盘；数据这边，真机遥操、UMI、egocentric、pair-wise 的 in-context learning 轮着上台；应用这边，大家都在等一个叫 scaling 的东西。

等 scaling 这件事，特别像等外卖骑手拐进小区：系统显示"距离您 300 米"，然后这个 300 米能走二十分钟。

1.1 每年换一个"正确路线"

年初还在吵无本体和遥操哪个更对，年中开始吵 VLA 和世界模型哪个更对，最近基模又往前挪了一步，于是把前面两轮吵的内容重新播一遍。

这个节奏我很熟，跟减肥一模一样：这个月生酮，下个月轻断食，再下个月八段锦。方法换得越勤，体重越稳定——稳定在原来那个数上，一两都不动。

基模的更新提示也很眼熟，像手机系统更新：永远显示"正在安装"，你永远不知道装完会不会更卡。

1.2 发散是好事，只是不好受

发散的好处是没人能抄你。坏处是也没人能抄——包括你自己上个月的方案。

团队真正的心理压力不是"我做错了"，而是"我做得挺对，但三个月后可能就过时了"。这感觉跟刚装修完就流行奶油风一样，你没法退货，只能天天看着。

2. 数据不是单选题，是火锅拼盘

每次有人问我"遥操、UMI、仿真、世界模型，押哪个"，我都想反问一句：你吃火锅只涮一种菜吗？

真问题从来不是"选哪个"，而是"每个负责哪一层、配比多少、什么时候换配比"。

2.1 真机遥操作：最贵，也最实在

穿一身动捕、戴个头显，在实验室里对着空气抓、拧、按、塞。第一次见的人基本都会误会：保洁阿姨路过，以为在做法事；隔壁组同事以为在练太极。

贵是真贵，一小时遥操作数据的成本，够一个小团队吃好几顿像样的饭。但它有一个别人给不了的东西——接触反馈。手指压下去那一下，力多大、滑不滑、有没有卡住，全在数据里。

而且失败的那部分更值钱。成功的轨迹教你"怎么做对"，失败的轨迹教你"哪儿会错"，而后者在真实世界里更稀缺。

2.2 UMI 这类无本体数采：便宜、快，但别指望它包打天下

拿个手持夹爪在厨房夹鸡蛋、在桌上拧瓶盖，家里人第一反应是"你又买了个什么厨房小电器"。

它最大的好处是能规模化：不用机器人本体，一个人一天能采很多条，成本比遥操低一个量级。缺点是缺力反馈，等于闭着眼睛谈恋爱——听着挺甜，摸不着。

也有人说用世界模型合成数据来补。这条路我算过，成本没有任何优势，成功率还低。抽三个得一个，抽四个得一个，跟抓娃娃机完全一个逻辑：你以为在比技巧，其实是比手气，最后花了三十块，抱回一个丑娃娃。

2.3 仿真：参数太少，训不动今天的模型

仿真里成功率 99%，真机上 3%。这个落差特别像网恋奔现：照片 175，见面 170；照片里温柔，见面第一句是"你请我吃饭吧"。

更根本的问题在底层：很多仿真器不是模型驱动的，参数量极少。拿它去训几十亿参数的具身模型，就像拿儿童自行车去拉货柜——不是车不努力，是物理不允许。

所以我给仿真的位置很明确：验证流程、跑通链路、做安全边界测试，可以。当主力数据来源，不行。

2.4 世界模型：让它当大脑，别让它当复印机

世界模型的短板是反事实能力不够。你让它"把杯子放到桌子左边"，它可能给你一个杯子在左边、但桌子换了一张、光线换了色温的全新世界。你只想要一个动作变化，它给你换了套房子。

拿这种数据去训练，等于复印机复印复印件，复印到第三代全是马赛克，你还以为模型学到了纹理。

它更该待的位置是推理侧：当那个"先想一想接下来会发生什么"的 foundation model。当大脑用，好用；当印刷厂用，废纸。

2.5 三层空间：认知、动作、接触

我习惯把模型能力拆成三层，拆完你自己就不纠结了：

认知空间：知道"这是什么、该干什么"。桌上的碗是要收的，不是要砸的。
动作空间：知道"手该往哪走"。路径、姿态、时序。
接触空间：知道"用多大力"。捏豆腐和捏核桃，差的是一个量级。

遥操主要喂动作和接触；UMI 便宜地喂动作和认知；仿真负责把边界先跑一遍。三种数据解决的是不同层的问题，所以真正的答案只能是组合。

数据来源	单位成本	覆盖能力	主要短板	我的用法
真机遥操作	高	动作 + 接触，最接近终局	慢、贵、难规模	核心场景、长尾 case
UMI / 无本体	低	动作 + 部分认知	缺力反馈	铺量、做泛化
egocentric	低	任务语义、认知	视角与本体不对齐	预训练语义
仿真	极低	安全边界、流程	sim2real gap 大	验证，不做主力
世界模型合成	中（含质检）	视觉多样性	反事实弱、要额外质检	少量外观增强

2.6 配比要写进配置，别存在某个人的脑子里

这件事比模型结构重要。结构换了还能再换，人走了配比就跟着走了，然后你们会在半年后重新摸索一遍"为什么那时候效果好"。

# 把配比当一等公民，而不是口头约定
RECIPE = {
    "stage_1": {"teleop": 0.80, "umi": 0.20},                    # 先学会动
    "stage_2": {"teleop": 0.45, "umi": 0.35, "ego": 0.20},       # 再学会换场景
    "stage_3": {"teleop": 0.20, "umi": 0.40, "ego": 0.40},       # 最后学会泛化
}

def mixture(sources, ratios, batch=1024):
    out = []
    for name, r in ratios.items():
        out.extend(sources[name].sample(int(batch * r)))
    return out  # 同一批数据，配比不同，命就不一样

3. 训练：论文最不爱写的那一段，才是命门

一提卡点就是数据、算法、算力。训练呢？训练有什么好说的，不就是把数据丢进去，等 loss 往下走吗。

恰恰是这段最不透明，也最决定成败。

3.1 论文里的"standard recipe"，翻译过来是"盐少许"

论文写 “we train with a standard recipe”，你以为能复现，拿到手的其实是一份家常菜谱：盐少许、油适量、翻炒至香。

"少许"是多少？不知道。师傅在的时候菜是那个味，师傅走了，同一个菜谱做出来就是另一个味。

数据怎么配比、分几个阶段进训练、哪一步冻哪些层、什么时候换学习率——这些"暗知识"大多不在论文里。它更像火锅蘸料配方：每家都说是秘方，每家都不写比例。

3.2 同一批数据，有人训出神仙，有人训出板砖

我见过两个团队，数据量差不多、架构差不多，一个模型能干活，一个模型只会抖。差的不在算力，差在中间那几步课程学习的顺序。

跳过中间阶段的训练，很像买了整头猪却只会做红烧肉：食材是真材实料，手艺只有一道菜。

# 课程学习不是玄学，是一张显式的阶段表
STAGES = [
    # (名称, 配比, 冻结策略, 这一阶段的目标)
    ("warmup",   {"teleop": 0.80, "umi": 0.20},              "freeze_vision", "学会动"),
    ("transfer", {"teleop": 0.45, "umi": 0.35, "ego": 0.20}, "unfreeze_all",  "学会换场景"),
    ("general",  {"teleop": 0.20, "umi": 0.40, "ego": 0.40}, None,            "学会泛化"),
]

def run_curriculum(model, sources):
    for name, ratios, freeze, goal in STAGES:
        if freeze:
            model.freeze(freeze)
        model = train(model, mixture(sources, ratios), epochs=2, lr=1e-5)
        log(name, goal, eval_suite(model))  # 每一阶段都要看分数，别一路蒙眼跑
    return model

3.3 现在该不该抠性价比

不该。房子还没封顶就开始挑窗帘，是这行目前最常见的浪费。

量化、压缩、蒸馏、迁到国产芯片，这些活儿中国工程师干得很快，快到你会觉得它不配叫难点。真正难的是把数据里的智能蒸进模型——这个蒸不进去，你压得再小，也只是个更省电的笨蛋。

但有一笔成本得现在就算清：Infra 效率。迭代慢，等于你拿 56k 猫上网刷 4K 视频，带宽是够的，人是先急死的。

4. 别在自家考卷上考第一

评测集分数很高、现场一塌糊涂，是这行的经典剧情。像科目二满分、上路不敢变道；也像考试一百分的学霸，回家连泡面都能煮糊。

所以我坚持两张卷子：一张标准评测集，用来横向对齐，知道自己在行业里的位置；一张真实场景的"用例池"，全是从客户现场捡回来的失败样本。

只考第一张，你会在自己的考卷上全市第一；只考第二张，你会不知道自己在哪。两张一起看，才分得清"在进步"和"在自我安慰"——这两件事的体感，其实是一样的。

5. 比天才更稀缺的，是工程体系

这行不缺聪明人，缺的是让聪明人不白忙的那套东西。

体系的作用不是让你跑更快，是让你知道自己在退步。大部分团队不是不进步，是不知道自己已经退了三周——体重秤坏了三个月，人是不可能自己发现的，还会觉得自己最近挺轻盈。

一个能跑通的体系，说白了就四件事：数据进得来、训练跑得动、评测说得清、上线收得回。任何一件断了，前面的努力都会变成一句"我们当时很接近"。

5.1 一个能自己转起来的闭环

不用复杂，逻辑闭合就行，剩下的都是调优。

def flywheel(fleet, model, rounds=12):
    for r in range(rounds):
        # 1) 采：优先回收现场失败的 case，不做随机采样
        batch = fleet.collect(policy="failure_first", size=20000)
        # 2) 训：小步快跑，别一把梭哈
        model = train(model, batch, epochs=1, lr=1e-5)
        # 3) 评：两张卷子都要过
        score_std, score_field = eval_suite(model), field_test(model, fleet)
        if score_std < 0.70 or score_field < 0.50:
            model = rollback(model)   # 退回去，比硬着头皮上线便宜
            continue
        # 4) 发：灰度部署，失败样本自动回流
        fleet.deploy(model, ratio=0.2)
        log(r, score_std, score_field)
    return model