---

VLP: Vision Language Planning for Autonomous Driving

背景

大模型：语言模型里的常识和语义知识，可以帮助端到端自动驾驶学到更好的场景表示和更好的规划特征。

现有问题

现有 vision-only 的端到端自动驾驶方法，虽然已经能做 perception + prediction + planning，但还是有几个明显短板：
缺少推理能力
泛化能力不够强
对长尾场景适应差

解决方案

ALP模块

Agent-centric Learning Paradigm
针对 BEV 特征图，把车、前景目标、车道这些局部区域裁出来，再把对应的真实信息，比如类别、框、轨迹，写成文本prompt，送进语言模型，得到语义特征；然后用对比学习，让视觉 BEV 特征去对齐这个“语言语义特征”

SLP模块

针对 ego 车规划 query 的。
作者把自车当前状态、驾驶命令、未来轨迹这些信息写成文本 prompt，送进语言模型，得到一个带“驾驶逻辑”的语义特征；再用对比学习，让 planning query 去对齐这个特征。

核心理念

把 语言模型当成训练阶段的“语义老师”：
ALP 教 BEV 更好地表示环境
SLP 教 planning query 更好地做决策
而且这两个模块只在训练时用，推理时把语言模型头去掉，不会增加额外推理参数和计算量。这个点很巧。

实验结果

把这个方法加到 UniAD 和 VAD 上，结果提升。

Vectorized Scene Representation for Efficient Autonomous Driving

背景

将场景结构变成显式约束，加到轨迹学习中，不再用稠密 rasterized map 去做规划，而是把场景表示成向量化的车道、边界、其他车辆运动轨迹，在训练时加上规则型约束损失，再把这些作为规划约束，直接指导端到端轨迹生成。

解决方案

规则模块

1. Ego-Agent Collision Constraint
   和别的车保持安全距离
2. Ego-Boundary Overstepping Constraint
   轨迹要留在道路可行驶范围内
3. Ego-Lane Directional Constraint
   车的行驶方向要和车道方向一致。

Driving Command ：导航意图，高层驾驶指令
Ego Status：自车此刻的一些状态信息
规则约束：
Ego-Agent Collision Constraint
不要撞车 / 撞到其他交通参与者
Ego-Boundary Overstepping Constraint
不要越过道路边界
Ego-Lane Directional Constraint
尽量沿着车道方向行驶