然而，这种“一刀切”的方法可能会丢失视频关键片段中的重要视觉信息，导致下游的大模型没有足够的信息来正确回答与视频内容相关的问题。通过创新的伪标签生成策略解决了训练数据缺失的难题，并能以即插即用的方式，显著提升现有视频大模型的问答性能和推理效率，尤其是在处理长视频时。最后，使用带非极大值抑制（NMS）的贪心算法从这些分数中选出最重要且信息不冗余的k帧（例如8帧或16帧）。实验表明，使用选择器挑选少量

考虑到学生模型和教师模型之间存在巨大的容量差异，让一个轻量级的学生模型去拟合重量级教师模型的logit数值是非常困难且不必要的，这反而限制了学生模型的性能。研究发现，学生真正需要学习的是教师logit之间的“内在关系”（例如，哪个类别的logit最高，次高，以及它们之间的相对差异），而非其绝对数值。一个简单的Z-score标准化预处理可以有效解决该问题，让学生只关注真正重要的“关系”知识，从而为各

多模态大模型, MLLMs）是指能够同时处理、理解和生成多种类型数据（即“模态”） 的人工智能模型。这些模态包括但不限于文本、图像、音频、视频、传感器数据等。其核心目标是打破单一模态的信息壁垒，实现跨模态的语义关联与协同处理，从而更全面地理解和生成复杂信息。

多模态大模型, MLLMs）是指能够同时处理、理解和生成多种类型数据（即“模态”） 的人工智能模型。这些模态包括但不限于文本、图像、音频、视频、传感器数据等。其核心目标是打破单一模态的信息壁垒，实现跨模态的语义关联与协同处理，从而更全面地理解和生成复杂信息。

4. 我们表明，将LLaVA的训练数据混合随机下采样高达75%并不会显著降低模型的性能，这表明更复杂的数据集压缩策略可以进一步提高LLaVA已经高效的训练管道。2. 缩放到高分辨率图像输入，我们表明LLaVA的架构是通用的，可以通过简单地将图像划分为网格来缩放到更高的分辨率，并保持其数据效率。5. 我们提供了经验证据，数据粒度的缩放与模型的能力是至关重要的，以提高能力，而不引入伪像，如幻觉。使用双

直接使行动回归，可能会输出一个介于两者之间的动作，倾向于输出在训练数据中出现最多的主导轨迹，从而导致安全问题和性能下降。概率建模是处理规划不确定性的本质突破，通过离散词表+概率场实现人类驾驶的多模态决策，仅需相机即达CARLA SOTA。提出概率规划来应对规划的不确定性，设计了一个概率场，将动作空间映射到概率分布，并从大规模驾驶演示中学习动作的分布。Ltoken：场景token损失，地图元素预测，