退化条件下三种不同的 NVS 处理流程的示意图。(a)原始重建，(b)先验增强重建，以及©提出的 MLLM 先验引导流程

标题：MLLM-GS: Multimodal Large Language Model Prior-Guided Fast Novel View Synthesis in Extreme Environments
来源：KAIST AI； Google DeepMind
连接：https://wzlwlm13.github.io/MLLM-GS/#

摘要

  论文 MLLM-GS提出了一种在极端退化环境（如烟雾、低光照、运动模糊、曝光异常等）下，利用多模态大语言模型（MLLM）先验知识来引导并加速高质量新视角合成（NVS, Novel View Synthesis）的框架。 在极端环境或存在严重图像退化的场景中，传统的 3D Gaussian Splatting (3DGS) 会因为输入观测质量极差而无法准确重建几何结构与纹理。为了解决这个问题，MLLM-GS 将 MLLM 先验引导的视图增强网络 与 快速的 3DGS 重建框架 结合起来，并且仅需要极少量的“退化-清晰”成对图像进行弱监督。

一、 核心问题定义

  假设场景包含了 $n$ 个不同视角下拍摄的退化图像集 X = { x 1 , x 2 , … , x n } X = \{x_1, x_2, \dots, x_n\} X={x1​,x2​,…,xn​}，其对应的相机位姿为 Π = { π 1 , π 2 , … , π n } \Pi = \{\pi_1, \pi_2, \dots, \pi_n\} Π={π1​,π2​,…,πn​}。论文设定有极少部分（$m$ 张，$m\ll n$）退化图像对应的清晰Ground Truth（GT）图像，记为 C = { c 1 , c 2 , … , c m } C = \{c_1, c_2, \dots, c_m\} C={c1​,c2​,…,cm​}， 利用这极少量的成对图像作为监督，从退化集合 $X$ 中学习到一个可靠的3D场景表示 ${\mathcal{G}}_{\theta }$，使得在未见过的相机位姿 ${\pi }_t$ 下渲染出的新视角图像 ${\hat{y}}_t$ 清晰且高质量： $${\hat{y}}_t={\mathcal{G}}_{\theta }({\pi }_t)\in {\mathbb{R}}^{h\times w\times 3}$$

二、 网络架构与原理

  MLLM-GS 主要由两大分支构成：

1. MLLM 先验引导的视图增强 (View Enhancement)

由于常规的图像恢复网络需要大量的成对数据才能泛化，该论文选择引入冻结的 MLLM（具备强大的泛化视觉先验）来初步恢复图像。

• 初始的img级增强： 首先，将退化视图 $x_i$ 与特定的文本提示指令 $p$ 输入到冻结的 MLLM $\mathcal{M}$ 中，获取初步增强的图像 $e_i$：$$e_i=\mathcal{M}(x_i,p)$$
• 轻量级校正网络 (Correction Network)： MLLM 输出的清晰图像，会导致像素级的不对齐（Pixel Misalignment）和颜色失真。作者引入一个轻量级的校正网络，并利用少量的 $m$ 张真实清晰图像训练。
• 增强分支损失函数： 校正网络的训练目标是让修复后的图像 ${\hat{c}}_i$ 与真实的清晰图像 $c_i$ 尽可能一致。损失函数包含像素级的 Charbonnier 损失 ${\mathcal{L}}_{Char}$（用于降低像素重建误差）和频域损失 ${\mathcal{L}}_{Freq}$（鼓励在频域保留高频图像细节）： $${\mathcal{L}}_{en}={\mathcal{L}}_{Char}({\hat{c}}_i,c_i)+\lambda {\mathcal{L}}_{Freq}({\hat{c}}_i,c_i)$$经过校正后，该分支为所有 $n$ 张退化图像生成了高度可靠的伪真值图像（Pseudo-GT Views），将其送入下游的 3D 重建。

2. 快速 3D 场景重建 (Fast 3D Scene Reconstruction)

在获得可靠的伪真值（Pseudo-GT）多视角图像后，进入 3DGS 重建阶段。

• 效率优化： 受 Faster-GS 启发，该分支对 3DGS 的底层优化流程进行了改进，具体涵盖三个层面：光栅化 (Rasterization)、显存布局 (Memory Layout) 以及 参数更新机制 (Parameter Updates)。这种设计不仅加速了极端场景下的收敛，还大幅降低了对 GPU 显存的需求。
• 渲染损失函数： 3DGS 的优化使用了常见的 L1 损失与 D-SSIM 损失的加权组合： $${\mathcal{L}}_{3D}=(1-\beta ){\mathcal{L}}_1+\beta {\mathcal{L}}_{D-SSIM}$$

MLLM -GS 框架。它由两个分支组成： MLLM 先验引导视图增强和快速 3D 场景重建。前者将冻结的 MLLM 与一个使用少量配对干净视图训练的轻量级校正网络 相结合，生成可靠的伪 GT 视图，用于后续的 3D 重建。后者通过高效的栅格化、内存布局和参数更新加速 3DGS 优化，从而实现快速且高质量的 NVS

  

三、Faster-GS 的工程化加速（CVPR 2026 ）

论文全称为 《Faster-GS: Analyzing and Improving Gaussian Splatting Optimization》

1. 光栅化 (Rasterization) ：

• Opacity-aware Bounding Boxes： 标准 3DGS 为每个投影到屏幕的高斯分配一个保守的正方形边界框，这会严重高估各向异性高斯体的实际覆盖范围。改进后，基于不透明度截断阈值（设定为 $1/255$ 或大约 $3.33\sigma$）采用了轴对齐的矩形边界框。对于贡献度极低的高斯区域直接跳过相交与排序，从而大幅削减了前向光栅化的冗余计算开销。
• Bucket-based Backward Propagation 与激活融合： 在反向传播计算梯度时，全局内存的原子操作会引起严重拥堵。改进方案将每个 Tile 内的高斯按固定大小（如 32 个）划分为“桶 (Bucket)”，仅在桶边界处缓存累积颜色和透射率。这样可以避免重复遍历先前的高斯链条。同时，将缩放、旋转和不透明度的激活函数直接融合到光栅化器的内核中，消除了 PyTorch 层面的调用开销。

2. 显存布局 (Memory Layout) ：

3DGS 优化的最大性能瓶颈在于“受限于内存宽带 (Memory-bound)”。通过减少排序过程中的重复内存访问，并重构底层数据在显存中的排列，新的显存布局极大地降低了 GPU 的全局内存读写压力。这种优化配合算子融合，使得极度消耗显存的退化场景重建变得更加轻量化。

3. 参数更新机制 (Parameter Updates) ：

• 梯度计算与参数更新融合： 传统的 3DGS 训练中，光栅化器的反向传播与 PyTorch 优化器（如 Adam）的参数更新是分离的。改进后的方案将参数更新直接整合到光栅化模块的反向传播阶段：在计算梯度的同时，直接加载动量并更新高斯参数。这避免了将巨大的梯度张量保存在显存中等待优化器调用的过程，从而显著降低了显存峰值需求。
• 学习率与数值稳定性调整： 优化了底层的数值稳定性，并匹配了较低的高斯学习率，从而在不依赖过度密集的点云分裂（Densification）的情况下，生成更干净的高斯结构。

四、 实验与实现细节 (Implementation Details)

• 测试场景与退化类型： 论文在多种严重的极端环境退化类型上进行了广泛实验验证，包括：烟雾 (Smoke)、低光照 (Low Light)、运动模糊 (Motion Blur)、散焦模糊 (Defocus Blur) 以及 曝光异常 (Exposure Variation)。
• 少样本监督配置： 仅为场景中的少部分视角提供清晰 GT（模拟极端条件下难以获取成对真实数据的约束），其余绝大多数视角仅靠 MLLM 增强后生成的 Pseudo-GT 运行。
• 超参数与优化器设置：
  • 迭代次数： 每个场景统一优化 30,000 次迭代。
  • 优化器： 使用了融合版本的 Adam 优化器 (Fused Adam)，设定 $ϵ=10^{-15}$以保证数值稳定性。
  • 渲染 Loss 权重： 3DGS 的损失函数中 D-SSIM 损失项的平衡权重设定为 $\beta =0.2$。
  • 3DGS 学习率 (Learning Rates)： 高斯尺度的学习率：$5\times 10^{-3}$ 旋转参数的学习率：$1\times 10^{-3}$ 不透明度 (Opacity) 的学习率：$5\times 10^{-2}$ 球谐系数 (Spherical Harmonics, SH)：DC (零阶) 分量的学习率为 $2.5\times 10^{-3}$，高阶 (Higher-order) 分量的学习率为 $1.25\times 10^{-4}$。
  • 实验结果总结： 相比于现有的代表性方法，MLLM-GS 既能够有效穿透严重的物理退化得到高保真的渲染图像，又在“重建耗时”和“显存占用”两个关键指标上实现了大幅度的缩减。