1. GLANCE系统概述：边缘设备上的视线引导注意力网络

在增强现实(AR)和虚拟现实(VR)领域，实时目标检测面临着严苛的计算约束。传统系统需要在10毫秒内完成推理，同时受限于严格的功耗预算。GLANCE系统创新性地结合了生物学的中央凹视觉原理与计算机视觉技术，提出了一种两阶段处理流程：首先通过可微分无权重神经网络(DWN)实现超高效的视线估计，然后基于注意力机制引导的区域关注(ROI)进行目标检测。

这个系统的核心突破在于：

• 采用内存查找操作替代传统的乘法累加(MAC)运算
• 每帧仅需393次MAC操作和2.2 KiB内存
• 视线估计的平均角度误差仅为8.32°
• 通过选择性处理将计算负担降低40-50%
• 能耗减少高达65%

在Arduino Nano 33 BLE等资源受限的边缘设备上，GLANCE在COCO数据集上实现了48.1%的mAP(关注区域内达51.8%)，同时保持亚10毫秒的延迟，完全满足AR/VR应用的实时性要求。

1.1 系统架构与数据流

GLANCE采用端到端的选择性检测流水线，其核心思想是将"看哪里"与"如何检测"解耦。系统工作流程可分为七个关键步骤：

1. MCU端的DWN处理 ：始终运行的DWN网络将紧凑的眼部/场景输入转换为注视点pt和少量ROI建议Rt
2. 轻量级元数据传输 ：仅通过低功耗链路传输ROI元数据(可选注视点)，避免早期全帧传输
3. 空间ROI融合 ：主机端执行每帧空间联合St = ∪i r(i)t
4. 联合ROI马赛克构建 ：创建单个联合ROI马赛克M(spatial)t = mosaic(It, St)
5. 时间ROI积累 ：维护时间联合Ut = λUt-1∪St，在K帧范围内积累注意力
6. 周期性检测触发 ：简单周期+预算策略控制检测器调用(R=1时每帧运行)
7. 检测结果返回 ：为应用程序使用返回检测结果(框/分数)，可选ROI重新对齐

这种架构的关键优势在于：

• 马赛克缓冲区和检测器工作空间与处理区域|Mt|成比例缩放
• 联合区域直接控制FLOPs、内存流量和延迟
• 高保真数字化和重型计算仅限于联合裁剪区域

1.2 无权重视线估计网络

GLANCE的核心创新之一是提出了基于DWN的视线估计器，直接从归一化灰度眼部图像估计3D视线方向。网络架构包含以下关键组件：

1. 输入预处理 ：眼部裁剪图像x ∈ ℝ1×S×S通过tanh非线性变换稳定光照
2. 空间降维 ：使用参数无关的平均池化(kernel/stride=k)产生低分辨率特征图u ∈ ℝ1×H×W
3. 温度计编码 ：每个标量特征fj使用K位温度计编码器离散化
4. LUT层 ：通过小型RAM样LUT执行计算而非卷积或密集矩阵乘法
5. 线性投影头 ：轻量级线性投影将分布式内存状态映射到连续3D视线向量

该网络使用复合损失函数进行端到端训练，平衡欧几里得和对齐角度： L = λ∥ĝ-g∥2² + (1-λ)(1-⟨ĝ,g⟩)

在MPIIGaze数据集上，该架构仅用9.6K参数(2.2 KiB内存)就实现了8.32°的平均角度误差，推理每图像仅需131次表查找和393次MAC操作。

2. 注意力引导的ROI检测机制

2.1 从视线估计到ROI形成

归一化视线ĝ = (gx, gy, gz)被投影到图像平面以获得注视点p = (u, v)。考虑到角度不确定性θmax会产生空间偏差e，我们定义ROI边长S(p) = 2ep，其中p ∈ [0,1]是与视线准确度相关的命中概率。

对于Wimg=640和FOV=90°，θmax=8.3°时e≈46.7 px，因此：

• S(0.5) = 46.7 px → 48 px
• S(0.7) = 65.38 px → 64 px
• S(0.9) = 84.06 px → 80 px

每帧t，我们在pt处中心化一个主ROI，并(可选)在附近高可能性邻域添加少量辅助ROI以补偿微扫视。通过空间联合St = ∪i r(i)t，我们构建单个联合ROI马赛克M(spatial)t = mosaic(It, St)，避免多次检测器传递。

2.2 时间ROI积累策略

为了在运动和部分视图间稳定召回率，主机维护一个时间联合，在K帧窗口内积累每帧注意力： Ut = λ Ut-1 ∪ St

检测器在刷新事件时的输入是积累的马赛克Mt = mosaic(It, Ut)。我们使用周期性触发器调用YOLOv12n：对所有t在t处运行YOLO。每次检测器运行后，Ut会软衰减以防止漂移。

这种策略的优势在于：

• 维护Ut与传入ROI区域成线性关系
• 检测器成本与马赛克区域|Mt|而非全帧成比例
• 始终开启的DWN以接近零MACs维持帧率注意力
• 主机分摊重型检测时间：空间融合每触发器创建单个联合ROI马赛克
• 时间积累通过简单刷新规则(R)保持召回率

2.3 旋转和运动感知的ROI稳定

头部运动会改变先前关注区域在图像中出现的位置，并可能在检测器刷新间扩大附近对象。我们使用两种轻量级机制保持空间相干性和召回率：

1. 头部旋转感知的重新对齐 ：将头部方向锚定到固定世界参考系，通过针孔相机模型映射图像坐标。当姿态从(ψ,θ)变为(ψ',θ')时，差分旋转(Δψ,Δθ)通过[u' v']ᵀ = [u v]ᵀ - f[tan(Δψ) tan(Δθ)]ᵀ移动像素坐标。

2. 运动感知的深度无关膨胀 ：对于帧间隔Δt和前向加速度afwd，视大小变化满足Δs/s ≤ |afwd|Δt/Zmin，因此我们将每帧各向同性膨胀限制为α = min(αmax, κ|afwd|Δt)，κ=1/Zmin，并更新每个ROI边长为S' = S(1+α)。

这些操作仅使用IMU姿态/加速度和简单算术，添加可忽略的开销，同时在旋转和平移下稳定积累联合Ut，并在YOLO刷新间保持召回率，同时使处理区域|Mt|(以及计算/内存)受限于预算马赛克。

3. 系统实现与性能评估

3.1 实验设置与基准

我们使用Arduino Nano 33 BLE作为边缘设备，NVIDIA RTX 3090 GPU作为主机，模拟完整处理流水线。系统延迟分布如图4所示，显示大部分时间花费在GLANCE与主机间的通信上，凸显了在边缘设备执行预处理的重要性。

与传统系统相比，GLANCE的改进包括：

• 通信时间减少约177倍
• 能量消耗显著降低(图5b)
• 内存占用极小(图5a)

3.2 ROI检测准确性与效率边界

表II和图6展示了在受限空间预算下，检测准确性如何随ROI计数N增加而演变。关键发现包括：

1. 快速初始提升 ：少量高置信区域已编码主要任务相关线索
2. 饱和现象 ：随着N持续增长，增益逐渐饱和，揭示信息-完成边界
3. 逆尺度收敛模式 ：
   • 小对象首先超越全局基线(42.05%)
   • 中等对象随后(67.16%)
   • 大对象最后收敛到全局上限(87.55%)

这种模式表明ROI推理在最需要的地方补偿最有效——全局检测器最弱的区域。对于小目标(占据少量像素且对比度低)，全局卷积聚合分散了判别梯度，导致空间利用不足。而ROI机制将表示能力集中在紧凑的高显著性区域，产生早期显著的准确性提升。

3.3 视线估计性能对比

表I比较了GLANCE与现有视线估计模型在MPIIGaze数据集上的表现。关键优势：

1. 计算效率 ：相比先前模型减少2.3×10⁶倍计算成本
2. 内存占用 ：仅∼9.6K参数(2.2 KiB)，完全适合MCU片上内存
3. 延迟表现 ：在多种MCU上实现超低延迟(5.7×10⁻⁵s到1.09×10⁻⁶s)
4. 能耗表现 ：极低能耗(3.04×10⁻⁷J到3.6×10⁻⁸J)

4. 实际应用与优化建议

4.1 部署考量

在实际部署GLANCE系统时，需要考虑以下关键因素：

1. 传感器选择 ：

   • 眼部追踪相机：低分辨率(80×80像素足够)
   • 场景相机：根据应用需求选择适当分辨率
   • IMU：用于头部运动补偿

2. 硬件配置 ：

   • MCU选择：考虑内存大小和计算能力平衡
   • 通信接口：低功耗BLE或类似技术
   • 电源管理：优化始终开启的传感路径

3. 参数调优 ：

   • ROI大小(S)：根据应用场景和目标大小调整
   • ROI数量(N)：平衡准确性和计算负载
   • 时间窗口(K)：根据用户行为模式优化

4.2 性能优化技巧

基于实际部署经验，我们总结了以下优化建议：

1. 动态ROI调整 ：

   • 根据场景复杂度自适应调整ROI大小和数量
   • 实现示例：

     def adjust_roi_size(scene_complexity):
         if scene_complexity < 0.3:
             return 80  # 简单场景使用大ROI
         elif scene_complexity < 0.6:
             return 64  # 中等复杂度
         else:
             return 48  # 复杂场景使用小ROI
     

2. 智能刷新策略 ：

   • 根据用户活动和场景变化动态调整检测器刷新率
   • 静止场景可降低刷新率
   • 快速头部运动或场景变化时提高刷新率

3. 内存优化 ：

   • 量化LUT条目(1位足够)
   • 共享温度计编码阈值
   • 使用内存池管理临时缓冲区

4. 能耗管理 ：

   • 根据电池状态动态调整处理精度
   • 实现示例：

     def set_processing_mode(battery_level):
         if battery_level < 20:
             return "low_power"  # 减少ROI数量，降低刷新率
         else:
             return "normal"
     

4.3 常见问题与解决方案

在实际应用中，我们遇到了以下典型问题及解决方案：

1. 问题 ：快速头部运动导致ROI漂移

   • 解决方案 ：加强IMU融合，减小运动补偿延迟
   • 实现 ：使用互补滤波器融合陀螺仪和加速度计数据

2. 问题 ：低光照条件下视线估计不准

   • 解决方案 ：
     • 增加红外照明
     • 自适应调整图像预处理参数
     • 实现示例：

       def adjust_preprocessing(light_level):
           if light_level < 30:  # 低光照
               return {"contrast": 1.5, "brightness": 1.2}
           else:
               return {"contrast": 1.0, "brightness": 1.0}
       

3. 问题 ：边缘设备内存不足

   • 解决方案 ：
     • 优化LUT共享策略
     • 使用内存高效的张量表示
     • 分阶段加载模型参数

4. 问题 ：无线通信延迟不稳定

   • 解决方案 ：
     • 实现自适应压缩ROI元数据
     • 使用前向纠错编码
     • 缓存机制处理通信中断

5. 扩展应用与未来方向

GLANCE的架构不仅限于AR/VR场景，还可应用于：

1. 智能监控系统 ：

   • 基于操作员视线引导的智能摄像头调度
   • 减少网络带宽和存储需求

2. 移动机器人 ：

   • 实现高效的环境感知
   • 延长电池续航时间

3. 辅助技术 ：

   • 为行动不便用户提供高效的界面交互
   • 低功耗的视线控制应用

未来研究方向包括：

• 多模态注意力融合(结合声音、触觉等)
• 自适应神经网络结构搜索
• 更高效的LUT压缩和共享技术
• 分布式边缘协作处理框架

在实际项目中采用GLANCE架构时，建议从相对简单的应用场景开始，逐步增加复杂度。例如，可以先实现静态场景下的基本视线引导检测，再逐步添加运动补偿、动态ROI调整等高级功能。这种渐进式方法有助于及时发现和解决集成问题，确保系统稳定性和性能达标。