logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

多模态大模型视觉位置感知与空间几何对齐:从 2D 像素坐标到 3D 物理边界框的投影推演

多模态大语言模型(Vision-Language Models, VLM)在二维图像理解领域已展现出强大的细粒度感知能力,能够准确输出像素级的视觉定位框(2D Bounding Box)。然而,当多模态模型走向具身智能(Embodied AI)、机械臂空间操纵以及高阶自动驾驶系统时,纯粹的图像平面坐标预测无法提供执行物理交互所必需的三维空间姿态信息。

文章图片
基于连续扩散流的跨模态时空动作生成:从离散语言指令到物理轨迹流形对齐

具身智能(Embodied AI)的核心历史使命,在于让具备浩瀚通用知识与复杂因果推理能力的大语言模型(LLM)从纯粹的文字虚拟世界走入充满连续动力学物理约束的现实世界。

文章图片
神经辐射场与视觉语言嵌入的 3D 隐空间闭环:基于可微体渲染的具身空间定位

在具身机器人探索真实三维世界、执行复杂物理交互任务的过程中,传统基于二维像素特征的多模态大模型(如 CLIP、LLaVA)暴露出天然的空间表征短板:二维图像特征仅捕获了特定视锥(Frustum)下的投影像素,丢失了物理环境的三维连续几何、遮挡关系以及尺度绝对量纲。当人类向机器人下达“绕到双层书架背面,从第三层抽屉下方取出红色扳手”等涉及非视距(Non-line-of-sight)遮挡与视角合成的长

文章图片
#人工智能
音频语义流与视觉动作的时钟级同步对齐:基于跨模态连续时间弯曲的因果感知

在构建下一代实时具身交互与高保真全双工多模态大模型时,音频流、视觉视频流与离散文本流之间的时钟级对齐是决定系统真实感与可控性的核心门槛。无论是在超低延迟拟人实时对话(唇形与发音的毫秒级同步)、复杂乐器演奏手势与音色共鸣的因果感知,还是四足机器人触觉冲击波与视觉位姿的跨模态闭环中,各模态天然存在着巨大的物理采样频率鸿沟:高保真音频工作在 16kHz 至 48kHz 的连续波形域,视觉摄像机通常以 2

文章图片
大模型自主安全渗透攻防竞技场:基于隔离虚拟化靶场的红蓝对抗自动化度量

在评估大语言模型的网络安全风险与对齐防护能力时,业界长期受制于静态问答题库(如各种安全选择题与有害提示词诱导集)。这类基准主要检验模型在字面语义层面的拒答礼貌度,却完全无法度量大模型在充当自主智能体(Autonomous Cyber Agent)时,在真实复杂操作系统与网络拓扑中的实战攻防潜能。一个在静态文本中口头拒绝回答恶意提问的模型,在被赋予 Bash 命令行执行、网络数据包探测与代码逆向分析

文章图片
3D 点云与高阶视觉几何对齐:基于体素特征注入与连续位姿图的隐空间融合

现有视觉语言大模型(VLM)的多模态感知主要建立在二维像素平面的网格特征之上。然而在具身机器人导航、空间操控以及自动驾驶决策场景中,二维图像在投影过程中不可逆地丢失了关键的物理尺度、遮挡关系与三维深度信息。将激光雷达(LiDAR)或 RGB-D 传感器采集的无序、不规则三维点云(Point Cloud)与语言大模型的隐空间进行深度语义对齐,面临着严峻的几何拓扑挑战:点云具备无序置换不变性、尺度非均

文章图片
#人工智能
具身智能中的连续高频动作控制对齐:从离散语言 Token 到连续流形扩散策略

在大模型向物理世界延伸的具身智能(Embodied AI)范式中,视觉语言模型(VLM)展现了卓越的高阶语义规划能力。直接让自回归语言模型输出离散化的动作 Token(如将末端执行器的坐标位置与欧拉角量化为 256 个分箱数值)在实际物理机器人控制中暴露出严重的瓶颈。机器人的关节电机与末端灵巧手通常工作在 50Hz 甚至 100Hz 的连续动态反馈控制闭环中,离散动作预测容易诱发动作抖动、多峰分布

文章图片
具身智能中的连续高频动作控制对齐:从离散语言 Token 到连续流形扩散策略

在大模型向物理世界延伸的具身智能(Embodied AI)范式中,视觉语言模型(VLM)展现了卓越的高阶语义规划能力。直接让自回归语言模型输出离散化的动作 Token(如将末端执行器的坐标位置与欧拉角量化为 256 个分箱数值)在实际物理机器人控制中暴露出严重的瓶颈。机器人的关节电机与末端灵巧手通常工作在 50Hz 甚至 100Hz 的连续动态反馈控制闭环中,离散动作预测容易诱发动作抖动、多峰分布

文章图片
高动态范围多模态视觉长视频流编码:从时空 3D-RoPE 到关键帧因果自适应采样

多模态大语言模型(Video-LLM)正在经历从“静态单图识图”向“长程动态视频流理解”的重大范式跃迁。理解一部完整的电影、解析长达数小时的高清监控录像或指导复杂的具身物理实验,是通用人工智能融入客观动态世界的必由之路。然而,视频数据在物理上是一个。为了突破这一瓶颈,本文深入推导,结合基于信息熵跃迁的,构建高动态范围的长视频表征对齐引擎。

文章图片
#人工智能
分布式张量并行中的跨 NUMA 拓扑亲和性优化:PCIe 带宽竞争消除与中断亲和绑定

在搭建单机 8 卡高性能 GPU 计算节点时,系统架构师往往将全部注意力聚焦于 GPU 之间的 NVLink 互联带宽(如 900 GB/s)与跨机 InfiniBand 网络的吞吐量。然而,在真实高并发张量并行(Tensor Parallelism, TP)与分布式数据加载的生产运行中,许多团队经常遭遇一类令人困惑的这一系列病态抖动的根本元凶,并非 GPU 硬件故障或深度学习框架的算法缺陷,而是

文章图片
#人工智能
    共 26 条
  • 1
  • 2
  • 3
  • 请选择