logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

针对 DeepSeek V3.2 的推理引擎深度优化

在解决存储容量问题的基础上,ESS 系统进一步优化计算性能损耗,形成差异化竞争优势:相较于业界主流卸载方案,ESS 无需对数据进行压缩处理,实现端到端精度无损的卸载模式,彻底规避了数据压缩与解压带来的精度损失及额外计算开销。第一,面向负载均衡的切分策略。此外,在缓存替换策略上,我们采用全局 LRU 算法替代传统 FIFO 策略,通过动态追踪数据访问热度、优先保留高频访问的热数据,确保在模型全生命周

128 卡 4 天时间!百度百舸助力 LLaVA-OneVision-1.5 刷新多模态大模型训练效率纪录

在过去,训练一款高性能视觉大模型,往往需要承担高昂成本与复杂工程压力。9 月底,灵感实验室与 LMMs-Lab 联合推出的 LLaVA-OneVision-1.5 彻底改写了这一现状。这款具备视觉理解、图文对话能力的 8B 规模多模态模型,仅用 128 张 A800 GPU 4 天时间便完成预训练,且在公开基准测试中性能媲美顶级大模型,印证了「非堆量式」性能提升的技术价值。

#人工智能
百度百舸打造大规模分布式推理集群的基础设施

百度百舸通过自动化编排、智能弹性伸缩与高性能流量调度这三大支柱,成功重塑了 LLM 分布式并行推理基础设施。这套体系并非三个独立技术的简单叠加,而是一个从底层抽象到顶层智能决策、层层递进、协同工作的完整架构。其整体架构蓝图可以归纳为四个协同工作的层次:工作负载抽象层(Foundation Layer):这是整个系统的基石。通过 FedInstance 这一核心抽象,将物理上分散的多个 Pod 封装

文章图片
#分布式
PD 分离推理的加速大招,百度智能云网络基础设施和通信组件的优化实践

百度智能云在大规模 PD 分离式推理基础设施优化的实践中,充分展现了网络基础设施、通信组件与上层业务特征深度融合的重要性。这种融合不仅是技术层面的创新,更是对实际业务需求的深刻理解和响应。

文章图片
百度百舸面向 DeepSeek V3 系列模型 AE 分离框架的实战

在解决存储容量问题的基础上,ESS 系统进一步优化计算性能损耗,形成差异化竞争优势:相较于业界主流卸载方案,ESS 无需对数据进行压缩处理,实现端到端精度无损的卸载模式,彻底规避了数据压缩与解压带来的精度损失及额外计算开销。第一,面向负载均衡的切分策略。此外,在缓存替换策略上,我们采用全局 LRU 算法替代传统 FIFO 策略,通过动态追踪数据访问热度、优先保留高频访问的热数据,确保在模型全生命周

基于 veRL 多模态混训的视频上下文并行,百度百舸提升具身智能强化学习效能

在客户场景的实际测试中,相比社区原有方案,百度百舸的方案经过合理的切分配置,单段视频支持的帧数上限提升超过 2 倍,单帧最大分辨率上限提升超过 2.6 倍,可以大幅缩短训练时间。在客户场景的实际测试中,相比社区原有方案,百度百舸的方案经过合理的切分配置,单段视频支持的帧数上限提升超过 2 倍,单帧最大分辨率上限提升超过 2.6 倍,可以大幅缩短训练时间。然而受限于显存瓶颈,多模态大模型的训练原始数

#云计算#人工智能
Qwen3 系列全家桶,百度百舸一键部署

目前,百度百舸平台已经同步支持 Qwen3 系列全家桶的一键部署,为企业提供一站式 AI 服务,实现大模型落地「快稳省」的要求。

文章图片
百度智能云「智能集锦」自动生成短剧解说,三步实现专业级素材生产

备受剪辑压力困扰的各位自媒体老板、MCN 同学们、投放平台大佬们,解放双手和大脑的好机会它来了!在这个数字化飞速发展的时代,智能技术正以前所未有的速度改变着我们的生活与工作方式。百度智能云,作为智能科技的引领者,持续探索智能技术如何赋能各行各业,开启智能时代的新篇章,开启「 AI 集锦」智能新纪元。

#音视频#人工智能
昆仑芯 X HAMi X 百度智能云 | 昆仑芯 P800 XPU/vXPU 双模式算力调度方案落地

百度智能云混合云联合昆仑芯、HAMi(密瓜智能发起并主导的 CNCF 开源项目),正式推出基于昆仑芯 P800 的 XPU/vXPU 双模式算力调度方案 —— 该方案已率先在某金融客户的昆仑芯集群中落地,为智能客服、营销辅助等十余类 AI 业务提供兼具稳定性与灵活性的算力支撑。客户可在同一集群内灵活调用昆仑芯 P800 的整卡 XPU 与虚拟化 vXPU 资源,让国产算力既高效匹配业务需求,又实现

文章图片
#百度
0 Token 间间隔 100% GPU 利用率,百度百舸 AIAK 大模型推理引擎极限优化 TPS

优化推理引擎的终极目标其实就是,极限提升前向推理的吞吐,同时极限压缩 Token 间间隔,最终提高极限出字率。

文章图片
    共 102 条
  • 1
  • 2
  • 3
  • 11
  • 请选择