8 月 28 日沈抖博士的《智能，生成无限可能》主题演讲为我们分享了智能体经济的崛起，发布了新一代 AI 云基础设施，包括百舸 5.0、千帆 4.0 等新产品，也介绍了 AI Agents 在千行百业成功落地的案例，相信大家对我们正在进入的智能时代也都充满着期待。我们曾见证蒸汽时代的力量，电气时代的光明，信息时代的互联。总的来说，大模型正从聊天陪伴走向解决各类场景需求的应用，我们正站在价值爆发的前

大数据和 AI 一体化加速

这一趋势，也给云平台带来了异构资源的统一管理调度、统一运维等挑战。在硬件方面，ABC Stack可实现多种芯片的统一调度，支持Intel、海光、鲲鹏、飞腾等CPU，以及昆仑、海光、昇腾、寒武纪等主流 GPU，并可实现和云平台中的AI加速组件协同，提升 AI 业务效率；这些能力，可以支撑用户复杂的应用场景，帮助客户构建全栈国产化云平台，并支撑客户业务平滑迁移，真正使客户「建好云，上好云，用好云」。百

具体的原理是先通过一个用相同数据集训练好的小模型来生成多个位置的 token，然后再经过原始的大模型并发的进行各 token 的计算，来选择每个位置正确的 token（不正确的会丢弃掉），decoder 阶段的 MFU 会有比较大的提升，这样在一次计算中即可产出多个位置的 token。当前大家做模型研发都离不开一个社区 Hugging Face，大家的模型是从 Hugging Face 来的，早期

最后一个，前面我们介绍的都是工具，其实工具摆在这儿，用好和用不好，最终产生的结果是截然不同的，所以在这个过程中我们也沉淀了一套应用落地方法论，包括大量不同尺寸大模型到底怎么选、Prompt 怎么调、RAG 调优怎么调、问数调优怎么调，以及组件开发和 Agent 调优能力，我们将这些经验变成文档，变成课程输出给我们的客户和伙伴，让大模型真正落地变得更简单。整个的应用的分发都是通过千帆 AppBuil

缓存数据库核心挑战还是在性能、成本、高可用方面，在过去一年里面，我们核心优化了这些方面，性能上支持批量加载，高用上支持异地多活的能力，成本上支持冷热分离，通过把相对较冷的数据自动迁移到 SSD 上显著降低成本。百度智能云提供一站式云原生数据底座，覆盖完整的数据库的关系型、NoSQL、工具、大数据的开发工具，离线计算，在线中间等全套产品和服务。doris 是百度开源出去的数据仓库。百度智能云的云原生

本文整理自 2024 年 4 月 16 日的 2024 百度 Create 大会上的《大模型驱动的新一代 BI 平台如何开启智慧决策》分享。全文包括了可视化 BI 分析技术架构、智能图表推荐策略与规则设计、Sugar Bot 智能问数的技术实现流程，以及目前的场景应用等。

运行单个渲染负载，使用的 GPUtest 的 Furmask 测试，分配 100% 算力，FPS 在 550。在结合用户态本身支持的抢占混布和分时混布，使得数据处理和模型开发等离线任务，可以和在线推理业务进行在离线混布，当在线业务处于波谷时，离线业务抢占较多 GPU 空闲资源进行业务处理，节省了整体的 GPU 使用数量。在没有使用 GPU 容器虚拟化方案之前，每个业务实例使用一个 GPU，通过大量

优化推理引擎的终极目标其实就是，极限提升前向推理的吞吐，同时极限压缩 Token 间间隔，最终提高极限出字率。

除此之外，我们提供了大量的垂直场景大模型，用于一些非常垂直的，对效果和性能要求非常高的场景，比如说用于角色扮演的 ERNIE Character 模型，用于函数调用 ERNIE Functions 模型，用于小说生成电影场景的 ERNIE Novel 模型。在旗舰大模型上我们提供了重要的升级，包括了ERNIE 4.0 Turbo，相对于原来的 ERNIE 4.0，在大多数的通用场景上效果更好，速度