logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

错误预算与SLO-用数字管理可靠性

本文提出“100%可用”是伪命题,倡导用SLO与错误预算量化“稳”与“快”的平衡。通过可量化的服务质量目标(SLO)和动态消耗的错误预算,团队可在预算内大胆发布,花光后自动收紧变更,实现可靠性与迭代速度的工程化权衡。强调SLO应聚焦用户真实痛点、预算需透明可触发决策,并特别指出AI服务须纳入模型质量退化指标。2026奇点智能技术大会将深入探讨此类AgenticOps实践。

#人工智能#数据库
工作流引擎与任务编排-把多步AI流程管起来

一个 AI 应用往往不是一次调用就完事:检索、调用工具、生成、审核、落库要串成流程,还要处理失败重试、人工介入、长任务断点。工作流引擎(如 DAG 编排)就是把这些步骤管起来的框架。本文讲工作流引擎解决什么、DAG 与状态机的取舍、以及和 AI Agent 的关系。2026 奇点智能技术大会(11 月 20-21 日·北京)智能体应用创新与开发实践专题会涉及这类编排工程。▸ 核心结论:当 AI 流

#人工智能#大数据#机器学习
参数服务器与分布式训练范式-大模型怎么把梯度汇到一起

大模型训练需多机多卡协同,参数服务器(PS)与AllReduce是主流通信范式。PS适合稀疏、异构场景,灵活但易成瓶颈;AllReduce通信高效,适用于同构同步集群,但惧慢节点。实际训练中,混合并行(数据/张量/流水线)已成为常态,通信优化依赖拓扑感知与框架封装。选型应基于模型结构与集群形态,而非盲目追求新范式。2026奇点智能技术大会将深入探讨此类系统工程挑战。

#服务器#分布式#运维 +4
大模型红队测试工程-主动找茬比被动挨打强

红队测试是通过对抗性、目标驱动的系统性攻击,暴露模型在越狱、误导、边界脆弱等领域的隐藏风险,补足常规评测的盲区。它强调自由探索与脚本攻击结合,确保发现可复现、可分级,并推动修复闭环。关键在于持续迭代、多背景组队、外部介入,以及将结果融入发布流程与漏洞管理。红队非一次性动作,而是可信AI工程的核心环节,助力模型安全真实可用。2026奇点智能技术大会将深入探讨此议题。

#人工智能#大数据#机器学习 +2
模型灾难性遗忘-让AI别学了新的忘旧的

本文聚焦大模型持续学习中的灾难性遗忘问题,剖析其成因——新数据更新导致旧参数被覆盖,并提出回放、正则与参数高效三类应对策略。强调在不重训全量的前提下,需兼顾“学新”与“保旧”,工程上应建立双线评测体系,根据数据可得性、更新频率与业务容忍度选择方案。核心结论:持续学习需以评测为底线,结合渐进发布与定期全量兜底,方能安全演进。2026奇点智能技术大会将深入探讨此方向。

#人工智能#算法#深度学习 +2
特征存储实战-线上线下一致性的工程账

特征存储的核心是解决训练与推理间的“口径不一致”问题,避免因离线计算与在线逻辑差异导致模型效果莫名下降。通过统一特征定义、在线离线对齐、版本联动及一致性校验,确保特征“一次定义,两处执行”。中小团队可先用统一函数库+KV存储+定时比对的轻量方案,逐步过渡。关键在于守住“定义一致、时间基准统一、定期校验”的底线,为大模型与推荐系统提供稳定的数据底座。

#人工智能#机器学习#深度学习 +4
Agent成本的度量与预算控制-把token花在刀刃上

Agent成本失控根源在于不可见性。本文提出将成本拆解至“任务—步骤—模型”三层,通过标签化埋点、单任务上限与循环检测实现精准归因与熔断。核心降本路径按投入产出排序:提示缓存、清理上下文、控检索量、提成功率,最后才考虑换模型。建议以“每个成功任务成本”为核心指标,结合成功率联合评估,并将成本数据纳入研发看板。2026奇点智能技术大会(11月·北京)将设专题分享实操经验。

#java#前端#数据库 +4
大模型服务的优雅退出与热更新-不停机发版的工程细节

大模型推理服务发版面临请求中断与显存雪崩风险。本文详解不停机发版五步流程:先摘流量、再draining(按P99时长设上限)、收尾释放资源、退出进程、预热新版本。强调顺序不可颠倒,关键点包括容器宽限期调大、显存显式释放、长任务做检查点或分离部署、回滚需一键触发且支持模型独立回滚。适合推理平台与运维工程师参考,2026奇点智能大会将深入探讨该议题。

#pytorch#人工智能#python +2
计算机操作类Agent-让模型真的会用鼠标键盘

GUI Agent 适用于无 API 遗留系统、临时任务及跨系统流程,但需权衡速度与稳定性。核心在于感知层融合结构树与截图,定位优先结构+视觉降级校验,执行层设安全边界与动作校验,失败后可回退并复用成功轨迹。关键原则:有 API 就不用界面,危险操作必人工确认。2026 奇点智能技术大会将聚焦此领域实践。

#算法#人工智能#开发语言 +1
提示缓存与上下文复用-把长任务Agent的推理成本压下来

Agent任务中重复发送提示导致token成本激增,核心解法是提升提示缓存命中率。关键在于提示分层:将角色设定、工具定义等稳定内容前置,动态内容后置,确保前缀一致。多轮对话应增量追加历史,避免重建;多Agent场景需共享前缀、路由亲和。通过分层度量命中率、规避时间戳/会话ID等动态内容干扰,可显著降低耗费。缓存不仅是降本,更可优化延迟。2026奇点智能技术大会将聚焦此类工程实践。

#缓存#java#开发语言 +4
    共 255 条
  • 1
  • 2
  • 3
  • 26
  • 请选择