logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

依赖三方服务超时压测:当底层支付或物流接口响应延迟 5 秒时的系统韧性

每年大促前夕的全链路压测,研发团队往往沉浸在一片虚假的繁荣里:内网各微服务调用耗时都在 5 毫秒以内,Redis 命中率 99%,自建 MySQL 读写顺畅,压测报告上的 QPS 数字漂亮得像一件艺术品。但在真实的真实战场上,最致命的子弹往往来自不可控的盟友。前年双 11 零点刚过 12 分钟,核心结算链路全线亮起红灯。排查发现,我们内部的代码一行都没崩,崩掉的是调用三方银行快捷支付的通道。由于跨

文章图片
#AI#人工智能#后端 +2
全维度拆解具身智能:底层技术 + 实战落地+ 全球产业竞争

孔祥战工学博士,2015年博士毕业于北京理工大学机电学院智能机器人研究所,师从段星光教授,研究方向为穿刺手术机器人。随后,在北京理工大学从事博士后科研工作,合作导师栗苹教授,研究方向为脑肌电信息接口技术,2018年完成在站期间的科研任务,顺利出站。现在专注于研究具身智能与特种作业机器人,拥有近20年的机器人技术和产品研发经验,是“机器人大讲堂”的发起人,连续创业者,曾作为机器人技术专家受邀参加CC

文章图片
#人工智能
AI 模型部署架构:从推理加速到弹性伸缩的工程化落地

AI 模型部署架构的核心优化方向有三个:通过动态批处理提升 GPU 利用率、通过模型路由降低综合推理成本、通过弹性伸缩应对流量波动。动态批处理是最立竿见影的优化——从单请求推理切换到动态批处理,GPU 利用率通常能从 30% 提升到 70% 以上。落地路线:先用 vLLM/TGI 等推理框架跑通单实例部署,验证模型推理性能基准;再引入动态批处理和模型路由,优化吞吐量和成本;最后部署弹性伸缩,应对流

文章图片
#后端#golang
Flutter 三方库 belatuk_http_server 的鸿蒙化适配指南 - 让鸿蒙端具备工业级 Web 服务能力、助力高性能边缘计算服务器构建

在 OpenHarmony 鸿蒙系统的分布式愿景下,设备间的角色界限正在变得模糊。鸿蒙手机、平板甚至智慧屏,在协同办公、智能家居监控等场景下,往往需要作为微服务器(Micro Server)来响应其他端发起的复杂 HTTP 请求。虽然 Dart 官方提供了底层的HttpServer,但处理复杂的路由(Routing)、中间件嵌套以及文件上传下载时,原生 API 显得过于底层且繁琐。作为一个功能完备

文章图片
#flutter#harmonyos#鸿蒙
Flutter 组件 aws_lambda_dart_runtime_ns 的鸿蒙化适配实战 - 实现 OpenHarmony 分布式端高性能云端协同、冷启动指纹预检与工业级边缘计算核方案

在鸿蒙(OpenHarmony)生态的分布式边缘计算、强云端一体化架构或者是对冷启动耗时有极其严苛要求的 0308 批次企业级应用中。“云原生函数的执行效率与边缘执行环境的指纹预检维度”是衡量整个系统算力调度稳定性的最终质量门禁。面对包含每秒数百万次调用的 Lambda 函数集群、动态变化的 AWS 环境变量、甚至是由于跨域转发产生的 0308 批次请求转发波次。如果仅仅依靠简单的“HTTP 转发

文章图片
#flutter#harmonyos#鸿蒙
AI 推理加速:从模型部署到推理优化的全链路性能实践

推理加速是一个多层次系统工程,从模型层的量化和蒸馏,到引擎层的 KV Cache 和算子融合,再到服务层的动态批处理和缓存,每一层都有独立的优化空间和适用条件。工程实践中需要根据业务场景的延迟 SLA 和吞吐需求,选择合适的优化组合:实时场景优先降低 TTFT(量化、Flash Attention、前缀缓存),批处理场景优先提升吞吐(动态批处理、多 GPU 并行)。所有优化都需要在评估集上验证精度

文章图片
#后端#golang
AI 模型部署策略:从单机推理到弹性扩缩容,GPU 资源的成本最优解

AI 模型部署的核心矛盾是 GPU 成本与流量波动。弹性扩缩容是降低成本的关键手段,但需要解决冷启动和 GPU 碎片化问题。Kubernetes HPA 配合自定义指标(推理队列深度)比 CPU 利用率更适合 GPU 场景。模型预热(就绪探针)和优雅关闭(preStop 钩子)确保扩缩容期间请求不中断。成本计算应包含模型加载的额外开销,而非只看 GPU 运行时间。对于低流量场景,单机部署或 Ser

#后端#golang
补偿已经做完,Agent 重启后还会再撤一次吗?

一个 Agent 为草稿预占额度,创建草稿后,后续检查失败。恢复流程需要先撤销草稿,再释放它引用的额度。草稿服务已经完成撤销,执行器却在保存回执前退出。进程重启后,数据库里仍写着“撤销处理中”。直接再撤一次,可能遇到重复副作用;把“处理中”改成“完成”,又没有足够证据。更隐蔽的问题是:额度释放任务看到了内存里的成功标记,提前启动,随后本地事务却回滚了。这次不讨论怎样列出补偿步骤,而是把恢复边界缩小

文章图片
#AI#人工智能#后端 +2
权限服务超时,Agent 却让用户申请权限?Go 工具要分清拒绝与未知

工单助手准备追加一条内部备注,先向权限服务询问当前客服能否修改这张工单。查询超时后,适配器统一返回“权限不足”。Agent 接着建议用户申请管理员权限,真正出问题的权限服务却没人处理。换成“工具失败,请重试”也不够准确。此时应该重查授权,还是重发备注?用户已经点过停止,执行器还应不应该继续?错误文案背后需要一份可以执行的恢复约定。本文讨论一个合成入口:业务写入尚未派发,权限判断由独立的只读服务提供

文章图片
#AI#人工智能#后端 +2
watermark-webui盲水印教程:NAS部署、隐藏水印嵌入提取与远程访问

主管上午批准一张工单结案,Agent 排队等执行。下午主管离职,职责表已撤销他的审核资格。晚上任务被重新领取,执行器只查到approved,便把工单关了。这条批准记录没有造假。问题出在系统把“当时有人批准”直接当成了“现在仍可执行”。长时间挂起的任务会跨过人员调动、权限撤回和职责规则更新,恢复时需要重新判断这份批准还能否用于眼前的动作。本文采用一个明确的示例策略:结案前,原审核人仍须有效且有权审核

文章图片
#AI#人工智能#后端 +2
    共 1412 条
  • 1
  • 2
  • 3
  • 142
  • 请选择