logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Ubuntu 20.04 上安装 Node.js 和 npm 的三种方法

主要介绍三种在 Ubuntu 20.04 上安装 Node.js 和 npm 的方法。

文章图片
#ubuntu#npm#node.js
领域驱动设计(DDD)在大模型Agent开发中的应用与启发

Eric Evans 在 2003 年提出的领域驱动设计(DDD),旨在应对复杂业务系统的软件设计挑战。在传统软件领域影响深远的同时,DDD 的核心思想在大语言模型(LLM)驱动的 Agent 系统开发中同样具有指导意义。

文章图片
踩坑实录:阿里云大模型API同接口速度差5倍?KV缓存优化全解,客服Agent提速必看

本文分析了阿里云通义千问API在代码生成和意图识别场景下响应速度差异的原因,指出上下文缓存复用率是关键因素。通过解读阿里云2026年最新文档,揭示了模型推理的两个阶段(Prefill和Decode)对性能的影响,并详细介绍了三种缓存模式的适用场景及规则。针对意图识别场景响应慢的问题,提出了5步优化方案。

文章图片
#阿里云#缓存#云计算
大模型 Agent 对话场景 意图分析 速度提升方案

本文总结了优化AI对话系统意图识别性能的三大类方案:低成本优化(规则前置、模型替换、上下文裁剪)可降延迟50%-80%;核心深度优化(大小模型协同、任务专属轻量化、推理框架优化)能提速3-10倍;极致规模化优化(部署架构、流量调度、意图分层)适合高并发场景。关键建议包括:优先优化P99延迟,确保准确率损失不超过2%,不同场景选择适配方案(ToC侧重速度、ToB兼顾成本、开放域需平衡泛化能力)。特别

文章图片
角色设定对大模型表现的影响:对不同架构的对比分析

摘要 角色设定通过改变模型概率分布影响输出,但效果因架构而异:传统Transformer风格控制稳定但专业性不足;MoE架构垂直领域表现优异但跨领域能力弱;稀疏激活模型计算高效但对角色设定敏感。研究发现,角色设定对事实准确性的提升存在1000亿参数的规模阈值,且中性角色设定优于性别化角色。风险方面,角色设定可能降低事实准确性、增加拒绝率,需通过动态调整、安全阈值控制等策略优化。最佳实践建议根据模型

文章图片
#架构
一种可信Agent架构设计思路,采用异步和分布式来提高效率

草案6提出一个分布式信任评估系统,采用简约设计理念,包含三大核心模块:基于ACP的轻量通信层、LLM驱动的智能评估层和分布式评分网络。系统采用异步分层架构,实时评估响应<20ms,后台分析异步处理,通过加盟组织节点实现分布式评分计算,利用Gossip协议进行数据同步,并采用TSA轻量存证替代区块链降低成本。通信层基于ACP协议实现跨平台互通,支持JSON-RPC和P2P消息传递。信任评估层整

文章图片
#分布式
大模型 Agent 对话场景 意图分析 速度提升方案

本文总结了优化AI对话系统意图识别性能的三大类方案:低成本优化(规则前置、模型替换、上下文裁剪)可降延迟50%-80%;核心深度优化(大小模型协同、任务专属轻量化、推理框架优化)能提速3-10倍;极致规模化优化(部署架构、流量调度、意图分层)适合高并发场景。关键建议包括:优先优化P99延迟,确保准确率损失不超过2%,不同场景选择适配方案(ToC侧重速度、ToB兼顾成本、开放域需平衡泛化能力)。特别

文章图片
领域驱动设计(DDD)在大模型Agent开发中的应用与启发

Eric Evans 在 2003 年提出的领域驱动设计(DDD),旨在应对复杂业务系统的软件设计挑战。在传统软件领域影响深远的同时,DDD 的核心思想在大语言模型(LLM)驱动的 Agent 系统开发中同样具有指导意义。

文章图片
踩坑实录:阿里云大模型API同接口速度差5倍?KV缓存优化全解,客服Agent提速必看

本文分析了阿里云通义千问API在代码生成和意图识别场景下响应速度差异的原因,指出上下文缓存复用率是关键因素。通过解读阿里云2026年最新文档,揭示了模型推理的两个阶段(Prefill和Decode)对性能的影响,并详细介绍了三种缓存模式的适用场景及规则。针对意图识别场景响应慢的问题,提出了5步优化方案。

文章图片
#阿里云#缓存#云计算
    共 16 条
  • 1
  • 2
  • 请选择