logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

百万上下文下的DeepSeek V4推理:SGLang的ShadowRadix与三级缓存方案,前缀复用率超90%

优化项解决的问题效果三种注意力KV管理混乱统一虚拟缓存,物理层独立管理逻辑地址到物理地址映射三套独立映射,支持动态压缩/释放三级缓存(HiCache)百万Token KV存不下前缀复用率超90%状态分离压缩/释放影响其他类型一份逻辑前缀,三套独立物理映射。

文章图片
#sglang#缓存
从大模型到AI执行系统:为什么你的Agent项目还停在Demo?

Agent本身不具备复制性。自然堂的导购机器人搬到欧莱雅完全不适用,医疗场景的方案搬到教育场景也得重来。但搭建过程的框架是具备复制性的——流程有流程模板,任务有任务模板。这意味着什么?意味着你不需要每次从零开始造Agent。只要把AgentInfra层搭好,后续不同场景的Agent落地,就是"套模板、填内容"的事。这才是AgentInfra层的真正价值:不是给每个企业造一个Agent,而是给每个企

文章图片
#人工智能#AIGC
最新AI视频笔记工具横评:5种流派,Ai好记、BiliNote、NoteGPT、VideoSeek、HoverNotes 怎么选?

一句话定位:主打 YouTube 视频摘要的浏览器插件工具,把长视频快速压成要点,轻量好用。核心能力一键总结 YouTube 视频、提取字幕,没字幕也能生成字幕。集成 ChatGPT、Claude、Gemini 等多模型,支持 PDF 总结、AI 问答、AI 抽认卡。浏览器插件形式,看视频时顺手就能用。需要留意的局限:国内平台(B站、小红书等)支持很少,免费版次数有限,适合"只看个大概"的轻量筛选

#人工智能#音视频
最新AI视频笔记工具横评:5种流派,Ai好记、BiliNote、NoteGPT、VideoSeek、HoverNotes 怎么选?

一句话定位:主打 YouTube 视频摘要的浏览器插件工具,把长视频快速压成要点,轻量好用。核心能力一键总结 YouTube 视频、提取字幕,没字幕也能生成字幕。集成 ChatGPT、Claude、Gemini 等多模型,支持 PDF 总结、AI 问答、AI 抽认卡。浏览器插件形式,看视频时顺手就能用。需要留意的局限:国内平台(B站、小红书等)支持很少,免费版次数有限,适合"只看个大概"的轻量筛选

#人工智能#音视频
到底了