logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型推理加速:Overlap Scheduling 的深入剖析与性能权衡艺术

Overlap Scheduling 里的 CPU 任务调度应该“恰到好处”的和 GPU 并行,不能太早也不能太晚,才能在 Overlap Scheduling 和 动态批处理之间取得平衡,获取最大收益。

#golang#学习
Claude Code项目越写越乱?这套清理流程能救你

周创建了一个格式化日期的工具函数,下周又创建了另一个也格式化日期的函数,放到了不同的文件里。两个都能用,但谁也不调用谁。你的项目里就这样悄悄多了两个干同一件事的函数。把这个模式放大到整个项目,你就会得到一堆重复的辅助函数、孤立的组件、压根没用到过的导入、以及调试时创建但事后忘了删的文件。Claude没有眼睛,也不记得它上周创建了什么。每次新对话都是从头开始。它读取你的文件,构建你这次要的东西,却不

#java#github#前端
[MAF的Agent管道详解-02]IChatClient管道如何完美连接大模型?

系统通过继承: 在不修改业务逻辑的前提下,透明地记录所有与AI模型的交互细节;:这是最强大的内置中间件。它拦截模型的回复,如果模型返回的是函数调用请求(Function Call),由它实施最终的调用,然后将结果反馈给模型,直到模型给出最终文本回复。我们可以使用它实现联网搜索查询数据库等自动化插件功能。FunctionInvokingChatClient将最重要的ReAct循环引入ChatClie

#microsoft#数据库
大模型推理加速:Overlap Scheduling 的深入剖析与性能权衡艺术

Overlap Scheduling 里的 CPU 任务调度应该“恰到好处”的和 GPU 并行,不能太早也不能太晚,才能在 Overlap Scheduling 和 动态批处理之间取得平衡,获取最大收益。

#golang#学习
找了一个Token渠道,全球顶级模型,在vscode的配置及应用。

(1)Copilot:6.1和6.2,2天时间,Copilot Pro+ 39美元套餐内置额度 + 自备 10 美元超额备用金全部用完,折合2天实际推理消耗成本(2)转投Deepseek:6月5日一天消耗48.35人民币。(1)注册:LxRouter。创建API密钥 (2)配置密钥参数,注:模型限制可以配置多个大模型。(3)获得密钥和API地址,【复制连接信息】(4)对话测试-参数配置(5)对话测

#vscode#ide#编辑器
基于 OpenSpec 实现规范驱动开发

出了极高的工程性价比,无论是使用 Claude Code、Cursor 还是 Aider,都可以无缝接入 OpenSpec 的规格管理层。OpenSpec 对存量代码库的需求场景,相当友好,相比 Spec Kit 擅长的新项目场景,对于很多公司的开发更为适合。

#golang#学习
通过 Nanobot 源码学习架构---(7)Memory

OpenClaw 应该有40万行代码,阅读理解起来难度过大,因此,本系列通过Nanobot来学习 OpenClaw 的特色。Nanobot是由香港大学数据科学实验室(HKUDS)开源的超轻量级个人 AI 助手框架,定位为"Ultra-Lightweight OpenClaw"。非常适合学习Agent架构。Memory 是构建复杂 Agent 的关键基础。如果仅依赖 LLM 自带的有限上下文窗口作为

#学习#架构
到底了