logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Coding Agent 推理性能优化:Decode、KV Cache 与多 Session 调度

Coding Agent 推理优化干货:Modal 基于 SGLang+B200 的线上实践,通过 Speculative Decoding、KV Cache 量化、HiCache 分层缓存、带缓存感知的会话路由,大幅提升 Decode 速度与长会话吞吐。核心难点:在 KV 缓存复用、负载均衡、扩容之间做权衡,不是单纯跑分优化,面向真实 Agent 长会话流量。

文章图片
#人工智能
AI编程Agent开始糊弄事儿了,怎么办?

踩坑实录:测试用例把真实 app.js 删掉,DeepSeek Harness 一开始误判是平台层问题,想用自动恢复补丁掩盖。换 Claude Code 快速定位根因,后续新开环境复测 DSH 同样能找到 bug。AI Agent 一样会有思维盲区,查 bug 可以多 Agent 交叉核验。

#ComfyUI
工具调用:让 Agent 从“说”到“做”

Agent 从 “说” 到 “做” 的核心:工具调用。讲清 Function Calling 的运行机制、工具类型、避坑设计原则。模型只负责决策调用,真正执行权在开发者手中,Agent 的上限由你的工具生态决定。

文章图片
程序员转型抉择:转 Agent 开发还是转全栈?一份基于招聘市场的冷静分析

Agent 开发 vs Java 全栈怎么选?拆解招聘市场现状、薪资、岗位分布,分析全栈是商业稳定需求、Agent 属于机遇型赛道。很多人踩坑:想靠学 Agent 躲开后端短板,大概率行不通。正确路线:先夯实全栈能力,再叠加 Agent 开发经验。

如何把“学霸大脑”塞进手机?一文读懂大模型知识蒸馏

通俗讲解大模型知识蒸馏原理,用 “教授带学徒” 类比,区分硬标签、软标签、暗知识,拆解大模型时代两种主流蒸馏方案:数据蒸馏、白盒蒸馏,对比知识蒸馏和微调的差异,以 DeepSeek-R1 蒸馏为例,讲清楚如何把超大模型的能力迁移到小模型,实现端侧手机、本地设备轻量化部署,适合 AI 入门、大模型学习者阅读。

Dify+Ollama模型搭建攻略:本地环境实战指南

Windows 本地从零搭建 Dify+Ollama+Qwen3:4b 私有大模型知识库机器人完整教程,基于 WSL2+Docker 部署,包含硬件环境检查、WSL2 配置、Docker Desktop 安装、Dify 源码部署、Ollama 本地模型拉取,以及 Dify 对接 Ollama 模型的详细步骤,踩坑说明,搭建完成后可离线运行、接入私有知识库,适合本地私有化大模型、AI 工作流开发新手

文章图片
#Ollama
Dify+Ollama模型搭建攻略:本地环境实战指南

Windows 本地从零搭建 Dify+Ollama+Qwen3:4b 私有大模型知识库机器人完整教程,基于 WSL2+Docker 部署,包含硬件环境检查、WSL2 配置、Docker Desktop 安装、Dify 源码部署、Ollama 本地模型拉取,以及 Dify 对接 Ollama 模型的详细步骤,踩坑说明,搭建完成后可离线运行、接入私有知识库,适合本地私有化大模型、AI 工作流开发新手

文章图片
#Ollama
简明教程:实现OpenCLaw轻量级应用服务器部署及Ollama大模型本地化

担心 Agent 隐私、token 扣费?云上 OpenClaw + 本地 Ollama 方案来了!阿里云轻量机一键镜像安装 OpenClaw,本地跑通 Qwen2:7B 量化模型,自主掌控权限与成本。手把手记录全套部署脚本,以及 0.5B 模型踩坑、swap 扩容、contextWindow 配置等高频问题解决方案。

文章图片
#Ollama
大模型到底怎么思考?一篇看懂 Prompt、思维链、思维树

为什么你的大模型回答总是出错?一文吃透提示词进阶玩法!从 LLM 预测原理讲起,基础 Prompt、思维链 CoT、思维树 ToT 逐层递进,附可直接运行的 Ollama Python 源码,对比单路径推理和多分支择优推理的差异,提升本地大模型逻辑推理能力。

文章图片
RAG知识库搭建大揭秘:原来这么简单,还能这么有趣!

大模型总瞎编?RAG 检索增强生成手把手实战教程!Docker Dify + Ollama 本地整套环境,从 embedding 原理讲解、向量模型部署,到知识库与对话应用配置,完整流程带你搭建私有知识库问答机器人,实测验证检索召回效果。

文章图片
#RAG#Ollama
    共 72 条
  • 1
  • 2
  • 3
  • 8
  • 请选择