
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
这篇文章通过实验揭示了AI开发中的三个关键参数:Token、温度和上下文窗口。作者用Go代码搭建测试环境,通过具体实验展示了每个参数的实际影响: Token:AI按Token计费,中文1-2Token/字,Prompt过长会显著增加成本。实验对比了不同模型的计价差异,提醒开发者注意资源管理。 温度参数:实验证明温度控制输出的随机性而非智能程度。温度0时输出稳定如教科书,0.7时略有变化,1.5时可

上篇我们说了 Prompt 要当代码写。但代码需要架构。这篇文章给你 Prompt 架构的第一层:System Prompt 和 User Prompt 的分工。很多人混在一起用,结果就是 Prompt 一长就失控。别混。这两个角色天然不同。

本地模型适合高频、隐私敏感、不要求最高质量的场景。云端 API 适合需要最强模型能力的场景。两者不是替代关系,是互补关系

**本地部署的价值不在省钱——在于数据主权。** 如果你公司不允许代码出内网,那这些折腾都值得。但如果只是想省钱——15 t/s 的时间成本远大于 API 的 $0.01/次。

模块一"LLM 平台与模型"到这里结束。10 篇文章,11 个模型,3 个平台,一张总表。

这篇文章介绍了开源AI应用开发平台Dify的插件系统设计,重点解析了其核心架构和三大关键设计: 架构全景:采用分层设计,包含Web前端(Next.js)、API层(Flask)、核心引擎(工作流/插件/知识库)和插件层。

FastGPT(GitHub 20k+ Stars)是国内最流行的开源知识库问答平台。核心能力:上传文档 → 自动切片 → 向量化 → 对话时检索 → LLM 生成答案。2024 年后加入了工作流(Flow)能力,让用户可以在知识库 RAG 的基础上编排自定义流程。全栈 TypeScript(Next.js + Fastify + PostgreSQL + MongoDB)。

向量数据库听起来是个严肃的选择题。我花了两个周末把 4 个主流方案全搭了一遍,跑了一组基准测试。结论先说:**个人项目用 Chroma 或 Qdrant,团队已有 PostgreSQL 用 pgvector,上了规模再碰 Milvus。

Server-Sent Events(SSE)是实现 AI 流式输出的最轻量方案。相比 WebSocket,它单向、基于 HTTP、浏览器原生支持,不需要额外库。本文分享在"领航英语"项目中用 SSE 实现 AI 单词精讲的完整实践,包括前端接收、中断、结构化解析和逐行渲染。

这篇把 Agent 全套打包进 Docker——包含 LLM 调用、Redis 缓存、向量数据库。一个 `docker compose up -d`,全部就绪。








