
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
满分10分,我打6分。加分项:安装体验极佳、桌宠动画精致、本地运行隐私无忧、开源可定制。扣分项:模型切换不可用、本地加载GGUF有bug、1B模型能力上限明显、偶发服务崩溃。现在这个版本,更像一个技术预览版。核心骨架搭好了,方向正确,但肌肉还没长齐。如果你是OpenBMB的粉丝,或者想看看"本地AI桌宠"这个品类能做到什么程度,值得花10分钟装一个玩玩。如果只是想用AI聊天,直接用DeepSeek
满分10分,我打6分。加分项:安装体验极佳、桌宠动画精致、本地运行隐私无忧、开源可定制。扣分项:模型切换不可用、本地加载GGUF有bug、1B模型能力上限明显、偶发服务崩溃。现在这个版本,更像一个技术预览版。核心骨架搭好了,方向正确,但肌肉还没长齐。如果你是OpenBMB的粉丝,或者想看看"本地AI桌宠"这个品类能做到什么程度,值得花10分钟装一个玩玩。如果只是想用AI聊天,直接用DeepSeek
满分10分,我打6分。加分项:安装体验极佳、桌宠动画精致、本地运行隐私无忧、开源可定制。扣分项:模型切换不可用、本地加载GGUF有bug、1B模型能力上限明显、偶发服务崩溃。现在这个版本,更像一个技术预览版。核心骨架搭好了,方向正确,但肌肉还没长齐。如果你是OpenBMB的粉丝,或者想看看"本地AI桌宠"这个品类能做到什么程度,值得花10分钟装一个玩玩。如果只是想用AI聊天,直接用DeepSeek
很多人觉得 Agent 的记忆 = 对话历史。其实远不止。层级内容特点工作记忆当前上下文窗口中的工具结果、推理轨迹聊完即焚摘要层长对话压缩成的总结可能失真长期记忆跨会话的用户偏好、项目状态会累积经验层成功案例、失败教训、最佳实践最危险索引层向量检索、关键词检索的索引决定召回什么它不只是污染一个静态库,而是污染一个会不断根据自身行为更新的动态体。很多 Agent 不会保存原始长轨迹,而是压缩成摘要。

装好 vLLM,跑起第一个生产级推理服务,理解 vLLM 的核心逻辑。

掌握多卡并行配置、学会压测工具、能处理常见报错、理解显存精细管理:已完成第③篇基础篇,成功跑起单卡服务。

1.2.1 从源码安装Python 3.12创建并进入一个临时目录:下载 Python 3.12 源码:配置并指定安装路径到用户目录:是关键,它将安装目录设置为你的用户目录下的。是可选的,它会进行一些优化,但会使编译时间变长。如果需要可以去掉。使用 而不是 ,避免覆盖任何现有的 命令。将安装目录添加到 PATH:安装完成后,Python 3.12 的可执行文件位于 。你需要将这个目录添加到你的 环

如果社区模型不够用,你可以用 Modelfile 自定义系统提示词、温度等参数。

这轮改造,从 v0.12.0-cn.1 到 v0.12.0-cn.5,20+ 个 commit,大约 3 天时间。类别之前之后API Key 检测只读环境变量读 .env 文件Provider 列表28 个,含大量不可用国际版11 个,国产+本地硅基流动不支持支持(25 个模型)多模型路由只支持一个模型自动分类 + 消息级按任务路由Doctor 诊断10 项基础检查15+ 项,含 Ollama/F

钓鱼网站,英文叫Phishing Site,是一种网络诈骗手段。伪装成你信任的网站,骗取你的敏感信息。伪装成免费的AI工具,骗取你的API额度。你的API密钥,就像银行卡密码。不要输入到任何第三方网站不要分享给任何人不要存储在不安全的地方任何要求你输入API密钥的"工具",都是钓鱼。回到小王的故事。他不是技术小白,他知道API密钥是什么。他只是太想"免费"了。钓鱼网站利用的,正是这种心理。免费的诱









