本课实战介绍如何使用ChromaDB实现向量的持久化存储与高效检索。针对第9课中嵌入向量仅存内存、重启丢失的问题，通过ChromaDB的持久化模式，将100万级向量数据安全存于磁盘。利用其内置的近似最近邻（ANN）搜索与元数据过滤功能，实现毫秒级语义检索与多条件筛选。结合BGE模型自动生成向量，代码简洁高效，支持增量导入与批量查询，显著提升检索性能与系统可用性，适用于商品知识库等实际场景。

"enum": ["正面", "负面", "中性"],"description": "评论的情感倾向"},"enum": ["物流", "质量", "价格", "服务", "外观", "使用", "描述", "包装", "售后", "品牌", "复购", "综合"],"description": "评论涉及的主要方面"},"description": "关键关键词"},有了 JSON Schema

本课将简易LLM客户端升级为生产级统一接口，支持Ollama、vLLM、OpenAI、DeepSeek、通义千问等5种后端无缝切换。通过配置驱动与工厂模式，实现“一套代码，多后端适配”，并集成自动重试、超时控制、Token估算、流式输出等功能，确保系统稳定可靠，降低厂商绑定风险，为后续Agent开发奠定坚实基础。

本课介绍本地部署BGE嵌入模型，实现文本语义理解。通过将文本转化为1024维向量，使语义相近的文本在向量空间中距离更近，突破关键词匹配局限。基于RTX 3090显卡，使用BAAI/bge-large-zh-v1.5模型，结合GPU加速与批量处理，实现每秒200条的高效向量化，支持语义搜索、聚类、去重等应用，显著提升竞品监控等场景的召回率与精准度。

7B 模型够用吗？大多数场景够用。但当你需要更强的推理能力时，14B 模型明显更聪明。问题是 14B 全精度需要 28GB 显存，你的 3090 只有 24GB。这节课教你用量化技术，让 14B 模型「塞得下」还能跑得快。

工欲善其事，必先利其器。这节课我们把开发环境搭好，项目骨架建好，后面 49 课的代码都在这里长出来。

从今天开始，你的电脑有了一个「大脑」。不用给 OpenAI 交钱，不用担心 API 限额，数据完全留在本地。这节课我们把本地大模型跑起来。

上一节课我们聊了 AI Agent 的商业价值，你可能已经迫不及待想动手了。这套教程到底要做哪些东西？我设计过很多 AI 教程，发现一个普遍的问题：要么太偏技术（学完不知道能干嘛），要么太偏概念（听起来很厉害但做不出来）。这套教程想走一条不一样的路——每个技术点都对应一个具体的业务场景，学完就能交付一个能用的产品。场景一：自动化竞品监控— 解决「信息获取」的问题。让 Agent 自动从互联网上搜集

vLLM 是高性能推理引擎，解决 Ollama 单线程并发瓶颈。通过连续批处理与 PagedAttention 技术，实现高吞吐、低延迟，支持多 Agent 系统并发请求。兼容 OpenAI API，代码迁移零成本。实测性能比 Ollama 快 2-4 倍，尤其在高并发场景优势显著，是生产级部署的优选方案。

5 人团队干 1 个月的竞品调研，AI Agent 1 个人 5 小时就能跑完。这不是段子，是正在发生的事。