
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
本文深入解析了向量数据库在RAG(检索增强生成)项目中的核心作用。主要内容包括: 向量数据库本质是专门存储、索引和检索高维向量数据的数据库系统,通过Embedding模型将语义内容映射为向量空间中的点。 与传统关系型数据库相比,向量数据库采用近似最近邻搜索(ANN)算法(如HNSW和IVF)快速处理高维相似度查询,解决了暴力搜索和B-Tree索引不适用的问题。 生产环境中,向量数据库还需支持Met

LangChain是一个AI应用开发框架,它通过集成第三方大语言模型(如OpenAI、DeepSeek、阿里Qwen等)提供统一接口。文章介绍了LangChain的核心组件ChatModel及其主要参数,包括temperature、max_tokens等配置选项,并说明了不同模型对参数的支持差异。同时详细讲解了消息组件的类型和属性,包括消息内容(content)和元数据(response_meta

终于搞懂了!Token、1M上下文、KV Cache 和大模型记忆的真相

本文介绍了LeetCode第11题"盛最多水的容器"的解题思路。题目要求在给定柱子高度数组中找到两根柱子,使它们与x轴形成的容器面积最大。作者首先分析了暴力枚举法的时间复杂度为O(n²),并指出其效率不足。随后详细讲解了双指针优化解法:初始化左右指针分别指向数组两端,每次移动较矮的一侧指针,因为移动高柱子不可能增加面积。该方法将时间复杂度优化到O(n)。文章通过示例演示了双指针的运行过程,并强调了

如何让大模型稳定输出JSON

摘要 Claude Code是Anthropic推出的命令行AI编程工具,被誉为"终端中的AI工程师",能深度理解项目、执行终端命令并直接修改代码。为解决官方API地域限制和成本问题,推荐使用CC-Switch工具接入国产大模型(DeepSeek、Qwen、GLM等)。安装教程涵盖Node.js环境配置、Claude Code安装、CC-Switch部署及模型接入步骤,特别提供了DeepSeek/

大模型agent的记忆系统如何实现,什么时候存,什么时候取?

如何让大模型稳定输出JSON

文章摘要: DeepSeek 的 Input Cache(输入缓存) 是一种优化大模型推理性能的技术,通过缓存输入 Prompt 的中间计算结果(如 KV Cache),避免重复计算相同前缀的 Token,从而提升响应速度并降低 API 成本。其核心原理是:当多次请求的输入前缀一致时,直接复用已缓存的中间状态,仅计算新增或变化的部分。 关键点: 缓存内容:模型处理输入时的中间计算结果(非最终回答)

AI 应用的高并发并没有一个所谓的“万能技术”。先减少不必要的请求↓缓存再限制请求进入速度↓限流再控制下游并发↓再把耗时任务异步化↓再提高单机处理能力↓单机不够↓多实例 + Load Balancer下游不稳定↓模型成为瓶颈↓模型路由 + vLLM / SGLang + Batching所以对于 AI 应用来说,高并发优化最重要的不是记住几十个组件,而是学会找到真正的瓶颈在哪里。QPS高→ 看限流








