
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
LlamaIndex 是当前最流行的 RAG(检索增强生成)框架,将复杂流程抽象为四大核心模块:数据连接器支持多种数据源接入;数据索引模块处理文本切分、向量化和存储;查询引擎实现检索与生成;数据代理提供高级功能。文章详细介绍了各模块的使用方法、策略对比和实战技巧,包括PDF解析、文本切分策略、向量数据库配置等,帮助开发者快速构建生产级RAG系统。通过LlamaIndex,开发者可以专注于业务逻辑,
LlamaIndex 是一个流行的 RAG(检索增强生成)框架,提供四大核心模块构建生产级应用: 数据连接器:支持从本地文件、数据库、Web等20+数据源加载数据,提供PDF解析等高级功能 数据索引:将文档转换为可检索的向量索引,支持多种文本切分策略和向量数据库 查询引擎:实现智能检索与生成,包含查询路由、重写和规划等高级功能 数据代理:支持多工具协同和复杂任务分解 框架提供模块化设计,开发者可灵
LlamaIndex 的 RAG 工作流解析:从文档处理到智能问答 本文深入剖析了 LlamaIndex 看似简单的四行代码背后完整的 RAG(检索增强生成)工作流程。通过逐行拆解,揭示了从文档解析、文本分块、向量化、索引构建到最终答案生成的完整技术链路。文章详细说明了每个步骤的底层实现原理,包括默认参数配置、数据处理方式和系统组件交互。同时提供了常见问题的优化建议,如调整分块大小、修改检索数量等
本文基于LlamaIndex框架,结合阿里云DashScope的LLM和嵌入模型,完整演示了RAG系统的搭建流程。主要内容包括:1)环境配置与API密钥设置;2)将OpenAI替换为阿里云DashScope模型;3)混合加载本地文件(PDF/Word等)和网页数据;4)构建向量索引与查询引擎;5)深入解析数据连接器设计与PDF解析原理。文章提供了详细的代码示例,并解释了关键步骤的内部实现机制,帮助
本文深入探讨了RAG系统中两种文本切块策略的优劣与应用场景。固定长度切块(Fixed-size Chunking)实现简单高效,但可能破坏语义完整性;自适应标题切块(Adaptive Heading Chunking)能保持文档逻辑结构,但依赖标题层级。文章提供了两种策略的代码实现(含LlamaIndex和自定义方法),并创新性地提出用大模型评估检索块相关性的方法,通过设计打分函数量化比较策略效果
文章摘要:RAG系统中的重排序技术优化 本文深入探讨了RAG系统中重排序(Reranking)技术的原理与应用。传统向量检索(Bi-Encoder)虽高效但精度有限,重排序通过Cross-Encoder模型对候选文本进行深度语义交互,显著提升结果相关性。文章对比了Bi-Encoder与Cross-Encoder的特性差异,详细介绍了重排序在RAG中的两阶段工作流程:先用Bi-Encoder快速召回
LLMLingua是一种创新技术,利用小型模型(如GPT-2或LLaMA-7B)对大语言模型的提示词进行"剪枝"压缩。它通过计算每个token的信息熵和困惑度,识别并剔除冗余token,在保持语义完整性的同时实现高达20倍的压缩率。该方法采用预算控制器动态分配压缩率,结合迭代压缩算法处理长距离依赖关系。实际应用中,LLMLingua能显著降低API调用成本、减少延迟,同时避免引入噪声干扰。评估显示
本文介绍了如何构建一个基于 DeepSeek 大模型的代码助手系统,采用 FastAPI 后端和 Streamlit 前端架构。后端通过 FastAPI 封装 DeepSeek 模型的 API 调用,支持自定义系统提示词和用户问题输入;前端 Streamlit 界面提供友好的 Web 交互,可发送请求并高亮展示生成的代码或解答。文章详细讲解了前后端代码实现、运行方法及安全注意事项(如 API Ke
本文介绍了如何使用本地FAISS索引实现语义检索功能,主要包括加载已保存的FAISS索引和LlamaIndex存储上下文,创建独立的检索器进行语义搜索。文章详细说明了环境配置、核心原理和完整实现代码,展示了如何加载一致的Embedding模型、读取FAISS索引文件、恢复存储上下文,并构建交互式检索系统。该方案适合作为RAG系统的检索模块,可用于验证检索效果或调试参数,为后续接入LLM生成答案提供
本文介绍了如何利用 FastAPI 和 LlamaIndex 框架搭建基于 DeepSeek LLM 的 API 服务。主要内容包括: 环境配置:安装必要的 Python 包(FastAPI、LlamaIndex 等)并获取 DeepSeek API Key 基础调用:通过 LlamaIndex 的 DeepSeek 类实现单轮问答和多轮对话 API 封装:使用 FastAPI 创建 HTTP 接







