登录社区云，与社区用户共同成长
邀请您加入社区
RAG（检索增强生成）是一种结合检索和生成模型力量的框架。它已成为生成式人工智能最重要的应用之一，将外部文档（PDF、视频等）连接到 LLM 以进行问答案例。查询通过检索系统，从外部知识源检索相关文档或段落。将这些检索到的段落作为上下文纳入生成模型（如 GPT-4 或 Gemini），模型综合信息以生成相关答案。其应用多种多样，从回答开放领域查询或需要访问最新或特定领域信息的聊天机器人，到定制搜索
近段时间，AI智能体（AI Agent）发展迅猛，有不少人疑惑，在大模型已然强大的当下，为何还需要 AI Agent 呢？
RAG通过检索现有的大量知识，结合强大的生成模型，为复杂的问答、文本摘要和生成任务带来了全新的解决方案。本文详细的介绍了RAG遇到的挑战、通用范式、工程实践、优化实现策略等。一、RAG的背景介绍随着ChatGPT的兴起，大语言模型再次走进人们的视野，其在NLP领域表现出的语言识别、理解以及推理能力令人惊叹。越来越多的行业开始探索大语言模型的应用，比如政务、医疗、交通、导购等行业。通义系列、GPT系
随着大型语言模型（LLM）如ChatGPT的出现，自然语言处理领域取得了显著进展。然而，这些模型的输出有时可能包含错误或不准确的信息，这限制了它们在实际应用中的可靠性。为了解决这个问题，研究人员提出了检索增强生成（RAG）技术，该技术通过将外部知识库与LLM相结合，提高了生成的响应的质量和准确性。本文介绍了MultiHop-RAG，这是一个用于评估RAG系统性能的新基准测试数据集。与其他现有的RA
这张图展示了微调大语言模型（LLM）的 5 种常见方法，都是在原模型权重 冻结不变的前提下，添加少量可训练参数，以实现高效低成本微调的技术方案。传统的 LLM 微调需要训练数百亿参数，非常耗费资源。LoRA 系列方法通过只训练少量附加参数，让微调变得高效、便宜且更易迁移。
LLM 大模型（比如：ChatGPT-4.0）已经很强大了，为什么还需要微调？主要有如下 4 点原因：第一、缺乏专有数据，比如：企业内部的私有数据。第二、缺乏最新数据，比如：GPT-4的训练数据截止到2021年9月。第三、预训练成本高，比如：GPG-3 预训练成本为140万美金。第四、提升数据安全性，比如：企业私有数据是不能传递给第三方大模型的，基于开源大模型的微调才能满足业务的需求。
在 2024 年，随着 RAG（检索增强生成）的兴起，AI Agent 作为一项变革性技术出现。让我们从宏观角度了解 AI Agent 及其重要性。AI Agent 是将大型语言模型（LLM）的推理能力与记忆和外部工具（例如 API、数据库和网络搜索引擎）结合的工作流。通过这些工具，AI Agent 能够规划并执行多步工作流，从而自主完成复杂任务。访问外部知识源动态决定何时以及如何检索信息基于推理
国内第1本Transformer——变形金刚红书《从零开始构建最先进的NLP模型》如果一定要说未来谁能引领人工智能世界，是Transformer而非chatGPT！编辑推荐★★★★★ChatGPT红得发紫，强得让人类心悸。但在它的背后，还隐藏着一位真正的大佬。它的名字叫做——Transformer！
事实上这种 LLM 主动使用工具并进行判断的方式并非 Self-RAG 首创，在此之前的 AutoGPT, Toolformer 和 Graph-Toolformer 中早已有之，而且支持多种 API 调用。针对 graph reasoning 任务设计少量 API Call 样本基于 ChatGPT 对 prompt 进行 augmentation使用现有 pre-train LLM 进行模型
在ChatGPT掀起的人工智能浪潮中，大语言模型（LLM）的问题始终是落地应用的痛点。检索增强生成（Retrieval-Augmented Generation，RAG）技术的出现，正在为这个难题提供突破性解决方案——它让大模型学会「查阅资料」，从此回答有据可依。总的来说，RAG是一种结合了信息检索和自然语言生成的方法，旨在处理自然语言处理任务中的信息检索和生成问题。在问答系统中，RAG可以利用外
如上图，左边是传统的结构；右边是基于的 Transformer 改进结构。两者前半部分基本相同，主要区别出现在中的部分。
在人工智能的世界里，大模型就像超级大脑一样，能够处理和理解大量的信息。你可能听说过ChatGPT，它就是大模型的一个典型代表。那么，什么是大模型呢？让我们一起来探索这个神奇的领域。
这波AI浪潮，很多新词把人都绕晕了，如AI Agent（人工智能代理）、RAG（检索增强生成）、向量知识库、提示词工程、数据提取和解析、自然语言处理（NLP）、知识图谱以及图处理等。本文试图深入探讨这些概念，让大家一下子就能分辨。同时，我试图让他们在AI PaaS（平台即服务）概念框架下整合，便于理解这些异构的概念。
RAG的全称是Retrieval-Augmented Generation，中文翻译为检索增强生成。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。本文介绍了 RAG 的概念及其背后的一些理论，本文通过Python、LangChain将其实现，在此过程中使用了 OpenAI的ChatGPT接口（可以自己搭建chatGLM3）、Weaviate矢量
特征HyDE查询方式直接基于 Query 向量搜索基于 LLM 生成的“假设文档”向量搜索语义丰富度依赖 Query 本身利用 Hypothetical 文本扩展 Query 语义检索效果容易受限于 Query 质量对模糊、短语义 Query 更健壮使用模型一个 Embedding 模型 + 一个 LLM一个 LLM（生成假设）+ 一个 Embedding 模型 + 一个 LLM（最终回答）
ChatGPT可以为教师的课程设计提供创意思路，协助检索和整理文献资料，生成完整的课程材料，如教学大纲、课程计划和阅读材料。例如，输入“请为二年级的孩子设计一个探究性课程，主题是《蟋蟀的叫声》”，很快，AI给出了如下结果。随后，我们提出更详细的设计需求：“在暑假进行，为期十天，课程目的是培养孩子们的探究能力、批判性思维能力、协作能力以及博物学相关的知识、测量统计技能等，结合过程性评价和终结性评价，
其次，以三次工业革命的历史和逻辑作为参照，描绘出大模型将如何驱动社会进入智能革命和脑机协作时代，对大模型在知识工作、商业企业、创意娱乐等领域的具体应用进行介绍。首先，将专业的技术知识通过拟人化的形式呈现，生动形象地解释了ChatGPT大模型背后的原理，对这一赋能大模型变革技术与产业的基础能力进行深度剖析；此外，还对国内外大模型产业的构成和发展进行了分析，并对暗藏泡沫隐患的风险点位做出预警。15 关
大模型的第一个特征就是具有数亿到数千亿个参数。这些模型可以处理复杂的任务和大量的数据，通常需要强大的计算资源来训练和运行。这里必须得提一下通用大模型和聊天大模型的区别联系。通用大模型是那些被设计为能够处理广泛任务的模型，不仅限于对话生成。例如，通用大模型可以用于文本生成、文本分类、机器翻译、信息抽取等多种任务。聊天大模型是通用大模型的一个子集，专门设计用于生成自然对话。它们优化了对话生成的能力，致
文章探讨了如何通过多层级智能体架构（Qwen-Agent）解决大语言模型在处理百万字级别上下文时的挑战。传统的LLM如ChatGPT、Claude、Qwen等，虽然支持8K到128K的token处理，但在面对更长的文本时显得力不从心。Qwen-Agent通过三个层级的设计，逐步提升处理能力：Level1通过关键词驱动的快速检索定位相关内容；Level2通过智能分块过滤和再检索提高精准度；Level
ChatGPT、GLM等生成式人工智能在文本生成、文本到图像生成等任务中表现出令人印象深刻的性能。但它们也存在固有局限性，包括产生幻觉、缺乏对生成文本的可解释性、专业领域知识理解差，以及对最新知识的了解有限。为了克服这些限制，提高模型的能力，有两种主要途径：一种是微调（Fine Tune）来更新模型，另一种是让他们能够与外部世界互动，以不同的形式和方式获取知识。
自从2022年12月 ChatGPT 横空面世以来，AI 领域获得了十足的关注和资本，其实AI的概念在早些年也火过一波，本轮 AI 热潮相比于之前的 AI，最大的区别在于：生成式。通过海量文本训练的、能识别人类语言、执行语言类任务、拥有大量参数的模型，称之为大语言模型。GPT、LLaMA、Mistral、BERT等都是LLM，LLM是对训练文本信息的压缩，同时拥有了泛化能力，不同于数据库和搜索引擎
通常，如果您有较少的数据，最好使用较低的“k”，大约为2。Hugging Face的模型中心提供了许多嵌入模型的选项，您可以浏览排行榜，选择最适合您需求的模型。有不同类型的链条适用于不同的使用情况，如果你希望你的 LLM 能够在一段时间内记住聊天的上下文，就像ChatGPT一样，你需要一个可以在多个对话片段之间共享的记忆实例，对于这种情况，有可用的对话链条。在我的测试中，我使用了包含有关《权力的游
AI Agent对比（1）工作流编排LangChain：线性链，适合固定流程任务（如文档问答）。LangGraph：支持循环、条件边和状态传递，适合动态调整的复杂逻辑（如多轮决策）。Coze：可视化工作流，支持嵌套和批处理，但灵活性较低。Dify：基于自然语言定义工作流，适合API集成和Prompt调优。（2）工具调用与扩展性LangChain/LangGraph：工具作为链或图的节点，支持自定义
这波AI浪潮，很多新词把人都绕晕了，如AIAgent（人工智能代理）、RAG（检索增强生成）、向量知识库、提示词工程、数据提取和解析、自然语言处理（NLP）、知识图谱以及图处理等。本文试图深入探讨这些概念，让大家一下子就能分辨。同时，我试图让他们在AIPaaS（平台即服务）概念框架下整合，便于理解这些异构的概念。第一、AIAgentAIAgent，即人工智能代理，指的是能够感知环境、做出决策并执行
检索增强生成(RAG)系统最近备受关注，ChatGPT的火爆更让这类系统成为广泛讨论的热点。我们今天为大家带来的这篇文章，作者Matt Ambrogi的核心观点是：构建一个基本可用的RAG系统非常简单，但要使其达到实际生产可用的程度则异常困难，需要我们投入大量精力。为此，作者详细介绍了10种策略，包括清洗数据、尝试不同索引类型、优化分块策略、使用 Base Prompt、使用元数据过滤、使用查询路
一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。
今天给大家推荐一本4月份才新出的大型语言模型（LLM）的权威教程《基于GPT-3、ChatGPT、GPT-4等Transformer架构的自然语言处理》！Google工程总监Antonio Gulli作序，一堆大佬推荐！这含金量不用多说，不多bb开始介绍！
你是否经常被科技新闻里的术语绕晕？今天用“人话”拆解AI领域的五大核心技术概念，带你看懂未来世界的底层逻辑！一、LLM：大语言模型——AI界的百科全书是什么：LLM（Large Language Model）即大语言模型，像ChatGPT、文心一言这类能写诗、编程、聊天的AI，核心都是LLM。原理：通过“吞下”海量文本数据（如全网文章、书籍），学习人类语言的规律，像超级学霸一样预测下一句话该说什么
KV Caching 的核心思想：Query 每次重新计算，但 Key 和 Value 是历史不变的，可以缓存下来重复使用，从而极大加快推理速度。
自 ChatGPT 发布以来，大型语言模型（Large Language Model，LLM，大模型）得到了飞速发展，它在处理复杂任务、增强自然语言理解和生成类人文本等方面的能力让人惊叹，几乎各行各业均可从中获益。然而，在一些垂直领域，这些开源或闭源的通用基础大模型也暴露了一些问题，主要体现在以下 3 个方面：
RAG（Retrieval-Augmented Generation，检索增强生成）是一个框架，旨在通过将外部知识源集成到生成过程，来增强生成式 AI 模型的表现。
RAG
——RAG
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
讯飞AI开发者社区
天启AI社区
