logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

向量数据库的介绍

要想使用向量数据库的相似性搜索,存储的数据必须是向量,那么如何将高维度的文字、图片、视频等非结构化数据转换成向量呢?这个时候就需要使用到Embedding嵌入模型了,例如下方就是Embedding嵌入模型的运行流程:Embeding模型是一种在机器学习和自然语言处理中广泛应用的技术,它旨在将高纬度的数据(如文字、图片、视频)映射到低纬度的空间。Embedding向量是一个N维的实值向量,它将输入的

#数据库
检索增强生成RAG基础架构与手动模拟

检索增强生成(RAG)是指对大型语言模型输出进行优化,使其能够在生成响应之前引用训练数据来源之外的权威知识库。大型语言模型(LLM)用海量数据进行训练,使用数十亿个参数为回答问题、翻译语言和完成句子等任务生成原始输出。在LLM本就强大的功能基础上,RAG将其扩展为能访问特定领域或组织的内部知识库,所有都无需重新训练模型。是一种经济高效地改进LM输出的方法,让它在各种情境下都能保持相关性、准确性和实

#人工智能#深度学习#python
大语言模型出现幻觉的原因与缓解方案

大语言模型在处理自然语言时,有时会出现幻觉,表现为回答不准确或前后不一致的问题。

#语言模型#人工智能#自然语言处理 +1
Runnable组件介绍

在使用 LangChain 开发的时候,某些场合我们希望在一个 Runnable 可运行队列中调用另一个 Runnable,并传递一些常量参数,但是这些参数不是前一个 Runnable 的输出的一部分,也不是用户输入的一部分,而是某个 Runnable 组件的一部分参数。我们就可以考虑使用 Runnable.bind() 来传递这些默认参数。bind() 函数用于修改 Runnable 底层的默认

#java#数据库#前端 +1
内置Chain组件的使用与解读

在许多编程语言和库中,Chain 通常用来描述一系列的操作或函数,这些操作或函数按照特定的顺序依次执行,前一个操作的输出会作为后一个操作的输入。这种模式也被称为管道(Pipeline)或链式调用(Chain Calling)。

#服务器#java#linux +1
Memory组件运行流程及不同记忆分类

在 LangChain 中使用缓冲记忆组件要不就保存所有信息(占用过多容量),要不就保留最近的记忆信息(丢失太多重要信息),那么有没有一种情况是既要又要呢?所以折中方案就出现了 —— 保留关键信息(重点记忆),移除冗余噪音(流水式信息)。ConversationSummaryMemory,摘要总结记忆组件,将传递的历史对话记录总结成摘要进行保存(底层使用 LLM 大语言模型进行总结),使用时填充的

#python
Memory组件运行流程及不同记忆分类

在 LangChain 中使用缓冲记忆组件要不就保存所有信息(占用过多容量),要不就保留最近的记忆信息(丢失太多重要信息),那么有没有一种情况是既要又要呢?所以折中方案就出现了 —— 保留关键信息(重点记忆),移除冗余噪音(流水式信息)。ConversationSummaryMemory,摘要总结记忆组件,将传递的历史对话记录总结成摘要进行保存(底层使用 LLM 大语言模型进行总结),使用时填充的

#python
LLM实现记忆功能思路与常见记忆模式

除了将消息传递给LLM,还可以将消息进行总结,每次只传递总结的信息,而不是完整的消息。这种模式记忆对于较长的对话最有用,可以避免过度使用token,因为将过去的信息历史以原文的形式保留在提示中暂用太多Token。无论是长期还是短期的互动都可以记忆(模糊记忆)减少长对话中使用Token的数量,能记忆更多轮的对话信息。长对话时效果明显,虽然最初使用Token数量较多,随着对话进行,摘要方法增长速度减慢

#python
LCEL表达式与Runnable可运行协议

为了尽可能简化创建自定义链,LangChain 官方实现了一个Runnablestream:将组件的响应块流式返回,如果组件不支持流式则会直接输出。invoke:调用组件并得到对应的结果。batch:批量调用组件并得到对应的结果。astreamstream的异步版本。ainvokeinvoke的异步版本。abatchbatch的异步版本。:除了流式返回最终响应块之外,还会流式返回中间步骤。除此之外

#python
OutputParser输出解析器

虽然整体的问题已经回答了,但是返回的内容都是一个字符串,并不是结构化的数据,某些场合下我们需要的仅仅是对应的返回值,而不是多余的内容,就需要对返回的内容进行结构化、格式化或者解析。例如下方为修改后的提示,尽可能先让大语言模型按照特定的规则输出内容,然后再进行解析因此,如果需要 LLM 理解你想要的格式,需要向 LLM 告知要输出的结构信息,当 LLM 进行推理并输出之后,我们需要对 LLM 约定的

#服务器#linux#前端 +1
    共 14 条
  • 1
  • 2
  • 请选择