logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

LangChain:打造自己的LLM应用_langchain 文生图

有多种方式可以自定义Tool,最简单的方式是通过@tool装饰器,将一个函数转为Tool。注意函数必须得有docString,其为Tool的描述。@tool"""返回今天的日期。"""llm=llm,print(agent_math("计算45 * 54"))print(agent_math("今天是哪天?"))1)通过Loader加载远程文档2)通过Splitter基于Token进行文档拆分3)

文章图片
#人工智能#自然语言处理
通过微调 Embedding 优化 RAG

RAG 中的嵌入是文本的密集向量表示;这与将单词表示为高维稀疏向量的独热编码不同;嵌入将这些信息压缩为低维和连续向量,捕获单词之间的语义关系,使模型理解上下文。因此,嵌入基本上涉及将文本转换为能够理解语义关系的低维向量表示。您在 RAG 系统中嵌入了什么?您正在嵌入用户传递的提示和要检索的自定义文档/权威领域特定知识。这样做是为了让信息检索在语义上与传递的提示一致。下一步是在开发 RAG 系统并选

文章图片
#人工智能
基于大模型 + 知识库的 Code Review 实践

一句话介绍就是:基于开源大模型 + 知识库的 Code Review 实践,类似一个代码评审助手(CR Copilot)。飞书文档没有格式要求,能看懂正确代码是怎样就行这里直接使用 LangChain 提供的LarkSuitechunk_size: 控制每个块的长度。例如设置为 1024,则每个块包含 1024 个字符。: 控制相邻两个块之间的重叠长度。例如设置为 128,则每个块会与相邻块重叠

文章图片
#代码复审#人工智能#AI +1
大模型研发全揭秘:模型训练全流程详解(从参数设置到优化调整-附代码)

在深度学习中,学习率(Learning Rate)是一个非常重要的参数,它决定了每次模型参数更新的步伐大小。学习率可以理解为模型“学习”的速度。如果学习率设置得太大,模型可能会在训练过程中跳过最优解,无法正确收敛;而如果学习率太小,模型的学习过程会非常缓慢,甚至可能陷入局部最优解,难以得到最佳效果。在深度学习的训练过程中,我们通常使用大量的数据来让模型从中学习。为了高效地处理这些数据,PyTorc

文章图片
#人工智能#自然语言处理
RAG评价方法综述:相关性、有效性与忠诚性

RAG模型是一种结合了检索和生成技术的模型,它通过引用外部知识库的信息来生成答案或内容,具有较强的可解释性和定制能力。RAG模型是解决通用基础大模型在实际业务场景中局限性的有效方案,RAG模型结合了检索和生成两个复杂的自然语言处理任务,这使得模型的整体复杂性增加,评价时需要同时考虑检索和生成的效果。

文章图片
#人工智能#语言模型#自然语言处理
大模型研发全揭秘:如何通过评估指标优化大模型的表现?

模型测试是保障模型在实际场景中表现的重要环节。通过科学划分测试集、合理选择评估指标、详细记录和分析结果,我们能够持续优化模型,提高其在业务场景中的可靠性和表现。希望本文的详细指南和代码示例能帮助大家更好地理解和应用模型测试。

文章图片
#深度学习#机器学习#人工智能 +1
简单易懂的LLM三角原则,让你轻松开发大模型应用

LLM三角原则提供了一个基础框架,帮助我们在开发产品时发挥LLMs的功能。这个框架基于三个主要的元素:模型、工程集成、上下文数据,以及一套详细的操作步骤(SOP)。

文章图片
#人工智能#深度学习#自然语言处理
重磅开源Denser Retriever:轻松构建企业级RAG应用和聊天机器人(内附机器人构建指引)

检索增强生成RAG是人工智能中的一种先进技术,它通过将外部知识源整合到大型语言模型 (LLM) 的生成过程中来提高其能力。与仅基于预先训练的知识生成响应的传统 LLM 不同,RAG 从外部数据库或文档中检索相关信息,并使用这些信息生成更准确、更符合上下文的响应。这种方法可确保输出基于最新、最权威的数据,对于需要最新信息的应用程序特别有用。

文章图片
#开源#机器人#自然语言处理
神经网络算法 - 一文搞懂GAN(生成对抗网络)

本文将从三个方面,带您一文搞懂GAN的本质GAN架构一、生成器(Generator)功能:负责生成新的数据样本。结构:通常是一个深度神经网络,输入为低维向量(如随机噪声),输出为高维向量(如图片、文本或语音)。训练目标:生成尽可能真实的数据,以欺骗判别器。二、判别器(Discriminator)功能:负责区分输入的数据是真实数据还是由生成器生成的假数据。结构:同样是一个深度神经网络,输入为高维向量

文章图片
#神经网络#算法#生成对抗网络 +1
大模型的“记忆”不应仅仅只依靠向量数据库,mem0是一个很好的“融合架构”实践方向

我们在探讨大模型应用的成败时,我们往往会聚焦于三个关键要素:模型本身的性能、支撑长期记忆能力的知识库,以及扩展执行能力的工具箱。企业级层面更多因素参考下图:感兴趣可以联系获取更多细节就为大模型构建记忆能力来讲,过去一年里我们的重点落在向量检索层面,其存储底层焦点就是向量数据库,曾一度爆发向量数据库大战。随着需求的复杂化,我们越来越清楚地意识到,大模型的记忆能力仅仅依赖向量数据库是不够的。在今年,随

文章图片
#数据库#自然语言处理#人工智能
    共 15 条
  • 1
  • 2
  • 请选择