logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【NLP】文本生成、文本纠错 代码学习记录

1.1 创建一个解析对象1.2 向该对象中添加所需得命令行参数和选项,每一个add_argument方法对应一个参数或选项;1.3 调用parse_args()方法进行解析使用。1.4 HfArgumentParser是Transformer框架中的命令行解析工,它是ArgumentParser的子类,用于从类对象中创建解析对象。这里利用HfArgumentParser加载用于构建模型、微调模型的

文章图片
#自然语言处理#深度学习#学习
Linux 新建 python 文件

Linux是一款非常流行的操作系统,可以使用任何文本编辑器编辑Python文件。2、输入以下命令,其中filename是你新建的文件名,.py表示Python文件的后缀名;5、按下Esc键,输入 :wq 保存并退出文件编辑模式;1、打开终端,进入需要新建Python文件的目录;4、在编辑模式下,输入Python代码;6、输入以下命令,运行Python文件。3、输入以下命令,进入文件编辑模式;

文章图片
#linux#服务器
BGE M3-Embedding 模型介绍

BGE M3-Embedding来自BAAI和中国科学技术大学,是BAAI开源的模型。相关论文在https://arxiv.org/abs/2402.03216,论文提出了一种新的embedding模型,称为M3-Embedding,它在多语言性(Multi-Linguality)、多功能性(Multi-Functionality)和多粒度性(Multi-Granularity)方面表现出色。

文章图片
什么是大模型微调?微调的分类、方法、和步骤

大模型微调(Fine-tuning)是指在已经预训练好的大型语言模型基础上,使用特定的数据集进行进一步的训练,以使模型适应特定任务或领域。其根本原理在于,机器学习模型只能够代表它所接收到的数据集的逻辑和理解,而对于其没有获得的数据样本,其并不能很好地识别/理解,且对于大模型而言,也无法很好地回答特定场景下的问题。例如,一个通用大模型涵盖了许多语言信息,并能够进行流畅的对话。但是如果需要医药方面能够

文章图片
什么是大模型微调?微调的分类、方法、和步骤

大模型微调(Fine-tuning)是指在已经预训练好的大型语言模型基础上,使用特定的数据集进行进一步的训练,以使模型适应特定任务或领域。其根本原理在于,机器学习模型只能够代表它所接收到的数据集的逻辑和理解,而对于其没有获得的数据样本,其并不能很好地识别/理解,且对于大模型而言,也无法很好地回答特定场景下的问题。例如,一个通用大模型涵盖了许多语言信息,并能够进行流畅的对话。但是如果需要医药方面能够

文章图片
什么是大模型微调?微调的分类、方法、和步骤

大模型微调(Fine-tuning)是指在已经预训练好的大型语言模型基础上,使用特定的数据集进行进一步的训练,以使模型适应特定任务或领域。其根本原理在于,机器学习模型只能够代表它所接收到的数据集的逻辑和理解,而对于其没有获得的数据样本,其并不能很好地识别/理解,且对于大模型而言,也无法很好地回答特定场景下的问题。例如,一个通用大模型涵盖了许多语言信息,并能够进行流畅的对话。但是如果需要医药方面能够

文章图片
什么是大模型微调?微调的分类、方法、和步骤

大模型微调(Fine-tuning)是指在已经预训练好的大型语言模型基础上,使用特定的数据集进行进一步的训练,以使模型适应特定任务或领域。其根本原理在于,机器学习模型只能够代表它所接收到的数据集的逻辑和理解,而对于其没有获得的数据样本,其并不能很好地识别/理解,且对于大模型而言,也无法很好地回答特定场景下的问题。例如,一个通用大模型涵盖了许多语言信息,并能够进行流畅的对话。但是如果需要医药方面能够

文章图片
BGE M3-Embedding 模型介绍

BGE M3-Embedding来自BAAI和中国科学技术大学,是BAAI开源的模型。相关论文在https://arxiv.org/abs/2402.03216,论文提出了一种新的embedding模型,称为M3-Embedding,它在多语言性(Multi-Linguality)、多功能性(Multi-Functionality)和多粒度性(Multi-Granularity)方面表现出色。

文章图片
用检索增强生成让大模型更强大,这里有个手把手的Python实现

本文首先将关注 RAG 的概念和理论。然后将展示可以如何使用用于编排(orchestration)的 LangChain、OpenAI 语言模型和 Weaviate 向量数据库来实现一个简单的 RAG。本文介绍了 RAG 的概念,其最早来自 2020 年的论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》。在介绍

文章图片
#python#RAG
ImportError: cannot import name ‘OrderedDict‘ from ‘typing‘

唉,先给大家讲个故事听!由于小张昨天被迫需要将Anaconda环境迁移至一个新的磁盘,在博客上查了超级多的资料,终于把环境迁移成功了,但这个时候我的python项目在选择解释器时,却一直出错,一直显示选择的解释器无效!总结:实际上是因为在python3.7.0中,它的typing模块中没有OrderedDict,但是在python3.7.4中,typing模块中包含OrderedDict,可以直接

文章图片
#python#开发语言
    共 15 条
  • 1
  • 2
  • 请选择