logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

基于LLM与检索增强生成(RAG)的文本生成

RAG(Retrieval-Augmented Generation,检索增强生成)是一种将信息检索与文本生成相结合的 AI 技术。它通过检索模块从外部知识库中检索与问题相关的文档或信息,然后利用生成模块处理这些信息,生成更专业的文本。RAG广泛应用于问答系统、对话系统、个性化推荐等领域。

文章图片
#transformer#ipython#pytorch +1
DB-GPT系统安装部署与运行(CPU环境 + 模型代理模式)

DB-GPT可以通过代理模式部署在硬件较低的服务器上,也可以在GPU下进行私有化本地模型的部署。本人的硬件配置较低,只有CPU,考虑使用第三方大模型API服务,这里以使用。⚠️ 当使用MySQL时,在v0.4.7版本之后,DB-GPT不在做MySQL数据库Schema的自动创建与升级, 主要是为安全生产考虑。注意:如果使用sqlite3(即不执行上述的可选步骤:配置元数据库),需要下载;,使用前需

文章图片
#数据库#python#人工智能
MindNLP中文文档基础部分(含示例运行结果)+ AI 社区推荐(免费下载预训练模型和开源数据集)

MindNLP是一个基于MindSpore深度学习框架开发的开源自然语言处理(NLP)库。它为解决各种NLP任务提供了一个强大的平台,包含了许多常用的NLP方法和模型。MindNLP 官网:​​Github仓库地址: ​​官网上的Tutorials中的示例和代码的版本比较旧,存在部分因错误而不可运行的代码;这里提供中文文档的基础部分,包含各示例代码及其运行结果,部分内容在原官方英文教程基础上加入了

文章图片
#人工智能#自然语言处理#nlp
Transformer学习与基础实验3——transformer应用举例演示——英汉翻译(1. 数据准备与处理)

中英文语料库分词、预处理多进程处理大型中文语料库的jieba分词算法以提高效率构造语料库词典创建训练数据集Dataset和Dataloader

文章图片
#transformer#nlp
Transformer学习与基础实验4——英汉翻译(2. 模型构建、训练、推理)

Transformer学习与基础实验系列文章的第4篇,基于自定义实现的Transformer模型的英汉翻译任务训练、推理等过程记录和代码理解,以及所有源码、模型结构图绘制文件的原件提供

文章图片
#transformer#深度学习
到底了