logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【自然语言处理与大模型】模型压缩技术之蒸馏

这些知识从哪里来?蒸馏温度T是什么?知识蒸馏的基本框架。离线知识蒸馏方法。

文章图片
#自然语言处理#人工智能
【自然语言处理与大模型】多机多卡分布式微调训练的有哪些方式

一、分布式微调训练的有哪些方式?二、工程实践中通信带宽不足对分布式训练的影响?三、如何有效处理多机多卡训练中的单节点故障?四、在多机多卡微调场景中,ZeRO优化器发挥着什么作用?

文章图片
#自然语言处理#人工智能
【自然语言处理与大模型】LlamaIndex快速入门②

给大家介绍LlamaIndex的数据加载、数据连接和文本分割。

文章图片
#自然语言处理#人工智能
【自然语言处理与大模型】RAFT(Retrieval Augmented Fine Tuning)方法

RAFT 的本质是用检索增强来生成高质量训练数据,再通过微调把“外挂知识”变成“内功修为”。

文章图片
#自然语言处理#人工智能
【自然语言处理与大模型】如何通过微调来提升Agent性能?

如何通过微调来agent性能?高效微调提升 Agent 工具调用能力的关键是什么?如何设计强化学习中的奖励函数来优化Agent性能?关于为什么强化学习比纯指令微调更适合提升 Agent 的性能?

文章图片
#自然语言处理#人工智能
【自然语言处理与大模型】使用Xtuner进行QLoRA微调实操

手把手演示如何使用Xtuner对模型进行微调训练,包括数据准备、训练命令执行及训练过程中的监控技巧。最后,在完成微调之后,本文还将介绍如何对微调结果进行简单对话测试。

文章图片
#人工智能#自然语言处理
【自然语言处理与大模型】大模型(LLM)基础知识⑤

如何保证大模型生成内容的合规性?如何对超长文本进行微调训练?

文章图片
#自然语言处理#人工智能
【自然语言处理与大模型】微调数据集如何构建

1、微调数据集如何构建?2、大模型微调数据集规模如何预估?3、工业环境下微调数据集应该如何创建?4、强化学习微调需要如何准备数据集呢?

文章图片
#自然语言处理#人工智能
    共 86 条
  • 1
  • 2
  • 3
  • 9
  • 请选择