logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Xtuner 大模型训练入门小记:从配置到微调

大模型虽强,但让它适配特定场景总需额外“调教”——传统微调对算力和技术要求之高,常让人望而却步。​Xtuner 的诞生,正是为了解决这一痛点。它用极简的配置文件和自动化流程,将数据清洗、训练优化等复杂步骤“藏”在背后。无论你是想快速验证一个模型能力,还是为业务定制专属AI助手,只需几行命令,即可在有限资源下轻松启动训练。本文抛开冗长理论,专注“最小可行步骤”,助你30分钟内跑通第一个微调实验。Xt

文章图片
#python#人工智能
LlamaIndex入门指南:构建私有知识库的保姆级教程(附完整RAG实现)

在大语言模型(LLM)时代,如何让通用模型理解私有数据并生成精准回答,是开发者面临的核心挑战。(原GPT Index)应运而生,它作为连接LLM与私有数据的桥梁,通过检索增强生成(RAG​技术,将外部知识库、结构化数据与模型的生成能力深度融合,让AI真正“读懂”你的专属信息。官网文档查阅地址其核心价值在于:支持从PDF、数据库、API等100+数据源(如企业文档、医疗报告)提取信息,构建统一索引;

文章图片
#人工智能
vllm安装和部署私有大模型以及解决LLamaFactory微调效果与vllm部署效果不一致

vLLM是一个快速且易于使用的库,专为大型语言模型 (LLM) 的推理和部署而设计。具体参考官方文档是一个专为 ​LLaMA 系列大语言模型​(如 Meta 的 LLaMA、LLaMA-2 等)设计的开源工具库,主要用于模型的 ​高效微调(Fine-tuning)​部署和 ​应用开发。它旨在简化大模型定制化流程,降低用户使用门槛,支持快速适配不同下游任务(如对话、问答、代码生成等)。具体可以参考文

文章图片
#python
vllm安装和部署私有大模型以及解决LLamaFactory微调效果与vllm部署效果不一致

vLLM是一个快速且易于使用的库,专为大型语言模型 (LLM) 的推理和部署而设计。具体参考官方文档是一个专为 ​LLaMA 系列大语言模型​(如 Meta 的 LLaMA、LLaMA-2 等)设计的开源工具库,主要用于模型的 ​高效微调(Fine-tuning)​部署和 ​应用开发。它旨在简化大模型定制化流程,降低用户使用门槛,支持快速适配不同下游任务(如对话、问答、代码生成等)。具体可以参考文

文章图片
#python
vllm安装和部署私有大模型以及解决LLamaFactory微调效果与vllm部署效果不一致

vLLM是一个快速且易于使用的库,专为大型语言模型 (LLM) 的推理和部署而设计。具体参考官方文档是一个专为 ​LLaMA 系列大语言模型​(如 Meta 的 LLaMA、LLaMA-2 等)设计的开源工具库,主要用于模型的 ​高效微调(Fine-tuning)​部署和 ​应用开发。它旨在简化大模型定制化流程,降低用户使用门槛,支持快速适配不同下游任务(如对话、问答、代码生成等)。具体可以参考文

文章图片
#python
vllm安装和部署私有大模型以及解决LLamaFactory微调效果与vllm部署效果不一致

vLLM是一个快速且易于使用的库,专为大型语言模型 (LLM) 的推理和部署而设计。具体参考官方文档是一个专为 ​LLaMA 系列大语言模型​(如 Meta 的 LLaMA、LLaMA-2 等)设计的开源工具库,主要用于模型的 ​高效微调(Fine-tuning)​部署和 ​应用开发。它旨在简化大模型定制化流程,降低用户使用门槛,支持快速适配不同下游任务(如对话、问答、代码生成等)。具体可以参考文

文章图片
#python
到底了