Qwen2-VL是通义千问团队最近开源的大语言模型，由阿里云通义实验室研发。以Qwen2-VL作为基座多模态大模型，通过的方式实现特定场景下的OCR，是学习的入门任务。本文我们将简要介绍基于 transformers、peft 等框架，使用 Qwen2-VL-2B-Instruct 模型在上进行Lora微调训练，同时使用监控训练过程与评估模型效果。

SwanLab是一款开源、轻量级的AI实验跟踪工具，提供了一个跟踪、比较、和协作实验的平台，旨在加速AI研发团队100倍的研发效率。其提供了友好的API和漂亮的界面，结合了超参数跟踪、指标记录、在线协作、实验链接分享、实时消息通知等功能，让您可以快速跟踪ML实验、可视化过程、分享给同伴。相比于Tensorboard，SwanLab记录的信息更全、使用更方便。相比于Wandb，则访问速度更快，更方便

大模型指令微调（Instruction Tuning）是一种针对大型预训练语言模型的微调技术，其核心目的是增强模型理解和执行特定指令的能力，使模型能够根据用户提供的自然语言指令准确、恰当地生成相应的输出或执行相关任务。指令微调特别关注于提升模型在遵循指令方面的一致性和准确性，从而拓宽模型在各种应用场景中的泛化能力和实用性。在实际应用中，我的理解是，指令微调更多把LLM看作一个更智能、更强大的传统N

基于Bert模型的美团外卖评论数据集的文本情感分类，是自然语言处理领域的经典案例之一。这篇文章我将带大家使用 SwanLab、Transformers、datasets 三个开源工具，完成从数据集准备、代码编写、可视化训练的全过程。观察了一下，中文互联网上似乎很少有能直接跑起来的Bert训练代码和教程，所以也希望这篇文章可以帮到大家。

基于BERT模型的IMDB电影评论情感分类，是NLP经典的Hello World任务之一。这篇文章我将带大家使用SwanLab、transformers、datasets三个开源工具，完成从数据集准备、代码编写、可视化训练的全过程。观察了一下，中文互联网上似乎很少有能直接跑起来的BERT训练代码和教程，所以也希望这篇文章可以帮到大家。

基于GLM4-7B大模型，实现命名实体识别（NER）任务，是学习LLM微调非常好的入门任务之一，本文将提供完整的代码、模型、数据以及SwanLab实验过程，来帮助你学习如何进行微调。

以Qwen2作为基座大模型，通过指令微调的方式实现高准确率的文本分类，是学习的入门任务。指令微调是一种通过在由（指令，输出）对组成的数据集上进一步训练LLMs的过程。其中，指令代表模型的人类指令，输出代表遵循指令的期望输出。这个过程有助于弥合LLMs的下一个词预测目标与用户让LLMs遵循人类指令的目标之间的差距。在这个任务中我们会使用模型在数据集上进行指令微调任务，同时使用SwanLab进行监控和

基于LSTM模型的股票预测任务，是领域的经典任务之一。这篇文章我将带大家使用这四个开源工具，完成从Google股票数据集的准备、代码编写、可视化训练与预测的全过程。

（SD1.5）是由Stability AI在2022年8月22日开源的文生图模型，是SD最经典也是社区最活跃的模型之一。以SD1.5作为预训练模型，在火影忍者数据集上微调一个火影风格的文生图模型（非Lora方式），是学习的入门任务。显存要求 22GB左右在本文中，我们会使用模型在数据集上做训练，同时使用监控训练过程、评估模型效果。

GLM4指令微调实战，学习LLM微调的入门级任务，附带完整代码。