摘要 本文介绍了在GPU内存有限情况下，使用DeepSpeed进行大模型微调的方法。主要包括三个部分：1) DeepSpeed配置文件设置，采用了stage1的zero优化策略；2) 启动脚本的环境变量配置，包括CUDA设置和离线模式；3) 训练脚本实现，使用Qwen2.5-3B模型进行文本分类任务，包含数据处理、模型加载、训练参数设置和评估指标计算等完整流程。该方法通过DeepSpeed解决了大

针对google/vit-large-patch32-384模型进行微调，根据自己的数据来训练自己的分类。大模型出现以后，我们不需要再重头来训练我们的模型，直接根据已经训练好的大模型进行微调即可

OSError: Could not load shared object file: libllvmlite.soErrors were: [OSError("/lib64/libstdc++.so.6: version `GLIBCXX_3.4.21' not found(required by /opt/conda3/lib/python3.9/site-packages/llvmlite/

对于使用electron开发的软件来说，自动升级非常简单，只需要安装对于的自动升级模块就能支持，关键的是升级包放在什么位置呢？互联网给我们提供了变量，尤其是GitHub，不仅仅是一个代码仓库，也可以管理版本包，我们就利用这个特性，来实现electron软件的自动更新升级

深度学习的模型开发的五个步骤：1、数据处理；2、模型设计；3、模型训练；4、参数保存；5、模型预测

在实际任务中，原始数据集未必完全含有解决任务所需要的充足信息。通过分析任务场景的复杂性和当前数据集的短板，对现有数据有针对性做一些数据增强/增广的策略的修改，以提供更加多样性的、匹配任务场景复杂性的新数据，往往可以显著的提高模型效果。数据增强是一种挖机数据集潜力的方法，可以让数据集蕴含更多让模型有效学习的信息。这些方法是领域和任务特定的，扩大训练数据集，抑制过拟合，提升模型的泛化能力。

1、定义：监督学习是从标记的训练数据来推断一个功能的机器学习任务。在监督学习中，每个实例都是由一个输入对象（通常为矢量）和一个期望的输出值（也称为监督信号）组成。2、举例：通过已知病例学习诊断技术那样，计算机要通过学习才能具有识别各种事物和现象的能力。3、使用场景：监督学习方法是目前研究较为广泛的一种机器学习方法，例如神经网络传播算法、决策树学习算法。

它是在各种音频的大型数据集上训练的，也是一个多任务模型，可以执行多语言语音识别、语音翻译和语言识别。如果为true，则前一个模型的输出会作为下一个窗口的提示，禁用可能导致窗口之间的文本不一致，但该模型不太容易陷入故障循环。在CPU接口下，torch使用的线程数量，取代 MKL_NUM_THREADS/OMP_NUM_THREADS。在srt和vtt中说出的每个单词下面加下划线(条件：--word_

在前面的几篇中，我们学习了使用卷积神经网络进行图像分类，比如手写数字识别是用来识别0~9这十个数字。与图像分类处理单个物体的识别不同，目标检测它识别的不仅是物体，还是多个物体，不仅要确定物体的分类，还要确定物体的位置。比如下图：目标检测不仅要告诉我们这张图片上既有小狗也有小猫，还要告诉小狗处于左边红色方框内，而小猫处于右边的红色方框内。也即目标检测的输出结果是【目标分类+目标坐标】

LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS，直接翻译过来就是大模型的低秩适配2021年微软提出的LoRA，它的灵感来自于 Li和 Aghajanyan等人的一些关于内在维度（intrinsic dimension）的发现：模型是过参数化的，它们有更小的内在维度（low intrinsic dimension）。于是假设模型在任务适配过程中权