前置要求：conda环境搭建好，已经按照torch-cuda运行环境。

在深度学习中模型量化可以分为3块知识点，数据类型、常规模型量化与大模型量化。本文主要是对这3块知识点进行浅要的介绍。其中数据类型是模型量化的基本点。常规模型量化是指对普通小模型的量化实现，通常止步于int8的量化，绝大部分推理引擎都支持该能力。而大模型的量化，需要再cuda层次进行能力的扩展，需要特殊的框架支持。

`DDP模式下对batchnorm的训练有影响，因为DDP模式下每个卡拿到的都是局部数据，故需要将batchnorm替换为syncbatchnorm，在bn层的forward前需要将全局多机所有显卡计算出的均值方差数据进行同步。`这里需要注意的是，`DP/DDP可以基于数据划分的模式提升batchsize，达到单机单卡下梯度累积训练的效果，但解决不了显存不够用的情况（单机下batch为1无法训练的

基于对InternVL2的分析，可以得到以下经验：1、对于将预训练好的VIT与LLM模型组装成mllm模型时，可以只训练MLP部分，实现快速的模态对齐2、llm部分的升级可以大幅度提升mllm模型的效果，尤其是在非标准格式问答中3、数据分布域的改变，导致在标准格式输出，如grounding任务中，模型性能的下降（这表明模型能力的提升不一定是全面的）

分享了各种lora变种方法的大概情况，本文通过对LoRA、Delta-LoRA、VeRA、LoRA-drop、LoRA+、EDoRA等论文效果进行分类汇总，发现各种方法均在一定程度上表明效果比原始lora好，但在其他同类论文效果中又被证伪。这里针对提升lora精度与降低lora显存需求进行探索，基于各论文的数据，一共形成以下3点结论：1、在大幅度降低显存需求，且要保证精度（可能精度还能提升），可以

基于本博文可以发现wan2.1在训练数据上分为预训练数据、后训练数据、caption模型训练数据。预训练数据。预训练数据 秉持三大核心原则：确保数据质量、保持多样性、大规模。先进行了基本维度的低质量（文本、美学、NSFW、水印、黑边、过曝、模糊、模糊、AI数据滤除）过滤。然后对数据进行聚类，进行类别的平衡。最后进行运动质量的分类，筛选出自然、完整且具有显著动态的视频，同时避免静态或抖动的运动。同时

Native-LLM-for-Android项目主要提供2个参考点，1、将LLM模型导出为onnx模型，2、在安卓端实现LLL模型的运行，本博文主要关注将llm导出为onnx推理（对现有的llm模型进行局部修改并导出），并以miniCPM模型为例进行测试。同时，Native-LLM-for-Android项目还有一些列模型量化代码可以学习。

InternVL2.5是第一个在 MMMU 基准上达到 70% 以上的开源 MLLM，其以InternVL2的研究工作为基础，在模型结构上没有过多调整，但在数据处理逻辑、模型训练策略、训练数据增广方式进行优化，从而实现了有效的整体涨点。

下载插件源码，解压到custom_nodes 目录下同样，下载VideoHelperSuite插件，解压到custom_nodes 目录下然后，基于以下命令启动comfyui并在浏览器打开这里主要是定义NODE_CLASS_MAPPINGS、NODE_DISPLAY_NAME_MAPPINGS 两个变量，将自定义的RobustVideoMatting、BriaaiRembg节点注册到comfyui

最后，将优化目标设置为：latents -(pred_fake_latents - pred_real_latents) / weighting_factor，梯度为(pred_fake_latents - pred_real_latents) / weighting_factor。在setup_model.py中的setup_model函数中, real_model, fake_model, s