LoRA和QLoRA是两种参数高效微调技术，通过适配器减少训练参数量。关键区别在于QLoRA引入了4-bit量化技术，显著降低显存占用（比LoRA减少75%），但训练速度稍慢。LoRA适合显存充足的场景，追求更快训练；QLoRA则能在有限显存下微调更大模型。两者都能保持接近完全微调的准确性，选择取决于硬件条件和训练需求。

摘要： 大模型量化通过将高精度浮点数（如FP32/FP16）转换为低精度表示（如Int8/Int4），显著减少显存占用、加速推理并降低能耗。主流方法包括： GPTQ：基于二阶误差最小化的逐层量化，适合GPU推理； AWQ：保护关键权重，量化次要权重，平衡精度与效率； Bitsandbytes：支持QLoRA微调，优化8/4位计算； GGUF：面向CPU的跨平台格式，支持灵活硬件卸载。 工具如ms-

右侧为经典Transformer架构，数据流向如下：输入序列首先通过转换为向量表示加入以保留序列中的位置信息向量流经编码器的N个层解码器接收移位的输出序列的和解码器处理编码器的输出并生成预测最后通过层和转换为概率分布。

本文探讨了Transformer架构中的两个关键技术——残差连接和层归一化。残差连接通过将输入直接加到子层输出，缓解了深度网络的梯度消失和网络退化问题，为梯度传播提供了"捷径"。层归一化则通过标准化每层特征分布，解决了训练过程中的内部协变量偏移问题，提升训练稳定性。这两种技术协同工作：残差连接确保网络能够有效训练深层架构，而层归一化保证训练过程的快速收敛，共同构成了Transf

本文详解了Transformer中的注意力机制，包括三个核心部分：1）缩放点积注意力公式的运算步骤：相似度匹配、缩放、归一化和加权求和；2）Q、K、V向量的生成方式，通过输入X的线性变换获得；3）自回归生成过程中因果掩码和KV缓存的应用，以两步生成过程为例展示了注意力计算过程，并说明KV缓存如何优化推理效率。整个过程体现了Transformer如何动态计算注意力权重并有效利用历史信息。

阿里巴巴升级通义万相模型至Wan2.2-S2V版本，实现基于静态图片和音频的电影级数字人视频生成。作者结合Fay数字人框架，搭建了集成文本转语音、语音克隆和视频合成的智能影音系统：1）采用ChatTTS-ui进行音频合成，支持语音克隆功能；2）通过阿里云接口实现视频生成，耗时比约为1:12。系统目前存在动作控制局限，未来计划通过ComfyUI接口优化生成效果，并遵循AI内容标识规范。

信息物理系统(CPS)是连接物理与信息空间的复杂闭环系统，其技术体系包括总体、支撑和核心三类技术，可归纳为"一硬一软一网一平台"四大要素。CPS架构分为单元级、系统级和SoS级，应用于智能设计、生产和服务。人工智能(AI)包含机器人、NLP、计算机视觉等技术，分为强弱两类。机器人4.0强调云边协同和自适应能力。边缘计算就近处理数据，与云计算协同工作。数字孪生建立虚实桥梁，云计算

信息物理系统(CPS)是连接物理与信息空间的复杂闭环系统，其技术体系包括总体、支撑和核心三类技术，可归纳为"一硬一软一网一平台"四大要素。CPS架构分为单元级、系统级和SoS级，应用于智能设计、生产和服务。人工智能(AI)包含机器人、NLP、计算机视觉等技术，分为强弱两类。机器人4.0强调云边协同和自适应能力。边缘计算就近处理数据，与云计算协同工作。数字孪生建立虚实桥梁，云计算

信息物理系统(CPS)是连接物理与信息空间的复杂闭环系统，其技术体系包括总体、支撑和核心三类技术，可归纳为"一硬一软一网一平台"四大要素。CPS架构分为单元级、系统级和SoS级，应用于智能设计、生产和服务。人工智能(AI)包含机器人、NLP、计算机视觉等技术，分为强弱两类。机器人4.0强调云边协同和自适应能力。边缘计算就近处理数据，与云计算协同工作。数字孪生建立虚实桥梁，云计算

摘要：文章介绍了使用FFmpeg工具为视频和音频添加水印的方法。视频方面通过drawtext滤镜实现，支持自定义字体、颜色、位置和透明度，提供多种参数调整。音频方面使用amix滤镜进行混音，可调节水印音量并实现循环播放。两种方法都给出了基础命令和进阶技巧，帮助用户快速掌握多媒体文件打标技术。