本文介绍了阿里最新开源的文生图大模型Z-Image的本地部署方法。内容包括环境准备（创建Conda环境、安装diffusers、PyTorch等）、从ModelScope下载模型、编写生成图像代码并测试。示例生成了一张zwplayer播放器海报和一张女孩图像，模型运行需约22GB GPU内存，生成速度快且能较好理解提示词，尽管部分汉字渲染略有瑕疵。整体上，Z-Image是一个高效、可本地部署的文生

主要说明向量数据库字符串查询要注意的问题，就是构建查询表达式要注意加单引号，否则会出现异常。

在Google的Colab上面采用unsloth,trl等库，训练数据集来自Google的云端硬盘，微调llama3-8b模型，进行推理验证模型的微调效果。保存模型到Google的云端硬盘可以下载到本地供其它使用。

文本采用待量化模型自己生成数据集的方式，使用llmcompressor对智谱公司的GLM-4-9b-chat-hf模型进行AWQ量化。

摘要： BitsAndBytes是Hugging Face开发的神经网络高效量化库，支持8-bit和4-bit量化（INT8减少2倍内存，NF4减少4倍内存），适用于大模型部署与训练优化。通过Python示例演示了自动加载、量化（默认4-bit）及保存模型流程，量化后模型体积从18.3G降至6.5G。量化模型可通过vllm部署服务，需确保环境安装bitsandbytes。测试显示模型层成功转换为L

文本记录了在3090卡上对实时asr模型进行微调的过程，包括数据准备、模型微调、验证微调后的模型。

摘要： BitsAndBytes是Hugging Face开发的神经网络高效量化库，支持8-bit和4-bit量化（INT8减少2倍内存，NF4减少4倍内存），适用于大模型部署与训练优化。通过Python示例演示了自动加载、量化（默认4-bit）及保存模型流程，量化后模型体积从18.3G降至6.5G。量化模型可通过vllm部署服务，需确保环境安装bitsandbytes。测试显示模型层成功转换为L

文本采用待量化模型自己生成数据集的方式，使用llmcompressor对智谱公司的GLM-4-9b-chat-hf模型进行AWQ量化。

本文介绍了阿里最新开源的文生图大模型Z-Image的本地部署方法。内容包括环境准备（创建Conda环境、安装diffusers、PyTorch等）、从ModelScope下载模型、编写生成图像代码并测试。示例生成了一张zwplayer播放器海报和一张女孩图像，模型运行需约22GB GPU内存，生成速度快且能较好理解提示词，尽管部分汉字渲染略有瑕疵。整体上，Z-Image是一个高效、可本地部署的文生

文本记录了在3090卡上对实时asr模型进行微调的过程，包括数据准备、模型微调、验证微调后的模型。