logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Dream 7B扩散语言模型推理实验

根据输入可生成的最大token长度填充整个序列。(此时全序列为待生成的<MASK>状态)。设定timesteps进行调度,此模型中调度策略为线性,即每个时间步生成相同数量的token,所以理论上每步生成的token数应该等于生成循环每次先检查哪些位置是MASK,这些是待生成位置,然后计算所有待生成位置的logits(不需要保存已生成位置的概率分布以节省空间)。根据预定义的参数选择生成位置(哪些词应

#语言模型#人工智能#自然语言处理
SDXL上的LoRA微调实战

本文探讨了基于LoRA微调Stable Diffusion XL(SDXL)模型在COIL-100数据集上的应用。实验发现,该方法能有效学习目标物体的特征,但也存在过拟合训练数据背景、生成图像细节不足等问题。研究详细分析了LoRA在注意力层的运作机制,并探讨了不同LoRA scale对生成质量的影响,为特定实例的生成模型微调提供了实践参考。

#人工智能#LoRA
到底了