在此之前，StableDiffusion只能通过使用Dreambooth的方法训练大模型，如果对大模型的效果不满意，那么就只能从头开始，重新训练，但是大模型的训练要求高，算力要求大，速度慢。每次训练的loss图都是独一无二的，loss曲线只是参考，重点要观察loss逐步降低的状态，loss越低，拟合度就会越高，过低也有可能会过拟合，需要找到合理值，可以通过loss值来选择几个训练好的lora模型进

第一次尝试多卡微调大模型中途遇到了挺多坑，并且感觉有一些思维上的误区，要及时记录下来：1. 使用unsloth训练只能用单卡2. 配置文件一定要好好看，每个都看懂，比如说yaml文件，有一些配置默认的要改成合适的，在微调的时候就要多点去了解每个参数的含义3. 报错第一时间去看issue，而不是在网上乱搜4. 要尽量使用2的次方的卡数，比方说2，4，8，用其他的不符合操作系统的规律，可能会有一些问题

随着科技的不断进步和数据驱动的时代到来，越来越多的开发者和数据研究人员需要强大的计算能力来支持他们的工作，尤其是在处理大规模数据、进行机器学习和人工智能等高性能应用方面，对GPU算力的需求变得越来越迫切。

训练文本到视频生成系统需要大量带有相应文本标题的视频，OpenAI应用DALL•E3，基于高度描述性的字幕器模型为训练集中的所有视频生成文本字幕，同时，OpenAI还利用GPT将简短的用户提示转换为更长的详细字幕，以最终获得更优的视频输出结果。Sora的出现或将重塑影视行业，机会与挑战并存，预计影视制作公司将出现分化：一方面，影视作品的“灵魂”自于创意及情感，Sora作为优秀的生成工具将助力优质的

第一次尝试多卡微调大模型中途遇到了挺多坑，并且感觉有一些思维上的误区，要及时记录下来：1. 使用unsloth训练只能用单卡2. 配置文件一定要好好看，每个都看懂，比如说yaml文件，有一些配置默认的要改成合适的，在微调的时候就要多点去了解每个参数的含义3. 报错第一时间去看issue，而不是在网上乱搜4. 要尽量使用2的次方的卡数，比方说2，4，8，用其他的不符合操作系统的规律，可能会有一些问题

OpenAI开源的免费离线语音识别神器Whisper，我在安装使用后发现一些问题，于是搜了半天最终汇总了这几个主要的小技巧，希望对大家有帮助，不用满世界再搜了。系统：Ubuntu22.04具体怎么正常使用或者怎么安装，官方MD很详细了，不行再搜搜也就有了，我就没记录。综述所述，最后就固定一个prompt的写法，就能解决这俩问题。以下是普通话的句子，这是一段会议记录。如果想输出繁体字，上面内容就全用

值得注意的是，这里的tokenizer最大长度为77（CLIP训练时所采用的设置），当输入text的tokens数量超过77后，将进行截断，如果不足则进行paddings，这样将保证无论输入任何长度的文本（甚至是空文本）都得到77x768大小的特征。Latent Diffusion Models（潜在扩散模型，LDM）通过在一个潜在表示空间中迭代“去噪”数据来生成图像，然后将表示结果解码为完整的图

其次，可图采用的ChatGLM3代替了传统的CLIP模型做文本提示词嵌入，语义能力增强的同时显存消耗也从原来的几百MB变成十几G，这样，本地显存少于20G的用户，需要用有损量化或者损失推理速度的办法运行可图。7月6日，快手宣布开源数十亿参数的文生图模型可图Kolors，可图支持中英文双语，支持长达256 token的上下文长度，最重要的是可以渲染中文，生成效果上实现了质的飞跃。国产文生图模型的强势

但是占用显存较多，显存是缓慢上升的过程，到二十多步的时候就开始爆了。启用webui共有两种方式，一种是直接启动，一种是通过docker启动。使用的GPU 第一块卡，刚开始的时候 批处理设置的太大，容易造成显卡内存溢出，根据自己的实际情况设置。接下来又问了一句”鲁迅可以打周树人吗“，回答是没有问题，就是速度慢了点，右边还有很多的参数可以调整。③使用stage=3的时候，每step 40s，刚开始使用

SDH和MDH会不一样，主要的区别在于SDH中坐标系在连杆末端，MDH中坐标系在连杆首端。虽然这里只是给出z轴，但是由于后面原点位置不同，所以二者z轴也不同。