我们对事物的认知都是一点一点积累出来的，往往借助已经认识过的东西，可以更好地理解和认识新的有关联的东西。比如一个人会骑自行车，我们让他去骑摩托车他也很快就能学会，比如已经学会C++，现在让他去学python他也很容易就能理解。这种情况我们一般称为举一反三。反言之，我们从原始部落找出来一个人（仅作举例），指着摩托车让他骑，可能是一件特别难的事，因为他对这个领域没有丝毫的认知和理解，在实现这件事上就会

现在的大模型体量非常庞大，全量微调所需要的算力也特别庞大，个人开发者没有条件微调。参数量达到7B的模型才刚刚有涌现能力，但是我们要微调7B的模型的话，就需要3×28G的显存，至少需要2张A100的卡，更何况我们连一张也没有。近年来研究者提出了各种各样的参数高效微调方法，即固定住预训练模型的大部分参数，仅调整模型的一小部分参数实现微调。

官方代码：https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix首先，附官方数据集下载链接，便于大家对照查看格式，这里我下载了最小的facades数据集，毕竟我们只是对照查看格式，而不是真的拿他数据集来训练（里面最大的数据集有8G，下的时候看清楚哦）。你要是不想下也可以，我这里尽量把他数据集的格式描述清楚。首先解压出来是一个decades文件

在做Cifar10图像分类任务时，发现每个step时间过长，且在资源管理器中查看显卡资源调用异常，主要表现为，显卡周期性调用，呈现隔一会儿动一下的情况（间隔时间过大导致不能同时截到两个峰值）。通过检测每步耗费时间发现，载入数据集的时间远远大于前向处理的时间。在以下参数情况下载入Cifai10数据集的时间为60s左右，前向计算时间仅为0.002s，浪费了大量的时间用于载入及传输数据。先说结论，是多线

在几个月前，写过一篇关于卷积过程中输入图像维度变化的博客，但是当时也是技术力不足，使用的是纯文字描述，可能对于初学者的帮助确实不大。机缘巧合下学习了blender，这次也有能力完善之前这篇博客。一般来说涉及到的维度变换都是四个维度，当batch size=4，图像尺寸为640*640，三通道时，此时维度就是4×3×640×640。3的意思是RGB三通道，如果你传入的图像是单通道图像，此时维度就是4

在使用网络上下载下来的一部分图像分割数据集时，有些标签图你看着是一个黑白图，但是他还是有可能是一张RGB三通道图，具体怎么区分呢。右击图片打开属性，打开详细信息，里面可以看到位深度，位深度为24，则为RGB图，位深度为8，则为单通道图。

先展示一个完整的余弦退火+周期性重启+warm up调整学习率的流程（横轴为epoch，纵轴为学习率）：我们换一个收敛较慢的图进行详细说明：在神经网络刚开始训练时，梯度较大，如果一开始就设置比较大的学习率的话，训练会极不稳定，导致不能得到较好的收敛效果，所以我们需要在最开始训练时将学习率保持在一个比较低的水平，让梯度先收敛到一定程度，然后再把学习率增大，可以有效提高收敛效果。这个过程称为网络训练的

CycleGAN，也算是笔者记录GAN生成对抗网络的第四篇，前三篇可以跳转在第三篇中，我们采用了pix2pix进行图像风格的转移，但在pix2pix上，训练往往需要在像素级上一一对应的数据，就造成了很多方面任务无法完成，有一定局限性。比如在绘画领域，我们无法得到画家当时所画的那个场景的照片，同样，我们此刻拍的照片也不能请那些画家来给咱们对照着画一幅画。这就造成了数据集无法一一对应，无法进行训练的问

上一篇我们使用了vosk模型实现了本地的语音识别，但是存在一个严重的问题，因为我们采用的是整段音频录制结束之后再进行转文字并进行关键字检索，就会导致识别不实时，在环境噪音较为复杂（或者正在播放音乐时），我们说完了话他还在持续录音状态，识别太慢了，并且有时候他把音乐声音也录进去，导致识别错误。因为我们转换出来的结果是单词级别的，所以可能会产生识别的每一个单独的词之间都有空格，我们在process_c

前面我们学习了GAN（）和DCGAN（），接下来继续来看CGAN（Conditional GAN）条件生成对抗网络。