大型模型的神秘并不是不可透视的，今天我们以ChatGLM-6B为例，解析一下模型结构和代码。你会发现，大模型结构并没有那么神秘，相反还挺清晰的，就是Transformer的decoder改造而来的。我们还会看到模型中参数最密集的部分，这也是模型“大”的原因。

StableDiffusion大家已经很熟悉了，那么如何训练自己的sd模型呢，今天我就介绍一下用LoRA训练sd的方法。我们以Chilloutmix为例，Chilloutmix可以生成好看的小姐姐。为了实验LoRA的能力，我们用小哥哥的图片对它进行微调，看效果如何。

绝对位置编码和相对位置编码都有局限性，比如绝对位置编码不能直接表征token的相对位置关系；相对位置编码过于复杂，影响效率。于是诞生了一种用绝对位置编码的方式实现相对位置编码的编码方式——旋转位置编码（RotaryPositionEmbedding,RoPE），兼顾效率和相对位置关系。RoPE的核心思想是通过旋转的方式将位置信息编码到每个维度，从而使得模型能够捕捉到序列中元素的相对位置信息。现在已

大模型已经有了突破性的进展，图文的生成质量都越来越高，可控性也越来越强。很多阅读大模型源码的小伙伴会发现，大部分大模型，尤其是CV模型都会用到一个子模型：变分自编码器（VAE），这篇文章就以图像生成为例介绍一下VAE，并且解释它问什么天生适用于图像生成。配合代码尽量做到通俗易懂。

tmp = cv2.cvtColor(crop_image, cv2.COLOR_BGR2GRAY)_, alpha = cv2.threshold(tmp, 0, 255, cv2.THRESH_BINARY)b, g, r = cv2.split(crop_image)rgba = [b, g, r, alpha]dst = cv2.merge(rgba, 4)# 注意保存成png格式！！！j

PaddleOCR需要一些配置，这里主要记录cuDNN的配置。亲测PaddleOCR需要cuDNNv7.x，CUDA11.0x。这里以cuDNN7.6为例1.下载：cuDNNv7.6cuDNN Archive | NVIDIA Developer 我的CUDA是11.0，但是使用cuDNNv7.6.0 for CUDA10.1也能用，很奇怪。2.解压，打开所在文件夹，将里面的东西拷贝到CUDA根目

cv2.estimateAffine2D是 OpenCV 库中的一个函数，用于估计两个二维点集之间的仿射变换矩阵。即第一个点集经仿射变换转换到第二个点集需要的操作，包括缩放、旋转和平移。

现在有很多开源的大模型，他们一般都是通用的，这就意味着这些开源大模型在特定任务上可能力不从心。为了适应我们的下游任务，就需要对预训练模型进行微调。全参数微调有两个问题：在新的数据集上训练，会破坏大模型原来的能力，使其泛化能力急剧下降；而且现在的模型参数动辄几十亿上百亿，要执行全参数微调的话，他贵啊！！于是LoRA出现了，LoRA（Low-Rank Adaptation)是微软提出的一种参数有效的微

Milvus是一个开源的向量相似度搜索引擎，专注于大规模向量数据的快速相似度搜索。本文将介绍Milvus的安装，跟着走，肯定能装上(#^.^#)