【代码】打开服务器端口的方法。

一、加载阶段二、推理阶段三、训练阶段

bert

1. 同义词替换（SR: Synonyms Replace）：不考虑stopwords，在句子中随机抽取n个词，然后从同义词词典中随机抽取同义词，并进行替换。2. 随机插入(RI: Randomly Insert)：不考虑stopwords，随机抽取一个词，然后在该词的同义词集合中随机选择一个，插入原句子中的随机位置。该过程可以重复n次。3. 随机交换(RS: Randomly Swap)...

采用了transfomer中的decoder，其中7b版本的结构如下：

label会送入交叉熵损失函数中进行计算损失值，那么该函数如何起作用呢？

大约10年前，垃圾邮件几乎要毁了电子邮箱。一场拯救人们的邮箱的比赛随即打响，两大科技巨头也力争夺得垃圾邮件头号杀手的头衔。2012年2月，微软声称，它能够过滤掉Hotmail 97%的垃圾邮件。谷歌后来作出回应，称它的Gmail能够过滤掉大约99%的垃圾邮件，而且误判率（将没问题的邮件误判为垃圾邮件的比例）也只有1%。两家公司的成果表明，启发式检测技术——按照预设规则识别垃圾邮件——能奏效。不过，

容器是从镜像创建的运行实例。它等同于面向对象编程中由类实例化的对象。

简单来说，损失斜率就像是模型学习的"热情指数"。斜率大，说明模型对这块数据兴趣高涨，学得飞快；斜率小，可能是模型已经把这块数据嚼烂了，或者觉得这数据难嚼得很。现在，让我们用一个生动的例子来说明这个过程：想象你在教一只聪明的狗狗学新技能。有些动作狗狗学得快（高斜率），有些则需要更多时间（低斜率）。我们的目标是让狗狗以最快速度掌握所有技能，同时不浪费时间在已经学会的动作上。

嘿，我明明用的是INT4量化的7B模型，理论上模型文件也就3-4GB，怎么用vLLM一加载，我那24GB显存的RTX 4090直接就去了10GB？！这显存是被谁‘偷’走了？如果你也曾对着nvidia-smi的输出发出过这样的灵魂拷问，那么恭喜你，你不是一个人在战斗！这篇博客，我们就扮演一次GPU显存侦探，用最简单直白的方式，层层剥茧，探寻vLLM部署时那些“看似多余”的显存占用究竟从何而来。