Roberta：Robust optimize bert approach（名字来自于一篇论文题目的缩写）wwm：whole word masking的缩写；经典的bert作mask是随机的，且是基于WordPiece token之上的，没有约束条件。而wwm是将一个单词分成多个word piece后，mask其中一个，那么整个word必须全部被mask，换句话说，mask的最小单位是整个word

嘿，我明明用的是INT4量化的7B模型，理论上模型文件也就3-4GB，怎么用vLLM一加载，我那24GB显存的RTX 4090直接就去了10GB？！这显存是被谁‘偷’走了？如果你也曾对着nvidia-smi的输出发出过这样的灵魂拷问，那么恭喜你，你不是一个人在战斗！这篇博客，我们就扮演一次GPU显存侦探，用最简单直白的方式，层层剥茧，探寻vLLM部署时那些“看似多余”的显存占用究竟从何而来。

【代码】llama原始模型如何tokenize中文。

采用了transfomer中的decoder，其中7b版本的结构如下：

1. 同义词替换（SR: Synonyms Replace）：不考虑stopwords，在句子中随机抽取n个词，然后从同义词词典中随机抽取同义词，并进行替换。2. 随机插入(RI: Randomly Insert)：不考虑stopwords，随机抽取一个词，然后在该词的同义词集合中随机选择一个，插入原句子中的随机位置。该过程可以重复n次。3. 随机交换(RS: Randomly Swap)...

采用了transfomer中的decoder，其中7b版本的结构如下：

比较项方法一：hfd + aria2方法二：huggingface-cli下载速度⭐⭐⭐⭐（最快）⭐⭐（中等）安装复杂度中（需安装 aria2）低（纯 Python 工具）对容器支持需能装 aria2✅ 非常友好自动化脚本支持一般（Shell）✅ 非常适合是否支持断点续传✅ 支持✅ 支持是否支持镜像站✅ HF-Mirror 推荐方式✅ 通过配置适合下载大型模型✅ 强烈推荐✅ 可用但速度较慢。

阶段并行性是否需要同步？说明生成Q/K/V完全并行❌ 不需要同步Attention打分（Q×K^T）并行矩阵乘法✅ 需要全部token的Q/KSoftmax归一化局部并行✅ 需等待Attention Scores聚合V向量局部并行✅ 需完成Softmax前馈网络完全并行❌了解Transformer Prefill阶段的并行计算本质，不仅有助于我们理解模型的推理性能，还能帮助我们在未来优化部署、提升

python

作者：JayLou娄杰链接：https://zhuanlan.zhihu.com/p/343231764来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。谈起中文NER任务，NLPer都不陌生。而如今，提升中文NER指标的主要方式是引入词汇信息，JayJay在之前的综述《中文NER的正确打开方式: 词汇增强方法总结》一文中就详细介绍了中文NER的一些主流方法，而SOTA