将句子的概率分解为各个单词条件概率的乘积，如果文本较长, 条件概率的估算会非常困难（维数灾难），所以就规定当前词只和它前面的n个词有关，与更前面的词无关，每一个词只基于其前面N个词计算条件概率 —— N-gram语言模型，一般N取1到3之间。词的静态表征，不能解决同义词问题，如水果中的“苹果”和苹果公司的“苹果”，词向量表示是一样的，而实际上这两词的意思完全不一样。，来作为我们每个词的向量表示（词

本篇文章共 25027 个词，一个字一个字手码的不容易，转载请标明出处：预训练语言模型的前世今生 - 从Word Embedding到BERT - 二十三岁的有德本文的主题是预训练语言模型的前世今生，会大致说下 NLP 中的预训练技术是一步一步如何发展到 Bert 模型的，从中可以很自然地看到 Bert 的思路是如何逐渐形成的，Bert 的历史沿革是什么，继承了什么，创新了什么，为什么效果那么好，

其实，从上述的总结中大家可以看到，微调技术的发展似乎与模型的发展规模息息相关。最早出现fine-tuning也是模型变大之后，使用原有模型的架构在新数据上训练成本过高且丢失了原有模型的能力，后来也是因为模型发展的规模增长远远超过硬件性能的发展，导致更加高效的微调技术出现。而当前最火热的prompt-tuning其实也就是几乎根本无法微调大模型而产生的一种替代方式。当然，模型本身能力的强大也使得该方

有学者从落地应用的角度出发，研究提出一套数字孪生成熟度模型，将数字孪生成熟度划分为“以虚仿实（Ｌ０）、以虚映实（Ｌ１）、以虚控实（Ｌ２）、以虚预实（Ｌ３）、以虚优实 （Ｌ４）、虚实共生（Ｌ５）”六个等级。虚实共生，作为数字孪生的理想目标，指物理实体和数字孪生模型在长时间的同步运行过程中，甚至是在全生命周期中通过动态重构实现自主孪生，具有该能力的数字孪生处于其成熟度等级的第五等级（Ｌ５）。以虚控实，

二是所有的云服务资源消耗是不经济的，因为终端上有计算能力，但仍然要调用云端的计算能力，这是对算力的浪费。在同等参数量下，RWKV和这两个模型都是互有胜负的关系（有的能力更强，有的能力更弱）。LLaMA是1.5T，RWKV是0.3T，只有LLaMA的五分之一数据量，但现在RWKV的能力也已经很强，说明RWKV的上升空间很大。和他们相比，我们的资源消耗更低。举个简单例子，Attention的核心是Q、

最终训练好的模型被命名为。作者利用 LLM 的多功能角色适应性，使用不同的 prompt 让闭源模型识别“难”的指令，并为学生模型生成新的“难”指令，从而创建了一个包含模仿、辨别和生成的三阶段对抗循环。，由香港科技大学提出的针对闭源大语言模型的对抗蒸馏框架，成功将 ChatGPT 的知识转移到了参数量 7B的 LLaMA 模型（命名为 Lion），在只有 70k训练数据的情况下，实现了近 95%的

我们的对抗性蒸馏框架的高级概述，其中我们基于高级闭源 LLM 制作了一个紧凑的学生 LLM，该 LLM 服务于三个角色：教师**、裁判员和生成器**。模仿阶段*，*使学生的反应与教师的反应保持一致；识别硬样本的辨别阶段；生成阶段，用于生成新的硬样本*，*以升级向学生模型提出的挑战。

对抗蒸馏框架概述：我们基于高级闭源LLM的基础上提炼一个学生LLM，该LLM具有三个角色：教师、裁判和生成器。有三个迭代阶段：模仿阶段，对于一组指令，将学生的响应与老师的响应对齐；区分阶段，识别出难指令；生成阶段，根据识别出的难指令，产生新的难指令以增加对学生模型的挑战。

最终训练好的模型被命名为。作者利用 LLM 的多功能角色适应性，使用不同的 prompt 让闭源模型识别“难”的指令，并为学生模型生成新的“难”指令，从而创建了一个包含模仿、辨别和生成的三阶段对抗循环。，由香港科技大学提出的针对闭源大语言模型的对抗蒸馏框架，成功将 ChatGPT 的知识转移到了参数量 7B的 LLaMA 模型（命名为 Lion），在只有 70k训练数据的情况下，实现了近 95%的

Github地址：https://github.com/VinAIResearch/XPhoneBERT论文地址：https://arxiv.org/abs/2305.19709XPhoneBERT是第一个预先训练用于学习下游文本到语音（TTS）任务的音素表示的多语言模型。我们的XPhoneBERT具有与BERT基础相同的模型架构，使用RoBERTa预训练方法对近100种语言和地区的3.3亿音素级