prompt tuning和instruction tuning的区别主要是，prompt tuning的训练任务是一个特定的任务，而instruction tuning的训练任务是多个任务。比如，“Zero-shot recommendation as languagemodeling”挖掘电影推荐任务的提示，“Large language models arezero-shot rankers

Zero-shot的概念很诱人，但是别说人工智能了，哪怕是我们人，去学习一个任务也是需要样本的，只不过人看两三个例子就可以学会一件事了，而机器却往往需要大量的标注样本去fine-tune。GPT模型指出，如果用Transformer的解码器和大量的无标签样本去预训练一个语言模型，然后在子任务上提供少量的标注样本做微调，就可以很大的提高模型的性能。GPT2则是更往前走了一步，说在子任务上不去提供任何

pairwise 方法通过考虑两两文档之间的相关度来进行排序，有一定进步。

pairwise 方法通过考虑两两文档之间的相关度来进行排序，有一定进步。

pairwise 方法通过考虑两两文档之间的相关度来进行排序，有一定进步。

GPT-2 在最后一个自注意力层后增加层归一化（Layer Normalization, LN）主要与其架构调整和训练稳定性优化密切相关，具体原因如下：‌输出分布稳定性增强‌深层模型中，最后一层自注意力输出的激活值可能因参数累积出现分布偏移。额外添加的 LN 通过对输出的均值和方差进行归一化，使后续前馈层或生成阶段的输入分布更稳定，缓解梯度异常（如梯度爆炸），提升模型收敛效率24。‌生成阶段的动态

因果分析(Causal Analysis)是分析彼此之间的因果关系。

感觉狼厂有些把机器学习和数据挖掘神话了，机器学习、数据挖掘的能力其实是有边界的。机器学习、数据挖掘永远是给大公司的业务锦上添花的东西，它可以帮助公司赚更多的钱，却不能帮助公司在与其他公司的竞争中取得领先优势，所以小公司招聘数据挖掘/机器学习不是为了装逼就是在自寻死路。可是相比JAVA和C++语言开发来说，机器学习/数据挖掘确实是新一些老人占的坑少一些，而且可以经常接触一些新的东西。还是赶紧再次抓住

摘要： 数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。  数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。与数据挖掘相近的同义词有数据融合、数据分析和决策支持等。这个定义包括好几层含义：数据源必须是

待续