#-*- coding:utf-8 -*-importjsonfrom pyspark.sql import SparkSession#连接集群spark = SparkSession.builder.master("yarn-client").appName("test").getOrCreate()#读取数据，数据位置‘h

创建空数据表；分组统计groupby；两dataframe关联合并；为数据增加排序列；数据条件标记。

对于大语言模型，本书泛指具有超大规模参数或者经过超大规模数据训练所得到的语言模型。与传统语言模型相比，大语言模型的构建过程涉及到更为复杂的训练方法，进而展现出了强大的自然语言理解能力和复杂任务求解能力（通过文本生成的形式）。本部分将介绍大语言模型的构建过程、扩展法则（ScalingLaw）、涌现能力（EmergentAbilities）。

对于大语言模型，本书泛指具有超大规模参数或者经过超大规模数据训练所得到的语言模型。与传统语言模型相比，大语言模型的构建过程涉及到更为复杂的训练方法，进而展现出了强大的自然语言理解能力和复杂任务求解能力（通过文本生成的形式）。本部分将介绍大语言模型的构建过程、扩展法则（ScalingLaw）、涌现能力（EmergentAbilities）。

当前主流的大语言模型都基于Transformer模型进行设计的。Transformer是由多层的多头自注意力（Multi-headSelf-attention）模块堆叠而成的神经网络模型。2017 年，Google 在论文 Attentions is All you need（论文地址：https://arxiv.org/abs/1706.03762） 中提出了 Transformer 模型，其使

人大赵鑫《大语言模型学习笔记》

对于大语言模型，本书泛指具有超大规模参数或者经过超大规模数据训练所得到的语言模型。与传统语言模型相比，大语言模型的构建过程涉及到更为复杂的训练方法，进而展现出了强大的自然语言理解能力和复杂任务求解能力（通过文本生成的形式）。本部分将介绍大语言模型的构建过程、扩展法则（ScalingLaw）、涌现能力（EmergentAbilities）。

人大赵鑫《大语言模型学习笔记》

anaconda安装在官网或清华镜像下载anaconda在载前看一下自己的系统版本，下载对应的anaconda版本。在系统中输入：cat /proc/version，如下图所示##下载地址1）官网：https://www.anaconda.com/distribution/2）清华镜像：https://mirrors.tuna.tsinghua.edu.cn/anacond...