词嵌入使我们能够衡量两个词的语义相似度。使用各种距离度量方法， 可以判断一个词与另一个词的接近程度，含义相似的词往往会更接近。词嵌入可以用多种属性来表示一个词的含义。这些属性组合在一起，是将人类语言转换为计算机语言行之有效的方式。可以为不同类型的输入创建嵌入，如词嵌入和句子嵌入，它们用于表示不同层次的抽象 (词与句子)。自回归（auto-regressive），在生成下一个词时，需要使用先前生成的

词嵌入使我们能够衡量两个词的语义相似度。使用各种距离度量方法， 可以判断一个词与另一个词的接近程度，含义相似的词往往会更接近。词嵌入可以用多种属性来表示一个词的含义。这些属性组合在一起，是将人类语言转换为计算机语言行之有效的方式。可以为不同类型的输入创建嵌入，如词嵌入和句子嵌入，它们用于表示不同层次的抽象 (词与句子)。自回归（auto-regressive），在生成下一个词时，需要使用先前生成的

多头注意力（MHA）、多查询注意力(MQA)、分组查询注意力(GQA)、多头潜在注意力(MLA)激活函数（例如 SwiGLU），以提高模型的非线性拟合能力，捕捉更复杂的模式。缓解深层网络中的梯度消失问题，提升模型训练效率。建模序列中不同词元之间的语义关系。提升训练稳定性并加速模型收敛。提升模型的容量和计算效率。进一步提取特征和语义。

多头注意力（MHA）、多查询注意力(MQA)、分组查询注意力(GQA)、多头潜在注意力(MLA)激活函数（例如 SwiGLU），以提高模型的非线性拟合能力，捕捉更复杂的模式。缓解深层网络中的梯度消失问题，提升模型训练效率。建模序列中不同词元之间的语义关系。提升训练稳定性并加速模型收敛。提升模型的容量和计算效率。进一步提取特征和语义。

【学习笔记】从零构建大模型

目录python在内存中处理图片1. 获取gif图片第一帧，添加文字，获取图片的base64和md52. pyplot绘图后，获取图片的base64和md5附1. python2.7 pip安装脚本python在内存中处理图片python 2.71. 获取gif图片第一帧，添加文字，获取图片的base64和md5import requestsimport iofrom PIL import Ima

1-7题为文案题（答题时请勿参考其他作品），8-23题为数值系统题， 两个方向分别计算分数，最终选择分数更高的方向作为最终成绩，建议优先选择自己擅长或感兴趣的方向进行答题。8、（无需过程）行列式的值是。（共3分）【参考答案：-9】9、（无需过程）已知状态集合{晴天，多云，下雨}T，状态转移矩阵为A，已知今天是晴天，请问后天下雨的概率是。（共3分）【参...

编译运行：文档说明：1、整体程序设计服务器程序是一个死循环，处理一次连接之后不退出，而客户端程序只处理一个连接就可以了。2、客户端程序设计客户端程序的主要任务：a、分析用户输入的命令；b、根据命令向服务器端发出请求；c、等待服务器返回请求的结果。cd命令和ls命令处理客户机文件系统中的目录，不需要和服务器进行通信，因此不需要建立连接。

快速排序（基于顺序容器vector；基于数组array）

1、自我介绍、项目经历、看过哪些书（APUE、CSAPP、UNP）2、HTTP应用层协议，TCP传输层协议、TCP三次握手、TIME_WAIT3、Linux系统CPU利用率top4、Linux常用命令：    ls、cd、vi、touch、rm、mv、mkdir、tac、cat、netstat、网卡ifconfig    （反省：cp、chmod、man、grep、wc、pwd）5、八大排序？冒泡