​近些年，超大型神经网络在语言理解和生成的广泛任务上实现了令人惊讶的效果。这些模型通常是在大规模文本语料上，使用填充式的预训练目标和encoder-only或者encoder-decoder架构进行训练，然后通过微调来适应下游的具体任务。虽然这些模型在数千个自然语言任务上实现了state of the art，但缺点是其需要大量任务相关的训练样本来微调模型。此外，至少有一部分参数需要更新来拟合任务

一文捋顺流水线并行、张量并行与3D并行​流水线性并行和张量并行都是对模型本身进行划分，。简单来说，流水线并行划分模型，即按照对模型进行划分；张量并行则是划分模型。3D并行则是将流行线并行、张量并行和数据并行同时应用到模型训练中。

一、介绍留出法(hold-out)：直接将数据切分成三个互斥的部分，即训练集、测试集和验证集。在训练集上训练模型，在测试集上选择模型，最后在测试集上评估泛化误差。数据集的划分要尽量保持数据分布的一致性，如在分类任务中至少要保持样本的类别比例相似，此时可以采用分层采样。二、方法sklearn.model_selection.train_test_split(*arrays,**optio...

一、介绍1.留一法留一法(Leave-One-Out)是S折交叉验证的一种特殊情况，当S=N时交叉验证便是留一法，其中N为数据集的大小。该方法往往比较准确，但是计算量太大，比如数据集有10万个样本，那么就需要训练10个模型。2.自助法给定包含N个样本的数据集TTT，有放回的采样N次，得到采样集TsTsT_s。数据集TTT中样本可能在TsTsT_s中多次，也可能不出现在TsT...

参考文献：Ian Goodfellow,Yoshua Bengio,Aaron Courville.Deep Learing.

​程序合成(program synthesis)的目标是自动化编程过程，从而生成能够满足用户意图的计算机程序。程序合成面临两个关键的挑战：(1) 搜索空间难以处理；(2) 难以确定用户意图。为了解决搜索空间的问题，本文将程序合成任务形式化为语言建模过程，即基于前面的tokens预测下一个token的条件概率分布。​程序合成需要理解用户的意图。用户通常通过逻辑表达式、伪代码、输入-输出示例、或者自然

​本文来自于《Theory of Deep Learning》，主要是对神经正切核(NTK)理论进行介绍。这里主要是补充了一些基本概念以及部分推导过程。作为软件工程出身，数学不是特别好，有些基础知识和推导步骤没办法一次补足。若有机会，后续会逐步补全缺失的部分。​设X1,…,XnX_1,\dots,X_nX1​,…,Xn​为nnn个独立的随机变量，且XiX_iXi​的边界为[ai,bi][a_i,b

一、简介机器学习已经被广泛使用，但仍然是黑盒模型。但是，如果人类无法相信某个模型，那么很难在产品中部署这个模型。这里区分两个概念：trusting a prediction\text{trusting a prediction}trusting a prediction：用户是否充分信任一个预测，并基于该预测采取行动；trusting a&nbsp

​BLOOM的原理见​BLOOM是由HuggingFace推出的大模型，其参数量达到176B(GPT-3是175B)。目前超过100B参数量且能够支持中文的开源大模型只有BLOOM和GLM-130B。由于HuggingFace是著名开源工具Transformers的开发公司，很多推理工具都会支持Transformers中的模型。​LLM(大语言模型)推理的两个问题：(1) 单张显卡无法容纳整个模型

一、环境本教程中使用两台阿里云服务器，其配置为单核CPU，2G内存，操作系统为CentOS 7.4。使用JDK1.8及Hadoop2.7.4进行安装。 二、配置服务器hostname进入实例的基本信息页面，点击修改信息修改HostName，NameNode节点对应的HostName为master，DataNode节点对应的HostName为node1 三、修改hosts(最好使用内网IP)四、SS