翻译 google-research: deep learning tuning playbook.

（我的英语翻译是真的很辣鸡哇，除了自己能看懂别人都看不懂系列）一个非常简单的几乎可以提升所有机器学习算法的表现的方法是在同一个数据集上训练多个不同的模型，然后对他们的预测结果取均值。然而呢，使用一个集成模型做预测太过麻烦，而且在用户较多时可能需要很大的计算量，尤其在其中的子模型是较大的神经网络时。Caruana和他的小伙伴们研究表表明一个集成模型的知识是可以被压缩到单独一个更容易部署的模型，我们.

这两天要研究这个方向，准备先找几篇论文看看。第一篇：【MULTI-TEACHER KNOWLEDGE DISTILLATION FOR COMPRESSED VIDEO ACTION RECOGNITION ON DEEP NEURAL NETWORKS】在google一搜multi-teacher knowledge distillation就出来这一篇，虽然看着不太靠谱，但是看论文主要是...

简要介绍了cifar数据的使用和pytorch dataset的构建。

简要介绍clip的原理和代码实现。

简要介绍了webdataset的使用。只介绍了基础用法，因为自己也没学明白。

机器学习机器学习的目的是给出能自动识别数据模式的策略，并使用研究出的模式对数据或其他输出进行预测。目前机器学习主要分为以下两种类型：监督学习又称为预测学习，目的是在给定输入输出的情况下，研究从输入x到输入y的演变方法。输入x中包含的内容又称为属性、特征或者变量。x可以为很复杂的一个结构对象，比如说一张图片、一个句子、一段邮件等同样地，它的输出y也可以是任何类型。当y具有类...

简要介绍了pytorch中模型训练的流程和部分原理知识。