最近在看一个用 RNNs 网络做Translation 任务的程序, 关于数据处理部分, 主要用到工具包和fairseq, 前者主要是对文本进行分词处理, 后者则是对已分词的文本进行二进制化和快速加载. 包越方便使用, 就说明包装得越狠, 也就越令人一头雾水, 本文简要记录学习过程.

在命令窗口运行 Python 程序时，有时需要传入一些参数，就用到了argparse模块，它有非常强的解析命令行参数的能力。原始的命令行参数获取方式sys.argv；argparse的基本用法；背后的运作机制；shell编程；更好的方式；

在对一个模型进行训练时，通常建议随着训练的进行降低学习率，前期快速优化后期稳步收敛。设当前训练步数为 global_step，则学习率为：current_lr=decay_fun(learning_rate,global_step,θ)current\_lr = decay\_fun(learning\_rate, global\_step, \theta)current_lr=decay_fun

紧的概念来源于欧式空间的有界闭集，在探索它的性质之后，想对其进行泛化推广。然而，到了一般拓扑空间中，就只能用 “有限开覆盖” 去定义紧了，而且相当抽象，引发了好几个关于紧的概念，一时难以接受。

前几天分几篇博文精细地讲述了《von Mises-Fisher 分布》, 以及相应的 PyTorch 实现《von Mises-Fisher Distribution (代码解析)》, 其中以 Uniform 分布为例简要介绍了 torch.distributions 包的用法. 本以为已经可以了, 但这两天看到论文 The Power Spherical distribution 的代码, 又被

本文翻译自Notes on Optimal Transport，原文以生动的故事简要阐述了 Optimal Transport 的基本概念、求解方法、具体应用等，没有太过复杂的公式，非常适合新手入门。本文将原文翻译成中文，并进行精简、添加自己的理解，改动较大，如有理解不当或错误之处，还请指出。由于简化的原因，可能失去一定的故事性，建议先阅读更生动的原文。

为学习最优传输问题（Optimal Transport），拜读了博客《最优运输（Optimal Transfort）：从理论到填补的应用》，博文里简要介绍了三篇经典论文，本系列博文打算精读。

这篇博客在讲述切向量与切空间时太过简略，以至于把我困住，甚至让我的大脑内部产生激烈的矛盾而头疼，于是借了本书《微分流形初步》(第二版，陈维桓)，加以辅助，才得以理解了切向量。

本文介绍一个工具，它包装，接收该类的一个实例loader，启动一个线程t，创建一个队列qt将loader中的数据预加载到队列q中, 以在模型计算时也能启动启动数据加载程序, 节省数据加载时间。"""** 包装 torch.utils.data.DataLoader, 接收该类的一个实例 loader, 启动一个线程 t, 创建一个队列 qt 将 loader 中的数据预加载到队列 q 中, 以在模

von Mises Fisher 分布的代码解析.