Paracel是豆瓣开发的一个分布式计算框架，它基于参数服务器范式来解决机器学习的问题，本文主要分析其架构，并且与ps-lite做分析比对。

本文为本人的学习笔记，非商用。目的是对于所学习的技术，大致知道其应用领域，技术特点和未来方向，看看目前工作中是否可以用到，或者以后选型时能够做到心里有数，顺便也可以梳理清楚自己的知识体系。

参数服务器是机器学习训练一种范式，是为了解决分布式机器学习问题的一个编程框架。本文是参数服务器系列第一篇，介绍ps-lite的总体设计和基础模块 Postoffice。

本文和下文以 Automatic Differentiation in Machine Learning: a Survey 这篇论文为基础，逐步分析自动微分这个机器学习的基础利器。

Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文将带领大家来分析Alink中通讯模型AllReduce的实现。AllReduce在Alink中应用较多，比如KMeans，LDA，Word2Vec，GD，lbfgs，Newton method，owlqn，SGD，Gbdt, random forest都用到了这

NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。

在前面的文章之中，我们已经学习了PyTorch 分布式的基本模块，接下来我们通过几篇文章来看看如何把这些模块应用到实践之中，顺便把PyTorch分布式逻辑整体梳理一下。

NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。

本文以论文和官博为主来进行分析ZeRO，这是微软开发的一个可以高效利用显存的优化器，其会将模型状态量（优化器状态，梯度和模型参数）分布在多个并行 GPU 之上，目的是在不使用模型并行的情况下对让数十亿参数模型进行训练。

[白话解析] 深入浅出边缘计算0x00 摘要边缘计算是大家经常听说的概念，但是因为没有具体接触到实际应用所以很多朋友还是比较迷惑。本文将通过具体应用场景来帮助大家理解这个概念。具体场景是什么呢？从我们的名著《水浒传》就能够找到。梁山泊下四个酒店就是边缘计算在梁山的应用，以朱贵南山酒店为例能看出其"计算实时/省流量/具备智能"等各种优点。0x01 IT背景知识1. 概念边缘计算是云计算的补...