蓦然回首，发现写了很多联邦学习方面的文章，但是没有写一篇联邦学习方面的介绍性的综述，所以写了这篇文章，从整体介绍下联邦学习的背景、联邦学习的简介、隐私保护技术与营销应用场景。▌联邦学习背景数据是AI的石油，加速了AI的高速发展，但是同时多维度高质量的数据是制约其进一步发展的瓶颈。由于用户隐私、商业机密、法律法规监管等原因，造成大量信息孤岛，导致各个组织与机构无法将原始数据整合在一起，进而联合训练训

文章目录1 联邦学习背景2 联邦学习树模型方案3 Ensemble Learning3.1 集成学习3.2 Bagging & Boosting3.2.1 Bagging (bootstrap aggregating)3.2.2 Boosting3.2.3 Bagging，Boosting二者之间的区别4 GBDT5 Xgboost7 参考资料9 精彩分享1 联邦学习背景鉴于数据隐私的重要

文章目录1 联邦学习背景2 联邦学习树模型方案3 Ensemble Learning3.1 集成学习3.2 Bagging & Boosting3.2.1 Bagging (bootstrap aggregating)3.2.2 Boosting3.2.3 Bagging，Boosting二者之间的区别4 GBDT4.1 GDBT定义4.2 GBDT推导过程6 参考资料9 精彩分享1 联邦

循环神经网络全景介绍，从RNN到LSTM再到GRU，全面介绍循环神经网络全貌。

一 背景本章将要介绍一种常用的神经网络结构 – 循环神经网络（recurrent neural network，RNN）。常规的神经网络比如全连接网络只能单独孤立的处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，某种情况下，输入是有序列关系的，需要网络能够更好的处理序列的信息。这种需要处理「序列数据 – 一串相互依赖的数据流」的场景就需要使用 RNN 来解决了。典型的几种序列数据：

一 背景对于机器学习和深度学习较为熟悉的同学，应该大抵都听过这句话，机器学习=模型+策略+算法。其实笔者最开始学习的时候就基础过这个概念，但是这三个东西具体都是什么呢，也是经过一段时间才真正的领悟。模型：就是想要学习的函数、表达式或者是网络结构。策略：本质就是如何减少探索模型的推理值与实际值的Gap，包括训练数据、测试数据乃至未知数据。算法：本质就是通过优化算法减少上面介绍的推理值与实际值的Gap

深度学习超大模型的分布式训练的探索（一）1 背景​数据是算法的石油，伴随着近年来大数据的广泛兴起与机器算力的巨大提升，深度学习大行其道，已经深入到了人们生活的方方面面。在搜索、推荐、购物、广告、短视频以及金融风控等领域，深度的影响着亿万大众。​这些行业每天都在产生大量的数据，超大规模的数据量促进深度学习技术的发展，同时模型变大后也需要更多数据来训练，以前的单机训练逐渐变成了集群训练，成为一个循环，

深度学习利器-GPU介绍1 深度学习之GPU近代史科技发展日新月异，摩尔定律从中显威，各种底层技术层出不穷，但是纵观科技发展史，几乎所有的新兴学科的发展背后都有一个字——“钱”！作为近年来最火热的行业——人工智能，在烧钱方面同样不遑多让。众所周知，人工智能的训练和推理都需要海量的高性能计算，做深度学习的朋友都知道，现今深度学习领域的SOTA模型往往需要巨大的显存空间，这直接导致了深度学习的研究者们

1 背景最近几年，基于法律法规对于用户隐私的立法以及用户对于隐私的认知增强，对于数据的“采 传 存 算的模式”都提出了巨大的考验与挑战，甚至以往的数据运作模式都存在被颠覆的可能，需要相应的前瞻性布局，因此这几年隐私计算技术的发展如火如荼，各大公司争相投入重兵。在欧洲，2016 年发布、2018 年开始强制执行的《通用数据保护条例》（General Data Protection Regulatio

一 背景隐私保护近年来，随着大数据与人工智能的盛行，针对个人的个性化的推荐技术的不断发展，人们在享受便利的同时，也深深的感觉到无处不在的监控与监视，比如刚刚浏览了一个网站的商品，当去其他网站访问的时候就会推荐类似的产品；刚刚搜索了某件商品，在很多其他的场景中都会给你推荐。❝这种体验，提供了一些便利，刚开始大家都感觉互联网非常智能化，但是如果仔细想想，就感觉自己的网上进行裸奔，你做了什么，别人都是一