联邦学习(FL)[17]使大量客户能够在不损害数据隐私的情况下对机器学习模型进行协作训练。在FL设置中，参与的客户机通常部署在各种环境中，或者由一组不同的用户拥有。因此，每个客户机本地数据的分布可能会有很大差异(即数据异构性)。因为客户端训练发生在它们自己的数据上，所以它们趋向于各自的局部最小值。然而，这个局部收敛点可能与全局模型的目标(即，通过中央服务器的聚合学习模型)不太一致。因此，客户端模型

图数据是由节点（Node）和边（Edge）组成的数据，最简单的方式是使用邻接矩阵来表示图形结构，从而捕捉图形中的节点和边的相关性。假设图中的节点数为n，那么邻接矩阵就是一个n*n的矩阵，如果节点之间有关联，则在邻接矩阵中表示为1，无关联则为0。在图中，鲁班与其他英雄都没有关联，表现在邻接矩阵当中就是它所在的行与列为全零。王者荣耀当中的图和邻接矩阵图数据的信息包含3个层面，分别是节点信息（V）、边信

摘要随着数字营销4.0的日趋成熟，大数据营销成为营销科学的研究重点，而其中，销量的准确预测具有重要意义，它对于自身营销规划、市场分析、物流规划都有重要意义。但是销量的预测受影响复杂，传统的基于统计的计量模型，比如时间序列模型等由于对现实的假设情况过多，在实际场景中应用，本文利用R语言和Python梳理并实现了当前主流的电商销量预测方法：第一类是计量统计模型，以ARIMA为代表；第二类是机器学习模型

OOM排查背景：微服务架构，几百个服务，运行在不同的容器上，总是莫名的同时出现十几个服务不可用，伴随着各个容器的状态异常，无法ping通，无法ssh上去，大量告警。。。总是莫名的有物理机宕机，每次查的时候总是无疾而终。。。验尸报告：Emmm，故障现场不够新鲜，检查的力度不够。。。故障之间总是有关联的，查出...

    在使用spark Mllib的时候，训练好的模型save之后，在线service需要load加载该模型，实现线上预测。    实际加载load的时候，抛出异常：Native snappy library not available: this version of libhadoop was built without snappy support    查了下，发现是因为Hado...

kerberos 介绍阅读本文之前建议先预读下面这篇博客kerberos认证原理---讲的非常细致，易懂Kerberos实际上一个基于Ticket的认证方式。Client想要获取Server端的资源，先得通过Server的认证；而认证的先决条件是Client向Server提供从KDC获得的一个有Server的Master Key进行加密的Session Ticket（Session K...

作者简介：Treant 人工智能爱好者社区专栏作者博客专栏：https://www.cnblogs.com/en-heng 引言PageRank是Sergey Brin与Larry Page于1998年在WWW7会议上提出来的，用来解决链接分析中网页排名的问题。在衡量一个网页的排名，直觉告诉我们：当一个网页被更多网页所链接时，其排名会越靠前；排名高的网页应具有更大的表决权，即...

1. 优化? Why? How? When? What?“spark 应用程序也需要优化？”，很多人可能会有这个疑问，“不是已经有代码生成器，执行优化器，pipeline 什么的了的吗？”。是的，spark 的确是有一些列强大的内置工具，让你的代码在执行时更快。但是，如果一切都依赖于工具，框架来做的话，我想那只能说明两个问题：1. 你对这个框架仅仅是知其然，而非知其所以然；2. 看来你也只...

几百个数据采集点、数百亿级数据量，手游产品的数据分析是怎么做的？数据分析的基础模型涵盖方差分析、因子分析、回归分析、主成分分析、聚类分析、逻辑回归、用户细分等等，游戏运营的数据分析通常依据AARRR海盗法则相对精简，业内专注对留存、付费及活跃的几个常用数据的分析。这里我们将介绍在游戏数据分析领域常用的5种数据分析模型。通过这些模型，分析师可以把数据与玩家行为、市场投放、运营活动、节假日等因...

说明在spark中map函数和flatMap函数是两个比较常用的函数。其中 map：对集合中每个元素进行操作。 flatMap：对集合中每个元素进行操作然后再扁平化。 理解扁平化可以举个简单例子val arr=sc.parallelize(Array(("A",1),("B",2),("C",3)))arr.flatmap(x=&