logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【分布式哈希表DHT】

第 1代 P2P 文件网络需要中央数据库协调,例如在 2000年前后风靡一时的音乐文件分享系统 Napster。在 Napster中,使用一个中心服务器接收所有的查询,服务器会向客户端返回其所需要的数据地址列表。这样的设计容易导致单点失效,甚至导致整个网络瘫痪。

文章图片
#分布式#散列表
【中间件——基于消息中间件的分布式系统的架构】

所谓高可用:是指产品在规定的条件和规定的时刻或时间内处于可执行规定功能状态的能力。当业务量增加时,请求也过大,一台消息中间件服务器的会触及硬件(CPU,内存,磁盘)的极限,一台消息服务器你已经无法满足业务的需求,所以消息中间件必须支持集群部署。来达到高可用的目的。所谓高可用是指:是指系统可以无故障低持续运行,比如一个系统突然崩溃,报错,异常等等并不影响线上业务的正常运行,出错的几率极低,就称之为:

文章图片
#中间件#架构
【RabbitMQ——消息应答机制——分布式事务解决方式】

NONE值是禁用发布确认模式,是默认值创建一个自己的消息确认类。

文章图片
#分布式#rabbitmq
【论文阅读:Towards Efficient Data Valuation Based on the Shapley Value】

基于Shapley值的高校数据价值评估主要贡献提出了一系列用于近似计算Shapley值的高效算法。设计了一个算法,通过实现不同模型评估之间的适当信息共享来实现这一目标,该算法具有可证明的误差保证来近似N个数据点的SV,其模型评估数量为O(Nlog(N)2)O(\sqrt Nlog(N)^2)O(N​log(N)2)这个算法依赖于学习算法的稳定性,对于复杂的ML模型,如深度神经网络,这很难证明。此外

文章图片
#论文阅读
【隐私计算实训营——005隐语PSI介绍及开发实践】

定义:PSI(Private Set Intersection)是一种协议,用于比较两个私有集合的元素,并在不泄露集合成员身份的情况下确定两个集合的交集。

文章图片
#分布式#数据分析#大数据
【论文阅读:Towards Efficient Data Valuation Based on the Shapley Value】

基于Shapley值的高校数据价值评估主要贡献提出了一系列用于近似计算Shapley值的高效算法。设计了一个算法,通过实现不同模型评估之间的适当信息共享来实现这一目标,该算法具有可证明的误差保证来近似N个数据点的SV,其模型评估数量为O(Nlog(N)2)O(\sqrt Nlog(N)^2)O(N​log(N)2)这个算法依赖于学习算法的稳定性,对于复杂的ML模型,如深度神经网络,这很难证明。此外

文章图片
#论文阅读
【联邦学习贡献评估-参与方贡献评估方案的介绍】

个体法和留一法对参与方贡献的度量简单、高效, 贡 献评估代价随着参与方数量线性增长. 但是这两种方法不满足贡献评估的公平合理性需求, 无法公平、有效 地度量各参与方在联邦合作中的贡献. 比如, 它们无法兼顾考虑到不同参与方持有相似数据集或互补数据集 下的评估合理性, 无法为联邦发掘出最优的参与方组合, 获取对联邦最完备有效的任务数据.夏普利值和最 小核方法均满足合理性、对称性和零贡献性质, 满足联

文章图片
#机器学习#人工智能#分布式 +1
【论文阅读——跨机构联邦学习的激励机制综述】

在联邦学习中,参与者进行本地模型 训练需要消耗本地的计算资源和通信资源,若是没有合理 的激励机制,参与者有可能出现不参与,消极参与,中途 退出等不好的情况。同时部分恶意参与者可能会破 坏训练过程。因此,需要设计相应的激励机制保持跨机构 合作的稳定性和持续性。

文章图片
#论文阅读#分布式#数据分析 +1
源码解读——SplitFed: When Federated Learning Meets Split Learning

源码里一共包含了5个py文件单机模型(Normal_ResNet_HAM10000.py)联邦模型(FL_ResNet_HAM10000.py)本地模拟的SFLV1(SFLV1_ResNet_HAM10000.py)网络socket下的SFLV2(SFLV2_ResNet_HAM10000.py)使用了DP+PixelDP隐私技术(SL_ResNet_HAM10000.py)使用的数据集是:HAM

文章图片
#论文阅读#分布式
【论文阅读:Data Shapley: Equitable Valuation of Data for Machine Learning】

ϕi​ϕi​0πtv0t​上述算法存在一个比较严重的问题,就上每次都要重新训练模型。这在联邦学习场景下几乎是不能被接受的。

文章图片
#论文阅读#机器学习#人工智能
    共 22 条
  • 1
  • 2
  • 3
  • 请选择