logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据技术之DataX

1. 介绍:DataX是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(Mysql、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。2. 特点:① DataX侧重于同步数据库中的数据② DataX没有所谓版本号,这有这一个开源的版本③ 开源的,有些功能受限,商业版名为DataWorks。

#大数据#数据库#数据仓库
大数据技术之Hadoop(入门)

1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构;2)主要解决,海量数据的存储和海量数据的分析计算问题;3)广义上来说,Hadoop通常是指一个更广泛的概念--Hadoop生态圈;Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。Yet Another Resource Negotiator简称YARN ,另一种资源协调者,是Ha

#hadoop#大数据#apache
Andriod APP逆向——网络请求

Android网络请求常用模块常见的Web HTTP请求分为GET和POST请求,在python中使用的是urllib,requests模块,在Android里用的是okhttpretrofit模块,其中okhttp和retrofit的关系就和urllib和requests的关系一样,后者均是在前者的基础上做了二次封装,使其使用起来更加方便。Web HTTP请求的数据包可以分为两种形式,form表

#okhttp#android
大数据技术之Spark

1.1回顾:Hadoop主要解决,海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Hadoop的Yarn框架比Spark框架诞生的晚,所以Spark自己也设计了一套资源调度框架。区别1、MR是基于磁盘,spark是基于内存2、MR的task是进程3、spark的task是线程,在executor进程里执行的线程。4、MR在Container里执

#大数据#spark#hadoop +1
9.Paper小结——《VerifyNet: Secure and Verifiable Federated Learning》

题目:《VerifyNet: Secure and Verififiable Federated Learning》——《安全的和可验证的联邦学习》0.Abstract联邦学习作为一种新兴的神经网络训练模型,由于其能够在不收集用户原始数据的情况下更新参数而受到了广泛的关注。然而,由于对手可以从共享的梯度中跟踪和获得参与者的隐私,联邦学习仍然暴露在各种安全和隐私威胁中。在本文中,我们考虑了深度神经网

#安全
12.Paper小结——《BatchCrypt: Efficient Homomorphic Encryption for Cross-SiloFederated Learning》

题目:《BatchCrypt: Efficient Homomorphic Encryption for Cross-SiloFederated Learning》——《用于Cross-Silo联邦学习的高效同形加密》Chengliang Zhang, Suyi Li, Junzhe Xia, Wei Wang, Feng Yan, Yang LiuHKUST, University of Nev

#batch#同态加密
MySQL GTID

第1-n代表n个事务。当在主库上提交事务或者被从库应用时,可以定位和追踪每一个事务,对DBA来说意义就很大了,我们可以适当的解放出来,不用手工去可以找偏移量的值了,而是通过CHANGE MASTER TO MASTER_HOST='xxx', MASTER_AUTO_POSITION=1的即可方便的搭建从库,在故障修复中也可以采用MASTER_AUTO_POSITION=‘X’的方式。slave:

#mysql#数据库#java
2.Paper小结——《Privacy-preserving blockchain-based federated learning for traffic flow prediction》

题目:基于区块链的基于隐私保护的交通流量预测的联邦学习0.Abstract:交通流量预测已成为智能交通系统的重要组成部分。然而,现有的基于集中式机器学习的交通流量预测方法需要收集原始数据以进行模型训练,这涉及到严重的隐私暴露风险。为了解决这些问题,共享模型更新而不交换原始数据的联邦学习最近被引入,作为实现隐私保护的有效解决方案。然而,现有的联邦学习框架是基于一个集中的模型协调器,它仍然面临着严重的

#区块链
大数据技术之Spark

1.1回顾:Hadoop主要解决,海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Hadoop的Yarn框架比Spark框架诞生的晚,所以Spark自己也设计了一套资源调度框架。区别1、MR是基于磁盘,spark是基于内存2、MR的task是进程3、spark的task是线程,在executor进程里执行的线程。4、MR在Container里执

#大数据#spark#hadoop +1
    共 11 条
  • 1
  • 2
  • 请选择