logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

使用AWS Glue与AWS Kinesis构建的流式ETL作业(二)——数据处理

说明:在此脚本中,引入了python其他的包。写入PG使用的是sqlalchemy,是为了实现有则更新,无则写入的操作。若无特殊要求,可参考 “2.4.1”由于Glue Job 在运行的时候,是在独立的服务器上,因此不能直接访问到私有子网中的服务。于是借助Glue连接,可以使得Job在运行时连接AWS服务。类型的Job,因此Job会一直运行。需要注意的是:RedShift需要创建一个终端节点,具体

文章图片
#aws#etl#云计算
基于AWS Serverless的Glue服务进行ETL(提取、转换和加载)数据分析(二)——数据清洗、转换

到这一步,我们已经使用Glue ETL对s3桶中的数据进行了清洗、分区操作。在进行上篇中的Athena操作后,我们已经可以通过Athena直接查询到清洗、分区后的数据集了。接下来,我们会通过使用APIGateway+Lambda+Athena来构建一个无服务器的数据查询分析服务。

文章图片
#aws#serverless#etl
使用aws搭建一个区块链(私有链)-- 搭建篇A

由于aws提供的托管模式的区块链的搭建,我们通过aws的Amazon Managed Blockchain配合docker + Hyperledger Fabric 来搭建属于我们自己的区块链服务(私链)或直接加入到公链里面。地址:https://console.aws.amazon.com/managedblockchain/到此我们在aws控制台上的操作已经完成了,接下来我们要在ec2上通过d

#aws#区块链#云计算
使用aws搭建一个区块链(私有链)-- 搭建篇B

【代码】使用aws搭建一个区块链(私有链)-- 搭建篇B。

#aws#区块链#docker
学习负载均衡的算法

一致性哈希(Consistent Hashing)是一种特殊的哈希技术,广泛应用于分布式系统中,用于解决数据的分布式存储问题。在传统的哈希表中,如果哈希空间的大小发生变化(例如,增加或减少服务器),几乎所有的键值对都需要重新映射,这会导致大量的数据迁移,对系统的性能和稳定性产生影响。一致性哈希通过引入虚拟节点和环形哈希空间的概念,使得哈希空间的大小变化时,只有一小部分的键值对需要重新映射。这大大减

文章图片
#学习#负载均衡#算法
到底了