logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

在大数据平台上实现数据治理服务分库分表的实践记录

之前基于大数据平台实践过几个项目,近期在新的公司要实现一个数据治理的分布式服务平台,把项目的部分实践经验记录并分享一下。此项目的一部分服务实现了一级经分、一级电渠、一级能开及DPI海量数据的汇聚与统计。技术方案是对离线隔天数据进行治理。通过ETL实现了离线数据加载和异构的调度,其中整个数据治理服务流程用到了分库分表,分为ODS库、DW库、MK库和APP库。ODS库存储的是源数据;DW库实现对源..

#大数据
基于Docker的远程搭建Eureka微服务注册中心高可用集群实践指引

由于新的工程项目需要基于Docker建立微服务体系,所以周末将以前的实践整理成文章分享给小伙伴。为方便开发调试,本文预先基于Ubuntu搭建了Docker运行环境做为远程Docker环境,然后在本机通过IDEA连接远程Docker环境,实现将Eureka注册中心编译成Docker镜像并自动推送到远程环境,通过配置文件实现Eureka注册中心的高可用集群的搭建。步骤如下:一、在POM文件中使工...

#微服务
基于通信网关获取手机号码的核心设计与实现

通常H5手机取号有两种方式,一种是通过与内嵌APP的单点登录获取,另外一种是通过移动/联通/电信网关获取。去年很多项目用到了第二种手机取号服务,现在此功能已经沉淀到共享微服务中,现总结一下通过通信网关进行手机取号服务端的核心设计流程,并跟大家介绍一下如何实现。一、手机取号服务端的设计核心流程如上图所示,基于通信网关获取手机号码,需要前端与后端的配合,手机终端通过通信网关访问网络,手机终端的...

#java#html5
到底了