logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

etl数据调度平台系统类别的实现方法及工作流程

什么是调度系统调度系统,更确切地说,作业调度系统(Job Scheduler)或者说工作流调度系统(workflow Scheduler)是任何一个稍微有点规模,不是简单玩玩的大数据开发平台都必不可少的重要组成部分。除了Crontab,Quartz这类偏单机的定时调度程序/库。开源的分布式作业调度系统也有很多,比较知名的比如:oozie,azkaban,chronos,zeus等等,此外,还有包括

#运维#负载均衡#数据挖掘 +2
Docker 起死回生了

Docker 公司在近两年里一直深陷生存危机。2019 年时两度更换 CEO、毅然出售企业业务之后,人们对于 Docker 曾经一度看衰。2020 年 12 月,Kubernetes 表示在 1.20 版本中弃用 Docker 支持,让 Kubernetes“不再依赖”Docker,更是让人觉得 Docker。但令人意外的是,Docker 公司把握住了重大历史机遇并快速重组为了一家专注于开发者群体

#容器#docker#大数据
扫盲篇-什么是分布式任务调度

什么是任务调度我们可以先思考一下下面业务场景的解决方案:某电商系统需要在每天上午10点,下午3点,晚上8点发放一批优惠券。某银行系统需要在信用卡到期还款日的前三天进行短信提醒。某财务系统需要在每天凌晨0:10结算前一天的财务数据,统计汇总。12306会根据车次的不同,而设置某几个时间点进行分批放票。某网站为了实现天气实时展示,每隔5分钟就去天气服务器获取最新的实时天气信息。以上场景就是任务调度所需

#分布式#zookeeper
暂无文章信息