logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

国产免费数据仓库ETL调度自动化运维专家—TASKCTL

TASKCTL是一款企业级完全国产免费的ETL批量调度作业处理平台;支持各类脚本任务程序和扩展;具备可视化图形拖拽设计界面以及可视化任务管理、计划调度、实时监控、消息预警和日志分析;有效弥补了传统ETL工具在调度管理和监控分析方面不足。

文章图片
#数据仓库#database#etl +1
简单的 Kafka:没有 ZooKeeper 的 Kafka

Apache Kafka®的核心是日志。日志是一个简单的数据结构,它通过顺序读写与底层硬件密切配合。以日志为中心的设计利用了高效的磁盘缓冲、CPU 缓存、预读、零拷贝等许多特性,从而带来了众所周知的高效率和吞吐量。对于那些刚接触 Kafka 的人来说,这些主题以及它作为提交日志的底层实现,通常是他们学习 Apache Kafka 的第一件事。但是日志本身的代码在整个系统中只占相对较小的一部分。Ka

#kafka#zookeeper#大数据 +1
Docker 起死回生了

Docker 公司在近两年里一直深陷生存危机。2019 年时两度更换 CEO、毅然出售企业业务之后,人们对于 Docker 曾经一度看衰。2020 年 12 月,Kubernetes 表示在 1.20 版本中弃用 Docker 支持,让 Kubernetes“不再依赖”Docker,更是让人觉得 Docker。但令人意外的是,Docker 公司把握住了重大历史机遇并快速重组为了一家专注于开发者群体

#容器#docker#大数据
扫盲篇-什么是分布式任务调度

什么是任务调度我们可以先思考一下下面业务场景的解决方案:某电商系统需要在每天上午10点,下午3点,晚上8点发放一批优惠券。某银行系统需要在信用卡到期还款日的前三天进行短信提醒。某财务系统需要在每天凌晨0:10结算前一天的财务数据,统计汇总。12306会根据车次的不同,而设置某几个时间点进行分批放票。某网站为了实现天气实时展示,每隔5分钟就去天气服务器获取最新的实时天气信息。以上场景就是任务调度所需

#分布式#zookeeper
到底了