logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

docker centos yum install

1 安装docker centos 需要满足的条件如下:要安装Docker CE,您需要CentOS 7的维护版本。不支持或测试存档版本。该centos-extras库必须启用。默认情况下,此存储库已启用,但如果已将其禁用,则需要重新启用它。centos-extras: 在CentOS 5和6中,为CentOS提供附加功能而不破坏上游兼容性或更新基本组件,但...

文章图片
#docker
quartz当机器挂掉重启后定时任务后执行的策略

quartz,java世界里面的任务管理容器。至于为什么会有misfire这个概念,我想可以重这三个方面来进行说明:1 所有的线程都在忙于更高优先级的任务2 任务本身CRASH了3 代码的BUG,导置错误的设置了JOB基于这3种原因,其实也是现实世界中的常理。没有任何事情,都能保证100%运行OK。quartz提出了misfire的理论,让任务在错过之后,还能正常的运行。以下分别对几种类型的JOB

kafka segment file 解析

kafka 有几个重要的概念需要先了解一下broker:可以理解为kafka 所在的服务器zookeeper:分布式服务框架在kafka 中的作用主要负责保存topic ,partition 元数据,和对broker 的监控及治理,以及partition 的leader 选举(partition 可以有多个副本,但是只有一个处于工作状态,副本只是负责同步数据,当leader partiti...

#kafka
kafka的isr理解

问题如下:kafka 为了保证数据的一致性使用了isr 机制1 首先我们知道kafka 的数据是多副本的,每个topic 下的每个分区下都有一个leader 和多个follower,2 每个follower 的数据都是同步leader的 这里需要注意 是follower 主动拉取leader 的数据注意问题:follewer 只是数据的副本提供数据的可恢复性,本身和kafka 的读...

#kafka
redis sentinel高可用主从切换(非集群模式)

了解sentinelSentinel是Redis的高可用性(HA)解决方案,由一个或多个Sentinel实例组成的Sentinel系统可以监视任意多个主服务器,以及这些主服务器属下的所有从服务器,并在被监视的主服务器进行下线状态时,自动将下线主服务器属下的某个从服务器升级为新的主服务器,然后由新的主服务器代替已下线的主服务器继续处理命令请求。Redis提供的sentinel(哨兵)机制,通过s

#redis#spring
基于spark的数据采集平台

数据采集平台管理端https://github.com/zhaoyachao/zdh_web数据采集平台服务https://github.com/zhaoyachao/zdh_server平台介绍数据采集,处理,监控,调度,管理一体化平台具体介绍请看github连接中的readme 文档

#spark
基于spark的数据采集平台

数据采集平台管理端https://github.com/zhaoyachao/zdh_web数据采集平台服务https://github.com/zhaoyachao/zdh_server平台介绍数据采集,处理,监控,调度,管理一体化平台具体介绍请看github连接中的readme 文档

#spark
ZDH大数据采集平台-采集mysql数据到hdfs

目录项目源码创建mysql数据源创建本地hdfs数据源配置采集任务配置调度点击执行记录查看具体日志高级使用项目源码数据采集平台管理端https://github.com/zhaoyachao/zdh_web数据采集平台服务https://github.com/zhaoyachao/zdh_serverweb端在线查看http://zycblog.cn:8081/login用户名:zyc密码:123

文章图片
#spark#hdfs#hadoop
基于spark的数据采集平台

数据采集平台管理端https://github.com/zhaoyachao/zdh_web数据采集平台服务https://github.com/zhaoyachao/zdh_server平台介绍数据采集,处理,监控,调度,管理一体化平台具体介绍请看github连接中的readme 文档

#spark
大数据采集平台之ZDH_SERVER部署

目录项目源码下载源码打包部署运行项目源码数据采集平台管理端https://github.com/zhaoyachao/zdh_web数据采集平台服务https://github.com/zhaoyachao/zdh_serverweb端在线查看http://zycblog.cn:8081/login用户名:zyc密码:123456界面只是为了参考功能,底层的数据采集服务 需要自己下载zdh_ser

#spark#etl
    共 19 条
  • 1
  • 2
  • 请选择