简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
Linux 时钟分为系统时钟(System Clock)和硬件(Real Time Clock ,简称RTC )时钟。系统时钟是指当前Linux Kernel中的时钟,而硬件时钟则是主板上由电池供电的时钟,这个硬件时钟可以在BIOS中进行设置。当Linux 启动时,硬件时钟会去读取系统时钟的设置,然后系统时钟就会独立于硬件运作。Linux中的所有命令(包括函数)都是采用的系统时钟设置。在L
在linux中查看线程数的三种方法1、top -H手册中说:-H : Threads toggle加上这个选项启动top,top一行显示一个线程。否则,它一行显示一个进程。2、ps xH手册中说:H Show threads as if they were processes这样可以查看所有存在的线程。3、ps -mp手册中说:m
之前写过一篇这个文章:http://blog.csdn.net/stark_summer/article/details/47361603,那个时候 linux环境 spark 使用snappy方式压缩任然不好用,而今天我同事hive on hadoop 使用snappy压缩方式也报这个错,此刻的我,感觉这个问题 一定要解决我想了想,只能使用最笨的方式先解决这个问题了,将libsnappyja
检查 Mac OS version要求必须是 OS X 10.6 Snow Leopardor newer to run Boot2Docker安装 Boot2Docker列表内容下载地址:https://github.com/boot2docker/osx-installer/releases/download/v1.7.0/Boot2Docker-1.7.0.pkg下载后点击安装
HBase 系统架构图 组成部件说明 Client: 使用HBase RPC机制与HMaster和HRegionServer进行通信 Client与HMaster进行通信进行管理类操作 Client与HRegionServer进行数据读写类操作 Zookeeper: Zookeeper Quorum存储-ROOT-表地址、HMa
1、下载路径为:2、安装:第一步 解压zookeeper压缩包:
jetty命令行方式启动jetty-runner.jar 容器jetty命令行方式启动jetty-runner.jar 容器
1、clover分布式调度介绍clover分布式任务调度是完全使用Java技术自主开发特点如下:1、防单点故障2、job可部署多台,但任务调度时,只有一台参执行。如果一台下线,clover选择其他已在zookeeper注册job来执行。3、可管理监控程序 ,相关负责人的job不可用会发送邮件通知4、提供管理后台,可手动
kafka 是一个分布式的、分区的、复制的提交日志服务。这意味着什么呢?首先让我们回顾下几个基本的消息术语- kafka 维护的类别称为主题的消息源。- 我们调用生产者处理发布消息到kafka 主题。- 我们调用消费者处理订阅的主题,处理发布的主题的消息源。- kafka 运行在一个或者多个称为broker的服务的集群。因此,在一个较高的水平,当生产者通过网络发送消息到kaf
目前 ssg内公司内部 spark streaming 处理数据源是kafka目前遇到最大的问题是,会延迟,例如我们配置1分钟让窗口计算一次,很有可能随着数据量大,我们计算时间会超过1分钟,这样就会导致卡死在哪里,streaming一直累计算出不了结果,而且从监控还看不出有问题,只有从结果监控发现结果出不来。解决方案:增加kafka的partition配置,配合streaming的线程数,