logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

部署Azkaban任务调度器demo

今天在虚拟机上面配置了一个Azkaban的任务调度器,这是由Linkedin公司开源的一个大批量工作流任务调度器(任务量不大的话crontab和hadoop的jobController 结合起来也可以实现任务的调度);下面我们来部署下Azkaban:1.需要下载三个包azkaban-web-server-2.5.0.tar.gzazkaban-executor-server-2.5.0.t

#hadoop
java虚拟机钩子关闭函数addShutdownHook

当jvm虚拟机被关闭的时候,可能我们需要做一些处理,比如对连接的关闭,或者对一些必要信息的存储等等操作,这里就可以借助于虚拟机提供的钩子函数,当jvm虚拟机关闭之前会去调用addShutdownHook注册的线程钩子。这里做一个小实验,项目结构如下:1.自定义的ApplicationContext的上下文package cn.lijie;public class ApplicationConte

JVM的堆和栈以及GC算法的介绍

JVM就是java虚拟机,我们可以把它理解成一个操作系统,每个不同的平台都有不同的JVM,比如linux系统和windows系统,就是因为这个原因所以java程序就有了一个很突出的特性就是 跨平台性其中JVM中的堆和栈这两个东西以及它的垃圾回收机制是我们平时遇到得最多的,那么下面就介绍一下JVM的堆栈以及GC。1.JVM的堆栈栈:在jvm中栈用来存储一些对象的引用、局部变量以及计算...

#jvm
查看linux系统的cpu个数线程数量以及型号

查看物理CPU个数cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l查看每个物理CPU中core的个数(即核数或者线程数)cat /proc/cpuinfo| grep "cpu cores"| uniq查看逻辑CPU的个数cat /proc/cpuinfo| grep "processor"| wc -l查看CPU信息(型号)cat

zookeeper递归删除znode节点java Demo

因为zookeeper只允许删除叶子节点,如果要删除非叶子节点,只能使用递归,zookeeper的文件结构是树型结构,和linux的目录结构相似,所有程序和我之前写的递归删除本地文件和递归删除hdfs上的文件是差不多的,这里也分享下吧。下面是zookeeper的存储结构示意图:如果要删除上面方块节点,必须递归删除,圆形的叶子节点可以直接删除。1.MyWatch类/*** 自定义watch类,

#java#zookeeper
jenkins发布tgz包到远程服务器执行

以前使用jenkins都是测试弄得,只不过之前自己来玩了下,里面的配置其实应该是只将需要的jar包上传或者覆盖掉远程服务器上面然后再restart程序(http://blog.csdn.net/qq_20641565/article/details/79132797),而非上传整个tar包到远程再解压。但是下面的内容我也不想修改了,将就看看吧。jenkins是一个很好用的自动化构建工具用于开发

#jenkins
Hbase的读写流程、快照管理以及RegionServer,Region,StoreFile,Hfile,ColumFamily的关系

下面是hbase的架构图:1.hbase的写操作首先client端写操作会先访问zookeeper获取hmaster的地址,然后访问hmasterhmaster会将处理这次操作的HRegionServer服务的地址给client,然后client会去请求对应的HRegionServer如果设置了AWL(Write-Ahead-Log)预写日志,那么HRegionServer会先进行预写日志操作,并

#hbase
Dubbo分布式日志追踪

很多互联网公司都用的dubbo分布式框架进行微服务的开发,一个大系统往往会被拆分成很多不同的子系统,并且子系统还会部署多台机器,当其中一个系统出问题了,查看日志十分麻烦所以我们需要一个固定的流程ID和机器ip地址等来把所有的日志穿起来,当然可以通过调用其他接口时参数进行传递,但是这样子对代码的耦合性太强,对代码有侵入性。我们可以通过dubbo的filter 结合slf4j的MDC或者log4j2的

jenkins插件Git Parameter Plug-In分支构建项目

jenkins插件 Git Parameter Plug-In参数构建,可以在构建的时候选择git的某一个分支来构建服务,其中jenkins的老版本中用的Dynamic Choice Parameter这个插件,但是新版本这个插件已经被Git Parameter Plug-In它代替了。首先需要安装Git Parameter Plug-In这个插件,然后构建一个job,并且在参数化构建选

json解析神器 jsonpath的使用

如果项目需求是从某些复杂的json里面取值进行计算,用jsonpath+IK(ik-expression)来处理十分方便,jsonpath用来取json里面的值然后特殊的计算自定义IK表达式.下面简单介绍下jsonpath的使用方法:根节点:$当前节点:@子节点:

    共 30 条
  • 1
  • 2
  • 3
  • 请选择