logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据Hadoop生态圈

存储: HDFS(namenode,datanode)计算:MapReduce(map+reduce,基于磁盘)便于用sql操作:Hive(核心 metastore,存储这些结构化的数据),同类的还有Impala,hbase等基于yaml的资源调度hive :通过 HQL访问,适合执行ETL,报表查询,数据分析等数据仓库任务支持运行在不同的计算框架,包括MapReduce,Spark,Tez等支持

文章图片
#大数据#hadoop#分布式
Azkaban 大数据 任务调度

Azkaban: 是一个定时、批量工作流任务调度器特点:1 兼容任何版本的hadoop2 易于使用的web用户界面3 简单的工作流上传4 方便设置任务之间的关系5调度工作流6模块化和可插拔的插件机制7认证/授权8能够杀死并重新启动工作流9有关失败和成功的电子邮件提醒简单的工作流:crontab复杂的工作流:azkaban,ooizeAzkaban的三个关键组件1...

文章图片
#大数据
JVM理解学习

栈:程序运行需要的内存空间虚拟机栈: 每个线程运行时所需要的内存数据结构:先进(压栈)后出(出栈)一个栈可以看成多个栈帧组成,每个栈帧可以看成每个方法的运行时需要的内存(参数,局部变量,返回地址等)定义1 每个线程运行时所需要的内存,成为虚拟机栈2 每个栈由多个栈帧(Frame)组成,对应着每次方法调用时所占用的内存3 每个线程只能有一个活动栈帧,活动栈帧即当前正在执行的那个方法1 垃圾回收是否涉

文章图片
#jvm#学习
Java里的Swing简单应用

AWT:1 创建框架2 加入容器3 容器里添加布局方式      Frame frame=new Frame("AWT窗口");  //创建Frame框架Container con=new Container(); //获得窗口的底层容器con.setLayout(new FlowLayout());//容器里的布局方式Button btn=new Button

DataX学习详解

DataX 是阿里巴巴开源的一个 异构数据源离线同步工具致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP,MongDB等各种异构数据源之间稳定高效的数据同步功能(简而言之:不同数据源的离线同步工具)

文章图片
#学习
简单配置文件struts1.x

新建一个Servlet类继承Action,实现execute方法新建一个Form类继承ActionFormweb.xml配置actionorg.apache.struts.action.ActionServletconfig/WEB-INF/struts-config.xml0action*.do

到底了