【ketlle抽取Orecle/Mysql数据至HDFS】诸如‘\u0001’等特殊分隔符表示法前言设计问题分析解决办法后记前言由于需要设计一个每天多批次的定时作业，由于单端逻辑不能抽取出目标数据，其中涉及了跨库问题，因此需要从mysql、Oracle数据库中将数据同步至一个统一的环境中（hive），那么由于数据量大（百亿级），关联数据要从各个业务部门自有的数据库导入，kettle无疑成了最好..

【gitlab+jenkins+docker】手把手教你搭建基于gitlab+jenkins+docker的项目的自动化部署流程前言路径创建封装docker启动命令创建启动配置文件启动页面配置上传代码后记前言使用现成的docker容器能够快速搭建gitlab服务，且管理起来很方便，具有容灾、可移植等优点路径创建为了避免不必要的错误，建议数据存放路径与我这里保持一致：[root@JackR...

【大数据入门笔记系列】第六节分布式计算框架MapReduce的工作原理MapReduce分布式运算MapReduceApplicationMapReduce分布式运算MapReduce分布式运算程序至少分成两个阶段：第一阶段各个节点独立完成所分得的计算任务，这个时候各节点保持着并发运行，这便是Map阶段；第二阶段就是统计第一阶段的结果，统计实例根据统计内容可以为多个（有些统计只能有一...

【大数据入门笔记系列】大数据常用组件大数据释义大数据组件大数据释义近些年来，坊间一直流传着这样的言论：“大数据时代，人人都在裸奔”。对于外行人来说，对于“大数据”这个词最直观的理解就是“大的数据集”，这样理解是没有错的，但对于行内人来说，这样的理解就太过苍白了。大数据究竟指的是什么？答：大数据是指在一定时间内无法用常规软件工具对其内容进行抓取、管理和处理的数据集合。适用于大数据的技术有...

Centos7.6 VMware扩展磁盘空间前言扩容过程后记前言受2020年初的新型肺炎病毒影响，多日宅在家中无聊至极，昨天找了台旧笔记本(8G运行内存，256G磁盘空间)搭建CDH6.1，找到以前保存的三台虚拟机文件以及一块1T的移动硬盘后，博主将虚拟机文件均放置在移动硬盘上，便开始搭建了。性能不好的机器搭这种环境很是棘手，提前对主节点磁盘进行扩容，又花费将近八个小时搭建完成后（大部分时间...

关于Yum的妙用想必大家都略知一二，这里就不再赘述，直接进入正题：首先要确认，iso镜像已经挂载，进入虚拟机设置里确认一下，如下图这般便是挂载好了：在保证iso镜像成功挂载的前下，我们打开虚拟机，创建一个挂载目录：mkdir /mnt/cdrom创建完成后，我们执行如下命令完成挂载：sudo mount -t iso9660 /dev/cdrom /mnt/cdrom接着进入/et...

【gitlab+jenkins+docker】手把手教你搭建基于gitlab+jenkins+docker的项目的自动化部署流程前言python后记前言根据上一节介绍，下载我的资源列表里的“gitlab+jenkins+docker自动化部署脚本”并解压至宿主机“/opt”目录下后，又修改了相关IP，由于主要用于模板化的python脚本都做了封装，只接受外来的参数便可以完成相应的动作，所以对于..

【gitlab+jenkins+docker】手把手教你搭建基于gitlab+jenkins+docker的项目的自动化部署流程前言SQL语句布置脚本信息收集后记前言在上一节交代，之所以需要维护一张docker容器信息表，是为了做到ip和port等信息的统一分发与管理。SQL语句话不多说，直接贴创建语句：SET NAMES utf8mb4;SET FOREIGN_KEY_CHECKS ...

【gitlab+jenkins+docker】手把手教你搭建基于gitlab+jenkins+docker的项目的自动化部署流程前言jenkinsPost Steps运行job前言下面我们进行最后的工作，生成容器启动项目。jenkins回到我们的jenkins页面，点击我们的任务，进入配置：拉至最末端的Post Steps：下面介绍下这段代码。Post Steps代码明细：P...

【大数据入门笔记系列】Zookeeper简介前言Zookeeper简介选举方式脑裂问题跳转前言上一节介绍了，Zookeeper是一种分布式的、开放源码的分布式应用程序协调服务，该服务用于维护配置信息、提供分布式同步以及分组等事务。Zookeeper简介Zookeeper为其他集群提供服务，比如服务的主从选举、客户端的注册监听，Zookeeper内部也是一个集群，且通常节点的数目是奇数个（划...