最近跟进了一个项目组，还没开始要我们自己了解一下docker与Kubernetes（K8s）。为了更方便使用docker，研一的学长推荐我安装centOS。PS：原先用Ubuntu，看他们都是centOS，还是统一一下吧。学长给我发了iso镜像文件，在VMware中新建虚拟机，选择指定的iso镜像文件路径，然后一直下一步下一步到新建好。直接打开虚拟机，使用yu...

     首先要事先搭建好hadoop平台，配置相关的参数与环境变量。1、打开虚拟机，打开hadoop节点     打开VMware，启动虚拟机。再启动Xshell，使用 hadoop文件夹中的sbin中的start-all.sh来打开hadoop节点。     打开节点后可以通过jps指令看看节点打开情况。2、获取虚拟机的地址ip，打开hadoop平台     我的IP为...

今天安装了新的Linux虚拟机------镜像为ubuntu-16.04.4-server-amd64.iso，所以要重新下载软件并配置环境变量，这里就选了三个应用配置环境变量。前言：首先先将jdk-8u65-linux-x64.gz、kafka_2.12-1.0.0.tgz、zookeeper-3.4.11.tar.gz压缩文件上传到Linux虚拟机中，再将这些...

前几天安装好了本地的Gitlab服务器，都没什么问题，可以直接打开。但是今天一通过http//192.168.1.164:9090来访问直接报了502错误。如下图：502错误就是网关错误：服务器正在作为一个网关或代理来完成客户访问所需网址的请求。 为了完成该请求，此服务器访问一个上游服务器， 但收到无效响应。这通常并不意味着上游服务器已关闭（对网关 / 代理无响应），...

docker已经从昨天下午开始到现在装了两天了，真的一直在爬坑，遇到了各种问题，网上各种解决办法，有些配置文件改的我中间还重装了系统一次。今天终于解决了，中间遇到了[Errno 14] curl#35 - "TCP connection reset by peer这个问题，也解决了，写这一篇博客纪念一下装好docker，也给遇到这个问题的童鞋一个方案，亲测可以用。遇...

一、首先下载并安装maven这里就不主要阐述了，下载、安装与配置本地仓库路径的步骤可以看这里：https://blog.csdn.net/JJBOOM425/article/details/102808157要是有不想去官网下载maven的同学可以使用下面这个百度云：链接: apache-maven-3.6.2-bin.zip提取码: t4fy我分享了现在最新的maven...

之前我已经安装好了目标端的Oracle GoldenGate for Big Data。可以看这篇博客：Oracle Golden Gate(OGG)学习——目标端安装Big DataLinux系统中先进入到OGG安装的目录，使用 ggsci 打开控制程序：1、配置mgr进程GGSCI > edit params mgr目标端mgr进程配置信息：PORT 7809DYNAMICPORTLIS

如果在CDH中安装过Kafka后，后面需要重新安装则可以参考此篇博文。一、删除Kafka产生的data重新安装kafka，后面重新分配的kafka一直安装不成功，是因为停用时不会删除已经有点数据。所以需要注意删除 /var/local/kafka/data 下的数据文件，可以看这个路径下的文件：二、删除 Kafka 在 Zookeeper 中产生的主题数据首先先连接 Zook...

首先通过这篇博客我们可以在CDH中安装好Kafka：CDH添加Kafka服务上面安装好Kafka已经可以创建Topic，并且Topic信息所搭建的集群均可以同步。后面因为还需要测试一下消息传输，发现开启了生产者与消费者后，在生产者发送消息到Topic时报超时，并且消费者也一直没有接受到数据。然后后面一直在解决这个问题到后面一直报异常输出 WARN clients.NetworkClient ，还.

接下去需要通过kafka传送数据，刚刚同事在cdh中新建的kafka，我想在里面创建topic。直接上手：kafka-topics --zookeeper localhost:2181 --create -replication-factor 1 --partitions 3 --topic testCDH中使用kafka指令跟kafka文档中说明的指令不一样，具体可以看这篇博文。 ...