备注：由于现在默认Linux默认使用的都是Centos7，默认会安装Mysql,需要手动先进行卸载，如果卸载后续，安装启动的时候，自己安装的MySql启动的时候回调用系统自带的配置文件，启动会各种异常.......第一步：查看mysql安装rpm -qa|grep -i mysql第二步：卸载Mysqlrpm -ev --nodeps 【上一步查询...

第一步：下载地址https://www.postgresql.org/第二步：点击Download，就来到下载页，这里点击Linux下面的Other Linux选项，然后点击下方的tar.gz archive下载二进制归档第三步：然后就来到最终的pgsql下载页了，地址为https://www.enterprisedb.com/download-postgresql-bin...

一、为什么要书写此文档？因为Docker容器思想一个容器只做一件事，所以JavaWeb整体会在一个容器中，数据库（Mysql，redis，Hbase）会单独存在另一个容器中，势必会造成容器之间的通信，由于Docker容器之间采用沙箱隔离运行机制，所以在不同容器之间数据通信就成了一个大问题！二、如何解决容器之间数据通信问题？（link第一种方式）有两种方案，第一种搭建容器的桥接网络（...

前言博主在使用CDH大数据平台时发现，CDH长时间运行，Cloudera Manager管理页面在运行Spark任务时候经常会出现内存交换警告，前期博主直接忽略，毕竟不是什么大问题，后期发现如果长时间黄色警告不处理，会误导页面查看集群状态，并且交换空间所占用磁盘空间越来越大，并且警告越来越多，后续还会有从黄色变为红色异常等情况，后进入管理界面发现，CDH在安装时，Linux操作系统，有选择交换空间

1、准备大数据平台迁移工作由于公司项目业务需求，需要将两个项目的大数据平台进行迁移，业务数据进行跨平台平移。前提（大数据平台之间网络互通）第一种方案（Linux原生远程Shell命令拷贝）①将Hive数据通过MR写到其他Linux文件夹中：hive> insert overwrite local directory '/usr/test' select * from test;上述是通过MR

2010年，几个搞IT的年轻人，在美国旧金山成立了一家名叫 dotCloud 的公司这家公司主要提供基于PaaS的云计算技术服务。具体来说，是和LXC有关的容器技术LXC，就是Linux容器虚拟技术（Linux container）后来，dotCloud公司将自己的容器技术进行了简化和标准化，并命名为——DockerDocker技术诞生之后，并没有引起行业的关注。而dot...

SparkStreaming实时消费Kafka数据，批量写入Mysql数据库，Java版本

SparkStreaming消费Kafka数据入HDFS

产生背景：由于工作需要，目前现有查询业务，其他厂商数据库无法支持，高效率的查询响应速度，于是和数据总线对接，实现接入数据，自己进行数据结构化处理。技术选型：SparkStreaming和Kafka和ElasticSearch本人集群：SparkStreaming 版本2.3，Kafka的Scala版本2.11-Kafka版本0.10.0.0（Kafka_2.11-0.10.0.0.jar）消息总线

使用Maven的Java项目，连接Hbase服务器不会报错，但是将相同的代码，拷贝到Spring Boot项目中就会报错，怀疑过是不是容器出了问题。Could not locate executable null\bin\winutils.exe in the Hadoop binaries百度查询各种答案，发现网络博客口径普遍都是说 缺少Hadoop的系统环境变量，如果下载的Hado...