解决启动datanode失败或无法启动问题问题产生原因：当我们执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.namenode.name.dir在本地系统的路径）中保存一个current/VERSION文件，记录clusterID，标识了所格式化的 namenode的版本。如果我们频繁的格式化namenode，那么datanode中保存（即配置文件中dfs.data...

上篇：第 8 节 Flinkonyarn集群HA配置1、Flink scala shell代码调试针对初学者，开发的时候容易出错，如果每次都打包进行调试，比较麻烦，并且也不好定位问题，可以在scala shell命令行下进行调试scala shell方式支持流处理和批处理。当启动shell命令行之后，两个不同的ExecutionEnvironments会被自动创建。使用senv(Stre...

上篇：第6章 HBase API操作（二）1、数据的封装使用多线程的线程安全对数据进行封装首先，创建一个工具类：HbaseUtil（操作工具类）具体代码实现：package studey.bigdate.util;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseCo...

虚拟机创建完成后，我们对我们物理机相应设置（1）首先是咱们本身物理机的一些配置：在我们的物理机中找到网络适配器点击更改适配器选项进入下图界面此时我们虚拟机用的网络是第二个图标VMnet8，点击右键属性进入下图双击击IPV4进入下图这里就是我们要在物理机 中设置的重点！我们不要用自动获得IP我要下自定义的。我在此说一下为何这么配置。首先这是我自己物理机的IPV4的网络，看看IP...

上篇：用户行为数据仓库 第 2 节 数仓搭建环境及ODS层加载数据脚本对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）。1、DWD层启动表数据解析1.1、创建启动表（1）建表语句hive (gmall)>drop table if exists dwd_start_log;CREATE EXTERNAL TABLE dwd_st...

上篇：第一章：Hive入门1、Hive安装地址1.1Hive官网地址：http://hive.apache.org/1.2文档查看地址：https://cwiki.apache.org/confluence/display/Hive/GettingStarted1.3下载地址：http://archive.apache.org/dist/hive/1.4github...

上篇：第5章 Cube构建优化可以与Kylin结合使用的可视化工具很多，例如：ODBC：与Tableau、Excel、PowerBI等工具集成JDBC：与Saiku、BIRT等Java工具集成RestAPI：与JavaScript、Web网页集成Kylin开发团队还贡献了Zepplin的插件，也可以使用Zepplin来访问Kylin服务。1、JDBC1）新建项目并导入依赖<...

虚拟机创建完成后，我们对我们物理机相应设置（1）首先是咱们本身物理机的一些配置：在我们的物理机中找到网络适配器点击更改适配器选项进入下图界面此时我们虚拟机用的网络是第二个图标VMnet8，点击右键属性进入下图双击击IPV4进入下图这里就是我们要在物理机 中设置的重点！我们不要用自动获得IP我要下自定义的。我在此说一下为何这么配置。首先这是我自己物理机的IPV4的网络，看看IP...

上篇：第5章 HBase原理1、判断是否有旧的API操作步骤（1）打开IDEA工具，创建HBase工程项目步骤：新建项目后在pom.xml中添加依赖：<dependencies><dependency><groupId>org.apache.hbase</groupId><arti...

1、在springtool工具配置tomcat2、创建工程步骤：创建的工程目录如下：接着，在WebContent文件下创建index.html创建的文件如图所示：运行部署服务器访问：localhost:8080/Web_Servlet...