logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

虚拟机集群搭建过程中hive和zookeeper启动错误原因及分析

这段时间在学习搭建集群,搭建过程很辛酸哈哈。原来搭集群一窍不通,用了三天,之后自己半天就可以搭完。现在和小伙伴合作,在阿里云服务器搭建集群,1个小时内就可以完成,哈哈。hive启动报错原因分析搭建完集群后我关了虚拟机,然后下次启动hive的时候发现会报错,部分错误代码如下:Caused by: java.sql.SQLException: Unable to open a test connect

#大数据#zookeeper#linux +1
sqoop在执行list-databases --connect测试连接时遇到的问题

本地虚拟机安装有:、jdk1.8、hadoop2.7.1、hive2.1.1、sqoop1.4.7、mysql5.7阿里云RDSMysql版本为8.0因为sqoop是要抽取阿里云Mysql8.0当中的数据,所以起初sqoop的lib目录下只放了mysql8.0的驱动,但是执行以下代码bin/sqoop list-databases --connect jdbc:mysql://rds:3306/

#sqoop#mysql
sqoop查看版本时 Warning的解决方法

因为单节点虚拟机中没安装HBase、HCatalog 和Accumulo以及Zookeeper,所以报下列错误:`Warning: /usr/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/../hbase does not exist! HBase imports will fail.Please set $HBASE_HOME to the root of your H

#sqoop#hbase#hadoop
zookeeper启动异常提示Caused by: java.lang.IllegalArgumentException: serverid is not a number

错误代码如下2020-07-04 20:47:19,800 [myid:] - INFO[main:QuorumPeerConfig@134] - Reading configuration from: /usr/zookeeper/zookeeper-3.4.10/bin/../conf/zoo.cfg2020-07-04 20:47:19,821 [myid:] - INFO[main:Quo

#zookeeper#centos#linux
全国大学生大数据技能竞赛指导文档(大数据集群搭建指南)

大数据校内竞赛11、引言11.1 编写目的11.2 读者对象11.4 环境要求12、操作说明12.1登陆方式12.2比赛进行中22.3比赛已结束5大数据竞赛本地源介绍5大数据竞赛题目操作手册61、基础搭建61.1 使用连接工具连接比赛节点,更改本地源71.2 配置hosts文件(三台机器都执行)71.3 关闭防火墙(三台机器都执行)81.4 时间同步81.5 配置ssh免密102、安装JDK113

文章图片
#大数据
kettle实现用户名动态脱敏和时间模糊

用户名脱敏在给用户名进行脱敏时,通常情况下我们使用正则表达式或者其他方法,但是正则表达式在kettle中不容易实现动态脱敏(即将一个用户名除去首字符和尾字符都替换为***)举个例子:CSDN 脱敏后为 C**N//4-2 = 2 个 *abcdefg 脱敏后为 a*****g//7-2 =5 个 *即在中间输出:(字符串的长度-2)个*时间模糊将时间字段模糊至年月日,如将2013-9-30 07:

#mysql
Python实现统计词量

题目统计词量要求请用程序实现输入一段仅由英文字母、空格组成的文本,统计这段文本中的单词数量,并将统计结果输出。输入格式在 1 行中输入一段英文文本输出格式统计单词数量,并在 1 行上输出结果示例 1输入i love python输出3示例 2输入hello this is lee who are you输出7代码:str = input("请您输入一...

#python
到底了