logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

修改core-site.xml中的fs.defaultFS对应端口,导致无法访问Hive数据的问题

手残把core-site.xm中的fs.defaultFS对应端口由8020改成了9000由于之前在Hive中创建的表元数据保存在MySQL中,通过desc formatted emp可以看到它保存的位置还是修改端口之前的元数据信息这样在Hive中查询该表数据会报无法连接报错解决方案:找到MySQL中保存Hive元数据信息的数据库,其中有一个DBS表,修改其DB_LOCATION_...

VMWare虚拟机踩坑实录

背景介绍:由于我的固态硬盘比较小 只有128G 在搭建大数据环境的时候需要四台虚拟机 无奈只能在SSD上创建两台 在移动硬盘上创建两台 由于不小心移动了移动硬盘 导致虚拟机异常停止工作  打开时 报错如下:无法打开虚拟机 未找到.vmx文件第一次碰到这个问题的时候我是重新克隆一台虚拟机 但是这样特别麻烦 需要修改很多配置文件 这次我在网上查找了一些资料解决办法如下:在VMware中移除掉出现问题的

利用VMware克隆虚拟机需要注意的问题

第一步:关闭当前机器第二步:在VMware中右键要克隆的机器 选择管理-->克隆第三步:启动新克隆的虚拟机 修改主机名 如 hostname  slave2第四步:修改克隆的虚拟机的ip地址和mac地址(注意:由于slave2是克隆出来的 因此它的ip和mac地址与原来的机器一模一样 ip地址可以直接修改成一个新的地址 但是mac地址不建议手动修改 而应该由系统自动生成 具体操作方法

hbase单机版(standalone)安装和配置

第一步:上传安装包第二步:修改hbase配置文件hbase-env.sh 加入以下内容:第三步:修改hbase配置文件hbase-site.xml 加入以下内容:第三步:启动hbase单机模式下hbase有自带的zookeeper 生产环境下一般搭建完全分布式的zookeeper集群注意:如果自己已经安装并启动了zookeeper 一定要先关闭 因为hbase自带有zookeeper 如果自己安装

Pulsar集群搭建和基本命令使用

目录1. Pulsar集群搭建2. Pulsar基本命令使用3. 使用pulsar-mamager对Pulsar进行可视化管理4. 参考资料1. Pulsar集群搭建为了方便快捷,此处使用Docker安装。(1)拉取最新Pulsar Docker镜像sudo docker pull apachepulsar/pulsar-all(2)进入Docker容器Pulsar容器内部的8080端口和6650

hadoop+zookeeper高可用性集群出现两个namenode均为standby状态原因及解决方法

使用hadoop fs -ls / 命令查看hdfs中的文件 报错如下:检查发现master和slave3两个NameNode的状态均为standby原因:先启动了hdfs再启动zookeeper 导致zookeeper的选举机制zkfc(DFSZKFailoverController)没有格式化 NameNode节点的自动切换机制没有开启 两个NameNode都处于standby状态解决方法:正

LNMP环境配置SSL踩坑实录(502 bad gateway)

之前一直使用的是LAMP套装,对nginx配置不是很熟悉,配置SSL过程中踩的坑记录一下第一步:在nginx的conf目录下新建一个cert文件夹 将域名证书的两个文件上传到该文件夹下第二步:修改nginx的虚拟主机配置如下server {listen 80;server_name www.domain.com;rewrite ^(.*) https://$ser...

使用命令行操作zookeeper

1. 启动zookeeper:zkServer.sh start(前提是要配置zookeeper的环境变量)2. 查看zookeeper进程:jps3. 查看zookeeper运行状态:zkServer.sh status4. 启动zookeeper客户端:zkCli.sh5. 查看帮助:-h6. 查看根目录下的文件:ls /7. 创建子节点(子目录):create 目录名 数据 8. 查看某个目

在hbase shell中使用list命令报错:ERROR: Can't get master address from ZooKeeper; znode data == null原因及解决方法

电脑意外关机 启动后打开hbase shell 输入list命令查看所有表 报错如下:ERROR: Can't get master address from ZooKeeper; znode data == null原因:运行hbase(zookeeper)的用户无法写入zookeeper文件,导致znode data为空。解决方法:方法一:重启hbase(可能是zookeeper或hbase不

CDH、Cloudera Manager简介及离线安装步骤

CDH是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,提供了Hadoop的核心, 可扩展存储,分布式计算,基于Web的用户界面Cloudera Manager是一个管理CDH的端到端的应用。它的作用是对CDH进行管理、监控、诊断和集成安装前的准备:①网络配置②SSH免密钥登录③防火墙关闭④SELINUX关闭(setenforce 0  vi /

    共 13 条
  • 1
  • 2
  • 请选择