logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

zookeeper 集群部署和shell测试运行

这篇文章在以下文章全部完成之后Zookeeper环境准备(三台虚拟机)_cxy好好先生的博客-CSDN博客集群脚本的准备最近在学zookeeper,发现scp这东西真好用,可以给其他节点传输文件,非常的方便。但是拷贝文件到各个节点,节点数量少还是挺方便的,但是节点一多起来,就会发现重复的工作增加了好多,相同的命令需要输入好多次,而且接受的用户名如果改错了还会浪费时间。所以每次都用scp远程命令去拷

文章图片
#zookeeper#linux#hadoop
解决E: Could not get lock /var/lib/dpkg/lock-frontend - open (11: Resource temporarily unavailable)

如果在使用apt或者apt-get时碰到以下情况:这就是因为锁定的文件会阻止 Linux 系统中某些文件或者数据的访问,这个概念也存在于Windows 或者其他的操作系统中。一旦你运行了 apt-get 或者 apt 命令,锁定文件将会创建于 /var/lib/apt/lists/、/var/lib/dpkg/、/var/cache/apt/archives/ 中。这有助于运行中的 apt-get

文章图片
#linux#debian#服务器
hbase崩溃问题

最近因为我在搞Flume-kafka-hbase 集成,昨天不知道咋了的突然我的hbase就崩溃了,说是说hbase崩溃了,其实我更崩溃,因为这已经不是第一次这样了,hbase崩溃的第一百个原因先放一放我得先抢个明天图书馆位置,每晚八点抢,这个疫情真烦。然后我八点钟有个直播课到九点,差不多就该回去了,明天我买的新手机也到了,明天会有个好心情来整理这hbase崩溃到修复好的心路历程,心很累,因为一出

文章图片
#hadoop#hbase#分布式 +2
kafka的版本坑

Kafka别再用zookeeper了最近在学kafka在zookeeper的元数据解读,作为一个比小白稍微好一点但是,其实还是没啥经验的我,就老是遇到这种版本问题,总是被它所困扰。昨天早上,我高高兴兴地打开了视频准备学习kafka,按照老师的步骤一步一步地下载kafka,视频中的是使用0.10版本而我只能下载最低的版本就是2.8,然后我就下载了中间版本3.0.1。当然着卡夫卡和我的hadoop啥的

文章图片
#kafka#zookeeper#分布式
突破ChatGPT4.0文件无法上传的局限,提升学习效率

我非常高兴地告诉大家,我找到了一个强大的解决方案,成功地克服了这个限制。这个方法的好处不仅仅体现在解决了ChatGPT的局限性上,还在于它为我的学习提供了更加便捷和全面的体验。接下来,我开发了一个名为chat-upload的方法,这个方法可以方便地上传和管理我所需的PDF和图片文件。现在,当我需要查阅某个PDF或图片时,只需简单地告诉ChatGPT我需要的文件,并提供相应的链接。作为一名大学生,我

文章图片
#人工智能
Unable to deliver event. Exception follows.配置出错

今天在进行hbase-kafka-flume 的集群集成时,我是三个节点,三个Kafka节点,二三节点flume收集信息到一节点flume,再同时打入hbase和kafka,结果在打开一节点的收集flume之后,再去打开二三节点时就报了下面的错。[ERROR - org.apache.flume.SinkRunner$PollingRunner.run(SinkRunner.java:158)]

#hbase#hadoop#flume +2
Mapreduce运行异常Container exited with a non-zero exit code 1

MapReduce程序运行异常Container exited with a non-zero exit code 1. Error file: prelaunch.err._SolitaryWalker_0的博客-CSDN博客Container exited with a non-zero exit code 1. Error file: prelaunch.err.https://blog.c

文章图片
#hadoop#mapreduce#zookeeper
permission denied

今天在编写了flume采集日志脚本,kafka-hbase-flume集成脚本之后,打算看看数据流通不通,能不能把flume采集到的数据打入hbase,打入卡夫卡。结果就犯了个低级错误浪费了很多时间。看以下错误和代码:permission denied。要知道,这个问题之前应该碰到过,我记得应该有可能是权限问题,比如指定文件是root系统文件,而你在Hadoop用户下进行,或者就是该目录或文件不存

文章图片
#kafka#大数据#flume +2
三台Ubuntu虚拟机搭建 Hadoop集群 (第一次搭)

最近因为要搭Hadoop集群,确实花了好大的心血在里面,因为我的Linux也是前两天速成的,好多东西都还是边查资料边搭。但我最终确实成功了,留了一点点小问题在里面。(当Hadoop集群start-all之后resourcemanager无论我怎么按照网上的方法调试都不出现)现在就来回顾一下我的第一次Hadoop集群之旅。一.准备虚拟机...

文章图片
#hadoop#ubuntu#hdfs
Linux 虚拟机和物理机实现文本复制粘贴

在Linux学习中,肯定有很多同学有这么一个困惑,就是在物理机看到的代码不能直接复制到虚拟机中,需要手打,很麻烦,如果是一大串文字的文本那更麻烦。想当初,在学Linux这门课的时候,在学校的云平台的虚拟机上学Linux,当时也是有这个困惑,聪明的同学们想出了一个好办法,就是在物理机和虚拟机都登陆上邮箱,把需要复制的东西放进邮箱里,就能实现虚拟机与物理机的沟通了。Of course,这当然还是太麻烦

文章图片
#linux#debian#运维 +1
到底了