logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hadoop2.8运行自带的Wordcount

环境搭建见上一章:centos7+hadoop2.8.0+VMware搭建完全分布式集群步骤①首先在master虚拟机本地某一个目录下创建一个文件夹file,用来存储将要上传到HDFS的文件我是在/opt/hadoop路径下创建的文件夹file②接着进入file文件夹,然后创建两个文本文件file1.txt和file2.txt,并输入内容③用hadoop dfs命令在HDFS上创建用来接收本地文件

centos7+hadoop2.8.0+VMware搭建完全分布式集群

相关软件:①CentOS-7-x86_64-DVD-1611.iso②hadoop-2.8.0.tar.gz③jdk-8u161-linux-x64.tar.gz④VMware版本10.0.4 build-2249910 第一步:安装虚拟机假设已安装好VMware(如果未安装,点这里)。接下来在VMware中安装centos系统,基本按照默认选项进行安装,只需要修改一下...

IDEA配置flink开发环境及local集群代码测试

背景:最近公司需要引入flink相关框架做一些大数据报表分析的任务,之前没有实际接触过flink,所以需要学习一下。此外,防止看完就忘,也为了后续的回顾学习,因此在这里做一个整理,也希望帮助到有需要的朋友。环境准备:我这里是在自己的笔记本上搭建的环境VMware 安装centos7虚拟机 并配置好网络等win10安装idea 并配置maven(要求3.0以上,我用的3.6.2)...

WIN10中VMware中启动虚拟机时弹出“内部错误”

解决方法是关闭VMware,右键单击VMware选择以管理员方式运行。

windows下用Eclipse开发Wordcount程序并生成jar包上传到hadoop集群去执行

因为我安装的是centos7 服务器版本而非桌面版本,因此没办法在namenode所在虚拟机上安装Eclipse等开发工具。本来想到可以在本地Eclipse中添加hadoop插件,然后就可以直接在本地开发和测试,但无奈鼓捣了一天最后以失败告终。因此改变思路,想到用在本地开发后生成jar包,然后发送到namenode节点去运行的方式。这种方式与上一种的区别就是没法在本地运行(因为没有配置hadoop

虚拟机硬盘与宿主机磁盘的关系

首先虚拟机的硬盘是一个虚拟的,实际上以文件夹的形式存在于宿主机上的。比如宿主机是windows10,虚拟机软件用的是VMware。下面可以看到设置的slave1虚拟机的虚拟硬盘大小为40G接下来切换到windows中,可以看到slave1文件夹(也就是slave1虚拟机的虚拟硬盘)的大小为4.8G。 而slave1所处的文件夹即G盘根目录的大小为59G可以看到G盘已经接...

#虚拟机
centos7安装docker和docker-compose

1. 下载dockeryum install docker2. 查看版本(上面这种方式下载的版本过老,因此推荐使用:curl -fsSL https://get.docker.com/ | sh进行下载) 3. 下载python-pip yum install python-pip -y如果运行上述命令后出现以下错误,则需要先执行命令: yum -y install...

fabric在make docker时遇到的问题

在进行make docker时,最后出现如下错误:Building dockerized gotoolsmake[1]: Entering directory '/opt/gopath/src/github.com/hyperledger/fabric'Building github.com/maxbrunsfeld/counterfeiter -> counterfeiterp..

#fabric
kafka报错ERROR Failed to clean up log for __consumer_offsets-49 in dir /tmp/kafka-logs

kafka运行了一段时间,有一天突然发现kafka服务停了。看日志more logs/server.log.2020-04-20-11如下:./server.log.2020-04-20-11:java.nio.file.NoSuchFileException: /tmp/kafka-logs/__consumer_offsets-49/00000000000000000000.log.sw...

#kafka
flink1.10 在yarn上运行job报内存超出

./bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 -s hdfs://master:9000/flink/checkpoints/d15750eebe118cccb93b4450a008e4d3/chk-158/_metadata -c stream.TestKafkaCheckpoint /var/flink/data/jars/flink-

    共 13 条
  • 1
  • 2
  • 请选择