logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

实用linux命令

1. 搜索一个目录及其子目录下文的文件find . -type f -name ""例如: 搜索目录/usrl/local/python3下所有文件名以py4j开头的文件cd /usr/local/python3find . -type f -name "py4j*"2. 统计当前目录下有多少文件ls -l | grep "^-" | wc -l3. 统计当前目录下有多少目录ls -l | gre

#linux
BigData Hadoop(一)配置Linux 虚拟机 [网络环境]

虚拟机的几种连接方式NAT即为网络地址转换,通常它的名称为VMnet8,通过NAT的连接方式可以使得虚拟机和真实机的网卡在不同的网段中,从而实现联网。bridge即为桥接,通常它的名称为VMnet0,使用桥接的方式使得自己的虚拟机和自己的真实机网卡在同一个网段,从而实现联网。host-only即为仅主机,通常它的名称是VMnet1,使用host-only的方式是不能和外界通信的,只能够和本机的物理

#linux#网络#hadoop
本地windows操作虚拟机中的HDFS(伪分布式)

本文章是配合厦门大学 林子雨 的《大数据技术原理与应用》使用的本篇文章使用的环境如下:虚拟机 :Ubuntu 18.04 阿里云网盘地址 迅雷网盘地址Hadoop : hadoop 3.3.0 阿里云网盘地址 迅雷网盘地址windows : win 10JDK : 1.8 强烈建议是1.8 阿里云网盘地址 迅雷网盘地址JDK 已在windows中安装的,且非1.8的, 建议安装两个版本的 JDK

#hadoop
windows平台使用Docker搭建分布式Spark 与 hadoop集群

续前节windows平台使用Docker搭建分布式hadoop集群安装分布式Spark篇1. 运行windows平台使用Docker搭建分布式hadoop集群产生的镜像文件hadoop_centosdocker run -v E:\COURSE\spark:/home -itd --privileged --network hadoop -h "node01" --name "node01" -p

#hadoop#spark#分布式
windows平台使用Docker搭建分布式hadoop集群

先修篇下载Docker可参考该博客的Docker安装安装Docker可能遇到的一些问题可参考该博客的Docker安装问题操作环境windows : 10Docker : 4.7.0将要拉取的镜像 : centos 7.6.18101. 安装centos 7.6镜像1.1 搜索centos 7.6镜像docker search centos71.2 拉取镜像docker pull centos:7.

#hadoop
到底了