hadoo 初始化
hadoop namenode -format --force
hadoop 启动
start-all.sh 相当于 start-dfs.sh  和 start-yarn.sh  两个命令

jps  查看hadoop 是否启动 列出java进程


4096 NodeManager yarn从节点 
5905 Jps
2882 DataNode 数据节点 从节点
3828 ResourceManager  yarn 主节点
2616 NameNode 管理节点 住界定啊
3215 SecondaryNameNode  辅助节点 辅助元数据合并

在一个配置好的 Hadoop 集群节点上,你可以通过 jps 快速判断该节点上运行了哪些核心服务:

  • 在主节点(NameNode)上,你期望看到:

    • NameNode:HDFS 的主守护进程。

    • ResourceManager:YARN 的资源管理器。

    • HMaster:HBase 的主守护进程。

  • 在数据节点(DataNode)上,你期望看到:

    • DataNode:HDFS 的从守护进程。

    • NodeManager:YARN 的节点管理器。

    • HRegionServer:HBase 的区域服务器。

  • 在 Hive 服务节点上,你期望看到:

    • HiveServer2:Hive 的服务器进程。

    • HiveMetaStore:Hive 的元数据存储进程。

  • Hadoop 2.x:NameNode的Web UI默认端口是 50070

  • Hadoop 3.x:NameNode的Web UI默认端口已更改为 9870

  • Yarn: web UI 默认端口 8088

hdfs  相关命令


1、使用命令启动HDFS集群。
start-dfs.sh
 2、查看HDFS帮助命令。
# 查看hdfs dfs命令使用提示
hdfs dfs
 # 查看特定指定的使用方法
hdfs dfs -help put
 3、在HDFS上创建目录/training/hdfs_data。
hdfs dfs -mkdir -p /training/hdfs_data
 4、将HDFS目录“/training/hdfs_data”的权限改为“rwxrwxrwx”,即777(7代表读、写、操作权限;3个7表示同时为当前用户、用户组、其它所有用户开放)权限。
hadoop fs -chmod -R 777 /training/hdfs_data
 5、在本地准备测试文件file01,并上传到HDFS目录/training/hdfs_data中。
# 在本地生成文件file01
 echo "Hello Hadoop File System" > file01
 # 将文件上传到HDFS的/training/hdfs_data目录中
hdfs dfs -put file01 /training/hdfs_data
 6、查看HDFS目录“/training/hdfs_data”的内容,检查测试文件file01是否上传成功。
hdfs dfs -ls /training/hdfs_data
 7、查看HDFS文件/training/hdfs_data/file01的内容。
hdfs dfs -cat /training/hdfs_data/file01
 8、将HDFS中的/training/hdfs_data/file01文件移动到/training目录。
# 移动文件
hdfs dfs -mv /training/hdfs_data/file01 /training/
 # 查看文件是否移动成功
hdfs dfs -ls /training/
 9、将/training/file01拷贝一份到/training/hdfs_data目录中。
# 拷贝文件
hdfs dfs -cp /training/file01 /training/hdfs_data/
 # 查看文件是否拷贝成功
hdfs dfs -ls /training/hdfs_data/
 10、删除/training/目录下的file01文件。
# 文件删除
hdfs dfs -rm /training/file01
 # 检查文件是否删除成功
hdfs dfs -ls /training/
 11、下载HDFS中的/training/hdfs_data/file01文件到本地,并改名为file02(避免名称冲突)。
hdfs dfs -get /training/hdfs_data/file01 file02
 # 查看本地file02
 cat file02

    更多推荐