logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Hadoop 2.7.3 集群部署、配置与环境变量调优全流程总结

本文总结了基于master/slave1/slave2三节点的Hadoop集群部署过程。主要内容包括:1)基础环境配置,统一安装JDK和Hadoop,确保路径一致;2)核心配置文件同步与数据目录创建;3)环境变量调优,解决非交互式shell命令识别问题;4)集群启动验证,确保HDFS和YARN功能正常。部署过程中重点解决了路径一致性、环境变量加载和权限合规等关键问题,最终实现了三节点Hadoop分

#hadoop
VirtualBox 搭建 Hadoop-2.7.3 集群完整安装总结

路径一致性:所有节点的 Java 路径、Hadoop 安装路径必须完全一致,否则配置同步后会报「文件/目录不存在」;权限问题:所有 Hadoop 相关文件/目录必须归属,否则启动/执行命令会报权限不足;用户一致性:master/slave 必须都创建hadoop用户,且操作 Hadoop 时必须切换到该用户(避免 root 启动导致权限混乱);配置同步顺序:先给 slave 部署安装包 + 创建目

#eclipse#java#ide
Hadoop 三种核心运行模式(伪分布式/分布式/混合模式)全总结

伪分布式 → 纯分布式:修改slaves移除localhost、保留,副本数≥2;slaves新增localhost,master 会自动启动 DataNode/NodeManager;所有模式切换前需停止集群 + 重新格式化NameNode(清空旧元数据)。

#分布式#hadoop#wpf
master 节点 Java 环境安装操作总结

master节点安装Java优先选择手动解压方式,规避yum的DNS解析问题,核心步骤为“创建目录→解压文件→配置环境变量→验证生效”;环境变量配置是关键,需确保JAVA_HOME路径与解压后的目录完全一致;OpenJDK 12和Oracle JDK 8安装流程一致,仅环境变量配置略有差异,可根据实际文件适配。

#centos#java#python
VirtualBox 集群环境下 MySQL 5.7 完整安装教程(master 服务端 + slave 客户端)

master节点核心:替换 yum 源 → 卸载冲突包 → 按安装 → 初始化+改密码 → 授权+放行端口;slave节点核心:从 master 拷贝包 → 卸载冲突包 → 按安装 → 远程登录验证;关键原则:MySQL 5.7 依赖顺序不可乱,密码必须满足复杂度,远程访问需放行 3306 端口;该教程适配 VirtualBox 下 CentOS 7 集群,可直接用于 Hadoop 集群对接 My

#linux#mysql
Hadoop 三种核心运行模式(伪分布式/分布式/混合模式)全总结

伪分布式 → 纯分布式:修改slaves移除localhost、保留,副本数≥2;slaves新增localhost,master 会自动启动 DataNode/NodeManager;所有模式切换前需停止集群 + 重新格式化NameNode(清空旧元数据)。

#分布式#hadoop#wpf
Jupyter notebook无法执行代码,显示In[*]:时怎么办?

可能是上面的执行框中出现错误,导致下面框中的代码也执行不了。点击Kernel中的Restart & Run all,执行全部代码。从上向下检查每一个框,找到错误代码修改。注意:如果下面已经运行出了执行结果,但是上面又修改了,并且出错了,那么重新执行的时候下面的执行结果还会保留,因为没有执行到这里来,程序在上面就已经出错退出了。...

到底了