logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Docker下跑hadoop--命令行和python操作HBase

本文介绍了在Docker中配置HBase分布式数据库的步骤。首先修改docker-compose.yml文件,添加ZooKeeper、HBaseMaster和HBaseRegionServer服务配置。配置完成后需重新构建容器,可通过两种方式拉取镜像:自动拉取或单独拉取harisekhon/hbase:2.1和zookeeper:3.8镜像。随后提供了Python操作HBase的代码示例,包括创建

#docker#hadoop#python +1
Docker跑hadoop--命令行和python操作HDFS

摘要:修改hosts文件添加datanode映射,更新docker-compose.yml并创建config目录存放hdfs-site.xml。执行容器重建命令(docker-compose down -v && docker-compose up -d)后强制格式化namenode,解决数据卷持久化问题。测试时可能遇到SASL加密信任的info日志,属正常现象无需处理。操作核心是

#hadoop#docker#hdfs
hadoop增加mongoDB这个sevices,及其shell命令+python操作

本文将MongoDB服务集成到现有Docker Compose环境中。在services:段添加MongoDB 6.0容器配置,包括端口映射27017:27017、管理员凭据(admin/secretpwd)和初始化数据库(mydatabase)。在volumes:段新增mongodb_data卷用于数据持久化。服务配置在default网络内,支持容器间互相访问。提供MongoDB基础操作指南:包

#hadoop#mongodb#python
docker+wsl2虚拟磁盘爆炸问题(直观的就是存储爆炸)

摘要:WSL2使用动态扩展的虚拟硬盘文件(ext4.vhdx)会随数据写入增长但不会自动收缩。Docker操作会占用该空间,即使删除容器后,镜像和卷数据仍保留导致空间未释放。解决方法包括:1)使用docker system prune -a --volumes清理未使用资源;2)通过diskpart工具执行compactvdisk命令压缩虚拟磁盘文件。压缩过程中需要扫描整个文件且速度较慢,因为WS

#docker#容器
hadoop增加spark的service,及其shell命令

本文介绍了在Docker中配置Spark服务的步骤。使用Apache Spark 3.4.1-python3镜像创建容器,配置Hadoop环境变量和YARN集成,并挂载必要的配置文件。启动容器后需解决两个关键问题:1) Spark不在PATH中,需临时或永久配置环境变量;2) HDFS权限问题,需在namenode容器创建spark用户。最后通过spark-shell --master yarn命

#hadoop#spark#大数据
hadoop做mapreduce任务--词频统计,shell命令和hue提交任务

摘要:本文介绍两种Hadoop词频统计方法。1) 命令行方式:通过Docker进入Hadoop环境,创建测试文件并上传至HDFS,运行内置WordCount程序,查看统计结果。2) HUE可视化方式:部署HUE Web管理平台,通过图形界面提交MapReduce作业(支持Java JAR和Python Streaming),查看运行结果。重点说明HUE可直接接收宿主机上传的Python脚本并自动存

#hadoop#mapreduce#大数据
hadoop做mapreduce任务--词频统计,shell命令和hue提交任务

摘要:本文介绍两种Hadoop词频统计方法。1) 命令行方式:通过Docker进入Hadoop环境,创建测试文件并上传至HDFS,运行内置WordCount程序,查看统计结果。2) HUE可视化方式:部署HUE Web管理平台,通过图形界面提交MapReduce作业(支持Java JAR和Python Streaming),查看运行结果。重点说明HUE可直接接收宿主机上传的Python脚本并自动存

#hadoop#mapreduce#大数据
Docker下跑hadoop--命令行和python操作HBase

本文介绍了在Docker中配置HBase分布式数据库的步骤。首先修改docker-compose.yml文件,添加ZooKeeper、HBaseMaster和HBaseRegionServer服务配置。配置完成后需重新构建容器,可通过两种方式拉取镜像:自动拉取或单独拉取harisekhon/hbase:2.1和zookeeper:3.8镜像。随后提供了Python操作HBase的代码示例,包括创建

#docker#hadoop#python +1
hadoop增加mongoDB这个sevices,及其shell命令+python操作

本文将MongoDB服务集成到现有Docker Compose环境中。在services:段添加MongoDB 6.0容器配置,包括端口映射27017:27017、管理员凭据(admin/secretpwd)和初始化数据库(mydatabase)。在volumes:段新增mongodb_data卷用于数据持久化。服务配置在default网络内,支持容器间互相访问。提供MongoDB基础操作指南:包

#hadoop#mongodb#python
到底了