logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hadoop做mapreduce任务--词频统计,shell命令和hue提交任务

摘要:本文介绍两种Hadoop词频统计方法。1) 命令行方式:通过Docker进入Hadoop环境,创建测试文件并上传至HDFS,运行内置WordCount程序,查看统计结果。2) HUE可视化方式:部署HUE Web管理平台,通过图形界面提交MapReduce作业(支持Java JAR和Python Streaming),查看运行结果。重点说明HUE可直接接收宿主机上传的Python脚本并自动存

#hadoop#mapreduce#大数据
Docker下跑hadoop--命令行和python操作HBase

本文介绍了在Docker中配置HBase分布式数据库的步骤。首先修改docker-compose.yml文件,添加ZooKeeper、HBaseMaster和HBaseRegionServer服务配置。配置完成后需重新构建容器,可通过两种方式拉取镜像:自动拉取或单独拉取harisekhon/hbase:2.1和zookeeper:3.8镜像。随后提供了Python操作HBase的代码示例,包括创建

#docker#hadoop#python +1
hadoop增加mongoDB这个sevices,及其shell命令+python操作

本文将MongoDB服务集成到现有Docker Compose环境中。在services:段添加MongoDB 6.0容器配置,包括端口映射27017:27017、管理员凭据(admin/secretpwd)和初始化数据库(mydatabase)。在volumes:段新增mongodb_data卷用于数据持久化。服务配置在default网络内,支持容器间互相访问。提供MongoDB基础操作指南:包

#hadoop#mongodb#python
到底了