logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

RDS for MySQL数据库

阿里云RDS MySQL免费体验指南:1)注册阿里云账号并完成实名认证;2)在控制台申请免费RDS实例,创建数据库并设置用户名密码;3)配置白名单添加本机IP;4)开通外网连接地址。连接方式:1)通过Shell命令连接,输入外网地址、用户名和密码;2)使用MySQL Workbench新建连接,测试通过后即可操作数据库。注意避免使用校园网,且用户名不能使用''mysql''。

文章图片
#mysql
使用Podman搭建简单Hadoop集群

本文详细介绍了基于Podman容器技术搭建Hadoop大数据集群的实验过程。实验环境包括4节点集群(1个master和3个worker),使用Ubuntu 16.04系统,部署了Hadoop 3.3.4、Spark 3.3.4、Hive 3.1.3和Zookeeper 3.8.0等组件。主要内容包括:1)配置Podman网络和数据卷;2)构建自定义Docker镜像;3)集群节点部署与SSH免密配置

文章图片
#hadoop#大数据#spark +2
Hadoop伪集群搭建

本文详细介绍了在Ubuntu 16.04 LTS系统上搭建Hadoop 3.3.6伪分布式环境的过程。主要内容包括:创建Hadoop用户、安装必要工具(Vim/SSH)、配置SSH免密登录、安装Java 1.8 JDK、部署Hadoop单机版并进行伪分布式配置。重点讲解了修改core-site.xml和hdfs-site.xml配置文件、HDFS初始化、启动集群、创建用户目录、上传测试文件以及运行

文章图片
#hadoop#java#大数据
Spark实现K-means客户分群实战练习

本文介绍了使用K-means聚类算法对客户消费数据进行分群分析的完整流程。首先通过Python脚本将Excel数据转换为CSV格式并上传至HDFS,随后使用Scala编写Spark应用程序,调用MLlib中的K-means算法实现聚类分析。项目采用3个聚类中心,通过标准化处理后计算轮廓系数和WSSSE评估模型效果,最终输出包含客户ID、RFM特征值和所属群组的CSV结果。系统还提供了可视化分析模块

文章图片
#spark#kmeans#大数据 +3
Spark实现K-means客户分群实战练习

本文介绍了使用K-means聚类算法对客户消费数据进行分群分析的完整流程。首先通过Python脚本将Excel数据转换为CSV格式并上传至HDFS,随后使用Scala编写Spark应用程序,调用MLlib中的K-means算法实现聚类分析。项目采用3个聚类中心,通过标准化处理后计算轮廓系数和WSSSE评估模型效果,最终输出包含客户ID、RFM特征值和所属群组的CSV结果。系统还提供了可视化分析模块

文章图片
#spark#kmeans#大数据 +3
到底了