logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Spark on k8s 的安装和使用-大数据学习系列(六)

与 Kubernetes API 的通信是通过 fabric8 完成的可以通过使用配置属性的节点选择器在可用节点的子集上安排驱动程序和执行程序 pod,在未来的版本中将有可能使用更高级的调度提示,如节点/pod 亲和力。Spark 还附带一个 bin/docker-image-tool.sh 脚本,可用于构建和发布 Docker 镜像以与 Kubernetes 后端一起使用,用于构建和上传镜像。s

文章图片
#kubernetes#容器#云原生
(最新版本)hive4.0.0 + hadoop3.3.4 集群安装(无坑版)-大数据学习系列(一)

网上的找的文档大多残缺不靠谱,所以我整理了一份安装最新版本的hive4..0.0+hadoop3.3.4的学习环境,可以提供大家安装一个完整的hive+hadoop的环境供学习。Hive Metastore是Hive的元数据存储服务,需要确保Metastore服务已经启动,并且在Beeline的配置文件中正确配置了Metastore的地址。HiveServer2是Hive的查询服务,需要确保Hiv

文章图片
#hadoop#大数据#hdfs
HBASE2.5.3集群安装-大数据学习系列(五)

百度网盘: https://pan.baidu.com/s/1GzZGo-Jxhwu3XCMH1UNwYg?PS:这是基于之前hadoop 和 hive 安装好的基础上的。定位到27行输入(:27)修改成环境的jvm地址。修改配置文件(在k8s-master机器上操作)定位到138行输入(:138)放开注释。1.配置hbase-env.sh文件。在k8s-master机器上操作启动。切换到k8s-

文章图片
#大数据#学习#hbase
spark-3.3.2(Standalone)集群安装-大数据学习系列(三)

链接: https://pan.baidu.com/s/1-GAeyyDOPjhsWhIp_VV7yg?链接: https://pan.baidu.com/s/1y-yXZCQdmlssdMNMpFlqnw?切换到k8s-node1、k8s-node2 验证是否安装成功。01-spark(Standalone)集群安装。切换到k8s-node1机器上操作(分发环境)1.1 在集群(各机器上都执行!

文章图片
#spark#大数据#学习
Spark on k8s 的安装和使用-大数据学习系列(六)

与 Kubernetes API 的通信是通过 fabric8 完成的可以通过使用配置属性的节点选择器在可用节点的子集上安排驱动程序和执行程序 pod,在未来的版本中将有可能使用更高级的调度提示,如节点/pod 亲和力。Spark 还附带一个 bin/docker-image-tool.sh 脚本,可用于构建和发布 Docker 镜像以与 Kubernetes 后端一起使用,用于构建和上传镜像。s

文章图片
#kubernetes#容器#云原生
Flink-1.17.0(Standalone)集群安装-大数据学习系列(四)

链接: https://pan.baidu.com/s/1-GAeyyDOPjhsWhIp_VV7yg?链接: https://pan.baidu.com/s/1X_P-Q8O_eLADmEOJ438u5Q?切换到k8s-node1、k8s-node2 验证是否安装成功。切换到k8s-node1机器上操作(分发环境)2.1 在集群(各机器上都执行!2.1 切换到k8s-master执行。2.2 切

文章图片
#scala#kafka#大数据
到底了