logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Spark云计算平台Databricks使用,SQL

输入名字,Storage location选择workspace,数据都是保存在AWS S3云存储。选择test,Create -> Create table。点击browse,本地上传people.json文件。选择Calalog,点击Creae schema。点击Create table。

文章图片
#spark#云计算#大数据
Aws EC2,kubeadm方式安装kubernetes(k8s)

2) 安装 kubeadm, kubelet, 和 kubectl,三台机器都要安装。安装的版本20.10.25-1.amzn2023.0.1。1) 添加 Kubernetes 仓库。5) 设置kubectl配置文件。3) 初始化master节点。6) 安装 Pod 网络插件。在node1和node2运行。7) 加入node工作节点。

文章图片
#aws#kubernetes#云计算
Spark云计算平台Databricks使用,上传文件

Databricks,是属于 Spark 的商业化公司,由美国加州大学伯克利 AMP 实验室的 Spark 大数据处理系统多位创始人联合创立。在Workspaces点击open,跳转到workspace的工作区。把本地文件拖入Files框,或者点击Files框选择文件。,可用于数据集成,数据管道等任务。上传的文件保存在AWS的S3的桶里。

文章图片
#spark#云计算#大数据
Spark云计算平台Databricks使用,第一个Spark应用程序WordCount

上传的文件的路径是/FileStore/tables/words.txt,保存在AWS的S3。

文章图片
#spark#云计算#大数据
到底了