logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

win10环境下spark local模式运行应用程序遇到的五个问题

缘起一切都是因为穷,穷则思变前言公司赶大潮,组建了一套大数据集群服务器,ELK+Spark组合。但是因为资源倾斜,其实并没有给到靠谱的硬件资源。两台硬件服务器,一台华为3手服务器(6年前买的2手,两年前从老机房拉回来),一台戴尔服务器2手服务器。在上面基础上用vsphere虚拟化了六台虚机,3台es,3台spark,中间夹杂着web服务器,logstash,mysql等软件。刚开始Es集群动不动就

#spark#大数据
win10环境下spark local模式运行应用程序遇到的五个问题

缘起一切都是因为穷,穷则思变前言公司赶大潮,组建了一套大数据集群服务器,ELK+Spark组合。但是因为资源倾斜,其实并没有给到靠谱的硬件资源。两台硬件服务器,一台华为3手服务器(6年前买的2手,两年前从老机房拉回来),一台戴尔服务器2手服务器。在上面基础上用vsphere虚拟化了六台虚机,3台es,3台spark,中间夹杂着web服务器,logstash,mysql等软件。刚开始Es集群动不动就

#spark#大数据
到底了