logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

转载:Spark启动时的master参数以及Spark的部署方式

作者:geekpy但是这个master到底是何含义呢?文档说是设定master url,但是啥是master url呢?说到这就必须先要了解下Spark的部署方式了。我们要部署Spark这套计算框架,有多种方式,可以部署到一台计算机,也可以是多台(cluster)。我们要去计算数据,就必须要有计算机帮我们计算,当然计算机越多(集群规模越大),我们的计算力就越强。但有时候我们只想在本机做个试验或者小

#spark
python 连接 mysql 数据库出现 keyerror 255 错误

python 连接 mysql 数据库出现 keyerror: 255,字符集相关错误。

#数据库#python#mysql
Python 读取csv文件时数字变成科学计数法(含有e)

读取csv时遇到一个长数字(比较长的数字,excel中长度超过16位后,会变成科学计数法显示)转换问题。在csv中正常显示全部数字,没有变成科学计数法,但用pd.read_csv后就变成了科学计数法显示, 如下图显示。这是个问题,当然要解决呀呀呀。搜索了许多网页,找到一篇文章可以解决这个问题:https://www.jb51.net/article/164692.htm...

#python
python groupby 用法详解

进行分析,如电商领域将全国的总销售额根据省份进行划分,分析各省销售额的变化情况,社交领域将用户根据画像(性别、年龄)进行细分,研究用户的使用情况和偏好等。如果按照正常的步骤来计算,需要先求得不同公司的平均薪水,然后按照员工和公司的对应关系填充到对应的位置,不用。转换成列表的形式后,可以看到,列表由三个元组组成,每个元组中,第一个元素是组别(这里是按照。在pandas中,实现分组操作的代码很简单,仅

#python
R语言使用merge函数匹配数据(vlookup,join)

数据集中w中的 name = ‘D’ 不显示,数据集中q中的 name = ‘F’ 不显示,只显示公有的name行,并且用q数据集A行匹配了w数据集所有的A行。有多个公共列,在公共列后加上x,y表示数据来源,.x表示来源于数据集w,.y表示来源于数据集q。# all = TRUE 表示选取w, q 数据集的所有行,sort = TRUE,表示按 by 列进行排序,默认升序。6、outer 模式,将

#r语言
到底了