logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

搞懂spark-submit参数及应用程序提交(详细)

介绍当前支持三种集群管理器:Spark独立集群管理器,一种简单的Spark集群管理器,很容易建立集群,基于Spark自己的Master-Worker集群Apache Mesos,一种能够运行Haoop MapReduce和服务应用的集群管理器Hadoop YARN,Spark可以和Hadoop集成,利用Yarn进行资源调度如果在集群中仅有Spark程序,那么可以使用Spark独立的集群管理器。如果

#spark
一文搞懂spark基本架构及原理(超详细)

Spark的资源管理架构首先介绍一下Spark的资源管理架构。Spark集群考虑到了未来对接一些更强大的资源管理系统(如Yarn、Mesos等),没有在资源管理的设计上对外封闭,所以Spark架构设计时将资源管理抽象出了一层,通过这种抽象能够构建一种插件式的资源管理模块。见上图,Master是Spark的 主控节点,在实际的生产环境中会有多个Master,只有一个Master处于active状态。

#spark#架构#yarn +1
if __name__ == ‘__main__‘的详细讲解

在 Python 代码中,我们经常会看到if __name__ == '__main__':本文详细总结一下用法。先给出结论,对该语句用法简单的解释就是: 如果if __name__ == '__main__' 所在模块是被直接运行的,则该语句下代码块被运行,如果所在模块是被导入到其他的python脚本中运行的,则该语句下代码块不被运行。下边具体的讲解。首先我们得先明白一个概念:程序入口。程序入口

#python
机器学习复盘(4):监督学习完整总结

监督学习的应用主要为分类问题和回归问题。分类问题分类问题是监督学习的核心问题,在监督学习中,当输出变量 f(x) 取有限个离散值时,预测问题就成为了分类问题。这事,输入变量 x 可以是离散的,也可以是连续的。监督学习从数据中学习一个分类模型或分类决策函数,称为分类器,分类器对新的输入进行输出的预测,称为分类。可能的输出称为类别。分类的类别为两个时,称为二类分类问题,分类的类别为多个时,称为多类分类

#分类#回归#机器学习
租户、用户、角色的关系总结

一、用户(user)一个用户就是一个有身份验证信息的API消费实体一个用户可以属于多个租户/项目/组织, 角色二、租户(tenant)租户其实是各个服务中的一些可以访问的资源集合。这些资源集合可供多个用户使用,这也是为什么用户默认的总是绑定到某些租户上用户通过租户访问计算管理资源(这里的计算管理资源可以理解为openstack服务),也就是说必须指定一个相应的租户才可以申请openstack服务各

到底了