spark-submit 常用方式
·
1 、local 模式提交
在本地机器上使用2个CPU核心，以并行方式运行名为 spark-python.py 的 PySpark 应用程序
spark-submit --master local[2] spark-python.py
# 更完整的提交命令示例
spark-submit \
--master local[2] \
--name "MySparkApp" \
--executor-memory 2g \
--driver-memory 1g \
spark-python.py
2、集群模式提交
将 spark-python.py 这个 PySpark 应用程序提交到位于 node03:7077 的 Spark 集群上，在多个工作节点上分布式并行执行"
spark-submit --master spark://node03:7077 spark-python.py
# 带更多配置的集群提交
spark-submit \
--master spark://node03:7077 \
--executor-memory 2g \
--total-executor-cores 4 \
--name "ProductionJob" \
spark-python.py
更多推荐
3
0- 0
已为社区贡献34条内容
所有评论(0)