scala java Spark提交任务

Spark提交任务需要使用Submit脚本，spark-submit脚本提交任务时最简易的命令格式如下：

./bin/spark-submit \

--master spark://localhost:7077 \

任务包 任务参数

而实际开发中用的一般是如下的格式

./bin/spark-submit \

--master yarn \

--deploy-mode cluster \

--driver-memory 1g \

--executor-memory 1g \

--executor-cores 11 \

--class org.apache.spark.examples.SparkPi \

examples/target/scala-2.11/jars/spark-examples*.jar 10

同时spark-submit支持的参数如下

常用参数：

--master master的地址，提交任务到哪里执行，例如spark://host:port, yarn, local

--deploy-mode 在本地(client)启动driver或在cluster上启动，默认是 client

--class 应用程序的主类

--driver-memory Driver内存，默认1G

--driver-cores Driver的核数，默认是1，在yarn或者 standalone下使用

--executor-memory 每个 execytor 的内存，默认是1G

--executor-core 每个 executor 的核数。在yarn或者standalone下使用

--num-executors 启动的executor数量。默认为2。在 yarn 下使用

--total-executor-cores 所有executor总共的核数。

其他非常用参数：

--name 应用程序的名称,见显示在web ui上区分任务

--jars 用逗号分隔的本地jar包，设置后，这些jar将包含在driver和executor的classpath下

--packages 包含在driver和executor的 classpath中的jar的maven坐标

--exclude-packages 为了避免冲突 而指定不包含的 package

--repositories 远程 repository

--conf PROP=VALUE 指定spark 配置属性的值，例如--conf spark.executor.extraJavaOptions="-XX：MaxPermSize=256m"

--properties-file 加载的配置文件，默认为conf/spark-defaults.cont

--driver-java-options 传给driver的额外的Java选项

--driver-library-path 传给driver的额外的库路径

--driver-class-path 传给driver的额外的类路径

最后注意说明一点，如果你的spark任务要在yarn上运行，Spark需要配置hadoop的home和配置文件路径，你也可以整个spark都参考我主页下大数据原生集群环境搭建中的spark配置

相关链接

 您阅读本篇文章共花了：