spark Configuration

spark参数配置有三种方法。

（1）通过spark conf配置；（2）在spark-submit中配置；（3）在spark配置文件中配置。

1. 通过spark conf配置

spark conf是在源程序中设置。spark conf通过一系列键值对来覆盖默认配置。使用时先实例化spark conf，再调用sc对象的set方法即可。
比如：

val conf = new SparkConf()
conf.set("spark.kryoserializer.buffer", "5")

2. 在spark-submit中配置

用户在使用spark-submit提交程序的时候，也可以配置spark参数。
比如：

spark-submit --conf 'spark.kryoserializer.buffer=4'

3. 在spark配置文件中配置

默认的spark配置参数是设置在spark安装目录的conf文件夹下的spark-defaults.conf文件中。可以进入该文件，修改参数。
比如：

spark.master                     spark://master:7077
spark.eventLog.enabled           true

4. 优先级

这三种方法有优先级。1. 通过spark conf配置 > 2. 在spark-submit中配置 > 3. 在spark配置文件中配置.
具体程序的配置项可以通过spark的webUI查看。

Ref
Spark Configuration