SparkContext源码

发表于 | 分类于 |

以下适用于版本3.0.1

SparkContext是Spark的主入口，负责连接集群、创建RDD、累加器和广播变量等。

同一JVM中只能有一个活动的SparkContext。

SparkConf用于应用配置，会覆盖默认配置。

private[spark]作用域保护，表示对方括号类指定的类或包中的类，及其伴生对象外，应用该访问修饰符。

传名调用 ：=>

1
2
3
// 用于返回调用的用户类和Spark API名称
// https://www.cnblogs.com/coldyan/p/10016007.html
private val creationSite: CallSite = Utils.getCallSite()

777

参考资料

作用域保护

TODO

SparkConf

StreamingContext