1 使用变量

8.0版本中标记SET外变量赋值为弃用，预计9.0版本移除。

1 基础

<=>: 比较操作符（不同于 = 运算符），当比较的的两个值相等或都为 NULL 时返回 true。

以下适用于版本3.0.1

SparkContext是Spark的主入口，负责连接集群、创建RDD、累加器和广播变量等。

同一JVM中只能有一个活动的SparkContext。

SparkConf用于应用配置，会覆盖默认配置。

注意逻辑设计、物理设计和查询执行，及其相互作用

1 应用间调度

(1) 静态资源分配

分配给应用固定量资源，全程占用，直到应用完成并释放。

spark-submit兼容所有的集群模式。

1 组件

Spark应用在集群中以独立的进程集合运行，通过驱动程序中的SparkContext协作。

1 运行

(1) 准备

• 配置HADOOP_CONF_DIR和YARN_CONF_DIR指向Hadoop配置文件目录

  用于写入HDFS和连接YARN资源管理器

  配置将会在集群荣期间分发

  需要确保其中涉及的系统属性在所有节点可用

1 环境准备

• Microsoft Visual C++ 2015 Redistributable Package
• 管理员权限账户

调优主要面临的问题是网络和内存。