Broadcast Hash Join

要求其中一侧数据量小，没有Shuffle，没有Sort

1 背景

• 深入研究的数据库文献
• Spark1.6概念引入
• Intel原型和实验的New AQE
• Databricks和Intel协作的Spark 3.0中的New AQE

归纳为4类：开发交互、动态优化、Catalyst提升和框架更新

1 文本到执行计划

两个阶段：

• 词法分析：从SQL字符串到标识集合，使用词法分析器Lexer
• 语法分析：从标识集合到抽象语法树，使用语法分析器Parser

1 从文本到执行计划

主要由两步组成：

• 词法分析：将文本解析解析为标识。
• 语法分析：将标识解析为抽象语法树。

查询优化、索引优化和库表结构优化需要齐头并进。

1 分类

1 定义

使用生效时间和失效时间两个字段来标记数据的历史状态，从而在节省存储空间的效果下保留数据的历史状态。

1 定义

提供一种原子式管理同步状态、阻塞和唤醒线程功能，以及队列模型的简单框架。

Java中大部分同步类（Lock、Semaphoer、ReentrantLock等）都是基于AQS实现的。

1 特性