适用于版本0.10.1。

1 指南

• 配置

  • 全局配置

    使用$FLINK_HOME/conf/flink-conf.yaml配置，详见Global Configuration

  • 作业配置

    详见Table Option

• 数据写入

  Flink支持多种模式写入数据，如CDC Ingestion, Bulk Insert, Index Bootstrap, Changelog Mode,Append Mode

• 优化

  详见Memory Optimization,Write Rate Limit

适用于版本0.10.1。

1 异步压缩

Hudi默认采用异步压缩策略。主要分为以下两个阶段：

• 调度

  由消费作业完成。Hudi扫描分区，选择压缩的文件分片并最终写入时间线。

• 执行

  独立进程读取压缩计划并执行文件分片压缩。

适用于版本0.10.1。

以下步骤在经过MacBook测试。

适用于版本0.10.1。

1 配置

• 支持Spark 2.4.3+版本。
• 0.9.0已添加Spark DML支持，但处于实验中。
• 对于Spark 3支持情况

• Spark SQL

使用HoodieSparkSessionExtension支持数据读写

适用于版本0.10.1。

1 Spark数据源

可以简单地通过spark.read.parquet方式加载hudi表。

适用于版本0.10.1。

1 DeltaStreamer

能力：

• 刚好一次消费保证，Kafka、Scoop增量导入、HiveIncrementalPuller输出、DFS文件
• 支持多种来源记录类型，如json、avro和自定义类型
• 支持管理检查点、回退和恢复
• 利用DFS中的avro模式或融合模式注册
• 支持插件转换

适用于版本0.10.1。

以下为Spark SQL操作。

1 Spark建表

只有SparkSQL需要显式建表。使用自定义程序时自动创建不存在的表。

适用于版本0.10.1。

本文讨论在多个写入时的并发模型。

使用DeltaStreamer和 Hudi datasource。

适用于版本0.10.1。

可以添加可空的列(含内建复杂数据结构)，支持添加元数据列，支持强制类型转换(放大， 含复杂类型中的)；

不能添加非空列，不能通过强制类型转换缩小。

适用于版本0.10.1。

1 Spark Datasource Writer