1 概念

实体：数据描述的实际事物

字段：数据的一种属性，即：列

记录：实体的特定实例的字段集合，即：行

1 概览

Structured Streaming提供快速、弹性、容错、端到端刚好一次保证的流式处理。

延迟可低至100ms

版本>=2.3, 引入持续处理，延迟低至1ms，提供至少一次语义。

1 逻辑架构

• 连接/线程处理

  类似网络C/S服务，提供连接处理、授权认证和安全等功能

1 数据治理

包含数据质量、元数据管理和数据审计。

用户分类

根据使用的数据和使用方式，将用户分为以下四类：

1 操作型与数据仓库开发过程区别

• 操作型是一次成型，而数据仓库是迭代的
• 操作型按照应用逐个开发，而数据仓库按照主题域逐个开发
• 操作型有稳定的需求，而数据仓库需求在开发中确定
• 操作型注重事务响应时间，而数据仓库不注重
• 操作型数据来自企业外部，而数据仓库来自内部
• 操作型数据几乎是当前值，而数据仓库是历史数据

1 角色

允许为不同用户分配不同权限。

数据仓库不适合OLTP过程，不能提供亚秒级响应时间。

操作型数据存储ODS可以提供快速的响应时间。数据仓库根据需要配备ODS。

适用于版本2.3.0

证明建立数据仓库的必要性。