Hopeful Nick


  • 首页

  • 标签

  • 归档

  • 关于

数据仓库高级话题

发表于 2020-06-30 | 分类于 数据仓库 |

数据仓库的成型,直接原因是企业数据模型,间接原因是最终用户的需求。

在数据仓库中,最终用户的需求并不是直接满足的,而是通过指示数据的重组方式满足。

阅读全文 »

关系模型和多维模型

发表于 2020-06-26 | 分类于 数据仓库 |

1 数据库设计模型

  • 关系模型

    在数据仓库设计中是Inmon方法,适合长期使用

  • 多维模型

    在数据仓库设计中是Kimball方法,适合短期使用,并且适用范围有限

阅读全文 »

大型数据仓库

发表于 2020-06-25 | 分类于 数据仓库 |

1 数据量快速增长原因

  • 历史数据
  • 细节数据
  • 多种数据
阅读全文 »

非结构化数据和数据仓库

发表于 2020-06-24 | 分类于 数据仓库 |

1 非结构化数据

  • 通信

    容量和生命周期较短,分布有限

  • 文档

    与通信相反

阅读全文 »

ScheduledExcutorService

发表于 2020-06-24 | 分类于 Java |

public interface ScheduledExecutorService extends ExecutorService

  • scheduleAtFixedRate固定频率
  • scheduleWithFixedDelay固定间隔
阅读全文 »

Spark Streaming + Kafka踩坑指南

发表于 2020-06-23 | 分类于 Spark |

1 resources文件路径是从项目根目录开始的

阅读全文 »

数据仓库和Web

发表于 2020-06-22 | 分类于 数据仓库 |

1 从Web到数据仓库

Web日志中的点击流数据在进入数据仓库前,需要经过粒度管理器处理。

粒度管理器工作:

  • 清除无关、错误数据
  • 合并多条记录
  • 汇总
阅读全文 »

迁移到体系结构化环境

发表于 2020-06-21 | 分类于 数据仓库 |

迁移到体系结构化环境是一个逐步完成的过程。

1 迁移方案

(1) 数据模型

数据模型是迁移方案的起点,描述了企业需要的信息。

数据模型内容:

  • 主要主题
  • 主题定义
  • 主题关系
  • 关键字和属性分组
阅读全文 »

外部数据与数据仓库

发表于 2020-06-20 | 分类于 数据仓库 |

1 外部数据与内部数据

  • 内部数据:从现有系统抽取的、来自于企业内部的、结构化的数据。

  • 外部数据:来自企业外部的、非结构化的、不可预测的数据。

在一定时间范围内,将内部数据与外部数据比较,可以提供独特的数据视角。但是难以在两者间找到公共的关键字。

阅读全文 »

主管信息系统和数据仓库

发表于 2020-06-19 | 分类于 数据仓库 |

1 主管信息系统EIS

是数据仓库之前的一个概念,用于帮助主管制定决策。

基本思想:提供信息,但不需要理解其背后的数据结构。

问题:当新问题出现时,主管的关注焦点会改变,EIS也随之变化。

阅读全文 »
1…101112…17
Hopeful Nick

Hopeful Nick

To Explore

161 日志
35 分类
42 标签
GitHub E-Mail
© 2022 Hopeful Nick
由 Hexo 强力驱动
|
主题 — NexT.Mist v5.1.4