探索数仓模型设计:从IBM BDWM到NCR FS-LDM的行业应用与启发,大渡口区seo优化计划
2025-01-14 00:00:00 浏览:
本文是我在写中台系列时在整理自己的历史文档时发现的关于数据仓库模型的设计文档。
本文最初由时任 IBM 信息技术专家 Bao 于 2008 年在 IBM 网站上发表。这篇文档当时给了我很大的启发。
俗话说,水无定势,兵无常法。不同的行业有不同的特点。因此,从业务角度来看,它们对应的数据模型有很大不同。目前业界比较主流的数据仓库厂商是IBM和NCR。这两家公司除了提供比较强大的数据仓库平台之外,还拥有自己针对某个行业的数据模型。
例如,在银行业,IBM有自己的BDWM(数据模型),NCR有自己的FS-LDM模型。在电信行业,IBM有TDWM(数据模型),NCR有自己的TS-LDM模型。所以我们看到不同的企业对于某个行业有自己的理解,所以针对某个行业就会有不同的企业模式。对于不同的行业,同一家公司也会有不同的模式,这主要取决于不同行业的不同业务特点。
例如IBM的TDWM模型总共包含以下9个概念,如下图:
图 1. IBM 的 TDWM 概念模型
很多人可能会问,为什么你的模型有9个概念,而不是10个或11个?您的数据仓库模型的基础是什么?事实上,这是我们在向客户介绍我们的数据模型时经常被问到的问题。希望读者读完本文后能找到自己的答案。
虽然每个行业都有自己的模型,但我们发现不同行业的数据模型在数据建模方法上有共同的基本特征。
本文的一个主要目的是希望读者通过阅读本文的同时,结合自己在数据仓库建设方面的经验,总结出一套适合自己在构建数据仓库时的建模方法。仓库,可以更好的帮助客户发挥数据仓库的作用。
本文的主线是回答以下三个问题:
最后,在本文的最后,我们向您介绍一个具体的数据仓库建模示例,帮助您理解整个数据建模过程。
什么是数据模型
数据模型是抽象描述现实世界的工具和方法。它是通过抽象实体和实体之间的关系来表示现实世界中交易相互关系的映射。这里,数据模型表示实体之间的抽象关系,并通过实体之间关系的定义和描述来表达实际业务中的具体业务关系。
数据仓库模型是针对特定数据仓库应用系统的数据模型中的具体数据模型。一般来说,我们的数据仓库模型分为几个层次,如图1所示。
图 2. 数据仓库模型
通过上图我们不难看出,在整个数据仓库建模过程中,我们需要经历四个大致流程:
因此,整个数据仓库模型的设计和架构既涉及到业务知识,又涉及到具体的技术。我们不仅需要了解丰富的行业经验,还需要一定的信息技术来帮助我们实现目标。数据模型,最重要的是,我们还需要一个非常适用的方法论来指导我们业务各个阶段的抽象、处理、生成模型。
为什么需要数据模型
在数据仓库的建设中,我们多次强调数据模型的必要性,那么为什么数据模型如此重要呢?首先,我们需要了解整个数据仓库建设的发展历史。
数据仓库的发展大致经历了三个过程:
通过数据仓库建设的发展阶段可以看出,数据仓库建设与数据集市建设的重要区别在于数据模型的支持。因此,数据模型的构建对于我们数据仓库的建设具有决定性的意义。
一般来说,数据模型的构建主要可以帮助我们解决以下问题:
如何构建数据模型
既然构建数据模型是整个数据仓库建设中非常重要的关键部分,那么如何构建我们的数据仓库模型就是我们需要解决的问题。这里我们将详细介绍如何创建适合您的数据模型。
数据仓库数据模型架构
数据仓库的数据模型架构与数据仓库的整体架构密切相关。我们先来了解一下整个数据仓库的数据模型应该包含哪几个部分。从下图中,我们可以清楚地看到整个数据模型架构分为5个部分,每个部分实际上都有自己独特的功能。
图 3. 数据仓库数据模型架构
从上图我们可以看出,整个数据仓库的数据模型大致可以分为5个部分:
通过对整个数据仓库模型的数据区域的划分,我们可以了解到,一个好的数据模型不仅对业务进行了抽象的划分,而且对实现技术也提供了具体的指导。它应该涵盖从业务到实施的所有内容。技术的各个部分。
数据仓库建模阶段划分
我们之前已经介绍过数据仓库模型的几个层次。下面分别讲一下这几个层次不同阶段数据建模工作的主要内容:
友情链接: