本文从数据仓库的组成入手,系统的分析了数据仓库的整个体系结构;着重地介绍了在数据仓库的设计过程中必须注意3个关键的问题:选择数据仓库的目标数据库、数据抽取和转换工具及前端数据访问和分析工具。
数据仓库体系结构中存在三个关键问题,即数据仓库的目标数据库选择、数据抽取和转换工具及前端数据访问和分析工具。
一、数据仓库的组成部分
数据仓库技术从本质上讲,是一种信息集成技术,它从多个信息源中获取原始数据,经过加工处理后,存储在数据仓库的内部数据库中。通过向它提供访问工具,为数据仓库的用户提供统一、协调和集成的信息环境,支持企业全局的决策过程和对企业经营管理的深入综合分析。为了达到这样的目标,一个数据仓库一般来说包含以下7个主要组成部分:
(1)数据源:为数据仓库提供源数据,如各种生产系统数据库、OLTP系统的操作性数据,外部数据源等到可以作为数据
(2)数据抽取、转换和装载工具:主要功能是从数据源中抽取数据后检验和整理数据,并根据数据仓库的设计要求重新组织和加工数据控制工程网版权所有,装载到数据仓库的目标数据库中。
(3)数据建模工具:用于为数据仓库的原数据库和目标数据库建立信息模型。
(4)核心仓储:用于存储数据模型和原数据,其中元数据描述数据仓库中元数据和目标数据本身的信息,定义从原数据到目标数据的转换过程。
(5)数据仓库的目标数据库:存储经检验、整理、加工和重新组织后的数据。
(6)前端数据访问和分析工具:供业务人员分析和决策人员访问目标数据库中的数据,并进一步深入分析使用。
(7)数据仓库管理工具:为数据仓库的运行提供管理手段,包括安全管理和存储管理等。
可以看到,在一个数据仓库中,源数据来源与已有的生产系统,是操作型数据。提供源数据的数据源可以是各种数据库管理系统,或各种格式的数据文件或外部数据源。由于数据仓库是一种信息集成手段,因此在实际工程中控制工程网版权所有,面对的数据源可能千差万别。只要能够为数据仓库所支持的决策和分析过程提供所需的信息,就可能成为数据仓库的数据源。因此,数据仓库需要有相应的工具从数据源中抽取数据。
数据进入数据仓库之前必须经过检验,以排除数据中可能隐藏的错误。为了满足决策支持和深入分析的需要,数据要经过特别整理、加工和重新组织,然后装载到一个或多个数据仓库的数据库中。所有这些工作都是数据抽取和转换工具完成的CONTROL ENGINEERING China版权所有,数据仓库中装载数据的数据库即为数据仓库中的目标数据库。为了描述数据检验、整理和加工的需求与相应过程及步骤,必须有数据建模工具(Modeling Tools)。
随着企业业务的发展,数据仓库管理人员可以通过使用数据建模工具,根据企业决策和综合分析的需要,对数据的检验、整理、加工和重新组织的过程进行调整和优化,而有关描述则以数据模型和元数据的形式存放在核心仓储中。在数据仓库的日常运行过程中,需要不断监控数据仓库的状态www.cechina.cn,包括系统资源的使用情况、用户操作的合法性和数据的安全性等多个方面。为此,在数据仓库系统中专门有数据仓库管理工具负责向数据仓库管理员提供有关的管理功能。为了使数据仓库用户能有效的使用数据仓库中的信息,以实现深层次的综合分析和决策。数据仓库系统要为用户提供一整套数据访问和分析工具,这些工具不但要提供一般的数据访问功能,如查询、汇总和统计等,还要提供对数据的深入分析功能,如数据的比较、趋势分析和模式识别等。而数据仓库的数据访问和分析要在一定程度上面向企业的业务需求,所提供的数据是在业务上有意义的信息,而不只是通用的数据查询和操作功能。
二、数据仓库体系结构中的关键问题
数据仓库系统中有3个关键环节,即源数据的抽取和转换、在目标数据库中存储转换后的数据和为用户提供对目标数据库的透明访问。与此相对应,在数据仓库的设计过程中必须注意3个关键的问题控制工程网版权所有,即选择数据仓库的目标数据库、数据抽取和转换工具及前端数据访问和分析工具。
1 数据仓库的目