用户中心

资讯 > 自动化软件专题

一种基于XML的通用数据集成中间件设计

作者:许承志,中国电子科技集团公司信息化工程总体研究中心2007.11.12阅读 7828

  国家明确提出了以信息化带动工业化的方针政策,大力发展信息化建设。随着我国各行各业信息化工作的快速发展,各行业逐渐建设了行业内部许多独立的信息系统,这样就产生了信息孤岛问题:对这些行业数据的存储和管理基本上处于独立和封闭的状态,不能满足行业内部和行业间信息共享的现实需求。随着信息孤岛数量的不断增多,连接关系呈现为越来越复杂的网状,问题日益严重。
  传统集成技术主要包括数据抽取、转换、清洗、装载(ETL)、企业应用集成(EAI)。ETL可以称为第一个真正意义上的集成工具,它主要为构建数据仓库或数据集市而使用的,可以完成从多个孤立的数据源抽取数据、转换、清洗、装载到一个数据仓库或数据集市。它的缺点是响应数据变化的时间长,用户查询是预先定义好的。EAI和ETL相似,它可以集成数据到一个应用中,而不是数据库,但它设计为一种小数据量或者单条记录消息的推送机制,不能有效地支持大数据量的发布。然而,由于数据表示形式复杂、异构系统互联缺乏统一标准www.cechina.cn,造成传统的数据集成如数据仓库等存在一些不足,主要表现在数据不实时、查询只限于那些预先选择好用于归档的数据、实施和维护成本较高、技术复杂和实施比较困难、项

目周期通常很长。
  XML技术中的XML语言是计算机信息交换的规范、标准,提供了规范的统一的数据表示;基于XML技术的Web服务语言描述一些操作(利用标准化的 XML 消息传递机制可以通过网络访问这些操作)的接口,使应用程序能够通过 Internet 进行通信,方便的实现应用的集成,为异构系统互联提供统一标准协议。因此,XML技术的发展弥补了传统EAI技术的不足,为信息孤岛问题的解决提供了契机,促成了EAI走向面向服务架构(SOA)。
  EII工具可以按需、实时地从建立在多种异构数据源上的综合视图中获得集成后的数据,极大的简化了数据集成的工作,降低了成本,缩短了项目周期。
  系统分析与设计
  本章针对XDIM做详细地分析和介绍,重点集中在系统架构方面。

XDIM系统总体功能
  图1:XDIM系统总体功能

  系统分析
  XDIM就是为了解决信息孤岛问题、采取XML技术实现、面向EII市场开发的基于XML的数据集成中间件。
  XDIM的总体功能可以用图1表述出来:
  XDIM集成分布式环境(如 CORBA、J2EE和.NET等)下的应用软件及数据,提供给多类应用(GUI应用、WEB应用等)使用。这样,XDIM实现了两大部分功能,即:“Many to One”集成 、“One for Many”共享发布。从目标应用来看,XDIM提供的是XML数据库—共享发布的功能;但从XDIM自身来看其实是集线器—集成的功能。
  XDIM针对三个使用角色可以划分为三个平台:针对应用及其用户提供基于不同数据源XML视图的运行平台,为基于XDIM的应用的运行提供通用的支撑环境;针对数据集成员提供开发平台,为运行平台提供开发环境;针对XDIM系统管理员提供集成管理平台www.cechina.cn,完成可视化的配置、管理。
  为了保证这些功能的顺利完成,XDIM中间件的开发需要解决好如下关键技术问题:
  ■  系统如何进行多类异构数据源的数据访问?数据一致性如何保证?系统需提供一个即插即用的适配器体系www.cechina.cn,完成多种类型的数据源的热部署。
  ■  系统如何共享集成后的数据?系统需提供一个统一的XML视图,指向真实的数据,用户直接使用XML视图,不需要关心底层的数据库表,保证了与数据库的松耦合。此外,视图引擎在视图之上还支持对视图进行XQuery查询。
  ■  数据集成过程可能很复杂CONTROL ENGINEERING China版权所有,如何保证系统的灵活性?系统需支持客户化定制系统流程,提高系统各模块的独立性,保证系统适应不同的集成需求。XDIM提供一个工作流引擎,保证系统能够同时集成同步、异步数据源。
  ■  系统如何提高集成效率,保证系统实时访问的效率能满足企业应用的需求?为此,XDIM提供一个优化器,保证集成效率。
  这些问题的解决,将在下面的设计中详细描述。

图2
  图2:XDIM系统结构

  系统结构设计
  图2展示了XDIM的系统结构:
  XDIM中间件可分为三大部分:开发平台、管理平台、运行平台。其中运行平台可以分为连接器、XML视图引擎、XML服务器、适配器部分等CONTROL ENGINEERING China版权所有,其中,连接器是XDIM负责连接目标应用的部分,处于系统的上游;适配器是XDIM负责连接数据源和源应用的部分,处于系统的下游;XML视图引擎是存储XDIM虚拟数据库数据的重要核心、是目标应用从上游能看到XDIM系统的最深处(一个个视图),换句话说,目标应用是看不见源数据和源应用的,是“Many to One”和“One for Many”的两功能的衔接部位和分界线;XML服务器则是实现XML数据处理中心。
  系统可以分为7个相对独立的子系统:连接器connecto

版权声明:版权归控制工程网所有,转载请注明出处!

频道推荐

关于我们

控制工程网 & CONTROL ENGINEERING China 全球工业控制、自动化和仪器仪表领域的先锋媒体

CE全球

联系我们

商务及广告合作
任小姐(北京)                 夏小姐(上海)
电话:010-82053688      电话:18616877918
rendongxue@cechina.cn      xiashuxian@cechina.cn
新闻投稿:王小姐

关注我们的微信

关于我们 | 网站地图 | 联系我们
© 2003-2020    经营许可编号:京ICP证120335号
公安机关备案号:110102002318  服务热线:010-82053688