华傲数据质量自动管理项目在国药集团药业股份有限公司的应用

　　背景介绍

　　国药集团药业股份有限公司经过多年信息化建设，积累了大量行业和业务数据，将会是制定全国药业主数据标准的具潜力的单位之一。但由于缺乏合适的数据质量工具，数据存在大量的冗余、不完整、不一致等问题，给业务开展带来很大困扰。希望通过建设数据质量管理系统，能发现并解决现有系统数据存在的问题，设计改进措施，提升数据质量，为公司在信息化时代依托信息化，制定新型业务发展模式带来决策优势，把握商业先机。

　　业务目标

　　为了提高基础数据质量，降低业务数据分析难度，提高业务数据准确性，且不对历史业务数据产生过多影响，保证在今后的数据流向采集过程中使用到的基础数据尽可能的准确、完整。在基础数据质量提高后，提升业务数据分析统计的准确性。

　　目前已知的数据质量问题，整体可归纳为以下三类：

　　·基础信息不准确

　　·基础信息不完整

　　·业务信息不完整

　　·技术目标

　　·实现与ＯＡ系统集成，实现单点登录；

　　·通过工作流系统，实现与业务流程相结合；

　　·实现基于相似度的记录匹配和合并算法；

　　·实现数据质量探查的自动调度。

　　应用架构

　　系统通过ADA定时从生产数据库中同步数据到备份数据库。规则扫描引擎自动扫描备份数据库，发现问题数据，形成问题数据集。

　　数据修复系统是基于Web实现的，以工作流为基础的系统，工作流引擎自动推送问题数据到负责数据的业务人员；业务人员登陆系统后，可以查看系统定位的问题数据以及修改建议，在修改后经过事先设定的审批流程，终更新生产数据库的问题数据。

　　在主数据维护系统中录入或者更新数据时，调用数据质量管理系统提供的数据过滤服务接口，自动检查与现有数据之间的数据质量关系，如果发现录入或者更新的数据存在数据质量问题，发送到问题数据处理系统中进行处理。

　　物理架构

　　数据修复系统是B/S架构的系统，其中页面和程序部分部署在Web服务器。工作流、调度管理、规则库管理、ETL服务器端组件，部署在ADP服务器，这些都是以后台服务的方式部署的。问题数据库和备份数据库存放在Oracle数据库中，鉴于本系统数据压力不大，所以同时部署在ADP服务器中，在数据压力较大的情况下，也可以单独部署数据库服务器。