华傲大数据环境安装与数据集成在深圳市建筑科学研究院的应用

　　背景介绍

　　深圳市建筑科学研究院有限公司（以下简称“深圳建科院”）为国有独资企业，是集科研咨询、建筑设计、城市规划、质量检测等于一体的综合型服务企业，是高新技术企业、全国建筑节能技术创新企业。

　　长期以来，深圳建科院在业务开展过程中，积累了大量的数据，这些数据包括众多的城市规划、绿色检测、建筑设计项目生成的设计报告、设计图、过程控制文档、大型公共建筑能耗监测数据、绿色建材检测数据等。这些数据是深圳建科院的重要的数据资产，具有不可估量的价值。但由于这些数据是由不同的信息系统创建和管理，数据被锁在各个系统中，格式和存储方式各不相同，难以在业务过程中使用。

　　互联网上包含大量建筑、建材、水处理、气候、地址、水文、经济、人文等信息，这些信息是建科院进行城市、区域规划，绿色建筑设计等业务必需的。当前设计师都是在接到任务后，由甲方提供这些信息或者自己进行调研，不仅成本很高，而且不能保证准确性和性，还经常发生重复工作的情况，造成成本居高不下。如果能在日常在互联网收集这些专题信息，提供给设计师参考，无论是时间成本还是人力资源成本都会大大减少。

　　深圳建科院希望通过建立数据中心，完成内外部的数据集成，建立的检索和查询系统，为设计人员提供的、的参考。因为这些数据具有种类多、数量大、积累速度快的特点，数据中心必须采用大数据平台来建设。

　　深圳建科院从需求出发，选择ADA作为建设数据中心的基础软件。

　　业务目标

　　利用大数据Hadoop技术搭建一个大数据平台，平台能够存储和检索结构化数据、非结构化数据和地理信息数据；

　　利用数据集成技术，集成建科院多年来积累的案例文档（包括规划设计报告、设计图等）、建材产品检测数据（建科院具有检测资质，开展建材产品的检测业务）、大型公建的能耗数据（建科院目前开展深圳市大型建筑能耗的实时监测业务，实时收集大型建筑的能耗数据）等数据，这些数据将存入大数据平台；

　　利用网络爬虫和数据集成技术，集成行业网站大量的产品、建筑方案等信息以及统计网站的国民经济统计报告，系统周期性从各个网站抽取增量信息，这些数据将存入大数据平台；

　　在集成内外部数据的基础上，提供快速检索和统计分析等功能，为建科院工作人员日常工作提供支持；

　　建设一个建筑行业的基于互联网的、建筑行业的运营平台，整合行业资源，拓展业务范围，拓展客户。实现以下业务目标：

　　建设全公司共享的数据中心，实现整个公司的数据集中，为设计师提供知识管理和设计参考，为公司高管提供决策支持。

　　建设一个建筑行业的电子商务平台，整合行业的上下游资源，帮助拓展公司业务范围和客户范围。

　　技术目标

　　建科院在本项目中的技术目标是引入大数据技术，把公司的各个应用系统逐渐迁移到共享数据中心，并为利用大数据技术开展数据分析，提高实施和服务水平打下基础。

　　应用架构

　　建科院数据中心应用架构图

　　深圳建科院建筑行业大数据平台项目以基于大数据Hadoop的数据中心为基础，通过内外部数据集成、数据清理，形成深圳建科院整个公司的数据集中的共享数据中心，在数据中心基础上提供下述业务：

　　提供内部工作平台，提供给各个业务线，提升交付能力和服务水平；

　　提供网上工作平台，外部的合作伙伴、个体工作者、客户通过这个平台开展建筑相关的工作和交易；

　　提供给建科院客户，通过互联网为用户服务，对客户范围的扩展和客户个性化需求都能很好满足；

　　提供决策支持平台，公司管理层通过对数据中心的数据进行统计和分析挖掘，提高决策的科学性和决策速度，更好地面对市场竞争，提升公司业务能力和品牌度。

　　技术架构

　　逻辑架构

　　外部运营平台是基于数据中心的建筑行业电子商务平台，其参考数据都来自于内部数据中心；内部数据中心是全公司数据集中的大数据平台，汇聚了公司内部各个业务线产生的数据和互联网上的行业相关数据；在内部数据中心的基础上，数据中心支持的应用为内部工作人员提供各种业务支持应用。外部运营平台与内部数据中心之间用防火墙隔开，防止互联网攻击和有害信息进入公司内部。

　　数据架构

　　源数据包括各种监控数据、项目文档、设计图和外部数据，这些数据经过ETL抽取、转换和加载后进入以hadoop 为基础的数据中心，在数据中心之上，提供搜索引擎（提供所有数据的查询和检索）、推荐算法（根据客户的个性化需求，主动推荐数据给客户）、可视化应用（以图形化方式展示数据中心数据）、接口API（提供外部应用程序访问和引用数据的接口）；用户的应用系统基于这些功能运行。

　　数据中心的管理包括数据质量管理、主数据管理、元数据管理和数据安全管理等。

　　ETL架构

　　内部数据集成的ETL架构

　　外部数据集成的ETL架构

　　物理架构