南京斯坦德海量信息存储与智能处理平台项目在南京某大学应用

　　项目背景

　　“海量信息存储与智能处理中心”平台是学科的智能计算与服务实验平台，主要依托“公共安全图像与视频理解实验室”的特色研究领域，针对日异庞大的海量公共安全信息（文本、图像、音视频信息）管理需求，研究海量数据存储及智能检索技术在公共安全信息管理中的应用;研究实现公共安全信息的海量存储;研究实现公共安全信息的智能提取;研究实现公共安全信息检索;大规模网络日志分析;研究公共网络（网警）刑侦方法;研究公安领域计算机快速取证模型;研究公共安全信息在线管理系统等。在研究中，抽取“海量信息的存储与虚拟化技术”、“大规模、复杂数据的感知与智能计算”、“互联网多媒体信息挖掘与检索”等关键技术的共性内容，与“网络与信息安全设计与测试中心”公共基础平台结合，在信息大楼布设一定规模的多媒体信息感知节点，形成宏观的信息学科公共“海量信息存储与智能处理中心”，为学校“大信息领域”的应用基础研究提供支撑环境。

　　项目需求

　　1、围绕海量信息，开展大规模数据、复杂数据、数字媒体数据等方面的存储和智能检索研究，跟踪目前的物联网、云计算技术热点，以高性能计算、CPU-GPU异构处理系统为支撑环境，构建开放式计算服务平台，为全校的有关学科提供技术支持。

　　2、海量信息的存储与虚拟化技术方向上，实现海量存储网络的构建、异构存储节点的虚拟化统一描述、及相关服务机制的支持。

　　3、大规模、复杂数据的感知与智能计算方向上，实现多核CPU与高性能GPU运算，为海量数据与复杂算法计算的研究提供支撑。

　　4、互联网多媒体信息挖掘与检索方向，实现以用户为中心的社会媒体信息挖掘架构，以及互联网多媒体信息检索，压缩与传输架构。

　　5、提供完善的售后服务体系，2小时内响应，7×24小时的售后服务保障;

　　6、提供技术条件和技术平台，双方共建云计算联合实验室，进行相关技术的测试、产品研发、人才培养等;

　　7、为学院方提供云计算硬件支撑平台，相互开放互联端口，共享存储、计算、网络资源;

　　解决方案

　　系统节点功能描述：

　　计算节点用于科学计算，运行并行计算程序，是高性能集群计算系统的主体;

　　控制节点安装有集群管理软件，做为主节点对整个集群进行监控、管理和作 业调度等工作，还负责在集群安装的初期对所有的节点服务器进行操作系统及应用软件的大规模快速部署功能，为多台服务器一次安装OS和软件提供极大的便利，此外控制节点还用作于用户登录管理，方便远程作业等;

　　存储节点构成大容量数据存储集群，存储空间以分布式文件系统的形式提供给所有的计算节点服务器，存储集群与计算集群通过InfiniBand高速网络以及10GbE以太网采用RDMA技术互联，构成一个高带宽、低延时的大数据（文本、图像、视频）采集、检索、分析的统一平台。

　　系统网络类型描述：

　　InfiniBand高速计算网络

　　由于并行集群计算系统对网络间的数据交换要求极高，因此在此集群系统中配置了高带宽低延迟的InfiniBand网络用来提高并行计算中的消息传递。

　　万兆冗余网络

　　除了高速低延迟的InfiniBand网络，此集群系统中还配置了兼容性极高的万兆以太网络，用来运行基于RDMA技术的TCP/IP协议数据传输，作为存储集群多路径配置的另一种数据传输通道。

　　千兆管理网络

　　用来进行集群管理、节点操作、系统布署、软件安装、状态监控、远程操作等。

　　方案优势

　　a） 低总成本

　　海量存储系统的成本主要包括硬件成本和操作成本。

　　为降低硬件成本，海量存储系统使用常见的商用硬件，包括普通的PC和服务器。这些商用硬件相对专用的存储硬件成本要低得多。

　　相比硬件成本，操作成本对海量存储系统同样十分重要，操作成本主要包括设备或人员对系统进行常规维护或灾难恢复等操作的执行时间。该系统可以实现自管理和自组织，同时节点的加入、删除等维护操作简便。

　　b） 高灵活性

　　实现海量存储系统的PB级存储，系统具有高度的灵活性和扩展性，支持大量的节点组成集群。

　　c） 高可靠性

　　保证系统可靠性的一个重要目标是快速修复数据的能力。系统的数据存在多个副本，同一数据的不同副本分布式存储以抵抗不同的灾难，同时系统能自动检测节点的丢失并自动回复相应的数据。

　　d） 高可用性

　　系统对用户完全隐藏底层细节，提供简单易用的接口。