南京斯坦德资源池系统在某移动电子商务基地的应用

　　项目背景

　　某移动电子商务基地是中国移动业务支撑系统创新的先行者，通过经营分析电子商务后台系统中采用Infiniband组网可以很好的成绩和效果。

　　某移动业务支撑计划对系统进行优化和部署，采用资源池来减少网络投资和提升系统性能。资源池对外提供计算资源、网络资源、存储资源以及本地备份资源等各类IT资源。计算资源、存储资源、网络资源、本地备份资源之间相互协作对外提供完整的资源使用环境。具体而言是在现有运营管理和新业务支撑能力的基础上，对现有用户数据进行分析，提升现有核心系统的性能，延伸系统的应用价值链;丰富系统功能，重点加强对数据业务的全面支撑;进一步整合企业数据源，增强各个核心系统数据仓库的职能;加强系统数据质量、数据安全和运营管理，有效提升系统新业务支撑能力。

　　项目需求

　　整合企业业务数据，逐步构建和完善企业级业务数据平台，丰富各级系统数据仓库数据源，逐步将系统完善为企业级业务数据平台，凸显资源池系统核心系统的价值，提升各系统支撑企业运营管理的能力。

　　强化系统支撑能力， 围绕业务应用，构建数据集市，促进业务管理流程的优化， 加强对公司各业务的支撑。

　　提升系统应用能力，通过强大的后台系统，支撑整个电子商务基地的商务运营中心、创新中心、支付中心和认证中心。

　　整合网络，降低组网复杂程度和减少能耗，实现节能减排。

　　解决方案

　　某移动电子商务基地资源池平台的IB网络规划如下图所示，在该网络设计中，所有的网络设备的连接均采用冗余设计。首先，每台服务器配置两个IB端口，IB端口通过冗余绑定方式分别接入高度冗余的两台Mellanox IS5100交换机，大限度的提高系统的冗余度和节点间通信带宽限制;保证当任意一台交换机或设备网卡出现故障时，底层服务器均有链路连接到上层网络。

　　上述集群架构采用IS5100交换机搭建大可以支持108个节点，此集群可接入为100个服务器，每个服务器配置双网卡，全部为40Gb接入，Fat-tree架构，高性能，性价比高。

　　方案采用Mellanox IS5100交换机，网络采用Fat-tree架构，网络部署简单，易于实施和维护，每个节点可以提供40GB的带宽，每个交换机可以根据需要求多连接108个网络节点，本次连接100个刀片服务器，每个服务器连接双网卡。

　　方案通过专用QSFP线缆把每个节点服务器上的PCI-E总线40Gb速率的HCA（Infiniband协议适配器）与Mellanox交换机相连，构成一个InfiniBand网络。通过IS5100交换机实现InfiniBand网络与以太网络互联。Mellanox IS5100和ConnectX系列网卡配合可以在服务器端的HCA卡上生成虚拟的VNIC，通过Mellanox EoIB技术实现分布式服务器与以太网的通信。

　　方案优势

　　用Mellanox Infiniband组网，使用RDMA技术，可以大大提升系统性能，降低投资规模，降低能耗。从上图可以看出，同样一台服务器采用以太网组网CPU仅53%用于通信，CPU约47%资源用于通信和中断等开销。而采用infiniBand组网，使用RDMA技术，同样一台服务器，CPU高达88%的资源用于了应用，大大降低了通信及中断对CPU资源的占用，系统性能得到明显提升。

　　Mellanox网卡支持E-switch功能，可以在网卡即能实现交换机虚拟化，可以降低虚机迁移延时。而且以上方案看出，方案采用MIS5025组网是一个高可靠、高可用的方案，主要体现在以下几方面：

　　高性能

　　方案采用了节点间40Gb/s（QDR）通讯设计，借助Mellanox 系列交换机内部严谨设计的交换结构，每一个连接到Mellanox系列交换机上的节点与另外一个节点之间的通讯带宽接入带宽都在40Gb/s（QDR）。每个端口与端口之间的延迟小于100ns。

　　可靠性

　　方案中所涉及的设备均采用了冗余零部件设计，Infiniband交换机具备冗余散热系统，大大提高了系统运行的可靠性;如果用户需要更高的可靠性还可以通过构建冗余路径的Infiniband Fabric来实现;

　　便捷的管理

　　Mellanox系列交换机提供了RS232、以太网接口，支持串口终端管理，支持Telnet远程终端管理，同时提供了强大的网络管理软件-UFM，UFM可以自动发现Infiniband网络中的主机以及相关的配置信息，并能自动选择优的路由，大化的提高系统的通讯性能。