梁东明 封逸忠 秦钰
(广西日报传媒集团)
[摘 要] 近年来，广西日报传媒集团的信息化建设经过不断探索优化，从虚拟化到企业云，为集团IT业务发展提供了更好的环境，减少了购买软、硬件成本，降低了管理维护成本，提高了工作效率。在信息化建设不断优化升级过程中，我集团也遇到了新的问题和挑战，例如与日俱增的业务数据对存储空间需求有了更高的要求，虚拟化技术广泛应用也带来了更高的IO读写需求。为解决这些现实问题，我集团网络中心从成本和实用性方面考虑，决定在新的结构体系下用虚拟技术将新老设备融合应用，对企业云进行升级优化，建立更为安全可靠的企业云环境，应对未来不断增长的存储量需求和云技术的快速处理要求。
[关键词] 分布式存储 NVMe技术 高级存储功能 存储分层
1引言SNIAChina
联合主席尤昉女士在SNW2014中国大会上提到：“当下存储产业正在经历一场深刻的变革，传统的企业存储随着云计算、大数据、移动互联网还有社交网络这些新趋势的出现，原有的设计和架构以及技术都面临严峻的挑战。与此同时，原有的产品形态之间还有技术之间这种界限也逐渐变得模糊。那么融合就成为一种趋势，并且已经出现了多种层次的这种融合，这种融合的解决方案配合新的业务需求，最终给用户带来价值。”尤昉女士点出了大数据时代我国出版企业存储普遍面临的问题，并提出解决的方向和思路。近年来，广西日报传媒集团从引入虚拟化技术开始，再到企业云的建设，信息化建设架构上发生极大的变化，数据采用集中式管理和存放，所有资源通过虚拟机、物理机灵活调配以及简单快捷的维护，得到了整合和充分利用。但随着数据量的增大和服务器数量的增加，网络的瓶颈、磁盘读写的瓶颈、存储空间的瓶颈等各种现实问题开始初见端倪。为此，我集团网络技术部门开始寻求新的解决方案，充分利用现有资源，引进新技术，对企业云的存储环境进行改造，一方面是存储技术架构的变化，另一方面是固态硬盘的优化提升， 尝试通过对上述两方面技术进行革新融合，以达到企业云的优化升级。
2集团数据存储的现状及存在问题2012
年，为了启用虚拟化技术，搭建集团企业云，我报业集团采购了2组NETAPP存储作为整个服务器群集的数据存储单元，有了NETAPP的统一存储，虚拟化技术得到充分发挥。这种采用集中式存储为初期的集团IT发展奠定了良好的基础。但随着时间的推移，虚拟机数量日益增多，业务数据的存储量与日俱增，集中式存储方案欠灵活的局限性逐步显现，执行效率和安全性也存在不足，具体体现在： - 盘柜空间满后，停机扩容会影响业务连续性；
- 两个存储机头和盘柜只是互为冷备，不能实现数据并行读写，不能实现冗余；
- 机头在故障切换时有影响业务连续推进的风险；
- 无法满足众多虚拟机带来的高IOPS需求；
- 升级和维护的成本问题。
- 高IOPS和低IOPS混合需求无法协调。
要解决上述问题，依托现有集中式存储技术，就必须持续投入资金采购设备和软件授权，这对报业集团来说将会是一项长期的巨额资金耗费。如何通过技术革新以较低的成本解决上述问题，并前瞻性地为报业集团企业云构建出未来
5年的发展空间，是本课题重点研究的方向。 3新技术的发展和特点分析3.1 分布式存储技术的发展及其特点分布式存储是近年国内外最具关注度并努力推进的新的存储技术。一些居于世界发展前沿的企业首先着手于研究和推进这项新技术。
VMware全球CTO Steve Herrod博士在VMworld 2012首日的主题演讲中曾将这一技术描述为“虚拟SAN”，从当天开始，它成为VMware整体存储战略的一部分。2012年，中国的华为集团也开始推动分布式(all-scale out)存储战略。经过三年的不断探索前行，分布式存储技术逐步走向更广的应用市场。微软即将推出的windows server 10也开始支持分布式存储。分布式存储具有以下特点和优势：1.
把每个服务器可以当作存储系统的节点，该节点的磁盘空间可以作为系统的存储单元，系统把存储单元汇总起来，做一个大的存储池。2.
框架是弹性的，在满足单元基本数量的条件下，可以随意增减服务器的数量，但不会影响到当前业务的正常运行。从而可以弹性增加大存储的容量，更换单元也容易。3.
每个节点的服务器可以选择高中低配置，高配置的选择存储服务器，中配置的选择X86服务器，低配置选择PC。4.
支持各种存储的高级功能，例如备份、重复数据删除、箱体感知、卸载数据传输等等，这些功能都内置系统当中，不涉及任何额外费用。5.
统一的管理平台。存储系统的维护管理、数据迁移、备份、快照、监控性能和日志管理都可以在同一个平台下实现，无需第三方插件或者软件的介入。3.2 PCIE NVMe固态硬盘的高性能存储优势分析NVMe
的全称是：Non Volatile Memory express，接口采用PCIe通道，是以英特尔为首的众多闪存厂商为了解决SSD固态硬盘传输瓶颈问题一起推出的新技术，专门为闪存类存储设计的协议，其核心是PCIE接口替换SATA接口。相对于传统的固态硬盘，PCIe NVMe固态硬盘具有以下的优势：1.
大幅度降低控制器和软件接口部分的延迟。一方面，NVMe技术通过原生PCIe主控与CPU直接相连，而不像传统方式通过南桥控制器中转，再连接CPU。另一方面NVMe精简了调用方式，执行命令时不需要读取寄存器。2.
提高固态硬盘的IOPS（每秒读写次数）性能。IOPS的性能，与队列深度有较大的关系。在队列深度上，AHCI所能做到的极限可以到32，而NVMe标准下，最大的队列深度可达64000。此外，NVMe的队列数量也从AHCI的1，提高了64000。三星在2014年
CES上发布了SM951固态盘，这款产品分别有
AHCI和NVMe 2个版本，本次我们测试使用的是最新支持
NVMe协议的消费级固态
SM951。它使用
PCI-E 3.0接口x4通道（接口速度可达32Gbps，接近4GB/s的带宽了），容量为128GB，固件版本号
BXW2500Q，测试软件是最新的
CrystalDiskMark4_0_3a，操作系统为Windows Server 10
的技术预览版。我们将其安装在一台采用
Intel B85芯片组，CPU为E3-1230 v3 @3.30 GHz的台式机中进行读写测试。测试结果显示，在队列深度为32
的顺序读和写的值分别为2578 MB/S和
631.3 MB/S，队列深度32的4K
随机读和写的值分别为462.7 MB/S和
239.2 MB/S。在相同环境和队列深度为
32级情况下，同为消费级SATA
固态盘的顺序读和写大概在
500 MB/S左右，随机4K读和写大约在200 MB/S左右。对比同级别
SATA固态硬盘，NVMe固态硬盘读速度有
5倍提高，写速度有3倍提高。
3.3 分布式存储与NVMe技术融合的可行性从上表数据可见，
NVMe固态已经达到GB级以上，其它参数都有4-5倍的提升。SATA固态性能是机械硬盘的3-5倍，因此NVMe的固态硬盘的性能是机械盘的12-25倍。新固态硬盘的特点，决定了它的最佳应用是在高性能存储上。但这样的技术在旧有的集中式存储上却无法运用，因为市场上常见的集中式存储只拥有
SAS或SATA盘柜，没有适用于PCIE接口的盘柜。那么，它可否应用于分布式存储？我们对分布式存储及
NVMe技术的特点和优势进行了认真分析和研究，最终认为，分布式存储是包容性极强的技术，具备融合各种新技术、新设备的能力和优势，如果引入分布式存储系统并与最新的NVMe技术融合，将起到两种新技术“强强联合”的效果，对提升和优化我报业集团企业云性能将起到极大的作用。
4分布式存储与NVMe在我报业集团的融合实践经过分析，我们重新确立了存储架构的设计方向：革新原有的集中式存储，构建分布式存储系统，并将新的
NVMe固态硬盘融入新存储系统，为我报业集团的企业云建设插上“腾飞的翅膀”。广西日报传媒集团的不断发展 ，决定了集团企业云必须能够为更多的服务器提供存储空间，为更多的业务系统提供稳定的、安全和高效的存储环境。从集团发展实际出发，我们采用下一代Windows Server 10的技术预览版（Windows Server technical preview x64）作为本次实验的软件平台，进行分布式存储的部署与测试。通过下一代服务器操作系统在群集状态下开启磁盘直通模式，实现跨物理机磁盘虚拟化管理，组成一个统一的存储池。在这个群集当中，每一个服务器就是一个节点，每节点之间通过网络进行连接，使用超低延迟的万兆网络进行分布式部署。数据的读写被分散到群集当中，实现了IO负载均衡。群集中所有节点均为活动存储机头，支持横向扩展，实现了无单点故障、在线扩容，避免了数据孤岛的局面，实现了服务器与网络的融合。在实践中我们发现，在微软的分布式存储下，可同时支持NFS、SMB、iSCSI等协议，无论是物理机还是虚拟机，windows系统或linux系统都可兼容。同时系统自带备份功能，包括虚拟机的备份与快照，无需第三方软件的介入。自带了实时监控功能，可查看例如CPU、内存、硬盘IO读写、重复数据删除率等情况。实现了统一管理平台的融合，以及存储协议的融合。另外，微软系统支持众多高级存储功能。例如重复数据删除，能让存储池极大的节省空间，改善IO性能；高速回写缓存可以让我们将固态盘中一部分空间划分出来（支持随意划分容量大小）用于存储的缓存区，让随机的读写性能更高；箱体感知可以让存储群集里面的节点（服务器）对数据的分配作出适当的设置，决定着这个存储群集可以允许同时出现几个故障点（服务器）；卸载数据传输（ODX）更是一项创新功能，它可以让数据不必经过网络和服务器就能实现存储级别的迁移和复制，让大量数据的移动效率提升到一个新的高度。拓扑结构如下图1：
完成分布式存储系统的技术革新和系统构建之后，我们利用原有高转的SAS机械盘，与NVMe固态盘进行新、老硬件融合，也即SAS技术与PCIe技术的融合，通过存储分层功能，组建混合存储池，让热点数据在新固态盘上进行读写，资料数据存储在低性能的机械盘空间，解决高IOPS需求与大存储空间的容量需求。NVMe 固态硬盘的超高读写能力也大大提高存储系统性能。
5分布式存储带来的优势5.1 硬件架构的变化在分布式存储架构下，原本独立的物理服务器不再是各自为战的局面。更重要的是，以操作系统为存储系统这种方案同样适用于台式机，中小企业或公司可以根据自己的情况选择高配服务器或者普通台式机，又或者低成本JBOD设备，经过统一部署微软系统组建分布式存储，可拥有与企业级存储同等级的功能和性能。以我报业集团的DELL R720服务器为例，一台服务器拥有8个SAS盘位，每服务器安装PCIe NVMe固态盘，4台一共有32个机械盘位，可为数据提供4路并发读写的存储群集，后续还可以根据实际业务需求增加服务器以扩大群集IO吞吐量和存储容量。
5.2 轻松解决备份和容灾问题分布式存储属于框架结构，除通用性与简易性外，还极具弹性的横向扩展能力，可根据实际需要，在框架基础上非常简易地增加建立分布式存储系统的第二存储池，并将之作为第一个存储池的备份。主存储池和备份存储池之间可以互相备份，轻松解决系统备份问题。同时也可实现异地建立备份存储池，依托网络和系统管理，轻松做好异地备份，解决容灾问题。
5.3 小投入大产出我报业集团通过技术改造的方式，引入分布式存储和NVMe
固态硬盘，将两种技术融合后形成新的优化升级的企业云环境，NVMe技术的成熟使得固态盘读写性能提高到前所未有的高度，运用存储分层功能，无需购买全闪存存储设备也能享受到相近的性能。从成本角度考虑，整个过程仅需进行部分投入：即购置新的固态盘、安装Windows Server系统即可，除此之外，网络环境与服务器不需要改变，所有存储高级功能也无需额外购买（全都内置在Windows Server当中）。与企业级存储相比，两种新技术的融合既实现了企业云优化升级，又无需购买和承担专业的存储设备套件（包括硬件和功能许可）以及相应存储设备的额外维保费用，大幅节省了部署成本、维护成本以及物理空间成本。
5.4 易于长期维护从维护角度考虑，使用存储管理的API、WMI 和 Windows PowerShell 可以全面进行脚本编写和远程管理。由于集团的大多数业务均部署在Windows Server平台上，因此，相对于专业存储系统管理界面，我们的系统管理员对Windows Server平台的使用操作和配置界面更加熟悉，易于上手和今后的维护。
6结束语此次技术融合实践过程中，我们结合报业集团的技术特点，引进
PCIe NVM Express固态盘配合存储分层技术，对数据存储采用分布式架构，将服务器、网络、存储进行多方面的融合，并在较小资金投入下较大提升存储的性能，扩展了存储的高级功能，例如备份、卸载数据传输 (ODX)、重复数据删除等技术，有效实现以较小投入大幅提高整个集团企业云的技术水平和业务能力。从虚拟化到分布式存储，每一次技术改造革新的探索实践，都让我们深深体会到，那就是结构的变化更能带动性能的变化。新技术的一点小投入，也能带来业务的大产出。始终紧跟时代的发展，立于技术的前沿，并善于将新技术改造升级后应用于生产过程中，才可能推动生产力不断前行发展。
参考文献：1.网络存储世界2014中国[EB/OL].http://www.ccw.com.cn/event/snw2014/2.Windows Server 存储空间概述[DB/OL].https://technet.microsoft.com/zh-cn/library/hh831739.aspx3.微软TechNet 中文网 - IT 专业人士的资源网站中关于存储空间的管理[DB/OL].https://technet.microsoft.com/zh-cn/library/hh848705.aspx4.MSDN - Microsoft 开发人员网络关于MSCluster_Cluster class (Preliminary)的介绍[DB/OL].https://msdn.microsoft.com/zh-cn/library/aa371422(v=vs.85).aspx
编辑：中国新闻技术工作者联合会
评论 点击评论