电视台虚拟化平台设计思路和实现方案

  • 优秀论文奖
  • 文章作者:中国新闻技术工作者联合会 2021/12/30-04:43 阅读: loading...

    周友辉 孙立国 孙 波

    (易安信(EMC)电脑系统(中国)有限公司)

    [摘 要] 本文以媒体行业虚拟化为背景,以北京电视台办公网络项目为实例,兼顾媒资虚拟化平台设计思路,通过对两者关键业务分析—传统办公网业务和媒体特质的媒资虚拟化平台在性能、可靠性、安全性以及效率等方面,总结了较为详细的设计思路和实现方案。[关键词] 办公网 媒资 虚拟化平台 整合 备份 设计思路 1 电视台办公网络和媒资业务系统概述1.1 项目背景和虚拟化平台体系架构简要说明1.1.1 项目背景北京电视台业务具备传统IT数据中心的特性也有其广电行业独有的制作、媒资等业务,传统IT数据中心业务以办公网等为主,行业独特性业务以制作网、媒资系统为代表,北京电视台虚拟化平台系统项目是以虚拟化计算为基础,流程自动化为核心,在虚拟化平台下满足办公网络、媒资等业务需求,实现共享的IT(计算资源、网络资源、存储资源)资源池、统一调度、大量节省能耗和机房空间、提高IT资源的可管理性。办公网虚拟化平台于2011年12月启动,2012年3月逐步投入试运行阶段,一期项目首先承担BTV办公网14个应用系统,再依据办公网业务需求规划后期发展计划。目前媒资虚拟化平台也处于规划设计阶段。1.1.2 办公网和媒资虚拟化平台体系架构北京电视台办公网一期的14个应用系统以及媒资系统采用传统的方式部署于物理服务器上,现在是以虚拟化平台架构为软件和硬件部署的基础设计模型,包括计算资源池化、网络资源扁平化、存储资源共享化以及备份系统简单化等主要几个组成部分。计算资源池化提供应用系统在不同的物理服务器之间相互切换,即实现业务和物理服务器分离,提升业务系统的效率和可靠性。网络资源扁平化为应用业务的互联互通和高可靠性提供技术保障,并构建和定义相关互联的标准、规范和方法。存储资源将不再和以往系统一样相互隔离,形成“烟囱式”的孤岛,虚拟化平台下的存储资源将最大化共享,实现数据自由共享。备份系统在虚拟化平台下将异常简单,将为平台上的操作系统及业务数据提供备份功能,并实现块级恢复。虚拟化平台结合现有的办公网和媒资系统实际运行情况和业务的基本应用特征,遵循虚拟化平台改造和建设尽可能减少对现行业务影响的原则,在规划设计过程中充分考虑现有的硬件设备条件,在应用系统层面通过新建、合并、P2V等多种方式改造提供业务虚拟化计算,达到传统的办公网以及媒资系统和新建虚拟化平台的有机兼容,最后实现办公网部分业务系统运行于虚拟化平台。如图1所示。下面对以媒资为代表的媒体行业独有业务和以办公网为代表的传统IT业务在虚拟化平台下进行分析。

    2 媒资系统和办公网业务规模及评估分析2.1 媒资系统传统架构评估分析媒体用户中媒资系统是其典型的业务,其转码服务器、TRS服务器等应用均有别于其他行业传统IT数据中心。对北京电视台数据中心内的部分应用设备进行了虚拟化平台评估,评估的范围为媒资系统所有的应用服务器,包括转码服务器、AKMIG服务器、应用服务器、NAS服务器、TRS服务器等。评估中,采用了Capacity Planner对所有服务器的配置、性能、系统环境等进行了信息收集,收集周期为两周,收集CPU、内存、网络IO、存储等利用率数据信息共6GB左右,并给出分析结果。从信息分析结果看,北京电视台现有应用系统的相关资源利用率较低:1)转码服务器峰值利用率较高,能达到90%以上,平均利用率在10%左右。2)文件拷贝类服务器利用率较低,峰值利用率也在30%以下,平均利用率在5%以下。3)应用类服务器利用率较低,峰值利用率在30%以下,平均利用率在10%以下。4)其它服务器利用率较低,平均利用率在10%以下。2.2 媒资系统虚拟化平台下评估分析基于传统架构下收集到的性能及利用指标。即针对本次信息收集完全的57台服务器(部分服务器时间较短,收集不完全),通过将其整合到全新采购4台4路6核2.93Ghz处理器以及24GB缓存的服务器上,整合效率高,效益显著。表1 整合比率

    区域

    虚拟化候选数量

    VMware 服务器数量

    整合比率

    媒资数据中心

    57

    4

    14:1

    媒资系统物理服务器可以通过虚拟化平台实现高级别的资源利用率,另外两个方面可靠性和性能也充分考量到。在虚拟化平台服务器群集中至少需要两台服务器才能提供故障切换功能,用于托管虚拟机的物理服务器配置为4台,为实时迁移、容错和高可用性打下坚实基础。与此同时媒资系统采用4台高端服务器用于满足在特殊极端情况下,系统可靠性不受影响即任何一台虚拟化平台物理服务器出现故障时,其上应用业务负载均衡地从其他服务器上启动,提升媒资应用系统的健壮性。每台服务器需要配备6个千兆网络适配器支持已经整合到单一虚拟群集的多台物理服务器产生的流量。媒资系统在虚拟化平台下物理服务器整合比的提升,将机房空间、能耗、管理等费用大幅降低到以前的7.1%,其系统的可靠性反而通过虚拟化平台软件得到大幅提升,虽然前期虚拟化平台软硬件采购成本较高,但长期而言其实际收益相当明显。2.3 办公网业务规模评估分析北京电视台办公网的业务系统类似传统IT数据中心的管理系统,目前其14个主要应用业务系统将迁移至虚拟化平台之上,分析之前办公网14个应用物理服务器的状态如表2:表2 服务器配置

    服务器名称

    CPU

    内存

    用友测试服务器

    2*E5420

    4GB

    办公网MOSS系统

    1*E5420

    1GB

    总编室图书馆系统

    预搭建系统

    预搭建系统

    总编室电子报系统

    预搭建系统

    预搭建系统

    MRTG流量监控

    1*E5420

    1GB

    南戴河备份系统

    1*E5420

    8GB

    磁带库应急备份系统

    4*E5620

    4GB

    办公网时钟服务器

    预搭建系统

    预搭建系统

    服务器监控系统

    1*E5420

    1GB

    阳光工程服务器

    N/A

    N/A

    客服服务器

    1*E5420

    1GB

    计财应急备份服务器

    4*E7330

    8GB

    CPTN下载服务器

    2*E5420

    4GB

    文件服务器

    1颗CPU

    2GB

    其相对重要的用友系统、办公网MOSS系统、计财应急系统和磁带库应急备份系统等占用较多的CPU和内存资源,但其实际CPU、内存等利用率不到10%,造成很大的资源浪费,且物理服务器众多,不利于管理。

    采用4台2路4核处理器以及32GB内存刀片服务器作为虚拟化计算硬件支撑,采用VMWARE最新vsphere 5平台软件,以及EMC AVAMAR虚拟化备份系统构成办公网的虚拟化平台系统,其14个应用系统通过P2V的模式在线迁移到虚拟化平台上,在利用虚拟化备份系统快速高效地备份、恢复14个应用操作系统以及其对应的应用程序和数据。该配置可以支持客户目前的系统,及将来的扩展系统使用,并且可以考虑到利旧,可以在最大限度上节约成本。

    根据统计,对于传统的服务器应用方式,其服务器的平均利用率在5-15%之间,而采用虚拟化平台整合后,服务器的平均利用率可达到60%-80%。用户在降低成本的方式,还大大减少了环境的复杂性,降低了对机房环境的需求,同时具有更灵活稳定的管理特性。

    2.4 电视台业务虚拟化计算化可行分析

    通过前述对传统IT数据中心一般业务分析以及电视台特有媒资业务在虚拟化平台上应用分析,其提升服务器和业务的效率得到充分表现,虚拟化平台必备的前提条件是保障应用业务系统的可靠性和安全性,由于电视台业务并发性、共享性显著等特性,虚拟化平台(软件、硬件)机制保证其系统的安全性和可用性,一旦出现故障后具备迅速恢复的能力。除此之外虚拟化平台存储内容的有效性得到保证,采用数据高效备份措施以最大程度减少业务运行的影响。总之,虚拟化平台上应用业务除了效率获得大幅度提升,其可靠性和安全也维持在较高的水平。

    3 电视台虚拟化平台设计思路和实现方案

    3.1 虚拟化平台设计思路

    电视台现有环境中软件和硬件资源较为复杂且相互隔离,存在一定的重复性投资建设,能耗和机房空间成为领导关心的问题,且应用和业务仍不断地增长。虚拟化平台设计应立足于现有环境,考虑未来扩展性,实现如下几点:

    1)标准化

    虚拟化平台的设计及实施方案应当尽可能采用标准化的设计方式,从基础架构到运维流程,以适应未来扩展的需求。一期办公网14个应用运行于任何标准的X86平台,二期通过同样的接口将更多的办公网业务迁移入标准平台。而且前期电视台各个网会搭建自己的私有虚拟化平台,通过标准化协议接口互联互通,最终将各个私有虚拟化平台融合。

    2兼容性

    电视台的业务较其他行业有其独特之处,如制作网拥有高端板卡以及应用加密硬件设备等,这些非标准化的设备很难运行于虚拟化平台,有些设备和应用没法完整地迁移至虚拟化平台,因此设计中应考量虚拟化平台和物理服务器的兼容性。

    3)高扩展

    虚拟化平台架构应当具有弹性,可扩展的特性,北京电视台可以随着业务的不断发展,更多的应用将不断迁移至虚拟化平台,因此高扩展性是使之成为整个企业应用系统的统一平台重要因素。

    4)可控性

    一个稳定的虚拟化平台是发展的基础,通过详细的迁移方案设计,稳步的实施和测试,让迁移的应用系统稳定的运行在虚拟化平台上,同时建立应用迁移标准,为将来更多的应用运行提供基础保证。

    5可靠性

    虚拟化平台其机制保障软、硬件的冗余性,且在备份系统建设时,需要考虑现有应用系统的备份策略要求,如部分文件类型备份是否可以通过虚拟化的镜像备份方式取代等。我们需要对现有应用系统的各种备份需求进行统计,制定不同的备份策略满足应用系统需求,同时应当建设虚拟机镜像的备份策略,保护虚拟化平台上的操作系统和应用程序及数据的可靠性。

    6)易管理

    虚拟化平台的管理方式应当简单明了,根据标准化的运维流程,采用自动化的运维工具,减轻运维人员的压力,避免人为操作过程当中的失误。

    3.2 虚拟化平台实现方案

    采用以VMware软件为核心的虚拟化平台相比于传统单台服务器部署单一应用方式,充分满足不同应用对系统资源的不同要求,如服务器监控应用只需要1颗E5420 CPU,1GB的内存即满足运行,而有的高访问率、高吞吐量的CPTN下载应用业务则需要4颗E5420 CPU,4GB的内存才能保证稳定的运行,在以往传统方式下,不能提供每一种应用量身定制服务器配置,而是用一种或几种标准配置的统一采购设备,造成某些应用资源富裕,而另一些应用面临资源紧张的情况,且应用之间不能互相调配资源。14个应用业务运行于虚拟化平台后,由于每个虚拟机所需使用的系统资源都是由虚拟化平台软件统一自动调配,且在虚拟机运行过程中在线的发挥作用,使得任何一个应用都可以有充分保证的资源来稳定运行,同时,该应用在此时用不到的资源又可以被其他更需要资源的应用临时借用过去,最大限度的提高了整体系统的资源利用率。

    服务器和网络硬件设备考虑到尽可能的利用台里现有环境,实现利旧,可以在最大限度上节约成本。

    虚拟化平台高级的功能需要共享存储的支持,如HA,DRS,Vmotion,FT等提升系统效率和可靠性,以Vmware为核心的软件支持多种共享存储的方式,ISCSI,FC,NFS,客户可以根据自己的需要选择不同的存储设备,从性能上考虑的采用光纤SAN存储设备为佳。

    以虚拟带库方式备份到磁盘(B2D)能够提供极大提升备份速度和降低备份时间。数据消重确保唯一的数据单元只备份一次,但能按需要百分之百可靠的重新组成原始的内容。数据消重是提高数据保护,流式备份操作,降低备份负载,缩短备份窗口和降低网络备份流量的基础技术。使用消重技术,可降低磁盘IO读写最高达95%,并能减少每日备份对网络和基础架构的负载影响达到最高100倍。

    4 结束语

    以上对电视台虚拟化平台系统分析、设计思路和实现方案进行讨论和阐述。对于大规模应用业务部署于虚拟化平台而言,需要认真研究的不仅是如何提升传统架构的瓶颈,更应该考虑新型虚拟化平台上存储、网络、处理的综合能力,也应该考量应用业务层面的工作流程、资源调配如何在虚拟化平台下更高效,要实现电视台真正全面的虚拟化平台任重而道远。

    编辑:中国新闻技术工作者联合会

    评论 点击评论