新华社“云计算”平台建设的几点思考

王 鹏 张煜东

（新华通讯社通信技术局）

[摘 要] 云计算对信息服务提供者提供了一种更为有效的技术和工具。本文在介绍云计算在传媒行业的应用现状后，系统理论的分析云计算基本架构，并对云平台的各层进行系统分析得出在建设云平台系统中应关注的重点。[关键词] 云计算 IaaS PaaS SaaS 媒体云 1 云计算背景当前我国各行业在构建IT运行中心时主要面临计算能力的高效动态调度、资源有效的管理与整合、传输速度与安全以及成本核算等实际问题的挑战，迫切需要应用全新理念来构建IT运行中心，以便能为大型企事业单位提供足够的IT支撑力。尤其是在大型传媒机构正处于战略转型及建设全媒体机构的关键时期，新兴业务高速发展，传统业务稳步推进，全球化IT运行中心将成为支撑新闻传播与业务发展的基础IT动力之源。近几年，云计算理论已经从研究领域迅速发展到实际应用领域，在传媒（新闻出版、广电、新媒体等）领域，云平台承载大规模“多媒体”服务已经成为产业发展未来发展方向。 2 云计算的概念技术层面上来说，云计算是分布处理、并行处理和网格计算几种技术发展后进行综合的结果，引入了虚拟化等最新技术。从服务类型上来看^[1]，目前云计算中主要提供的服务分为IaaS（基础构架服务）、PaaS（平台服务）、SaaS（软件服务）3种^[2]。云基础服务（IaaS）是指通过物理资源虚拟化技术，使得平台上运行的不同应用的不同客户间的资源（存储、CPU等）实现共享，并提供资源需求的弹性伸缩；云平台（PaaS）是运营云平台的核心，实现网络节点的配置和控制、信息的采集和计算。可以采用分布式存储、分布式计算技术实现对海量数据的分析处理；云应用（PaaS）用于实现业务应用，在技术上应通过应用虚拟化技术，实现多租户、多应用的共享存储、计算能力等资源，提高资源利用率，降低运营成本，在共享资源的同时又相互隔离，保证了用户数据的安全性。 3 传媒行业云计算应用现状在山东，“广电云”的案例十分具有代表性。通过广电云基础设施、平台、应用等建设，使数字高清机顶盒终端真正“落地”，现已覆盖济南、潍坊、芜湖等地二百多万用户。不仅用户得到了更多服务，并且媒体提供商利用“云平台”技术拓展了更多业务并占有更多市场。广西日报则根据新闻传媒业务的特殊性，利用云计算虚拟化技术，充分整合前台和后台计算、存储资源，极大地提升了硬件资源的利用率，降低了硬件采购和管理维护成本，进而降低了总拥有成本（TCO）。重庆北部新区国家数字出版基地将以“云端智能城市”为基础，以云数据处理基地和全球云计算智能终端设备生产基地为支撑，逐步形成以“云端”计划为特色的重庆数字出版产业发展新模式。天津国家数字出版基地依托版权交易所、云计算中心、数字出版公共服务网络等平台的不断完善和相关核心产业的发展。因此，在传媒机构进行全媒体建设的过程中，既要大力进行内容建设，又要投入大量资源进行软硬件技术建设来提高用户体验，云计算在其中将起到举足轻重的作用。 4 新华社云计算建设探究虽然云计算在传媒行业的应用还处在探索阶段，但其在多媒体乃至全媒体应用中仍有一些需要注意的关键问题。多媒体技术是随着计算机技术发展而兴起，主要处理包含文字、图片、音视频等内容，而全媒体在多媒体内容基础上包含了信息的呈现形态，信息的媒介形态和信息的经营形态。从技术角度来讲，全媒体的IT技术是多媒体技术的延伸和扩展，全媒体业务载体需要大量的计算和存储资源，因而在云计算平台上部署这些业务具有很高的必要性。新华社云平台建设的首要任务是建设“IT云平台”，统一提供IT技术平台，实现快速应用部署，提高运维效率和能力。围绕着“IT云平台建设”主题，本文分析云平台层次模型，并提出在部署上需要注意的问题，以及如何把握关键技术。4.1 基础IaaS层建设要点在IaaS层主要考虑的是虚拟化技术，虚拟化技术把一个物理单元虚拟成多个逻辑单元，供多个应用共享使用。这样不仅可以提高资源的使用效率，同时可以方便资源的管理与实时分配。云平台在IaaS层的一个目的就是需要把未完全利用的服务器硬件资源进行整合，统一资源为应用提供服务。虚拟化技术的核心是资源的池化，包括CPU资源池、内存资源池、网络资源池和存储资源池，云服务可以按需在统一资源池中获得硬件资源并运行。当前，在虚拟化领域比较成熟的系统有KVM、Xen^[3]和VMware^[4]，通过分析已有平台来提出我社在建设云平台IaaS层应该把握的关键技术和建设重点。硬件资源虚拟化后首先考虑的是资源池的IO性能，因为IO池中有大量需要被支持的硬件设备以及设备间的通信协议。VMware把I/O协议栈放到了资源池内核里来提高性能，但是VMware内核和IO协议栈是专用的，需要VMware不开发和维护。这就意味着新的硬件可能要需要VMware的支持。Xen的I/O协议栈与资源池内核独立，它将I/O操作放到了domain-0里面，重用Linux的IO接口，Xen的维护者就不用重写整个I/O协议栈了，但是这样就牺牲了高性能。因为每一个中断都必需经过Xen的调度，才能切换到domain-0，并且所有的IO需要加上附加层的映射。KVM既将I/O协议栈放到了资源池内核又重用了整个Linux I/O协议栈，因此KVM的用户获得高可用性同时可以对这些设备管理和维护。第二是在虚拟化软件成本方面，Xen和KVM，是开源的虚拟化软件，VMware属于付费的虚拟化软件。通过上面的分析可见，我社在云平台建设过程中首先面临的是服务器硬件资源的虚拟化操作，虚拟化操作要关注如下几个方面。第一，调研和规划硬件虚拟化的类型，即半虚拟化（Para Virtualization）还是全虚拟化（Hardware Virtualization Machine）。半虚拟化中需要操作系统的支持，性能较高，例如Xen。全虚拟化需要硬件厂商支持，例如INTEL和AMD的虚拟化扩展技术。第二，在选择虚拟化平台性能同时考虑到虚拟化平台的成熟度以及相关软件的开发生态系统，这将是后期云服务建设的基石。在KVM和VMware的比较中，KVM的优势在于速度，稳定和扩展性而VMware的优势在于稳定、图形化界面和较成熟的软件开发生态系统。在实际建设中还要调研第三方云平台服务软件开发商的成熟度，在后期云服务建设中是否有针对特定平台的特定优化。第三，现有系统升级以及我社在建的云平台平稳迁移问题，虚拟化平台与我社现有硬件平台的兼容性决定着我社在线运行系统是否可以实现在线升级和迁移。第四，成本因素，KVM和Xen属于开源项目，可以免费获得license在后期开发中只需要考虑开发成本而VMware需要获得版权。在实际项目建设中，综合考虑虚拟化软件的成本和后期开发成本以达到建设规模与成本的平衡。4.2 利用PaaS层构建创新平台在云平台建设中，PaaS层为部署和运行应用系统提供所需的平台设施，提供开发SDK、IDE等加快应用的开发、测试和部署，应用开发者无需关心应用的底层硬件，可根据应用需求动态扩展所需资源。在PaaS层实现网络节点的配置和控制，提供应用系统的运行环境和应用系统的生命周期支持。具体来说，包括：分布式运行环境、多种类型的数据动态存储以及平台的监控、管理和计量。在PaaS层Google^[5]独立开发了针对谷歌公司业务的云计算平台，这套云平台在云计算领域具有典型特征。Google的云计算平台包括4个相互独立又紧密结合的系统：分布式文件系统（GFS）、MapReduce 编程模式、分布式的锁机制（Chubby）和大规模分布式数据库（BigTable）。而IBM的“蓝云”计算平台Hadoop是开源版本的GFS软件和MapReduce编程规范。在“蓝云”存储体系中包含类似于GFS的集群文件系统以及基于块设备方式的存储区域网络（SAN）。在IaaS的技术基础上进一步构建PaaS平台将能带来更丰富内部应用。PaaS的核心价值是让应用及业务更敏捷、IT服务水平更高、并实现更高的资源利用率。建设PaaS层的步骤可以概括为，首先根据我社业务需要提取业务逻辑，按照国际标准行业规范进行业务逻辑的标准化，分解应用模块，包括数据库环境部署、全文检索、测试平台等逐步积累模块功能，最终梳理为一个通用的PaaS平台。PaaS技术要求较高，仍处于不断发展之中，因此在建设中要进行充分论证，稳步推进。在建设调研过程中，我们比较关心的问题有：第一，建设PaaS层可以使我们灵活构建SOA架构的复合应用。具体来说，能否快速高效部署新建应用和已有应用，以及在升级扩容时是否可以在线进行。第二在管理方面，针对存储密集型和计算密集型的解决方案是否具有灵活性，管理平台是否可以将虚拟化资源高效管理。第三，在PaaS中包含文件系统的优化，这一优化是否可以提供更高的可靠性、数据一致性以及与灾备中心的建设是否可以进行互补。第四，节能高效是当前倡导的绿色理念，在降低TCO和运维成本方面要建立一套评估体系，量化管理成本。4.3 利用SaaS层部署更加灵活的应用服务SaaS具有不受空间和时间的限制、灵活性更强等特点，并属于目前发展比较成熟的云计算业务。例如，在SOA的框架内，IBM、Microsoft以及Google都已经有比较成熟软件生态体系。因此，云应用实现行业应用具有通用性强、产品化程度高等优势，可以“一次开发、多用户使用”的特点，根据某些用户需要进行“定制”，定制过程的大部分工作是用户以服务组合的形式快速搭建复合的灵活应对变化的系统。以我社OA系统为例，云应用的框架内的用户的应用可能都存在云端，用户只需要自己的账号即可在内网随时携带定制的“OA系统”。结合OA系统实际，对我社现有OA系统与云架构OA系统进行对比。现有OA系统以办公平台为主，包含资产人事系统，管理系统，营销平台，稿件查询系统等各项采编系统意外的管理系统。在服务器运行与维护方面，各个系统使用独立的主机，管理员只能单个维护系统，系统资源相对独立；在用户使用方面，各个系统全部展现在用户面前，用户“定制”的体验不够。未来云架构的OA系统乃至更多系统以虚拟化资源为基础，云应用为内容，各个系统由实现功能转变为提供服务，用户可以按需定制服务。在服务器运行与维护方面，主机运行在云平台中，管理员可以通过云平台统一管理资源；在用户使用方面，管理员可以根据用户提出的请求为用户定制系统内容。建设云应用首先面对的是安全问题，除传统安全问题外，我们更关心用户的数据在云端的安全；第二关注的是当前SaaS软件开发者的成熟度（CMMS），成熟的软件开发者对于软件的建模以及代码的管理控制有较为严格的标准，标准化的平台在前期部署和后期维护升级都有良好的版本控制，降低部署、升级成本。 5 结束语为了顺应新媒体发展变革，新华社正全面推进战略转型，实施“由传统新闻产品生产为主向现代多媒体新闻信息业态拓展，由面向媒体为主向直接面向终端受众拓展，由立足国内为主向有重点地更大范围参与国际竞争拓展”，打造融通讯社业务、报刊业务、网络业务、新媒体业务、电视业务、金融信息业务和多媒体数据库业务为一体的全媒体业务形态，推动阵地前移，增强国际传播能力，着力构建技术先进、传输快捷、覆盖广泛的现代传播体系，努力建设国际一流的现代全媒体机构。为此，新华社在传统业务稳步推进的同时，各种新兴业务高速发展，对技术工作提出了新的更高的要求。因此，建议采用以云计算为核心的新技术和新理念，构建下一代技术体系，部署全球云计算平台，为战略转型和阵地前移提供坚实的支撑和保障，技术引领新华社事业发展。 参考文献：1．杨勇.基于虚拟机的虚拟计算环境研究与设计[J].软件学报，2007（3）：3-4．2．Armbrust M，et al. 2009. Above the Clouds：A Berkeley View of Cloud Computing [R].Department of Electrical Engineering and Computer Sciences，University of California at Berkeley，Report No. UCB/ EECS-2009-28，CA，USA，2009.3．Paul Barham.Xen and the Art of Virtualization，University of Cambridge Computer Laboratory 15 JJ Thomson Avenue，Cambridge，UK，CB3 0FD4．王春海，刘晓辉，白风涛. VMware虚拟机实用宝典[M].北京：中国铁道出版社，2007.5．Sanjay Ghemawat，Howard Gobioff，and Shun-Tak Leung，The Google File System，Google 编辑：中国新闻技术工作者联合会