新华社全球云计算平台标准规范建设和实践

林波（新华通讯社）

黎建辉（北龙泽达北京数据科技有限公司）

石山岭（新华通讯社）

摘要：基于对云计算新技术的研究，以及云计算与新闻出版标准规范建设的调研，在深入分析新华社全球云计算平台建设需求基础上，提出了平台的云计算标准体系架构，介绍了所研制的六项标准，特别是其实施效果与推广价值，对于国内新闻界云计算工作的开展具有重要的指导意义。关键词：云计算 标准规范 云存储 计算虚拟化 大数据平台 1引言1.1云计算及其标准化发展现状基于分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)等信息技术而发展来的云计算(Cloud Computing)，通过网络把各种存储资源、计算资源在不同层面整合成一个虚拟化的统一服务平台，借助技术标准及商业模式将整合的强大计算能力通过服务提供给每个应用系统和终端用户。伴随着云计算发展及其在各行各业的广泛应用，云计算发展背后存在的规划不合理、配套缺失、能耗严重、安全隐患等问题逐渐暴露，同时，云平台服务的多样性以及资源平台的异构性严重制约了不同云之间的互连互通。当前云计算发展面临一系列关键问题，核心是相应的产业规范和标准的缺失。鉴此，云计算相关技术规范和标准也成为当前国际标准组织及协会的关注热点和一项重要的基础性工作，如国际标准化组织/国际电工委员会（ISO/IEC）、欧洲电信标准研究所（ETSI）、美国国家标准技术研究所（NIST）等都成立云计算标准研制专门机构，推动国际标准的研制工作。国内，工信部组织中国电子技术标准化研究所(CESI)联合有关机构启动了云计算相关技术和服务标准的预研和规划工作：全国信息技术标准化技术委员会SOA标准工作组开展云计算标准研究以及相关SOA、中间件、虚拟化等技术标准的制定；全国信息技术标准化技术委员会IT服务标准工作组开展云计算标准的研究及相关运营、管理标准的研究和制定；中国云计算技术与产业联盟推动并参与云计算国际、国家或行业标准制定。总的来说，我国已经开始部署的工作归为两类：一方面是研究国际标准工作情况，调研中国国内云计算应用及标准化的需求，梳理我国云计算标准体系和产业急需的产业标准；另一方面积极参与国际各种标准化组织的云计算标准化工作，以提升我国的参与度，促进国内云计算标准工作和国际标准的协调发展。比如国内已经有些标准获得国家标准立项，如《SOA标准化指南》（20090339-T-469）、《SOA术语》（20090340-T-469）和《SOA总体技术要求》（20090341-T-469）三项国家标准项目已正式立项，《信息技术 云数据存储和管理 第1部分 总则》、《信息技术 云数据存储和管理 第2部分 基于对象的云存储应用接口》、《信息技术 云数据存储和管理 第5部分 基于Key-value的云数据管理应用接口》、《弹性计算应用接口》、《云计算数据中心参考架构》等已经完成标准草案的编写，但至今没有正式标准发布。1.2新华社全球云计算平台及其标准化需求2014年《关于推动传统媒体和新兴媒体融合发展的指导意见》，对新形势下推动媒体融合发展提出了明确要求，强调要积极运用大数据、云计算等新技术，以新技术引领媒体融合发展、驱动媒体转型升级。新华社率先布局全球云计算平台，借助云计算等新技术变革业务组织模式，提升业务效率和服务能力，实现和引领新兴媒体发展和向全媒体机构的战略转型。新华社全球云计算平台融合通讯社、报刊、网络、新媒体、电视、金融信息和多媒体数据库等七个主要业务的应用系统和数据资源，通过在基础层、平台层、软件层分别构建服务的理念，进而构建出池化资源平台，支撑和引领新华社“由传统新闻产品生产为主向现代多媒体新闻信息业态拓展，由面向媒体为主向直接面向终端受众拓展，由立足国内为主向有重点地更大范围参与国际竞争拓展”。云计算平台一期主要实现云计算平台、资源调度和监控平台、运行支持管理平台的建设，构建面向全球业务的分布式云计算体系，如图一所示。

图1 新华社全球云计算平台一期业务框架

新华社全球云计算平台一期的四个子项目，强烈需要内部以及彼此之间标准规范的支持。如图2概念模型所示，基于上述四个子项目，整个平台从架构、数据交互管理、云平台安全、提供相关服务产品、平台涉及的流程、云平台核心关键技术、云平台数据接口、云平台管理等方面，建设云计算平台标准子体系，为整个平台从Iaas、DaaS到Paas、SaaS的建设实施和服务运行提供全面的基础保障工作。

图2 新华社全球云计算平台标准规范概念模型

2云计算标准体系架构新华社现有应用系统和资源为全球云计算平台一期建设提供了基础和适应性约束，也为一期建设提供了明确的建设需求。在充分利用现有信息技术的前提下，面向未来云计算、大数据等发展，新华社全球云计算平台一期启动了计算虚拟化平台、云存储平台、PaaS平台、大数据及应用开发等四个方面的工作。（1）云存储平台面向个人/部门提供素材共享空间，实现多类型设备/多网络渠道的随时访问；为应用系统提供NFS/CIFS接口的数据存储服务，提供兼容Amazon S3接口的存储服务，并能够与Symantec/CommVault等主流备份软件协同实现数据备份；建设总社中心和分中心的分布式部署，并能够实现统一管理和数据迁移。（2）计算虚拟化平台主要建设云计算平台的核心网络，以及IaaS层计算资源的虚拟化、桌面虚拟化、实现整体云平台管理、监控、运维系统，实现现有物理资源的监控，提供接口方便其他系统将其监控、运维信息输入。（3）PaaS平台基于新增业务的拓展和原有业务计算资源和存储资源需求，主要以虚拟化的计算机资源池为基础，通过快速提供虚拟机器或物理机器，迅速部署和增加工作负载、自我恢复且具有高可扩展性的编程模型，以使工作负载能够从多种不可避免的硬件/软件故障中进行恢复和实时监控资源使用情况，在需要时重新平衡资源分配。（4）大数据及应用开发基于Hadoop和NoSQL等分布式计算和数据管理技术建立新华社公共的大数据处理平台，结合PaaS平台的服务，对多媒体数据库中的历史数据进行ETL、分析，按照主题目标实现数据的重新标引、定义，灵活描述数据之间的逻辑关系，为新媒体数据库提供数据服务。开发相应的服务接口，符合SOA规范，注册到SOA平台中，提供公共服务。开发智能发布系统，发布主题并以可视化方式展示数据间的逻辑关系。标准规范的建设既要能满足当前云计算平台的建设和实施，保障已经部署的计算虚拟化平台、云存储平台、PaaS平台、大数据及应用开发等工作，更是未来云平台运行和服务的主要保障，是新华社全球云计算平台建设的重要基础性工作内容。标准规范面向四个平台建设，从资源申请工作流程和设备接入、管理、应用、服务、接口标准、服务目录标准、架构治理标准、隐私与安全等方面推进标准规范的建设工作，新华社全球云计算平台标准规范体系框架如图3所示。

图3 新华社全球云计算平台标准规范体系框架

新华社全球云计算平台标准规范体系从云存储、虚拟计算、PaaS平台、大数据、云安全、音像资料库服务等方面规范化平台架构、数据交互管理、云平台安全、相关服务产品、平台涉及的流程、云平台核心关键技术、云平台数据接口、云平台管理等内容，具体包括管理规范，以及资源申请工作流程和设备接入规范、应用规范、数据资源共享、接入和交换技术规范及标准化接口、服务目录、架构治理标准和安全隐私标准等。3云计算标准研究表明国内外已经开展了一系列的云计算相关标准工作，但目前还没有正式的标准发布，所以新华社全球云计算平台标准研制过程中，应充分的开放，注意与同步开展研究的初步成果有效融合，以保证标准规范和云计算平台的生命力和兼容能力。此外，新华社全球云计算平台标准规范建设过程中将遵循以下原则：（1）先进性原则：云计算是当前信息技术发展的前沿，具有明显的先进性和动态发展性，所以标准规范应能够一定程度上吻合专业动态发展的先进性，能够反映当前科学技术先进成果，在时效性方面能满足技术发展要求以保证标准规范自身的生命力。（2）实用性原则：应充分考虑新华社全球云计算平台建设和服务的现实需求以及数据资源的特点，针对性研制服务这些切实需求的标准规范，保证项目成果真正能够为平台建设和服务提供必要的支撑。（3）安全性原则：标准规范应确保新华社全球云计算平台环境的安全可靠，保证各类资源和服务为相应的授权人所获取，切忌因为追求先进性而损失安全保障，信息技术的先进性往往会与安全性之间产生矛盾，所以要充分采取策略平衡二者的关系。（4）扩展性原则：云计算有关方面都尚在快速发展过程中，所以标准规范应能适应云计算的这种特点，预留兼容的前瞻性能力，为云计算平台未来的发展留有扩展的空间和未来兼容性能力。基于上述原则，遵循新华社全球云计算标准体系架构，研究制定了《新华社全球云计算平台 云存储整体规范》、《新华社全球云计算平台 计算虚拟化整体规范》、《数据共享、接入和交换技术》、《新华社全球云计算平台音视频服务 转码与抽图》、《新华社全球云计算平台 PaaS平台整体规范》、《新华社全球云计算平台 大数据及应用开发平台整体规范》六项标准规范。3.1《新华社全球云计算平台 云存储整体规范》面向云存储系统为全社提供的基于个人账号的网盘存储服务、分布式对象存储服务、NAS存储服务和云备份服务等，立足管理、使用、维护云存储系统，《新华社全球云计算平台 云存储整体规范》规定了新华社全球云计算平台云存储的功能和性能要求，包含管理规范、服务规范、系统功能和接口规范、隐私与安全以及服务目录等相关内容。管理规范主要规范用户类型及各类用户的功能及其权限，存储资源管理、监控管理、可扩展性和可靠性要求以及存储计量模式等；服务规范主要规范两种服务类型，即通过API方式访问云存储和通过NFS/CIFS方式访问云存储；系统功能和接口规范主要规范分布式对象存储系统功能和接口要求以及分布式文件存储系统功能和接口要求；隐私与安全主要规范传输安全、存储安全、数据安全、用户安全及系统安全；服务目录主要规范云存储提供服务目录的具体功能，即搭建共享环境、自动化编目、目录内容注册、目录审核和目录内容发布。3.2《新华社全球云计算平台 计算虚拟化整体规范》《新华社全球云计算平台 计算虚拟化整体规范》基于IT基础设施（服务器、操作系统、磁盘存储、数据库、信息资源等）底层物理资源的虚拟化管理和应用，主要规范了新华社全球云计算平台计算虚拟化的功能和性能要求，包含管理规范、服务规范、系统功能和接口规范、隐私与安全以及服务目录等相关内容。其中，管理规范针对云计算虚拟化的管理需求，规范用户、系统、资源及资源部署、虚拟机、监控告警、以及性能等内容的管理，从技术和管理上确保平台一致性，确保新华社全球云计算平台的日常运维流程，实现高效的系统运作。服务规范制定虚拟机服务规范、弹性块存储服务规范、桌面云服务规范等，规范化各项服务的申请、使用和终止所满足的要求。接口规范针对云计算和业务层面的交换标准，从业务层面如何调用、使用云计算虚拟化服务，规范化跨平台的云服务接口和系统接口等。设备接入规范定义接入设备包括服务器、存储、网络，规定了计算虚拟化平台兼容的各类主流虚拟化设备以及应达到的基本配置要求，保证其能够完整接入并充分发挥其处理能力。隐私与安全主要规范身份和访问安全、数据安全、安全告警、物理和虚拟化安全、病毒防护等。服务目录制定云计算平台服务目录功能和管理标准。3.3《新华社全球云计算平台 数据共享、接入和交换技术》作为统一规划的整体业务支撑平台，新华社全球云计算平台各个子平台实现了统一的监控与管理，并建立数据资源的互通性、数据共享接入和交换方面的一致性。《新华社全球云计算平台 数据共享、接入和交换技术》标准面向云计算平台不同子平台之间监控数据和日志数据的内容、行为建立一致性，规定了新华社全球云计算平台各子平台监控数据和日志数据共享、接入和交换的管理要求与技术要求，主要包括管理规范、服务规范和技术规范三个方面。管理规范主要规定了平台在监控管理和日志管理方面所应达成的管理要求，以及各子平台所应达成的特殊要求；服务规范规定了云计算各个子平台通过调用新华社全球云计算平台开放的数据接口完成监控及日志数据的主动推送或者新华社全球云计算平台通过各个子平台开放的数据共享接口完成监控及日志数据的收割的业务实现过程；监控和日志相关技术实现包括接口的通用要求，如所采用的协议、用户安全认证管理、访问控制、状态码信息和错误信息等，规定了监控接口，包括监控数据接入、监控数据共享，规定了日志接口，包括日志数据接入、日志数据共享等方面的内容。3.4《新华社全球云计算平台 音视频服务 转码与抽图》视音频多媒体资源业务是新华社新闻业务的重要基础设施，音视频服务的标准化工作主要专注于云计算平台实现的转码和抽图两项重要功能。《新华社全球云计算平台 音视频服务 转码与抽图》主要给出了新华社全球云计算平台音视频服务中抽图与转码服务的功能和相关技术要求，包含管理、服务及技术三方面内容，适用于新华社全球云计算平台音视频服务各级别管理员、服务厂商和应用用户对平台音视频服务的管理与使用。标准主要包括管理规范、硬件接入、服务规范和技术规范等方面内容。管理规范规定了新华社全球云计算平台音视频服务的用户角色，各角色的职能权限，规定了新华社全球云计算平台音视频服务监控管理的技术要求。硬件接入规定了新华社全球云计算平台音视频服务的技术架构和扩展性要求。服务规范规定了视频转码服务与视频抽图服务的功能要求和实现流程。技术规范规定了视频转码的接口要求，包括视频入库初始化接口、查询转码模板接口、查询视频素材列表接口、创建转码任务接口、转码任务完成回调接口、查询转码任务列表接口、查询转码后视频列表接口、查询转码节点工作状态接口、按用户查询统计数据接口以及查询素材栏目数据接口；规定了视频抽图的接口要求，包括服务接口格式、传输协议和数据类型、以及获取任务列表接口、新建抽图任务接口、启动或停止抽图任务接口、图片抽图接口、图片格式转换接口等各个接口的实现要求。3.5《新华社全球云计算平台 PaaS平台整体规范》《新华社全球云计算平台 PaaS平台整体规范》规定了新华社全球云计算平台PaaS平台的功能和性能要求，包含管理规范、服务规范、技术规范、设备部署接入与资源申请流程、隐私与安全、服务目录相关内容，适用于新华社全球云计算平台运维管理员、服务厂商、应用用户对PaaS平台的管理与服务。管理方面规范了用户管理、资源管理、服务管理、工单管理、运维管理、可靠性管理和计量管理；服务方面规范了应用集成服务、应用生命周期服务、数据库服务和消息中间件服务四种服务；技术方面规范了应用集成服务接口、应用生命周期服务接口、数据库服务接入和消息中间件服务接口；设备部署接入与资源申请流程规范了设备部署要求、服务申请流程、应用申请流程、应用服务器弹性扩展流程和应用服务器弹性收缩流程；隐私与安全部分主要规范了用户管理安全和安全技术要求；服务目录部分主要规范了服务目录具体功能，包括搭建共享环境、自动化编目、目录内容注册、目录审核、目录内容发布等。3.6《新华社全球云计算平台 大数据及应用开发平台整体规范》新华社大数据及应用开发平台基于分布式计算和数据管理技术，采用多层次分级架构，构建支持海量结构化数据和非结构数据处理的分析平台，支持对新华社海量新闻数据资源的抽取、统计、分析并实现主题发现及可视化展示。《新华社全球云计算平台 大数据及应用开发平台整体规范》规定了大数据及应用开发平台基础设施服务的整体技术功能，所提供的服务内容，管理角色职责，平台体系各个环节要求及技术管理要求，包含管理规范、服务规范、系统功能和接口规范、隐私与安全以及服务目录等相关内容。其中，管理规范针对大数据应用与开发的管理需求，规范化用户、系统、数据的采集、存储、处理、挖掘以及可视化的管理，从技术和管理上确保平台一致性，确保新华社全球云计算平台大数据及应用开发平台的日常运维流程。服务规范制定了大数据应用与开发平台所提供的各类服务的规范，如聚类主题服务规范、用户行为分析服务规范、个性化推荐服务规范，数据资源服务规范、数据可视化服务规范等。接口规范制定大数据及应用开发平台的服务接口标准，主要针对大数据平台和业务层面的交换标准，从业务层面如何导入、分析、查询检索、展示数据等。接口标准包括聚类主题服务接口、用户行为分析服务接口、个性化推荐服务接口等。隐私与安全规范包括系统管理和运维安全、访问控制安全、数据存储安全。服务目录制定了大数据应用与技术开发平台服务目录功能和管理标准。4标准实施效果与推广价值4.1标准实施效果新华社全球云计算平台标准规范建设旨在解决云计算平台建设的需求，规范化平台建设的内容和行为，实现云存储平台、计算虚拟化平台、PaaS、大数据及应用开发平台四个子项目之间的有机交互和无缝衔接，为整个平台从Iaas、DaaS到Paas、SaaS的建设实施和服务运行提供全面的基础保障工作。当前研制完成的六项标准，已经在项目内进行实施，实践证明具有较好的可操作性和实用性，达到了预期目标。《新华社全球云计算平台 云存储整体规范》已经在云数据库备份、新媒体数据库、PaaS平台等系统中得到应用验证，《新华社全球云计算平台 计算虚拟化整体规范》已经在稿件落地统计系统、少数民族多媒体采编、PaaS平台等系统中得到初步应用和验证，《云计算平台 数据共享、接入和交换技术》全面落实到了云计算平台各子平台间监控数据与日志数据的有效共享和交换的技术方案实现之中，《云计算平台 音视频服务 转码与抽图》应用于平台音视频资源处理和服务，《新华社全球云计算平台 PaaS平台整体规范》在新媒体数据库、稿件落地统计等系统中得到应用，《新华社全球云计算平台 大数据及应用开发平台整体规范》已经在新闻资源中心、知识库平台、多媒体数据库等系统中得到初步应用和验证，上述标准都在应用中体现出较好的可操作性和实用性。新华社全球云计算平台的顺利建设和试运营，充分实证了上述标准规范成果在满足项目建设和服务等方面的可用性。4.2标准推广和提升价值新华社全球云计算平台标准规范的建设过程中，工作组开展了大量的调研工作，与国内的云计算权威机构、标准研制机构、设备厂商等进行了多次深入交流，梳理了国际和国内云计算相关的标准、白皮书及研究文档等，同时也参考了不同厂商的云计算技术方案、白皮书及企业标准，以保证标准与现有云计算成果的全面兼容、未来发展趋势的前瞻性兼容。标准研制过程中，工作组还立足新华社的特点和需求，面向新闻传播与云计算技术的融合趋势，思考系列标准在同领域的适用能力，最大程度保证标准在行业内的广泛应用可行性。新华社全球云计算平台标准规范立足我国的云计算和新闻传播的特点和需求，最大程度吸纳了国际标准、国家标准、行业标准等的最新成果，能够很好的满足当前的新华社全球云计算项目需求，同时也具备了较好的行业适用性和扩展能力，可以在新闻传播行业内先期推广使用，根据用户使用反馈对标准进行修订完善，在条件具备时成为行业标准，准备提交申请为国家标准。5结束语新华社全球云计算平台标准体系及其标准规范系列，很好的满足了新华社全球云计算项目建设和服务的需求，为整个云计算平台从Iaas、DaaS到Paas、SaaS的建设实施和服务运行提供了全面的基础保障。新华社全球云计算平台标准建设，是我国云计算和新闻传播融合发展的重要探索，对我国新闻传播行业云计算的应用和发展具有重要的基础作用，其应用和推广必将推进我国的云计算标准的发展。 编辑：中国新闻技术工作者联合会