广西电视台双架构并行数据存储流转平台

梁柏权 刘宇翔 杨为燕

(广西电视台)

摘要：随着高清节目数量的增加，我台原有存储流转服务器的带宽与容量都逐渐显得捉襟见肘，如何在不改变原有播出系统构造的前提下，提高素材传输速度，增加服务器容量，是一个迫在眉睫的问题。本文通过介绍广西电视台双架构并行数据存储流转平台的构造，原理以及使用情况，为在高标清同播的背景下，如何提高系统视频素材传输效率提供了一种参考方式。关键词：双架构并行传输 点冗余 存储流转

1 背景及原有系统分析

为了进一步推动高清电视的发展与普及，国家广播电影电视总局制定了我国高清电视发展思路：积极推进现有电视频道标清电视与高清电视同播，逐步实现标清电视向高清电视过度，实现现有节目逐步的高清化。根据广电总局的高清发展规划，从2009年以来，我台高清频道通过自行录制或购买高清版节目带已经实现高清播出。然而，随着我台高标清同播的进一步推进，原有存储流转系统已经不能满足现有高标清同播的播出安全需要，其缺陷具体表现如下：1.1 上载网现有架构单一并且传输带宽不足，繁复的读写传输任务严重影响视频素材流转效率，给播出安全带来隐患。1.1.1 缩编网，主要负责电视剧的上载，下载，技审，归档与传输，其存储分为N、M、P三个映射盘。M、P两个盘主要用于存储节目素材以及与媒资网、带库相连，下载，归档并传输电视剧；N盘主要用于对已经上载完成的电视剧进行自动技审，人工技审以及与播出网相连，传输合格的播出素材，素材上载完成后经过在上载科的N盘传到播出的二级存储，再到播出主备通道播出，如下图所示。

图1 缩编网

1.1.2 随着节目量的增加，数据存储流转量越来越大，对盘阵的存储读写能力的要求越来越高。原有上载网单一的网络架构使数据传输带宽越发捉襟见肘：由于M、P盘在上载的同一时间内担负着存储，上载，下载及传输归档的任务，承担的读写业务过多，数据流转量大，而且高清节目上载带宽占用量大，不仅导致高清节目的上载，技审传输缓慢，还严重限制了标清节目的流转效率，日常工作中无法高标清节目同时上载。而且由于带宽不足，上载过程中还常常出现素材丢帧的现象，这些都严重影响了播出安全。1.2 现有高标清同播系统的上载播出系统存储空间严重不足，急需升级存储服务器我台现一个高清频道和7个标清频道。结构如图所示：

图2 系统结构图

由图可看出，我台高标清同播系统分为三部分，播出系统，上载系统，媒资系统，各部分间相互连接共享的方式都不同。播出系统由二级盘阵和主备播出通道组成。上载系统由应急上载和缩编上载两套上载系统组成，播出网与上载网之间通过共用的传输服务器传输。实际上，由于系统搭建初期的技术原因，播出系统二级存储调用素材时还必须与上载存储共享一部分空间。上载网主要担负大部分高标清素材的流转任务，随着高清节目素材的增多，占用的磁盘空间也越来越多，严重影响到的上载存储的效率。1.3 多网共用的传输通道效率不高，高峰期素材传输效率很低，严重影响高清节目的传输播出。1.3.1 上载网与播出网之间，以及播出网各部分的子网与播出系统间的素材传输如广告上载，素材传输等须经过统一的传输服务器，经常发生因传输带宽不足引起网络“拥堵”的现象，特别是在素材传输的高峰期，大量排队的素材为安全播出带来隐患；1.3.2 虽然上载科室通过对节目类型的有效管理已经使得大部分电视剧素材的上载时间错开高峰期，但遇到临时的改剧或送带延时，播出工作人员仍不得不手动设置传输优先级以保证重要节目的播出，这样频繁的操作给安全播出带来了极大隐患；1.3.3 为了保证播出的安全性和稳定性，系统改造不允许更换原有的迁移服务器或迁移软件。1.4 现有的播出上载结构决定了系统改动必须小，不能改变现有的工作流程。由以上系统分析看出，我台播出系统与上载系统连接非常紧密的特点决定了上载系统的升级对整个系统的改动必须很小，不能改变现有两网之间的传输流程，不能影响安全播出。1.5 播出安全要求新系统必须适应日后长期发展的需要。我台急需对现有的高标清同播上载存储系统进行升级改造，需要满足以下要求的服务器：1.5.1 对系统改动小；1.5.2 空间足够大；1.5.3 传输带宽够，传输速度快；1.5.4 我台现有的网络架构决定了上载系统必须采用NAS结构存储，公有协议传输的形 式，可是分布式文件系统相比原有的NAS系统具有极高的优势，如何使新旧结构兼容是我们面临的问题。

2 改造后系统介绍

经过改造的缩编数据流转系统如下图所示，我们根据实际需要使用NAS结构与分布式文件存储系统双架构并行、私有协议传输的方式，上载网与播出网间我们使用了私有协议与公有协议并存的方式实现素材的传输：

图3 缩编数据流转系统

2.1 缩编网双架构并行2.1.1 缩编上载素材与盘阵的连接仍单独使用NAS结构。使用4台NAS头终端。NAS头后有6个网络接口，设定为3进3出，缩编网上载的素材经过NAS头网络入口，由元数据服务器切割，冗余备份到4台存储里。2.1.2 媒资素材传输，自动技审，人工复审等业务通过在存储服务器，传输服务器部署客户端和使用脚本更改集群在工作站的使用方式，在素材二次转移的过程中使用分布式平台。在本地的调用系统提供的subst命令，构建脚本，将客户端挂载出来的目录映射成盘符，与本地硬盘的盘符完全相同，同时改变了原有存储空间的目录结构，以便直接接入现有的业务流程。脚本如图所示。

图4脚本

2.2 素材的存储流转使用两种不同协议2.2.1 考虑到我台上载播出网属于台内专网，与公共互联网之间无任何接入，完全物理隔离，因此在传输时对于底层加密等数据保护要求不高，公有协议很多校验加密的功能我们无需使用。根据一台服务器可运行多种不同协议，每种协议使用的端口不一样，数据包结构也不同，接收解析的方式也不同的原理，我们决定使用针对本台上载网络以上特点开发的优化底层传输的私有协议，通过在每台服务器终端部署服务器客户端的方式，主要作用是通过客户端使用私有协议传输。2.2.2 文件的传输效率主要由本地读写和网络带宽决定。客户端挂载和脚本盘符映射均使用windows的系统底层驱动和API接口完成，尽可能提高本地读写操作的效率，同时极大的保证了工作站上整个存储架构的兼容性，对于将来面临的平台升级也可以实现平滑过渡、扩充。2.2.3 当迁移服务器从任务分发服务器取得任务后去固定盘符取任务，此时通过客户端触发使用私有协议，私有协议将数据包加头加尾加效验码以私有协议的形式传到服务器缓冲区中，在缓冲区中重新包装再有由samba协议传输到播出二级存储。

3 应用好处及创新点

通过以上改造，文件传输存储流转的方式变为了NAS结构与文件分布式结构并行的方式，NAS存储没有用到独立的存储空间，而是使用的集群的空间，将其挂载共享给工作站使用这样做的好处在于：3.1 在平台部署过程中，既可以发挥NAS本身架构的优势，又有集群分布式存储的安全和可靠性。3.2 在保持原有系统结构不变的前提下，实现了视频存储服务器同时使用NAS存储和集群文件存储两种存储架构，多重冗余备份，增加了系统的稳定性，极大的保证了播出安全：3.2.1 缩编上载单独使用NAS结构增加了读写速度，减少了共用架构中NAS业务繁重的缺点；3.2.2 节点冗余备份：原有的存储为单机NAS结构,单节点，节点一旦出现故障将导致播出事故；改造后的存储平台是主要使用的是分布式集群的方式，可实现有多个节点冗余备份，即使有一个节点出现故障，其他的节点也可以恢复该节点的数据，继续工作；3.2.3 传输冗余备份：由于该平台可同时使用NAS和文件分布式架构，当文件分布式架构出现故障时，该系统可使用NAS头进行传输，实现无缝切换。3.3 提高了传输速度，经改造后素材传输由经NAS头传输的方式改为NAS和文件分布式集群，公有协议，私有协议并行的方式。这样的好处主要体现在：3.3.1 NAS头传输带宽受到输出网口设定的限制，文件进出传输方式单一，而文件分布式集群传输不受NAS头的限制，带宽可以根据传输需要灵活配置， 提高了传输效率；3.3.2 在专网使用私有协议传输，减少不必要效验，保密性的检查，大大提高了传输速率；3.3.3 在公共传输流转部分使用的是两种不同协议传输，由于利用的是终端不同的端口，有利于系统选择最快的传输路径，有效避免了上载高峰期出现的“网络拥堵”的现象。3.4 不改变系统结构有力保障了播出安全。本次升级改造仅改动存储部分，其余各子网各接入终端未做任何改动，减少了系统改造带来的对播出安全影响，保证了播出安全的顺利进行。3.5 有利于大数据分析，本次升级还简化了存储的监控软件，仅保留状态，历史等操作界面，用于统计存储的使用情况，为今后的升级改造，有计划的使用存储，统计高峰状态等提供了有利依据。3.6 有利于今后存储容量，带宽的拓展。由于文件分布式系统特有的增加存储节点的同时可以提高带宽的方式，有利于日后增加存储的同时增加带宽，而不必为了单独增加带宽而另外购买传输设备。

4 结尾

该系统应用以来，参与了两会等重要播出的存储传输流转任务，未出现任何故障。随着本台高清节目的增多，该系统的使用率会越来越高，该项目的成功实施，为我台今后高清节目的发展打下良好基础。 编辑：中国新闻技术工作者联合会