浅析智能化文件整备的几个关键点
郭瑾
（中央电视台）
摘要：随着制播高清化、网络化的推进，文件整备在播出系统中占据了越来越重要的位置。从节目文件进入播出域内的迁移、转码，到如何保证节目文件在需要播出时，已经合法、有效的存在于主、备播出服务器内；同时，按照何种存储策略对各个存储体的空间进行管理，避免出现某个存储域空间被过时或无效节目占满的情况，都是保障最终安全播出的重要前提，所以必须对节目整备过程给予充分的重视和关注。关键词：分级存储 整备 转码 迁移 优先级 人工复检 自动审看 近些年来，随着科技的发展和网络化的推进，播出模式也由传统的机械手磁带播出模式演化为后来的标清硬盘自动播出模式，到现在的全文件化、网络化、高清化的硬盘播出模式。因此，从文件整备的角度来看，也有了很大的变化，由磁带直接通过录像机播出，到播出系统内部文件化，再到现在的由外系统直接文件化推送至播出域，致使文件整备在整个播出环节中占据了很重要的位置。1. 文件整备的整体流程
通常情况下全文件化播出系统在系统架构上出于安全考虑，会采用分级存储的架构，一般分为二级存储和三级存储。二级存储是播出系统文件交互的门户，对外与制作系统、媒资系统、广告系统、现址播出系统相连；/对内与应急存储、近线带库、三级存储相连。三级存储是播出视频服务器，负责文件的正常播放，三级存储比较独立，只与上游的二级存储相连。针对播出系统的二级存储和三级存储，节目文件整备过程也可以划分为二级整备和三级整备两个阶段。二级整备主要是指将节目文件整备到播出域内二级存储的过程，整备节目文件的来源包括播出带库、媒资、制作岛、广告系统等。制作系统通过文件直送的方式，将媒体文件送至播出二级存储系统；媒资系统存储的是制作码率的文件，由媒资系统送播的节目文件，需要通过播出系统内的转码服务器将文件转成播出码率存储至二级存储；广告系统等同于制作岛，也是将广告文件通过直送FTP服务器送至播出系统二级存储。三级整备主要是指将节目文件从播出系统的二级存储整备到播出视频服务器的过程。一般情况下，如图1所示。一条节目文件由外系统通过转码或者直送的方式迁移到播出二级存储完成二级整备，再由二级存储通过一读两写的方式迁移至三级存储（主、备异构的播出服务器），完成该节目文件的三级整备图 1 文件整备流程示意图
2. 文件整备任务生成的几个关键点
在文件整备的过程中，文件整备任务依据什么来生成，整备任务何时触发，以及任务按照何种策略和优先级来执行，都是需要我们探讨的一些关键点2.1 文件整备依据播出系统的文件整备通常情况下以节目单为驱动。节目单可分为总编室下发的播出编排单和播出系统细化后的播出执行单两种。在播出系统中，节目播出单的编辑和节目文件整备是两个独立的操作流程，但是在整个文件整备过程中二者又密不可分。在播出系统接收到总编室下发的播出编排单但还没有细化成为播出执行单时，应该依据播出编排单进行整备，且应自动进行已完成整备节目文件的校对，如果有不符合的情况则应该有报警提示，视不符情况的严重程度进行调整或协调。在播出系统生成播出执行单后再进行整备的节目，应依据播出执行单来完成节目文件整备，且需要在完成后对节目单中的条目进行自动校对，如果有不符的情况，应具备报警提示功能，转由人工进行处理。2.2 任务触发时间文件整备任务的触发应该可以通过软件设定一个整备动作的触发时间来实现。以触发一条转码任务为例，针对播出二级存储可以设定文件整备触发时间为-3天，那么-3天时，该节目文件就会从媒资系统经过播出转码、校验、自动技审整备到播出二级存储；针对播出服务器（三级存储）可以设定整备触发时间为-1天，那么-1天时，该节目文件会由播出二级存储迁移到播出服务器中，完成整备。2.3 生成任务的查询次序及任务执行优先级在文件整备的过程中，为了保证节目文件及时、有序的完成整备，那么就需要制定一些规则。2.3.1文件整备的查询次序如果要往一个目标存储迁移时，同时又有多个源存储都存在该节目文件，那么该如何确定由哪个源存储来提供文件来源呢？这就需要设定一个查询的规则。对于二级整备来说，它的源存储有二级存储、近线带库、以及外部系统。设定二级整备的查询次序如下：二级存储、播出带库、现址播出、媒资。如图2所示。图 2二级整备文件查询逻辑
当一条节目文件需要进行二级整备时，先查询二级存储内是否存在该节目文件，若存在则显示二级整备完成，若不存在则查询播出近线带库；带库内该文件存在，则生成由带库迁往二级存储的迁移任务，若文件不存在于带库，则判断节目单上该节目文件属性是否为磁带；若是磁带则生成现址迁往二级存储的任务，若标识不是磁带，则判断节目文件属性是否为文件直送；若是文件直送则生成制作岛迁往二级存储的整备任务，若不是则生成媒资系统迁往二级存储的整备任务。对于三级整备来说，它的源存储只有三级存储和二级存储。当进行三级整备时，先查询节目文件是否存在于三级存储，若存在则显示三级整备完成，若不存在则查询二级存储；二级存储存在则生成由二级存储迁往三级存储的整备任务，若不存在则按照二级整备的查询次序先进行二级整备。2.3.2文件整备任务的优先级确定及算法整备任务的优先级在正常情况下应该是以节目的播出时间为处理依据，播出时间越早的节目，整备任务优先级应该越高。在优先级相同的情况下，还可以考虑依据频道属性来确定整备任务的优先级，重要频道的整备任务优先级高于非重要频道。同时需要具备人工指定整备任务优先级的功能，人工指定的优先级应该高于正常情况下以播出时间为依据的任务优先级，那么对于有特殊要求的节目，就可以通过人工的方式手工选择调整整备任务优先级。整备任务的优先级可以通过以下算法来实现：以整备任务的开播时间为基准，通过量化归一化算法确定任务优先级。设定0-255的优先级区间，0为最低优先级，255为最高优先级。其公式为：T1= 预计开播时间T2= 接收到任务当天0点Tdeta= T1- T2优先级= 255- 取整[255 *（Tdeta）/ (24*60)]如果优先级小于0，当成0处理，为最低优先级；对于时间相同优先级的任务，频道优先级高者优先执行；对于时间和频道优先级相同的任务，则在目标存储区优先级高者优先执行。3. 相关存储体的管理策略
如果说节目文件的备播是依据节目单，那么存储区的管理则依靠策略来完成。播出区域内的存储体由二级存储、三级存储、近线带库和应急存储构成。制定合理有效的删除和近线、应急迁移策略才能保证存储体的安全有效运行。二级存储由A、B两个存储区构成（见图1）。节目文件存在于其中一个存储区时，则认为二级存储整备完成。考虑A+B存储区的结构是为了提高安全性。例如：当播出二级存储A区故障并确认短期无法恢复时，我们可以通过设置将A存储区离线后，二级存储备播的节目时间范围由原来的4天降为2天，所有新生成的二级整备任务的目标存储区都会指向正常的B存储区，相关的审看工作站或者服务器也调整到正常工作的一簇，同时，整备范围内已经整备到故障A存储区的节目文件也会重新提交整备。A、B存储区制定了容量均衡策略以保证A、B存储区使用的容量平衡。例如：A、B存储区目标策略（按同一天节目单平均往2个存储区传）；如果互备组A、B的占用量比例超过一定配置值（如：10%），自动动态平衡。比如A的占用量高于B 10%，则后续任务会自动连续往B迁移，直到A，B容量百分比恢复到水位线以下。存储区管理通过设定策略来实现。依据策略制定相关触发条件，这些条件一般能过滤出若干节目文件，对这些节目文件执行策略所设定的操作，如“删除”、“归档”等。a) 归档策略策略的触发条件为：节目已播，节目类型不等于广告。策略的执行动作为：把节目文件从二级存储迁移到近线带库。b) 二级存储删除策略策略的触发条件为：已播、在未来n天内不重播、非广告、近线带库已归档的节目。策略的执行动作为：把节目文件从二级存储区删除。c) 备份存储区策略策略的触发条件为：所有进入二级存储的节目文件，如果备份存储区没有，并且距离开播时间小于n小时；策略的执行动作为：把节目文件从二级存储迁移到备份存储区。d) 广告节目文件镜像策略广告文件经直送迁移进入播出二级存储后，一般只存在于二级存储的A区或B区。由于广告文件条目多、文件小、重要等特性，需要让广告文件同时存在于二级存储的A区和B区。因此设置了镜像策略，也就是筛选出“只在A，不在B”的广告类型节目，发起由存储A-存储>B的迁移任务。同时，筛选出“只在B，不在A”的广告类型节目发起由存储B->存储A的迁移任务。如下图所示：图 3 广告镜像策略示意图
e) 广告节目的删除策略广告节目文件在播出系统二级存储上设定保存时间为三个月，长于一般的节目文件，但是广告节目不进入近线带库存储，在播出系统的整体生命周期又短于一般节目，这样，广告节目在二级存储的更新远远大于节目单的更新频率，这和节目恰恰相反。为了防止广告节目的误删除导致的整备不全，广告节目每次由广告系统传输时都需要向播出系统请求短缺媒体文件列表，根据列表进行传输。广告节目的管理和删除完全由播出系统管理，按照3个月没有使用、播出系统已有的待播节目单中也不使用的策略进行自动删除，另外，如有必要也可以接收广告系统的删除命令执行删除动作。4. 整备过程的集中监看及文件审核
文件整备的全流程都需要通过软件提供界面来监看节目整备情况，增强人的可视性，有利于人机交互。4.1 文件整备的集中监看通过软件提供用户界面，可按照频道等条件选择监看整备过程。值得特别提出的有以下几个需求：- 能在界面上显示节目文件在各个存储区的存在状态；
- 针对正在整备过程中的任务，显示整备进度；
- 支持分频道过滤显示整备节目单；
- 显示整备节目单时，可过滤非硬盘节目；
- 能集中查看指定频道未备妥的节目和整备出现异常的节目；
- 可以对整备条目进行复杂的查询（分字段查询），过滤显示；
- 提供短缺节目的查询。
- 提供针对指定频道，指定日期的素材完备性异常的过滤，以让值班人员可以及时掌握整备情况；
- 提供错误条目提示栏，醒目显示错误条目信息；
- 可以按照关门时间来查看未备妥的节目；
- 整备条目颜色定制；
- 可以定制条目在各种不同状态下的颜色（如图4）。
图 4 不同整备状态的颜色设置
4.2 整备报警策略二级整备按照关门时间作为进行报警的基准。分为黄色、橙色、红色。黄色报警：关门时间前N小时，后续操作是催要。橙色报警：关门时间到达，后续操作协调送播方式。红色报警：表示错误，包括流程或系统错误。三级整备按照播出时间作为进行报警的基准。黄色报警：播前30分钟视频服务器节目缺失，二级整备是否完成由报警详细信息提供，后续操作是通知协调岗协调。橙色报警：离开播时间不足以完成三级整备，后续操作是通知协调岗应急。4.3 整备完成后文件的审核文件由外系统进入播出域，除了通过MD5校验、自动技审等技术手段来确保文件传输的正确性，还应该具备与人交互的环节，由人来判定文件合法及正确性，因此设置了人工复检和头尾自动审看的环节。a) 人工复检人工复检需要针对由外系统进入播出二级存储的素材，且未通过自动技审的节目文件进行人工再审核。人工审核通过，进行三级备播；人工审核发现确实有问题的节目，标记为“人工复检未通过”，并根据情况进行重新迁移或报告上游系统等处理。b) 自动头尾检测自动头尾检测需要针对三级存储内的文件自动进行服务器可播性、时长等检验。若检测后报错，则人工进行重新备播等干预。
评论 点击评论