基于视音频内容比对及异态监测的智能播出信号监测系统
黄振川
中央电视台
摘要：针对传统播出信号监控的固有不足进行分析，引入信号内容一致性检测的概念。基于源的主备与末级的主备内容是否一致，以及末级和源是否一致，并结合节点信号是否存在异态，综合判定是否告警以及是否同时触发自动倒换。关键词：SDI 播出信号监测 内容一致性比对 内容异态监测 自动2选1倒换一、引文
传统播出系统中主要监测采集设备类型有专业的监测板卡或具备异态监测功能的画面分割器。这种模式判决检测方法存在着漏报与虚报之间的门限设置矛盾。例如：把视频静帧检测测门限设置为3秒，则在系统中由于节目内容本身场景有画面不动的情景较多，导致系统误报为故障情况太多，长期会导致值班员对报警有效性持怀疑态度，逐渐丧失了对报警的敏感性，如真正发生事故时，反应速度降低;如果把检测门限设置为8秒，则8秒以内的真正静帧故障不会报警，即使报警了也要等8秒之后再处理，耽误值班人员及时发现故障。通过对传统监测系统及方法分析发现还存在以下问题：(1)孤立节点监测：单点的异态监测基于连续时间域的统计关连性，判断或确认故障需要较长时间。(2)误报率与虚警过矛盾平衡点：态的设置除告警门限外还有告警延时，为了减少虚警，需要加大告警延时，造成响应、处理不够及时，增加了事故时间。因些门限设置不能太高也不能太低，一般设置在5-7秒之间。(3)检测故障种类单一，主要能检测黑场、静帧、静音等简单情况。主要原因是它没有一个参考对象，如果增加参考对象进行多点监测、比对，能够更快速进行故障定位。即使有做比对分析时，也仅是对系统末级信号主备之间进行简单的比对。(4)缺少高标清同播下的内容比对：现有内容比对均不能满足高标清同播情况下基于内容比对的监测。二、基于视音频比对监测的模型
一般地出于安全播出考虑，不论源信号是视频服务器信号（HDD）还是直播信号（BMC）都会使用独立的两个主备信号源。上述主备信号源在播出系统中经过两个独立的视音频链路的各个环节处理，输出主备高清末级、主备标清末级四个信号。图1，央视新址播出系统视音频双链路图
对于播出系统的信号监测系统主要任务是：保证末级主备的高标信号均正常播出，对播出系统范围内任何路信号出现异常时，及时、准确给出故障具体提示，帮忙值班员快速应急操作。因此，我们可以将末级故障原因分为两类：(1)由于节目源本身故障（即进入切换台之前），导致播出末级信号异常;源信号正常，由于播出系统链路各环节中设备故障导致播出末级信号异常;(2)由于主备源、主备链路各设备中信号都是相互镜像备份、相互独立的信号。一般主备信号两个同时出故障的概率极低。播出系统正常工作的一个必要条件是同时满足：源主备信号相同，末级主备信号相同，源与末级之间内容一致。至此，我们可以利用一致性原则来发现播出系统中的故障。发现不满足一致性时，故障一定发生。此外，主备信号两个同时出故障的概率极低，但如若主备信号同时发生故障时，使用传统的检测方法依然可以进行检测，但此时可以把检测检测门限设置为比较大（例如10秒）以防止重大事故的发生。通过引入比对检测与传统异态故障的检测相结合，可以大幅度降低误报同时也保证不会漏报，此外对报警的种类范围与报警的检测速度也有质的提高。不失一般性，我们假设源信号为硬盘服务器HDD信号，末级为标清主备两路信号，这四个信号标识如下图：图2,节点异态检测及比对关系模型图3,智能播出信号监测系统流程图
通过比对与传统的异态检测相结合，实现了常规故障如静帧、黑场、静音、彩场、彩条以及常规如台标有无、时钟有无、幅型变换、字幕（包装）、音频相关性、夹帧、失同步、主备内容不一致、固定电平、噪声的检测。通过播出节目单、全台质量检测报告、策略配置等信息的综合处理，可以检测到播出系统中哪一环节出现问题、出现什么问题、可否直接通过末级主备倒换解决。对于满足切换条件的故障，监控系统直接通过SNMP触发HARRIS的二选一主备倒换，在1-2秒之内实现故障自动应急处置。三、方案实施
（一）异态检测：系统对于常见的传统异态检测，充分从播出实际的角度出发，考虑了台标、时钟、字幕、包装等区域对静帧等故障的干扰，实践中经常发现画面主要内容静帧故障后，由于台标、时钟、包装区手语、字幕滚动等原因导致画面并没有完全静帧，从而影响报警导致事故扩大;考虑了音频设备故障时，发出的周期性的、电平固定的情况;进一步解决了一些特殊场景下的误报问题，如：新闻标版播报导致的视频静帧误报问题。| 序号 | 检测名称 | 检测方法及参数阈值 |
| 1 | 黑场检测 | 1,对于源信号会扫描所有点判断是否满足黑场的设定阈值。2,对于末级信号会使用模板来掩膜相应的台标、时钟、字幕、包装等区域，不同的栏目使用不同的模板，栏目信息从播出节目单获取。3,像素点亮度值小于阈值就判定为黑点:阈值:18，报警阈值1帧，切换阈值5帧 |
| 2 | 静帧 | 判断当前画面YUV值与前一帧画面偏值，在一定阈值范围内认为是静止不变1，判定函数由各像素点一一比对结果加权得到，加权系数一般画面正中央权重较大2，末级信号要排除台标、时钟、字幕、包装影响3，报警阈值：2帧（发送给比对参考），报警阈值：5秒（发送给综合平台），切换阈值：5帧 |
| 4 | 彩条 | 判断画面是否具有彩条的竖条纹特征，各颜色的YUV值分布满足标准彩条的分布情况1，末级信号要排除台标、时钟、字幕、包装影响2，考虑文字标识、计时器、音画同步转圈等元素对统计的影响3,统计各颜色像素点的数量分布，相差数量不超过10%，并且彩条数目为84,报警阈值1帧，切换阈值1帧 |
| 5 | 幅型检测 | 上下左右黑边的“熊猫眼”、右左黑边与AFD信息匹配情况、上下黑边与AFD信息匹配像素点亮度值小于阈值18就判定为黑点报警阈值1帧，不进行自动切换 |
| 6 | 静音检测 | 对于立体声节目，左、右声道同时静音及左、右声道单独静音均视为静音；对于环绕声节目，前左、中置、前右声道不可同时静音，前左前右声道不可单独静音，后置声道及低音声道不做约束。幅度阈值（dBFS）：-60;报警阈值：10帧（发送给比对参考）报警阈值：5秒（发送给综合平台）切换阈值：10帧 |
| 7 | 固定电平 | 针对20Hz～20KHz的音频进行检测，当电平值基本固定，对每一个声道进行检测报警阈值：5帧（发送给比对参考）报警阈值：2秒（发送给综合平台） |
表1,几种异态检测的方法及参数设置
（二）视频比对的主要技术：我们要在视音频信号之间进行内容层的比较，由于数据量巨大不可能进行每一个数位比特的简单比较，此外，由于额外增加的元素如台标、时钟、字幕包装元素、下变换处理等环节都使得这个方法不可行。一般使用每帧的图像、声音中的多个统计量来表征本帧主要内容数据。于是，当两帧图像或者声音的统计向量完全等时时，我们判定比对的两帧图像或声音内容。常见的视频统计量有：均值、直方图、差值、梯度;常见的声音统计量有：均值、过零率、平均能量、倒谱系数、FFT系数等。我们使用的是加权均值、直方图、差值、过零率、平均能量、倒谱系数。高清、标清之间内容比对：当高清与末级标清比对正常时，仅意味着按特定的变换与处理之后，图像主要内容是大致相同的。我们知道高清、标清在幅型、分辨率、颜色空间、像素形状比例、局部区域图案、绝对时间戳上也有一定的帧延迟（由于物理上下游关系），甚至图像在内容细节上可能也有许多不同。当高清源与标清末级一致性检测为匹配时，仅说明画面主要内容相同。| 标清 | 高清 | |
| 宽高比 | 4:3 | 16：9 |
| 分辨率（像素） | 720x576 | 1920x1080 |
| 亮度方程和色域 | Y=0.30R+0.59G+0.11B | Y=0.2126R+0.7152G+0.0722B |
| 像素点长宽比 | 15:16 | 1:1 |
表2,标清信号与高清信号的区别
这些差别极大影响了比对算法中统计量选择与处理方式，特别是像素点的形状亮度方程，由于涉及硬件采集及图面颜色的比较，如果处理不当会发现相同画面的统计量总是无法相等，从而导致误报。其次，高标清图像内容是要一致匹配首先涉及幅型变换，目前信号源都为高清信号源，而末级输出存在标清的情况。根据《高标清混合制播体系幅型变换规范》，按最大有效公共范围的来对高标清信号进行内容一致性比对，对于非内容的黑边图像则不进行比对，涉及共三种下变换过程分别是：切边、压缩、信封。图４，高清幅型变换方式
源信号与末级信号比对：源信号经过切换台之后分别过响度控制器、下变换、包装服务器、键控器最后再通过2选1得到末级，视频比对需要满足整个视音频链路的各个环节进行必要视频处理(台标、时钟、底飞字幕、环绕声标识)之后，末级和源的内容比对。因此当两者进行比较时对于末级信号会使用模板来掩膜相应的台标、时钟、字幕、包装等元素区域，仅留下相同部分进行比较。栏目信息从播出节目单实时获取，不同的栏目可能由于元素位置及大小原因使用不同的模板。这样子仅对关感兴趣内容进行一致性比对，其它干扰元素进行掩膜，先将模板同样作用于源信号然后再进行比较。台标、时钟、字幕区域处理过程：对于末级信号中台标、时钟、字幕等元素区域是否正常，我们通过比对也可以做到，主要考虑比对关系的时机建立、比对位置及正反逻辑使用，这里给出台标比对的方法，其它元素方法类似：图６，台标的比对方法
（三）音频比对中考虑的问题：音频比对目前使用是的一个声道统计量与另一个声道统计量进行比对的方式，涉及源信号音频及上混后的音频等，比对关系有：单声道与双声道、单声道与上混后左右声道、立体声与上混后左右声道。立体声左右相关性检测、及立体声右左声道相位判断也是通过比对来实现。另外对于５.１环绕声节目，前左、中置、前右声道不可同时静音，前左前右声道必须具有相关性、不可单独静音，后置声道及低音声道不做约束，是通过比对与异态检测综合判定。在一定的范围内，音频能量相差不大时认为是一致的。能量偏差过大的问题是否可以检测，目前认为两者音量相差超过20dBFS为比对异常，且可以提示真实音频信息是否一样。小结：
一般的，异态检测能力越强、种类越多，在发现不一致时定位故障也越强。将上述的一致性检测成立与否，信号节点异常与否，共有8个变量，组成真值表：表３，异态监测直值表、内容一致性比对直值表
通过检测信号节点是否异态，以及一致性比对关系是否正常，当且仅当8个变量均正常时，播出系统正常工作。此外所有异常情况，均可以查表得出处理策略。我们通过运行中常见的两个故障举例：（１）单路故障：标清主路末级分配静帧（节点C报警为红色异态），此外主备源信号及备末级信号均正常（节点A、B、D均为黑色）。满足异态真值表中第２条; 此时主路源与末比对、末级主与备之间比对异常（比对关系Ⅱ、Ⅲ均为红色），满足比对真值表中第２条。综合判断知主链路有故障，末级主路切换2选1可自动解决故障。（２）单源故障：信号源备路有噪声，导致了末级备路也有噪声，主路信号均正常时。异态检测发现备源、备末均是异态（节点B、D报警为红色异态），满足异态真值表中第4条; 内容一致性比发现主与备不一致，源与末一致（比对关系Ⅰ、Ⅱ为红色，比对关系Ⅲ、Ⅳ为黑色），满足比对真值表中第4条，综合判断知备信号源音频有故障，末级备路切换2选1可自动解决故障。
评论 点击评论