基于电视自动编目技术的广告监管自动化系统

王婧

（国家新闻出版广电总局监管中心）

摘要：近年来，随着广播电视事业的快速发展，依靠人工进行监看的模式已经不能满足广大观众对海量电视广告监督监管的要求，迫切需要建立自动化系统实现广告监管。本文介绍了基于模式识别、音视频处理、模板匹配等的电视自动编目技术，设计并实现了广告监管自动化系统。本系统已在2014年的广告监管工作中试运行，对38个上星频道24小时购物短片广告进行自动编目，结果表明该系统可大大降低人工工作量，提高监管效率。关键词：自动编目 广告监管1 引言电视广告以其传播速度快，影响范围广，越来越成为政府监管的重点。传统的广告监管大多依靠观众投诉再由监管部门对其进行违规处理，由于投诉处理所需时间长，电视播出覆盖面广，违法广告往往已经造成了极其恶劣的社会影响。尤其是近年来一些虚假医药类广告，购物类广告，给消费者造成极大经济及健康上的损失，使我国主流媒体的社会公信力受到很大质疑与损害。依靠投诉进行查处，往往会有大量的漏网之鱼，而传统上对全天电视节目进行监看的模式，无法满足对快速增长视频数据的监管需求。如何在海量的电视节目中，快速地检测和过滤相关的视频广告，并根据相关法律法规进行违规研判，成为电视监管部门亟需解决的问题。只有建立自动化系统，面向海量电视频道，在违规广告播出的第一时间及时发现，进行有效地监管和查处，才能保证广大观众的利益不受损害，保证主流媒体的公信力。本文详细分析了电视广告的监管对象、监管内容，针对监管需求，设计并实现了基于电视自动编目技术的广告监管自动化系统。2 需求分析2.1 广告监管对象截至2013年，广电总局共批准全国地市级以上广播电视播出机构开办电视频道1197个，电视购物频道34个，付费电视频道130个，高清电视频道36个，教育频道45个。广播影视行政部门有义务对其广告播出情况进行监督管理，避免违法违规、虚假广告的危害。2.2 广告监管内容《中华人民共和国广告法》、《广播电视广告播出管理办法》等法律法规对电视广告的播出时长、播出时段、广告内容、播出频道、插播情况等都有严格的限制。1． 播出时长电视商业广告，公益广告的播出时长有严格的规定，例如播出机构每套节目每小时商业广告播出时长不得超过12分钟。其中，电视台在19:00至21:00之间，商业广告播出总时长不得超过18分钟。播出机构每套节目每日公益广告播出时长不得少于商业广告时长的3%。其中，电视台在19:00至21:00之间，公益广告播出数量不得少于4条（次）等。2． 播出时段对于广告播出时段也有相应的要求，例如：上星频道每天18点至24点的时段内不得播出电视购物短片广告，每天每小时播出电视购物短片广告不得超过1条（次），每条不得超过3分钟，每天播出同一款产品或同一内容的电视购物短片广告不得超过3次。3． 广告内容按照各项法律法规，广播电视广告按照内容不同有完全禁止播出、分时段禁止播出等限制，例如：1） 禁止播出：烟草制品广告，处方药品广告，治疗恶性肿瘤、肝病、性病或者提高性功能的药品、食品、医疗器械、医疗广告等。2） 分时段禁止播出：广播电台每套节目每小时播出的烈性酒类商业广告，不得超过2条；电视台每套节目每日播出的烈性酒类商业广告不得超过12条，其中19:00至21:00之间不得超过2条。4． 播出频道广告在不同类别的频率频道之间，播出范围也是不同的。例如：播出机构应当严格控制酒类商业广告，不得在以未成年人为主要传播对象的频率、频道、节（栏）目中播出。5． 插播情况播出电视剧时，不得在每集中间以任何形式插播广告3 电视自动编目技术广告监管的上述需求均可由自动化系统来辅助实现。基于模式识别、模板匹配等技术的音视频自动处理系统能够实现在少量人工辅助的情况下，利用节目间可区分的特征，模板的重复性对广播电视流中的节目、广告等进行自动切分，标注，形成可检索的节目单，使海量音视频的重复利用、监管监督成为可能，因此该领域一直是国内外的研究热点[1-2]。利用该技术，可以建立跨频道的广告模板库，面对上千个广播电视频道，精确定位广告的播出频道、播出时长、时段、播出次数，并根据广告的重复性，在少量人工编辑与审核的情况下，完成广告内容、名称、分类的确定。自动编目的核心为电视节目信息的结构化，将完整的视频流根据不同的广告、节目进行自动切分，包括视频特征提取、镜头检测、关键帧提取、镜头聚类，基于音频特征的切分与分类等。对于已知广告，可利用音视频模板匹配技术，利用已经具有语义标注的模板为重复出现的广告进行分类与内容标注。对于没有模板的新广告，可以利用重复性检测、以及广告的视频特征进行筛选。

3.1 视频分析-特征提取

视频具有结构化特征，自下而上可分为帧、镜头、场景和故事单元。帧是是视频中的单个图像，其中关键帧是能够代表一个镜头内容的图像，镜头是一次拍摄的连续帧序列，场景是指时间相邻内容相关的若干镜头，故事单元是一组语义相关的场景。将视频进行结构化数据分割与内容分解，才能在海量的电视节目中进行快速检索，准确定位违规广告。视频自动分割包括特征提取、镜头检测、关键帧提取、镜头聚类等技术。[3]图像的特征提取是镜头边界检测乃至基于内容的视频检索技术的基础。颜色空间、颜色直方图、统计特征是三种常用特征。对于一帧图像内的任何颜色分布都可以由其矩表示。图像大部分内容信息集中在低阶矩，因此特征通常用每一个颜色通道的前三阶中心矩来计算。设p_ij(c)是图像颜色分布空间第c个颜色通道的(i,j)处像素值，帧大小为M*N，则该通道的前三阶矩阵分别为：

计算颜色分布的矩即可将每一帧视频图像的特征转化为向量,通过这些特征构造检测函数,从而进行镜头检测以及图像比对。常用视频特征还包括：1）标准的RGB空间，在镜头过渡的过程当中度量三种颜色的基本变化；2）HSV空间，衡量帧间亮度、色度和饱和度的变化；3）直方图特征，从灰度以及不同颜色空间来度量镜头间的变化，以及4）统计特征，计算每一帧的亮度分量V的均值、方差和偏态。[4]在本系统中，将从完成格式归一化后的视频文件中，提取图像帧文件、镜头特征文件、视频特征文件以及音频特征文件。3.2 视频分析-镜头检测、关键帧提取与镜头聚类镜头检测的关键是准确定位镜头变换的边界以及镜头内由摄像机和物体运动造成的变化，根据视频中相邻图像帧之间的特征变化，选择合适的阈值，检测镜头边界的位置。对于非压缩域，可采用基于线性变化的镜头检测、通过多帧矩以及帧间相互关系[5]来检测镜头边界。对于压缩格式的视频数据，可直接利用压缩域特征如DCT系数、宏块、运动矢量信息等进行镜头分析，不需对视频文件进行解码[6]。镜头检测对于有淡入淡出、溶解、擦变等过程的渐变镜头相对困难，对于直接切换，无任何过度的突变较为准确。镜头中最能表达其内容的帧称为关键帧，是视频摘要和镜头分析的重要基础，通过对视频特征的分析以及利用数据挖掘方法对图像帧进行聚类分析，把类中心作为关键帧来进行关键帧提取。镜头聚类是由若干镜头形成的镜头集合，是构成视频场景或故事情节的基础。由于视频具有时空分布的特性，镜头聚类是把时间前后相继、内容相关的镜头进行分类提取，通过计算镜头之间特征的区别来划分镜头聚类。3.3音频分析-音频切分与分类在对广告进行切分时，也需要利用语音识别等技术对音频句子进行切分。我们使用了基于能量变化信息的静音检测方法来切分句子，该方法可准确定位静音点，对切分后的每个短句子进行音频分类，判断其音频类型，不同的音频类型进行不同的处理和应用。我们提出一种基于支持向量机（SVM）的音频分类方法，基于能量门限，把短句子分成静音和非静音，然后通过选择有效音频特征，把非静音信号分成4类：纯语音、非纯语音、音乐、环境音。实验结果证明，该方法具有很高的分类准确率和处理速度。3.4已知广告识别-音视频模板匹配技术已知广告视频模板的前提下，可应用视频模板匹配技术，将视频节目进行离线处理，即通过自动检测镜头边界分成不同切变、渐变、渐进渐出等镜头类型，然后对镜头进行特征点提取和跟踪，建立相应的倒排索引。同时，在线进行查询，对正在播放的视频片段或者用户提交的查询片段，查找所需要的相似片段。3.5 新广告发现-基于重复性的检测技术对于第一次出现的新广告，可基于广告的重复播出特性进行检测。本系统中，首先对连续三天播放的电视节目中，重复出现的片段进行筛选。筛选结果包括重复播出的广告、某些重播的电视节目、片花、节目预告等。再利用图像帧的变化率、静音率、音频变化率等特征，过滤其他重播的电视节目片段，并最终由人工对广告进行审核确认，确认的结果将加入到广告模板库中。3.6新广告发现-基于广告特征的检测技术广告为达到短时间内给观众强烈信息刺激的目的，通常具有镜头快速切换的特征。大部分广告由一组连续的具有一定关联性的视频镜头组成，含有丰富的声音特效和视觉特效，镜头间具有连续的声音和相近的色彩风格，并且有标题图像来强调产品信息。因此，在对视频进行镜头分割的基础上，对镜头进行音视频特征提取，包括黑帧率、广告标题图、边缘变化率、帧间差异度、镜头频率、音频跳变点、声音类型直方图和颜色差异度等特征信息进行分析，做出疑似广告预测。4 基于编目技术的广告监管系统4.1 系统软件架构如图1所示，本系统采用分层逻辑结构，整个系统自下到上分为3层：数据存储层、计算层、客户层。数据存储层通过数据同步系统将卫星电视监测网、有线电视监测网等系统采集的电视流实时存储到本系统的磁盘阵列中，并将频道信息等资料同步到数据库。计算层集成了特征提取、重复性检测、模板匹配等计算引擎，将视频流中的广告进行自动分割与语义标注，最终由编辑审核人员进行确认，形成可检索的广告单，由广告监管人员进行违规广告筛选与研判。

图1 广播电视智能监管系统软件架构图

4.2 系统业务流程系统业务流程如图2中所示，从卫星电视监测网、有线电视监测网中采集的音视频文件及频道信息、文件信息等数据库表时时同步到广告编目系统中。同步的视频文件首先将进行“格式归一化”，将采集的flv，wmv等视频文件统一转码为avi文件。转码后进行特征提取，抽取文件中的音频、视频、图像、镜头摘要、特征等内容。对于提取出来的特征文件，首先与模板库进行比对，将与模板库中一致的广告进行分割与标识。对于未能与模板库匹配的未知节目，系统将自动进行新广告发现，利用重复性检测以及广告的视频特征，自动发现空白段中的新广告。系统自动发现的新广告在模板审核人员确认后，将会被保存到模板库，模板库会自动进行智能维护，包括新模版自动排重、自动分组等工作。在系统初始化运行时，将根据对视频文件重复性检测的结果，对模板库进行初始化。对于新广告发现后仍剩下的未知节目段，系统自动发送给疑似广告智能识别模块，该模块通过视频场景特征、时长特征、重复性模版特征等信息对空白段进行疑似节目段和广告段的识别，并对广告段进行细致的拆分，细化到广告条目，并由人工对语义进行编辑。经过上述步骤，系统生成完整的广告串播单，人工主要针对自动识别出的疑似广告段进行审核，审核后的结果，存入到编目结果库。每一次广告监管任务，监管业务部门需将关注的广告类型，违规要求录入到数据库中，编目流程结束后，广告编目结果库中会自动将播放时长、播放时段、播出频道、插播情况违规的广告进行筛选，对于广告内容的违规，尚无法做到自动化处理，需要监管部门进行人工研判。

图2 基于自动编目技术的广告监管流程

在对2014年1月1日，针对38套省级上星卫视电视购物短片广告监管的任务中，应用本系统对24小时的节目进行自动编目，系统筛选出购物短片广告95371秒，传统模式的广告监管要对一天24小时的节目进行监看，应用本系统，平均每频道只需对约40分钟购物短片广告进行研判，大大降低工作量，提高工作效率。5 结论广告以其传播速度快，影响范围广，越来越成为政府监管的重点。面对新媒体快速的发展，传统的监管方式已经不能适应海量的电视广告增长。针对视频广告的自动化检测及监管的研究将引起更多的重视。本文介绍了基于模式识别、音视频处理、模板匹配等内容的电视自动编目技术，设计并实现了基于电视自动编目技术的广告监管自动化系统，本系统已在2014年的广告监管工作中试运行。运行结果表明，系统自动进行广告筛选以及语义标注，人工只需对占2.9%的购物短片广告进行监看与违规研判即可，大大降低人了工作量，提高了工作效率，提高了监管力度与范围。

参考文献

[1] 曹政. 电视节目自动分割与相似视频检索. 中国科学技术大学博士学位论文, 2009[2] Sid-Ahmed Berrani. A non-supervised approach for repeated sequence detection in TV broadcast streams. Image Communication. 2008;23(7). 525-537[3] 谢德胜. 视频广告检测算法研究. 西南大学硕士学位论文. 2009[4] 韩冰. 基于智能软计算的视频镜头分割算法研究. 西安电子科技大学博士学位论文. 2006[5] Abdul Hameed. A Novel Framework of Shot Boundary Detection for uncompressed Videos. Proceedings of IEEE International Conference on Emerging Technologies, 2009; 274-279[6] Zhu-Lin Tao, Xiang-Lin Huang, Xi Wang. Shot Boundary Detection Based on Macroblock and DC Image. Proceedings of IEEE International Conference on Management and service Science, 2009; 1-3 联系电话：18611092709邮箱: wangjing@chinasarft.gov.cn 编辑：中国新闻技术工作者联合会