人工智能技术在媒体资产领域的应用

2023/08/02-16:24 来源:

人工智能技术在媒体资产领域的应用

陈福生

(泉州晚报社)

【摘  要】党的十九届四中全会首次将“数据”增列为一种生产要素,要求建立健全由市场评价贡献、按贡献决定报酬的机制,标志着以数据为关键要素的数字经济进入新时代。数据要素所引发的生产要素变革,正在重塑着我们的需求、生产、供应和消费,改变着社会的组织运行方式。从媒体数字化转型的实践经验中我们可以得知,媒体的数据资产是媒体数字化转型的数据底座,必须管理好媒体的宝贵数据资产,才能有效地进行媒体数字化转型。而对媒体数据资产的数据管理需要数据资产框架来支撑数据资产的展示、记录、分析,通过数据资产框架可以明晰媒体拥有的数据资产、实现数据资产安全分享、提升数据资产质量、实现数据资产变现等数据管理目标。项目立项前期,报社积累了几十万张图片。

随着新媒体的发展,特别是5G落地之后,报社积累的图片和音视频内容越来越多。这些内容伴随着刊发的转换随即成为沉没资产,缺少二次利用甚至多次利用的可能。如果单纯的在服务器开辟存储空间,只能解决媒体资产存储的问题,不能解决媒体资产二次加工和衍生利用的问题,如果要解决媒体资产使用的问题要先过媒体资产结构化管理这一关。传统的媒体资产结构化需要依靠人工,耗时耗力还达不到效果,在人工智能技术辅助下,提升了媒体资产管理效率、增强了媒体资产管理的安全性,也带来了媒资资产的多维度应用。本文从泉州晚报社的应用思考出发,希望给全国报业乃至媒体领域贡献实践应用经验。

【关健词】媒体资产  人工智能  新型  应用

1  为什么要建设人工智能技术加持的媒体资产解决方案

1.1  报业领域面临的媒体资产管理问题

数据成为了媒体基础性战略资源,良好的数据资产管理是释放数据要素价值的基础。数据资产管理包含数据资源化、数据资产化两个过程,通过数据资源化构建全面有效的、切合实际的数据资产管理体系,提升数据质量,保障数据安全;通过数据资产化,丰富数据资产应用场景,建立数据资产生态,持续运营数据资产,显性数据资产的业务价值、经济价值和社会价值。

从信息时代到数字时代,数据由记录业务逐渐转变为智能决策,成为了组织持续发展的核心引擎。未来,数据资产管理将朝着统一化、专业化、敏捷化的方向发展,提高数据资产管理效率,主动赋能业务,推动数据资产安全有序流通,持续运营数据资产,充分发挥数据资产的经济价值和社会价值。

近年来,随着新媒体的发展,报业对视频和图片这类图像资产有着共性需求,主要是图像类资产的汇聚问题和管理问题。

(1)图像类资产的汇聚问题

图像类资产来源有多种。包括新华社通稿图片和视频;外购的图片和视频;收录的影像资料;各地记者站提供给的图片和视频;以及报社编采人员大量的自采图片和视频。

图像类资产的存储方式有多种。如果是通过系统获取的图像类资产,会存在服务器的存储空间;如果是编采人员自采的图像类资产则会保存在编采人员手中。当需要使用时,需要通过记忆回想当时这个图像类资产是哪个编采人员采集、哪个制作人员加工、发布在哪些渠道、大致发布的时间,才能找到对应的图像类资产。也可以说报社花费了成本获取的图像类资产在汇聚和存储方面没有形成报社统一管理且可以方便利用的资源。

(2)图像类资产的管理问题

图像类资产的非结构化特性。图片以及视频都属于非结构化对象,无法通过关键词检索精准找到想到的图片素材或者视频镜头。如果不对图像类资产进行管理,编采人员通常会通过记忆方式,按照印象中的关键词检索图片和视频,然后再通过人工方式从检索结果中肉眼“扫描”图片,通过拖动图像时间线的方式找到想要的视频镜头。这样的资源查找方式不适合新媒体内容快速生产方式。因此很多媒体采用人工方式对图像类资产进行结构化,使编采人员利用资源时能快速找到想要的内容。

传统的人工管理方式存在一些弊端。如下所述:

①需要加工人员对新闻内容有丰富经验

采用人工对图像类资产进行结构化操作,需要加工人员对新闻内容有非常丰富的经验。因为新闻内容不光是时政新闻,还有体育类新闻、民生类新闻、经济类新闻等等,不同垂类新闻需要按照不通过的体系进行结构化加工,需要加工人员对不同垂类新闻有丰富经验。我们以体育新闻举例,体育新闻的结构化加工很多时候依靠体育类的编采人员进行加工,但本身编采工作比较繁忙,工作重心在内容的采编而非资产加工,因此依靠编采人员对资产进行加工的方式行不通;一些媒体成立专门的资料室或者通过外包方式对资产进行结构化加工,这就需要加工人员对不同垂类新闻有经验要求。

②加工的标准无法与时俱进

一些媒体为了能对图像类资产进行标准化加工,制定了规范,比如分类体系、标签体系。但只代表了标准制定时的要求,无法与时俱进。比如对于人物的加工规范,随着人物的职务变化,需要更新标准内容;

此外,互联网发展变化很快,会出现很多新情况,在制定规范时无法预测后续会出现哪些情况,因此加工规范的适用性存在局限性。

③存在遗漏的情况

由于图像类资产采用人工加工的方式,无法那么精准的识别图像类资产的所有要素,会存在遗漏的情况。当遗漏出现时,编采人员使用就会有问题,比如找不到、找不全等情况的出现。

1.2  报业领域面临的媒体资产使用问题

图像类资产的使用方向也非常多。包括新闻内容生产的使用、内容衍生品的使用和内容经营方面的使用。

①新闻内容生产有很多业务场景需要使用图像类资产。

比如地区宣传片的制作中需要使用大量的图像类资产;体育类新闻内容需要大量的图像类素材;在新闻视频的制作过程中会应用到空镜头素材等等。如果没有图像类资产的汇聚和管理,对于新闻内容的选题和制作都存在问题。

②衍生品制作的使用问题

图像类资产特别适合内容衍生品的制作,比如对地区历史文化的介绍、重点企业的介绍、文创产品的应用、数字藏品的应用都需要图像类资产。如果对图像类资产没有好的管理手段,在资产使用方面会存在问题。

③经营方面的使用问题

报业的图像类资产都是报社单位花费了成本采购或者采集加工而来。在作为内容素材进行刊发后还可以作为资产对外进行经营。

比如给当地委办局进行输出,从而获得政府部门和行业管理部门的政策或者经费支持。可以作为版权内容输出给新媒体平台,可以按照流量情况获得利润分成。可以作为版权内容输出给图像类平台使用,从而获得版权收入。

图像类资产在经营方面有很多应用模式,如果图像类资产的管理手段跟不上业务发展,则报社的资产会成为沉没成本。

1.3  人工智能技术在媒体资产管理应用的可行性随着人工智能技术在图像类内容的应用,使图像类内容资产的管理方式得到了很大提升。

(1)利用图像指纹技术实现以图搜资源

传统资源管理平台只能以全文、关键词等文本方式进行资源查找。利用人工智能技术,可以通过视频指纹技术实现以图搜资源的新颖手段:

视频指纹是:基于视频文件每帧画面计算得到的特征值,只要画面内容(数据)没有变,该指纹就不会变。

视频指纹识别:通过视频指纹的比对,快速找到画面内容相匹配的资源文件视频指纹的特点如下:

视频指纹较小:每帧画面40字节,每小时的指纹特征大小为3.6MB。指纹生成效率高:F1-200整机提供400倍的复合指纹生成效率。首帧快速定位技术——快速判定查询帧是否为指纹库首帧

容错计数与终止查询技术——允许查询过程中存在少量错误,提升查询鲁棒性丢帧匹配技术——允许查询视频存在少量丢帧,提升鲁棒性

匹配位置修正技术——当匹配位置出现偏移时(比如由于上下变化生成的黑边),重新定位匹配位置,提升查询鲁棒性

可信度自动调节技术——自动调节容错计数,提升查询鲁棒性关键帧加速技术——基于关键帧技术,明显提升查询效率

采用视频指纹技术,可以提升搜索命中结果,带有命中的时码信息,使用人员可以直接快速定位到对应的位置查看。

(2)语音转文字

①提取图像类资产的标签。利用智能语音识别分析技术,实现视音频资源入库时,自动将视音频的语音信息转写为文字,通过NLP技术,提取文字中的关键词作为图像类资产的标签。

②生成视频字幕。利用智能语音识别分析技术,可以将视频资源的语音识别为文字。对识别结果提供纯文本与时码+文本两种形式结果,可以导出用于稿件的快速编写或者应用到字幕的快速制作添加,大大节省同期声制作人工成本。

(3)适配新媒体发布的编解码技术

不同的采集设备有不一样的格式,不同的新媒体发布渠道需要不同格式的资源。在视频类资源采集时调用兼容上百种资源格式的编解码技术,将资源转换为适合新媒体制作及发布的资源。不仅提升文件转换操作效率,也降低文件因转码导致损坏或不适配的风险。

(4)数字水印保护知识产权

水印,作为保护知识产权的重要手段,早已被大众习惯且接受。但是这种方法仍然存在着多方面的不足。对于观众来说,盖在图像或画面一角的logo会破坏原图,且影响美观。对于内容所有者来说,这种直接显示在画面上的水印也很容易被去除。针对这些问题,隐形水印这门技术被提出并逐渐发展了起来。

数字水印(隐形水印),是一种肉眼不可见的水印,可以保持图片美观的同时,保护资源版权。对图片使用加入隐藏文字的水印,借此避免图片未经授权的复制和拷贝,可通过对原图进行变换操作,得到水印图来证明版权归属。可以对同意图片不同用途加入不同的隐藏水印,防止泄露,如果资料被复制、传播可根据解码出的唯一标识得出泄露方信息。

2  人工智能技术在媒体资产解决方案中的创新性应用

2.1  人工智能的结构化加工

利用人工智能的能力,视频类资源可以采用语音转文字的方式,对视频文件的语音内容转换成文字内容,方便制作成为视频+文字稿件的混编稿件。

2.2  人工智能的图像检索

为了便于后续对图片/视频资源进行查找,可借助人工智能技术,实现以图搜图、以图搜视频、以视频搜视频的功能。便于使用人员对资源的精准检索。

2.3跨库运营发布

在报社内部和报社外部分别有一个图像类资源库。内部的图像类资源库支持内部内容生产,外部图像类资源库支持对外展示、经营。

内部图像类资源库的运营人员可以将库内优质的图片/视频内容推送外部图像类资源库,将优质内容进行对外展示发布。也可以对图像类资源进行单张或者套餐定价,实现资源的运营变现。

2.4  赛事集锦

可以通过人工智能技术,将包含有相同视频元素的图像类资产进行聚合,按照体育类人物、精彩瞬间生成赛事集锦。

2.5  数字人播报

报业缺少专业的出镜主持人,在进行新闻视频播报的时候如果有个数字人作为主持人,会提升视频内容的观感。特别是如果新闻播报时增加手语数字人的手语播报,对于听力障碍人士是个福音。

数字人可以是卡通形象也可以是真人形象。数字人可以模拟真人动作;能够选配声音、声调、语速;可以选择头发、皮肤、服装。在挑选好数字人后,给数字人输入一段文字内容,就可以让数字人进行内容播报。这种应用在报业新媒体中已经得到应用。

3  人工智能技术在媒体资产领域的应用展望

3.1  人工智能提升短视频产能方面的应用

(1)图文一键转视频

对于报业来说,缺少专业的视频制作人员,因此存在视频生产产能不足的问题。报社对于生产图文类内容的经验比较丰富,可以借助人工智能技术将图文类内容一键转为视频内容,且还不涉及版权问题。

实现方式为通过人工智能技术,将文字内容提取摘要,将图片内容生成图片视频,通过文字转语音方式,将内容摘要作为口播内容。当视频生成后,我们看到图片素材进行播放的时候,搭配着口播内容,且口播内容还可以配合图片播放的节奏进行播报。这样的图文转视频方式极大提升了视频产能不足的问题。

(2)数据视频的生产

数据视频原先需要1-2周才可以制作完毕,借助人工智能方式,可在3分钟之内生成数据视频。

模板选择:数据新闻编辑器有多种形式、多种样式的视频模板。包括折线图,柱状图等多种数据新闻模板,可根据需要选择适合的模板。

视频预览:在使用数据新闻视频编辑器时,可实时预览视频合成的动态效果,并在平台上对视频的数据、参数等信息进行调整,实现生成视频效果“所见即所得”。

数据表格编辑:使用人员可以在数据新闻视频编辑器中的数据配置页面中,编辑新闻中所需的表格数据。编辑过程中,支持在视频预览区实时预览基于当前数据所合成的视频的动态效果。

数据上传:数据新闻视频编辑器支持操作者上传表格数据进行数据配置。对于已有的表格数据,可直接通过上传数据功能将表格数据上传至编辑器中,并预览视频效果。上传后的数据可以在编辑器中进行实时编辑更新。

视频配置:数据新闻视频编辑器中,可选择坐标轴数据数据来源,自定义编辑主标题、副标题、单位等视频中出现的文案内容。能够选择配色方案、自定义视频时长。

智能配乐:可在数据新闻视频编辑器中,为生成的视频选择本地化版权音乐作为配乐素材。

视频生成:数据新闻视频编辑器可高效合成视频,一键合成视频。

3.2  人工智能在提升短视频制作效果方面的应用

智能超分的应用:通过智能超分,可以将低分辨率的视频变为高分辨率的视频。高分辨率视频可以提升视频清晰度,获得更好的视频观感。

老片修复的应用:可以通过人工智能方式,识别老片的噪点、划痕,并通过视频技术去掉早点、划痕、提升视频清晰度。

老片上色的应用:通过对一些基础帧预置色彩模式,再通过人工智能技术对图像的运算,对黑白片进行上色。

视频去抖的应用:如果在视频采集时没有三脚架或者稳定器,拍出来的视频有抖动,再去重拍也不太现实。可以通过人工智能技术,最大限度的去掉抖动帧,实现视频画面的稳定效果。

视频去水印的应用:可以通过人工技术,识别水印位置,通过人工智能技术去掉水印和logo,得到一个清版视频内容,便于后续视频的多渠道使用。

视频横转竖的应用:视频横转竖在新媒体领域有应用价值。比如网站发布的视频是横版,在手机上发布的视频需要转成竖版。通过人工做两版视频太麻烦了,可以采用人工智能技术,通过视频横转竖的应用,将适配网站的横版视频转为竖版视频。转后的竖版视频还可以实现主画面居中的效果。

4结束语

媒体数据资产运营是指通过对媒体数据服务、数据流通情况进行持续跟踪和分析,以数据价值管理为参考,从数据使用者的视角出发,全面评价数据应用效果,建立科学的正向反馈和闭环管理机制,促进数据资产的迭代和完善,不断适应和满足数据资产的应用和创新需求。媒体数据资产管理是一项长期性的、体系化的工作,为保证各项数据资产管理活动有效开展,统筹推动数据资产管理工作顺利进行,战略规划、组织架构、制度体系、平台工具、长效机制等保障措施变得极为重要。随着人工智能技术的发展,媒体应用场景的不断创新,相信数据赋能媒体转型升级的愿景将会得以实现。