DAT音频自动修复系统的设计与实现

  • 优秀论文奖
  • 文章作者:中国新闻技术工作者联合会 2021/12/30-04:43 阅读: loading...

    王良鸣 李柏岩

    (上海广播电视台 东华大学)

    摘要: DAT音频自动修复系统是上海广播电视台(SMG)研发的一套针对DAT异常音频进行修复的系统。它能够有效地修复DAT磁带在转录数字音频文件过程中因播放设备问题带来的随机断点及异常信号。本文将着重描述DAT音频自动修复系统的设计与关键技术,以期能为其它载体的音频修复技术提供参考。 
    关键词: 音频修复、异常信号检测、模式匹配、修复算法 
    1.引言 上海广播电视台(SMG)在对DAT磁带(Digital Audio Tape,数字录音磁带)进行数字化的过程中,发现在将DAT磁带上的音频转录为数字音频文件时,由于该类型的回放设备本身固有的缺陷,在回放时磁带会随机产生小段的扭曲,致使模转数的过程中会出现数据畸变和丢失等现象。丢失的数据持续时间约为0.1~1.5秒。这种丢失数据段出现的频率和位置也不是固定的,和具体的设备、回放开始时间、回放时间长度等因素有关,较长的数据丢失现象一般每10分钟左右出现一次,在一段20分钟左右的音频资料回放所形成的音频数字文件中,数据丢失或损坏现象出现频率约为2~8次。这种现象影响了这些珍贵音频资料的真实还原。而且这种现象不是个别的偶然现象,而是几乎每台设备在回放时都会发生,只是出现的频率或时间不同。由于DAT的回放设备多半用于上世纪90年代,现在设备已经停产,厂家也不再提供技术支持,到国外专门的修复机构去修复成本又太高,因此只能立足自己,通过技术手段对模转数的音频数字文件进行分析、研究,寻找修复方法和手段。 项目组在调研了国内外现有修复技术现状后,开始了本项目的研发。在异常信号检测、算法的研究和算法实现等方面取得了突破,取得了预期的效果。同时为以后对其他音频载体进行处理和修复积累经验。 
    2.修复原理 
    研究表明,声波在一个极短的时间内能够保持相对平稳,可以用一个线性系统来描述,因而能够使用线性预测的方法对丢失数据进行修补。然而,一旦声音缺失超过50ms,理论上已无法通过自身数据来修复,只能使用已有的模板来进行修补。 由于DAT音频信号在转录过程中经过了一次模拟/数字音频信号转换,因此即使用同一台机器两次转录也不能得到完全一致的结果。转录得到的两个音频文件不但长度不同、相位不同,而且音量也不一样。可以将磁带转录两遍,一份作为主文件,一份作为辅助修复文件,用以作为修复的原始文件。一般来说,主文件和辅助修复文件在相同位置出现数据丢失现象的可能性很小,而且即使出现,也可以采用再次重录的方法来解决。有了两个记录同样内容的音频文件后,就可以使用计算机程序或人工对其进行修复。人工方法可以对损坏的音频数据进行修复,但由于数据量及其巨大,采用人工修复法显然不现实,因此必须使用计算机程序对其自动修复。
    3.系统技术实现 
    3.1 系统结构及修复流程图 
    3.2 DAT音频修复的实现 1)DAT音频转录 按照修复原理,先通过DAT回放设备对DAT磁带进行两次转录,形成主音频文件P1以及辅助修复音频文件P2。 2)文件匹配检测 通过修复系统的文件匹配检测,分别检测主文件P1、辅助修复文件P2的声音起始点,并将两者精确匹配,这个过程称为文件对齐,这是进行其后音频数据段匹配和替换的基础。 3)缺失片段检测 分别扫描主文件P1、辅助修复文件P2,检测到所有丢失数据的音频数据段位置和长度,建立两文件显式缺失数据表。 4)数据段匹配 检索主文件中的每个数据段在辅助修复文件的对应位置,建立主文件P1和辅助修复文件P2之间的映射匹配表。 5)数据段分析和替换 对主文件P1和辅助修复文件P2的数据段映射匹配表和数据样本进行综合分析,判断数据缺失、畸变情况,然后对主文件中P1损坏的数据段,用辅助修复文件P2中相应的数据替换。 6)数据段无缝拼接 对主文件P1中被替换的数据段进行消噪、音量平衡等处理。 7)修复文件和日志输出 将修复好得音频数据P3,保存到修复的音频文件中,同时将修复过程中的重要信息特征参数,保存到修复日志文件中。 4.关键技术和技术要点 
    4.1 关键技术 
    4.1.1 修复方法 DAT回放转存音频所产生的数据缺失现象,已往采用手工检测和修补的方法,即使是熟练专业修补人员,由于需要通过全面视听找到缺失点,一天也只能修复几盘磁带,对于成千上万的录音资料,这种方法显然是不可行的。本项目采用计算机信息处理技术自动检测音频缺失数据,并能快速修复,即使使用目前普通的PC机,每天也可修复近千盘磁带,而且不需要人工监视,大大地减少了成本,提高了工作效率。 
    4.1.2 修复算法 在DAT转录数据音频自动修复方面,目前还没有任何公开的系统或修复算法被提出。本项目提出的基于特征的声音波形片段匹配的检测、修复方法具有创新性和独创性。具体的创新点包括: (1)基于特征的快速波形匹配算法 本项目研制过程中,提出并实现了一种基于音频信号时域特征的快速波形片段匹配方法,能够在较短的时间内计算出两个等长的音频片段之间的特征值及两者之差。这种特征值的提取方法是通过大量的实验找到的,它即能全面提取音频片段在时域内的特征,又是均匀分布的。实践证明,应用这种匹配方法,能100%地在一个特定领域内快速准确地找到两个声音内容相同的音频片段。 (2)音频数据片段无缝拼接算法 对于系统检索到主文件的每个数据缺失段,在辅助修复文件中找到相应的匹配段,用匹配段替代缺失段。由于两个音频片段在波形细节上并不一致,有时音量也有差别,此外还会受到随机噪声的干扰。为此,本项目提出了一个音频数据片段无缝拼接算法,使两个音频片段能够自然拼接,不会产生人耳能察觉的噪音。 (3)音频数据缺失片段分析算法 建立音频片段匹配表后,要通过综合分析才能判断哪些地方有缺失数据,那些数据发生畸变。本项目提出的分析算法能确保在主文件和辅助修复文件不在同一片段位置同时缺失的情况下,找到所有缺失和畸变数据片段。 
    4.2 技术要点 
    4.2.1数据模式匹配 在进行音频修复之前,必须使用技术手段找到主文件和辅助修复文件中音频信号相位的映射关系:即在主文件的任何一个音频数据片段,要能够找到其在辅助修复文件中相应的位置。这个问题是通过音频数据波形模式匹配的方法来解决。 
    4.2.2数据丢失检测 对于DAT转录机在工作不正常产生的三种异常现象,可采用下列方法检测: (1)音频数据段显式缺失 在这种情况下,输出数据有连续6145个采样数据值为0,检测算法只要检测到连续缺失样本达到某个值,即可判定其为缺失段。这种缺失段对音频效果影响最大。如下图所示: (2)其他缺失段检测 其他缺失片段由于只是样本畸变,很难和正常样本区分开来。因此不能用(1)的方式来简单检测。 a.数据显式畸变现象 这种情况如图3所示,用肉眼观察缺失段与图2相似,其值似乎为0,但实际检测表明,缺失段的值很小,平均幅度约10-5 ,但很少为0。图5b是对5a缺失段放大后的波形,显然,音频数据是被损坏的。这种情况下,很多时候也伴随着一段约0.1~0.6秒的数据丢失。 b.数据隐式畸变现象 这种情况一般能通过观察波形看出,如图4所示圈起来的波形,听起来也有些异常。从观察到的20个文件来看,这种数据异常出现较多,比较难检测,但每段导致数据丢失的数量不是很多,约4000个样本,只是导致声音质量下降,但不会产生断音现象。这种异常需要通过多种方法综合使用才能识别和修复。 为此,本项目提出和采用一种详细匹配方法,具体做法如下: 将两个音频文件(主文件和辅助修复文件)数据样本分成平均若干片段,对每个片段在两个文件间进行匹配,建立匹配表。如同图5所示: 分析每个匹配段的位置,如果有数据丢失,则匹配位置将出现异常。 对匹配结果进行分析,找出正常、缺失和畸变数据。根据分析结果,标识匹配表中缺失段、损坏段和正常失段。 4.2.3数据修复 在主文件中找到丢失音频数据片段后,用辅助修复文件的相关部分进行替换。同时,由于主文件和辅助修复文件的音频信号波形无论在振幅上,还是在相位上都不一致,为了避免产生噪音,需要对替换音频数据段进行无缝拼接,即保证在衔接点不会产生听觉异常。拼接的主要步骤包括:归一化、拼接点确定、音量平衡处理、消噪等。 5.应用成果 DAT音频自动修复系统研发完成后,成功的修复了SMG馆藏的2091盘DAT音频磁带,累计修复存在随机断点的音频约2000个小时,其中包含了大量上世纪90年代初录制的京剧、越剧、沪剧名家名段。特别是修复了一段由钢丝录音带转录至DAT磁带的关于梅兰芳先生点评昆剧《游园惊梦》的原声录音,更是显得弥足珍贵。 6.结语 DAT音频自动修复系统的研发成功,对异常信号检测、修复方法与算法的研究和实现取得了技术突破。对音频数字化转存数据丢失的自动修复,取得了预期的效果。希望能够为其它载体的音频修复技术提供参考,积累经验,并提供可借鉴的数据标准和交互标准。
    编辑:中国新闻技术工作者联合会

    评论 点击评论