基于云计算的监测数据可视化采集分析系统建模实现
高晨光 周利民 童 珉
（国家新闻出版广电总局监管中心）
摘 要： 本文的主要目标是设计与实现基于云计算的新型广播监测系统。该系统采用终端瘦采集和中心云处理的两级结构模式，以微处理器作为采集终端的核心硬件,使终端设备高度集成化，区域中心利用强大的云计算和处理能力，对海量监测数据进行可视化分析，构建结构合理、功能强大、技术先进、易于维护的广播遥控遥测监测系统。关键词： 云集群 微处理器 语音评估 数据可视化0 引言
广播遥控监测系统的发展历经10余年，架构庞大，终端采集设备结构复杂，硬件集成度不高，故障率较高。随着嵌入式电子技术和云处理技术的发展，研制新型的广播电视遥控监测系统显得非常迫切。本文从整体架构设计入手，提出了终端瘦采集和中心云处理的两级结构模式，采用微处理器作为采集终端的核心硬件,使终端设备高度集成化；同时设立区域中心和更高级别的数据中心，采用数据集群和云处理技术，对海量监测数据进行可视化分析，实现广播监测数据的交汇分析，为不同职能部门提供定制化数据分析显示需求，为广播电视覆盖和监管提供更加及时可靠全面的服务。1 系统设计及原理
1.1 系统架构系统硬件方面，引入最新的微处理器技术，最大范围内简化遥控终端设备的结构，提升系统稳定性，为硬件安装和维护提供便利；软件方面，按照无人值班的形式进行设计和配置，监测终端和区域中心、上级调度部门之间均可实现遥控监测，软件扩展功能从终端移植到区域中心服务器上，广播监测数据通过可视化分析系统集中显示。改造后的监测系统分层如图1所示。系统物理架构分为两部分，通过内部专网实现连接，一部分为远程遥控采集终端，另一部分为本地控制管理软件系统，整个系统的软件部分采用C/S和B/S混合架构，划分为采集服务软件和可视化数据分析软件，两者的服务器均部署在区域中心，系统响应更快，用户体验更好。图1 系统分层图
改造后的监测系统具有以下特点：(1) 应用嵌入式技术简化终端设备，大幅提高系统稳定性，显著减轻维护量的同时增强系统后端的管理能力。(2) 建立集中存储的数据管理机制，将各终端分散的监测数据回传至采集服务器进行集中存储，通过宽带网络实现大数据的汇聚并进行综合分析，消除终端的“信息孤岛”现象。(3) 引入基于录音文件的语音评估系统，对各频次语音数据进行自动评估，输出判断结果及置信度，提高系统智能化程度。(4) 建立集管理、分析、显示功能于一体的可视化综合软件平台，兼容原有软件系统的同时极大增强了数据统计展示功能，并且具有良好的易用性及可拓展性。1.2 系统设计原理根据广播监测技术特征及云计算技术[1]的特点，采用Hadoop系统实现云采集平台SaaS层的构建，系统拓扑如图2所示。客户端通过Web服务器向采集系统发出业务请求，受理后将具体的要求提交给云集群服务器，由其对采集服务软件下发命令，并将采集终端回传的结果反馈至客户端。图2 采集系统拓扑图
1.2.1 云集群服务器[2]云集群服务器位于云计算的最上层，每个区域中心都可以将所辖终端作为一个采集集群，由中心内的云集群服务器负责该集群的资源管理及任务控制。主要实现以下作用：（1）作为Hadoop系统的主控节点，对集群中所有系统资源统筹管理，提高系统的响应效率。云集群服务器负责记录任务分类规则及数据存储位置，对内存及I/O进行集中管理，对集群中的所有采集终端进行实时控制，维护系统的终端状态信息表。（2）响应Web服务器的业务请求，检索终端状态信息表，获取可用终端，并建立客户端与各采集终端的通信，实现数据传输。1.2.2 采集终端硬件设计采集终端的硬件组成如图3所示。基于改造成本等因素，采集终端沿用了原有的天馈线及接收机系统，同时采用基于ARM和DSP双处理器构架的新型网络数据采集卡，替代原有的工控机、调制度测量板卡、频偏测量板卡等，系统可靠性、稳定性更好。前端设备的减少提升了系统后端的聚合能力，能够更加直观、实时，更有针对性地监测。微处理器架构功耗很低,整个硬件系统的开销较小。网络数据采集终端采用1U机架式设计，极大减小了硬件体积，便于安装到机柜。远程维护操作只需重启电源控制开关，省去了繁琐的人工交互环节。同时，原有的拨号网络已不能满足现有的监测要求，基本都改成宽带网络。通信能力的增强使得遥控监测系统的数据传输及并行处理性能得到有效改进，为分散、大量的监测数据汇聚分析提供物理支持。图3 采集终端硬件框图
1.2.3 采集服务软件设计采集服务软件是基于C/S架构的业务处理应用软件，使用TCP、UDP协议通过专网与采集终端通信，可以控制多个采集终端，主要实现数据采集回传与任务管理。采集服务软件的开发有几个关键点：(1) 采集服务软件与采集终端的通讯机制、采集服务软件与可视化数据分析软件的通信：采集服务软件与采集终端主要是通过UDP，TCP协议来进行通讯，UDP协议传输实时性数据如音频码流、指标数据等。TCP协议主要用于遥控采集终端设备进行远程操作。在采集终端远程数据中，指标数据和操作数据是较短的，这类数据我们用SOAP将其封装成HTTP服务，供可视化数据分析软件调用。(2) 采集终端的音频数据是大数据，基于SOAP的HTTP服务也不适用于传输这类数据。因此系统在每个采集服务软件端同时实现了音频服务器的功能。该音频服务器实现了优先级请求处理，在确认有连接需求时向用户客户端直接转发音频数据包。客户端采用DirectShow Filter技术实现了音频接收插件，该插件嵌入windows media player，通过COM注册的方式，易于集成到网页中。(3) 任务执行调度：在同一时间，不同的远程主机或任务有可能并发访问同一个采集终端，造成设备占用冲突。为解决该问题，我们引入了优先级队列循环执行调度机制，设计了一个主体任务框架来实现。其基本框架包含任务总调度管理类、扫频任务类、录音任务类、指标任务类及录音任务类等。其中任务总调度线程TaskMain负责启动并协调各任务线程的进入和退出。各任务线程从总线程中得到任务参数后，执行各自任务并将结果入库。图4为采集服务软件的任务调度流程。图4 任务调度流程图
(4) 心跳检测技术：系统采用心跳检测技术来控制系统硬件的异常情况。集群主控服务器周期性地通过节点控制器接受虚拟机的心跳包和块报告，以此判断虚拟机的存活状态。收到心跳包说明工作正常；若特定时间t内没有收到心跳包信息，则认定宕机，不再发送新的I/O请求。对于宕机的虚拟机，系统将不断进行检测并报警至可视化系统界面。1.3 可视化分析软件建模实现1.3.1 系统流程改造后的遥控监测系统中，所有监测业务数据全部集中在区域中心服务器，这些大数据的实时获取为系统的可视化分析提供了前提。运用语音评估、图形化以及动画化技术[3]，将海量数据绘制成高精度、高交互性的直观图表，并允许实时改变查询参数，对数据进行定性观察及定量分析。图5为系统数据流程：图5 数据流程图
(1) 智能语音评估传统的指标测量方法只能判断信号的传播特性，如调制情况、噪声大小等，但在信号质量很好的情况下，依然无法甄别其话音质量。引入语音信号智能评估技术后,就可以真实反映信号话音质量，大幅提高系统自动评判的置信度。语音评估引擎采用网格计算平台设计，能够高效处理海量监测数据。该引擎将各级计算服务统一封装后，配置成标准的网格服务，并提供标准调用接口。应用软件发出调用命令后，语音评估引擎自动调度计算任务，对每个录音文件进行解码、特征提取等预处理后，智能评估话音质量和效果并打分，同时给出置信度结果。智能语音评估中的关键算法是信号源与噪声的音频特征提取技术[4]。为满足语音评估的要求，录音采用无压缩的PCM方式编码。解码出的PCM帧数据进行快速傅里叶变换后取得频谱数据，通过滤波整形后提取出音频特征，最后经过迭代匹配给出参考分数。经过海量监测样本训练后，滤波器组的准确率会不断提高。图6即为该算法的原理。图6 音频特征提取原理
(2) 数据分析步骤可视化分析软件调用采集服务，无需数据库存储操作，实时显示终端当前设备状态及任务信息；已经入库的调幅度、电平及频偏等指标数据经过优选后，通过图形化计算转化为直观的曲线图，并能根据查询条件自适应时间轴显示；语音评估引擎调用服务器上的录音文件，进行智能语音评估及置信度评估，并以曲线形式反馈至可视化软件前台界面。表1为数据分析的步骤说明：表1 数据可视化分析主要步骤
| 步骤 | 说明 |
| 数据汇总 | 由各采集终端回传监测业务数据至区域中心 |
| 数据选择 | 根据查询条件从所有数据中选择相关的目标数据 |
| 数据预处理 | 通过语音评估、图形计算等引擎将有关数据“格式化” |
| 数据查询 | 根据设定的查询条件从数据资源池中提取数据 |
| 解释评估 | 以适当的可视化技术将所得到的结果展示给用户，使用户对分析结果做出解释，并能评估分析过程的有效性 |
图7 可视化数据分析软件架构模型
系统架构各层的主要内容如下：(1) 表示层：采用Flex作为前端表示层开发语言，提供采集终端状态显示、数据图形化统计和分析、在线监听及各类功能界面。Flex 提供了丰富的GUI 控件，能够创建高交互性富客户端[6]，并显著提高Web 客户端的响应速度，同时具有平衡计算负载的能力。这种特点能够减轻界面绘制工作量，专注于功能实现。(2) 业务层：系统后端业务层采用C#语言开发。开源项目FluorineFx[7]是专门针对.NET平台与Flex通信提供的AMF协议通信网关，它是一种在.NET框架下对Flex的远程数据服务和实时数据调用的技术。引入FluorineFx架构后，可视化数据分析软件Web服务器前台以广播方式与多个客户端建立连接，同时发送多组并行数据，并将结果返回给客户端展示；后台能够与各节点采集服务软件建立通讯连接，实时接收回传数据。语音评估服务器接受.NET服务器调度，响应基于Flex 客户端的请求并自动评估各频次录音文件，评估结果入库后返回给客户端。(3) 数据层：用于建立不同的存取机制实现对业务数据的存储和管理。各区域中心数据库服务器存储音频、指标及语音评估等监测数据，为系统上层提供数据支持。1.3.3 数据统计分析监测业务数据分为3类：一是监测网基础数据，如运行图及音频录音文件等；二是信号指标数据，如信号电平、调幅度值等；三是报警类数据，包括指标报警及设备报警。可视化数据分析软件自动轮巡各采集终端，将监测业务数据汇总后，统一显示在主界面，包括设备状态显示、指标数据显示及异态报警指示灯等。每个采集终端可进入数据分析页面，查询详细图表数据,包括总体情况统计、模拟接收机、指标数据查询曲线、语音评估分数情况圆图及报警数据查询柱状图，如图8所示。经过测试，运行图刷新、频谱图及在线监听等实时操作基本无延迟，响应及时；指标及报警数据查询能主动判断开始结束时间，并自动缩放显示时间轴，保证查询时滞小于1秒；语音评估结果3分以上合格率统计时滞小于1秒，用户体验良好。图8可视化数据分析软件数据分析页面
系统录音文件存储为wav格式，每个文件时长在1分钟左右，文件大小约1300Kb，一个采集终端每天回传的录音存储约1.5Gb，默认保存30天。1T硬盘能够满足20个采集终端的音频存储需求。测试过程中，1台集群服务器同时部署1个集群主控软件及12个采集服务软件，每个采集服务软件内存占用约60M，CPU总负荷在5%左右，系统资源占用很低，可独立承担省级数量的终端采集任务。2 结束语
针对现有遥控监测系统硬件维护成本高、交互性和扩展性差、功能单一等问题，我们基于云计算及嵌入式技术，设计并实现了全新的可视化云监测系统。该系统使用富互联网开发语言Flex和中间件开源库FlourineFx进行开发，解决了现有监测系统界面表现力差，实时监测响应速度慢等问题。通过引入智能语音评估系统，在信号指标判断的基础上进行综合评判，提高了在线远程监管能力，将监测提升到一个新的层次。同时系统预留了相关的接口及协议，具有高度的可扩展性，方便后续进行维护升级。该套系统已投入实际使用，目前运行稳定，故障率大大降低，可靠性大幅提高，为广播监测业务开展提供了有力的技术保障。 参考文献[1]GROSSMAN R L.The case for cloud computing [J].IEEE Computer Society，IT Professional，2009；11
[2]吴朱华.云计算核心技术剖析[M].北京：人民邮电出版社；2011
[3]郭文政.通用数据挖掘系统平台的设计与实现[学位论文].南京：南京信息工程大学；2011
[4]Seo J S,Jin M,Lee S,et al.Audio fingerprinting based on normalized spectral subband moments[J].IEEE Signal Processing Letters,April.2006；13：4
[5]吕海东,陆永林.基于Flex和BlazeDS推技术实现WEB方式实时监控系统[J].自动化技术与应用，2010；1
[6]许勇.王黎.Flex+ASP.NET Web 应用开发实战详解[M].北京：清华大学出版社；2010
[7]http://code.google.com/p/flexlib/
编辑：中国新闻技术工作者联合会
评论 点击评论