基于全流量大数据分析技术构建电视台总控APT攻击检测系统方法初探
宋庆峰1 周涛2 毕亲波2
(1中央电视台 2 北京启明星辰信息安全技术有限公司)
摘要：电视台总控系统是全台信号调度和处理的关键和核心，为防范针对总控的信息系统的APT攻击，本文通过全面考虑与APT攻击行为紧密相关的多个因素，从全流量数据存储检测、未知木马控制通道识别、可疑间歇性木马心跳识别、敏感数据回传通道识别，以及基于不完整信息和应用层对象还原攻击场景检测和重建等多角度考虑，设计了基于全流量大数据安全分析技术构建的APT攻击检测系统，以便更准确的发现针对总控系统的APT攻击行为和特征，提升总控系统的信息安全水平。关键词：总控系统 大数据多维数据立方体 元数据 本地计算环境 APT攻击1. 引言
信息技术在电视台总控系统中的广泛应用，为总控系统运行的网络化、数字化带来了巨大的便利，也使总控系统面临着信息安全的严峻挑战。总控系统是电视台节目播出、传送、信号交换的重要环节和枢纽，由于系统中针对设备和工作任务的控制、管理及监测都基于计算机网络进行，一旦遭受攻击破坏将直接导致任务无法有效执行，甚至影响到直播的顺利完成，因此，防范总控系统安全风险，保障系统正常平稳运行是总控系统安全管控工作的重点。2013年韩国多家金融机构和媒体遭受APT攻击，使得国内广电行业也开始重视APT攻击的防范工作。APT（Advanced Persistent Threat）——高级持续性威胁。是指组织(特别是政府)或者小团体利用先进的攻击手段对特定目标进行长期持续性网络攻击的攻击形式。由于APT攻击的“隐蔽性、连续性、长期性和手段复杂性”，导致其行为很难检测与发现，本文针对中央电视台新址总控系统的网络特点，以全流量检测、未知木马检测和大数据安全分析的角度探索性地给出了检测和发现APT攻击的设计方案。2. 新址总控系统简介
中央电视台新址总控系统作为全台信号调度和处理的关键和核心，其日常工作主要由总控工作人员通过计算机终端操控相关应用软件进行，而计算机终端通过总控系统基础网络的交换机与IT服务器、视音频专业设备等进行交互。总控系统的基础网络采用星形网络架构，分为核心层和接入层，核心层与接入层之间采用千兆网连接形成高速传输网。总控系统的网络拓扑图如图1所示：图1总控系统网络拓扑图
在系统核心层，配置两台核心层交换机，实现与台内其他网络连接以及内部接入交换机的连通；在接入层，配置多台区域接入交换机，实现总控系统软件设备及视音频设备的接入。总控系统的IT设备包括应用服务器、接口服务器、数据库服务器、应用操作终端等。IT设备现已成为总控值班人员完成日常工作的主要操作平台。[1]3. 总控系统APT攻击检测系统的软件架构
总控系统的业务定位、应用特点和业务属性决定了其对安全性和可用性的苛刻要求，总控系统的网络环境内一旦被植入木马，或有蠕虫和恶意代码传播，则为遭受APT攻击埋下了种子。为了发现和检测可能存在的威胁，需要结合总控系统中可能存在的威胁事件的特征和异常行为，采用多种方法和技术手段构建平台化的APT攻击检测系统。APT攻击检测系统平台的软件架构包括三大组件，分别是全流量的数据采集和数据预处理、可疑链路识别和可疑行为检测分析以及基于大数据的安全分析，如图2所示,。图2 APT攻击检测平台系统软件架构
4. 设计方法及实现
针对APT攻击的检测方法和解决方案有多种，比较统一和一致的观点是单一的产品或技术难以解决此问题，需要从APT攻击的特性和规律着手采用多种技术手段和管理手段进行综合治理。本文基于总控系统已经部署和实施的安全措施，尝试性地从元数据提取和Log日志收集、本地计算环境文件保护和大数据安全态势分析和展现的角度给出APT攻击检测方法。总控系统利用综合安全审计与管理平台进行元数据提取和Log日志收集。该平台的底层数据采集器广泛、全流量的收集总控系统的网络信息系统的Log日志，并抽取元数据进行智能关联分析，以便于从中发现APT攻击路径的相关信息。总控系统利用主机安全加固和配置基线检查实现了本地计算环境文件保护，其核心思想是对总控系统中的主机进行操作系统加固，建立安全配置基线，采用本地安全策略或白名单的方式来控制主机上应用程序的加载和执行情况，从而防止恶意代码的执行。因为在APT攻击的整个攻击链条中，攻击者必须将其上传的“应用程序”在本地计算环境中加以运行，而该“应用程序”的加载和运行行为就可以被本地计算环境文件保护策略所发现。总控系统利用综合安全审计与管理平台还实现了大数据安全分析和展现，在该平台基于对海量数据的分析，实现总控系统的网络安全态势感知。了解总控系统所遭受的潜在安全威胁程度、掌握总控系统网络和主机的工作状态正常与否、有无异常情况发生。下文基于“纵深安全防御”和“综合治理”的思路，结合在总控系统的具体实现和应用情况，分别从上述三个维度给出APT攻击检测的方法、设计思路。4.1 基于元数据提取和大数据存储及检索技术的数据预处理方法数据预处理层完成对从网络中直接获取的实时数据流的预处理工作。对实时数据流首先进行传输层的会话还原，消除因网络条件造成的乱序、重传、延迟等对后续分析的干扰；然后进行应用协议识别，判断数据流上所承载的具体应用；最终从非结构化的数据流中抽取结构化的元数据信息，以便后续的各类统计和关联分析。该层涉及的关键技术有元数据提取技术，大数据存储及检索技术。4.1.1 元数据（Metadata）提取技术元数据（Metadata）是对原始报文的描述数据，它不包含原始报文的具体内容，却保存了原始数据流中绝大部分可用于后续统计分析的信息量。典型的元数据包括一条会话的开始时间、结束时间、源地址、目的地址、源端口、目的端口、协议类型、应用类型、上行流量、下行流量、数据包分布状况等。在基于11元组提取元数据时，既要保存充足的信息以便后续分析模块使用，又要避免过于复杂的计算降低了数据流的处理效率。4.1.2 全流量大数据（Bigdata）存储及检索技术采用无签名检测技术，通过对全流量数据的回溯关联分析，实现对未知样本的攻击行为检测。全流量数据的引入，使得系统所处理的数据量远超当前典型的日志分析系统。总控系统在目前的运行状态下，一周产生记录为1500万条左右，每天产生日志约2.5G，传统存储及分析技术将面临巨大的性能压力，为此本系统采用大数据处理的新技术和计算平台。4.1.3 结构化数据和非结构化数据间的映射关系结构化的元数据和非结构化的全流量数据的存储需要区别对待。对于关系型数据库，目前业内已有成熟的分布式存储架构，如国外的Greeplum，国内的引跑科技、翰云时代等。对于NoSQL数据，基于Hadoop的存储方案较多，如HBase、Cassandra等。两种存储系统间的对应关系如下：图3 APT结构化数据与非结构化数据存储映射关系
上图中左侧为元数据的表结构示意图，右侧为原始报文的示意图。对于每个会话，本模块采用唯一的FlowID标识。这样在常规统计分析中，只需要操作元数据表；在需要分析原始报文时，通过查询元数据表定位受关注会话的FlowID，即可快速定位到相关报文。这种相对独立的结构可最大程度提升大数据处理的性能。4.1.4 元数据提取和大数据存储及检索技术数据预处理方法在总控系统的应用利用多个综合采集器采集总控系统的性能数据，拓扑信息，全流量数据，日志信息和安全事件，并用元数据来描述他们，同时抽取出元数据用于结构化存储和后续的统计分析。采集器在总控系统的部署位置如下图所示。图4 分布式数据采集器在总控系统网络的部署示意
支持以Syslog、SNMP Trap、FTP、OPSEC LEA、NETBIOS、ODBC/JDBC、WMI、Shell脚本、Web Service、日志代理等协议进行数据采集。利用综合采集器将采集到的异构、海量数据经过高速缓存后统一送到后台分布式数据存储器，经过数据分布式写入代理写入，然后经由数据分布式访问代理结合数据抽取条件实现数据提取。实现机理如下图所示，将数据尽可能按照时间均匀分配到各个分布式存储节点上存储，管理中心接收到数据后不做本地存储，而是直接通过网络存储到本地或远程的分布式存储节点的数据库中，充分利用各分布式存储节点的计算能力和存储空间。通过“移动计算而不是移动数据”的方法，在分布式存储器节点完成初步的预处理计算，抽取元数据，实现大数据存储及检索，为后续基于大数据的安全分析进而构建APT攻击检测系统提供底层技术支撑。4.2 可疑链路识别和可疑间歇性心跳连接识别技术可疑通道识别层利用原始数据流记录，通过对APT攻击各阶段的典型行为进行建模分析，在不进行特征匹配的前提下，识别潜在的、疑似的APT攻击行为。同基于特征匹配的误用检测相比，这是一种典型的异常检测方法，它可以作为特征匹配的补充，二者互为补充，实现全方位的攻击检测。该层涉及的关键技术有未知木马命令控制通道识别技术和敏感数据回传通道识别技术。4.2.1 未知木马命令控制通道识别技术木马是APT攻击过程中的关键环节，从目前已经曝光的典型APT案例中，都能看到木马植入与远程控制的身影，因此对木马的检测是APT行为检测的关键点。当前基于通信特征的木马检测与防御方法，缺乏检测未知木马的自适应能力。木马无论采取何种隐藏方式以及注入方式都一定有通信行为，它们必定具有的共同点是有控制端和被控端，控制端或被控端总有一方是暂时固定的，体现出网络行为异常，且其网络连接方式与用户正常的行为方式有一定的差异，我们可以将这些特点作为进行异常检测的特征。4.2.2 敏感数据回传通道识别技术APT攻击的终极目标是窃取被攻击对象的敏感信息，因此实现了对数据回传通道的识别，必然能够检测到APT行为。但攻击者为了躲避现有的防护措施，往往采用多种手段对隐蔽数据回传通道，这给APT检测带来很大的困难。4.2.3 可疑间歇性木马心跳连接识别技术对于已知木马，可以通过网络连接的数据传输内容进行精确检测，但对于未知木马的检测却存在很大困难。当前的木马软件越来越注重隐蔽性，同时应用软件的种类也越来越丰富，差异性越来越大，这使得合法流量与木马流量的区别越来越难以定义。心跳信号是检测未知木马及APT攻击的重要连接特征。对于未知的木马，一种有效的检测手段是检测被控端与控制端之间的心跳信号。由于被控端一般会周期性地链接控制端，以更新状态、获取新的指令，连接的周期和频率较为固定。如果检测到某主机存在明显的间歇性链接行为，则有可能是僵尸木马被控端，应进行报警。4.2.4 可疑链路识别和可疑间歇性心跳连接识别技术在总控系统的应用总控系统内的服务器和个人计算机一旦被植入木马，则需要通过多种通道和链路间歇性地与木马控制者取得连接，以便获得其进一步指令，比如上传“大马”或恶意代码，意在被控制端执行和加载自己，达到收集情报并突破防火墙外发的目的，这些动作会产生可疑链路连接和间歇性心跳连接现象。总控系统中部署的基于主机的安全加固和配置基线检查工作可以识别这种现象。其主要思路是基于最小授权原则，将可信主体对客体的访问对象放入白名单中，通过锁定配置、文件系统防止系统被未授权的用户和应用程序使用，同时记录可疑程序调用和可疑心跳连接。这种基于主机本地加固的方式可以有效的抑制可疑程序和恶意代码在总控系统中被无序加载和肆意执行，在一定程度上可以防御APT攻击。4.3 大数据安全分析展现技术大数据分析层实现对孤立报警事件的关联，建立完整攻击场景。在原始流量数据的辅助下，通过对报警信息和原始数据的关联，以及对原始数据的多维钻取分析，帮助分析人员直接在海量访问记录中定位可疑连接。该层涉及的关键技术有面向异构数据的大数据规则关联分析技术，基于大数据的多位数据立方体分析与展示技术。4.3.1 大数据安全分析展现和态势感知技术在总控系统的应用在总控系统中的安全管理审计平台的分布式部署的采集器将海量、异构的日志、安全事件、流量数据、状态和性能数据以及连接记录等分布式采集和存储，经过分布式处理引擎的预处理，为我们查询历史记录、实时记录以及进行智能的关联分析奠定了基础。基于这套系统利用大数据分析工具，加载跟网络安全相关的分析规则和条件，就可以为总控系统的用户进行多维度的数据立方体的展现，展现形式可以是拓扑图、曲线图、统计图、态势发展图、事件聚合关系图、雷达图等。图5为大数据的多维度立方体展现的一个样例界面，在该界面可以展现管理对象的拓扑图，反映管理对象的网络拓扑关系，并且在拓扑节点上标注出每个管理对象的日志量和告警事件量。针对安全事件，总控系统的用户可以基于这套系统对其源目的IP地址进行追踪，可以对一段时间内的安全事件进行行为分析，通过生成一幅事件拓扑图形象化地展示海量安全事件之间的关联关系，从宏观的角度来协助定位安全问题。能够实时地绘制事件分时图，动态显示不同时段内各种等级事件的数量分布，点击每个分时柱子都能够进行事件钻取和过滤。同时系统还可以显示大量事件相对于事件属性的聚合关系。图5 大数据的多维度立方体展现（样例）
总控系统中这种基于大数据的模式是将大数据用于安全分析和展现的尝试和实践，可以将与APT攻击相关的种种迹象从不同维度展示出来，利于通过统一管理面板从不同的方面进行一体化安全管控，利用逐层钻取和挖掘的方法在一个屏幕中从宏观、中观和微观角度看到总控系统的网络整体运行态势、热点事件并可以按需向下钻取到受影响的系统、子系统和具体设备/组件等，便于针对可能的APT攻击实时监控和离线深度分析。
评论 点击评论