北京电视台智能化无人数据中心的设计与实现

季民

（北京电视台信息网络管理部）

【摘要】 数据中心就是数据大集中而形成的集成IT应用环境，电视行业的人士清楚地认识到一个智能化数据中心，才能稳定、可靠地跨越多种设备和平台为电视台提供服务，在激烈的行业竞争中占得先机。本文从环境设计、线缆分布、设备管理和审计的角度阐述数据中心的设计和实现。【关键词】 智能化1. 前言数据中心就是数据大集中而形成的集成IT应用环境，它是各种应用服务的提供中心，是数据计算、网络、存储的中心。早期数据中心是大型的运营商、商业机构提供专业化服务的部门。随着电视行业的全面数字化、网络化，信息服务已经渗透到了电视台运营的采、编、播、存、管、考（绩效考核）、研（新技术、新节目的研发）各个环节。业内人士已清楚地认识到这一点：只有一个智能化数据中心，才能稳定、可靠地跨越多种设备和平台为电视台提供服务，在激烈的行业竞争中占得先机。所以，在北京电视台办公网络数据中心的规划和设计中，我们秉承智能化的理念，从环境设计、线缆分布、设备管理和审计的角度进行了探索和实践。2. 智能化环境设计说起“智能化环境” ，其实我们都很熟悉。因为在2008年北京奥运会中，场馆的设计就突出智能化特色：运动场设计考虑了自然通风；所有的雨水集中处理，供场地浇水和冲洗洗手间等，都取得世界的认可。我们数据中心在规划和建设中，努力贯彻先进理念，降低功耗，提高现有资源的效率，充分降低设备对环境所产生的影响，实现智能化。2.1环境设计办公网络数据中心位于四十一层的北京电视台电视中心的第十五层北侧，与安放空调系统室外机的第二十一层避难层接近，缩短了冷热交换距离，减少损耗；在北侧，阳光的热辐射作用与其它方向相比要少得多，采光采用了双层真空玻璃，使白天在数据中心室工作的人员，能有充足的光线，获得了最大程度的日光，人工灯光需求降低；在严寒的冬季里，用新风部分替代空调制冷。经统计，我们由此获得20%以上的节能收益。2.2基础设施智能管理

随着大数据、云计算的广泛应用，集中度高的虚拟化环境会越来越多的出现在数据中心中。虚拟化一定会降低机房内整体功耗，同时，虚拟化的服务器也会按组部署，资源池化运行，这就会在机房内形成高密度区域，此区域内的功耗会大于数据中心的平均值，导致“热区”的产生。针对这种情况，最简单的方法是将高密度设备部署在制冷设备附近，形成高密“岛”，通过缩短制冷路径，让冷、热风循环尽可能围绕在高密“岛”进行。

如果物理服务器在虚拟化的过程中，可以按3:1 或者4:1进行整合，制冷要求并不特别高。如果采用更高比例整合，整体数据中心基础设施都会面临巨大的挑战。一个大型的数据中心IT 负载总是在动态变化中，仅依靠网管人员被动发现和手工处理是不现实的。因此，我们采用了基础设施智能化管理，实时监测整个数据中心基础设施运行情况，包括供电、功耗、功率、能源效率比，制冷情况、温湿度等（如图1所示）。

图1

还可以自动跟踪单个设备的健康程度和关键指标：名称、位置、型号、版本号、出入口温度、实时电流、实时功率及健康水平。（如图2所示）。

图2

在实际工作中，通过数据收集，充分分析IT负载的波峰与波谷的变化，提前就可预知虚拟机自动地创建和迁移，使服务器和存储设备在正确的地点和时间，得到制冷和供电（如图3所示）；即使在物理主机崩溃导致应用系统不能访问，也可快速调整IT 设备和物理基础设施之间的各种关系，让其它的虚拟机能够很快地恢复工作，实现无缝迁移，最大限度的实现可扩展性。

图3

3. 智能化线缆分布

图4

北京电视台办公网数据中心面积约430平方米，机房内有11列机柜（如图4所示），其中前3列机柜为网络机柜，其余8机柜中，每列11个机柜，每列第一个机柜为列头柜。在每列的每个机柜中增加一个24口配线架和相应的PDU；各机柜内设备直接与本机柜KVM（键盘、显示器、鼠标）交换机相连接，KVM交换机先与本机柜内配线架连接；本机柜内配线架再与列头柜配线架连接；列头柜配线架最终与总列头柜配线架连接。 本布线系统信息点总计四千多个点，使用线缆万余米，可谓是“千头万绪”。针对这种复杂的情况，我们通过创建可视化的数据库，将信息和图形有机结合，智能化的集成了设备、端口、位置及连接关系，大大提高管理的效率（如图5所示）。

图5

3.1归档通过自定义目录、文件，对相关的文档文件分别进行归类管理，建立与设备关联的文档资源管理器，并可以直接在管理界面中调用查阅文档。能够把布线系统中的大量图纸、文件统一在一个平台之上，便于管理和维护。3.2展示通过系统图可进入不同子系统的图形界面分别进行查看或直接对各个管理区之间的线缆连接信息操作；进入平面图对信息点、设备信息录入，建立设备属性数据库。3.3查询对布线系统的设备、链路、端口信息进行查询。根据整条链路上任何一点信息就可以查询整条链路所有设备的属性及位置；当操作人员要查找某个信息点的具体情况时，就再也不用抱着一堆图纸翻来翻去了，文本信息与图形信息即可出现在眼前。4. 智能化设备管理在传统数据中心的运维过程中，通常会采用现场服务与远程管理相结合的方式。一个大型的数据中心内的噪音、辐射会对现场维护人员的健康产生会不良影响，不同岗位的工程师以不同目的进出机房，也无法从根本上解决数据安全漏洞；远程桌面、Telnet等管理手段，都依赖数据网络，即管理通道与数据传输链路重合，一旦数据传输链路不通，管理立即失效。传统的管理深度仅限于操作系统和应用，这已经不能适应大数据时代的挑战了。我们依托已有的布线系统，采用KVM OVER IP(数字式键盘、显示器、鼠标切换器)和 Serial OVER IP(数字式串口切换器)技术，建立了智能化的远程带外管理系统，进行管理和审计，让数据中心管理者更加有效的远程管理服务器和交换机，即使操作距离几十公里以外的设备，就像我们在机器面前操作一样。4.1分层部署 结构清晰智能化的远程带外管理系统是一个由设备层、汇聚层和核心层组成的三层架构（如图6所示）。设备层由被管理的设备组成。汇聚层采用数字式服务器管理设备Dominion KX2-216的对被管理的服务器进行汇聚，使用服务器转接模块，将服务器的鼠标、键盘、显示器3种接口转换为RJ45接口；对于交换机、防火墙等串口设备相对简单，采用Dominion SXA-16串口管理设备直接进行汇聚；使得设备汇聚为一个一个单独的伞型管理结构（如图7所示）。核心层是由核心交换机、集中认证、集中审计服务器组成的。系统采用双活互联，即使在一个设备出现故障的时候，另一个设备可以无缝接管。

图6

图7

4.2统一管理 责权明确统一的登录地址：以往管理方式要通过输入各个数据中心的不同设备的IP地址，远程带外管理系统为用户提供了统一的IP登录地址，方便了管理员的操作。统一的用户管理：所有需要登陆系统的用户，账户和密码统一进行管理，保证了账户和密码的统一性，支持本地认证及第三方认证方式，可以很好的保证用户账户和口令的高安全性。统一的管理操作界面：所有用户都可以在统一的中文操作界面下，对数据中心机房内的服务器进行管理，并且为用户提供中文等多种语言的操作界面。统一的管理平台：管理员登陆后，可以将系统涉及的各种服务器、小型机（Windows、Linux、Unix、Solaris、AIX、HMC……）、各种串口设备（交换机、防火墙、路由器……）纳入统一平台管理。统一的权限管理：通过精细化的权限管理，可以实现对每台设备按照部门、设备类型、厂商等信息进行权限分配，不同用户管理不同的设备，做到责权明确。统一的带内带外管理：系统对服务器不仅可以支持带外管理，还内置了带内管理终端，例如常见的:RDP，Telnet，SSH，VNC……;并且支持对远程管理卡的管理，例如:HP的Ilo/Rilo;IBM的RSA;Dell的DRAC;标准的IPMI等远程管理卡，保证了系统有很好的可靠性，和扩容能力。通过本系统可以综合实现应用系统的远程监控、操作及BIOS级别故障处理，提高了系统不间断运行时间，并且可以实现深度管理。5. 智能化审计为了建立现代企业制度，国家相关部门早在2009年就推出了我国第一部《企业内部控制基本规范》，被称为中国版的塞班斯法案。其中就要求内控管理必须切实做到数据安全、系统安全，保护核心数据免遭盗窃与破坏，提高重要数据的准确性和可靠性。内控从此成为人们关注的焦点，北京电视台要成为国内领先的电视台，一个智能化的审计管理平台，即用于记录用户行为、管理用户操作，是我们必然的选择。5.1 5W+H 智能化的审计管理平台实时监控、检查和记录用户的所有操作行为，回答了5W+H（WHY：为什么要这么做？ WHERE：从哪里入手？WHEN：何时开始和完成？ WHO：谁来完成？WHAT：结果是什么？HOW：怎么做？）。系统管理员在审计管理平台对每个系统分配了用户和资源，分配给用户不同的设备管理权限。操作时在Windows, Linux, Unix平台上进行图形化操作，可以进行图形审计，记录这些行为操作；管理交换机，防火墙等网络设备的字符集行为审计，可以通过协议字符会话来记录。系统实时记录每个用户的应用会话数，针对每个用户的图形化记录，24小时不间断增量记录，记录格式支持彩色和黑白两种格式，可以根据客户实际需求来调整。还可以根据要求对每个用户操作录像进行快慢回放，快速可达正常速度的32倍，慢回放是正常的1/4。对于记录的各类信息等都可以归类，系统基于用户、用户组、时间段、关键操作、敏感词等配置审计策略，按需回放、直观呈现，使管理员有效地分析来自用户操作的敏感信息，识别操作环境中潜在的恶意威胁活动和用户的误操作，可帮助管理员降低恶意侵袭和误操作带来的风险。5.2主动防御智能化的审计管理平台不仅可以在事后对操作进行审计，还可以进行主动防御，把威胁消灭在萌芽状态。审计管理平台整合带外和带内访问方式，将各类管理方式纳入统一界面，起到门户的作用。管理员在发现非法行为的第一时间，就可以切断用户与被管理服务器的连接。管理员还可以定义操作命令黑名单，对非法操作命令实现提前全面阻断。审计记录有着不可修改性，但计算机存储的信息是电子化的，很容易被修改，而且可以没有修改的痕迹。审计记录不可修改性是事后取证的关键。由于涉及运维管理的专业技术人员，从系统底层的数据修改与部分删除是安全中不可忽视的问题，系统借用网络存储系统中出现的WORM(一次写，多次读)技术，确保数据不被删改。5.3制度+技术智能化的运维审计是一种“制度+技术”的双保险的强行审计。制度也是审计工作中重要的一环。例如，智能化的无人数据中心配制了虚拟媒体功能，允许数据中心外面的管理终端通过服务器连接模块对目标服务器进行远程访问。通过这种功能，管理终端上的介质就以虚拟的方式安装在了目标服务器上。目标服务器可以读写这些介质，就像读写与目标服务器直接相连的介质一样。虚拟媒体可以实现远程的文件传输、运行诊断、应用程序升级、安装底层操作系统。为了配合使用新技术，建立了《数据中心上传信息管理制度》。制度规定了信息内容、上传流程、分类记录和存档。在全面封闭了数据中心机房和全部设备的USB端口后，管理终端是数据中心信息的唯一出入口。相关负责人会把装有上传信息的介质，如CD、DVD、U盘、移动硬盘等，送到杀毒中心进行查毒；查杀后正常，密封并盖齐封章，送至管理终端值班员手中；管理终端值班员检查正常后，上传信息，并填写相关表格来登记；一旦发现有可疑信息，立刻退回，并记录。6. 结束语科学的环境设计为虚拟化和云计算带来的巨大收益；精细地规划和实时地线缆管理确保数据中心的服务有保障的运行；在集中认证和审计管理平台进行规范的调度，减少对人的依赖。综上所述，数据中心智能化会对的整个数据中心的设计、建设、运营和维护产生深远的影响。 编辑：中国新闻技术工作者联合会