大数据时代主流媒体的封面网关发展探析

大数据时代主流媒体的封面网关发展探析

王  磊  王子健

(四川封面传媒有限责任公司)

【摘  要】大数据时代，传媒业逐渐开始向融媒体时代过渡。随之带来的是数据流量爆发式增长、智能媒体迭代升级提速以及网络数据安全等问题。为了更好地解决这些问题，封面以自己在融媒体行业多年的探索，结合业务痛点和业务难点，对网关建设进行了深入的研究。封面网关一方面承担起南北流量的唯一入口，一方面提取东西流量的共性功能。以路由转发和负载均衡为基础，监控告警和限流隔离/熔断降级为保障，A/B分流和安全鉴权辅助跟进，形成完整的保护屏障，助力封面建设“引领人工智能时代的泛内容生态平台”。

【关健词】大数据  融媒体  网关

1  概述

大数据时代，传媒业逐渐开始向融媒体时代过渡。随之带来的是数据流量爆发式增长、智能媒体迭代升级提速以及网络数据安全等问题。为了更好地解决这些问题，封面以自己在融媒体行业多年的探索，结合业务痛点和业务难点，对网关建设进行了深入的研究。封面网关一方面承担起南北流量的唯一入口，一方面提取东西流量的共性功能。以路由转发和负载均衡为基础，监控告警和限流隔离/熔断降级为保障，A/B分流和安全鉴权辅助跟进，形成完整的保护屏障，助力封面建设“引领人国对世面中工智能时代的泛内容生态平台”。传统互联网架构随着时代发展的已经由单体架构逐渐演化成微服务架构，而API网关已经成为微服务架构中不可或缺的一环。在客户端和服务，服务与服务之间引入一个额外层，作为从客户端向服务，服务向服务发起请求路由的反向代理。类似面向对象设计中的外观模式，往上承接南北流量，为封装底层系统架构的API提供了单一入口；同时往下会分发流量到微服务应用或者BFF(Backends for Frontends)聚合应用，在BFF规范化之前仍然将其视为一个普通微服务应用。称为API网关。整体架构图如图1:

2  请求分发

请求分发也是封面网关承载流量的基础，封面网关以路有转发和负载均衡为核心对接多渠道的请求。

2.1 API管理

当应用服务大规模增长的时候，API数量变得很庞大，我们有必要对API进行统一管理，按照业务线对API进行划分进行不同的管理。

在划分出不同业务线之后，能直观的感知到哪些业务是内部调用，哪些业务是对外输出的。从传媒行业的角度来看，埋点及采集相关服务通常属于内部服务，侧重点往往在于数据的稳定性，保障数据的最终落库；智能审核和校对相关服务通常以云服务的形式提供，数据流量也很大，侧重于保障API接口性能稳定性和安全性。

在划分出保障重点之后，我们能针对不同的API设置不同的保障规则，通过消息队列解藕通知网关，使配置生效。

通过API管理平台的成功建设，我们能对现有业务进行梳理，防止不同产品线之间重复开发。此外，也为技术中台的建设提供了基础支撑，围绕此可以展开对可集成服务的探索，如计费中心、用户中心等。

2.2  路由转发

路由转发是网关建设的基石，承接南北流量，为封装底层数据服务的API提供了单一入口。同时，路由转发也可以在基础的转发功能上做纵向拓展，通过对融媒体时代的深入分析，会发现浏览媒资信息的渠道会有多种，如常见的网页、APP,公众号或小程序等，但是不同的场景会导致接口存在差异性，这时后台服务就要对接不同的API需求，产生各种各样的问题。基于此考虑，引入了BFF。

这样做之后，有以下几点好处：

(1)聚合，将后端多个请求合并成一个请求，减少网络传输时间。

(2)适配，将内部复杂的微服务，适配成对各种不同用户体验友好和统一的API。

(3)裁剪，根据不同请求来源，对数据进行提炼，形成不同的展现；比如手机端和PC端大小尺寸和性能不同，如果进行相同的展现，势必会影响效果

2.3 MOCK

在前后端分离的开发模式中，前后端开发存在时间差，服务与服务之间也会存在开发时间差。为了进一步提高开发效率，封面API提供了MOCK数据的功能，只需要双方提前约定好数据格式，在请求进来时可以直接返回mock数据，提高开发效率。

MOCK功能的实用性不仅仅只体现在开发联调中。在实际生产中，往往会出现很多不可预知的问题，而解决问题是需要一定时间的。此时，可以通过MOCK的功能在流量进入的时候就进行有效的拦截返回，不会让流量进入到服务层级，既不会影响用户感知，也为解决问题留出了时间和空间。

3  安全把控

时常我们会遇见一些异常流量，典型的就是恶意爬虫，所以完善一些基础的安全策略是必要的。

3.1 IP黑白名单

融媒体时代，对于数据安全越来越看重。媒资数据量迅速增长的同时，网络攻击发生的频次与日俱增，攻击手段层出不穷。为了更好地应对为了提高访问IP质量，封面API需要授权之后才允许请求进入，其中最常用也是最简单高效的方式就是黑白名单。

封面网关提供了日志记录的功能，会将网关日志实时采集记录到大数据日志平台上。通过大数据安全分析，如果判断某个IP存在异常情况，就可以通过黑白名单的方式进行限制。

3.2  安全认证

随着封面云智一体平台建设的快速发展，一系列云产品的快速迭代发展，单一的IP黑白名单的限制并不能覆盖所有的安全检测面。同时，微服务数量的急速增长，不同微服务会有不同的服务调用地址，每个微服务单独鉴权的情况下，维护难度也在上升。因此，我们引入统一的认证授权。

集中认证授权的方式，为API接口调用提供了安全性保障，同时也解决了多服务单独鉴权的问题。由网关统一管理，在流量入口进行鉴权认证，在分发到不同的服务上。

3.3  限流隔离/熔断降级

封面网关作为南北流量的唯一入口，一般具有较高的访问量，封面网关每天的流量平均在千万以上，一些时段的峰值会很高，也就意味着很高的并发量。同时极高访问量必然出现流量的复杂性问题。API接口本身也存在性能瓶颈，保障接口的稳定性是必需的。而对流量进行整治管理是业务发展的必然趋势。

限流隔离主要是作用在流入方向服务端侧的流量控制，其中限流的目标是主动防御。对于服务接口提供者来讲，它自己有自己接口压力负载值，当达到这个阈值时，触发限制请求机制，这就是限流，简单而言就是限制接口访问QPS,隔离主要是不同的服务分配独立的、一定的资源，当自己的资源用完，直接返回失败而不是占用别人的资源，从而达到服务隔离的目的。隔离策略可以使用线程隔离或信号隔离。

熔断降级则是作用在流出方向客户端侧的流量控制，可以配置在一定错误率情况下进行熔断，并配合降级数据快速返回。通俗来讲，对于接口来说，接口的熔断触发条件是在某个时间片内失败达到一定指标，比如5分钟内接口调用错误次数比例达到50%以上，触发熔断，熔断后，服务将进行降级(服务降级可以理解为服务保底策略，服务失败或异常后，返回指定的默认信息)。

封面网关的限流隔离/熔断降级基于管理平台、消息队列和网关实现。管理平台可针对不同的接口配置单独的策略，通过消息队列的方式实时通知网关生效。

3.4 A/B分流

因为融媒体概念的提出，媒体行业技术发展日新月异，升级迭代愈加频繁。在进行持续迭代的背后离不开试验性工作，其中被互联网、移动互联网行业广泛应用的就是A/B测试。A/B测试的本质试验，作为一种优化方法，通过对比试验获取用户反馈结果(成果转换率和用户满意度),带来产品和技术的创新，以实现各项指标的增长。

在互联网产品迭代实验中的A/B测试是指：为了验证一个新的产品交互设计、产品功能或者策略的效果，在同一时间段，给多组用户(一般叫作对照组和试验组，用户的分组方法统计上随机，使多组用户在统计角度无差别)分别展示优化前(对照组)和优化后(试验组，可以有多组)的产品交互设计、产品功能或者策略、算法，并通过数据分析，判断优化前后的产品交互设计、产品功能或者策略、算法在一个或者多个评估指标上是否符合预期的一种试验方法。

封面网关A/B测试被广泛地应用于算法服务迭代升级之中，以推荐算法为例，在技术改进的初期，将一定比例的流量导向新的推荐策略服务。通过数据比对，量化算法升级带来的收益或风险，提供算法迭代的数据依据。

4  数据分析

4.1  数据可视化

通过网关日志收集记录，我们可以很快地得到数据访问报表，以数据为支撑，提供接口和网关策略优化的支点，反哺整个数据基础能力建设体系。

"

图2  日志可视化界面

4.2  安全告警

通过日志中心建设，封面网关可以对日志进行不同维度的分析，自定义不同的告警规则(错误数、错误率、降级熔断率等)通过任务调度平台生成不同的监控调度任务，实时告警提醒相关人员，从而保障了整个业务生态的稳定性。

5总结

封面网关以保障封面建设先进的“引领人工智能时代的泛内容生态平台”为出发点，深入地分析当前业务的技术痛点和难点，与封面各业务线做深度的融合，形成了完整的安全保障体系。封面网关已经具备了完善的使用流程和规范。

参考文献：

[1]盖泉贺，高传集，颜亮，等，一种K8S环境下的API网关服务高可用实现方法：,CN112422683A[P].

2021.

[2]刘伟超，吴拥军，陈亮，等，一种基于API网关的生产数据实时时钟同步方法及系统：,CN112381348A[P].2021.

[3]吴润，基于API网关的微服务组合策略研究[J].数码世界，2019(3):3.

[4]温馨，樊婧雯，王富强，基于OpenResty平台的API网关系统的设计与实现[J].信息化研究，2020(3):

7.

[5]王小波，郭毅.论微服务中使用API网关的设计与实现[J].市场周刊·理论版，2020.6]冯骐，沈富可.高校能力开放平台中的API网关设计与实现[J].中国教育信息化，2021(3):6.