互联网大规模视频服务用户体验及行为规律研究探讨

韦安明¹，覃毅力¹，岳婷²，肖辉¹，张福国³，王洪波²，崔俊生¹

（1广播电视规划院，2北京邮电大学，3央视国际网络有限公司）

【摘要】互联网视频服务发展迅速，截止2012底，国内用户数达到了3.71亿。对视频服务来说，用户体验是是影响用户粘度的重要因素。服务商不希望在服务中出现连接失败、等待时间过长、画面不流畅等降低用户体验的现象。在大规模视频服务环境下，要使用户体验得到保证，必须合理调配系统资源，但这需要事先掌握用户行为规律。本文探讨通过建立用户体验评价方法，分析商业视频服务系统运营数据和进行实验检验，找出大规模视频服务中用户体验规律，以及大规模用户行为规律。具体讨论的研究内容包括：研究分发策略对用户体验的影响，研究用户体验对用户行为的影响，研究大规模用户行为规律及其对技术系统的影响。 【关键词】互联网视频，用户体验，用户行为规律

Study on the Mechanism of the QoE and User Behavioral Patternfor Large Scale Video Service in Internet

Abstract—The internet video service has seen tremendous growth in recent years; There are more than 371 million Internet video users in China at the end of 2012. One of the important factors that impact the user engagement most is the Quality of Experience（QoE） for video service. Therefore, the service providers need to avoid pathological phenomenon of video, e.g. connecting failure, long waiting time and discontinuity of the image, which badly impair the user QoE. To provide stable and high quality of service to the user and guarantee the QoE in current large scale system, it's extremely important to have a better system resources allocation, which is based on a thorough understanding of user behavioral pattern. Thispapertalks about the researchwhich is aiming to efficiently discover the user's behavioral patterns through data mining into operational data from the commercial video service system and experimental data from platform evaluation. A evaluation mechanism on user experience will be developed by modeling the user's behavior, and corresponding prediction strategies will be provided in predicting user's behavior so as to improve the resource allocation and system performance.The proposed research areas include: Study the distribution strategy and its impact on the QoE; Study the relationship between the QoE and user behavior; Study the user's behavioral patterns in large scale situation, and its impact on underlying technical system.Keywords-Internet video；User experience；User Behavioral Pattern 1. 前言过去40年，美国航空航天局（NASA）一直只能依靠电视来转播来自太空的画面，但在2005年7月，美国航空航天局在网上视频直播"深度撞击"（Deep Impact）时，24小时内吸引了310万访问者观看太空船以每小时2.3万英里的速度撞向坦普尔1号彗星（Tempel 1 Comet），一小时内网页刷新次数高达3,300万次，而视频直播"发现号"航天飞机发射时，美国航空航天局网站在线人数达到了430万人，页面点击量达到2,800万次。现今，互联网视频已承担起了电视媒体的一大部分任务，甚至与传统电视有融合的趋势。2013年1月，中国互联网信息中心（CNNIC）发布的第31次《中国互联网络发展状况统计报告》显示，截至2012年底，我国互联网视频用户规模达3.71亿人，年增长率为14.3%，在网民中渗透率约为65.9%^[1]，当年我国电视机销量4500万台，其中超过70%安装了互联网接口或视频功能，同年，1.3亿人通过智能手机在线收看或下载视频。由此可见，我国互联网视频用户规模已经很大，且还在持续增长中，互联网视频商业服务环境已形成。对互联网视频服务来说，用户体验是影响用户粘度的重要因素。服务商显然希望能够随时掌握用户体验并使它处于可控状态，避免出现用户连接失败、等待时间过长、视频画面不流畅等降低体验的情况，这需要人们掌握用户体验评价方法。在大规模视频服务环境下，服务商要想能够控制用户体验，必须能够合理地调配服务系统资源，这需要人们事先掌握用户行为规律。遗憾的是，关于大规模视频服务中的用户体验和用户行为规律的诸多问题仍处于待解状态。目前，我国有几十家知名的视频网站，规模最大的互联网视频提供商的总服务带宽超过了1800Gbps，服务压力很大，因此，互联网视频服务提供商不得不采用多种技术手段及运营策略来应对大规模并发服务压力。2011年5月23日，PPLIVE CEO陶闯博士在接受新浪科技的“微观科技”栏目专访时表达了“三网融合和多屏视频首先要解决大规模视频并发服务问题，PPLIVE将发展PPCloud云架构以应对该难题”的观点，他同时又表示“互联网视频画面质量和流畅度是“鸡和蛋”的关系，两者对提高用户粘度都很重要”。这表明互联网视频服务系统的设计、部署、运营策略会对用户体验和用户行为产生直接的影响。著名互联网视频服务商、YouTube创始人之一Steve Chan就曾表示“只要有用户喜欢的体验，其他因素并不太重要”，可见任何一个互联网视频服务系统都应以为用户提供良好体验为设计和运营目标。实际上，由于互联网视频对网络带宽的需求大（譬如H.264标清互联网视频码率在450kbps至2Mbps之间，而有些1080i高清视频则需要10Mbps的宽带接入才能正常观看），加上接入网络的多样性及接入网络可用带宽并不稳定的原因，如果视频服务系统不采取必要调控措施，用户体验必然产生大幅波动。因此，在用户接入互联网的可用带宽欠稳定、不均衡的现状下，通过研究编码优化、分发策略优化和系统架构重塑优化等理论来改善用户体验就成为不二之选。一般来说，互联网视频访问量在时间分布上不均，白天的访问量小，晚间访问量大，此外，地域、社会热点事件，宽带接入费率、观看环境等都会影响用户访问。不管怎样，大规模的用户访问行为无疑会加重互联网视频服务系统的负载，降低用户体验质量，严重情况下甚至会导致拒绝服务（DoS）。譬如，2012年中国男子篮球联赛（CBA）由北京金隅对阵广东东莞银行队的总决赛期间，部分篮球爱好者通过网络观看赛会实况转播时遇到了连接失败、视频启动时间长、频繁缓冲和画面不流畅等问题，这与赛后顺畅的收视体验差别很大。这表明大规模用户并发访问会影响视频服务系统的性能，使用户体验降低。但到目前为止，人们并未系统地掌握大规模用户行为对视频服务系统的影响及规律。2. 开展相关研究工作的可能方法和意义从逻辑上看，互联网视频服务系统可以被分解成由技术系统、用户体验、用户行为和外因四部分构成的复杂系统，如图1所示。

图1 复杂互联网视频应用系统分解

其中，前三部分相互作用，类似一个闭环系统。它们之间的相互关系，可以简单描述如下。技术系统的分发策略（包括编码算法、视频源码率、CDN等的选择策略）将影响用户体验评价指标。这些指标的值可以从用户终端获得，它们可以用图像主观质量、图像客观质量、平均码率、缓冲率、流畅度、启动时间、收视失败率和用户主动退出率等表示。用户体验指标值将影响用户行为指标。用户行为指标也可以从用户终端获得，它们可以用登录、退出、连续观看同一节目时长、连续观看总时长和连续观看节目个数等表示。服务系统的另一部分是“外因”，它由用户所处区域（地理位置）、时间、社会事件、网络使用费率和用户观看环境率等外在因素组成，能影响用户的收视行为。在用户体验和外因的综合作用下，大规模用户并发将增大技术系统的负载，容易引起分发节点过载或者总服务带宽不足等问题。我们认为，解决上述问题的可能方法是：1）研究分发策略对用户体验的影响规律：研究多样化分发策略情形下的用户体验评价方法；研究用户体验归一化方法；研究不同编码算法对用户体验的影响；重点研究图像质量的变化，同时研究视频源码率变化对其他用户体验参数的影响；研究CDN选择策略对用户体验的影响。2）研究用户体验对用户行为的影响规律：研究图像主、客观质量对用户行为的影响，深入研究图像平均码率、画面清晰度、流畅度对用户退出系统和持续观看程度的影响；研究视频启动时间、缓冲率、流畅度对用户行为的影响；深入研究连接失败率和退出率对用户行为的影响；研究用户多种行为与粘度值的关系。3）研究大规模用户行为规律：研究大规模用户行为的登录、退出、连续观看同一节目时长、连续观看总时长、连续观看节目个数等参数的变化规律，同时深入研究用户分布与用户的空间、时间、年龄、教育背景等分布的关系；研究大规模用户行为对技术系统的影响规律。在大规模用户服务环境下，根据社会热点事件的区域属性、发生时间、所处区域的网络接入费率，结合用户的收看环境，研究技术系统前端负载的变化规律研究CDN分发节点的负载变化规律。目前，有关互联网大规模视频服务用户体验及行为规律研究方面的成果在国内外还鲜有报道，未来几年，预期研究成果可为互联网视频服务系统分发策略和结构优化，以及提高互联网带宽利用率等提供技术指导，为改善用户体验提供理论依据。对视频服务系统前端、CDN网络及终端的完善、发展和实用化具有现实的意义。3. 国内外研究进展国内外对互联网大规模视频应用用户体验和用户行为的研究还很少，相关的研究主要是：用户行为活动度的研究工作^{[2][3][4][5][6]}中，大部分集中在访问活动度分布的重尾特性及其在系统级上的影响。Yu等人^[5]在中国电信部署的VOD系统上提出一种测量研究方法对用户访问模式和会话长度进行建模。一些研究人员研究IPTV系统^[7]中的动态频道，以及流媒体系统中搜索-暂停-快进行为的学习^[8]。然而在用户参与度（user engagement）方面，如视频质量与用户收视行为、视频内容与用户收视行为间的研究^[9]，研究结果十分有限。此外，部分文献中介绍的研究工作旨在改善服务器端系统，如，在减少内容分发代价的同时，通过改善关键的质量指标来提高P2P VOD系统的鲁棒性，以减少运行在动态环境下的服务器等基础设施的部署代价^{[7][10][11][12]}。还有研究利用“黑盒”^{[11][13][14][15]}和“白盒”^{[4][16][17][18]}进行推理和测量技术来部署VOD和流媒体系统。但是并不能直接解决发现用户体验和用户行为之间规律的问题测量方法论研究，包括终端测量、网络测量、前端测量，例如终端缓冲率测量、节目收看率统计、节目质量评估等方法研究。视频前端系统优化，包括信源编码优化及码率调优、过载能力调优等方法研究。终端系统，研究工作正从过去如何实现单一播放平台转向如何实现包括主动测量、播放、端到端协作工作的多功能平台。有关的最新研究成果集中体现在最近的SIGCOMM和IMC会议论文上，也体现了继续深入研究大规模音视频协作分发机制与用户体验之间关系的必要性。针对以上问题，研究人员进行了积极探索^{[19][20][21][22]}，例如Xi Liu等人^[19]提出构建一个全网协作的视频控制平台，以类似闭环控制的思想来控制数据的分发，H. H. Liu等人^[20]提出CMO算法以控制粒度小、响应快为特征，通过权衡CDN网络性能、流量费率等因素，使得终端能够自动适配性能优、费率低的分发路径，P. Gill等人则研究如何通过网络测量的方法去提高视频分发能力^[13]，但这些研究工作取得的重要成果仍很少在实际系统中得到体现。现有的网络中，考虑到分发成本和接收解码平台的通用性，互联网视频服务商普遍将音视频的承载方式从传统的Real Networks、RTMP协议等转向HTTP协议，使得网络性能更难以通过测量的方式预测，不良用户体验直接影响节目收视率和互联网视频服务商运营收益，这种糟糕的状况已得到佐证，有数据表明，在基于HTTP协议的大规模视频分发网络中，遇到大于10%缓冲率的用户约为总数的20%，视频启动时间大于10秒的占14%，更有10%的用户根本无法观看视频^[19]，并且，用户对节目缓冲率非常敏感，缓冲时间每增加1%，用户收视时长的统计期望就会减少3分钟。可见，尽管应用系统提供的数据缓冲功能可以减弱传输延迟的对视频流质量的影响，但影响音视频节目用户体验和收看行为的主要因素已不再是过去关注的传输延迟和传输时长，缓冲率异常才是主因。过去几年，也有一些研究成果与节目体验质量对用户行为影响相关，但它们是在可控实验环境下得到的结论，不适用于大规模视频服务情景^{[23][24][25][26]}。对大规模服务场景有研究的是Florin Dobrian等人进行的与用户参与度有关的研究^[9]和S. Shunmuga krishnan等人对节目体验质量和用户行为因果关系的研究^[27]，但取得的成果都还太少，还不足以深入地揭示体验质量与用户行为间的规律。总之，国内外对互联网视频体验质量及用户行为规律的研究还很少，且未见关于大规模用户行为与应用系统之间关系的系统论述，也未见平衡大规模用户行为、用户体验和应用系统压力间的系统性研究。4. 亟待研究的重要问题及难点4.1. 分发策略对用户体验的影响规律计算机、电视和智能手机是互联网视频服务的主要终端，它们接入互联的方式也多种多样，有2G移动接入、3G移动接入、Wi-Fi接入、ADSL接入、专线接入等，接入能力呈现差异化的特点。为了使用户得到最好的体验，视频服务技术系统为不同用户提供了不同的分发策略。

图2 分发策略与用户体验之间的关系

第一个亟待研究的问题是技术系统分发策略对用户体验的影响，图2表示了分发策略与用户体验之间的关系，研究内容包括：1）用户体验评价方法针对视频服务系统分发策略多样化的特点，研究用户体验的评价方法。针对用户体验表现为多个参数的问题，研究用户体验归一化方法，即根据各参数的重要性赋予它们权值，最后获得归一化的用户体验值。2）源视频质量对用户体验的影响节目编码算法和码率决定了视频质量。针对编码算法复杂度影响前端服务器系统的计算资源开销，及编码算法的效率影响网络资源利用率的问题，研究不同编码算法对用户体验的影响。针对视频源码率大小影响网络带宽开销和图像质量的问题，重点研究图像质量的变化，同时研究视频源码率变化对其他用户体验参数的影响。3）CDN对用户体验的影响服务同一个用户，可能可以通过不同的CDN网络。不同CDN网络的性能和使用费用可能不同。针对这个问题，研究CDN选择策略对用户体验的影响。在这个问题中，难点是分发策略可控，这需要建立一个研究平台，例如研究中需要不断地改变编码算法和码率，自适应分发策略优化研究还需要获得网络状态信息和用户体验参数。但是，最关键的是要建立用户体验评价方法。4.2. 用户体验对用户行为的影响规律第二个亟待研究的问题是用户体验对用户行为的影响，图3表示了用户体验对用户行为的影响关系，研究内容包括：1）图像质量和平均码率对用户行为的影响针对用户图像质量敏感的问题，研究图像主、客观质量对用户行为的影响。深入研究图像平均码率、画面清晰度、流畅度对用户退出系统和持续观看程度的影响。2）启动时间、缓冲率和流畅度对用户行为的影响启动时间会降低用户的耐心，缓冲率高、流畅度低影响收看连续性。针对用户对等待时间敏感的问题，研究视频启动时间、缓冲率和流畅度对用户行为的影响。

图3 用户体验对用户行为的影响

3）失败率和退出率对用户行为的影响收看失败和异常退出都属于非正常现象，会影响用户对视频服务商的印象。针对这个问题，深入研究连接失败率和退出率对用户行为的影响。4）用户粘度视频服务商通过用户粘度来衡量用户对网站的忠诚度和贡献值。针对这个问题，研究用户多种行为与粘度值的关系。4.3. 大规模用户行为规律上面提到了用户体验影响用户行为的研究，第三个亟待研究的问题是在 “外因”作用下的大规模用户行为规律，如图4所示，其重点是研究社会事件对大规模用户行为的影响。

图4 影响大规模用户行为规律的因素

1）“外因”作用下的大规模用户行为规律在大规模服务环境下，根据社会热点事件的区域属性、发生时间、所处区域的网络接入费率，结合用户的收看环境，研究大规模用户行为的登录、退出、连续观看同一节目时长、连续观看总时长、连续观看节目个数等参数的变化规律，同时深入研究用户分布与用户的空间、时间、年龄、教育背景等分布的关系。要在研究中获得可信的理论研究成果，首要解决如何获得真实的大规模用户行为数据，及大规模用户行为数据的挖掘等关键问题。2）大规模用户行为对技术系统的影响规律互联网世界中存在各种独特的现象，例如20%的视频内容贡献80%的网络流量的“长尾分布”，引起用户访问访问聚集的“flash crowd”闪聚现象等，它们可以迅速地改变技术系统的负载，对服务质量产生重大影响。大规模用户行为对技术系统的影响过程可用图5表示，其基本研究内容包括：

图5 大规模用户行为对技术系统的影响

a）大规模用户行为对前端系统负载的影响在大规模用户服务环境下，根据社会热点事件的区域属性、发生时间、所处区域的网络接入费率，结合用户的收看环境，研究技术系统前端负载的变化规律。b）大规模用户行为对节点负载的影响研究大规模用户服务环境下CDN分发节点的负载变化规律。c）大规模用户行为下系统的负载均衡根据大规模用户行为变化规律，研究CDN分发节点的负载均衡策略。5. 研究方法探讨用户体验及行为规律研究既有计算机科学的特征，又有社会学特征，研究中，有两个重要问题必须要问题：数据来源问题和数据挖掘问题。1）数据来源用户行为数据有三个来源：研究平台、电视台等商业运营系统和仿真数据。前两种数据最具研究意义。? 来源于研究平台的数据为了进行特定目的的研究，可搭建专用研究平台，从中可获得部分研究数据。研究平台产生的数据具有参数可控的特点，可以用来验证某些理论结论。? 来源于商业运营系统的数据商业视频服务系统的运营数据对研究工作意义重大。优秀的商业系统视频内容丰富，服务范围涵盖全球，用户数量众多，它的运营数据不仅解决了大规模视频服务研究工作难以开展的难题，还使得研究结果的可信度成倍提高。但是，出于商业竞争和隐私保护的目的，商业系统的运营数据通常不会对外机构人员公开，无形中增大了研究人员开展工作的难度，这也是目前学术界缺少相关研究成果的重要原因。? 仿真数据需要进行数学模型验证时，数据仿真将是有效的手段。数值仿真可以快速获得验证数据，缩短研究周期。2）数据处理和理论建模无论是研究分发策略对用户体验的影响，还是研究用户体验对用户行为的影响，或是研究用户行为规律对系统负载的影响，本质上都是求解多维变量相关性问题，其中，用户体验数据是问题的自变量。由于用户的体验参数不仅包括源视频码率、视频启动时间等客观测量指标，也包括用户对于视频的主观质量感受，对不同体验指标的简单的线性加权并不能反映用户对于视频播放体验的评价。此类问题属于复杂的多属性决策理论问题，既要考虑用户主观感受，又要考虑客观测量指标，还要考虑复杂的系统技术指标才能评价各要素与用户体验之间的关系。分析大规模用户行为规律，宜采用数据挖掘中的分类、聚类算法和函数拟合等手段，并可借助于SPSS、original等专业的数值统计分析工具。更多的数据处理方法，文献^[28]有更深入的讨论。6. 结语随着固定互联网、移动互联网的技术变革，使得网络视频业务逐步摆脱“带宽瓶颈”的制约，走上了快速发展的道路，“多屏”用户数量亦呈爆发性增长的趋势。深入研究互联网大规模视频服务条件下的用户体验及行为规律，不仅可以优化服务系统，提高用户的收视体验，还可以帮助企业精耕细作其商业运营计划，做强做大产业。7. 参考文献

[1] 中国互联网络信息中心, 中国互联网络发展状况统计报告[EB/OL] . http://www.cnnic.cn/hlwfzyj/hlwxzbg/hlwtjbg/201301/P020130122600399530412.pdf.2013.

[2] B. Cheng, X. Liu, Z. Zhang,H. Jin. A measurement study of a peer-to-peer video-on-demand system[A]. Proc. IPTPS, 2007.

[3] M. Cha, H. Kwak, P. Rodriguez, Y.-Y. Ahn, S. Moon. I Tube, You Tube,Everybody Tubes: Analyzing the World’s Largest User Generated Content Video System[A]. Proc. IMC, 2007.

[4] H. Y. et al. Inside the Bird’s Nest: Measurements of Large-Scale Live VoD from the 2008 Olympics[A]. Proc. IMC, 2009.

[5] H. Yu, D. Zheng, B. Y. Zhao, W. Zheng. Understanding User Behavior in Large-Scale Video-on-Demand Systems[A].Proc. Eurosys, 2006.

[6] Y. Huang, D.-M. C. Tom Z. J. Fu, J. C. S. Lui, C. Huang. Challenges,Design and Analysis of a Large-scale P2P-VoD System[A]. Proc. SIGCOMM, 2008.

[7] M. Cha, P. Rodriguez, J. Crowcroft, S. Moon, X. Amatriain. Watching Television Over an IP Network[A]. Proc. IMC, 2008.

[8] C. Costa, I. Cunha, A. Borges, C. Ramos, M. Rocha, J. Almeida, B.Ribeiro-Neto. Analyzing Client Interactivity in Streaming Media[A].Proc.WWW, 2004.

[9] Florin Dobrian, Asad Awan, Dilip Joseph, Vyas Sekar, Ion Stoica, Hui Zhang: Aditya Ganjam, Jibin Zhan: Understanding the Impact of Video Quality on User Engagement[A]. Toronto, Canada:SIGCOMM’11, 2011.

[10] B. Cheng, L. Stein, H. Jin, Z. Zheng. Towards Cinematic Internet Video-On-Demand[A]. Proc. Eurosys, 2008.

[11] X. Hei, C. Liang, J. Liang, Y. Liu, and K. W. Ross. A measurement study of a large-scale P2P IPTV system[A]. IEEE Transactions on Multimedia, 2007.

[12] S. Guha, S. Annapureddy, C. Gkantsidis, D. Gunawardena, and P. Rodriguez. Is High-Quality VoD Feasible using P2P Swarming?[A]. Proc. WWW, 2007.

[13] Phillipa Gill, Martin Arlitt, Zongpeng Li, Anirban Mahanti. YouTube Traffic Characterization: A View From the Edge[A]. Proc. IMC, 2007.

[14] S. Ali, A. Mathur, H. Zhang. Measurement of Commercial Peer-to-Peer Live Video Streaming[A]. Proc. Workshop on Recent Advances in Peer-to-Peer Streaming, 2006.

[15] S. Saroiu, K. P. Gummadi, R. J. Dunn, S. D. Gribble, H. M. Levy. An Analysis of Internet Content Delivery Systems[A]. Proc. OSDI, 2002.

[16] W. W. Hyunseok Chang, Sugih Jamin. Live Streaming Performance of the Zattoo Network[A]. Proc. IMC, 2009.

[17] K. Sripanidkulchai, B. Maggs, and H. Zhang. An Analysis of Live Streaming Workloads on the Internet[A]. Proc. IMC, 2004.

[18] K. Sripanidkulchai, A. Ganjam, B. Maggs, H. Zhang. The Feasibility of Supporting Large-Scale Live Streaming Applications with Dynamic Application End-Points[A]. Proc. SIGCOMM, 2004.

[19] Xi Liu, Florin Dobrian, Henry Milner, Junchen Jiang, Vyas Sekar, Ion Stoica, Hui Zhang: A case for a coordinated internet video control plane[A].Helsinki, Finland: SIGCOMM’12, 2012.

[20] H. H. Liu, Y. Wang, Y. R. Yang, H. Wang, C. Tian：Optimizing cost and performance for content multihoming[A]. Helsinki, Finland, SIGCOMM’12, 2012.

[21] Chen Tian, Richard Alimi, Y. R. Yang, David Zhang: ShadowStream: Performance Evaluation as a Capability in Production Internet Live Streaming Networks[A].Helsinki, Finland: SIGCOMM’12, 2012.

[22] TY Huang, N Handigol, B Heller, N McKeown, R Johari: Confused, Timid, and Unstable: Picking a Video Streaming Rate is Hard[A].Boston, USA: Internet Measurement Conference (IMC'12), 2012.

[23] A. Bouch, A. Kuchinsky,N. Bhatti. Quality is in the Eye of the Beholder: Meeting Users’ Requirements for Internet Quality of Service[A]. Proc. CHI,2000.

[24] S. R. Gulliver, G. Ghinea. Defining user perception of distributed multimedia quality[J]. ACM Transactions on Multimedia Computing, Communications, and Applications (TOMCCAP), 2(4), 2006.

[25] I. Ceaparu, J. Lazar, K. Bessiere, J. Robinson, B. Shneiderman. Determining Causes and Severity of End-User Frustration[DB/OL]. International Journal of Human-Computer Interaction, 2004.

[26] K.-C. Yang, C. C. Guest, K. El-Maleh, and P. K. Das. Perceptual Temporal Quality Metric for Compressed Video[A]. IEEE Transactions on Multimedia, 2007.

[27] S. Shunmuga Krishnan, Ramesh K. Sitaraman. Video Stream Quality Impacts Viewer Behavior: Inferring Causality Using Quasi-Experimental Designs[A]. Proc. IMC, 2012.

[28] 林闯, 胡杰, 孔祥震. 用户体验质量（QoE）的模型与评价方法综述[J]. 计算机学报, 2012, 35(1).P1-15.

编辑：中国新闻技术工作者联合会