關(guān)于人工智能對(duì)用戶(hù)QoE提升的若干思考

（南京郵電大學(xué)，江蘇 南京，210003）

1 “用戶(hù)體驗(yàn)至上”已成趨勢(shì)

隨著多媒體通信技術(shù)的不斷發(fā)展，互聯(lián)網(wǎng)視頻業(yè)務(wù)方興未艾，其全球產(chǎn)業(yè)總值超過(guò)數(shù)千億美元，用戶(hù)總量達(dá)到數(shù)十億。在YouTube中，每分鐘有300 h的視頻被上傳，其總產(chǎn)值超過(guò)750億美元；優(yōu)酷視頻覆蓋的多屏終端總量達(dá)到5.8億多，日播放量達(dá)到11.8億次；騰訊視頻日均活躍用戶(hù)達(dá)到1.37億。網(wǎng)絡(luò)視頻業(yè)務(wù)的迅速發(fā)展以及視頻用戶(hù)的快速增加[1]，加速了視頻服務(wù)商從關(guān)注服務(wù)質(zhì)量（QoS）到重視用戶(hù)體驗(yàn)質(zhì)量（QoE）的轉(zhuǎn)變[2]。

傳統(tǒng)對(duì)視頻流媒體業(yè)務(wù)質(zhì)量的評(píng)估局限于對(duì)QoS的評(píng)估。實(shí)際上，QoS只能反映網(wǎng)絡(luò)層面的服務(wù)質(zhì)量，比如丟包率、帶寬、時(shí)延、抖動(dòng)等，并不能全面地反映用戶(hù)真實(shí)的需求和體驗(yàn)。如何面向用戶(hù)體驗(yàn)更有效地評(píng)估端到端的視頻業(yè)務(wù)質(zhì)量成為近些年來(lái)迫切需要解決的問(wèn)題。而用戶(hù)QoE是從用戶(hù)主觀感知出發(fā)，來(lái)直接衡量用戶(hù)對(duì)服務(wù)的認(rèn)可程度。在如今的網(wǎng)絡(luò)視頻領(lǐng)域，視頻服務(wù)商更是遵從“用戶(hù)體驗(yàn)至上”的原則來(lái)發(fā)展各自的視頻業(yè)務(wù)。例如，愛(ài)奇藝公司堅(jiān)持“悅享品質(zhì)”的公司理念，以“用戶(hù)體驗(yàn)”為生命；全球互聯(lián)網(wǎng)巨頭Netflix公司通過(guò)取消視頻廣告等措施提高用戶(hù)QoE。由此可見(jiàn)，“用戶(hù)體驗(yàn)至上”已經(jīng)成為網(wǎng)絡(luò)視頻業(yè)務(wù)發(fā)展中的必然趨勢(shì)。

在網(wǎng)絡(luò)視頻業(yè)務(wù)中，從用戶(hù)角度來(lái)看，人們關(guān)心的指標(biāo)主要有：視頻質(zhì)量的清晰度、界面交互的友好便利性、視頻播放的流暢度。而從視頻服務(wù)商的角度來(lái)看，用戶(hù)關(guān)心的3個(gè)指標(biāo)對(duì)應(yīng)于：網(wǎng)絡(luò)流量的平均速率、網(wǎng)絡(luò)視頻的緩沖時(shí)間以及視頻的碼率波動(dòng)。其中，平均速率越大，緩沖時(shí)間越短，碼率波動(dòng)越小，用戶(hù)的QoE越好；但是，由于網(wǎng)絡(luò)帶寬、資源有限等原因，就現(xiàn)有的技術(shù)而言，想同時(shí)保持高速率視頻傳輸、短時(shí)間的視頻緩沖以及低碼率的波動(dòng)是非常困難的。這3個(gè)指標(biāo)相互牽制，無(wú)法同時(shí)實(shí)現(xiàn)最優(yōu)的處理。如何在復(fù)雜網(wǎng)絡(luò)環(huán)境和大數(shù)據(jù)背景下實(shí)現(xiàn)視頻流的自適應(yīng)是目前急需解決的一個(gè)難點(diǎn)。

另一方面，用戶(hù)們觀看視頻興趣的種類(lèi)“眾口難調(diào)”。例如，對(duì)于清晰度和流暢度這2個(gè)很難同時(shí)權(quán)衡的指標(biāo)，喜歡體育運(yùn)動(dòng)的用戶(hù)更加關(guān)注的是直播比賽的流暢程度，而觀影用戶(hù)更注重的是影片的清晰度；因此，在多媒體大數(shù)據(jù)通信的背景下，如何根據(jù)用戶(hù)的不同喜好權(quán)衡不同指標(biāo)的重要度和實(shí)現(xiàn)用戶(hù)個(gè)性化QoE的建模也是目前提升用戶(hù)QoE的一個(gè)難點(diǎn)。

2 人工智能為大數(shù)據(jù)時(shí)代帶來(lái)機(jī)遇

2.1 人工智能與大數(shù)據(jù)：完美結(jié)合

中國(guó)的網(wǎng)絡(luò)視頻行業(yè)規(guī)模非常大，2018年1—8月互聯(lián)網(wǎng)企業(yè)業(yè)務(wù)收入同比增長(zhǎng)20.7%，中國(guó)規(guī)模以上互聯(lián)網(wǎng)和相關(guān)服務(wù)企業(yè)完成業(yè)務(wù)收入5 955億元。短視頻發(fā)展迅猛，且將持續(xù)保持增長(zhǎng)。龐大的用戶(hù)規(guī)模使網(wǎng)絡(luò)視頻產(chǎn)業(yè)得到蓬勃發(fā)展，同時(shí)用戶(hù)需求成為網(wǎng)絡(luò)視頻行業(yè)的發(fā)展標(biāo)準(zhǔn)，網(wǎng)絡(luò)視頻業(yè)務(wù)已經(jīng)步入大數(shù)據(jù)時(shí)代[3]。關(guān)于大數(shù)據(jù)，IBM公司指出大數(shù)據(jù)具有如下“5V”特點(diǎn)：

（1）大量（Volume），即數(shù)據(jù)量大，包括采集、存儲(chǔ)和計(jì)算的量都非常大。大數(shù)據(jù)的起始計(jì)量單位可以達(dá)到PB、EB甚至ZB。

（2）價(jià)值（Value），海量數(shù)據(jù)中，數(shù)據(jù)價(jià)值密度比較低，換言之，具有價(jià)值的數(shù)據(jù)非常少。

（3）多樣（Variety），即種類(lèi)和來(lái)源多樣化，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，多類(lèi)型的數(shù)據(jù)對(duì)數(shù)據(jù)的處理有更高的要求。

（4）高速（Velocity），數(shù)據(jù)增長(zhǎng)速度快，處理速度快，實(shí)時(shí)性要求高。

（5）真實(shí)（Veracity），主要指數(shù)據(jù)的準(zhǔn)確性和可信賴(lài)度，即數(shù)據(jù)的質(zhì)量。

從大數(shù)據(jù)的特征來(lái)看，如何從海量數(shù)據(jù)中挖掘出少量有用的信息是處理大數(shù)據(jù)的關(guān)鍵；而人工智能的出現(xiàn)，則是與大數(shù)據(jù)的完美結(jié)合。如圖1所示，人工智能技術(shù)能夠用傳統(tǒng)人類(lèi)無(wú)法處理的方式來(lái)分析、挖掘大數(shù)據(jù)所包含的有價(jià)值信息。

圖1 大數(shù)據(jù)與人工智能框架

人工智能是指研究、開(kāi)發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)以及應(yīng)用系統(tǒng)的一門(mén)新的技術(shù)科學(xué)，是由人工制造出來(lái)的系統(tǒng)所表現(xiàn)的智能。2006年，Hinton教授提出“深度學(xué)習(xí)”神經(jīng)網(wǎng)絡(luò)使得人工智能性能獲得突破性進(jìn)展，進(jìn)而促使人工智能產(chǎn)業(yè)又一次進(jìn)入快速發(fā)展階段。數(shù)據(jù)量的豐富程度決定了是否有充足數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，進(jìn)而使人工智能系統(tǒng)經(jīng)過(guò)深度學(xué)習(xí)訓(xùn)練后達(dá)到強(qiáng)人工智能水平；因此，能否有足夠多的數(shù)據(jù)對(duì)人工神經(jīng)網(wǎng)絡(luò)進(jìn)行深度訓(xùn)練和提升算法有效性是人工智能能否達(dá)到類(lèi)人或超人水平的決定因素之一。

隨著移動(dòng)互聯(lián)網(wǎng)的爆發(fā)，數(shù)據(jù)量呈現(xiàn)出指數(shù)級(jí)的增長(zhǎng)，大數(shù)據(jù)的積累為人工智能提供了基礎(chǔ)支撐[4]。同時(shí)受益于計(jì)算機(jī)技術(shù)在數(shù)據(jù)采集、存儲(chǔ)、計(jì)算等環(huán)節(jié)的突破，人工智能已從簡(jiǎn)單的算法+數(shù)據(jù)庫(kù)發(fā)展演化到了機(jī)器學(xué)習(xí)+深度理解的狀態(tài)；因此，當(dāng)人工智能遇到大數(shù)據(jù)，二者之間可望實(shí)現(xiàn)完美結(jié)合。

2.2 人工智能在多媒體大數(shù)據(jù)領(lǐng)域的應(yīng)用

計(jì)算機(jī)處理能力的不斷提高以及云存儲(chǔ)領(lǐng)域的最新發(fā)展促使許多行業(yè)（多媒體通信領(lǐng)域也不例外）正在探索如何更好地利用人工智能。人工智能在多媒體大數(shù)據(jù)領(lǐng)域的應(yīng)用主要分為以下3類(lèi)：

（1）網(wǎng)絡(luò)設(shè)備的智能運(yùn)維或故障檢測(cè)。在多媒體大數(shù)據(jù)通信的背景下，如何從海量數(shù)據(jù)中挖掘出設(shè)備故障的位置信息和原因信息，是一直困擾運(yùn)營(yíng)商和設(shè)備商的難題。人工智能技術(shù)可以：對(duì)網(wǎng)絡(luò)告警和故障征兆進(jìn)行預(yù)處理，通過(guò)建立類(lèi)似人類(lèi)大腦認(rèn)知的過(guò)程模型，借助高性能硬件和強(qiáng)大軟件平臺(tái)，對(duì)數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，從而能夠提升準(zhǔn)確率和處理效率；針對(duì)海量告警數(shù)據(jù)和復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)，自動(dòng)選擇最優(yōu)方法和最優(yōu)技術(shù)完成一系列告警操作，并通過(guò)不斷學(xué)習(xí)提升告警處理速度和效果，保障和管理好整個(gè)通信網(wǎng)絡(luò)。

（2）網(wǎng)絡(luò)優(yōu)化。網(wǎng)絡(luò)優(yōu)化主要包括流量?jī)?yōu)化、能耗優(yōu)化、無(wú)線(xiàn)網(wǎng)絡(luò)覆蓋和容量?jī)?yōu)化3個(gè)方面。通過(guò)在軟件定義網(wǎng)絡(luò)（SDN）控制器上引入人工智能技術(shù)，實(shí)現(xiàn)網(wǎng)絡(luò)流量的智能優(yōu)化。針對(duì)無(wú)線(xiàn)網(wǎng)絡(luò)環(huán)境下調(diào)節(jié)參數(shù)難的問(wèn)題，通過(guò)引入機(jī)器學(xué)習(xí)算法，分析當(dāng)前網(wǎng)絡(luò)狀態(tài)與覆蓋和容量之間的關(guān)系模型，再對(duì)網(wǎng)絡(luò)進(jìn)行分析，指導(dǎo)調(diào)整無(wú)線(xiàn)參數(shù)配置。

（3）智能安全。人工智能技術(shù)支持下的網(wǎng)絡(luò)安全有著堅(jiān)強(qiáng)的后盾，把人工智能和網(wǎng)絡(luò)安全管理緊密結(jié)合，能夠很大程度地提高網(wǎng)絡(luò)的安全性能。例如人工智能垃圾郵件檢查、智能防火墻安全技術(shù)、入侵檢測(cè)和異常檢測(cè)等。

3 用“數(shù)據(jù)+智能”來(lái)提升用戶(hù)QoE

3.1 QoE研究中面臨的主要難點(diǎn)和解決方案

視頻業(yè)務(wù)中的QoE反映的是用戶(hù)觀看視頻整個(gè)過(guò)程中的主觀感受，其中網(wǎng)絡(luò)服務(wù)質(zhì)量、用戶(hù)的個(gè)性化喜好等因素都會(huì)影響到用戶(hù)QoE；因此，視頻業(yè)務(wù)中用戶(hù)的QoE評(píng)價(jià)是一個(gè)復(fù)雜的系統(tǒng)性工程。當(dāng)前，視頻業(yè)務(wù)QoE的預(yù)測(cè)和提升仍面臨著諸多挑戰(zhàn)，具體而言，可以包含以下3個(gè)方面：

（1）預(yù)測(cè)困難。視頻業(yè)務(wù)中的QoE預(yù)測(cè)需要精準(zhǔn)的當(dāng)前網(wǎng)絡(luò)流量作為重要參考指標(biāo)，而網(wǎng)絡(luò)流量預(yù)測(cè)需要綜合考慮多種因素，往往很難做到精準(zhǔn)預(yù)測(cè)。

（2）通用性差。現(xiàn)有的方法通常針對(duì)特定的網(wǎng)絡(luò)環(huán)境和特定的應(yīng)用場(chǎng)景設(shè)計(jì)，不具有一般性，通用性差。

（3）目標(biāo)單一?，F(xiàn)有的方法優(yōu)化目標(biāo)單一，通常只針對(duì)速率的優(yōu)化，未考慮影響用戶(hù)QoE的一系列其他因素，而QoE又是一個(gè)多種因素相互作用的綜合指標(biāo)。

人工智能技術(shù)的出現(xiàn)，使大數(shù)據(jù)背景下的用戶(hù)QoE提升變成了可能：針對(duì)預(yù)測(cè)困難的問(wèn)題，深度神經(jīng)網(wǎng)絡(luò)在足夠多的網(wǎng)絡(luò)數(shù)據(jù)中可以獲得更為精準(zhǔn)的網(wǎng)絡(luò)流量預(yù)測(cè)精度；根據(jù)用戶(hù)的行為、喜好，制定個(gè)性化QoE模型，并將用戶(hù)的主觀感受及時(shí)反饋給正在訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型[5-6]，達(dá)到實(shí)時(shí)更新的目的，解決了通用性差、情景單一的問(wèn)題；深度神經(jīng)網(wǎng)絡(luò)的多特征輸入（如帶寬、速率、吞吐量等）可以有效地提高網(wǎng)絡(luò)模型預(yù)測(cè)的準(zhǔn)確度，同時(shí)自適應(yīng)地優(yōu)化各輸入特征，從而解決了優(yōu)化目標(biāo)單一的問(wèn)題。

在網(wǎng)絡(luò)視頻業(yè)務(wù)中，通過(guò)人工智能學(xué)習(xí)來(lái)提升QoE，其主要訓(xùn)練流程如圖2所示。將網(wǎng)絡(luò)參數(shù)作為多維特征輸入到深度神經(jīng)網(wǎng)絡(luò)模型中，在訓(xùn)練過(guò)程中，模型根據(jù)不同用戶(hù)的個(gè)性化QoE將其主觀感受及時(shí)反饋到深度神經(jīng)網(wǎng)絡(luò)當(dāng)中，實(shí)時(shí)地更新網(wǎng)絡(luò)的輸入，從而做到用戶(hù)個(gè)性化QoE的提升。

3.2 基于用戶(hù)行為分析的QoE個(gè)性化模型

在多媒體通信的大數(shù)據(jù)時(shí)代里，網(wǎng)絡(luò)視頻用戶(hù)數(shù)量呈現(xiàn)爆炸式增長(zhǎng)。對(duì)每個(gè)用戶(hù)都制定個(gè)性化的QoE模型，并根據(jù)模型中的用戶(hù)主觀感受反饋給深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是不現(xiàn)實(shí)的；但是，將具有相似視頻觀看行為或興趣的用戶(hù)分為有限的類(lèi)別，并對(duì)每一類(lèi)的用戶(hù)進(jìn)行個(gè)性化的QoE建模是可以實(shí)現(xiàn)的。人工智能技術(shù)的出現(xiàn)，讓大規(guī)模用戶(hù)的分類(lèi)以及個(gè)性化QoE建模的準(zhǔn)確度得到了保障。

圖2 人工智能下的體驗(yàn)質(zhì)量提升方案

表1 各視頻網(wǎng)站的用戶(hù)的觀看行為記錄

用戶(hù)在某一時(shí)段的觀看行為（如暫停視頻、拖拽進(jìn)度條、更換節(jié)目等）反映著用戶(hù)在特定時(shí)段對(duì)該視頻節(jié)目質(zhì)量的滿(mǎn)意度。通過(guò)對(duì)用戶(hù)行為信息進(jìn)行深度挖掘，尋找到具有相似行為的用戶(hù)，并將其歸為一類(lèi)，最終對(duì)每一類(lèi)用戶(hù)進(jìn)行QoE建模，從而建立個(gè)性化的QoE模型。在網(wǎng)絡(luò)視頻業(yè)務(wù)中，常見(jiàn)的視頻網(wǎng)站所提供的視頻參數(shù)以及用戶(hù)行為如表1所示。用戶(hù)行為通?？梢苑譃轱@性行為和隱性行為。其中，顯性用戶(hù)行為主要是指用戶(hù)對(duì)視頻節(jié)目的評(píng)價(jià)，如對(duì)視頻進(jìn)行打分或者評(píng)價(jià)；隱性用戶(hù)行為是指不能直接看出用戶(hù)對(duì)視頻內(nèi)容的主觀評(píng)價(jià)，而是通過(guò)用戶(hù)的一些行為表現(xiàn)分析用戶(hù)對(duì)視頻質(zhì)量的滿(mǎn)意程度，如觀看視頻內(nèi)容的時(shí)間長(zhǎng)短、次數(shù)、以及清晰度的調(diào)整等。對(duì)隱性用戶(hù)行為進(jìn)行無(wú)感知挖掘是近幾年用戶(hù)行為分析的趨勢(shì)，具有很大的挖掘潛力。

基于用戶(hù)行為分析的QoE個(gè)性化模型如圖3所示。運(yùn)用大數(shù)據(jù)處理技術(shù)分析不同用戶(hù)對(duì)同一個(gè)或同一類(lèi)視頻的行為特征，找出其共性所在，將對(duì)這一類(lèi)視頻節(jié)目具有相同觀影行為的用戶(hù)歸為一類(lèi)。例如，把體育節(jié)目經(jīng)常有“切換至高清”“一直在觀看”的用戶(hù)歸類(lèi)到喜歡體育運(yùn)動(dòng)的人群當(dāng)中。不同類(lèi)別之間，尋找各個(gè)類(lèi)別中的個(gè)性特征。例如不同類(lèi)別之間可能喜歡的視頻種類(lèi)不同。利用相同類(lèi)別中的共性特征來(lái)達(dá)到同一類(lèi)QoE模型的普適性，同樣，利用不同類(lèi)別之間的個(gè)性特征來(lái)實(shí)現(xiàn)不同類(lèi)別QoE模型的個(gè)性化。通過(guò)用戶(hù)行為分析得出的“共性+個(gè)性”特征來(lái)得到不同類(lèi)別的QoE個(gè)性化模型。

目前更多的QoE個(gè)性化模型是基于用戶(hù)行為進(jìn)行分析的。通過(guò)對(duì)用戶(hù)行為分析進(jìn)行興趣挖掘，進(jìn)而推薦合適的視頻節(jié)目來(lái)提升用戶(hù)的QoE。針對(duì)用戶(hù)QoE主觀性強(qiáng)、量化難的問(wèn)題，我們提出用客觀指標(biāo)來(lái)表示用戶(hù)的主觀感受，即通過(guò)用戶(hù)觀看某個(gè)視頻的時(shí)長(zhǎng)占視頻總時(shí)長(zhǎng)的比例來(lái)描述用戶(hù)對(duì)該視頻的主觀感受[7]。其次，相比于傳統(tǒng)的主題模型如隱含狄利克雷函數(shù)分布（LDA），我們對(duì)用戶(hù)所觀看的視頻節(jié)目進(jìn)行興趣挖掘，將每位用戶(hù)的興趣通過(guò)概率分布的方式給出，并結(jié)合用戶(hù)的興趣分布與視頻觀看比等重要客觀性指標(biāo)實(shí)現(xiàn)用戶(hù)個(gè)性化QoE主觀模型的建立[8]。具體來(lái)說(shuō)，將用戶(hù)視頻觀看比非常低的節(jié)目視為不感興趣的節(jié)目并隨之進(jìn)行清洗；將處于一定閾值[9]內(nèi)的視頻節(jié)目視為用戶(hù)潛在感興趣的節(jié)目，推測(cè)出未來(lái)用戶(hù)的興趣分布情況；將用戶(hù)視頻觀看比較大的相關(guān)節(jié)目再進(jìn)行主題模型的建模，使建模得出的用戶(hù)現(xiàn)有的興趣更加準(zhǔn)確。這樣可以有效地過(guò)濾掉大量無(wú)用數(shù)據(jù)，使用戶(hù)QoE個(gè)性化模型更加準(zhǔn)確。同時(shí)，用戶(hù)未來(lái)的可能興趣分布也將得到一定的估計(jì)和預(yù)測(cè)。

3.3 深度學(xué)習(xí)訓(xùn)練下的用戶(hù)QoE提升方案

視頻參數(shù)的多維度輸入經(jīng)常會(huì)給機(jī)器學(xué)習(xí)模型帶來(lái)“維度災(zāi)難”，直接導(dǎo)致模型運(yùn)行時(shí)間變長(zhǎng)、承載海量用戶(hù)數(shù)據(jù)難等問(wèn)題。深度神經(jīng)網(wǎng)絡(luò)的出現(xiàn)和計(jì)算能力的提高使這一系列難題得到了解決。充分多的維度特征輸入和海量充足的訓(xùn)練數(shù)據(jù)使得深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練更加完備，從而避免陷入模型過(guò)擬合當(dāng)中。

如果說(shuō)深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練在大數(shù)據(jù)和多維度輸入的背景下帶來(lái)模型泛化能力提高，那么QoE個(gè)性化模型則作為對(duì)神經(jīng)網(wǎng)絡(luò)模型的一種實(shí)時(shí)“反饋”。通過(guò)對(duì)當(dāng)前訓(xùn)練模型的“獎(jiǎng)勵(lì)”或“懲罰”，可以達(dá)到用戶(hù)QoE的最大化。這正是強(qiáng)化學(xué)習(xí)（RL）的核心思想。強(qiáng)化學(xué)習(xí)不同于一般的機(jī)器學(xué)習(xí)方法中的監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)，它是在嘗試的過(guò)程中學(xué)習(xí)在特定的情境下選擇哪種行動(dòng)可以得到最大的回報(bào)。

圖3 基于用戶(hù)分類(lèi)的個(gè)性化體驗(yàn)質(zhì)量模型

圖4 基于深度神經(jīng)網(wǎng)絡(luò)的流媒體碼率自適應(yīng)模型

以視頻流媒體的碼率自適應(yīng)技術(shù)為例，如今視頻用戶(hù)對(duì)不同類(lèi)型節(jié)目的清晰度和流暢程度的要求不盡相同，視頻服務(wù)商希望根據(jù)用戶(hù)對(duì)不同視頻節(jié)目的喜好或者滿(mǎn)意度來(lái)自適應(yīng)地調(diào)整視頻碼率（標(biāo)清、高清、超清、藍(lán)光）。深度學(xué)習(xí)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)機(jī)制很好地實(shí)現(xiàn)了不同用戶(hù)QoE的最大化，具體模型訓(xùn)練如圖4所示。多維度的視頻參數(shù)作為輸入特征對(duì)多層神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，模型的輸出對(duì)應(yīng)于不同用戶(hù)對(duì)視頻碼率的需求。在強(qiáng)化學(xué)習(xí)過(guò)程中，用來(lái)描述用戶(hù)主觀感受的用戶(hù)個(gè)性化QoE被作為獎(jiǎng)勵(lì)信號(hào)實(shí)時(shí)反饋到碼率自適應(yīng)算法模型中。神經(jīng)網(wǎng)絡(luò)模型根據(jù)每位用戶(hù)的個(gè)性化QoE模型（即個(gè)性化需求）來(lái)自適應(yīng)調(diào)整碼率，使其選擇令用戶(hù)最滿(mǎn)意的碼率，最終達(dá)到用戶(hù)QoE最佳的目的。需要特別注意的是，在網(wǎng)絡(luò)訓(xùn)練的過(guò)程中，網(wǎng)絡(luò)模型利用上一時(shí)刻用戶(hù)行為以及網(wǎng)絡(luò)狀態(tài)參數(shù)為用戶(hù)所觀看節(jié)目的碼率做出一個(gè)初始的決策；用戶(hù)在觀看節(jié)目后，將自己當(dāng)前的主觀感受反饋給正在訓(xùn)練的深層網(wǎng)絡(luò)；網(wǎng)絡(luò)模型根據(jù)當(dāng)前時(shí)刻的反饋來(lái)調(diào)整當(dāng)前的碼率決策，很好地達(dá)到了每一時(shí)刻用戶(hù)QoE的最大化。這正是碼率調(diào)整實(shí)現(xiàn)“自適應(yīng)”的關(guān)鍵所在。

4 結(jié)束語(yǔ)

人工智能技術(shù)的迅速發(fā)展為眾多行業(yè)的發(fā)展帶來(lái)機(jī)遇以及契機(jī)，多媒體通信領(lǐng)域也不例外。其中，網(wǎng)絡(luò)視頻業(yè)務(wù)發(fā)展更加迅猛，用戶(hù)的增長(zhǎng)也使得網(wǎng)絡(luò)服務(wù)商更加注重用戶(hù)QoE。深度神經(jīng)網(wǎng)絡(luò)的成熟發(fā)展和計(jì)算能力的增強(qiáng)有效地解決了數(shù)據(jù)量大、多維度輸入造成模型訓(xùn)練時(shí)間長(zhǎng)的問(wèn)題?；谠鰪?qiáng)學(xué)習(xí)用戶(hù)個(gè)性化行為分析的“反饋”機(jī)制大大提升了每一類(lèi)用戶(hù)的QoE預(yù)測(cè)的準(zhǔn)確度，從而實(shí)現(xiàn)每個(gè)用戶(hù)QoE的最大化。當(dāng)然，在人工智能技術(shù)背景下，用戶(hù)QoE提升仍然有許多問(wèn)題需要解決，比如：

（1）數(shù)據(jù)采集時(shí)對(duì)用戶(hù)隱私安全的保護(hù)。目前對(duì)用戶(hù)的數(shù)據(jù)收集通常未考慮到用戶(hù)是否允許服務(wù)商采集這些數(shù)據(jù)，而越來(lái)越多的用戶(hù)注重隱私的保護(hù)；因此，如何做到無(wú)感知的數(shù)據(jù)采集也是目前數(shù)據(jù)采集的難點(diǎn)所在。

（2）隱性用戶(hù)行為分析有更大的挖掘空間。用戶(hù)對(duì)視頻的滿(mǎn)意度評(píng)價(jià)大多是由用戶(hù)對(duì)視頻觀測(cè)行為表現(xiàn)出來(lái)，而通過(guò)用戶(hù)行為去界定用戶(hù)對(duì)視頻的滿(mǎn)意度需要考量更多的因素，如用戶(hù)心情、所在位置、所使用終端等。

（3）人工智能需要“高效”的學(xué)習(xí)方式。盡管計(jì)算能力的增強(qiáng)為深度學(xué)習(xí)帶來(lái)迅速的發(fā)展，但是如何在有限的資源里“高效”完成學(xué)習(xí)仍是目前優(yōu)化的關(guān)鍵。

致謝

本文得到南京郵電大學(xué)通信與信息工程學(xué)院周亮教授團(tuán)隊(duì)中胡正瑩、陳銘子2位在讀碩士生的幫助，謹(jǐn)致謝意！