腦啟發(fā)視頻用戶體驗評測關(guān)鍵技術(shù)

陶曉明 杜冰 段一平

摘要：基于腦電圖（EEG）響應趨同性的生理學機理，研究了基于腦電圖響應特征的體驗質(zhì)量（QoE）度量方法，實現(xiàn)小樣本穩(wěn)定度量;建立網(wǎng)絡(luò)關(guān)鍵性能指標（KPI）、服務關(guān)鍵質(zhì)量指標（KQI）與QoE之間的映射關(guān)系模型。該模型可有效地提升多媒體服務和網(wǎng)絡(luò)資源協(xié)同的優(yōu)化空間，為顯著提升多媒體業(yè)務支持能力提供新途徑。

關(guān)鍵詞：用戶體驗;深度學習;腦電圖;評測

Abstract： Based on the physiological mechanism of electroencephalogram （EEG） response convergence， the quality of experience （QoE） measurement method based on EEG response characteristics is studied to realize small sample stability measurement. Furthermore， the key performance indicator （KPI） and key quality indicator （KQI） are established based on this model. By this way， the optimization space of multimedia services and network resources collaboration can be effectively improved， and a new way to significantly enhance multimedia business support capabilities is provided.

Keywords： quality of experience; deep learning; electroencephalogram; evaluation

1 視頻體驗質(zhì)量評測概述

無線多媒體業(yè)務的爆炸式增長已成為無線通信行業(yè)快速、持續(xù)發(fā)展的主要推動力。多媒體信息在為用戶帶來多類型、全方位的視聽體驗的同時，也決定了用戶對多媒體業(yè)務的主觀評價必將受多維因素的綜合影響;因此用戶的體驗質(zhì)量（QoE）[1]才是衡量服務質(zhì)量的最優(yōu)指標。然而，傳統(tǒng)通信技術(shù)的發(fā)展是基于通信系統(tǒng)中各層面客觀技術(shù)指標來提升用戶的服務質(zhì)量（QoS）。該發(fā)展思路只能單純地提升一個或多個客觀通信指標，同時可能會偏離用戶滿意度提升這一根本目標，從而造成通信和計算資源的浪費?？梢钥吹剑c傳統(tǒng)通信業(yè)務相比，無線視頻通信的功能定位已從準確、快速、及時地完成信息傳輸，擴展為滿足用戶多樣化的通信業(yè)務體驗需求。未來，無線視頻通信質(zhì)量的評價方法應當具備更強的主觀屬性和整體屬性。也就是說，無線視頻通信質(zhì)量評價的結(jié)果應當能全面反映一項技術(shù)或者業(yè)務是否能夠滿足其用戶在特定應用場景下的各方面體驗需求。

面向QoE的視頻通信成為全球?qū)W術(shù)界的研究熱點?，F(xiàn)有視頻通信系統(tǒng)大部分采用基于QoS的度量方法，即以微觀精確性為前提的客觀評價指標，具體包括峰值信噪比（PSNR）、結(jié)構(gòu)相似性（SSIM）等[2-3]。這個度量方法使得網(wǎng)絡(luò)服務能力的提高單純依賴于傳輸帶寬的增加。A. V. MOORSEL等學者于2001年率先提出QoE的概念，用于度量用戶在使用網(wǎng)絡(luò)基礎(chǔ)設(shè)施、享受網(wǎng)絡(luò)服務過程中的主觀感受[4]。研究表明，人們在獲取信息時，往往只關(guān)注主觀上的視聽體驗，并不關(guān)注客觀上的QoS通信指標，例如帶寬、排隊時延、時延抖動、吞吐量、丟包率、峰值信噪比等[5]。也就是說，用戶體驗與網(wǎng)絡(luò)傳輸能力并不構(gòu)成比例關(guān)系，單純通過增加傳輸帶寬來提高用戶體驗具有局限性;而面向QoE的視頻通信有可能從根本上減少業(yè)務對無線網(wǎng)絡(luò)帶寬需求的壓力。如果以體驗質(zhì)量QoE為準則，比如關(guān)注度、清晰度、流暢度等，那么可放松對精確性的要求，獲得新的優(yōu)化空間，提高視頻通信的效率。

目前，通信領(lǐng)域?qū)τ赒oE的研究，主要集中在度量和建模[6]。主觀評價的方法是從用戶的感知出發(fā)，讓用戶直接對所使用的業(yè)務做出評價，因此它是能夠最直接、準確地反映用戶體驗的方法，具體包括平均意見評分（MOS）、差分平均意見評分（DMOS）、恰可識別失真（JND）等。視頻視覺主觀質(zhì)量評價的研究者們提出了最小可覺失真（JND）[7]的重要概念，并將其作為評判視頻視覺質(zhì)量是否達到最優(yōu)的標準值，以對QoE進行度量。文獻[8]將場景因素與人類因素作為模型的調(diào)節(jié)因素，提出了真實環(huán)境下基于加權(quán)函數(shù)的QoE估計框架。華為mlab[9]提出了移動視頻平均意見評分（MVMOS），對視頻的體驗質(zhì)量進行度量。上述方法主要在于建立關(guān)鍵指標和用戶QoE之間的映射關(guān)系，從而反映用戶體驗質(zhì)量。這類度量方法主要依賴于用戶行為，在一定程度上反映用戶的主觀感受，為視頻通信提供了新的思路。通信過程中的編解碼、傳輸?shù)榷紩绊懸曨l質(zhì)量。因此，面向QoE的視頻質(zhì)量評價、面向QoE的視頻編碼以及面向QoE的視頻質(zhì)量增強是本文研究的主要內(nèi)容。文章中，我們將從QoE評價、QoE編碼、QoE提升3個方面提升視頻通信系統(tǒng)的效率。

面向QoE的視頻通信面臨著新的機遇和挑戰(zhàn)。當前的視頻通信QoS缺少面向人類感知的評價準則。現(xiàn)有視頻通信系統(tǒng)的服務質(zhì)量多使用PSNR、SSIM等QoS評價指標，它們以微觀精確性為前提，不能反映用戶感知質(zhì)量。視頻通信系統(tǒng)的最終目標是終端用戶，衡量通信服務品質(zhì)的根本標準是用戶的QoE [10-11]，即用戶的宏觀滿意度。當前，基于用戶的評價方法依賴于用戶的行為反饋，這易受人們認知偏差的影響;基于業(yè)務的評價方法尚難以實現(xiàn)在實際業(yè)務場景下對業(yè)務的綜合體驗質(zhì)量的準確評價，且難以推廣應用。視頻感知質(zhì)量是視頻QoE的一個客觀評價指標，常用的評價方法有特征相似性、相對熵 [12]、用Fré chet Inception距離[13]、Inception Score[14]等，但它們難以直接準確地反應主觀感受;因此，如何建立一套視頻感知質(zhì)量評價準則，為面向QoE的視頻通信提供通用的評價標準，是必須要解決的問題。

QoE的模型本質(zhì)上是可測參數(shù)到視頻QoE的映射，包括QoE的度量與評測。QoE的度量是指QoE的標尺，目前不同場景、不同業(yè)務存在QoE度量標準不統(tǒng)一的問題，難以真實反映用戶的QoE。傳統(tǒng)方法往往采用主觀評分，因人而異、差異大，難以找出度量關(guān)系。這樣一來，傳統(tǒng)方法會需要大量樣本，如利用10萬左右的用戶打分，才能歸納出視頻質(zhì)量退化與QoE相對穩(wěn)定的度量關(guān)系。近年來的研究表明，通過測量人類視聽刺激的早中期神經(jīng)信號，腦電圖（EEG）可以反映主觀感受，并可有效排除個體的影響。QoE評測本質(zhì)上是從可測參數(shù)到用戶體驗的映射，包括數(shù)學模型和機器學習模型兩大類。數(shù)學模型主要包括對數(shù)模型、線性回歸、信息增益、相關(guān)性分析、E函數(shù)模型等，也是目前使用較多的方法。數(shù)學模型的主要步驟是通過采集大量的數(shù)據(jù)，包括可測參數(shù)和用戶打分，建立可測參數(shù)和QoE的數(shù)學關(guān)系，從而建立圖表、分段函數(shù)等數(shù)學映射公式，其本質(zhì)是數(shù)據(jù)擬合的思想。

影響QoE的因素眾多，因此通過數(shù)據(jù)擬合的方法，是很難獲得顯式的數(shù)學表達的。近幾年，機器學習模型取得了突破性進展，被大量應用于計算機視覺任務中。機器學習模型主要是采用數(shù)據(jù)驅(qū)動的方法，從大量數(shù)據(jù)中挖掘有意義的規(guī)律或模式，這在一定程度上克服了線性回歸和相關(guān)性分析方法的缺點。因此，將機器學習的方法用于QoE模型被開始大量地研究。該方法的核心思想是從大量數(shù)據(jù)中學習可測參數(shù)和視頻QoE間的復雜映射關(guān)系。一方面，視頻QoE可以建模為一個預測問題，即使用神經(jīng)網(wǎng)絡(luò)建立影響QoE的因素與QoE分數(shù)之間的非線性復雜映射關(guān)系，用于視頻QoE評測，例如，基于邏輯斯蒂回歸的預測模型。另一方面，視頻QoE可以建模為一個分類問題（通常為五分類問題），可以支持向量機（SVM）和決策樹等分類算法。該類算法通常難以有效處理高維數(shù)據(jù)，無法為大規(guī)模業(yè)務提供穩(wěn)定評測。

2 腦啟發(fā)QoE評測關(guān)鍵技術(shù)

借助EEG實驗手段，我們測量專業(yè)被試者觀看不同播放質(zhì)量視頻時相對穩(wěn)定的腦電響應，剖析無線網(wǎng)絡(luò)參數(shù)、多媒體業(yè)務特性對用戶體驗質(zhì)量的影響作用。另外，還利用多參數(shù)特征選擇方法提取關(guān)鍵特征，量化其與用戶的感知體驗的相關(guān)性，從而確定影響用戶體驗質(zhì)量的關(guān)鍵特征參數(shù)。利用機器學習方法，挖掘這些關(guān)鍵特征指標與用戶主觀體驗之間的映射關(guān)系，建立從可測參數(shù)到用戶主觀體驗的預測模型。腦啟發(fā)QoE評測主要包括3個方面的關(guān)鍵技術(shù)，如圖1所示。

2.1 基于腦電響應特征的QoE度量方法

對體驗質(zhì)量評價方法的研究除了需要準確理解體驗質(zhì)量的定義外，還需要全面考慮體驗質(zhì)量的各項影響因素，清晰梳理體驗質(zhì)量的形成過程并科學地提出體驗質(zhì)量的預測方法。同時，體驗質(zhì)量評價方法的建立本質(zhì)上是一項多學科交叉的研究內(nèi)容。在傳統(tǒng)信息與通信科學的基礎(chǔ)上，生理學、心理學和社會科學等有關(guān)學科也是本領(lǐng)域研究的基礎(chǔ)。EGG系統(tǒng)是一種能夠連續(xù)測量并記錄人類頭皮不同部位電位信號的設(shè)備，它通過在頭皮不同部位放置弱貼合的電極，實現(xiàn)非侵入式的測量。對頭皮電位的有效記錄與分析為人類探索自身思維活動提供了一種科學、客觀、可行的研究手段。腦電信號的空間分布、波形等特征也根據(jù)具體感官刺激事件的類型有著顯著的模式。借助腦電圖實驗手段，對用戶觀看不同播放質(zhì)量視頻過程中的腦電信號進行實時測量，并通過基于事件相關(guān)電位（ERPs）和時頻特征的分類算法，對用戶關(guān)于視頻關(guān)鍵性能指標的感知及認知行為進行量化表征，進而測定其感知極限。此外，從大規(guī)模用戶日常移動視頻業(yè)務實測數(shù)入手，將智能計算引入用戶質(zhì)量體驗預測模型，并利用機器學習的計算工具，挖掘無線視頻業(yè)務參數(shù)與用戶體驗中間分值之間復雜的映射關(guān)系，建立符合用戶體驗的評價標準。利用時域P300成分檢測與小波變換時頻分析，確定了用戶對于卡頓、清晰度、啟動時延等關(guān)鍵性能指標的感知極限;根據(jù)實測數(shù)據(jù)，計算視頻業(yè)務參數(shù)和用戶體驗之間的斯皮爾曼相關(guān)系數(shù)，確定對用戶體驗有顯著影響的關(guān)鍵網(wǎng)絡(luò)及業(yè)務指標;為建立無線視頻業(yè)務參數(shù)與用戶體驗分值之間模型，引入深度學習方法，對關(guān)鍵的視頻業(yè)務參數(shù)進行歸一化計算，并利用深度感知器模型，訓練無線視頻業(yè)務參數(shù)與用戶體驗分值的非線性變換關(guān)系，從而獲得基于客觀業(yè)務參數(shù)的用戶體驗映射模型，實現(xiàn)對廣大區(qū)域內(nèi)多用戶體驗質(zhì)量的在線實時預測。

2.2 QoE關(guān)鍵特征選擇

影響視頻QoE的參數(shù)種類各異，數(shù)量繁多，例如，比特率、誤碼率（BER）、信號強度、緩沖速率、緩沖時延、重緩沖比率、重緩沖次數(shù)、視頻播放時長等，可綜合反映視頻的清晰度、流暢度、關(guān)注度等。從大規(guī)模實測數(shù)據(jù)中，可以采集可測參數(shù)和相應的用戶打分。高維可測參數(shù)對用戶QoE的影響是有差別的。因此，通過計算可測參數(shù)和用戶打分的相關(guān)系數(shù)，進行特征選擇。我們把每100條用戶對視頻的打分行為分為一組，每一條用戶行為有多個可測參數(shù)和用戶關(guān)于清晰度、啟動延時、卡頓和視頻總印象的主觀打分。我們計算這100條用戶行為的每一個特征和4個打分的斯皮爾曼相關(guān)性系數(shù)，找到影響QoE的關(guān)鍵因素。通過計算相關(guān)系數(shù)，得到可測參數(shù)對QoE的一個 “加權(quán)”，之后就可以產(chǎn)生和用戶主觀打分相關(guān)性較強的特征子集。我們可以采用閾值法、雙向搜索方法等提取關(guān)鍵特征。

2.3 基于深度學習的用戶體驗質(zhì)量預測模型

在進行QoE度量之后，如何建立可測參數(shù)KPI和KQI到QoE的映射，仍然是需要解決的問題。綜合考慮客觀與主觀因素，定量分析各參數(shù)與QoE的關(guān)系后，可以采用深度學習方法，定義適用于無線環(huán)境的視頻質(zhì)量評價模型。通過采集大量實測數(shù)據(jù)，獲得網(wǎng)絡(luò)參數(shù)、業(yè)務參數(shù)和用戶打分，構(gòu)建視頻QoE評測數(shù)據(jù)集，并根據(jù)采集到的實際數(shù)據(jù)，采用One-hot進行編碼。數(shù)據(jù)集可以分為訓練數(shù)據(jù)集和測試數(shù)據(jù)集。首先，通過分析，確定對用戶體驗有顯著影響的關(guān)鍵網(wǎng)絡(luò)及業(yè)務指標，在數(shù)據(jù)輸入深度學習模型之前，需要先對關(guān)鍵指標進行歸一化。該深度學習模型由兩部分組成：全連接層和分類預測層（使用了分類器）。根據(jù)深度學習的原理，整個模型分為兩個過程：訓練和預測。在訓練過程中，采集的大量真實數(shù)據(jù)經(jīng)過One-hot編碼后，輸入深度神經(jīng)網(wǎng)絡(luò)，學習網(wǎng)絡(luò)業(yè)務客觀指標和視頻平均意見分數(shù)（VMOS）之間的非線性映射關(guān)系，并實現(xiàn)其在線模式。預測過程是將實時采集的數(shù)據(jù)輸入到訓練好的網(wǎng)絡(luò)中，從而得到用戶體驗質(zhì)量的預測值。

2.4 視頻QoE評測系統(tǒng)

隨著4G網(wǎng)絡(luò)的快速發(fā)展及5G業(yè)務層面多樣化，傳統(tǒng)的投訴問卷調(diào)查無法滿足用戶需求，因此構(gòu)建視頻QoE評測系統(tǒng)以實時預測視頻QoE是必須要解決的問題。該評測系統(tǒng)主要包括：數(shù)據(jù)采集系統(tǒng)、腦電感知系統(tǒng)、智能模型。該系統(tǒng)主要的輸入為：初始緩沖時延、卡頓數(shù)組、卡頓量、卡頓總時長、播放時長、視頻總時長、分辨率、幀率等參數(shù);輸出為：用戶感知分值。通過采集用戶觀看視頻過程中采集的參數(shù)，調(diào)用視頻EEG標準模型接口，可反饋當前觀看視頻的用戶感知量化分值。

數(shù)據(jù)采集是指通過數(shù)據(jù)接口采集網(wǎng)絡(luò)數(shù)據(jù)，并在云端建立采集數(shù)據(jù)庫，基于不同業(yè)務類型，提取相應字段輸出給腦電感知系統(tǒng)和智能模型兩個單元。

腦電感知系統(tǒng)是系統(tǒng)的第一核心單元。腦電感知系統(tǒng)具體是指基于生物特征識別技術(shù)建立腦電標準數(shù)據(jù)庫，再使用輸入的網(wǎng)絡(luò)采集數(shù)據(jù)，提取相應業(yè)務的腦電數(shù)據(jù)庫進行模型映射，并將評分準則校正結(jié)果輸出給智能模型進行在線質(zhì)量評測。

智能模型是系統(tǒng)的第二核心單元。智能模型具體是指基于已有算法庫，根據(jù)用戶應用選擇相應的人工智能模型，并使用輸入的網(wǎng)絡(luò)采集數(shù)據(jù)，依托腦電感知系統(tǒng)輸入的評分準則校正結(jié)果，進行質(zhì)量評測以及其他的可擴展應用結(jié)果輸出。智能模型基是于Keras + Tensorflow框架的，采用模塊化和參數(shù)化設(shè)計，主要包括數(shù)據(jù)載入和參數(shù)輸入、數(shù)據(jù)清洗、模型訓練單元、模型精度評估單元，以及評測結(jié)果應用程序編程接口（API）等主要模塊。

3 結(jié)束語

本文中，借助EGG實驗手段，我們對用戶觀看不同播放質(zhì)量的視頻過程中的腦電信號進行實時測量。通過基于事件相關(guān)電位（ERPs）和時頻特征的分類算法，對用戶關(guān)于視頻關(guān)鍵性能指標的感知及認知行為進行量化表征，進而測定其感知極限。此外，我們從大規(guī)模用戶日常移動視頻業(yè)務實測數(shù)入手，將智能計算引入用戶質(zhì)量體驗預測模型，并利用機器學習的計算工具，挖掘無線視頻業(yè)務參數(shù)與用戶體驗中間分值之間復雜的映射關(guān)系，建立符合用戶體驗的評價標準，從而實現(xiàn)用戶體驗質(zhì)量的實時評測。

參考文獻

[1] BALACHANDRAN A， SEKAR V， AKELLA A， et al. Developing a predictive model of quality of experience for Internet video [C]//Proceedings of the ACM SIGCOMM 2013 conference on SIGCOMM. New York， NY， USA： ACM， 2013： 339-350. DOI：10.1145/2486001.2486025

[2] MINNEN D， TODERICI G， COVELL M， et al. Spatially adaptive image compression using a tiled deep network [C]//2017 IEEE International Conference on Image Processing（ICIP）. Beijing， China： IEEE， 2017： 2796-2800. DOI：10.1109/icip.2017.8296792

[3] KLOPP J， WANG F Y， CHIEN S， et al. Learning a code-space predictor by exploiting intra-image-dependencies [EB/OL]. [2020-12-20]. http：//www.bmva.org/bmvc/2018/contents/ papers/0491.pdf

[4] MOORSEL A. V. Metrics for the Internet age： quality of experience and quality of business[EB/OL]. [2020-12-20]. http：//citeseerx.ist.psu. edu/viewdoc/summary？doi=10.1.1.24.3810

[5] TAO X M， DUAN Y P， XU M， et al. Learning QoE of mobile video transmission with deep neural network： a data-driven approach [J]. IEEE journal on selected areas in communications， 2019， 37（6）： 1337-1348. DOI：10.1109/ jsac.2019.2904359

[6] PENG X， DUAN Y P， GENG B R， et al. A QoEbased alarm model for terminal video quality[C]//2019 IEEE Global Conference on Signal and Information Processing （GlobalSIP）. Ottawa， ON， Canada： IEEE， 2019： 1-5. DOI：10.1109/ globalsip45357.2019.8969366

[7] JAYANT N， JOHNSTON J， SAFRANEK R. Signal compression based on models of human perception [J]. Proceedings of the IEEE， 1993， 81（10）： 1385-1422. DOI：10.1109/5.241504

[8] MOLLER S， RAAKE A. Quality of experience： advanced concepts， applications and methods[M].Germany： Springer， 2014

[9] HUAWEU mLab [EB/OL]. [2020-12-20]. http：// mlab.huawei.com

[10] CHEN Y， WU K， ZHANG Q. From QoS to QoE： a survey and tutorial on state of art， evolution and future directions of video quality analysis[J]. IEEE communications surveys and tutori- als， 2014， 99（1）： 1

[11] GREGPR K， BESSE F， REZENDE D J， et al. Towards conceptual compression [C]// NIPS16： Proceedings of the 30th International Conference on Neural Information Processing Systems. Red Hook， NY， USA： Curran Associates Inc.， 2016： 3556-3564

[12] MINNEN D， TODERICI G， SINGH S， et al. Image-dependent local entropy models for learned image compression [C]//2018 25th IEEE International Conference on Image Processing （ICIP）. Athens， Greece： IEEE， 2018. DOI：10.1109/icip.2018.8451502

[13] JOHNSTON N， VINCENT D， MINNEN D， et al. Improved lossy image compression with priming and spatially adaptive bit rates for recurrent networks [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT， USA： IEEE， 2018： 4385-4393. DOI：10.1109/cvpr.2018.00461

[14] BALLE J， MINNEN D， SINGH S， et al. Variational image compression with a scale hyperprior [C]//6th International Conference on Learning Representations. Vancouver， BC， Canada： ICLR， 2018

作者簡介

陶曉明，清華大學教授、博士生導師;主要從事無線多媒體通信理論及關(guān)鍵技術(shù)應用研究;曾獲國家自然科學二等獎、國家技術(shù)發(fā)明二等獎、教育部科技進步一等獎等獎項，獲得國家自然科學基金杰青項目資助，以及中國青年科技獎、中國青年女科學家獎等;發(fā)表論文50余篇，授權(quán)專利40余項。

杜冰，北京科技大學計算機與通信工程學院講師;研究方向為無線多媒體通信。

段一平，清華大學電子工程系助理研究員;研究方向為無線多媒體通信。