網(wǎng)絡(luò)視頻質(zhì)量評估技術(shù)研究現(xiàn)狀及發(fā)展動向

楊付正，萬帥

（1.西安電子科技大學(xué) ISN國家重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710071；2.西北工業(yè)大學(xué) 電子信息學(xué)院，陜西 西安 710072）

1 引言

隨著通信技術(shù)的發(fā)展，網(wǎng)絡(luò)已經(jīng)自然而深刻地融入人類的日常生活和工作。人們希望借助于泛在網(wǎng)絡(luò)，隨時隨地通過語音、圖像以及視頻等多種方式進(jìn)行靈活通信。由于視覺信息直觀、生動，因此網(wǎng)絡(luò)視頻業(yè)務(wù)受到了人們的廣泛青睞，成為網(wǎng)絡(luò)提供的主要業(yè)務(wù)應(yīng)用之一。

網(wǎng)絡(luò)視頻業(yè)務(wù)占用帶寬資源較多、實(shí)時性要求較高，并且對分組丟失、時延、抖動等網(wǎng)絡(luò)特性非常敏感，尤其是時變的網(wǎng)絡(luò)特性嚴(yán)重影響網(wǎng)絡(luò)視頻業(yè)務(wù)的質(zhì)量。通過對網(wǎng)絡(luò)視頻質(zhì)量的監(jiān)控和反饋，可以調(diào)節(jié)編解碼器或信道的參數(shù)，改善傳輸視頻的服務(wù)質(zhì)量。因此，需要實(shí)時準(zhǔn)確地對網(wǎng)絡(luò)視頻服務(wù)質(zhì)量進(jìn)行監(jiān)控，獲得反映用戶感受的視頻體驗(yàn)質(zhì)量。有效的網(wǎng)絡(luò)視頻質(zhì)量評估已經(jīng)成為網(wǎng)絡(luò)視頻業(yè)務(wù)發(fā)展的迫切需要，國際標(biāo)準(zhǔn)化組織ITU-T、VQEG等正在致力于相關(guān)研究的標(biāo)準(zhǔn)化工作[1～4]。

傳統(tǒng)的服務(wù)質(zhì)量(QoS, quality of service)只反映網(wǎng)絡(luò)性能參數(shù)，如帶寬、分組丟失率、延時、抖動等。由于網(wǎng)絡(luò)壓縮視頻流極易受分組丟失等網(wǎng)絡(luò)狀況的影響，且數(shù)據(jù)分組丟失對視頻質(zhì)量的影響與分組丟失的位置、視頻的內(nèi)容密切相關(guān)，分組丟失率等QoS參數(shù)無法準(zhǔn)確反映網(wǎng)絡(luò)視頻的體驗(yàn)質(zhì)量(QoE, quality of experience)[5]。主觀質(zhì)量評估[6]可以準(zhǔn)確地反映視頻的體驗(yàn)質(zhì)量，但是主觀評估需要嚴(yán)格的測試環(huán)境，易受人為因素影響，實(shí)施步驟復(fù)雜，代價昂貴，且實(shí)時性不好，無法應(yīng)用于實(shí)時視頻通信中的質(zhì)量評估?？陀^質(zhì)量評估方法更適用于網(wǎng)絡(luò)視頻業(yè)務(wù)，客觀網(wǎng)絡(luò)視頻質(zhì)量評估方法研究已經(jīng)成為了視頻技術(shù)研究領(lǐng)域的熱點(diǎn)和難點(diǎn)[7,8]。

評估網(wǎng)絡(luò)視頻的質(zhì)量還需要考慮分組丟失、時延、抖動等網(wǎng)絡(luò)因素，而各因素對視頻質(zhì)量的影響與視頻的多種特性相關(guān)。同時，網(wǎng)絡(luò)狀況的時變性也為準(zhǔn)確評價網(wǎng)絡(luò)視頻質(zhì)量增加了困難。本文重點(diǎn)介紹各類網(wǎng)絡(luò)視頻質(zhì)量評估方法及關(guān)鍵技術(shù)。

本文首先介紹網(wǎng)絡(luò)視頻質(zhì)量評估方法的分類及應(yīng)用場景，進(jìn)而綜述不同網(wǎng)絡(luò)視頻質(zhì)量評估方法的關(guān)鍵技術(shù)。第 2節(jié)介紹網(wǎng)絡(luò)視頻質(zhì)量評估方法的分類及應(yīng)用場景。第3～7節(jié)分別介紹應(yīng)用于評估網(wǎng)絡(luò)視頻質(zhì)量的基于網(wǎng)絡(luò)參數(shù)的規(guī)劃模型、基于分組層分析的評價模型、基于比特流分析的評價模型、基于像素的評價模型以及混合評價模型。最后總結(jié)全文。

2 網(wǎng)絡(luò)視頻質(zhì)量評估

影響網(wǎng)絡(luò)視頻質(zhì)量的主要因素為編碼壓縮和數(shù)據(jù)分組丟失[7]，如何有效評價壓縮失真和數(shù)據(jù)分組丟失對視頻質(zhì)量的影響是建立網(wǎng)絡(luò)視頻質(zhì)量評估模型的關(guān)健環(huán)節(jié)。視頻編碼的壓縮失真由有損壓縮引起，因此視頻的壓縮失真與采用的壓縮標(biāo)準(zhǔn)、壓縮速率等因素直接相關(guān)。而網(wǎng)絡(luò)數(shù)據(jù)分組丟失會導(dǎo)致視頻的相關(guān)部分無法直接恢復(fù)，且由于視頻壓縮算法通常采用預(yù)測方式來提高壓縮效率，單個數(shù)據(jù)分組丟失引起的錯誤將會通過預(yù)測環(huán)節(jié)進(jìn)行傳播，進(jìn)而可能導(dǎo)致連續(xù)多個視頻幀質(zhì)量的下降。此外，即時性是交互式視頻的特點(diǎn)，因此時延、抖動也是影響交互式視頻質(zhì)量的關(guān)鍵因素。對于確定的網(wǎng)絡(luò)視頻傳輸系統(tǒng)，接收終端往往采用緩存機(jī)制消除小的時延和抖動，而對具有較大時延的數(shù)據(jù)分組做丟棄處理，從而使得時延、抖動對視頻質(zhì)量的影響也體現(xiàn)為數(shù)據(jù)分組丟失。因此本文主要討論數(shù)據(jù)分組丟失這一網(wǎng)絡(luò)參數(shù)對視頻質(zhì)量的影響。

根據(jù)對原始參考視頻的需求程度，視頻客觀質(zhì)量評估可以分成3大類:全參考視頻質(zhì)量評估、部分參考視頻質(zhì)量評估和無參考視頻質(zhì)量評估[8]。全參考質(zhì)量評估方法需要完整的參考視頻，如目前廣泛使用的峰值信噪比(PSNR, peak signal to noise ratio)[9]。部分參考質(zhì)量評估方法是指提取原始視頻和失真視頻的少量特征信息，然后對特征數(shù)據(jù)進(jìn)行對比分析預(yù)測視頻質(zhì)量[10]。無參考質(zhì)量評估方法則不需要任何原始視頻信息，通常是分析提取視頻序列中的某些特征失真（如塊效應(yīng)、模糊等），然后根據(jù)特征失真的嚴(yán)重程度來預(yù)測視頻質(zhì)量[11]。

網(wǎng)絡(luò)視頻通信（如圖1所示）主要包括信源編碼器、承載網(wǎng)絡(luò)以及終端解碼播放器。由于編碼端可以方便地得到參考視頻，因此評價編碼器輸出視頻的質(zhì)量（如A點(diǎn)）可以采用全參考的視頻質(zhì)量評估方法。而接收終端及網(wǎng)絡(luò)節(jié)點(diǎn)往往無法得到完整的參考視頻，因此只能使用無參考或部分參考質(zhì)量評估方法。其中，網(wǎng)絡(luò)節(jié)點(diǎn)通常需要同時對大量視頻流進(jìn)行質(zhì)量監(jiān)控（如B點(diǎn)），這就要求所采用的評估方法具有低的計算復(fù)雜度，接收終端（如C點(diǎn)）則對計算復(fù)雜度要求相對寬松，而解碼后視頻的質(zhì)量評價（如D點(diǎn)）只能利用重建視頻信息。根據(jù)所使用的信息類型，網(wǎng)絡(luò)視頻客觀質(zhì)量評估方法可以具體分為:參數(shù)規(guī)劃模型、分組層評價模型、比特流層評價模型、媒體層評價模型及混合評價模型等[12]。

圖1 網(wǎng)絡(luò)視頻通信框架

3 參數(shù)規(guī)劃模型

參數(shù)規(guī)劃模型根據(jù)網(wǎng)絡(luò)及承載視頻的參數(shù)預(yù)測傳輸視頻的質(zhì)量，該模型通常應(yīng)用于網(wǎng)絡(luò)及業(yè)務(wù)規(guī)劃，即在已知網(wǎng)絡(luò)狀況的情況下預(yù)測傳輸不同參數(shù)視頻流可以得到的視頻質(zhì)量。由于視頻的質(zhì)量往往隨著碼率的增加及分組丟失率的減少而增加，早期的方法常利用神經(jīng)網(wǎng)絡(luò)的方式綜合使用網(wǎng)絡(luò)和編碼參數(shù)統(tǒng)計預(yù)測視頻質(zhì)量[13]?，F(xiàn)有參數(shù)規(guī)劃模型則分別考慮編碼參數(shù)和網(wǎng)絡(luò)特性的影響，如圖2所示，首先根據(jù)編碼標(biāo)準(zhǔn)、比特率、幀率等編碼參數(shù)預(yù)測視頻的壓縮失真，然后利用分組丟失率預(yù)測數(shù)據(jù)分組丟失對視頻質(zhì)量的影響，進(jìn)而聯(lián)合2種失真評價得到整體視頻質(zhì)量。

圖2 網(wǎng)絡(luò)參數(shù)規(guī)劃模型

對于特定的網(wǎng)絡(luò)視頻，當(dāng)沒有發(fā)生數(shù)據(jù)分組丟失時，視頻重構(gòu)質(zhì)量完全取決于壓縮失真。根據(jù)主觀實(shí)驗(yàn)結(jié)果，德國電信提出視頻的壓縮失真評價模型[14]為

其中，R為視頻的壓縮碼率，a1、 a2、 a3為通過訓(xùn)練得到的參數(shù)。數(shù)據(jù)分組丟失造成視頻質(zhì)量下降為

其中，Ppl為分組丟失率，b0，b1為通過訓(xùn)練得到的參數(shù)。最后得到視頻的質(zhì)量為

其中， Qvo為原始視頻的質(zhì)量，Ires、 Idis分別為視頻空間分辨率變化及顯示過程引起的失真。

NTT則考慮對于一個特定壓縮碼率都有一個最佳編碼幀率，因此結(jié)合視頻幀率、壓縮碼率編碼參數(shù)預(yù)測只考慮壓縮失真時的視頻質(zhì)量[15]為

其中，R為壓縮碼率，rF為壓縮幀率，ofr( R)是碼率為R時的最優(yōu)幀率，a( R)是碼率為R且?guī)蕿閛fr( R)時視頻的質(zhì)量，w( R)是碼率為R時視頻質(zhì)量受幀率的影響程度。進(jìn)一步考慮數(shù)據(jù)分組丟失，網(wǎng)絡(luò)視頻的預(yù)測質(zhì)量為

其中，Ppl為分組丟失率，τ(rF,R) 為碼率為R且?guī)蕿?rR時視頻質(zhì)量受分組丟失的影響程度。該模型取得了較好的性能，在此基礎(chǔ)了形成了ITU-T標(biāo)準(zhǔn)G.1070[1]。

總體來說，網(wǎng)絡(luò)參數(shù)規(guī)劃模型的主要用途是網(wǎng)絡(luò)業(yè)務(wù)規(guī)劃，利用信道和編碼等參數(shù)從統(tǒng)計角度預(yù)測視頻質(zhì)量。對于某個特定的視頻碼流，使用其具體的信道及編碼參數(shù)，該類模型也可以對其進(jìn)行質(zhì)量監(jiān)控[16,17]。然而，由于參數(shù)規(guī)劃模型無法考慮特定視頻流的內(nèi)容及數(shù)據(jù)分組丟失的具體位置等特性，該類模型無法準(zhǔn)確監(jiān)測特定網(wǎng)絡(luò)視頻流的質(zhì)量。

4 分組層評價模型

分組層評價模型只允許使用數(shù)據(jù)分組的頭信息預(yù)測視頻流質(zhì)量。該類模型由于只分析數(shù)據(jù)分組的頭信息，計算復(fù)雜度低，適用于網(wǎng)絡(luò)節(jié)點(diǎn)監(jiān)控大量視頻流的質(zhì)量。另外，該模型適用于視頻載荷信息進(jìn)行過加密的情況。分組層評價模型P.NAMS目前正處在ITU-T標(biāo)準(zhǔn)化進(jìn)程中[3]。

圖3 分組層評價模型

MPEG 2-TS/RTP/UDP/IP、MPEG 2-TS/UDP/IP、RTP/UDP/IP是目前較常用的視頻流傳輸協(xié)議棧[18～21]。圖3給出了基于RTP/UDP/IP協(xié)議棧視頻流的分組層評價模型框架。該類模型只允許介入視頻數(shù)據(jù)分組的頭信息:RTP頭、UDP頭和IP頭，通過分析頭信息提取或預(yù)測視頻及網(wǎng)絡(luò)參數(shù)，進(jìn)而評估視頻流的質(zhì)量。例如，通過UDP頭和RTP頭準(zhǔn)確得到視頻分組載荷信息的比特數(shù)，通過RTP頭的序列號得到數(shù)據(jù)分組的丟失位置，通過RTP頭時間戳和幀結(jié)束標(biāo)識區(qū)分不同的視頻幀等[22]。

圖4給出了4個QCIF格式的視頻序列（“Claire”、“Mother&daughter”、“Mobile”和“Football”）使用 H.264/AVC標(biāo)準(zhǔn)[23]壓縮后的恢復(fù)視頻主觀質(zhì)量與壓縮碼率的關(guān)系，該主觀質(zhì)量為通過主觀質(zhì)量評估試驗(yàn)得到[23]，可以看到視頻主觀質(zhì)量與壓縮碼率有近似的指數(shù)關(guān)系，但不同序列對應(yīng)的指數(shù)參數(shù)不同，這與不同視頻具有不同的內(nèi)容特性空域復(fù)雜度和時域復(fù)雜度有關(guān)。可見，由于未考慮視頻特性，網(wǎng)絡(luò)參數(shù)規(guī)劃模型如式(1)和式(4)都無法反映內(nèi)容特性對視頻質(zhì)量的影響。

圖4 視頻主觀質(zhì)量與壓縮碼率的關(guān)系

當(dāng)視頻遭受數(shù)據(jù)分組丟失時，往往采用時域錯誤掩蓋方法來恢復(fù)視頻，視頻的時域相關(guān)性是影響時域錯誤掩蓋方法效果的重要因素，數(shù)據(jù)分組丟失對視頻質(zhì)量的影響與視頻的內(nèi)容特性密切相關(guān)。另外，錯誤傳播是數(shù)據(jù)分組丟失影響視頻質(zhì)量的另一關(guān)鍵因素。圖5描述了在不同類型的幀中發(fā)生分組丟失與錯誤傳播的關(guān)系，可以看到幀內(nèi)編碼模式幀（I幀）和幀間編碼模式幀（P幀）數(shù)據(jù)的丟失會導(dǎo)致后續(xù)多個視頻幀質(zhì)量下降，時域錯誤傳播通常會持續(xù)到下一個 I幀才結(jié)束[7]；而雙向幀間編碼模式幀（B幀）數(shù)據(jù)丟失只影響當(dāng)前幀的質(zhì)量。因此，評價數(shù)據(jù)丟失對視頻質(zhì)量的影響還需要考慮數(shù)據(jù)分組丟失的具體位置和所處的幀類型等特性。

圖5 分組丟失發(fā)生在不同類型幀造成的錯誤傳播

綜上所述，由于網(wǎng)絡(luò)視頻質(zhì)量與視頻內(nèi)容特性密切相關(guān)，在僅允許使用數(shù)據(jù)分組頭信息的情況下，需要盡可能地提取或預(yù)測視頻的內(nèi)容特征參數(shù)。文獻(xiàn)[24]提出根據(jù)每個視頻幀的壓縮速率預(yù)測視頻幀的類型，進(jìn)而確定數(shù)據(jù)分組丟失引起的錯誤傳播長度。文獻(xiàn)[25]提出利用分組頭信息預(yù)測視頻幀類型、視頻幀內(nèi)容復(fù)雜度等特性，進(jìn)而提高預(yù)測視頻流質(zhì)量的精度。值得注意的是只利用分組頭信息并不能準(zhǔn)確獲得視頻幀的特征信息，因此該類模型的性能會受到一定限制。

圖6 比特流層評價模型

圖7 只分析視頻頭的比特流層評價模型

5 比特流層評價模型

比特流層評價模型允許介入視頻數(shù)據(jù)分組的載荷信息，因此可以較準(zhǔn)確地預(yù)測或得到視頻幀的特征信息。圖6給出了一個常用的比特流層評價模型框架。該類模型通過分析分組頭和視頻載荷信息來預(yù)測或獲取視頻特征參數(shù)，通常包括:幀類型、內(nèi)容特征、量化因子、編碼速率、分組丟失位置等，然后結(jié)合壓縮視頻流的特征預(yù)測視頻流的質(zhì)量。使用的特征信息越多通?？梢栽綔?zhǔn)確地預(yù)測視頻質(zhì)量，但同時意味著需要對視頻流進(jìn)行越深入的介入和分析[26]。ITU-T正在標(biāo)準(zhǔn)化比特流層評價模型P.NBAMS[4]。

比特流層評價模型常被用于預(yù)測視頻的PSNR[27～30]。由于 PSNR在很多情況下并不能很好地反映視頻的主觀質(zhì)量，實(shí)際應(yīng)用中更傾向于使用符合視覺感知的視頻質(zhì)量評估方法，如結(jié)合視頻的內(nèi)容特性預(yù)測網(wǎng)絡(luò)視頻的質(zhì)量[31]，以及使用量化參數(shù)預(yù)測視頻流的質(zhì)量等[32]。考慮模型的運(yùn)算復(fù)雜度，本文提出了一種只分析分組頭和視頻頭的比特流層評價模型[33]，能夠有效給出符合視覺感知的視頻質(zhì)量預(yù)測（如圖 7所示）。視頻流分析模塊首先得到每個視頻幀的編碼信息（幀類型、壓縮比特率、量化參數(shù)）、丟失數(shù)據(jù)分組的位置（丟失比特數(shù)、所屬幀數(shù)）及每個視頻幀的持續(xù)顯示時間。進(jìn)而根據(jù)編碼信息由壓縮失真預(yù)測模塊預(yù)測每一個視頻幀的壓縮失真，再根據(jù)分組丟失信息預(yù)測數(shù)據(jù)分組丟失對每個視頻幀的影響，之后聯(lián)合壓縮失真和數(shù)據(jù)分組丟失造成的影響得到每個視頻幀的質(zhì)量，最后考慮視頻的時域失真，結(jié)合每個視頻幀的持續(xù)顯示時間，使用時域聯(lián)合算法得到整個視頻序列的質(zhì)量。

比特流層評價模型的關(guān)鍵是如何預(yù)測每個視頻幀的壓縮失真和數(shù)據(jù)分組丟失對每個視頻幀質(zhì)量的影響。由于量化是引起視頻壓縮失真的根本原因，圖 8給出了 QCIF格式視頻序列“News”、“Susie”、“Mobile”和“Football”采用 MPEG-4標(biāo)準(zhǔn)壓縮后的恢復(fù)視頻主觀質(zhì)量與量化參數(shù)的關(guān)系，表明量化參數(shù)與視頻的壓縮質(zhì)量成近似的線性關(guān)系，但對于不同的視頻序列直線的斜率不同，這反映了人眼的空域掩蓋效應(yīng)和時域掩蓋效應(yīng)。

圖8 壓縮視頻主觀質(zhì)量與量化參數(shù)的關(guān)系

比特流層評價模型首先預(yù)測視頻幀的基本壓縮質(zhì)量:

其中，Qp,n為第n幀的量化參數(shù)。然后考慮人眼的視覺特性，結(jié)合人眼的空域掩蓋效應(yīng)和時域掩蓋效應(yīng)預(yù)測視頻幀的壓縮質(zhì)量，將視頻幀質(zhì)量修正為

其中，σS,n為視頻的空域復(fù)雜度，σT,n為視頻的時域復(fù)雜度，a1、 b1、 a2、 b2、 a3、 b3為模型參數(shù)。

初步獲得考慮壓縮失真的視頻質(zhì)量之后，根據(jù)數(shù)據(jù)分組丟失的數(shù)量和位置預(yù)測數(shù)據(jù)分組丟失對每個視頻幀質(zhì)量的影響。數(shù)據(jù)分組丟失引起當(dāng)前幀質(zhì)量下降及錯誤傳播引起的質(zhì)量下降分別為

其中，de,n為數(shù)據(jù)分組丟失引起當(dāng)前幀質(zhì)量下降，dp,n為錯誤傳播引起的質(zhì)量下降，dr為參考視頻幀因數(shù)據(jù)分組丟失引起的質(zhì)量下降，a6、 b6、 a7、 b7為模型參數(shù)。

最后得到視頻幀的質(zhì)量為

比特流層評價模型允許介入數(shù)據(jù)分組的視頻載荷，因此可以較準(zhǔn)確地預(yù)測或獲得視頻參數(shù)及內(nèi)容特性。其中，量化參數(shù)、編碼速率、空域復(fù)雜度、時域復(fù)雜度是預(yù)測視頻壓縮失真的關(guān)鍵參數(shù)，而壓縮失真、數(shù)據(jù)分組丟失位置、視頻幀類型、時域復(fù)雜度是預(yù)測數(shù)據(jù)分組丟失對視頻質(zhì)量影響的關(guān)鍵參數(shù)。量化參數(shù)、編碼速率、視頻幀類型等參數(shù)只需要解碼視頻幀頭信息即可以得到，而準(zhǔn)確獲得或預(yù)測空域復(fù)雜度、時域復(fù)雜度、數(shù)據(jù)分組丟失位置等參數(shù)則需要對視頻流進(jìn)行更深入解碼甚至完全解碼。對視頻載荷的深入分析勢必增加算法的運(yùn)算復(fù)雜度，但由于可以借助于多種參數(shù)和視頻特征信息，該類模型可以較準(zhǔn)確地預(yù)測網(wǎng)絡(luò)視頻流的質(zhì)量。

6 媒體層評價模型

媒體層評價模型利用視頻流的解碼視頻評價其質(zhì)量，通常也稱為基于像素的評價模型。媒體層評價模型一直是視頻質(zhì)量評估領(lǐng)域的研究熱點(diǎn)[7]，本文只做簡單總結(jié)和介紹。由于往往無法得到原始參考視頻，全參考的媒體層視頻質(zhì)量評價模型，如ITU-T標(biāo)準(zhǔn) J.144[34]通常不應(yīng)用于評價網(wǎng)絡(luò)視頻質(zhì)量。部分參考媒體層模型具有代表性的方法是NIST NTIA方法[10]，主要包括邊緣濾波、特征提取、失真掩蓋、空間失真聯(lián)合和時間失真聯(lián)合等模塊。另一類方法是在視頻序列中隱性嵌入所需的參考信息（如原始水?。?，然后在解碼端提取可能受到損傷的參考信息（恢復(fù)水?。?，比較恢復(fù)水印與原始水印的損傷部位和程度，來預(yù)測視頻質(zhì)量下降的程度[35]。

無參考的媒體層質(zhì)量評估方法不需要任何參考額外信息，可以靈活地應(yīng)用于評價網(wǎng)絡(luò)視頻的場景。此類方法通常根據(jù)視頻的特征失真預(yù)測視頻的質(zhì)量，如Philips提出分別測量震蕩效應(yīng)、方塊效應(yīng)、噪聲、鉗位、對比度等特征失真，然后聯(lián)合各特征失真評價視頻的質(zhì)量[11]。由于采用不同壓縮或處理算法引起的特征失真不同，因此基于特征失真的方法不具有普遍適用性。

由于視頻序列具有強(qiáng)的時間相關(guān)性，相鄰視頻幀內(nèi)的靜止和平動區(qū)域有很強(qiáng)的相似性，因此利用相鄰視頻幀作為參考，提出了一種適用于自然場景視頻的無參考質(zhì)量評估方法[36]。對于自然場景視頻，其內(nèi)容通常包括靜止的背景區(qū)域、平動物體區(qū)域和復(fù)雜運(yùn)動物體區(qū)域。相鄰視頻幀中背景區(qū)域?qū)?yīng)像素值的變化很小，一般以隨機(jī)噪聲為主。而相鄰視頻幀中作復(fù)雜運(yùn)動的區(qū)域變化明顯，且其變化不可預(yù)測。對于相鄰圖像內(nèi)的平動區(qū)域，物體的運(yùn)動也會引起其亮度的變化，利用壓縮恢復(fù)視頻中的平動物體在相鄰幀的對應(yīng)區(qū)域的差別能夠很好地反映視頻的質(zhì)量。

綜上所述，媒體層評價模型只根據(jù)恢復(fù)視頻的像素值預(yù)測視頻質(zhì)量，無法使用網(wǎng)絡(luò)視頻流的相關(guān)信息，而從碼流中可以獲得的信息，如量化因子可以很好地反映視頻的壓縮質(zhì)量，利用RTP頭信息中的序列號可以確定遭受數(shù)據(jù)丟失的視頻幀，結(jié)合視頻幀的編碼類型可以確定受影響的視頻幀等。而媒體層評價模型無法準(zhǔn)確確定受數(shù)據(jù)丟失影響的視頻幀，必須采用錯誤檢測算法判斷是否受數(shù)據(jù)丟失影響，并且該類模型應(yīng)用于評價網(wǎng)絡(luò)視頻流時需要對視頻流進(jìn)行完全解碼，不適用于實(shí)時性要求較高的場合。

7 混合評價模型

混合評價模型允許同時使用恢復(fù)視頻和比特流信息進(jìn)行質(zhì)量評價。圖9給出了分組層評價模型、比特流層評價模型、媒體層評價模型和混合評價模型評價模型的可使用信息及相互關(guān)系，可以看出混合評價模型允許使用其他模型使用的所有信息，因此使用其他模型的各種技術(shù)，混合評價模型具有最優(yōu)的性能，目前VQEG正在標(biāo)準(zhǔn)化混合評價模型[4]。

圖9 視頻流質(zhì)量評估模型關(guān)系

文獻(xiàn)[37]提出了一種典型的混合評價模型。該模型首先利用視頻序列的量化參數(shù)預(yù)測視頻質(zhì)量:

其中，Qp(n, m)表示第n個視頻幀第m個宏塊的量化系數(shù)。

然后結(jié)合人眼的視覺特性，利用視頻的特征參數(shù)對比度修正初始質(zhì)量。

文獻(xiàn)[38]中的混合評價模型則對平均量化參數(shù)、視頻時域復(fù)雜度、視頻空域復(fù)雜度進(jìn)行加權(quán)聯(lián)合預(yù)測視頻質(zhì)量。此外，文獻(xiàn)[39]首先利用壓縮碼率預(yù)測視頻平均質(zhì)量:

然后，利用視頻時域復(fù)雜度對視頻平均質(zhì)量進(jìn)行修正得到視頻質(zhì)量:

其中，a1、a2、a3、a4、a5、 a6為模型參數(shù)，X反映視頻時域復(fù)雜度對質(zhì)量的影響。

混合評價模型可以利用比特流信息和恢復(fù)視頻信號得到任何信息，如通過分析視頻數(shù)據(jù)分組可以得到量化參數(shù)、幀類型、數(shù)據(jù)分組丟失的具體位置等關(guān)鍵參數(shù)，利用恢復(fù)視頻信號可以準(zhǔn)確得到視頻的內(nèi)容特征空域復(fù)雜度、時域復(fù)雜度等。因此，混合評價模型具有出色的性能，但利用更多信息的同時意味著更為復(fù)雜的參數(shù)提取或預(yù)測過程?；旌显u價模型的關(guān)鍵技術(shù)是如何有效選擇參數(shù)，以及如何合理組合利用各參數(shù)。

8 結(jié)束語

網(wǎng)絡(luò)視頻質(zhì)量評價已經(jīng)成為網(wǎng)絡(luò)視頻業(yè)務(wù)發(fā)展的迫切需求，而視頻特征信息獲取、計算復(fù)雜度、實(shí)時性要求、以及分組丟失、時延、抖動等網(wǎng)絡(luò)因素都為有效評價網(wǎng)絡(luò)視頻質(zhì)量增加了困難。本文介紹了現(xiàn)有各類網(wǎng)絡(luò)視頻質(zhì)量評價方法。其中，網(wǎng)絡(luò)參數(shù)規(guī)劃模型根據(jù)已知的信道和編碼參數(shù)從統(tǒng)計角度預(yù)測視頻業(yè)務(wù)的質(zhì)量，由于不考慮特定傳輸視頻流的內(nèi)容及數(shù)據(jù)分組丟失的具體位置等特性，其主要用途是網(wǎng)絡(luò)規(guī)劃。分組層評價模型只允許介入視頻分組的頭信息，比特流層評價模型則還允許介入視頻載荷信息，這 2類模型的關(guān)鍵技術(shù)是如何有效地預(yù)測或獲得視頻參數(shù)及內(nèi)容特性，相應(yīng)的低復(fù)雜度優(yōu)勢使之適用于在網(wǎng)絡(luò)節(jié)點(diǎn)監(jiān)測網(wǎng)絡(luò)視頻流的質(zhì)量。媒體層評價模型只允許使用恢復(fù)視頻信息，需要對網(wǎng)絡(luò)視頻流進(jìn)行全解碼，不適用于實(shí)時性要求較高的場合?；旌显u價模型可以利用比特流信息和恢復(fù)視頻信號等得到的任何信息，可以使用已有其他模型的所有技術(shù)，該類模型得到了最優(yōu)的性能。

[1]ITU-T Recommendation G.1070.Opinion Model for Video- Telephony Applications[S].2007.

[2]ITU-T SG12 Temporary Document TD 299.Status report of Question 14/12[R].2010.

[3]ITU-T SG12 Temporary Document TD 297.Updated Draft Terms of Reference for P.NAMS[R].2010.

[4]VQEG Document.Hybrid Perceptual/Bitstream Group TEST PLAN 1.1[R].2010.

[5]FRANKEN L.Quality of Service Management:A Model-Based Approach[D].Netherlands:University of Twente, 1996.

[6]ITU-R Recommendation BT.500-11.Methodology for the Subjective Assessment of the Quality of Television Pictures[S].2002.

[7]WU H R, RAO K R.Digital Video Image Quality and Perceptual Coding[M].CRC Press, 2006.

[8]楊付正.數(shù)字視頻客觀質(zhì)量評估方法研究[D].西安:西安電子科技大學(xué)，2005.YANG F Z.Study on Objective Quality Assessment Method for Digital Video[D].Xi’an:Xidian University, 2005.

[9]WANG Z, BOVIK A C.Mean squared error:love it or leave it? - a new look at signal fidelity measures[J].IEEE Signal Processing Magazine, 2009, 26(1):98-117.

[10]PINSON M H, WOLF S.A new standardized method for objectively measuring video quality[J].IEEE Transactions on Broadcasting, 2004,50(3):312-322.

[11]CAVIEDES J, OBERTI F.No-reference quality metric for degraded and enhanced video[A].Proceedings of SPIE[C].Lugano, Switzerland,2003.621-632.

[12]TAKAHASHI A, YOSHINO H, KITAWAKI N.Perceptual QoS assessment technologies for VoIP[J].IEEE Communications Magazine, 2004, 42(7):28-34.

[13]MOHAMED S, RUBINO G.A study of real-time packet video quality using random neural networks[J].IEEE Transactions on Circuits System Video Technology, 2002, 12(12):1071-1083.

[14]RAAKE A, GARCIA M N, MOLLER S.T-V-model:parameter-based prediction of IPTV quality[A].Proceedings of IEEE ICASSP[C].Las Vegas, Nevada, USA, 2008.1149-1152.

[15]YAMAGISHI K, HAYASHI T.Opinion model for estimating video quality of videophone services[A].Proceedings of IEEE GLOBECOM[C].San Francisco, CA, USA, 2006.

[16]YAMAGISHI K, HAYASHI T.Parametric packet-layer model for monitoring video quality of IPTV services[A].Proceedings of the IEEE ICC[C].Beijing, China, 2008, 110-114.

[17]GUSTAFSSON J, HEIKKILA G, PETTERSSON M.Measuring multimedia quality in mobile networks with an objective parametric model[A].Proceedings of the International Conference on Image Processing[C].San Diego, California, USA, 2008.405-408.

[18]ISO/IEC DIS 13818-2.Generic Coding of Moving Pictures and Associated Audio Information[S].1994.

[19]IETF RFC 1889.RTP:A Transport Protocol for Real-time Applications[S].1996.

[20]IETF RFC 768.User Datagram Protocol[S].1980.

[21]IETF, RFC 791.Internet Protocol[S].1981.

[22]YANG F, SONG J, WAN S.A no-reference quality assessment system for video streaming over RTP[J].Advanced Materials Research,2011, 179:243-248.

[23]ITU-T Recommendation H.264 and ISO/IEC14496–10 AVC Standard.Advanced Video Coding for Generic Audiovisual Services[S].March,2009.

[24]YAMADA T, YACHIDA S, SENDA Y.Accurate video-quality estimation without video decoding[A].Proceedings of International Conference on Acoustics Speech and Signal Processing[C].Dallas, Texas,USA, 2010, 2426-2429.

[25]ITU-T SG12 Document 0811-Q14-13.High Level Overview of VQmon/HD algorithm[R].2008.

[26]REIBMAN A R, VAISHAMPAYAN V A, SERMADEVI Y.Quality monitoring of video over a packet network[J].IEEE Transactions on Multimedia, 2004, 6(2):327-334.

[27]KNEE M.A single-ended picture quality measure for MPEG-2[A].Proc Int Broad Convention[C].2000.95-100.

[28]TURAGA D S, CHEN Y, CAVIEDES J.No reference PSNR estimation for compressed pictures[J].Signal Processing:Image Communication, 2004, 19(2):173-184.

[29]ICHIGAYA A, KUROZUMI M, HARA N.A method of estimating coding PSNR using quantized DCT coefficients[J].IEEE Transactions on Circuits Systems Video Technology, 2006, 16(2):251-259.

[30]BRANDAO T, QUELUZ M.P.No-reference image quality assessment based on DCT domain statistics[J].Signal Processing, 2008,88(4):822-833.

[31]VERSCHEURE O, FROSSARD P, HAMDI M.User-oriented QoS analysis in MPEG-2 video delivery[J].Real-Time Imaging, 1999,5(5):305-314.

[32]WATABABE K, YAMAGISHI K, OKAMOTO J.Proposal of new QoE assessment approach for quality management of IPTV services[A].Proceedings of IEEE ICIP[C].San Diego, California, USA,2008.2060-2063.

[33]YANG F, WAN S, XIE Q.No-reference quality assessment for networked video via primary analysis of bit-stream[J].IEEE Transactions on Circuits Systems Video Technology, 2010, 20(11):1544-1554.

[34]ITU-T Rec.J.144.Objective Perceptual Video Quality Measurement Techniques for Digital Cable Television in the Presence of a Full Reference[S].2004.

[35]YANG F, WANG X, CHANG Y.No reference video quality assessment method based on digital watermark[A].Proceedings of IEEE International Symposium on Personal, Indoor and Mobile Radio Communication[C].Beijing, China, 2003.2707-2710.

[36]YANG F, WAN S, CHANG Y.A novel objective no-reference metric for digital video quality assessment[J].IEEE Signal Processing Letters.2005, 12(10):685-689.

[37]DAVIS A G, BAYART D, HANDS D S.Hybrid no-reference video quality prediction[A].Proceedings of the International Symposium on Broadband Multimedia Systems and Broadcasting[C].Bilbao, Spain,2009.

[38]SUGIMOTO O, NAITO S, SAKAZAWA S.Objective perceptual video quality measurement method based on hybrid no reference framework[A].Proceedings of the International Conference on Image Processing[C].Cairo, Egypt, 2009.

[39]YAMAGISHI K, KAWANO T, HAYASHI T.Hybrid video-qualityestimation model for IPTV services[A].Proceedings of Global Telecommunications Conference[C].Hawall, USA, 2009.