基于多層BP 神經(jīng)網(wǎng)絡的無參考視頻質(zhì)量客觀評價

姚軍財 申 靜 黃陳蓉

視頻技術(shù)的發(fā)展和應用改變了人們傳統(tǒng)的生活、工作和學習等方式.由此,視頻質(zhì)量成為一個不可回避的重點話題.實時、有效和便捷的視頻質(zhì)量評價(Video quality assessment,VQA)方法,是保障視頻有效通信的前提[1-2].

視頻質(zhì)量主要受到來自視頻內(nèi)容、編解碼、傳輸環(huán)境和人類感知4 個大的方面因素的影響[1-5].視頻的壓縮編碼給視頻帶來模糊、塊效應等損傷[5];視頻傳輸中的緩沖延時、卡頓、誤碼等問題造成視頻圖像模糊、播放停頓等情況,均會影響網(wǎng)絡視頻質(zhì)量,使得用戶體驗質(zhì)量下降[2];對于視頻內(nèi)容,相同的外在環(huán)境但不同的視頻內(nèi)容給人的感知效果也有較大的不同,視頻內(nèi)容同樣是影響視頻質(zhì)量的重要因素[3];人類是視頻質(zhì)量的最后接受者和評價者,視頻質(zhì)量評價結(jié)果需要符合人類視覺特性[4-6].由此,在VQA 中需要考慮上述4 個大的方面的影響.

VQA 一般分為3 類:全參考(Full-reference,FR)、部分參考(Reduced-reference,RR)和無參考(No-reference,NR)視頻質(zhì)量評價[1].截止目前,現(xiàn)有的大多數(shù)VQA 模型均是FR和RR,其典型的有PSNR (Peak signal-to-noise ratio)、VSNR (Visual signal-to-noise ratio)[7]、SSIM (Structural similarity index)[8]、VQM (Video quality model)[9]、STMAD (Spatiotemporal most apparent distortion algorithm)[10]、MOVIE (Motion-based video integrity evaluation)[11]模型等.對于NR-VQA,其不需要任何來源,該方法進一步分為兩類[12]:1) NR-P(NR 視覺感知)類型,其用于完全解碼的視頻質(zhì)量的評價;2) NR-B (NR 編碼)類型,其使用從比特流中提取的信息來評價視頻質(zhì)量.另外,神經(jīng)網(wǎng)絡方法在VQA 模型回歸方面具有較大的優(yōu)勢,能夠較大地提高構(gòu)建模型的精度[13],且由于NR-VQA不需要源視頻,其在視頻傳輸中具有重要的實際應用價值,因而,結(jié)合神經(jīng)網(wǎng)絡的無參考視頻質(zhì)量評價方法成為視頻通信的熱門研究課題.近些年報道相關(guān)領(lǐng)域的研究成果主要有VQAUCA (NR VQA using codec analysis)[14]、V-CORNIA (Video codebook representation for NR image assessment)[15]、C-VQA (NR VQA method in the compressed domain)[16]、NR-DCT (Discrete cosine transformbased NR VQA model)[17]、V-BLIINDS (Blind VQA algorithm)[18]、NVSM (NR VQM using natural video statistical model)[19]、3D-DCT (NRVQA metric based on 3D discrete cosine transform domain)[20]和COME (NR VQA method based on convolutional NN and multiregression)[21]等NR-VQA 模型,但其目前仍存在較多問題,主要有:

1)失真特征提取數(shù)量問題:在視頻通信中,可能會產(chǎn)生多種類型的視頻失真,在構(gòu)建NR-VQA模型中,雖然提取更多的視頻失真特征可以提高其評估精度,但同時也增加了其復雜度[12,19,22].因此,構(gòu)建NR-VQA 模型時應盡量提取少量但有效的失真特征,但這個度非常難把握;

2) 視頻內(nèi)容及其視覺感知問題:現(xiàn)有的NRVQA 模型通常只關(guān)注于傳輸造成的視頻失真,很少考慮視頻內(nèi)容及其視覺感知效果對視頻質(zhì)量的影響[3,14].因此,其主客觀評價結(jié)果一致性較差,需要結(jié)合二者提高精度;

3) HVS 特性問題:在VQA 中引入合適有效的HVS (Human visual system)感知特性能夠顯著性提高VQA 評價精度.但是,如果使用從比特流中提取的失真特征來構(gòu)建NR-VQA 模型時,則很難有效地在模型中引入HVS 特性[3-4].因此,目前一般將VQA-B 度量和VQA-P 度量相結(jié)合,構(gòu)建綜合的NR-VQA 模型,從而提高了模型的精度;

4)模型的復雜性問題:在視頻通信中,VQA 需要實時進行,其要求模型盡可能簡單但有效.然而,VQA 模型往往引入了部分HVS 特性,并且依賴于更多的視頻失真特性,同時,采用了機器學習方法,因此,現(xiàn)有的NR-VQA 模型往往非常復雜[17-22].因此,在構(gòu)建模型時,需要對這些特征和方法進行適當?shù)倪x擇,并對相應的參數(shù)進行優(yōu)化;

5)泛化性問題:在NR-VQA 中,其方法往往使用機器學習工具獲得視頻質(zhì)量評價分數(shù),然而,機器學習需要訓練樣本;目前,其常見方法是使用視頻數(shù)據(jù)庫中的部分樣本進行訓練,而其余部分進行測試,其實驗結(jié)果表明,如此方式,VQA 模型精度較高;然而,當測試其他數(shù)據(jù)庫中的視頻時,其模型精度則顯著下降[15-22].實驗表明,基于機器學習方法的VQA 模型的泛化性能往往較差.因此,有必要對VQA 模型進行優(yōu)化,提高泛化性能.

6) 模型精度問題:對于基于機器學習方法的NR-VQA,往往選取的樣本素材、測試和訓練樣本的比例、不同測試數(shù)據(jù)庫樣本等對評價模型的精度有較大的影響[16-19].因此,在模型構(gòu)建時需要從樣本的多個方面來考慮,以提高精度.

基于此,在本研究中,針對上述影響視頻質(zhì)量的4 個大的方面,結(jié)合多層BP 神經(jīng)網(wǎng)絡研究了無參考視頻質(zhì)量評價方法,并與現(xiàn)有模型進行對比分析,研究了其精度、復雜性和泛化性能.

1 視頻特征描述

NR-VQA 在視頻傳輸中具有重要的實際應用價值.在視頻通信中,通過提取視頻本身特征和傳輸引起的質(zhì)量因素,結(jié)合HVS 特性,能夠很好地預測終端視頻的質(zhì)量;并且在視頻質(zhì)量預測過程中,采用機器學習的方法能夠獲得更高的評價精度,如采用神經(jīng)網(wǎng)絡的方法.結(jié)合機器學習方法,需要提取影響視頻質(zhì)量的有效特征.通過VQA 的主觀實驗研究和前人的研究結(jié)果表明[1-5],目前,影響視頻質(zhì)量主要是上述的4 個大的方面,經(jīng)過反復試驗和研究,其可更進一步細化到11 個具體的視頻特征,即為圖像局部對比度、灰度梯度分布、模糊度、亮度和色度的視覺感知、運動矢量、場景切換、比特率(BitRate,BR)、初始時延、單次中斷時延時長、多次中斷平均時延時長、中斷頻率,其說明如下.

在視頻的時域和空域描述方法中,視頻可以看成是一幀一幀的圖像信息與幀間的時域信息相結(jié)合而成[1,9],即在本研究中,采用幀圖像描述空域信息,采用運動矢量和場景切換兩個方面來描述時域信息.

人眼對視頻空域信息的感知,即是感知其每幀圖像.依據(jù)HVS 特性,人眼對圖像的感知主要是獲取圖像的灰度和色度信息,并分辨其清晰程度,同時其感知效果受局部對比度和人眼敏感程度的影響.由此,采用局部對比度、灰度梯度分布、模糊度、及亮度和色度的視覺感知共4 個特征來表征每幀圖像的內(nèi)容,即人眼感知到的圖像是該4 個特征的綜合結(jié)果.

在傳輸過程中,影響視頻質(zhì)量的主要因素有:壓縮編碼、信道傳輸條件及其視覺感知.對于壓縮編碼,主要表現(xiàn)為視頻壓縮編碼后的碼率BR;信道條件對傳輸視頻質(zhì)量影響最大的是時延(在TCP協(xié)議下不考慮丟包),其包括初始時延、中間單次中斷時延、中斷頻率、中斷平均時長.

對于上述的11 個特征,采用表1 中的參數(shù)進行定量描述.

2 視頻特征參數(shù)計算

表1 中的各參數(shù)值的計算或獲得方法如下.

1)圖像局部對比度

采用圖像中每一點與周圍最近的8 個點的對比度的平均值作為該點受局部環(huán)境影響的對比度,然后乘以對應中心的歸一化亮度值,再對所有點求平均,其值可以表明人眼在該對比度下的亮度的敏感結(jié)果.記幀圖像為I,其局部對比度計算表達式為:

其中,m、n表示圖像像素的行和列的數(shù)目.找出所有幀圖像中該參數(shù)值的最大值,同時對所有幀圖像求平均,以其平均值和最大值作為定量描述該視頻內(nèi)容空域信息的特征之一.表1 中的其他特征參數(shù)的最大值和平均值的計算方法均與該方法一致.

表1 所提視頻特征及其參數(shù)描述Table 1 Video features and description of their parameters

2)亮度和色度視覺感知

圖像亮度和色度的感知主要表現(xiàn)為對其強度大小的感知,且受空間位置的影響,不同空間位置,人眼的敏感程度不同.則依據(jù)Nadenau[23]和Barten[24]分別提出的人眼覺察靜止目標時的亮度和色度對比敏感度函數(shù)CSF (Contrast sensitivity function),計算圖像上每一點像素所在位置人眼的敏感值,并歸一化;再將敏感值乘以相應像素點的灰度值,且歸一化;然后按像素點個數(shù)求平均,其平均值為人眼對圖像亮度和色度的感知結(jié)果;最后對所有幀圖像求平均,得出的結(jié)果和其最大值作為描述該視頻內(nèi)容空域信息的第2 個特征,其計算式為:

3)圖像的模糊度

采用文獻[25]中提出的改進的點銳度算法函數(shù)EAV (Entity attribute value)來計算,其表達式為:

式(3)中,m、n為圖像像素的行和列,dx表示距離增量(即像素間隔),df表示灰度變化幅值.同上理,得到其平均值和最大值,其結(jié)果作為描述該視頻內(nèi)容空域信息的第3 個特征.

4)圖像的灰度梯度分布及其視覺感知

無論是亮度圖還是色度圖,其對人眼的刺激仍然是其強度的感知效果.其強度值在存儲和顯示中一般采用256 級的灰度值來描述.同時灰度的變化快慢對人眼的刺激也影響人眼對圖像亮度和色度的感知.基于此,需要計算圖像的灰度和梯度分布.為了更好地說明其分布情況,采用灰度梯度共生矩陣來描述圖像的灰度梯度分布概率情況.再利用期望值的普遍計算方法,將各梯度值乘以灰度梯度共生矩陣中對應的值,其結(jié)果作為圖像的灰度梯度期望值.該值亦作為描述圖像內(nèi)容的一個特征,其能夠較好地反映圖像內(nèi)容的復雜性,記為Valuec(Valuecomplexity),其計算如表達式(4).

式中,圖像的梯度被量化為32 級.

人眼對不同內(nèi)容復雜性的圖像敏感程度明顯不同.結(jié)合人眼對圖像內(nèi)容復雜程度的敏感效果,通過反復主觀實驗和定性分析,人眼對圖像內(nèi)容復雜程度的感知結(jié)果可用灰度梯度期望值與人眼敏感程度值的乘積來定量描述,記為結(jié)合HVS 的灰度梯度期望值,其計算如式(5).

其中K1、K2和K3為參數(shù),可通過主觀實驗測量數(shù)據(jù)擬合得出.式(5)計算值越大,表明人眼對該圖像的復雜性越敏感,感知圖像效果越好.同上方法,得到所有幀圖像中該值的最大值和平均值.對于視頻中的中斷,中斷時間內(nèi),人眼感知到的均是中斷瞬間前的一幀圖像,為了表明其效果,計算每次中斷時前3 幀的結(jié)合HVS 的灰度梯度期望平均值,則該值、所有幀圖像的最大值和平均值共同作為描述該視頻內(nèi)容空域信息的第4 個特征.

5)運動矢量及其視覺感知

采用全搜索算法匹配獲得每一個子塊的運動矢量.結(jié)合人眼對運動目標的敏感特性,將運動矢量乘以敏感閾值,其結(jié)果定量描述為人眼感知視頻時域信息的兩個特征之一.其計算方法為:

a) 采用Kelly[26]提出的運動目標感知敏感函數(shù)MCSFst:

其中:MCSFst定量表征HVS 感知運動目標(即光柵)時的敏感閾值,fθ、ft為角頻率和時間頻率[26].該式可以計算得出模擬觀看視頻時,人眼感知視頻任一像素點對應的運動矢量的敏感閾值.

b) 將式(6)計算的敏感閾值乘以該點的運動矢量,并按像素點數(shù)求平均,該值即定量描述為感知視頻兩幀間時域信息的一個特征值;將所有兩幀間的計算結(jié)果對總幀數(shù)N求平均,其計算如式(7).其平均值和最大值為人眼感知視頻時域信息的特征之一.

6)視頻內(nèi)場景切換

視頻中往往存在較多的場景切換,而且是快速的,如此給用戶帶來非常負面的評價,但是客觀評價分數(shù)往往變化不大,致使主客觀評價分數(shù)明顯不一致.為了克服該影響,引入場景切換來描述時域信息,即采用亮度、色度和紋理(期望值)的對比差異來反映場景的切換,其計算方法為:首先分別計算當前幀與之前30 幀各自的灰度梯度期望值;再基于物理中對比度的定義,分別計算當前幀與之前30 幀的灰度梯度期望值的對比度,其定義表述如式(8),并計算其平均值,則該值用來反映當前幀場景與之前30 幀場景的切換快慢;最后按視頻幀數(shù)求其平均值.

7)碼率(BR)

碼率能夠較好地描述視頻傳輸中的連接速度、傳輸速度、信道容量、最大吞吐量和數(shù)字帶寬容量.不同的BR,最直接的表現(xiàn)為在終端播放出不同質(zhì)量的視頻,對于目前廣泛采用的H.264 技術(shù),其質(zhì)量主要表現(xiàn)為模糊和塊效應.在視頻傳輸中,可以直接提取傳輸視頻的BR.在仿真實驗中,為了更好地闡述BR 對VQA 分數(shù)的影響,將參考視頻經(jīng)H.264進行壓縮,其壓縮后的視頻的BR 分別取50 至10 000 的范圍,從而來探討B(tài)R 對視頻質(zhì)量的影響.

8)時延

在視頻傳輸中,當傳輸1 個segment 的往返時間RTT (Round trip time)大于2 s 時,播放該segment必定發(fā)生卡頓,其卡頓帶來的時延大小為(RTT－2) s;而在傳輸視頻碼流時,RTT 可以通過發(fā)送和接受ACK 的時間戳來計算得到,即兩個時間點的時間差即可求出RTT;則在視頻碼流傳輸時,可以預測每一個segment 在即將播放時是否出現(xiàn)時延、出現(xiàn)時延的位置、時延長短等相關(guān)信息.基于此,結(jié)合視頻質(zhì)量評價的需要,視頻傳輸可能影響其質(zhì)量的時延特征量為:初始時延、中間單次中斷時延、中斷頻率(次數(shù))和平均中斷時長,其值可從視頻傳輸時直接獲得.

3 視頻質(zhì)量客觀評價方法

3.1 建立的視頻數(shù)據(jù)集

為了獲得性能優(yōu)異的VQA 模型和結(jié)果,需要采用大量的樣本對BP 神經(jīng)網(wǎng)絡進行訓練.為此,采用開源視頻庫LIVE[27]中的10 個源視頻和VIPSL[28]中的8 個源視頻作為參考視頻,分別對其進行不同BR 的壓縮編碼和不同方式的時延處理,得到兩個數(shù)據(jù)集,分別記其為LIVEour和VIPSLour,共1 658 個失真視頻.并采用21 位觀察者,通過主觀實驗,得到其失真視頻的主觀質(zhì)量評價分數(shù)(Mean opinion score,MOS).同時,計算出每個失真視頻的空域信息及其感知特征和時域信息及其感知特征的參數(shù)值(即表1 中的特征1～ 特征6 的參數(shù)值),且提取碼率和時延參數(shù)值(即表1 中的特征7～ 特征11 的參數(shù)值),共18 個參數(shù)值;以所有視頻的每個參數(shù)值作為1 列,組成一個18 維的視頻特征參數(shù)矩陣;由于各個特征參數(shù)值范圍不同、物理意義不同,再對其進行歸一化處理,歸一化處理的方式即為每列的原始值除以該列的最大值.則以此方法得到失真視頻特征參數(shù)矩陣及其主觀質(zhì)量評價分數(shù)MOS,如此,則每一 “視頻特征參數(shù)矩陣加上MOS 分數(shù)”即為一個樣本,從而構(gòu)建訓練樣本.實驗中,以此兩個數(shù)據(jù)庫中的視頻特征參數(shù)矩陣作為神經(jīng)網(wǎng)絡的輸入,主觀質(zhì)量評價分數(shù)MOS 值作為其輸出,對所提VQA 模型進行訓練和測試實驗.其中,考慮到主觀實驗中個體的差異帶給MOS 分數(shù)的偏差,采用所有觀測者的質(zhì)量評價分數(shù)的平均MOS 值作為神經(jīng)網(wǎng)絡的輸出;另外,通過神經(jīng)網(wǎng)絡回歸模型得出預測視頻質(zhì)量的分數(shù),其對應為0～1 之間的結(jié)果,為了與不同模型的對比,可將其映射至0～ 100 之間,以其作為視頻的客觀質(zhì)量分數(shù).由于失真視頻來源于不同的數(shù)據(jù)庫,其特征差異較大,完全能夠滿足11 個特征量較大范圍的取值.

3.2 基于多層BP 神經(jīng)網(wǎng)絡的VQA 方法基本框架

多層BP 神經(jīng)網(wǎng)絡對數(shù)據(jù)的回歸在精度上具有較大的優(yōu)勢,其是一種多層的前饋神經(jīng)網(wǎng)絡.所提的基于多層BP 神經(jīng)網(wǎng)絡的VQA 方法(BP-VQA)主要分為3 步:第一步特征提取,第二步對設(shè)計的多層BP 神經(jīng)網(wǎng)絡進行訓練,第三步采用訓練好的VQA 模型對失真視頻進行質(zhì)量評價測試.其基本思路為:依據(jù)提出的方案和BP 神經(jīng)網(wǎng)絡的特征,采用上述描述的11 個特征的18 個參數(shù)值作為輸入,主觀MOS 作為輸出,采用構(gòu)建的LIVEour和VIPSLour 兩個數(shù)據(jù)集中的樣本數(shù)據(jù)來進行訓練;通過大量訓練,得到所需的多層BP 神經(jīng)網(wǎng)絡;再用訓練好的神經(jīng)網(wǎng)絡評價其余部分的失真視頻,預測出客觀質(zhì)量評價分數(shù),并與其主觀質(zhì)量評價分數(shù)做相關(guān)性分析,計算其參數(shù)PLCC (Pearson linear correlation coefficient)、SROCC (Spearman rank order correlation coefficient)、OR (Outlier ratio)和RMSE (Root mean squared error),從而檢驗基于多層BP 神經(jīng)網(wǎng)絡的VQA 模型的評價性能.其構(gòu)建的基本框架如圖1.

圖1 基于多層BP 神經(jīng)網(wǎng)絡的無參考視頻質(zhì)量客觀評價方法流程圖Fig.1 Flow chart of no reference video quality objective evaluation method based on multilayer BP neural network

3.3 多層BP 神經(jīng)網(wǎng)絡設(shè)置

對于多層BP 神經(jīng)網(wǎng)絡設(shè)置問題,需要綜合模型精度、復雜性和泛化性能3 個方面來考慮.隱含層數(shù)越多、節(jié)點數(shù)越多、精度越高,但耗時越長,泛化性能越差,則需要合理選取隱含層數(shù)和節(jié)點數(shù).文中采用理論分析與實驗效果驗證相結(jié)合的方法,不斷優(yōu)化選擇,通過研究,設(shè)置的多層BP 神經(jīng)網(wǎng)絡如圖2.

圖2 設(shè)置的多層BP 神經(jīng)網(wǎng)絡結(jié)構(gòu)圖Fig.2 Designed multilayer BP neural network structure

對BP 神經(jīng)網(wǎng)絡的隱含層數(shù)目和每一層的節(jié)點數(shù),設(shè)計方法如下:理論上,對于每一隱含層的節(jié)點數(shù),依據(jù)式(9)[29]初步估計其值范圍[a,b],再對范圍中每個值進行實驗,結(jié)合實驗實際效果得出其最優(yōu)值,同時兼顧模型復雜性,并且通過增加隱含層節(jié)點數(shù)來抵消因減小隱含層數(shù)目而帶來的誤差,從而盡量減少隱含層的數(shù)目.

式中,m為當前隱含層節(jié)點數(shù),n為前一層或輸入節(jié)點數(shù)目,l為后一層或輸出節(jié)點數(shù)目.通過式(9)計算和結(jié)合其實際效果,得出各層節(jié)點數(shù)目依次為26、24、22、25、19和18.

仿真中,BP 神經(jīng)網(wǎng)絡的訓練參數(shù)設(shè)置為:學習率(Learning rate) 為0.01,誤差目標期望值為0.001,迭代次數(shù)epochs 為500,顯示間隔次數(shù)為25.

4 實驗及結(jié)果

按照以上設(shè)計的VQA 方法,對構(gòu)建的視頻數(shù)據(jù)集進行仿真實驗.實驗中,訓練和測試樣本共1 658組數(shù)據(jù).實驗中,為了使選取的數(shù)據(jù)具有更好的隨機性,在訓練和測試之前,將所有組的數(shù)據(jù)按組進行亂序,即選取訓練和測試樣本時,其是置亂后任意選取的一定比例的數(shù)據(jù)作為訓練和測試樣本.

在BP-VQA 模型設(shè)計中,訓練樣本集及其來源、測試樣本集及其來源、訓練樣本和測試樣本比例等均對模型的精度有較大的影響.則實驗采用以下3 種方式進行:1)采用同一數(shù)據(jù)庫中的樣本進行訓練和測試,2)采用兩個數(shù)據(jù)庫中的樣本交叉訓練和測試,3)采用不同比例的樣本訓練和測試.依據(jù)此3 種方式仿真,其實驗結(jié)果分別如下.

1)同一數(shù)據(jù)庫中的樣本進行訓練和測試

分別采用LIVEour和VIPSLour 數(shù)據(jù)庫中各自80 %的數(shù)據(jù)作為訓練樣本,剩余20 %的數(shù)據(jù)作為測試樣本進行測試,得到其質(zhì)量客觀分數(shù),然后結(jié)合數(shù)據(jù)庫中的主觀分數(shù),計算其主客觀評價分數(shù)之間的相關(guān)性參數(shù)值PLCC、SROCC、OR和RMSE,同時得到主客觀評價分數(shù)之間的散點圖,以及預測值與原始值之間的比較圖.其結(jié)果如表2、圖3和圖4.

圖3 LIVEour 數(shù)據(jù)庫中(80 %訓練,20 %測試)實驗結(jié)果Fig.3 Experimental results in LIVEour database (80 % training,20 % testing)

圖4 VIPSLour 數(shù)據(jù)庫中(80 %訓練,20 %測試)實驗結(jié)果Fig.4 Experimental results in VIPSLour database (80 % training,20 % testing)

表2 計算的4 個相關(guān)性參數(shù)值Table 2 Calculated results of four correlation parameters

上述實驗結(jié)果表明,采用同一數(shù)據(jù)庫中的樣本進行訓練并測試時,所提VQA 模型精度非常高.

2)兩個數(shù)據(jù)庫中的樣本交叉訓練和測試

實驗采用兩種方式進行:a) 采用LIVEour 中100 %的數(shù)據(jù)作為訓練,任意選取VIPSLour 中20 %數(shù)據(jù)作為測試;b) 采用VIPSLour 中100 %的數(shù)據(jù)作為訓練,任意選取LIVEour 中20 %數(shù)據(jù)作為測試.從而得到客觀VQA 分數(shù).結(jié)合主觀MOS值,得出其主客觀分數(shù)一致性分析結(jié)果,即4 個相關(guān)性參數(shù)值、散點圖和預測值與原始值之間的比較圖,結(jié)果如圖5、圖6和表3.

圖5、圖6和表3 的結(jié)果表明,該方式得出的散點圖和比較圖的相關(guān)性效果明顯差于采用相同數(shù)據(jù)庫作為訓練和測試時的效果,相應的4 個相關(guān)性參數(shù)值與之相比,也明顯偏小;但相對于目前現(xiàn)有的常用VQA 模型和基于傳統(tǒng)方法構(gòu)建的VQA 模型來說,所提模型的PLCC和SROCC 值均明顯高于0.8,其精度明顯高于傳統(tǒng)方法.

表3 計算的4 個相關(guān)性參數(shù)值Table 3 Calculated results of four correlation parameters

圖5 LIVEour 100 %訓練和VIPSLour 20 %測試的實驗結(jié)果Fig.5 Experimental results from training by 100 % samples in LIVEour and testing 20 % samples in VIPSLour

圖6 VIPSLour 中訓練(100 %樣本) LIVEour 中測試(20 %樣本)的實驗結(jié)果Fig.6 Experimental results from training by 100 % samples in VIPSLour database and testing 20 % samples in LIVEour database

3)采用不同比例的樣本訓練和測試a) 同一數(shù)據(jù)庫中不同比例的樣本訓練和測試分別在LIVEour和VIPSLour 各自數(shù)據(jù)庫中,依次采用90 %、70 %、50 %、30 %的數(shù)據(jù)作為訓練,其對應剩余10 %、30 %、50 %、70 %的數(shù)據(jù)作為測試來進行實驗.并做主客觀分數(shù)一致性分析和計算其相關(guān)性參數(shù),其結(jié)果如表4.

表4 計算的4 個相關(guān)性參數(shù)值Table 4 Calculated results of four correlation parameters

b) 不同數(shù)據(jù)庫中不同比例的樣本訓練和測試

在LIVEour 中分別選取80 %和50 %數(shù)據(jù)作為訓練和對應在VIPSLour 中選取20 %和50 %作為測試,以及在VIPSLour 中分別選取80 %和50 %數(shù)據(jù)作為訓練和對應在LIVEour 中選取20 %和50 %作為測試來進行實驗.并做主客觀分數(shù)一致性分析和計算其相關(guān)性參數(shù),其結(jié)果如表5.

表5 計算的4 個相關(guān)性參數(shù)值Table 5 Calculated results of four correlation parameters

表4和表5 中相關(guān)性數(shù)值表明:1)對于所提的BP-VQA 模型,當在相同數(shù)據(jù)庫中選擇樣本訓練和測試時,即使在30 %的數(shù)據(jù)訓練下,其精度仍能達到PLCC 為0.9471,而且當訓練樣本為90 %時,其評價精度能夠?qū)崿F(xiàn)達到PLCC 為0.9897,其結(jié)果表明所提模型精度非常高,而且是在兩個不同類型的視頻數(shù)據(jù)庫中得出的結(jié)果;2)對于兩個數(shù)據(jù)庫中交叉選擇訓練和測試樣本時,其模型仍然表現(xiàn)為精度較高,在訓練樣本為50 %時其能夠達到0.8507,表明該模型具有較高的泛化性能.

分析上述3 種情況的實驗結(jié)果,可以得出:1)在同一數(shù)據(jù)庫中,不論訓練和測試樣本比例如何,所提模型的精度均較高,即使在30 %的訓練樣本下,其PLCC 值也能達到0.9471;2)對于同一數(shù)據(jù)庫中不同比例的訓練和測試樣本的實驗結(jié)果,訓練樣本占比越大,測試時,PLCC 值越大,所提模型的精度越高,說明訓練和測試樣本比例對模型精度影響較大,分析其原因,主要在于,當訓練樣本不足時,訓練樣本不足以囊括測試樣本中所有有效視頻特征,以致訓練得出的模型對部分測試樣本不能有效地預測,部分預測值與主觀評價分數(shù)存在差異;3)對于交叉數(shù)據(jù)庫中不同比例的訓練和測試樣本的實驗結(jié)果,所提模型的精度PLCC 值也能均在0.8507 以上,表明所提VQA 模型具有較高的精度和泛化性能;4)對比現(xiàn)有的基于傳統(tǒng)數(shù)學建模構(gòu)建的VQA模型,如PSNR、VSNR、SSIM、VQM、ST-MAD和MOVIE,無論是其精度、還是其泛化性能,均得到了較大的提升.

5 討論

對于視頻質(zhì)量評價模型,評估其性能的要點主要為:1)精度,2)泛化性能,3)模型復雜性.基于此,從此3 個方面來分析所提VQA 模型的性能.

5.1 VQA 模型精度對比分析

在視頻質(zhì)量評價中,評估VQA 模型精度優(yōu)劣的方法是分析主客觀質(zhì)量分數(shù)之間的一致性,其一般采用PLCC和SROCC 值來描述VQA 模型的精度.為了說明所提模型的精度,將其與現(xiàn)有的VQA模型作以下對比:1)與基于機器學習的VQA 模型的精度對比,2)與基于傳統(tǒng)數(shù)學建模方法的NR-VQA模型的精度對比,3)與全參考VQA 模型的精度對比,其對比結(jié)果如下.

1)與基于機器學習的VQA 模型的精度對比

將所提模型與近些年提出的6 種基于機器學習的VQA 模型進行精度對比,其6 種模型為:VQAUCA[14]、V-CORNIA[15]、NR-DCT[17]、V-BLIINDS[18]、3D-DCT[20]和COME[21],其實驗仿真結(jié)果如圖7.

圖7 采用現(xiàn)有6 種基于機器學習的VQA 模型評價結(jié)果的PLCC和SROCCFig.7 PLCC and SROCC of VQA results with 6 existing models based on machine learning

該對比的6 種模型的結(jié)果均為采用LIVE 數(shù)據(jù)庫中150 個視頻的實驗結(jié)果;該150 個視頻數(shù)據(jù)包括H.264、MPEG2、Wireless和IP4 個方面的失真,其對應的失真視頻數(shù)據(jù)為40、40、40和30 組[21];其評價結(jié)果均為采用數(shù)據(jù)的80 %訓練和20 %測試的實驗結(jié)果.為了對比的公平性,選取本研究中同一數(shù)據(jù)庫中的不同訓練和測試樣本比例下的實驗結(jié)果與其對比,其結(jié)果如圖8.

圖8 不同訓練和測試樣本比例下采用所提BP-VQA 模型評價結(jié)果的PLCC和SROCCFig.8 PLCC and SROCC from applying the proposed BP-VQA model to evaluate video quality under different training and test sample ratios

從圖7和圖8 的對比結(jié)果可以看出,在相近的訓練和測試樣本比例下,本文所提的BP-VQA 模型的PLCC、SROCC 值均高于現(xiàn)有的6 種VQA模型的值,其幅度為PLCC 平均高13.96 %;則從精度對比上,所提模型優(yōu)于此6 種VQA 模型.分析其原因,主要因為:a) VQA 模型在考慮影響視頻質(zhì)量因素的全面性上存在較大差異,6 種前人所提模型只考慮了4 大影響視頻質(zhì)量因素(即視頻內(nèi)容、編解碼失真、傳輸失真和視覺特性)中的部分特征,即,VQAUCA[14]主要是針對H.264/AVC 失真視頻、通過幀內(nèi)預測的量化分析而提出的一種基于編解碼分析的NR-VQA 模型,V-CORNIA[15]是一種基于碼本表達的NR-VQA 模型,NR-DCT[17]是一種基于DCT和6 個傳輸失真特征而構(gòu)建的VQA模型,V-BLIINDS[18]是一種基于視頻場景特征統(tǒng)計和感知特征的VQA 模型,3D-DCT[20]是一種基于三維DCT 域的時空自然視頻失真統(tǒng)計特征的NRVQA 模型,COME[21]是一種基于視頻空域和時域失真特征的VQA 模型;而所提模型不僅考慮了視頻內(nèi)容特征、編解碼和視覺特性,還考慮了傳輸中的時延失真特征;則相對于此6 種VQA 模型,所提模型考慮影響視頻質(zhì)量的因素更為全面;b) 采用的機器學習方法不同,6 種現(xiàn)有模型中,VQAUCA、VCORNIA、V-BLIINDS和3D-DCT 均是采用SVM 進行視頻質(zhì)量預測、NR-DCT 是采用多層神經(jīng)網(wǎng)絡,COME 是采用卷積神經(jīng)網(wǎng)絡提取視頻失真特征和采用多元回歸預測視頻質(zhì)量分數(shù);對于SVM、神經(jīng)網(wǎng)絡和多元回歸方法而言,在相同條件下,神經(jīng)網(wǎng)絡方法效果優(yōu)于SVM和多元回歸方法;而本文所提模型采用了多層BP 神經(jīng)網(wǎng)絡,所以其效果優(yōu)于此6 種現(xiàn)有VQA 模型.

2)與基于傳統(tǒng)數(shù)學建模方法的NR-VQA 模型的精度對比

將所提模型與現(xiàn)有的3 種基于傳統(tǒng)數(shù)學建模構(gòu)建的無參考VQA 模型的精度進行對比,3 個模型為C-VQA[16],NVSM[19]和BRVPVC[30].為了對比的公平性,所提BP-VQA 模型的結(jié)果均采用同一數(shù)據(jù)庫中50 %訓練和50 %測試的實驗結(jié)果,其對比結(jié)果如表6.

從表6 中的對比結(jié)果可以看出,所提BP-VQA模型的精度明顯高于基于傳統(tǒng)數(shù)學建模方法構(gòu)建的VQA 模型的精度.

3)與全參考VQA 模型的精度對比

目前,在VQA 的研究和實際應用中,主要仍是采用傳統(tǒng)的全參考質(zhì)量評價方法,如PSNR、SSIM[8]和MOVIE[11]等.為此,將所提BP-VQA 模型與6種經(jīng)典的全參考視頻質(zhì)量評價模型(即PSNR、VSNR[7]、SSIM[8]、VQM[9]、ST-MAD[10]和MOVIE[11])的精度進行對比,其結(jié)果如圖9.其中,所提模型均是采用50 %訓練和50 %測試的結(jié)果.

通過圖9 的精度對比,可以發(fā)現(xiàn),所提模型的精度均明顯高于基于傳統(tǒng)數(shù)學建模方法構(gòu)建的全參考VQA 模型的精度,而且其高出幅度最小為10.67 %.

綜合分析表6和圖9 的結(jié)果,可以得出,相對于傳統(tǒng)方法構(gòu)建的無論是NR-VQA 模型,還是FRVQA 模型,采用多層BP 神經(jīng)網(wǎng)絡構(gòu)建的VQA模型,其精度明顯得到了較大的提升.表明采用機器學習方法構(gòu)建VQA 模型在提高精度上具有較大的優(yōu)勢.

圖9 所提BP-VQA 模型與6 種現(xiàn)有FR-VQA 模型的精度對比Fig.9 Accuracy comparison between the proposed BP-VQA model and six existing FR-VQA models

表6 所提BP-VQA 模型與3 種NR-VQA 模型的精度對比Table 6 Accuracy comparison between the proposed BP-VQA model and three existing NR-VQA models

5.2 模型復雜性分析

對于VQA 模型復雜性,一般采用評價視頻質(zhì)量時算法的運算時間來描述,其運算時間越短,模型的復雜性越低.基于此,將所提BP-VQA 模型與現(xiàn)有10 種VQA 模型的復雜性進行對比,其10 種模型為:PSNR、VSNR[7]、MS-SSIM[8]、VQM[9]、STMAD[10]、MOVIE[11]、V-CORNIA[15]、V-BLIINDS[18]、COME[21]和BRVPVC[30].實驗采用MATLAB-2014a 編程語言,在64 位操作系統(tǒng)的DELL Core i7 筆記本上進行仿真,其處理器為Intel(R) Core(TM)i7-8550U CPU @1.80 GHz 1.99 GHz.為了對比的需要,采用每種模型平均評價10 幀圖像時算法運行的耗時來比較,其結(jié)果如圖10.

從圖10 中模型復雜性對比的結(jié)果上看,所提BP-VQA 模型的復雜性處于11 種方法中的中等水平.比PSNR和SSIM 模型的復雜性高,但低于VQM、MOVIE和ST-MAD.

對比分析圖10 的實驗結(jié)果,結(jié)合每種VQA 模型的特點和計算公式,其復雜性主要存在于3 個過程中:1)視頻特征提取,2)模型訓練,3)視頻質(zhì)量評價.分析每一過程,模型復雜性的原因主要為:1)除了PSNR、SSIM、VSNR和COME 外,其余模型均需要提取大量的視頻特征,并對其進行計算,該過程耗時基本上占據(jù)了整個模型運算耗時的90 %,其是模型復雜的主要原因;2)對于基于機器學習的VQA 模型,一般需要對模型進行訓練,其耗時同樣比較長,而且,為了使得所提模型的精度更高、模型更具有泛化性能,一般需要采用大量的樣本對其訓練,致使其耗時很長;3) 在設(shè)計基于機器學習的VQA 模型時,為了提高精度,對于每一隱含層,盡量增加隱含層的數(shù)目和每一層的節(jié)點數(shù)目,致使模型評價視頻時耗時更長,而且不僅耗時長,其模型的泛化性能會明顯下降;4)對于采用訓練好的模型對視頻質(zhì)量的評價的耗時,一般時間非常短,基本上不影響模型的復雜性;5)對于所提模型,其復雜性主要在視頻特征提取上占時較多,在其特征提取中,其提取了11 個特征,共18 個參數(shù),所以耗時稍長;但綜合精度和復雜性,其實際應用效果更好.

圖10 所提模型與10 種現(xiàn)有VQA 模型的運算耗時對比Fig.10 Comparisons of the computational time between the proposed model and 10 existing VQA models

5.3 泛化性能分析

為了說明所提BP-VQA 模型的泛化性能,將其與8 種現(xiàn)有VQA 模型的泛化性能進行比較,其8 種方法為:VQM、ST-MAD、MOVIE、3D-DCT、VQAUCA、V-BLIINDS、NR-SVR (NR-VQA used support vector regression)[31]和NR-MLP (NRVQA used multilayer perceptron for nonlinear mapping)[31],8 種模型的結(jié)果分別來自于LIVE、VQEG、IRCCyN、CSIQ[32]、EPFL-PoliMI[1]、IVP[33]和Lisbon[34]數(shù)據(jù)庫中失真視頻仿真的實驗結(jié)果.為了說明模型泛化性能的優(yōu)劣程度,采用實驗結(jié)果的PLCC和SROCC 大小來比較,其對比結(jié)果如圖11.

圖11 所提模型與8 種現(xiàn)有模型的泛化性能對比Fig.11 Comparison of generalization performance between the proposed model and 8 existing models

從圖11 中可以直觀地得到:1)在不同的數(shù)據(jù)庫中,除了VQM 在EPFL-PoliMI 數(shù)據(jù)庫中的結(jié)果稍好外,所提模型的評價結(jié)果的PLCC和SROCC值明顯高于8 種現(xiàn)有模型的評價結(jié)果的PLCC和SROCC 值,表明其泛化性能好于該8 種模型;2) 8 種模型中,3D-DCT、NR-SVR、NR-MLP、VQAUCA、V-BLIINDS 同樣是基于機器學習的VQA 模型,從圖11 中的結(jié)果可以看出,無論是在同一數(shù)據(jù)庫中訓練和測試,還是在不同數(shù)據(jù)庫中訓練和測試,所提模型的測試結(jié)果即PLCC、SROCC 值基本上都高于該5 種模型的測試結(jié)果,表明,在結(jié)合機器學習的VQA 模型中,所提模型具有更高的泛化性能;3)本文所提模型在交叉數(shù)據(jù)庫中進行了實驗,對于訓練和測試樣本采用不同數(shù)據(jù)庫的做法,在其他幾種方法中基本沒有相關(guān)報道,而且,在此情況下,所提模型的評價結(jié)果的PLCC和SROCC 值均超過了0.8.這也表明本文所提VQA 模型具有更好的泛化性能;4)所提模型在不同數(shù)據(jù)庫和交叉數(shù)據(jù)庫中實驗時,其評價結(jié)果的PLCC和SROCC 值均比較平穩(wěn),而其他8 種模型,在不同數(shù)據(jù)庫中,均表現(xiàn)出評價結(jié)果的不穩(wěn)定性;且本文的模型的精度均超過了0.8,這也表明,本文所提模型具有更好的泛化性能.

分析所提模型泛化性能較優(yōu)的原因,主要為:1)對于結(jié)合多層BP 神經(jīng)網(wǎng)絡的VQA 來說,一般為了其模型的精度要求,盡量增加隱含層數(shù)和每一層的節(jié)點數(shù);的確,二者增加了,模型精度能得到提高,以致往往采用深度學習的方法進行,甚至讓隱含層增加到20 層以上,每一層的節(jié)點達到30 個以上;但是在精度提高的同時,模型的復雜性也極大地增加了,而且泛化性能也明顯下降;對于所提模型,通過實驗驗證和理論分析相結(jié)合,剛好精度達到極大時,選取其合適的層數(shù)和節(jié)點數(shù)目,并且如果再增加層數(shù)和節(jié)點數(shù),對模型精度的提高非常有限,所以所選的隱含層數(shù)和節(jié)點數(shù)是最少的,則此時,相對來說,層數(shù)和節(jié)點數(shù)對泛化性能的影響最小;同時也說明,在結(jié)合機器學習的VQA 研究中,應盡量減少隱含層數(shù)和節(jié)點數(shù).2)對于結(jié)合機器學習的VQA 評價中,往往為了提高精度,提取較多的影響因子,并且每個影響因子采用多個參數(shù)來描述,但是,不同的視頻,其特征均有較大的差異,則需要選擇更多的特征,由此反而限定了待測視頻,沒有考慮其他視頻的特征,以致在評價其他數(shù)據(jù)庫中的視頻時,其PLCC和SROCC 值均明顯下降,表現(xiàn)出較差的泛化性能;而對于文中所提模型,基本上考慮了VQA 中影響視頻質(zhì)量的4 個大的方面因素,并且只采用了11 個特征進行描述,相對來說特征相對較少,所以對泛化性能的影響也較小.而相對于NR-SVR、NR-MLP、VQAUCA、V-BLIINDS4 種模型來說,其提取的特征均較多,甚至特征參量達到36 個之多,其不僅嚴重影響了VQA 模型的泛化性能,而且其復雜性也比較高.所以,通過對比分析表明,所提模型的泛化性能優(yōu)于該8 種VQA 模型.

6 結(jié)論

結(jié)合多層BP 神經(jīng)網(wǎng)絡,針對視頻的4 個主要影響因素,即編解碼影響、傳輸條件、視頻內(nèi)容和HVS 特性,研究了無參考視頻質(zhì)量評價方法,構(gòu)建了VQA 模型.在研究中,首先采用圖像的亮度和色度及其視覺感知、圖像的灰度梯度期望值、圖像的模糊程度、局部對比度、運動矢量及其視覺感知、場景切換特征、比特率、初始時延、單次中斷時延、中斷頻率和多次中斷平均時長共11 個特征來描述4個主要影響視頻質(zhì)量的因素,并提取相關(guān)的特征參數(shù);再以其作為輸入節(jié)點,采用多層BP 神經(jīng)網(wǎng)絡,通過建立的兩個視頻數(shù)據(jù)庫中的大量視頻樣本對其進行訓練學習,構(gòu)建VQA 模型;最后,將所提模型應用于構(gòu)建的視頻數(shù)據(jù)庫中,對失真視頻進行評價仿真實驗,且與14 種現(xiàn)有的視頻質(zhì)量評價模型進行對比分析,研究其精度、復雜性和泛化性能.實驗結(jié)果表明:本文所提模型的精度明顯高于其他14種模型的精度,其精度最低高出幅度為4.34 %;且其泛化性能優(yōu)于它們,同時其復雜性處于該15 種模型中的中間水平.綜合分析所提模型的精度、泛化性能和復雜性表明,所提模型是一種較好的基于機器學習的視頻質(zhì)量評價模型.