一種運(yùn)動(dòng)矢量和DCT融合的無(wú)參考視頻質(zhì)量評(píng)價(jià)模型

吳麗麗， 余春艷， 陳國(guó)龍， 鄭維宏

（1. 福州大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，福建 福州 350108；2. 福建星網(wǎng)視易信息系統(tǒng)有限公司，福建 福州 350002）

流媒體服務(wù)的迅猛發(fā)展給視頻質(zhì)量評(píng)價(jià)模型帶來(lái)了新的挑戰(zhàn)。一方面，網(wǎng)絡(luò)視頻流質(zhì)量評(píng)價(jià)更關(guān)注網(wǎng)絡(luò)傳輸過(guò)程中引發(fā)的失真，其中網(wǎng)絡(luò)丟包對(duì)視頻質(zhì)量的影響最為顯著[1]，有別于此前單純針對(duì)編解碼引發(fā)的失真展開的視頻質(zhì)量評(píng)價(jià)模型；另一方面，網(wǎng)絡(luò)視頻流服務(wù)的實(shí)時(shí)性和不確定性限制了主觀評(píng)價(jià)模型在該領(lǐng)域的應(yīng)用，而只能構(gòu)建客觀評(píng)價(jià)模型。

網(wǎng)絡(luò)視頻流質(zhì)量客觀評(píng)價(jià)模型的構(gòu)建面臨兩個(gè)問(wèn)題。第一，主觀評(píng)價(jià)模型[2]借助于人眼直接感知視頻，得到的評(píng)價(jià)結(jié)果最符合人眼視覺(jué)感受；而客觀評(píng)價(jià)模型[3]重在建立特定視頻特征與最終視頻質(zhì)量之間的數(shù)學(xué)模型，從網(wǎng)絡(luò)傳輸碼流中提取指定的視頻特征，產(chǎn)生視頻質(zhì)量評(píng)估結(jié)果，倘若沒(méi)有充分考慮人眼視覺(jué)特性，就會(huì)出現(xiàn)客觀評(píng)價(jià)結(jié)果和實(shí)際視覺(jué)效果的不一致的情形。第二，根據(jù)需要參考原始視頻信息的多少，常見的客觀評(píng)價(jià)模型分為全參考、半?yún)⒖己蜔o(wú)參考三類[4]。除無(wú)需原始視頻任何信息的無(wú)參考[5]類型外，全參考和半?yún)⒖寄Ｐ蚚6-7]需要參考原始視頻的全部或部分信息，應(yīng)用時(shí)都將占用額外的帶寬資源。

目前，以網(wǎng)絡(luò)丟包為主要考量的視頻質(zhì)量客觀評(píng)價(jià)模型研究已取得了一定的進(jìn)展。文獻(xiàn)[8]提出了一種基于JND( just noticeable difference )模型的評(píng)價(jià)模型，文獻(xiàn)[9]則在評(píng)價(jià)視頻質(zhì)量時(shí)考慮了丟包對(duì)視頻視覺(jué)顯著性區(qū)域的影響，但兩種模型均為全參考類型，對(duì)服務(wù)器端的原始視頻依賴度極高，無(wú)法應(yīng)用于客戶端視頻質(zhì)量評(píng)估。文獻(xiàn)[10]基于統(tǒng)計(jì)學(xué)原理，分析組層結(jié)構(gòu)、幀率和封裝情況，建立網(wǎng)絡(luò)丟包率和視頻質(zhì)量的關(guān)系，但計(jì)算復(fù)雜度過(guò)大，與網(wǎng)絡(luò)流媒體服務(wù)的實(shí)時(shí)性要求不相匹配。文獻(xiàn)[11]將視頻流解碼后，提取受損后視頻幀像素域的特征參數(shù)并評(píng)價(jià)視頻質(zhì)量。文獻(xiàn)[12]提出了一種基于支持向量機(jī)的無(wú)參考視頻質(zhì)量評(píng)價(jià)模型，其特征向量包含網(wǎng)絡(luò)參數(shù)和應(yīng)用層參數(shù)兩個(gè)部分，網(wǎng)絡(luò)參數(shù)由主成分分析法刪除網(wǎng)絡(luò)層參數(shù)間的冗余信息后確定，應(yīng)用層參數(shù)需通過(guò)計(jì)算像素域的時(shí)域特性和空域特性獲得。文獻(xiàn)[11-12]兩種模型均需對(duì)視頻流完全解碼后才能進(jìn)行質(zhì)量評(píng)估，資源消耗大，不適用于實(shí)時(shí)性要求高的網(wǎng)絡(luò)視頻流質(zhì)量評(píng)價(jià)。文獻(xiàn)[13-14]分別提出了從比特流層提取信息來(lái)評(píng)價(jià)視頻質(zhì)量的方法，實(shí)時(shí)性高，但兩種評(píng)價(jià)模型依賴的比特流層信息沒(méi)有考慮受損區(qū)域的視頻內(nèi)容視覺(jué)特征，無(wú)法更好地融合人眼視覺(jué)特性以進(jìn)一步提升與實(shí)際視覺(jué)效果的一致性。

事實(shí)上，網(wǎng)絡(luò)傳輸過(guò)程中的丟包率將引發(fā)客戶端視頻流的客觀損傷，而這種客觀損傷產(chǎn)生的人眼視覺(jué)主觀感受還與受丟包影響的視頻內(nèi)容視覺(jué)特征密切相關(guān)，考慮到網(wǎng)絡(luò)視頻流質(zhì)量評(píng)價(jià)實(shí)時(shí)性要求高的特點(diǎn)，完全解碼后才能提取的視頻內(nèi)容視覺(jué)特征并不適用。為此，在無(wú)需獲取原始視頻任何信息亦無(wú)需完全解碼的研究前提下，以網(wǎng)絡(luò)丟包率為基本影響因素，以發(fā)生丟包的宏塊為基本研究對(duì)象，以丟包影響的視頻內(nèi)容視覺(jué)特征提取為研究目標(biāo)，提出了一種運(yùn)動(dòng)矢量和離散余弦變換(discrete cosine transform，DCT)融合的無(wú)參考視頻質(zhì)量評(píng)價(jià)模型(an associated quality assessment model of motion vector and dct without reference video，AMMD)，將視頻幀的運(yùn)動(dòng)劇烈程度及紋理豐富程度與人眼視覺(jué)主觀感受相關(guān)聯(lián)，尋求視頻質(zhì)量的客觀評(píng)價(jià)與主觀評(píng)價(jià)的一致性。

1 宏塊和受損宏塊

本文以基于宏塊編解碼的H.264網(wǎng)絡(luò)視頻流為例進(jìn)行研究，一幀被劃分為若干個(gè)宏塊，一個(gè)宏塊由一個(gè)亮度像素塊和兩個(gè)色度像素塊組成。本文用四元組M＜i,j,isloss,isdloss＞表示宏塊，其中：

i、j表示宏塊位于其所屬幀的第i行第j列；

isloss用于標(biāo)記宏塊所在的數(shù)據(jù)包是否丟失；

isdloss用于標(biāo)記宏塊的參考宏塊的isloss或者isdloss是否都為0。

其中islossD和isdlossD分別表示宏塊的參考宏塊的isloss和isdloss值。

定義1.受損宏塊。受損宏塊為發(fā)生丟包的宏塊和受發(fā)生丟包的宏塊影響的宏塊統(tǒng)稱，對(duì)于任意宏塊，若其isloss或isdloss的值為1，則將其定義為受損宏塊（Damaged塊）。

視頻中 Damaged塊的個(gè)數(shù)可以直觀地表示視頻受損的嚴(yán)重程度，可作為一個(gè)視頻失真的客觀度量指標(biāo)，但Damaged塊的視頻內(nèi)容視覺(jué)特征將引發(fā)不同的視覺(jué)主觀感受。本文接下來(lái)將從運(yùn)動(dòng)劇烈程度和空域復(fù)雜度兩個(gè)特征著手分析它們與視覺(jué)主觀感受的關(guān)聯(lián)。

2 運(yùn)動(dòng)劇烈程度與視頻質(zhì)量

2.1 運(yùn)動(dòng)劇烈程度對(duì)視頻質(zhì)量的影響

一般來(lái)說(shuō)，宏塊的運(yùn)動(dòng)劇烈程度越大，其包含的信息量越多[15]。相應(yīng)的，若運(yùn)動(dòng)劇烈程度越大的宏塊受損，則丟失的視覺(jué)信息越多。圖1中兩幀丟包率相同，但圖1(a)丟包發(fā)生在相對(duì)靜止區(qū)域，圖1(b)丟包發(fā)生在劇烈運(yùn)動(dòng)區(qū)域，而人眼感受到圖1(b)質(zhì)量受損程度甚于圖1(a)。因此，視頻質(zhì)量評(píng)價(jià)時(shí)需充分考慮受損宏塊視頻內(nèi)容的運(yùn)動(dòng)劇烈程度。

圖1 丟包發(fā)生在運(yùn)動(dòng)劇烈程度不同區(qū)域的效果圖

2.2 基于運(yùn)動(dòng)劇烈程度的無(wú)參考視頻質(zhì)量評(píng)價(jià)機(jī)制

定義2.運(yùn)動(dòng)劇烈程度。宏塊的運(yùn)動(dòng)劇烈程度(motion intenseness,MI)用于表征宏塊相對(duì)于其參考宏塊的空間位置變化程度。該宏塊較其參考宏塊的空間位置變化越大，MI越大，表示該宏塊表征的視頻內(nèi)容運(yùn)動(dòng)越劇烈。

考慮到Damaged塊運(yùn)動(dòng)劇烈程度不同，給人的視覺(jué)感受亦不盡相同，結(jié)合Damaged塊的個(gè)數(shù)及其運(yùn)動(dòng)劇烈程度可給出一種基于運(yùn)動(dòng)劇烈程度的無(wú)參考視頻質(zhì)量評(píng)價(jià)機(jī)制(No-reference Video Quality Mechanism Based on Motion Intenseness,NMI)，主要步驟如下：

（1）標(biāo)記Damaged塊并按照式(3)計(jì)算每個(gè)宏塊的 MI，式中 MI(i，j)表示宏塊(i，j)的運(yùn)動(dòng)劇烈程度，mvx(i，j)和 mvy(i，j)分別表示宏塊(i，j)的運(yùn)動(dòng)矢量的x分量和y分量，運(yùn)動(dòng)矢量的x分量和y分量分別表示宏塊與其參考宏塊的水平相對(duì)位移和垂直相對(duì)位移：

（2）按照式(4)計(jì)算當(dāng)前幀質(zhì)量指標(biāo)，式中Qt表示視頻序列中第 t幀的質(zhì)量，isloss(i,j)和isdloss(i,j)表示宏塊(i,j)的isloss和isdloss的值，m、n表示視頻幀中列和行包含的宏塊數(shù)。

將視頻序列中每幀質(zhì)量指標(biāo)作加權(quán)處理等即可得到視頻質(zhì)量評(píng)價(jià)結(jié)果，該結(jié)果在將Damaged塊數(shù)目作為網(wǎng)絡(luò)丟包引發(fā)視頻失真程度的客觀度量的同時(shí)，考察宏塊的運(yùn)動(dòng)劇烈程度與人眼主觀感受的關(guān)聯(lián)，可在一定程度上提升評(píng)價(jià)結(jié)果與人眼視覺(jué)感受的一致性。

3 空域復(fù)雜度與視頻質(zhì)量

3.1 空域復(fù)雜度對(duì)視頻質(zhì)量的影響

宏塊的紋理豐富程度也會(huì)引發(fā)不同的視覺(jué)主觀感受。一般來(lái)說(shuō)，紋理豐富區(qū)域的變化容易被人眼所察覺(jué)，而紋理簡(jiǎn)單區(qū)域的變化不太容易產(chǎn)生顯著的視覺(jué)感受。圖2中兩幀丟包率相同，但圖2(a)中丟包發(fā)生在紋理較豐富區(qū)域，圖2(b)中丟包發(fā)生在紋理較簡(jiǎn)單區(qū)域，圖2(a)給人的視覺(jué)感受較圖2(b)差。因此，視頻質(zhì)量評(píng)價(jià)時(shí)還需要充分考慮受損宏塊的紋理豐富程度。

圖2 丟包發(fā)生在紋理豐富程度不同區(qū)域的效果圖

3.2 基于空域復(fù)雜度的無(wú)參考視頻質(zhì)量評(píng)價(jià)機(jī)制

紋理特性表現(xiàn)為一幀中像素亮度級(jí)的變化[16-17]，視頻編碼過(guò)程通常采用 DCT變換對(duì)視頻進(jìn)行壓縮，DCT系數(shù)中的直流系數(shù)DC表示所在塊的平均亮度，基于此，本文采用一個(gè)區(qū)域中DCT直流系數(shù) DC的變化量來(lái)表示其空域復(fù)雜度，其中丟失宏塊的DCT直流系數(shù)DC用其前一幀同一位置宏塊的DCT直流系數(shù)DC代替。為更加全面地表征 Damaged塊所在區(qū)域的紋理特性，本文將相鄰的Damaged塊組成的集合作為提取紋理特性的基本單元。

定義3.受損區(qū)域。受損區(qū)域?yàn)橄噜廌amaged塊組成的集合，一幀可包含多個(gè)受損區(qū)域。

由此，本文提出了一種基于空域復(fù)雜度的無(wú)參考視頻質(zhì)量評(píng)價(jià)機(jī)制(No-reference Video Quality Mechanism Based on Spatial Complexity,NSC)，主要步驟如下：

（1）標(biāo)記受損區(qū)域并按照式(5)計(jì)算每個(gè)受損區(qū)域的空域復(fù)雜度，式中 SIj表示一幀中第 j個(gè)受損區(qū)域的空域復(fù)雜度，n表示該受損區(qū)域所包含的Damaged塊的個(gè)數(shù)，表示該區(qū)域中的第 i個(gè) Damaged塊的 DCT直流系數(shù) DC，是該受損區(qū)域中所有Damaged塊的DCT直流系數(shù)DC的平均值；

（2）按照式(6)計(jì)算每幀的受損空域復(fù)雜度，若一幀中存在 n(n＞=0)個(gè)受損區(qū)域，則該幀的受損空域復(fù)雜度為視頻幀中n個(gè)受損區(qū)域空域復(fù)雜度的均值。式中SIFt表示第t幀的受損空域復(fù)雜度，N表示該幀受損區(qū)域個(gè)數(shù)；

（3）按照式(7)計(jì)算當(dāng)前幀質(zhì)量指標(biāo)，式中Qt表示視頻序列中第t幀的質(zhì)量。

同樣，視頻序列每幀質(zhì)量指標(biāo)作加權(quán)處理等可得到視頻質(zhì)量評(píng)價(jià)結(jié)果，該結(jié)果主要考察受損區(qū)域紋理豐富程度與人眼主觀感受的關(guān)聯(lián)，以提升評(píng)價(jià)結(jié)果與人眼視覺(jué)感受的一致性。

4 運(yùn)動(dòng)矢量和 DCT融合的無(wú)參考視頻質(zhì)量評(píng)價(jià)模型

受損區(qū)域的紋理豐富程度和 Damaged塊的運(yùn)動(dòng)劇烈程度不同均會(huì)引發(fā)不同的視覺(jué)主觀感受，前文中 NSC僅考慮受損區(qū)域的紋理豐富程度的影響，NMI僅考慮Damaged塊的運(yùn)動(dòng)劇烈程度的影響。以NSC和NMI為基礎(chǔ)，本文提出了一種運(yùn)動(dòng)矢量和 DCT融合的無(wú)參考視頻質(zhì)量評(píng)價(jià)模型，以運(yùn)動(dòng)矢量表征受損宏塊的運(yùn)動(dòng)劇烈程度，以DCT系數(shù)感知每幀的受損空域復(fù)雜度，獲取每個(gè)宏塊的運(yùn)動(dòng)劇烈程度及所在幀類型、每幀的受損空域復(fù)雜度和Damaged塊等信息，將網(wǎng)絡(luò)丟包率等視頻失真客觀度量指標(biāo)和受損視頻內(nèi)容視覺(jué)特征融合產(chǎn)生視頻質(zhì)量評(píng)價(jià)結(jié)果，其具體實(shí)現(xiàn)過(guò)程如圖3所示。

圖3 AMMD的實(shí)現(xiàn)過(guò)程

4.1 Damaged塊和受損區(qū)域的標(biāo)記

Damaged塊標(biāo)記步驟如下：

（1）接收網(wǎng)絡(luò)視頻流時(shí)分析判斷哪些片丟失，確定片丟失宏塊的位置并用isloss(i,j)標(biāo)記，若宏塊(i,j)所在片丟失，則isloss(i,j)為1，該宏塊標(biāo)記為Damaged塊，反之isloss(i,j)為0；

（2）根據(jù)每個(gè)宏塊在解碼時(shí)參考宏塊位置進(jìn)一步標(biāo)記受丟包影響的受損宏塊，若宏塊(i,j)參考宏塊非幀內(nèi)宏塊，需根據(jù)運(yùn)動(dòng)矢量先計(jì)算其參考宏塊。若宏塊(i,j)的參考宏塊為Damaged塊，則isdloss(i,j)為1，該宏塊標(biāo)記為Damaged塊，反之 isdloss(i,j)為 0。

受損區(qū)域需要將同一幀中的 Damaged塊聚合成群，其具體步驟如下：

（1）按照從左到右、從上到下的順序查找第一個(gè)Damaged塊，作為群Cm的核；

（2）在序列中查找與群Cm相鄰且未被聚合到其他群的Damaged塊，將其并入到群Cm；

（3）重復(fù)第(2)步直到序列中沒(méi)有與群 Cm相鄰的Damaged塊或者已經(jīng)把所有的Damaged塊都聚合成群。

4.2 運(yùn)動(dòng)矢量和DCT融合視頻流質(zhì)量評(píng)價(jià)

以 Damaged塊和受損區(qū)域?yàn)槭軗p視覺(jué)內(nèi)容特征提取的基本單位，完成運(yùn)動(dòng)矢量和 DCT融合評(píng)價(jià)，主要步驟如下：

（1）計(jì)算每幀融合質(zhì)量指標(biāo)：計(jì)算每幀的融合質(zhì)量指標(biāo)時(shí)，要綜合考慮運(yùn)動(dòng)劇烈程度和視頻幀的受損空域復(fù)雜度，其計(jì)算如式(8)所示。式中Qt表示視頻序列中第t幀的融合質(zhì)量：

定義 4.特殊視頻段。特殊視頻段(special video segment,SVS)由 n個(gè)連續(xù)的視頻幀＜f1,f2…fn＞組成，n大于等于該視頻段的圖像組(Group of Pictures,GoP)長(zhǎng)度，fi表示這n個(gè)連續(xù)視頻幀中的第i個(gè)視頻幀，Qfi表示fi的質(zhì)量且大于給定閾值 Value。實(shí)驗(yàn)表明當(dāng)視頻幀質(zhì)量大于10時(shí)，人眼會(huì)察覺(jué)到該幀受損程度較為嚴(yán)重，所以Value取經(jīng)驗(yàn)值10。SVS的質(zhì)量為該視頻段中每幀質(zhì)量的平均值。特殊視頻段表示該連續(xù)視頻段中幀的受損程度都較為嚴(yán)重。

（2）提取特殊視頻段并計(jì)算視頻融合質(zhì)量：考慮到在一段視頻流中，人眼對(duì)于連續(xù)幀的受損情況較為敏感，根據(jù)幀的受損程度嚴(yán)重的集中度來(lái)評(píng)價(jià)視頻質(zhì)量。

若視頻中存在 num個(gè) SVS，則總的視頻質(zhì)量為num個(gè)SVS質(zhì)量的平均值。計(jì)算得到的視頻質(zhì)量值越小，說(shuō)明該視頻的受損情況越不明顯。若num等于0，則該視頻的質(zhì)量為0，即該視頻的受損情況為0。

客戶端接收到視頻流后需要經(jīng)歷以下3個(gè)處理階段：第一階段通過(guò)對(duì)分組頭和視頻載荷內(nèi)容進(jìn)行分析，得到幀類型、量化系數(shù)、編碼速率、發(fā)生丟包的宏塊位置、運(yùn)動(dòng)矢量和 DCT直流系數(shù)等信息，如果在這一階段評(píng)價(jià)視頻質(zhì)量，無(wú)法得知受損宏塊所在區(qū)域視頻內(nèi)容的視覺(jué)特性，評(píng)價(jià)結(jié)果容易偏離人眼視覺(jué)感受；第二階段根據(jù)第一階段得到的運(yùn)動(dòng)矢量得到宏塊解碼的參考宏塊，若其參考宏塊已發(fā)生丟包，則該宏塊的質(zhì)量也受損；發(fā)生丟包的宏塊所在幀類型不同時(shí)，其影響的宏塊數(shù)目亦不同，通常I幀上丟包宏塊影響的宏塊數(shù)目較P幀上的多；第三個(gè)階段通過(guò)反量化和反變換完成視頻完全解碼，如果在這個(gè)階段評(píng)價(jià)視頻質(zhì)量，視頻特征完整，評(píng)價(jià)結(jié)果符合人眼視覺(jué)感受，但計(jì)算復(fù)雜度大，實(shí)時(shí)性差。

本文提出的AMMD在第二階段后進(jìn)行視頻質(zhì)量評(píng)價(jià)，通過(guò)判斷宏塊的參考宏塊是否為受損宏塊來(lái)判斷該宏塊是否為受損宏塊，通過(guò)受損宏塊的數(shù)目表示網(wǎng)絡(luò)丟包對(duì)視頻質(zhì)量造成的損傷，以運(yùn)動(dòng)矢量和 DCT直流系數(shù)刻畫運(yùn)動(dòng)劇烈程度和紋理豐富程度，用于表征受損宏塊所在區(qū)域的視頻內(nèi)容視覺(jué)特性，無(wú)需參考原始視頻，無(wú)需視頻完全解碼，評(píng)價(jià)結(jié)果符合人眼的視覺(jué)感受。

5 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)采用H.264編解碼器，標(biāo)準(zhǔn)序列格式為352×288，視頻幀率為30幀/秒，量化參數(shù)設(shè)為28，GoP結(jié)構(gòu)為15:1(I1B2P3B4P5B6P7B8P9B10P11B12P13B14P15I1)，選取空域和時(shí)域復(fù)雜度不同的標(biāo)準(zhǔn)視頻序列（foreman、paris、hall、news、coastguard、mobile、silent、football和soccer），視頻序列特征如表1所示，丟包率設(shè)為0、0.5%、1%、2%、5%、7%和10%。

表1 視頻序列特征

視頻序列coastguard、football、pairs和news在丟包率為5%時(shí)解碼后效果如圖4～7所示，圖中(a)～(h)表示對(duì)應(yīng)視頻序列中同一個(gè)GoP中的第8個(gè)P幀～第15個(gè)P幀，丟包均發(fā)生在圖中(a)上，可以看出第8個(gè)P幀上發(fā)生的丟包將影響整個(gè)GoP中視頻幀的質(zhì)量，圖4(a)中丟包發(fā)生在相對(duì)靜止區(qū)域，圖5(a)中丟包發(fā)生在劇烈運(yùn)動(dòng)區(qū)域，圖6(a)中丟包發(fā)生在紋理較豐富的區(qū)域，圖7(a)中丟包發(fā)生在紋理較簡(jiǎn)單的區(qū)域，根據(jù)AMMD對(duì)這四個(gè)視頻進(jìn)行質(zhì)量評(píng)價(jià)，得到的視頻質(zhì)量結(jié)果從好到差的順序?yàn)閏oastguard、news、pairs和football，符合人眼的視覺(jué)感受。

圖4 coastguard

圖5 football

圖6 pairs

圖7 news

進(jìn)一步分別使用AMMD、NMI、NSC、峰值信噪比(peak signal to noise ratio,PSNR)和文獻(xiàn)[11]提出的無(wú)參考視頻質(zhì)量評(píng)估方法NMH對(duì)所有的失真視頻進(jìn)行評(píng)價(jià)，并與主觀質(zhì)量結(jié)果進(jìn)行一致性比較來(lái)評(píng)價(jià)模型性能。視頻主觀質(zhì)量評(píng)價(jià)采用單刺激評(píng)估方法，相關(guān)的實(shí)驗(yàn)條件參考文獻(xiàn)[18]，使用平均評(píng)估分值表示視頻質(zhì)量，評(píng)估標(biāo)準(zhǔn)如表2所示。

表2 視頻主觀質(zhì)量評(píng)估標(biāo)準(zhǔn)

本文采用相關(guān)系數(shù)(correlation coefficient,CC)和均方根誤差(root mean square error,RMSE)來(lái)評(píng)價(jià)視頻質(zhì)量評(píng)價(jià)模型的性能。CC表示客觀評(píng)價(jià)結(jié)果與主觀評(píng)價(jià)結(jié)果的相關(guān)度，值越大說(shuō)明該客觀評(píng)價(jià)結(jié)果與主觀評(píng)價(jià)結(jié)果越相近。RMSE表示客觀評(píng)價(jià)結(jié)果與主觀評(píng)價(jià)結(jié)果的一致性，值越小，說(shuō)明一致性越好。

表3表明AMMD的性能比NSC和NMI好，說(shuō)明在評(píng)價(jià)視頻質(zhì)量時(shí)需要融合考慮宏塊的運(yùn)動(dòng)劇烈程度和受損空域復(fù)雜度。圖8給出了NSC、NMI和AMMD的評(píng)價(jià)結(jié)果與主觀評(píng)價(jià)結(jié)果的對(duì)應(yīng)分布圖，圖中每個(gè)數(shù)據(jù)點(diǎn)代表一個(gè)受測(cè)失真視頻序列，橫坐標(biāo)表示客觀評(píng)價(jià)結(jié)果，縱坐標(biāo)表示主觀評(píng)價(jià)結(jié)果，主客觀評(píng)價(jià)結(jié)果均已歸一化，橫坐標(biāo)和縱坐標(biāo)中1等價(jià)于表2中的分值5，0等價(jià)于表2中的分值1。從圖8可以看出，AMMD與主觀評(píng)價(jià)結(jié)果的相關(guān)度較NSC和NMI有一定的提高。

表3 NSC、NMI和AMMD的性能比較

圖8 NSC、NMI和AMMD的評(píng)價(jià)結(jié)果與主觀評(píng)價(jià)結(jié)果的對(duì)應(yīng)分布圖

表4表明AMMD的性能也比PSNR和NMH好。圖9給出了PSNR、NMH和AMMD的評(píng)價(jià)結(jié)果與主觀評(píng)價(jià)結(jié)果的對(duì)應(yīng)分布圖，圖中坐標(biāo)軸及數(shù)據(jù)點(diǎn)含義與圖8相同，由圖9可知，就與主觀評(píng)價(jià)結(jié)果的一致性程度而言，AMMD較PSNR和NMH有明顯的提高。

表4 PSNR、NMH和AMMD的性能比較

圖9 PSNR、NMH和AMMD的評(píng)價(jià)結(jié)果與主觀評(píng)價(jià)結(jié)果的對(duì)應(yīng)分布圖

6 結(jié) 論

網(wǎng)絡(luò)視頻流傳輸中會(huì)出現(xiàn)網(wǎng)絡(luò)丟包、延遲等現(xiàn)象，其中丟包對(duì)視頻質(zhì)量影響最大。但網(wǎng)絡(luò)視頻質(zhì)量不僅跟丟包率有關(guān)，還跟受損視頻內(nèi)容視覺(jué)特性有關(guān)。因此本文提出了一種運(yùn)動(dòng)矢量和DCT融合的無(wú)參考視頻質(zhì)量評(píng)價(jià)模型，通過(guò)分析網(wǎng)絡(luò)視頻流得到Damaged塊、宏塊的運(yùn)動(dòng)劇烈程度和視頻幀的受損空域復(fù)雜度，融合三者來(lái)評(píng)價(jià)視頻質(zhì)量，無(wú)需原始參考視頻，無(wú)需完全解碼，計(jì)算量小，實(shí)時(shí)性好。實(shí)驗(yàn)結(jié)果表明AMMD與主觀質(zhì)量評(píng)價(jià)一致性良好。后續(xù)研究將擴(kuò)展AMMD模型至其他編碼格式的網(wǎng)絡(luò)視頻流質(zhì)量評(píng)價(jià)。

[1] 馮 欣. 基于視覺(jué)顯著性的網(wǎng)絡(luò)丟包圖像和視頻的客觀質(zhì)量評(píng)估方法研究[D]. 重慶: 重慶大學(xué),2011.

[2] ITU-T Recommendation P. 910. Subjective video quality assessment methods for multimedia applications[S].

[3] 楊付正,萬(wàn) 帥. 網(wǎng)絡(luò)視頻質(zhì)量評(píng)估技術(shù)研究現(xiàn)狀及發(fā)展動(dòng)向[J]. 通信學(xué)報(bào),2012,33(4): 107-114.

[4] ITU-T Recommendation J. 148. Requirements for an objective perceptual multimedia quality model[S].

[5] 王 瓊. 音視頻質(zhì)量聯(lián)合方法研究[D]. 西安: 西安電子科技大學(xué),2011.

[6] 李祥菊. 基于運(yùn)動(dòng)掩蔽的視頻質(zhì)量綜合評(píng)價(jià)方法[D].合肥: 安徽大學(xué),2012.

[7] 劉器宇. 視頻質(zhì)量評(píng)價(jià)系統(tǒng)及其關(guān)鍵技術(shù)的研究[D].天津: 天津大學(xué),2011.

[8] Zhao Yin,Yu Lu,Chen Zhenzhong,Zhu Ce. Video quality assessment based on measuring perceptual noise from spatial and temporal perspectives[J]. IEEE Transactions on Circuits and Systems for Video Technology,2011,21(12): 1890-1902.

[9] Feng Xin,Liu Tao,Yang Dan,Wang Yao. Saliency inspired full-reference quality metrics for packet-loss-impaired video[J]. IEEE Transactions on Broadcasting,2011,57(1): 81-88.

[10] 盧劉明,陸肖元. 基于網(wǎng)絡(luò)丟包的網(wǎng)絡(luò)視頻質(zhì)量評(píng)估[J]. 中國(guó)圖象圖形學(xué)報(bào),2009,14(1): 52-58.

[11] 周 濤. 基于 H.264的無(wú)參考視頻質(zhì)量評(píng)估方法的研究[D]. 南京: 南京郵電大學(xué),2011.

[12] Yang Yan. No-reference cross-layer video quality estimation model over wireless networks[C]// Proc.of ICIP,2011: 3329-3332.

[13] Yang Fuzheng,Wan Shuai. Bitstream-based quality assessment for networked video: a review [J]. IEEE Communications Magazine,2012,50(11): 203-209.

[14] Yang Fuzheng,Wan Shuai,Xie Qingpeng,Wu Hongren. No-reference quality assessment for networked video via primary analysis of bit stream[J]. IEEE Transactions on Circuits and Systems for Video Technology,2010,20(11): 1544-1554.

[15] 于俊清,劉沖,何云峰,胡勝紅. 利用運(yùn)動(dòng)強(qiáng)度自適應(yīng)傳輸視頻內(nèi)容[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2009,21(6): 847-852.

[16] 劉德連,張建奇. 基于紋理分割的遙感圖像的變化探測(cè)[J]. 光學(xué)學(xué)報(bào),2006,26(8): 1177-1181.

[17] 張亞靜,李民贊,喬 軍,劉 剛. 一種基于圖像特征和神經(jīng)網(wǎng)絡(luò)的蘋果圖像分割算法[J]. 光學(xué)學(xué)報(bào),2008,28(11): 2104-2108.

[18] ITU-R Recommendation BT. 500-11. Methodology for the subjective assessment of the quality of television pictures[S].