H.264/AVC網(wǎng)絡(luò)視頻的丟包失真評(píng)估

劉河潮，常義林，陳玉峰

(1.西安電子科技大學(xué)綜合業(yè)務(wù)網(wǎng)理論及關(guān)鍵技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，710071西安;2.哈爾濱飛行學(xué)院，150001哈爾濱)

寬帶網(wǎng)絡(luò)的迅速發(fā)展，使得基于IP(internet protocol)網(wǎng)絡(luò)的實(shí)時(shí)流媒體服務(wù)得到了廣泛應(yīng)用，對(duì)視頻質(zhì)量進(jìn)行實(shí)時(shí)和準(zhǔn)確的評(píng)估對(duì)視頻的編解碼發(fā)展、網(wǎng)絡(luò)協(xié)議規(guī)劃、網(wǎng)內(nèi)質(zhì)量監(jiān)控和確保終端用戶質(zhì)量等至關(guān)重要［1-2］.IP網(wǎng)絡(luò)是一個(gè)異構(gòu)、時(shí)變、缺乏服務(wù)質(zhì)量控制的網(wǎng)絡(luò)，視頻經(jīng)編碼壓縮后再由不穩(wěn)定的IP網(wǎng)絡(luò)傳輸時(shí)，視頻質(zhì)量除由量化引起的編碼失真以外，網(wǎng)絡(luò)視頻還會(huì)遭受到由網(wǎng)絡(luò)丟包引起的失真.在解碼端當(dāng)包丟失發(fā)生時(shí)，相關(guān)幀或部分視頻序列由于包丟失而無(wú)法正確解碼，解碼器通常使用相應(yīng)的誤碼掩蓋方法進(jìn)行彌補(bǔ)，誤碼掩蓋可分為:空域誤碼掩蓋和時(shí)域誤碼掩蓋［3］.H.264/AVC編碼標(biāo)準(zhǔn)的新特性主要是:多模式的幀內(nèi)預(yù)測(cè)編碼、多參考幀的幀間運(yùn)動(dòng)估計(jì)、整數(shù)DCT變換、先進(jìn)的環(huán)路濾波和基于內(nèi)容的熵編碼［4］.

編碼方式確定，視頻的失真主要取決于信道狀況，評(píng)估由信道引起的視頻失真可以在接收端也可以在發(fā)送端.在發(fā)送端，視頻的原始信號(hào)和編碼后的視頻都可得到，但信道實(shí)際運(yùn)行狀況則無(wú)法得到，視頻質(zhì)量評(píng)估方法只能基于信道的統(tǒng)計(jì)特性進(jìn)行［5-6］.在接收端信道運(yùn)行狀況可知，但受限于帶寬原始視頻或不受網(wǎng)絡(luò)影響的編碼后視頻信號(hào)都不可得到，因此，不需要用到原始視頻或編碼后視頻的無(wú)參考視頻質(zhì)量評(píng)估方法顯得更為可行.近年來(lái)研究更多地關(guān)注在解碼端的視頻質(zhì)量評(píng)估方法［7-8］上，文獻(xiàn)［7-8］沒(méi)有考慮誤碼掩蓋和編碼器特性對(duì)視頻質(zhì)量評(píng)估的影響.基于此，本文提出一種在解碼端無(wú)參考視頻質(zhì)量評(píng)估方法，該方法充分考慮了空時(shí)域誤碼傳播、誤碼掩蓋算法和編碼器特性對(duì)視頻質(zhì)量的影響等對(duì)視頻質(zhì)量的影響.實(shí)驗(yàn)結(jié)果表明，該算法測(cè)得的MSE和全參考方法計(jì)算的MSE具有很好的一致性.

1 信道誤碼引起的視頻失真

1.1 誤碼引起的失真

由于網(wǎng)絡(luò)的不穩(wěn)定性和易錯(cuò)性，同時(shí)不同幀類型丟包對(duì)視頻質(zhì)量的影響不同［9］，本文分別針對(duì)幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)的宏塊能否正確接收分別進(jìn)行討論.

1.1.1 幀內(nèi)預(yù)測(cè)塊正確接收

當(dāng)一個(gè)幀內(nèi)編碼的宏塊正確接收時(shí)，宏塊的失真可以表示為

其中

1.1.2 幀間預(yù)測(cè)塊正確接收

當(dāng)一個(gè)幀間編碼的宏塊正確接收時(shí)，宏塊的失真可以表示為

其中

式中:(xi，yi)為第i個(gè)宏塊左上角像素的坐標(biāo); r為H.264/AVC標(biāo)準(zhǔn)采用的運(yùn)動(dòng)補(bǔ)償多參考幀編碼的參考幀的序列索引;分別為橫豎方向運(yùn)動(dòng)矢量.式(2)表示信道誤碼引起視頻的時(shí)域誤碼傳播，主要是由于運(yùn)動(dòng)補(bǔ)償像素值的不匹配而導(dǎo)致.

1.1.3 幀內(nèi)預(yù)測(cè)宏塊丟失

由于包丟失，一個(gè)幀內(nèi)編碼宏塊出現(xiàn)錯(cuò)誤時(shí)，采用空域誤碼掩蓋技術(shù)對(duì)其進(jìn)行恢復(fù).此時(shí)該宏塊的失真可以表示為

其中

式中:(j(l;x，y)，k(l;x，y))，l=1，…，Lx，y為用于差值像素的位置坐標(biāo);Lx，y為空域插值像素(x，y)集合的基數(shù);β(l)為權(quán)系數(shù)，滿足為由空域誤碼掩蓋而導(dǎo)致的視頻質(zhì)量的下降;為空域誤碼傳播引起的誤差.

1.1.4 幀間預(yù)測(cè)宏塊丟失

由于包丟失，一個(gè)幀間編碼宏塊出現(xiàn)錯(cuò)誤時(shí)，采用時(shí)域誤碼掩蓋技術(shù)對(duì)其進(jìn)行恢復(fù).此時(shí)該宏塊的失真可以表示為

其中

1.2 誤碼傳播引起的失真

1.2.1 空域誤碼傳播引起的失真

由誤碼引起的失真分析可知，當(dāng)一個(gè)宏塊使用幀內(nèi)預(yù)測(cè)時(shí)，則在該視頻幀內(nèi)形成空域誤碼傳播.H.264/AVC編碼標(biāo)準(zhǔn)中允許幀內(nèi)預(yù)測(cè)編碼模式:像素16×16的宏塊和像素4×4的亞宏塊.像素16×16宏塊又有4種不同的空域預(yù)測(cè)模式，像素4×4亞宏塊又有9種不同的空域預(yù)測(cè)模式［4］，則整個(gè)視頻幀由空域誤碼傳播引起的視頻失真為

式中:M、N分別為在一幀內(nèi)宏塊在橫豎方向上宏塊的個(gè)數(shù).

在編碼端由于使用運(yùn)動(dòng)補(bǔ)償則當(dāng)前解碼后的像素誤碼會(huì)傳播到后續(xù)解碼的像素，所以導(dǎo)致視頻的時(shí)域誤碼傳播.每一個(gè)宏塊(16×16像素)可以按以下4種方式分割:1個(gè)16×16、2個(gè)16×8、2個(gè)8×16和4個(gè)8×8.8×8的子宏塊還可以進(jìn)一步用4種方式再進(jìn)行分割:1個(gè)8×8、2個(gè)4×8、2個(gè)8×4和4個(gè)4×4，每個(gè)分割或子宏塊都有一個(gè)獨(dú)立的運(yùn)動(dòng)補(bǔ)償.又由于在H.264/AVC編碼標(biāo)準(zhǔn)中編碼端允許多參考幀，不同的亞宏塊參考同一幀圖像.因此，通過(guò)計(jì)算先前編碼過(guò)參考幀對(duì)后續(xù)編碼幀的影響得到時(shí)域誤碼傳播引起的失真，則時(shí)域誤碼傳播引起的失真為

1.3 誤碼掩蓋引起的失真

在解碼端所采用的誤碼掩蓋算法，主要依賴于在解碼端所使用的解碼器、丟失宏塊所屬的幀類型及測(cè)量失真所采用的方法等［10］.文中在解碼端將采用傳統(tǒng)的參考軟件模式，丟失宏塊屬于幀內(nèi)編碼模式的采用空域誤碼掩蓋算法，而屬于幀間編碼模式的將采用時(shí)域誤碼掩蓋算法［11-12］.本文分別對(duì)由空域誤碼掩蓋和時(shí)域誤碼掩蓋引起的視頻失真進(jìn)行討論.

1.3.1 空域誤碼掩蓋引起的失真

視頻序列或GoP(group of picture)的第1幀是幀內(nèi)編碼模式I幀，則不能利用時(shí)域上的冗余信息進(jìn)行恢復(fù)，只能利用當(dāng)前幀內(nèi)的相鄰塊的信息進(jìn)行錯(cuò)誤恢復(fù).由丟包引起的初始誤碼在解碼端使用零運(yùn)動(dòng)誤碼掩蓋方法處理，即丟失的宏塊直接用與它最接近的參考幀同一位置上的宏塊來(lái)代替，對(duì)于丟失數(shù)據(jù)幀則直接用前一參考幀代替，則空域誤碼掩蓋引起的失真為

1.3.2 時(shí)域誤碼掩蓋引起的失真

柿子剛摘下來(lái)時(shí)，硬邦邦的。如果和蘋果放在一起，很快就會(huì)變軟。一個(gè)堅(jiān)毅的人，肩頭可扛萬(wàn)般事，但碰到某一個(gè)人，心一下子軟了。

宏塊屬于P或B幀丟失時(shí)，則編碼模式、運(yùn)動(dòng)矢量和預(yù)測(cè)值都不能接收到.根據(jù)文獻(xiàn)［13］可知，在P幀和B幀中的幀內(nèi)編碼宏塊的總數(shù)不超過(guò)所有宏塊總數(shù)的4%，不能接收到運(yùn)動(dòng)矢量和預(yù)測(cè)值使用時(shí)域誤碼掩蓋對(duì)視頻質(zhì)量的影響不相關(guān)，則由時(shí)域誤碼掩蓋引起的視頻失真可以用不能接收到運(yùn)動(dòng)矢量和預(yù)測(cè)值使用時(shí)域誤碼掩蓋對(duì)視頻質(zhì)量的影響之和表示.設(shè)為時(shí)域誤碼掩蓋引起的失真;為運(yùn)動(dòng)矢量丟失引起的視頻失真為預(yù)測(cè)殘差丟失引起的視頻失真，則

1)運(yùn)動(dòng)矢量丟失引起的失真.

在解碼器端對(duì)于丟失的宏塊且平移運(yùn)動(dòng)情況下，基于時(shí)域誤碼掩蓋算法得出的預(yù)測(cè)殘差與在編碼器端的預(yù)測(cè)殘差的關(guān)系，如［14］

其中

其中:

其中:

式中:Lφ為用來(lái)計(jì)算誤碼掩蓋運(yùn)動(dòng)矢量的亞宏塊的個(gè)數(shù);ωj=2πj/B，ωk=2πk/B.

2)預(yù)測(cè)殘差丟失引起的失真.

當(dāng)一個(gè)宏塊丟失時(shí)無(wú)論用什么誤碼掩蓋算法都沒(méi)有辦法重新得到預(yù)測(cè)殘差，因此只能簡(jiǎn)單的將預(yù)測(cè)殘差的值設(shè)置為0，在本文中使用誤碼掩蓋運(yùn)動(dòng)矢量所指參考幀的預(yù)測(cè)殘差的能量來(lái)計(jì)算預(yù)測(cè)殘差丟失引起的失真，因此丟失預(yù)測(cè)殘差引起的失真為

1.4 去方塊濾波對(duì)視頻質(zhì)量的影響

在編碼時(shí)去方塊濾波主要是空域?yàn)V波，能夠平滑由于基于塊的運(yùn)動(dòng)補(bǔ)償和變換編碼引起視頻的方塊效應(yīng)，但是同時(shí)也對(duì)真正的邊緣信息進(jìn)行平滑而引起誤差.基于宏塊的運(yùn)動(dòng)補(bǔ)償和變換編碼會(huì)引起解碼后的視頻的方塊效應(yīng)，而環(huán)內(nèi)濾波在去方塊效應(yīng)方面是一個(gè)很重要的工具.在H.264/AVC標(biāo)準(zhǔn)中，去方塊濾波使用的是空域環(huán)內(nèi)濾波的方式，濾波后的像素可以作為后來(lái)像素的濾波，則在編碼端去方塊濾波后的，如

在解碼端接收到宏塊，同樣的濾波方式應(yīng)用到接收到的宏塊，則為沒(méi)有濾波前的像素為濾波后的像素值，則在解碼端去方塊濾波后的如

因此信道去方塊濾波誤差為

2 無(wú)參考視頻質(zhì)量評(píng)估模型的建立

計(jì)算由信道引起的視頻失真MSE，如

3 結(jié)果與分析

實(shí)驗(yàn)視頻編解碼方式采用H.264/AVC編解碼器的基本檔次(baseline profile)，使用的標(biāo)準(zhǔn)視頻序列格式為CIF(common intermediate format)，編碼速率為256 KB/s，幀率為30 f/s，多參考幀數(shù)為6，量化參數(shù)設(shè)為5、8、12、18、25、30、36和40，每一個(gè)編碼幀分成數(shù)個(gè)片(slice)，每一片包含一行的所有宏塊，編碼后的片根據(jù)IP/UDP/RTP協(xié)議棧進(jìn)行打包編碼，選取代表在空時(shí)域復(fù)雜度不同的視頻序列，視頻序列分別為:News、Foreman、Susie、Calendar、Silent、Hall Monitor和Football，丟包率為［0.1%，15%］，采用隨機(jī)丟包策略.由丟包引起的初始誤碼在解碼端，丟失宏塊屬于幀內(nèi)編碼模式的采用空域誤碼掩蓋算法，屬于幀間編碼模式的將使用時(shí)域誤碼掩蓋算法.使用本文提出的質(zhì)量評(píng)估方法與文獻(xiàn)［8］中提出的質(zhì)量評(píng)估方法對(duì)所有失真視頻進(jìn)行質(zhì)量評(píng)估，然后與用全參考方法得到的視頻質(zhì)量比較來(lái)評(píng)價(jià)該方法的性能.

按照VQEG評(píng)價(jià)視頻質(zhì)量評(píng)估模型精度的方法評(píng)價(jià)本文提出的丟包失真評(píng)估方法的性能，主要采用以下3個(gè)尺度來(lái)量化模型的性能:均方根誤差CRMSE(root mean squared error，RMSE)、Pearson線性相關(guān)系數(shù) CPLCC(pearson linear correlation coefficient，PLCC)和Spearman秩相關(guān)系數(shù) CSROCC(spearman's rank-order correlation coefficient，SROCC).其中:CRMSE為本文給出的方法得到的視頻質(zhì)量和使用全參考方法得到的視頻質(zhì)量的預(yù)測(cè)精度，CRMSE越小則反映了該模型具有較好的預(yù)測(cè)精度;CPLCC為本文給出的方法得到的視頻質(zhì)量和使用全參考方法得到的視頻質(zhì)量的相關(guān)關(guān)系密切程度和相關(guān)方向的統(tǒng)計(jì)指標(biāo)，它給出了對(duì)預(yù)測(cè)精度和預(yù)測(cè)單調(diào)性的評(píng)價(jià)，較大的Pearson線性相關(guān)系數(shù)值意味著較好的預(yù)測(cè)精度和預(yù)測(cè)單調(diào)性;CSROCC為另一個(gè)相關(guān)度指標(biāo)，較大的CSROCC意味較好的預(yù)測(cè)精度和預(yù)測(cè)單調(diào)性.

表1給出了兩種質(zhì)量評(píng)估模型在丟包率為3%的情況下3個(gè)性能指標(biāo)，由表1可知本文所提方法得到的MSE和視頻全參考方法計(jì)算的MSE有很好的一致性.為了更方便和清楚的說(shuō)明本文提出方法的有效性，圖1給出幾種空域和時(shí)域復(fù)雜度不同的視頻序列在丟包率為3%情況下本文模型的MSE和全參考方法得到的MSE的對(duì)應(yīng)分布圖，圖1中的每一個(gè)數(shù)據(jù)點(diǎn)對(duì)應(yīng)一個(gè)受測(cè)失真視頻序列，其中:橫坐標(biāo)為全參考方法得到的MSE;縱坐標(biāo)為視頻序列的模型計(jì)算得到的MSE，從散點(diǎn)圖可以清晰看到本文所提方法可以準(zhǔn)確地評(píng)估視頻的丟包失真，本文提出的方法與全參考方法得到的MSE具有較好的一致性.

表1 丟包率為3%時(shí)兩種質(zhì)量評(píng)估模型的性能

圖1 丟包率為3%時(shí)兩種算法與全參考方法計(jì)算MSE對(duì)應(yīng)分布圖

4 結(jié)論

1)新一代壓縮編碼標(biāo)準(zhǔn)H.264/AVC所使用的新的編碼技術(shù)如:多模式幀內(nèi)編碼技術(shù)、多參考幀的幀間預(yù)測(cè)技術(shù)以及先進(jìn)的環(huán)路的濾波技術(shù)等，在提高編碼效率和性能的同時(shí)，也增大了網(wǎng)絡(luò)傳輸時(shí)誤碼傳播對(duì)視頻質(zhì)量的影響.

2)針對(duì)H.264/AVC所使用的新編碼技術(shù)，詳細(xì)研究了由H.264/AVC所使用的新編解碼技術(shù)引起信道誤碼、空時(shí)域誤碼傳播、空時(shí)域誤碼掩蓋及去方塊濾波對(duì)視頻質(zhì)量的影響，給出了一種計(jì)算網(wǎng)絡(luò)視頻丟包失真MSE的無(wú)參考視頻質(zhì)量評(píng)估算法.該方法充分考慮了視頻內(nèi)容、誤碼掩蓋算法和編碼器特性對(duì)視頻質(zhì)量的影響，并且計(jì)算復(fù)雜度低，可以進(jìn)行實(shí)時(shí)網(wǎng)絡(luò)視頻質(zhì)量監(jiān)控.實(shí)驗(yàn)結(jié)果表明，使用該方法得到的視頻質(zhì)量MSE和使用全參考方法得到的視頻質(zhì)量MSE具有很好的一致性.

［1］RAO K R，BOJKOVIC Z S.Packet Video Communications over ATM Networks［M］.Upper Saddle River，New Jersey，USA:Prentice Hall，1999:119-121.

［2］MAISONNEUVE J，DESCHANEL M，HEILES J，et al. An overview of IPTV standards development［J］.IEEE Transactions on Broadcasting，2009，55(2):315-328.

［3］宋彬，常義林.視頻通信抗誤碼方法研究的新進(jìn)展［J］.電子學(xué)報(bào)，2002，30(10):1514-1518.

［4］WIEGAND T，SULLIVAN G J，BJONTEGAARD G，et al.Overview of the H.264/AVC video coding standard［J］.IEEE Transactions on Circuits and Systems for Video Technology，2003，13(7):560-576.

［5］STUHLMüLLER K，F(xiàn)?RBER N，LINK M，et al. Analysis of Video Transmission over Loss Channels［J］. IEEE Journal on Select Areas in Communications，2000，18(6):1012-1032.

［6］F?RBER N，STUHLMüLLER K，GIROD B.Analysis oferrorpropagation in hybrid video coding with application to error resilience［C］//IEEE International Conference on Image Processing.Washington，DC: IEEE Computer Society，1999:550-555.

［7］YANG Fuzheng，WAN Shuai，XIE Qingpeng，et al.Noreference quality assessment for networked video via primary streaming analysis of bit stream［J］.IEEE Transactions on Circuits and Systems for Video Technology，2010，20(11):1544-1554.

［8］YAMADA T，MIYAMOTO Y，SERIZAWA M.No-Reference video quality estimation based on errorconcealment effectiveness［C］//IEEE Packet Video. Washington，DC:IEEE Computer Society，2007:288-293.

［9］劉河潮，常義林，元輝，等，一種網(wǎng)絡(luò)丟包的無(wú)參考視頻質(zhì)量評(píng)估方法［J］.西安電子科技大學(xué)學(xué)報(bào)，2012，39(2):29-34.

［10］AGRAFIOTIS D，BULL D R，CANAGARAJAH C N. Enhanced error concealment with mode selection［J］. IEEE Transactions on Circuits and Systems for Video Technology，2006，16(8):960-973.

［11］SULLIVAN G，WIEGAND T，LIM K P.Joint model reference encoding methods and decoding concealment methods［DB/OL］.(2012-03-10).http://wftp3.itu. int/av-arch/jvt-site/2003-09-SanDiego/JVT-I049d0. doc.

［12］Joint Video Team(JVT).H.264/AVC Reference Software Version JM12.3.［DB/OL］.(2011-10-15). http://iphome.hhi.de/suehring/tml/download/.

［13］WANG Yao，WU Zhenyu，BOYCE J M.Modeling of transmission loss induced distortion in decoded video［J］.IEEE Transactions on Circuits and Systems for Video Technology，2006，16(6):716-732.

［14］SECKER A，TAUBMAN D.Highly callable video compression with scalable motion coding［J］.IEEE Transactions on Image Process，2004，13(8):1029-1041.