面向圖像突發(fā)錯誤的空頻延拓差錯掩蓋

王登程, 劉　浩, 王文生, 張家辰, 宮曉蕙

(東華大學 信息科學與技術學院，上海 201620)

?

面向圖像突發(fā)錯誤的空頻延拓差錯掩蓋

王登程, 劉浩, 王文生, 張家辰, 宮曉蕙

(東華大學 信息科學與技術學院，上海 201620)

塊編碼的圖像數(shù)據(jù)在易錯網(wǎng)絡傳輸時可能出現(xiàn)突發(fā)的圖像塊丟失，而這會導致圖像質量急劇下降。針對這以情況，采用空域差錯掩蓋技術來緩解突發(fā)錯誤造成的圖像降質。文中提出了一個將空域先驗知識納入稀疏建模的空頻選擇性延拓(SFSE)算法，并采用距離自適應的方法來選擇擬合模型所需的支撐區(qū)域，通過逐次迭代逼近最佳的基函數(shù)及其系數(shù)，該擬合模型可用于掩蓋在突發(fā)錯誤情況下的圖像塊丟失。實驗結果表明，建議的SFSE算法相比于次好的KMMSE算法平均提高了0.5dB的PSNR客觀質量，并在適當?shù)乃惴◤碗s度下有效地提升了掩蓋圖像的主觀質量。

圖像通信；空域差錯掩蓋；突發(fā)塊丟失；信號延拓

基于塊的視頻編碼標準如H.264/AVC，目前被廣泛應用于圖像/視頻通信。在此標準中，一幅圖像被分為互不重疊的編碼塊，圖像塊在各種等易錯信道上傳輸時，可能會丟失編碼塊，而這可能引起一個編碼塊的損壞，導致整個圖像塊質量的嚴重下降。對于此情況，差錯掩蓋(ErrorConcealment，EC)技術作為一種后處理方法，無需修改編碼器和信道編碼方式就能近似地恢復丟失塊。這對于保證實時通信中的圖像質量是至關重要的，其基本思想是利用在當前圖像中正確收到的像素或相鄰幀信息來預測當前幀丟失的像素或損壞的圖像塊[1]。

針對圖像突發(fā)錯誤情況，不同的空域差錯掩蓋算法被提出。Sun等人以凸集投影法(POCS)為基礎恢復丟失塊[2]。除了頻譜信息之外，空間相關性也被用于圖像恢復。Shirani等人用馬爾可夫隨機場(MRF)建立自然圖像模型[3]，產(chǎn)生一個視覺舒適但有時過度平滑的恢復效果。H.264采用經(jīng)典的雙線性插值算法(AVC)[4]，對紋理復雜的圖像錯誤補償效果較差。為了克服上述算法的缺點，Li等人提出了一種基于定向自適應插值(OAI)的順序框架[5]。Koloda等人提出了一個使用多變量核密度估計的KMMSE算法[6]，利用四周的塊信息來確定支撐模型及模型階數(shù)，在圖像突發(fā)錯誤中，左、右塊信息的丟失使得KMMSE算法進行了大量不必要的搜索過程。綜上，這些算法對突發(fā)錯誤的掩蓋效果均不理想。

對于空域突發(fā)差錯，信號延拓算法通過將圖像在頻域進行稀疏表示，獲得了一定的突發(fā)錯誤掩蓋性能[7-8]。然而，信號延拓使用預先確定的支撐向量進行預測，可能無法捕捉一些重要的空域特征，尤其是一些重要的空域結構信息。文獻[8]提出的信號延拓算法只考慮了丟失圖像的上下空間相關性，并未考慮左邊已恢復塊的空域信息。本文提出了一個將已恢復左側塊的信息納入稀疏建模的空頻選擇性延拓(SFSE)算法，結合已掩蓋塊的信息，并采用距離自適應的方法來選擇擬合模型所需的支撐區(qū)域，通過逐次迭代逼近最佳的基函數(shù)及其系數(shù)，該擬合模型可用于掩蓋在突發(fā)錯誤情況下的丟失圖像塊，取得了一定的性能改進。

1　圖像突發(fā)錯誤

1.1突發(fā)塊丟失

靈活塊排序機制為差錯掩蓋提供了統(tǒng)一的測試平臺[9]。在文中，圖像丟失塊的大小是16×16，假定丟失塊的位置可被解碼器獲得。根據(jù)丟失塊的周圍情況，可將塊丟失分為兩種基本類型：一種是分散錯誤模式；一種突發(fā)錯誤模式。典型的分散錯誤模式是在一個丟失塊周圍的8個相連塊均被正確接收。突發(fā)錯誤模式是IP包丟失的一種典型情況，即一整行的圖像塊全部丟失。圖1說明了兩種塊丟失模式的分布情況，圖中每個方塊均代表一個大小為16×16的圖像塊，正確接收的塊標記為白色，丟失的塊則標記為黑色。

圖1　典型的塊丟失類型

1.2信號延拓

信號延拓機制通常是在信號的復數(shù)域實現(xiàn)的，這種方法能穩(wěn)健地恢復各種受損圖像。在信號延拓處理中，圖像被分成不同的塊區(qū)域，一個區(qū)域至少包括一個圖像塊。除了當前待恢復的圖像塊，相鄰塊也要考慮進所謂的延拓區(qū)域Q。信號延拓是用一個模型來擬合Q中的每個像素，其擬合目標是逼近Q中正確接收的像素。圖2給出了傳統(tǒng)信號延拓的示意圖[8]，延拓區(qū)域Q是大小為M × N的像素矩陣，空間變量m和n表示在這一區(qū)域中的像素索引，Q的任何像素均屬于以下兩種區(qū)域之一：已正確接收的像素屬于支撐區(qū)域A;所有待恢復像素屬于丟失區(qū)域B。

圖2　延拓區(qū)域Q是支撐區(qū)域A和丟失區(qū)域B的合集

信號延拓法通常基于以下的擬合模型

(1)

式(1)表示二維基函數(shù)φk,l(m,n)與權重ck,l的加權疊加；K為頻域坐標集合?；瘮?shù)常采用如下的傅里葉函數(shù)

(2)

r(v)(m,n)=(s(m,n)-g(v)(m,n))·b(m,n)

(3)

掩膜函數(shù)b(m,n)用于確保丟失像素不會作為擬合目標，在(m,n)∈B時是0，在其他區(qū)域為1。傳統(tǒng)的信號延拓法并未考慮自然圖像的空域特性，例如已恢復圖像塊的可用信息、兩像素隨距離變化的空間相關性。

2　空頻選擇性延拓

在本文所提的空頻選擇性延拓(SFSE)算法中，最佳的φu,v(m,n)函數(shù)仍被迭代地逼近，并使用更新的調整因子Δcu,v。假設已知當前迭代的模型系數(shù)，則下一次的模型系數(shù)將被更新為

(4)

式(4)中的系數(shù)γ是用來補償正交性的不足。第v+1次迭代的殘差可表示為

(r(v)(m,n)-Δcu,vφu,v(m,n)·b(m,n))

(5)

最終的系數(shù)通過最小化殘差的加權均方誤差來估計。在v+1次迭代后，加權均方誤差可表示為

(6)

由此得到的調整因子為

Δcu,v=

(7)

式(7)可解釋為在φu,v(m,n)上r(v)(m,n)的加權投影系數(shù)。圖3進一步給出了SFSE算法的示意圖，延拓區(qū)域Q被分成3種區(qū)域：已知正確接收的像素屬于支撐區(qū)域A，所有待掩蓋像素屬于丟失區(qū)域B(位于Q的中心)，在相鄰塊中延拓產(chǎn)生的像素屬于重建區(qū)域R。文中的SFSE算法中對文獻[14]進行了改進，空域加權函數(shù)W(m,n)被進一步優(yōu)化為

W(m,n)=

(8)

空域加權函數(shù)W(m,n)根據(jù)延拓區(qū)域Q中像素所在位置來控制模型所生成像素的權值。這3種區(qū)域具有不同的空域重要性，因此距離自適應的加權函數(shù)也被分成3類。由于待掩蓋塊不能為擬合模型的生成提供有價值的信息，其像素值須排除在擬合目標之外，因此丟失區(qū)域B的權重設置為0。在空域加權函數(shù)中，指數(shù)衰減權重被用于量化兩像素距離增加時對相關性的影響，參數(shù)ρ用于控制相關性的衰減速度，ρ∈[0,1]。實驗表明，重建區(qū)域R的像素在16×16塊大小下仍具有相當大的擬合價值，但可靠性比正確接收相鄰塊的像素稍差，所以需要額外的一個參數(shù)δ∈[0,1]予以區(qū)分。

圖3　STSE算法和示意圖

(9)

SFSE算法采用最速下降法來獲得基函數(shù)

(10)

(11)

同樣，均方誤差的變化量也可表示為

(12)

最終，由式(5)可推導出如下解析式

(13)

式(13)直接在頻域中提供了下一次迭代所需的加權殘差值。式(11)～式(13)提供了SFSE算法在頻域的解G(k,l)。在完成所有迭代后，最終的擬合模型通過離散傅里葉反變換(IDFT)得到

g(m,n)=IDFT(G(k,l))

(14)

此時，擬合模型g(m,n)最接近在支撐區(qū)域A和重建區(qū)域B的像素，根據(jù)信號延拓原理，g(m,n)在丟失區(qū)域B也能較好地擬合突發(fā)錯誤造成的塊丟失。

3　實驗與分析

3.1實驗對象及環(huán)境

為了驗證所提算法的有效性，實驗針對圖像突發(fā)錯誤測試了一系列差錯掩蓋算法。測試圖像選自經(jīng)典的USC-SIPI圖像數(shù)據(jù)庫，如圖4所示，分別為Girl(256×256)、House(256×256)、Lena(512×512)、House&Car(512×512)、Barbara(768×576)、Boats(768×576)和Man(1 024×1 024)。圖像突發(fā)錯誤的模式是 塊的偶數(shù)行連續(xù)丟失。測試平臺的硬件環(huán)境為OptiPlex9020：CPU為i5-4570、主頻3.2GHz、內(nèi)存8GB、顯卡為NVIDIAGeForceGTX645；軟件環(huán)境為Windows7和Matlab2014b。在SFSE算法中，參數(shù)ρ=0.9，δ=0.8，γ=0.2。

3.2實驗結果及分析

在16×16塊突發(fā)丟失模式下，實驗首先測試各種差錯掩蓋算法的客觀性能。表1給出了各種算法的PSNR和SSIM比較，其中PSNR是峰值信噪比，SSIM是結構相似性。從表1的數(shù)據(jù)可得知，本文提出的SFSE差錯掩蓋算法在16×16塊突發(fā)丟失模式下，對于大多數(shù)圖像取得了更好的圖像恢復質量，尤其是平均PSNR比知名的OAI算法高1.6dB，平均SSIM高0.05。此外，相比于最近提出的KMMSE算法，SFSE算法對于多數(shù)圖像獲得了更高的恢復質量，PSNR的平均增益領先KMMSE算法0.5dB，SSIM的平均增益接近于KMMSE算法。

表2給出了各種差錯掩蓋算法的時間復雜度比較。其中，AVC算法的執(zhí)行速度最快，POCS和MRF算法也具有較低的時間復雜度。KMMSE算法由于對連續(xù)塊丟失進行了大量的無效處理，比其他算法的復雜度高一個數(shù)量級以上，故其最耗時。而SFSE、FSE和MRF算法在補償質量較好的算法中具有相對較低的復雜度，實現(xiàn)了質量與復雜度的不同折衷。

圖4　實驗仿真的測試圖像

為進一步呈現(xiàn)本文所提算法的優(yōu)勢，圖5給出了各種差錯掩蓋算法的主觀質量對比。經(jīng)典的差錯掩蓋算法在處理這類突發(fā)錯誤時，恢復效果較差。在圖中，POCS、MRF丟失了一些細節(jié)信息，AVC更是產(chǎn)生了明顯的橫條帶。邊緣導向的OAI算法恢復了一定的細節(jié)信息，但產(chǎn)生了人造的條紋，使得畫面變得凌亂而違背視覺常識。使用基于傳統(tǒng)信號延拓的FSE和基于多核外推的KMMSE算法則恢復了較多的圖像細節(jié)，但存在一定的人工效應。例如，在圖5(g)中，桌布邊緣有人工鋸齒現(xiàn)象，且Barbara臉部有類似切片的效果。在圖5(h)中，邊界效應過于明顯，上下銜接不自然，可看見Barbara臉上產(chǎn)生異樣的切片效果。本文提出的SFSE算法恢復在圖5(i)既保持了圖像的邊緣信息，又恢復了圖像的部分紋理，使得桌布條紋可以辨認，且沒有產(chǎn)生使人臉顯得異常的邊界效應，復雜度最低的AVC算法盡管對分散錯誤有一定效果，但無法實現(xiàn)對突發(fā)錯誤的合理掩蓋。

表1　各EC算法的PSNR和SSIM比較

表2　算法時間復雜度(s)比較

4　結束語

差錯掩蓋技術對于保證在圖像通信中的圖像質量是較為重要的。本文提出了將空域先驗知識納入稀疏建模的空頻選擇性延拓SFSE算法，并采用距離自適應的方法來選擇所需的支撐區(qū)域，通過逐次迭代逼近最佳的基函數(shù)及其系數(shù)，該擬合模型可用于掩蓋在突發(fā)錯誤情況下的圖像塊丟失。實驗結果表明，建議的SFSE算法獲得了更好的綜合性能，尤其適用于突發(fā)塊丟失的差錯掩蓋。

圖5　各種算法對于Barbara (768×576)差錯掩蓋的主觀質量對比

[1]ChenS,LeungH.Atemporalapproachforimprovingintra-frameconcealmentperformanceinH. 264/AVC[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2009,19(3):422-426.

[2]SunH,KwokW.Concealmentofdamagedblocktransformcodedimagesusingprojectionsontoconvexsets[J].IEEETransactionsonImageProcessing,1995,4(4): 470-477.

[3]ShiraniS,KossentiniF,WardR.Anadaptivemarkovrandomfieldbasederrorconcealmentmethodforvideocommunicationinanerrorproneenvironment[C].SA，USA：IEEEInternationalConferenceonAcoustics,Speech,andSignalProcessing, 1999.

[4]HannukselaMM.Non-normativeerrorconcealmentalgorithms[J].JournalofVisualCommunicationandImageRepresentation,2014(10):67-86.

[5]Li X, Orchard M T. Novel sequential error-concealment techniques using orientation adaptive interpolation[J].IEEE Transactions on Circuits and Systems for Video Technology, 2002, 12(10): 857-864.

[6]Koloda J,Peinado A M,Sanchez V.On the application of multivariate kernel density estimation to image error concealment[C]. Beijing: IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP),2013.

[7]Kaup A,Meisinger K,Aach T.Frequency selective signal extrapolation with applications to error concealment in image communication[J].AEU-International Journal of Electronics and Communications,2005, 59(3): 147-156.

[8]Seiler J, Kaup A. Complex-valued frequency selective extrapolation for fast image and video signal extrapolation[J].Signal Processing Letters,2010,17(11): 949-952.

[9]Panyavaraporn J, Aramvith S. Error resilient framework using one-pass explicit flexible macroblock ordering map generation and error concealment for H. 264/AVC wireless video communication[J].Journal of Electronic Imaging,2011,20(2):10-12.

Spatial-frequency Extrapolation Error Concealment for Consecutive Block Loss

WANGDengcheng,LIUHao,WANGWensheng,ZHANGJiachen,GONGXiaohui

(CollegeofInformationScienceandTechnology,DonghuaUniversity,Shanghai201620,China)

Ablock-codedimageovererror-pronenetworksmayresultinburstblockloss,whichdrasticallydegradesthequalityofthereceivedimage.Thespatialerrorconcealmenttechniquesareacceptedtoalleviatethedegradationcausedbythemissingblocks.Inthispaper,weproposeaspatial-frequencyselectiveextrapolation(SFSE)algorithmthatintroducesthepriorknowledgeintothesparsemodelingtoselecttherequiredsupportareawithsuitablebasefunctionsandoptimalexpansioncoefficientsbyadistance-adaptivemethod,soastoconcealthedamagedblocksinbursterrorsituations.ExperimentalresultsdemonstratethattheproposedSFSEalgorithmobtainsagain0.5dBhigheronaveragethanthatbythesecond-bestKMMSEalgorithm,andeffectivelyimprovesthesubjectivequalityofconcealedimagewithappropriatecomplexity.

simagecommunications;spatialerrorconcealment;burstblockloss;signalextrapolation

2015- 12- 24

王登程(1989-)，男，碩士研究生。研究方向：圖像處理錯誤掩蓋。

10.16180/j.cnki.issn1007-7820.2016.09.016

TN919.8

A

1007-7820(2016)09-056-06