CVS中基于多參考幀的最優(yōu)多假設(shè)預(yù)測(cè)算法*

楊春玲　 歐偉楓

(華南理工大學(xué) 電子與信息學(xué)院, 廣東 廣州 510640)

?

CVS中基于多參考幀的最優(yōu)多假設(shè)預(yù)測(cè)算法*

楊春玲 歐偉楓

(華南理工大學(xué) 電子與信息學(xué)院, 廣東 廣州 510640)

摘要：現(xiàn)有的視頻壓縮感知(CVS)多假設(shè)預(yù)測(cè)方法均以當(dāng)前塊在參考幀對(duì)應(yīng)搜索范圍內(nèi)的所有搜索塊為假設(shè)塊,造成求解線(xiàn)性權(quán)值系數(shù)的計(jì)算復(fù)雜度過(guò)高和預(yù)測(cè)精度受限.針對(duì)該問(wèn)題,文中提出了一種基于多參考幀的最優(yōu)多假設(shè)預(yù)測(cè)視頻壓縮感知重構(gòu)算法.該算法首先從多個(gè)參考幀中選取出與當(dāng)前塊測(cè)量域絕對(duì)差值和(SAD)最小的一部分搜索塊作為當(dāng)前塊的最優(yōu)假設(shè)塊集,然后對(duì)假設(shè)塊進(jìn)行自適應(yīng)線(xiàn)性加權(quán),充分地挖掘視頻幀間相關(guān)信息,提升了預(yù)測(cè)精度,同時(shí)降低了求解線(xiàn)性權(quán)值系數(shù)的計(jì)算復(fù)雜度;最后對(duì)測(cè)量值進(jìn)行幀間DPCM量化,以提高視頻壓縮效率和率失真性能.仿真實(shí)驗(yàn)表明,與現(xiàn)有的視頻壓縮感知重構(gòu)算法相比,文中算法具有更高的視頻重構(gòu)質(zhì)量.

關(guān)鍵詞：壓縮感知;視頻重構(gòu);多參考幀;多假設(shè)預(yù)測(cè);量化

壓縮感知(CS)[1-2]的核心思想是,對(duì)于可壓縮信號(hào)(在某個(gè)變換域可稀疏表示),可以用一個(gè)與變換基不相關(guān)的測(cè)量矩陣將高維信號(hào)投影到一個(gè)低維空間上,通過(guò)求解非線(xiàn)性?xún)?yōu)化問(wèn)題從低維投影中以高概率重構(gòu)出原信號(hào),以降維的方式實(shí)現(xiàn)了信號(hào)采樣與壓縮的同時(shí)進(jìn)行.壓縮感知理論為節(jié)省信號(hào)采集資源和降低信號(hào)采集復(fù)雜度提供了強(qiáng)有力的理論支撐,近年來(lái)在圖像/視頻壓縮成像、無(wú)線(xiàn)傳感器網(wǎng)絡(luò)等領(lǐng)域受到了廣泛的關(guān)注[3- 4].

在圖像/視頻壓縮感知領(lǐng)域,為了提升率失真性能,已有不少作者進(jìn)行了大量的深入研究.現(xiàn)有的方案大致可分為兩類(lèi):①在采集端利用測(cè)量值進(jìn)行視頻時(shí)間相關(guān)性分析或圖像紋理復(fù)雜度分析,根據(jù)視頻的時(shí)間相關(guān)度或圖像紋理復(fù)雜度進(jìn)行自適應(yīng)采樣率分配,使有限的碼率資源得到最大化利用,從而在相同采樣率下提高圖像/視頻重構(gòu)質(zhì)量[5-7].文獻(xiàn)[5]提出了利用分塊圖像紋理信息的自適應(yīng)采樣方案,先在采集端通過(guò)測(cè)量值計(jì)算出圖像各子塊的灰度熵,再根據(jù)各子塊的灰度熵自適應(yīng)分配采樣率;文獻(xiàn)[6]提出了一種利用測(cè)量值計(jì)算圖像塊樣本方差的方法,根據(jù)圖像塊樣本方差自適應(yīng)調(diào)整采樣率;文獻(xiàn)[7]提出了一種自適應(yīng)幀采樣率分配算法,利用視頻幀間相關(guān)性的不同,以當(dāng)前幀對(duì)幀組重構(gòu)的貢獻(xiàn)率為參考標(biāo)準(zhǔn)自適應(yīng)分配各幀采樣率.上述自適應(yīng)采樣方法雖然使有限的碼率資源得到了合理利用,有效提高了圖像/視頻的重構(gòu)質(zhì)量,但以增加采集端復(fù)雜度為代價(jià),違背了壓縮感知采集端簡(jiǎn)單的初衷.此外,文獻(xiàn)[8]通過(guò)反饋信道把重構(gòu)端的碼率控制信息反饋回采集端進(jìn)行自適應(yīng)調(diào)整采樣率,但反饋信道的引入并不符合實(shí)際應(yīng)用.②通過(guò)研究重構(gòu)端高性能的重構(gòu)算法來(lái)達(dá)到提升率失真性能的目的.對(duì)于視頻壓縮感知,在重構(gòu)端如何充分利用視頻信號(hào)固有的時(shí)間相關(guān)性進(jìn)行高質(zhì)量的視頻重構(gòu)是研究視頻壓縮感知的一個(gè)核心問(wèn)題.文獻(xiàn)[9]提出了一種自適應(yīng)稀疏重構(gòu)算法,利用參考幀中的滑動(dòng)塊自適應(yīng)估計(jì)當(dāng)前塊的Karhunen-Loeve變換基,得到當(dāng)前塊更稀疏的表示;文獻(xiàn)[10]基于輪換測(cè)量矩陣提出了一種測(cè)量域運(yùn)動(dòng)估計(jì)方法,可以直接在測(cè)量域進(jìn)行運(yùn)動(dòng)估計(jì);文獻(xiàn)[11]基于測(cè)量域相關(guān)模型也提出了一種測(cè)量域運(yùn)動(dòng)估計(jì)方法,但運(yùn)動(dòng)補(bǔ)償精度并不高.文獻(xiàn)[12]提出了一種像素域運(yùn)動(dòng)估計(jì)方法,在重構(gòu)端多次迭代地進(jìn)行四分之一像素精度的運(yùn)動(dòng)全搜索和BCS-SPL[13]殘差重構(gòu),以高計(jì)算復(fù)雜度為代價(jià)換取了非關(guān)鍵幀質(zhì)量的一定提升;文獻(xiàn)[14]提出了一種多假設(shè)(MH)運(yùn)動(dòng)補(bǔ)償方法,以參考幀中某一搜索范圍內(nèi)所有滑動(dòng)塊作為當(dāng)前塊的假設(shè)塊,通過(guò)求解各個(gè)假設(shè)塊與當(dāng)前塊的測(cè)量值距離所形成的Tikhonov正則項(xiàng)約束下的最小二乘問(wèn)題,得到加權(quán)系數(shù),再用這些加權(quán)系數(shù)對(duì)假設(shè)塊進(jìn)行線(xiàn)性組合來(lái)預(yù)測(cè)當(dāng)前塊,此方法充分利用了各個(gè)假設(shè)塊的信息,有效地克服了塊效應(yīng),與文獻(xiàn)[12]相比預(yù)測(cè)精度得到較明顯的提升,因此該運(yùn)動(dòng)補(bǔ)償方法被一些文獻(xiàn)所采用[15-17].文獻(xiàn)[15]分別將時(shí)空AR模型和MH模型與全變差模型相結(jié)合,形成兩種不同的聯(lián)合時(shí)空特征的預(yù)測(cè)-殘差重構(gòu)模型,有效利用了視頻信號(hào)的時(shí)間和空間相關(guān)性,提高了視頻重構(gòu)質(zhì)量;文獻(xiàn)[16]提出的變采樣率測(cè)量方法根據(jù)不同塊具有的不同場(chǎng)景復(fù)雜度和變換強(qiáng)度自適應(yīng)調(diào)整采樣率,并與多假設(shè)預(yù)測(cè)-殘差重構(gòu)方法相結(jié)合得到了較好的重構(gòu)性能;文獻(xiàn)[17]聯(lián)合考慮了待重建圖像塊及對(duì)應(yīng)殘差值的梯度稀疏性,提出了一種基于聯(lián)合TV最小化的殘差重建模型,并基于Split Bregman方法提出了該模型的迭代求解算法,該殘差重構(gòu)算法與多假設(shè)預(yù)測(cè)相結(jié)合得到了較高的重構(gòu)質(zhì)量.雖然文獻(xiàn)[14]的多假設(shè)預(yù)測(cè)方法在視頻壓縮感知中已經(jīng)得到了較廣泛的使用,但這種多假設(shè)預(yù)測(cè)方法由于假設(shè)塊的選取不恰當(dāng),導(dǎo)致求解假設(shè)塊線(xiàn)性權(quán)值時(shí)計(jì)算復(fù)雜度過(guò)大,且由于假設(shè)塊集合中混有大量低匹配度塊,使預(yù)測(cè)精度的提升受限.

鑒于視頻壓縮感知多假設(shè)預(yù)測(cè)方法能獲得高效的運(yùn)動(dòng)補(bǔ)償效果,但其存在計(jì)算復(fù)雜度過(guò)高、預(yù)測(cè)精度受限等不足,因此,文中提出了一種最優(yōu)假設(shè)塊選擇方案(HSS),以降低求解多假設(shè)線(xiàn)性權(quán)值的計(jì)算復(fù)雜度,提升預(yù)測(cè)精度.另外,結(jié)合傳統(tǒng)視頻編碼標(biāo)準(zhǔn)H.264中的多參考幀技術(shù)[18],文中提出了基于多參考幀的最優(yōu)多假設(shè)預(yù)測(cè)算法(MRMH),利用更多的時(shí)間相關(guān)信息來(lái)得到更好的補(bǔ)償幀.最后,為了進(jìn)一步提高視頻壓縮感知的壓縮率,文中將文獻(xiàn)[19]的分塊圖像DPCM量化方法應(yīng)用到視頻壓縮感知中,提出了幀間DPCM量化方法,以獲得高效的率失真性能.

1視頻壓縮感知中的多假設(shè)預(yù)測(cè)

文中采取分塊壓縮感知(BCS)[20]的采樣方式,將每個(gè)視頻幀分成b個(gè)不重疊的B×B大小圖像塊,對(duì)每個(gè)子塊采用相同的高斯隨機(jī)矩陣Φ進(jìn)行獨(dú)立測(cè)量,

yi=Φxi,i=1,2,…,b

(1)

式中,xi為第i個(gè)圖像塊的B2維列矢量,Φ為M×B2維矩陣,M維列矢量yi為第i個(gè)圖像塊的測(cè)量值,定義M/B2為采樣率.

(2)

由于是在重構(gòu)端進(jìn)行運(yùn)動(dòng)估計(jì),因此沒(méi)有碼率的限制,為了得到更高的預(yù)測(cè)精度,可以充分發(fā)揮多假設(shè)預(yù)測(cè)的優(yōu)勢(shì).文獻(xiàn)[14]提出的多假設(shè)預(yù)測(cè)是用一組假設(shè)塊的線(xiàn)性組合來(lái)作為當(dāng)前塊的預(yù)測(cè),即

(3)

式中:B2×K維矩陣Hi為該組假設(shè)塊,K為假設(shè)塊的數(shù)量,Hi的各列即為各假設(shè)塊的向量化形式;ωi∈RK為最佳線(xiàn)性組合系數(shù)矢量，

(4)

在式(4)中,由于測(cè)量點(diǎn)數(shù)M通常小于假設(shè)塊數(shù)量K,即方程個(gè)數(shù)小于未知數(shù)個(gè)數(shù),此時(shí)式(4)是病態(tài)問(wèn)題,文獻(xiàn)[14]在式(4)的基礎(chǔ)上加入由各個(gè)假設(shè)塊與當(dāng)前塊的測(cè)量域距離所形成的Tikhonov正則項(xiàng)來(lái)約束該問(wèn)題,即

(5)

式(5)有如下閉式解:

(6)

雖然多假設(shè)運(yùn)動(dòng)補(bǔ)償?shù)木容^單假設(shè)預(yù)測(cè)有了明顯的提升,但文獻(xiàn)[14]的多假設(shè)預(yù)測(cè)方法以當(dāng)前塊在參考幀相應(yīng)搜索范圍內(nèi)的所有滑動(dòng)塊作為假設(shè)塊,這種對(duì)假設(shè)塊不加以任何選擇的做法使得多假設(shè)預(yù)測(cè)無(wú)論在精度上還是計(jì)算復(fù)雜度上都存在著較大的改進(jìn)空間.

在預(yù)測(cè)精度上,并非所有搜索塊都能對(duì)當(dāng)前塊提供有用信息.事實(shí)上,在所有的搜索塊中,有相當(dāng)一部分的搜索塊與當(dāng)前塊的匹配度是很低的,若以所有搜索塊作為假設(shè)塊,這些低匹配度塊將會(huì)成為干擾塊,降低預(yù)測(cè)精度.

在計(jì)算復(fù)雜度上,當(dāng)求解線(xiàn)性加權(quán)系數(shù)時(shí),由于式(6)的計(jì)算復(fù)雜度隨著矩陣尺寸的增加而迅速增加(約為O(K3)),以全部搜索塊作為假設(shè)塊將會(huì)導(dǎo)致計(jì)算復(fù)雜度過(guò)高.

既然并非假設(shè)塊的數(shù)量越多就會(huì)預(yù)測(cè)得越精確,而過(guò)多的假設(shè)塊又是造成多假設(shè)預(yù)測(cè)計(jì)算復(fù)雜度高的一個(gè)關(guān)鍵因素,因此,文中提出了一種最優(yōu)假設(shè)塊選擇方案,并結(jié)合多參考幀技術(shù)提出了一種基于多參考幀的最優(yōu)多假設(shè)預(yù)測(cè)算法.

2多參考幀的最優(yōu)多假設(shè)預(yù)測(cè)

2.1　最優(yōu)假設(shè)塊選擇方案

文中提出的最優(yōu)假設(shè)塊選擇方案如下:在所有搜索塊中,只保留和當(dāng)前塊測(cè)量值的SAD最小的前若干塊作為最優(yōu)假設(shè)塊,通過(guò)求解式(6)得到最優(yōu)加權(quán)系數(shù),對(duì)最優(yōu)假設(shè)塊進(jìn)行線(xiàn)性組合,得到最終預(yù)測(cè)塊.按照這種方式選擇的假設(shè)塊有以下兩個(gè)優(yōu)點(diǎn):①降低求解假設(shè)塊線(xiàn)性權(quán)值的運(yùn)算量.由于減少了假設(shè)塊數(shù)量,從而極大地減少了利用式(6)求解假設(shè)塊線(xiàn)性權(quán)值的運(yùn)算量,降低了多假設(shè)運(yùn)動(dòng)補(bǔ)償算法的復(fù)雜度.②提高預(yù)測(cè)精度.在所提出的HSS方案中,由于只用和當(dāng)前塊匹配度較高的那部分搜索塊作為假設(shè)塊,線(xiàn)性地表示當(dāng)前塊,剔除了大量與當(dāng)前塊匹配度較低的塊,從而排除了許多低匹配度塊的干擾,因此與全假設(shè)塊(文獻(xiàn)[14]將全部搜索塊作為假設(shè)塊)相比預(yù)測(cè)精度得到了有效的提升.

可見(jiàn),文中HSS方案不僅提升了多假設(shè)預(yù)測(cè)算法的預(yù)測(cè)精度,還有效降低了其計(jì)算復(fù)雜度.此外,該方案還具有較強(qiáng)的可擴(kuò)展性,即可在該方案的基礎(chǔ)上方便地加入其他技術(shù)(如多參考幀技術(shù)),以進(jìn)一步提高多假設(shè)預(yù)測(cè)的性能.

2.2　MRMH算法描述

運(yùn)動(dòng)估計(jì)中的多參考幀技術(shù)能有效地提高編碼效率,已被H.264視頻編碼標(biāo)準(zhǔn)所采納[18].為了進(jìn)一步提高預(yù)測(cè)塊質(zhì)量,文中把最優(yōu)假設(shè)塊選擇方案和多參考幀技術(shù)相結(jié)合,提出了基于多參考幀的最優(yōu)多假設(shè)預(yù)測(cè)算法:對(duì)多個(gè)參考幀進(jìn)行運(yùn)動(dòng)全搜索,并從所有搜索塊中挑選出測(cè)量域SAD準(zhǔn)則意義下的一部分最優(yōu)假設(shè)塊來(lái)線(xiàn)性地表示當(dāng)前塊.由于所選的假設(shè)塊來(lái)自于多個(gè)相鄰參考幀,可充分挖掘各參考幀的有用信息,因此能進(jìn)一步提升預(yù)測(cè)精度.

文中提出的基于多參考幀的最優(yōu)多假設(shè)預(yù)測(cè)算法結(jié)構(gòu)如圖1所示,圖中每個(gè)圖像組(GOP)的第1幀為關(guān)鍵幀,其他幀為非關(guān)鍵幀.關(guān)鍵幀采樣率R1一般都高于非關(guān)鍵幀采樣率R2.關(guān)鍵幀采用MH-BCS-SPL重構(gòu)算法[21]進(jìn)行幀內(nèi)多假設(shè)預(yù)測(cè)重構(gòu),非關(guān)鍵幀采用文中的MRMH算法進(jìn)行重構(gòu).考慮到前后關(guān)鍵幀的重要性,把運(yùn)動(dòng)估計(jì)時(shí)用到的參考幀分為長(zhǎng)期參考幀和短期參考幀,將當(dāng)前GOP及下一GOP的關(guān)鍵幀作為長(zhǎng)期參考幀,而當(dāng)前解碼幀的前若干已解碼幀作為短期參考幀,對(duì)每個(gè)非關(guān)鍵幀進(jìn)行預(yù)測(cè)時(shí),都會(huì)用到這兩個(gè)長(zhǎng)期參考幀.

圖1　MRMH算法的結(jié)構(gòu)Fig.1　Architecture of MRMH algorithm

為降低運(yùn)動(dòng)全搜索的計(jì)算復(fù)雜度,同時(shí)考慮到前后關(guān)鍵幀的重要性,文中提出了一種高效的運(yùn)動(dòng)搜索策略:對(duì)長(zhǎng)期參考幀及最近鄰的短期參考幀進(jìn)行較大范圍的運(yùn)動(dòng)全搜索,對(duì)其余短期參考幀進(jìn)行快速運(yùn)動(dòng)搜索.從長(zhǎng)期參考幀和短期參考幀的所有搜索塊集合中選取出測(cè)量域SAD最小的一部分搜索塊作為最優(yōu)假設(shè)塊集,然后進(jìn)行多假設(shè)預(yù)測(cè).得到預(yù)測(cè)幀后,采用BCS-SPL-DDWT重構(gòu)算法[13]進(jìn)行殘差重構(gòu),得到最終重構(gòu)幀.

對(duì)短期參考幀的快速運(yùn)動(dòng)搜索方案是,先利用前面多幀的運(yùn)動(dòng)矢量對(duì)各參考幀進(jìn)行運(yùn)動(dòng)矢量預(yù)測(cè),再以預(yù)測(cè)運(yùn)動(dòng)矢量所指的位置為中心進(jìn)行小范圍搜索,以避免大范圍運(yùn)動(dòng)搜索,減少計(jì)算量[18].另外,文中所提算法還利用了自適應(yīng)加權(quán)中值矢量濾波技術(shù)[22],以防止個(gè)別錯(cuò)誤運(yùn)動(dòng)矢量的錯(cuò)誤累加延播.

文中以GOP=8為例給出MRMH算法的具體實(shí)現(xiàn)過(guò)程.在該結(jié)構(gòu)下,最大參考幀數(shù)為4時(shí)各幀及其參考幀的示意圖見(jiàn)圖2.其中,第1幀為當(dāng)前GOP的關(guān)鍵幀,第9幀為下一個(gè)GOP的關(guān)鍵幀,稱(chēng)第5幀為中間幀,稱(chēng)第2～4幀為前半個(gè)GOP,第6～8幀為后半個(gè)GOP.MRMH算法的具體實(shí)現(xiàn)步驟如下:

(1)對(duì)當(dāng)前GOP及下一GOP的關(guān)鍵幀進(jìn)行幀內(nèi)多假設(shè)預(yù)測(cè)重構(gòu),并把重構(gòu)圖像作為當(dāng)前GOP非關(guān)鍵幀的長(zhǎng)期參考幀;

(2)對(duì)前半個(gè)GOP進(jìn)行前向運(yùn)動(dòng)估計(jì)和BCS-SPL-DDWT殘差重構(gòu)解碼,并把每一解碼幀作為下一解碼幀的短期參考幀,每幀的最大參考幀數(shù)為4;

(3)對(duì)后半個(gè)GOP進(jìn)行后向運(yùn)動(dòng)估計(jì)解碼,過(guò)程與步驟(2)一樣,只是解碼順序相反;

(4)對(duì)中間幀進(jìn)行雙向運(yùn)動(dòng)估計(jì)解碼,中間幀的解碼不再進(jìn)行快速搜索,而直接對(duì)所有參考幀進(jìn)行同等范圍的全搜索,并取中間幀前后同等數(shù)目的已解碼幀作為短期參考幀,依然取前后關(guān)鍵幀作為長(zhǎng)期參考幀.至此,當(dāng)前GOP解碼完成.

圖2　一個(gè)GOP內(nèi)各幀的參考幀情況Fig.2　Reference frame pattern of each frame within a GOP

3實(shí)驗(yàn)與結(jié)果分析

本實(shí)驗(yàn)分為兩部分,一部分是采集端的測(cè)量值直接傳到重構(gòu)端進(jìn)行視頻信號(hào)重構(gòu);另一部分是在采集端增加測(cè)量值幀間殘差量化技術(shù),量化后再傳到重構(gòu)端進(jìn)行視頻重構(gòu),以進(jìn)一步提高壓縮效率.

每個(gè)GOP的關(guān)鍵幀采用MH-BCS-SPL算法[21]進(jìn)行獨(dú)立幀內(nèi)重構(gòu),非關(guān)鍵幀采用文中的MRMH算法進(jìn)行重構(gòu),其中最大參考幀數(shù)設(shè)為4(2幀長(zhǎng)期參考幀,2幀短期參考幀),長(zhǎng)期參考幀和最近鄰短期參考幀的搜索范圍取±16像素,其余短期參考幀的搜索范圍為±6像素.最優(yōu)假設(shè)塊的數(shù)量隨采樣率的不同而不同,采樣率0.1、0.2、0.3、0.4、0.5分別對(duì)應(yīng)的假設(shè)塊數(shù)為81、100、121、144、169.由于采樣率越高,每個(gè)塊的測(cè)量值數(shù)量越多,對(duì)不同假設(shè)塊的區(qū)分能力越強(qiáng),大量仿真實(shí)驗(yàn)也驗(yàn)證了該理論,實(shí)驗(yàn)中選取假設(shè)塊的數(shù)量是綜合考慮重構(gòu)質(zhì)量與重構(gòu)時(shí)間所得到的一個(gè)折中經(jīng)驗(yàn)值.所有分塊大小均為16×16.

3.1　采集端測(cè)量值無(wú)量化情況下

為了方便和現(xiàn)有文獻(xiàn)的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比,文中對(duì)GOP=4和GOP=16兩種情況進(jìn)行實(shí)驗(yàn)分析.

為了和現(xiàn)有最新文獻(xiàn)[12,14-15]的實(shí)驗(yàn)結(jié)果進(jìn)行比較,實(shí)驗(yàn)條件完全按文獻(xiàn)中給出的設(shè)置,采用3組CIF@30Hz的標(biāo)準(zhǔn)視頻序列Foreman、Mobile、Football的前21幀(GOP=4,共5組GOP)進(jìn)行實(shí)驗(yàn),不同采樣率下5種算法的平均PSNR如表1所示.

表1GOP=4時(shí)5種算法的PSNR比較

Table1ComparisonofPSNRamongfivealgorithmswhenGOPis4

視頻R1R2PSNR/dBMRMHMH+TV[15]AR+TV[15]MH-PR[14]MC-BCS-SPL[12]Foreman0.10.129.028.928.628.328.20.30.334.735.034.834.133.90.50.539.138.638.337.537.60.70.138.336.436.235.934.20.70.340.439.238.938.337.20.70.541.940.940.539.639.2Mobile0.10.118.717.917.817.217.40.30.323.523.323.222.922.80.50.527.928.127.927.327.30.70.127.626.025.925.324.50.70.329.729.229.028.428.20.70.531.231.130.930.530.4Football0.10.123.522.822.622.322.10.30.329.229.128.828.228.10.50.533.633.132.631.532.60.70.130.529.028.828.427.10.70.333.632.532.231.831.50.70.536.034.934.333.534.2

從表1可見(jiàn),MRMH算法的PSNR值明顯高于其他算法,特別是關(guān)鍵幀和非關(guān)鍵幀的采樣率不同時(shí)(R1=0.7>R2,這種結(jié)構(gòu)更適合實(shí)際應(yīng)用),文中算法的優(yōu)越性更加明顯,在采樣率為0.1時(shí)文中算法對(duì)于Foreman、Mobile、Football序列的平均PSNR值比MH+TV算法[15]分別高出了1.9、1.6、1.5dB.這是因?yàn)槲闹兴惴▽?dāng)前GOP的前后關(guān)鍵幀作為長(zhǎng)期參考幀,因而高質(zhì)量重構(gòu)的關(guān)鍵幀信息得到了有效利用,從而大幅提升了非關(guān)鍵幀的重構(gòu)質(zhì)量.對(duì)于關(guān)鍵幀和非關(guān)鍵幀采樣率相同的情形,文中算法的PSNR值仍然在多數(shù)情況下高于其他算法,但優(yōu)勢(shì)不如關(guān)鍵幀和非關(guān)鍵幀采樣率不同時(shí)那么明顯.

在實(shí)驗(yàn)條件完全相同的情況,采用5個(gè)CIF@30Hz標(biāo)準(zhǔn)視頻序列Soccer、Mobile、Foreman、Coastguard、Mother-daughter來(lái)測(cè)試文中算法和BCS-SPL-DDWT算法[13](每個(gè)序列均為289幀,GOP長(zhǎng)度為16,共18組GOP),實(shí)驗(yàn)結(jié)果如圖3所示.由圖可見(jiàn),對(duì)于每一序列,文中算法的重構(gòu)質(zhì)量與幀內(nèi)獨(dú)立重構(gòu)相比均有顯著的提升,對(duì)于運(yùn)動(dòng)緩慢的Mother-daughter序列,在低采樣率0.1下的增益達(dá)到9.6dB,而對(duì)于運(yùn)動(dòng)較為劇烈的Soccer序列,采樣率為0.1時(shí)增益為2.5dB.可見(jiàn),文中算法即使在低采樣率下仍然具有較好的重構(gòu)性能.

3.2　采集端測(cè)量值幀間殘差量化情況下

為了進(jìn)一步降低碼率,提高視頻壓縮感知的壓縮率,文中將文獻(xiàn)[19]的分塊圖像壓縮感知DPCM量化方法應(yīng)用到視頻中,提出了視頻壓縮感知幀間DPCM量化方法:在采集端對(duì)當(dāng)前幀的真實(shí)測(cè)量值與前一幀的量化測(cè)量值的差值進(jìn)行均勻量化,在重構(gòu)端對(duì)殘差進(jìn)行解量化并加上前一幀的量化測(cè)量值得到當(dāng)前幀的量化測(cè)量值.由于相鄰視頻幀的測(cè)量值殘差與視頻幀自身測(cè)量值相比能量小了很多,因此與各幀單獨(dú)均勻量化相比有效地節(jié)省了碼率,獲得了高效的率失真性能,其量化框圖如圖4所示.

圖3　GOP=16時(shí)兩種算法的PSNR比較Fig.3　Comparison of PSNR between two algorithms when GOP is 16

圖4　視頻壓縮感知幀間DPCM量化框圖Fig.4　Architecture of frame-based DPCM quantization in compressed video sensing

由于現(xiàn)有文獻(xiàn)中還沒(méi)有給出類(lèi)似條件的實(shí)驗(yàn)結(jié)果,因此,該部分實(shí)驗(yàn)結(jié)果沒(méi)有和其他視頻壓縮感知算法做對(duì)比.文中僅給出了文中算法和傳統(tǒng)視頻編碼標(biāo)準(zhǔn)H.264幀內(nèi)編碼的率失真性能.

在GOP長(zhǎng)度為16時(shí),采用5個(gè)QCIF@15Hz測(cè)試序列Soccer、Coastguard、Foreman、Hall、Suzie對(duì)文中算法進(jìn)行仿真,每個(gè)序列為150幀,其中幀率為15Hz的序列是從幀率為30Hz的序列隔幀抽取所得.H.264幀內(nèi)編碼在H.264/AVC參考軟件JM18.6平臺(tái)上實(shí)現(xiàn),將所有編碼幀設(shè)為I幀,量化步長(zhǎng)QP的取值為20,24,28,…,44.實(shí)驗(yàn)結(jié)果如圖5所示.

由圖5可見(jiàn),在對(duì)測(cè)量值進(jìn)行幀間DPCM量化后,MRMH算法的壓縮率得到有效的提升：對(duì)于運(yùn)動(dòng)緩慢的Suzie序列,PSRN為30dB時(shí)對(duì)應(yīng)的碼率約為73kb/s,此時(shí)的壓縮率約為1/42;對(duì)于運(yùn)動(dòng)中等劇烈的Foreman序列,PSRN為30dB時(shí)對(duì)應(yīng)的碼率約為255kb/s,此時(shí)的壓縮率約為1/12.從圖5還可以看出,MRMH算法與H.264幀內(nèi)編碼還存在著較大的率失真性能差距,而且差距隨著碼率的增加逐漸擴(kuò)大,對(duì)于運(yùn)動(dòng)劇烈的Soccer序列,碼率為500kb/s時(shí)PSNR差距達(dá)到10dB.可見(jiàn),文中視頻壓縮感知重構(gòu)算法的率失真性能與傳統(tǒng)視頻編碼仍然有較大的差距,研究高性能的視頻壓縮感知重構(gòu)算法仍然是一個(gè)關(guān)鍵而艱巨的問(wèn)題.

實(shí)驗(yàn)中發(fā)現(xiàn),關(guān)鍵幀采樣率R1、非關(guān)鍵幀采樣率R2、關(guān)鍵幀量化精度B和非關(guān)鍵幀量化精度b的選取對(duì)碼率和重構(gòu)性能都有影響,文中通過(guò)遍歷各種不同的量化參數(shù)組合(R1,R2,B,b)得到最優(yōu)率失真性能曲線(xiàn).如何在實(shí)際中根據(jù)信號(hào)特征選取最優(yōu)參數(shù)組合是下一步研究的重點(diǎn).

4結(jié)論

圖5　MRMH算法在幀間DPCM量化下與H.264幀內(nèi)編碼的率失真性能比較Fig.5　Comparison of rate-distortion performance between MRMH algorithm under frame-based DPCM quantization and H.264 intra-coding

文中提出了基于多參考幀的最優(yōu)多假設(shè)預(yù)測(cè)視頻壓縮感知重構(gòu)算法.首先,針對(duì)多假設(shè)預(yù)測(cè)提出了一種最優(yōu)假設(shè)塊選擇方案(HSS),該方案通過(guò)選取與當(dāng)前塊測(cè)量域SAD最小的一部分搜索塊作為最優(yōu)多假設(shè)塊,在使多假設(shè)線(xiàn)性權(quán)值系數(shù)的求解計(jì)算復(fù)雜度大大降低的同時(shí)有效地提升了預(yù)測(cè)精度.其次,引入多參考幀技術(shù),從多個(gè)參考幀中選取最優(yōu)假設(shè)塊,進(jìn)一步挖掘了視頻幀間相關(guān)信息,使預(yù)測(cè)精度進(jìn)一步提升.最后,為了進(jìn)一步提高壓縮效率,文中提出了視頻壓縮感知幀間DPCM量化方案,獲得了高效的率失真性能.仿真實(shí)驗(yàn)結(jié)果表明,與現(xiàn)有的視頻壓縮感知重構(gòu)算法相比,文中MRMH算法具有更高的視頻重構(gòu)質(zhì)量,但與傳統(tǒng)視頻編碼標(biāo)準(zhǔn)H.264幀內(nèi)編碼相比仍然存在較大的率失真性能差距.如何根據(jù)不同視頻序列特征及不同采樣率自適應(yīng)地設(shè)定最優(yōu)多假設(shè)塊數(shù)量,以及基于不同信號(hào)特征的最優(yōu)量化參數(shù)設(shè)置方法,是后續(xù)研究的重點(diǎn).

參考文獻(xiàn):

[1]CANDESEJ,ROMBERGJ,TAOT.Robustuncertaintyprinciples:exactsignalreconstructionfromhighlyincompletefrequencyinformation[J].IEEETransactionsonInformationTheory,2006,52(2):489-509.

[2]DONOHODL.Compressedsensing[J].IEEETransactionsonInformationTheory,2006,52(4):1289-1306.

[3]QAISARS,BILALRM,IQBAlW,etal.Compressivesensing:fromtheorytoapplications,asurvey[J].JournalofCommunicationsandNetworks,2013,15(5):443- 456.

[4]曾春艷,馬麗紅,杜明輝.前向預(yù)測(cè)與回溯結(jié)合的正交匹配追蹤算法 [J].華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2012,40(8):14-19.

ZENGChun-yan,MALi-hong,DUMing-hui.Lookaheadandbacktracking-basedorthogonalmatchingpursuitalgorithm[J].JournalofSouthChinaUniversityofTechnology(NaturalScienceEdition),2012,40(8):14-19.

[5]王蓉芳,焦李成,劉芳,等.利用紋理信息的圖像分塊自適應(yīng)壓縮感知 [J].電子學(xué)報(bào),2013,41(8):1506-1514.

WANGRong-fang,JIAOLi-cheng,LIUFang,etal.Block-basedadaptivecompressedsensingofimageusingtextureinformation[J].ActaElectronicaSinica,2013,41(8):1506-1514.

[6]李然,干宗良,崔子冠,等.圖像分塊壓縮感知中的自適應(yīng)測(cè)量率設(shè)定方法 [J].通信學(xué)報(bào),2014,35(7):79-85.

LIRan,GANZong-liang,CUIZi-guan,etal.Adaptivemeasurementratesettingmethodinblockcompressedsensingofimages[J].JournalofCommunications,2014,35(7):79-85.

[7]胡偉,朱衛(wèi)平,康彬,等.幀測(cè)量率自適應(yīng)分配的分布式視頻壓縮感知 [J].信號(hào)處理,2014,30(5):575-582.

HUWei,ZHUWei-ping,KANGBin,etal.Distributedcompressivevideosensingbyadaptiveallocationofframemeasuringrate[J].JournalofSignalProcessing,2014,30(5):575-582.

[8]LIUZ,WANGAH,ZENGB,etal.Distributedcompre-ssivevideosensingwithadaptivemeasurementsbasedonstructuralsimilarity[J].ChineseJournalofElectronics,2013,22(3):594-598.

[9]LIUY,LIM,PADOSDA.Motion-awaredecodingofcompressed-sensedvideo[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2013,23(3):438- 444.

[10]NARAYANANS,MAKURA.Compressivecodedvideocompressionusingmeasurementdomainmotionestimation[C]∥ProceedingsofIEEEInternationalConfe-renceonElectronics,ComputingandCommunicationTechnologies.Bangalore:IEEE,2014:1-6.

[11]GUOJ,SONGB,LIUHX,etal.Motionestimationinmeasurementdomainforcompressedvideosensing[C]∥ProceedingsofIEEEInternationalConferenceonCompu-terandInformationTechnology.Xi’an:IEEE,2014:441-445.

[12]MUNS,FOWLERJE.Residualreconstructionforblock-basedcompressedsensingofvideo[C]∥ProceedingsofIEEEDataCompressionConference.Snowbird:IEEE,2011:183-192.

[13]MUNS,FOWLERJE.Blockcompressedsensingofimagesusingdirectionaltransforms[C]∥ProceedingsofIEEEInternationalConferenceonImageProcessing.Cairo:IEEE,2009:3021-3024.

[14]TRAMELEW,FOWLERJE.Videocompressedsen-singwithmultihypothesis[C]∥ProceedingsofIEEEDataCompressionConference.Snowbird:IEEE,2011:193-202.

[15]李然,干宗良,崔子冠,等.聯(lián)合時(shí)空特征的視頻分塊壓縮感知重構(gòu) [J].電子與信息學(xué)報(bào),2014,36(2):285-292.

LIRan,GANZong-liang,CUIZi-guan,etal.Blockcompressedsensingreconstructionofvideocombinedwithtemporal-spatialcharacteristics[J].JournalofElectro-nics&InformationTechnology,2014,36(2):285-292.

[16]練秋生,田天,陳書(shū)貞,等.基于變采樣率的多假設(shè)預(yù)測(cè)分塊視頻壓縮感知 [J].電子與信息學(xué)報(bào),2013,35(1):203-208.

LIANQiu-sheng,TIANTian,CHENShu-zhen,etal.Blockcompressedsensingofvideobasedonvariablesamplingratesandmultihypothesispredictions[J].JournalofElectronics&InformationTechnology,2013,35(1):203-208.

[17]常侃,覃團(tuán)發(fā),唐振華.基于聯(lián)合總變分最小化的視頻壓縮感知重建算法 [J].電子學(xué)報(bào),2014,42(12):2415-2421.

CHANGKan,QINTuan-fa,TANGZhen-hua.Reconstructionalgorithmforcompressedsensingofvideobasedonjointtotalvariationminimization[J].ActaElectronicaSinica,2014,42(12):2415-2421.

[18]KIMSE,HANJK,KIMJG.AnefficientschemeformotionestimationusingmultireferenceframesinH.264/AVC[J].IEEETransactionsonMultimedia,2006,8(3):457- 466.

[19]MUNS,FOWLERJE.DPCMforquantizedblock-basedcompressedsensingofimages[C]∥Proceedingsofthe20thEuropeanSignalProcessingConference.Bucharest:IEEE,2012:1424-1428.

[20]GANL.Blockcompressedsensingofnaturalimages[C]∥Proceedingsofthe15thInternationalConferenceonDi-gitalSignalProcessing.Cardiff:IEEE,2007:403- 406.

[21]CHENC,TRAMELEW,FOWLERJE.Compressed-sensingrecoveryofimagesandvideousingmultihypo-thesispredictions[C]∥Proceedingsofthe45thAsilomarConferenceonSignals,Systems,andComputers.PacificGrove:IEEE,2011:1193-1198.

[22]GUOJ,KIMJ.Adaptivemotionvectorsmoothingforimprovingsideinformationindistributedvideocoding[J].JournalofInformationProcessingSystems,2011,7(1):103-110.

Multi-Reference Frames-Based Optimal Multi-Hypothesis Prediction

Algorithm for Compressed Video Sensing

YANGChun-lingOUWei-feng

(School of Electronic and Information Engineering, South China University of Technology, Guangzhou 510640, Guangdong, China)

Abstract:The existing multi-hypothesis prediction methods for compressed video sensing (CVS) select all possible blocks within the search space of reference frames as the hypotheses, which causes a high computation load in solving linear weighting coefficients and impairs prediction accuracy. To address this issue, a multi-reference frames-based optimal multi-hypothesis prediction algorithm for CVS reconstruction is proposed in this paper. In the algorithm, first, those search blocks which have the smallest sum of absolute differences (SAD) from current block in measurement domain are selected from multi-reference frames as the optimal hypotheses of current block. Then, the hypotheses are weighted both linearly and adaptively to fully excavate the temporal correlation between video frames. Thus, the prediction accuracy is improved and the computation load in solving linear weighting coefficients is reduced. Finally, the compressed sensing measurements are quantized through the frame-based DPCM quantization to improve video compression efficiency and rate-distortion performance. Simulation results show that, in comparison with the existing CVS reconstruction algorithms, the proposed algorithm achieves higher video reconstruction quality.

Key words:compressed sensing; video reconstruction; multi-reference frames; multi-hypothesis prediction; quantization

doi：10.3969/j.issn.1000-565X.2016.01.001

中圖分類(lèi)號(hào)：TN919.8

作者簡(jiǎn)介：楊春玲(1970-),女,博士,教授,主要從事圖像/視頻壓縮研究.E-mail:eeclyang@scut.edu.cn

*基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目(61471173)

收稿日期：2015- 04-13

文章編號(hào)：1000-565X(2016)01- 0001- 08

Foundation item： Supported by the National Natural Science Foundation of China(61471173)