聯(lián)合時(shí)空特征的視頻分塊壓縮感知重構(gòu)

李 然 干宗良 崔子冠 武明虎 朱秀昌

?

聯(lián)合時(shí)空特征的視頻分塊壓縮感知重構(gòu)

李 然 干宗良 崔子冠 武明虎 朱秀昌*

(南京郵電大學(xué)江蘇省圖像處理與圖像通信重點(diǎn)實(shí)驗(yàn)室 南京 210003)

為了提高視頻壓縮感知(CS)重構(gòu)算法的率失真性能，該文提出利用視頻的時(shí)空特征進(jìn)行聯(lián)合重構(gòu)。為了不引入過(guò)多的復(fù)雜度，采集端以固定采樣率對(duì)幀內(nèi)各塊進(jìn)行測(cè)量；重構(gòu)端則在最小全變差(TV)重構(gòu)模型的基礎(chǔ)上，分別加入利用時(shí)空自回歸(AR)模型和多假設(shè)(MH)模型所形成的正則化項(xiàng)，以提高預(yù)測(cè)-殘差重構(gòu)的性能。另外，考慮到視頻源的統(tǒng)計(jì)特性在時(shí)空域中是動(dòng)態(tài)變化的，討論了5種不同的幀間預(yù)測(cè)模式對(duì)重構(gòu)精度和重構(gòu)計(jì)算復(fù)雜度的影響。仿真實(shí)驗(yàn)表明，所提出的重構(gòu)算法能夠以一定的計(jì)算復(fù)雜度為代價(jià)有效地改善視頻重構(gòu)質(zhì)量，且在關(guān)鍵幀采樣率高于非關(guān)鍵幀的情形下，幀間預(yù)測(cè)模式的改善也可一定程度上提高視頻重構(gòu)質(zhì)量。

壓縮感知；視頻重構(gòu)；最小全變差；時(shí)空自回歸；多假設(shè)；預(yù)測(cè)-殘差重構(gòu)

1 引言

壓縮感知(Compressed Sensing, CS)旨在以欠奈奎斯特(Sub-Nyquist)速率采樣信號(hào)，以降維方式實(shí)現(xiàn)在采樣信號(hào)的同時(shí)壓縮信號(hào)[1]。該理論表明，具有一定結(jié)構(gòu)性的信號(hào)(例如，變換系數(shù)是稀疏或可壓縮的)可從少量隨機(jī)測(cè)量值中以極大概率無(wú)失真恢復(fù)原始信號(hào)[2,3]。將CS理論應(yīng)用到圖像和視頻信號(hào)采集上可大大減少傳感器的數(shù)量，從而實(shí)現(xiàn)低成本、低能耗和低計(jì)算復(fù)雜度的數(shù)據(jù)采集。

考慮到計(jì)算復(fù)雜度，視頻壓縮感知采集端應(yīng)盡量簡(jiǎn)單。本文方法仍以固定采樣率測(cè)量幀內(nèi)各塊，僅在接受端加入適當(dāng)?shù)恼齽t化項(xiàng)來(lái)提高預(yù)測(cè)精度，從而改善預(yù)測(cè)-殘差重構(gòu)的率失真性能。根據(jù)視頻信號(hào)的時(shí)空特征，分別將基于像素的時(shí)空AR模型和基于塊的MH模型與全變差(Total Variation, TV)模型相結(jié)合，形成兩種不同的聯(lián)合時(shí)空特征的預(yù)測(cè)-殘差重構(gòu)模型，這兩種模型均能有效利用視頻信號(hào)的時(shí)間和空間相關(guān)性，提高視頻重構(gòu)質(zhì)量。另外，由于幀間統(tǒng)計(jì)相關(guān)特性隨時(shí)間變化，本文也討論了5種幀間預(yù)測(cè)模式對(duì)視頻重構(gòu)質(zhì)量和計(jì)算復(fù)雜度的影響。仿真實(shí)驗(yàn)表明，本文提出的兩種算法均能以一定的計(jì)算復(fù)雜度為代價(jià)換取率失真性能的提高，而幀間預(yù)測(cè)模式的改善進(jìn)一步提高了視頻重構(gòu)的質(zhì)量。

2 圖像分塊壓縮感知的全局重構(gòu)模型

文獻(xiàn)[7]提出的BCS首先將I×I個(gè)像素的圖像分成個(gè)尺寸為×的塊，第個(gè)塊的列向量形式記為，然后使用相同的高斯隨機(jī)測(cè)量矩陣對(duì)進(jìn)行測(cè)量，得到相應(yīng)長(zhǎng)度為M的觀測(cè)值向量，上述過(guò)程可記為

由式(1)可看出，觀測(cè)值向量并不是對(duì)整幅圖像作CS測(cè)量得到的，而是由各圖像塊相應(yīng)的觀測(cè)值向量按列組合而成，因此接收端無(wú)法一次重構(gòu)整幅圖像，而是獨(dú)立地重構(gòu)各圖像塊。這種局部重構(gòu)方式割裂了圖像的空間特征，導(dǎo)致了塊效應(yīng)等問(wèn)題。為了克服該缺陷，文獻(xiàn)[18]通過(guò)引入排序算子得到式(1)的等價(jià)形式如式(2)：

其中(,)是圖像的像素坐標(biāo)，1為垂直方向差分1=(,)–(–1,),2為水平方向差分2=(,) –(,–1)。因此，利用圖像梯度域的稀疏性，圖像CS重構(gòu)問(wèn)題可采用最小TV模型求解。

3 聯(lián)合時(shí)空特征的視頻重構(gòu)

在重構(gòu)視頻信號(hào)時(shí)，除了考慮幀內(nèi)的空間相關(guān)性外，幀間的時(shí)間相關(guān)性也應(yīng)被充分利用。時(shí)空AR模型能夠很好地描述時(shí)空域像素之間的相關(guān)性，在幀率提升算法(Frame Rate Up-Conversion, FRUC)和邊信息(Side Information, SI)估計(jì)算法中經(jīng)常使用[19,20]；MH模型充分利用了幀間塊與塊的結(jié)構(gòu)相似性，應(yīng)用到傳統(tǒng)視頻編碼的運(yùn)動(dòng)補(bǔ)償(Motion Compensation, MC)中獲得了很好的效果[21]。本文將上述兩種描述時(shí)間相關(guān)特征的模型分別與描述空間相關(guān)特征的TV模型相結(jié)合，提出了兩種聯(lián)合時(shí)空特征的預(yù)測(cè)-殘差重構(gòu)模型。

3.1 時(shí)空AR模型與TV模型聯(lián)合重構(gòu)

將時(shí)空AR模型與TV模型結(jié)合，可構(gòu)造出式(5)所示的當(dāng)前幀預(yù)測(cè)模型：

步驟1 初始化：令(0)=SI；設(shè)定初始迭代= 1和最大迭代次數(shù)maxiter。

步驟2 固定(k)，求解：

該式具有閉式解如式(7)：

其中為在鄰近幀相對(duì)應(yīng)位置處的半徑為1的搜索窗，為搜索窗中的候選匹配塊，為權(quán)衡因子。由于中包含有圖像的全部信息，所以在式(8)中第1項(xiàng)較為重要，本文中值取為0.3。

該式的等價(jià)形式為

其中

可使用TVAL3工具箱[23]求解式(10)，需要注意的是，在該工具箱中需要設(shè)定的參數(shù)反比于正則化參數(shù)。

其中為當(dāng)前幀的殘差幀。

3.2 MH模型與TV模型聯(lián)合重構(gòu)

如圖2所示，在MH模型中，當(dāng)前幀的每一個(gè)塊B,m可由鄰近幀相對(duì)應(yīng)位置處的半徑為2的搜索窗內(nèi)所有候選塊線性加權(quán)估計(jì)。與時(shí)空AR模型類似，MH模型也可分為P幀情形(圖2(a))和B幀情形(圖2(b))。

將MH模型與TV模型結(jié)合，可構(gòu)造出如式(13)所示的當(dāng)前幀預(yù)測(cè)模型：

圖2 MH模型

步驟1 初始化：令(0)=SI；設(shè)定初始迭代= 1和最大迭代次數(shù)maxiter。

該式具有閉式解如式(16)：

與時(shí)空AR模型相似，式(17)仍可等價(jià)為與式(10)相同的形式并采用TVAL3工具箱求解，不再贅述。

考慮計(jì)算復(fù)雜度，最大迭代次數(shù)maxiter設(shè)為3。與時(shí)空AR模型相同，重構(gòu)殘差使用BCS-SPL- DDWT算法。

3.3 幀間預(yù)測(cè)模式

在預(yù)測(cè)-殘差重構(gòu)模型中，視頻信號(hào)首先會(huì)被劃分為若干個(gè)長(zhǎng)度為的圖片組(Group Of Pictures, GOP)，接著對(duì)它們分別采樣和重構(gòu)，最后合并成整個(gè)視頻信號(hào)。每組GOP均由關(guān)鍵幀和非關(guān)鍵幀組成：關(guān)鍵幀以較高的采樣率進(jìn)行測(cè)量，而非關(guān)鍵幀則以較低的采樣率測(cè)量。由于關(guān)鍵幀采樣率較高，因此可采用靜止圖像CS算法進(jìn)行重構(gòu)，也稱之為I幀。然而，低采樣率的非關(guān)鍵幀必須通過(guò)參考相鄰幀才可達(dá)到與關(guān)鍵幀可比的重構(gòu)質(zhì)量：若僅參考前一重構(gòu)幀，則稱之P幀；若參考前后兩重構(gòu)幀，則稱之B幀。由于視頻源的統(tǒng)計(jì)特性在時(shí)空域中是動(dòng)態(tài)變化的，所以不同幀間預(yù)測(cè)模式會(huì)對(duì)視頻重構(gòu)質(zhì)量造成一定影響。文獻(xiàn)[14]提出了兩種單向幀間預(yù)測(cè)模型(如圖3(a), 3(b)所示)，雖然能夠滿足實(shí)時(shí)的視頻采集和重構(gòu)，但并未引入B幀。適當(dāng)?shù)夭迦隑幀，雖然會(huì)使視頻系統(tǒng)喪失實(shí)時(shí)性，但也能夠提升一定的重構(gòu)精度。文獻(xiàn)[24]討論的多視點(diǎn)視頻的預(yù)測(cè)模式提出3種加入B幀的幀間預(yù)測(cè)模式(以= 4為例)，如圖3(c), 3(d), 3(e)所示。

圖3 5種幀間預(yù)測(cè)模式(方框右上角數(shù)字為預(yù)測(cè)順序)

雙向預(yù)測(cè)模式在連續(xù)兩個(gè)I幀中全部插入B幀，該模式充分利用了前后幀的相關(guān)特性，能夠提升一定的重構(gòu)精度，但是B幀的重構(gòu)計(jì)算復(fù)雜度過(guò)高，為了適當(dāng)?shù)販p少計(jì)算復(fù)雜度，將其中兩個(gè)B幀替換成P幀，形成混合預(yù)測(cè)模式。在混合預(yù)測(cè)模式1中，考慮到采樣率較高的I幀，其重構(gòu)質(zhì)量較好，所以B幀參考前后I幀進(jìn)行重構(gòu)。然而，考慮到B幀與I幀間隔較遠(yuǎn)，時(shí)間相關(guān)性減弱，所以混合預(yù)測(cè)模式2中的B幀使用前后P幀進(jìn)行重構(gòu)。5種幀間預(yù)測(cè)模式的優(yōu)劣，將在第4.2節(jié)結(jié)合實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析。

4 實(shí)驗(yàn)結(jié)果與分析

采用3組格式為CIF的標(biāo)準(zhǔn)視頻序列Foreman, Mobile和Football的前21幀(GOP的長(zhǎng)度= 4，共5組GOP)分別測(cè)試本文提出的算法和幀間預(yù)測(cè)模式的性能。每個(gè)GOP的關(guān)鍵幀(I幀)采用文獻(xiàn)[10]提出的BCS框架下基于MH預(yù)測(cè)的SPL(MH-BCS- SPL)算法進(jìn)行獨(dú)立幀內(nèi)重構(gòu)；對(duì)于非關(guān)鍵幀，采用3種對(duì)比算法與本文算法進(jìn)行比較，它們分別是文獻(xiàn)[13]提出的分布式壓縮視頻感知(DIStributed Compressed Video Sensing, DISCVS)框架下的重構(gòu)算法，文獻(xiàn)[14]提出的BCS框架下基于MC的SPL (MC-BCS-SPL)算法和文獻(xiàn)[15]提出的多假設(shè)預(yù)測(cè)-殘差重構(gòu)(Multi-Hypothesis Prediction-Residual Reconstruction, MHPR)算法。所有算法的分塊尺寸=16，關(guān)鍵幀和非關(guān)鍵幀的采樣率分別用K和NK表示，所提出的兩種算法的參數(shù)設(shè)置如下：

(1)時(shí)空AR模型與TV模型聯(lián)合重構(gòu)(AR+ TV)：鄰域半徑= 1;,i的尺寸=/2；搜索窗半徑1=；正則化因子和分別取0.2和0.1；TVAL3的設(shè)定參數(shù)取為28。

(2)MH模型與TV模型聯(lián)合重構(gòu)(MH+TV)：Bm的尺寸=；搜索窗半徑2=；正則化因子和分別取0.1和0.01; TVAL3的設(shè)定參數(shù)取為28。

評(píng)價(jià)性能的指標(biāo)分別為可反映客觀質(zhì)量的峰值信噪比(Peak Signal-Noise Ratio, PSNR)，可反映主觀視覺(jué)質(zhì)量的結(jié)構(gòu)相似性指數(shù)[25](Structural SIMilarity, SSIM)和可反映計(jì)算復(fù)雜度的重構(gòu)時(shí)間。實(shí)驗(yàn)的硬件平臺(tái)為主頻3.20 GHz的酷睿i5 CPU計(jì)算機(jī)，軟件平臺(tái)為Windows 7 64位操作系統(tǒng)和Matlab 7.6仿真實(shí)驗(yàn)軟件。

4.1 本文算法的性能分析

4.2 幀間預(yù)測(cè)模式的性能分析

表2列出了各幀間預(yù)測(cè)模式下所有算法重構(gòu)出不同視頻序列的平均PSNR值，SSIM值和重構(gòu)時(shí)間。表2表明當(dāng)K與NK均取0.3時(shí)，各種預(yù)測(cè)模式重構(gòu)視頻質(zhì)量相差無(wú)幾，性能最好的雙向預(yù)測(cè)模式的PSNR值僅比最差的單向預(yù)測(cè)模式1高了0.5 dB，這說(shuō)明在關(guān)鍵幀與非關(guān)鍵幀采樣率相同的情形下，通過(guò)改變幀間預(yù)測(cè)模式并不能有效地改善重構(gòu)視頻的質(zhì)量，原因在于關(guān)鍵幀的重構(gòu)質(zhì)量較差，導(dǎo)致非關(guān)鍵幀無(wú)法依靠關(guān)鍵幀提高重構(gòu)質(zhì)量。當(dāng)K= 0.7,NK= 0.3時(shí)，可看到重構(gòu)視頻序列的平均PSNR值和SSIM值均得到了大幅提高，且性能最好的雙向預(yù)測(cè)模式的PSNR值比最差的單向預(yù)測(cè)模式1高出0.7~1.7 dB，這說(shuō)明在關(guān)鍵幀采樣率高于非關(guān)鍵幀的情形下，幀間預(yù)測(cè)模式的改善可提高視頻重構(gòu)質(zhì)量。在所有預(yù)測(cè)模式中，可看出單向預(yù)測(cè)模式1的重構(gòu)質(zhì)量最差，但其計(jì)算復(fù)雜度低，所需的重構(gòu)時(shí)間短；單向預(yù)測(cè)模式2的重構(gòu)質(zhì)量略優(yōu)于單向預(yù)測(cè)模式1，但由于重構(gòu)GOP組的中心幀時(shí)需要重構(gòu)2次取平均，導(dǎo)致其重構(gòu)時(shí)間最長(zhǎng)；雙向預(yù)測(cè)模式中的非關(guān)鍵幀均為B幀，因此其重構(gòu)精度最高，但B幀過(guò)多使得其計(jì)算復(fù)雜度較高；與雙向預(yù)測(cè)模式相比，混合預(yù)測(cè)模式1和混合預(yù)測(cè)模式2均縮短了一定的重構(gòu)時(shí)間，但重構(gòu)視頻質(zhì)量有所下降；比較混合預(yù)測(cè)模式1與混合預(yù)測(cè)模式2，對(duì)于運(yùn)動(dòng)較慢的視頻序列Foreman和Mobile，其重構(gòu)視頻的質(zhì)量基本相同，然而，對(duì)于包含快速運(yùn)動(dòng)的視頻序列Football，混合預(yù)測(cè)模式2重構(gòu)視頻質(zhì)量高于混合預(yù)測(cè)模式1，其PSNR增益為0.3 dB，這說(shuō)明對(duì)于快速運(yùn)動(dòng)的視頻序列，時(shí)間相關(guān)性更為重要。

圖4 SK = 0.7, SNK = 0.3時(shí)，F(xiàn)oreman視頻第2幀的重構(gòu)結(jié)果(局部放大)

表1幀間預(yù)測(cè)模式為混合預(yù)測(cè)模式1時(shí)，不同采樣率下各種視頻重構(gòu)算法的性能比較：PSNR(dB)/SSIM/重構(gòu)時(shí)間(s)

重構(gòu)算法SNK(SK = SNK) 0.10.30.5平均 Foreman DISCOS27.7/0.769/14.333.3/0.881/15.037.0/0.936/13.832.7/0.862/14.4 MC-BCS-SPL28.2/0.817/47.533.9/0.915/37.437.6/0.959/28.733.2/0.897/37.9 MHPR28.3/0.826/13.334.1/0.928/14.137.5/0.957/12.733.3/0.904/13.4 AR+TV28.6/0.831/49.034.8/0.934/54.738.3/0.965/57.033.9/0.910/53.6 MH+TV28.9/0.843/45.235.0/0.939/46.038.6/0.968/44.834.2/0.917/45.3 Mobile DISCOS16.5/0.303/10.221.5/0.639/13.126.4/0.819/13.821.5/0.587/12.4 MC-BCS-SPL17.4/0.395/40.022.8/0.735/28.427.3/0.866/25.822.5/0.665/31.4 MHPR17.2/0.389/8.722.9/0.736/12.227.3/0.874/11.422.5/0.666/10.8 AR+TV17.8/0.420/47.423.2/0.745/55.827.9/0.887/61.423.0/0.684/54.9 MH+TV17.9/0.427/41.323.3/0.752/45.528.1/0.892/45.123.1/0.690/44.0 Football DISCOS21.3/0.485/12.026.7/0.737/13.630.7/0.859/13.426.2/0.694/13.0 MC-BCS-SPL22.1/0.568/54.128.1/0.815/42.932.6/0.918/31.027.6/0.767/42.7 MHPR22.3/0.593/9.728.2/0.818/11.631.5/0.903/11.027.3/0.771/10.8 AR+TV22.6/0.604/48.428.8/0.843/56.232.6/0.919/59.828.0/0.789/54.8 MH+TV22.8/0.616/42.929.1/0.852/45.533.1/0.926/44.928.3/0.798/44.4 重構(gòu)算法SNK(SK =0.7) 0.10.30.5平均 Foreman DISCOS34.7/0.906/10.236.6/0.927/10.038.4/0.948/10.636.6/0.927/10.3 MC-BCS-SPL34.2/0.914/40.737.2/0.932/31.739.2/0.957/25.236.9/0.934/32.5 MHPR35.9/0.919/8.938.3/0.951/9.339.6/0.968/9.137.9/0.946/9.1 AR+TV36.2/0.939/44.538.9/0.964/49.440.5/0.974/53.938.5/0.959/49.3 MH+TV36.4/0.943/40.839.2/0.967/41.440.9/0.976/44.838.8/0.962/42.3 Mobile DISCOS25.0/0.796/14.827.5/0.853/14.929.3/0.887/15.427.3/0.845/18.4 MC-BCS-SPL24.5/0.796/47.728.2/0.896/33.830.4/0.921/29.027.7/0.871/36.8 MHPR25.3/0.822/12.828.4/0.903/12.930.5/0.933/13.028.1/0.886/12.9 AR+TV25.9/0.842/52.429.0/0.910/57.030.9/0.935/63.328.6/0.896/57.6 MH+TV26.0/0.848/46.829.2/0.916/48.431.1/0.940/47.628.8/0.901/47.6 Football DISCOS27.3/0.741/13.429.9/0.823/13.532.3/0.888/13.929.8/0.817/13.6 MC-BCS-SPL27.1/0.770/58.631.5/0.892/43.834.2/0.942/32.130.9/0.868/44.8 MHPR28.4/0.814/11.131.8/0.897/11.333.5/0.934/11.431.2/0.882/11.3 AR+TV28.8/0.824/47.332.2/0.911/53.934.3/0.942/59.431.8/0.892/53.5 MH+TV29.0/0.831/44.532.5/0.918/46.234.9/0.949/45.232.1/0.899/45.3

預(yù)測(cè)模式SK = SNK = 0.3 ForemanMobileFootball 單向預(yù)測(cè)模式134.1/0.917/27.222.7/0.717/25.028.1/0.806/27.7 單向預(yù)測(cè)模式234.3/0.921/78.022.8/0.722/74.828.5/0.821/83.9 雙向預(yù)測(cè)模式34.6/0.925/44.223.3/0.746/41.028.6/0.823/46.1 混合預(yù)測(cè)模式134.2/0.919/33.422.7/0.721/31.028.2/0.813/34.0 混合預(yù)測(cè)模式234.3/0.920/32.522.7/0.721/30.428.4/0.820/33.4 預(yù)測(cè)模式SK =0.7, SNK = 0.3 ForemanMobileFootball 單向預(yù)測(cè)模式137.4/0.940/22.127.3/0.864/27.131.3/0.874/27.4 單向預(yù)測(cè)模式238.0/0.946/72.128.1/0.888/78.531.9/0.893/84.7 雙向預(yù)測(cè)模式38.5/0.952/39.229.0/0.907/44.332.0/0.895/46.1 混合預(yù)測(cè)模式138.0/0.948/28.428.5/0.896/33.431.6/0.888/33.7 混合預(yù)測(cè)模式238.0/0.947/27.828.3/0.890/32.631.9/0.893/33.7

5 結(jié)束語(yǔ)

本文分別將基于像素的時(shí)空AR模型和基于塊的MH模型與TV模型相結(jié)合，提出了兩種聯(lián)合時(shí)空特征的預(yù)測(cè)-殘差視頻壓縮感知重構(gòu)算法。為了避免不必要的計(jì)算復(fù)雜度，采集端以固定采樣率測(cè)量幀內(nèi)各塊；重構(gòu)端則在最小TV重構(gòu)模型的基礎(chǔ)上，通過(guò)分別加入利用時(shí)空AR模型與MH模型所形成的正則化項(xiàng)來(lái)提高視頻的預(yù)測(cè)精度。另外，考慮到視頻源的統(tǒng)計(jì)特性在時(shí)空域中動(dòng)態(tài)變化的特點(diǎn)，討論了5種不同的幀間預(yù)測(cè)模式對(duì)重構(gòu)精度和重構(gòu)計(jì)算復(fù)雜度的影響。仿真實(shí)驗(yàn)表明，本文提出的聯(lián)合時(shí)空特征的重構(gòu)算法能夠以一定的計(jì)算復(fù)雜度為代價(jià)有效地改善視頻重構(gòu)質(zhì)量，且在關(guān)鍵幀采樣率高于非關(guān)鍵幀的情形下，幀間預(yù)測(cè)模式的改善也可一定程度上提高視頻重構(gòu)質(zhì)量。

[1] Eldar Y C and Kutyniok G. Compressed Sensing: Theory and Applications[M]. Cambridge: Cambridge University Press, 2012: 1-5.

[2] Candes E J, Romberg J, and Tao T. Stable signal recovery from incomplete and inaccurate measurements[J]., 2006, 59(8): 1207-1223.

[3] Baraniuk R C, Cevher V, Duarte M F,.. Model-based compressive sensing[J]., 2010, 56(4): 1982-2001.

[4] Oechard G, Zhang J, Suo Y,.. Real time compressive sensing video reconstruction in hardware[J]., 2012, 2(3): 604-614.

[5] Holloway J, Sankaranarayanan A C, Veeraraghavan, A,.. Flutter shutter video camera for compressive of videos[C]. IEEE International Conference on Computational Photography, Seattle, WA, 2012: 1-9.

[6] Sankaranarayanan A C, Studer C, and Baraniuk R G. CS-MUVI: video compressive sensing for spatial-multiplexing cameras[C]. IEEE International Conference on Computational Photography, Seattle, WA, 2012: 1-10.

[7] Gan L. Block compressed sensing of natural images[C]. International Conference on Digital Signal Processing, Cardiff, UK, 2007: 403-406.

[8] Tramel E W. Distance-weighted regularization for compressed sensing video recovery and supervised hyperspectral classification[D]. [Ph.D. dissertation], Mississippi State University, 2012.

[9] Mun S and Fowler J E. Block compressed sensing of images using directional transforms[C]. International Conference on Image Processing, Cario, Egypt, 2009: 3021-3024.

[10] Chen C, Tramel E W, and Fowler J E. Compressed sensing recovery of images and video using multihypothesis predictions[C]. Conference Record of the 46th Asilomar Conference, Pracific Grove, CA, 2011: 1193-1198.

[11] Chartrand R. Nonconvex splitting for regularized low-rank + sparse decomposition[J]., 2012, 60(11): 5810-5819.

[12] Shu X and Ahuja N. Imaging via three-dimensional compressive sampling (3DCS)[C]. IEEE International Conference on Computer Vision, Barcelona, 2011: 439-446.

[13] Do T T, Chen Y, Nguyen D T,.. Distributed compressed video sensing[C]. IEEE International Conference on Image Processing, Cario, Egypt, 2009: 1393-1396.

[14] Mun S and Fowler J E. Residual reconstruction for block- based compressed sensing of video[C]. Data Compression Conference, Snowbird, UT, 2011: 183-192.

[15] Tramel E W and Fowler J E. Video compressed sensing with multihypothesis[C]. Data Compression Conference, Snowbird, UT, 2011: 193-202.

[16] 李星秀, 韋志輝. 基于局部自回歸模型的壓縮感知視頻圖像遞歸重建算法[J]. 電子學(xué)報(bào), 2012, 40(9): 1795-1800.

Li Xing-xiu and Wei Zhi-hui. Compressed sensing video images recursive reconstruction algorithm based on local autoregressive model[J]., 2012, 40(9): 1795-1800.

[17] 練秋生, 田天, 陳書(shū)貞, 等. 基于變采樣率的多假設(shè)預(yù)測(cè)分塊視頻壓縮感知[J]. 電子與信息學(xué)報(bào), 2013, 35(1): 203-208.

Lian Qiu-sheng, Tian Tian, Chen Shu-zhen,.. Block compressed sensing of video based on variable sampling rates and multihypothesis predictions[J].&, 2013, 35(1): 203-208.

[18] 李然, 干宗良, 朱秀昌. 基于分塊壓縮感知的圖像全局重構(gòu)模型[J]. 信號(hào)處理, 2012, 28(10): 1416-1422.

Li Ran, Gan Zong-liang, and Zhu Xiu-chang. A global reconstruction model of images using block compressed sensing[J]., 2012, 28(10): 1416-1422.

[19] Zhang Y, Zhao D, Ma S,.. A motion-aligned auto- regressive model for frame rate up conversion[J]., 2010, 19(5): 1248-1258.

[20] Zhang Y, Zhao D, Liu H,.. Side information generation with auto regressive model for low-delay distributed video coding[J].&, 2012, 23(1): 229-236.

[21] Sullivan G J. Multi-hypothesis motion compensation for low bit-rate video coding[C]. International Conference on Acoustics, Speech and Signal Processing, Minneapolis MN, 1993: 437-440.

[22] Elad M and Aharon M. Image denoising via sparse and redundant representations over learned dictionaries[J]., 2006, 15(12): 3736-3745.

[23] Li Cheng-bo, Yin W, and Zhang Yin. TV minimization by augmented Lagrangian and alternating direction algorithms [OL]. www.caam.rice.edu/~optimization/L1/ TVAL3/, 2010, 12.

[24] Merkle P, Smolic A, Muller K,.. Efficient prediction structures for multiview video coding[J]., 2007, 17(11): 1461-1473.

[25] Wang Z, Bovik A C, Sheikh H R,.. Image quality assessment: from error visibility to structural similarity[J]., 2004, 13(4): 600-611.

李 然： 男，1988年生，博士生，研究方向?yàn)閳D像處理與多媒體通信.

干宗良： 男，1979年生，講師，研究方向?yàn)榉植际揭曨l編碼、圖像(視頻)信號(hào)處理.

崔子冠： 男，1982年生，講師，研究方向?yàn)橐曨l編碼.

武明虎： 男，1975年生，博士生，研究方向?yàn)榉植际揭曨l編碼、多媒體通信、信息安全.

朱秀昌： 男，1947年生，教授，博士生導(dǎo)師，長(zhǎng)期從事圖像通信方面的科研和教學(xué)工作.

Block Compressed Sensing Reconstruction of Video Combined with Temporal-spatial Characteristics

Li Ran Gan Zong-liang Cui Zi-guan Wu Ming-hu Zhu Xiu-chang

(&,,210003,)

To improve the rate-distortion performance of video Compressed Sensing (CS) reconstruction, the temporal-spatial characteristics of video are used to jointly recover the video signal in this paper. At the collection terminal, each block in a single-frame is measured at the fixed sampling rates to advoid excessive complexity. At the reconstruction terminal, two regularization terms are respectively added to the minimum Total Variation (TV) reconstruction model to advance the performance of prediction-residual reconstruction, and the terms are constructed in terms of temporal-spatial Auto-Regressive (AR) model and Multiple Hypothesis (MH) model. In addition, considering that the statistics of video source are dynamically varying in spatial and temporal domain, it is discussed how the five different inter-prediction modes impact on precision and computational complexity of reconstruction. Simulation results show that the proposed algorithms effectively improve the quality of reconstructed video at the cost of the computational complexity , and the improvement of inter-prediction mode enhances reconstruction quality in some extent.

Compressed Sensing (CS); Video reconstruction; Minimum Total Variation (TV); Temporal-spatial Auto Regressive (AR); Multiple Hypothesis (MH); Prediction-residual reconstruction

TN911.73

A

1009-5896(2014)02-0285-08

10.3724/SP.J.1146.2013.00396

朱秀昌 zhuxc@njupt.edu.cn

2013-03-28收到，2013-07-18改回

國(guó)家自然科學(xué)基金(61071091, 61271240)，江蘇省研究生創(chuàng)新計(jì)劃(CXZZ12_0466, CXZZ11_0390)，江蘇省高校自然科學(xué)研究項(xiàng)目(12KJB510019)，南京郵電大學(xué)校科研基金(NY212015)和湖北省教育廳科研重點(diǎn)項(xiàng)目(D20121408)資助課題