基于雙向運(yùn)動(dòng)估計(jì)的殘差分布式視頻重構(gòu)模型研究

安 文，劉 昆，王 杰

(國(guó)防科學(xué)技術(shù)大學(xué) 航天科學(xué)與工程學(xué)院，湖南 長(zhǎng)沙 410073)

基于雙向運(yùn)動(dòng)估計(jì)的殘差分布式視頻重構(gòu)模型研究

安 文，劉 昆，王 杰

(國(guó)防科學(xué)技術(shù)大學(xué) 航天科學(xué)與工程學(xué)院，湖南 長(zhǎng)沙 410073)

針對(duì)遙感視頻成像衛(wèi)星星上編碼端結(jié)構(gòu)復(fù)雜、傳輸數(shù)據(jù)量大及傳輸帶寬大的問(wèn)題，同時(shí)為了保證遙感視頻成像系統(tǒng)的高圖像分辨率和低采樣復(fù)雜度，根據(jù)視頻圖像的高時(shí)空冗余特點(diǎn)，在連續(xù)圖像殘差重構(gòu)模型的基礎(chǔ)上提出了基于雙向運(yùn)動(dòng)估計(jì)的分布式視頻殘差重構(gòu)模型及相關(guān)算法，并進(jìn)行了數(shù)值仿真。仿真結(jié)果表明，模型能夠在降低采樣率的同時(shí)保證良好的重構(gòu)效果，且算法簡(jiǎn)單，耗時(shí)短。

遙感視頻成像；壓縮感知；分布式框架；殘差重構(gòu)；雙向運(yùn)動(dòng)估計(jì)

0 引言

目前遙感視頻成像衛(wèi)星對(duì)圖像分辨率的要求日益提高，壓縮感知(Compressed Sensing，CS)理論能夠打破Shannon-Nyquist采樣定理的限制，為遙感數(shù)據(jù)采集帶來(lái)了革命性的突破，自提出以來(lái)就得到了國(guó)內(nèi)外眾多學(xué)者的廣泛關(guān)注[1-2]。該理論的核心在于采樣和壓縮同時(shí)進(jìn)行，當(dāng)信號(hào)稀疏或在某一組基下稀疏時(shí)，就可以利用維數(shù)遠(yuǎn)小于信號(hào)的測(cè)量值高概率地重構(gòu)原信號(hào)，這意味著將壓縮感知理論應(yīng)用于圖像處理領(lǐng)域能夠顯著降低編碼端的復(fù)雜度[3-4]。

最簡(jiǎn)單的壓縮感知視頻重構(gòu)模型是單幀重構(gòu)模型[5-6]，其形式簡(jiǎn)單，重構(gòu)效果穩(wěn)定，但沒(méi)有考慮視頻序列中相鄰幀間的時(shí)空相關(guān)性。分布式視頻壓縮感知(Distributed Compressed Video Sensing,DCVS)將分布式框架[7]引入到壓縮感知視頻編解碼過(guò)程，結(jié)合了CS和DVC的優(yōu)點(diǎn)[8]。文獻(xiàn)[9-10]提出的差分重構(gòu)模型利用兩幀的測(cè)量值和它們的差分信息進(jìn)行聯(lián)合重構(gòu)，考慮到相鄰兩幀間的差別通常是由運(yùn)動(dòng)引起的，文獻(xiàn)[11-12]提出了殘差重構(gòu)模型。

為了充分利用遙感視頻信號(hào)中的時(shí)空冗余信息，并盡可能低地降低遙感數(shù)據(jù)采樣、傳輸?shù)膲毫Γ疚奶岢隽嘶陔p向運(yùn)動(dòng)估計(jì)的殘差分布式重構(gòu)模型及相關(guān)算法。

1 壓縮感知?dú)埐钪貥?gòu)模型

1.1 壓縮感知理論

信號(hào)稀疏(自身稀疏或在某一變換域下稀疏)是運(yùn)用壓縮感知理論高概率重構(gòu)原信號(hào)的前提，其含義是對(duì)于一個(gè)n維信號(hào)而言，只有k(k<

f=ψx，

(1)

式中，f表示原始的圖像信號(hào)，ψ∈n×n表示稀疏字典，x表示信號(hào)f在字典ψ下的稀疏表示系數(shù)，字典類(lèi)型不同，信號(hào)的稀疏表示形式不同，稀疏度也不同。

CS壓縮采樣的模型用式(2)描述，其中，J表示測(cè)量值(即采樣值)，φ表示測(cè)量矩陣。解碼的目的是從m維測(cè)量值J中恢復(fù)n維原始信號(hào)f，m<

J=φf(shuō)，

(2)

J=φf(shuō)=φψx=Ax。

(3)

min‖x‖0,s.t.J=Ax。

(4)

1.2 殘差重構(gòu)

③ 重構(gòu)殘差幀:

(5)

2 基于雙向運(yùn)動(dòng)估計(jì)的殘差分布式重構(gòu)模型

2.1 模型框架

圖1 基于雙向運(yùn)動(dòng)估計(jì)的殘差分布式重構(gòu)模型

編碼端:為簡(jiǎn)化編碼過(guò)程，所有幀均使用基于塊的測(cè)量矩陣進(jìn)行采樣，關(guān)鍵幀的采樣率大于非關(guān)鍵幀。解碼端:關(guān)鍵幀采用單幀重構(gòu)模型進(jìn)行重構(gòu)；非關(guān)鍵幀運(yùn)用基于雙向運(yùn)動(dòng)估計(jì)的殘差重構(gòu)算法進(jìn)行聯(lián)合重構(gòu)。

2.2 雙向運(yùn)動(dòng)估計(jì)殘差分布式重構(gòu)

雙向運(yùn)動(dòng)估計(jì)[13]結(jié)合了前后2幀對(duì)中間幀的運(yùn)動(dòng)矢量進(jìn)行估計(jì)，因此有效地避免了單幀運(yùn)動(dòng)估計(jì)時(shí)出現(xiàn)的“塊丟失”和“塊重疊”，能更真實(shí)地反映對(duì)象的運(yùn)動(dòng)。把基于塊的雙向運(yùn)動(dòng)估計(jì)模型引入殘差分布式重構(gòu)模型，能提高CS幀的預(yù)測(cè)效果，整體改善重構(gòu)視頻的重構(gòu)質(zhì)量。

② fori=1,2,…,T，do；

④ifk=0；

⑥else；

⑨End；

為進(jìn)一步提高編碼端的壓縮率，通常取GOP>2，即每個(gè)圖像組包括一個(gè)關(guān)鍵幀和多個(gè)非關(guān)鍵幀，這時(shí)分層次地對(duì)視頻序列進(jìn)行重構(gòu)，每層都用最相鄰的已重構(gòu)幀對(duì)該層的NK幀進(jìn)行雙向運(yùn)動(dòng)估計(jì)殘差重構(gòu)，如圖2所示。

圖2 一組視頻幀的重構(gòu)示意圖(GOP=4)

2.3 算法改進(jìn)

在對(duì)中間幀進(jìn)行雙向運(yùn)動(dòng)估計(jì)時(shí)，使用的是遍歷整個(gè)搜索窗的塊匹配算法，運(yùn)動(dòng)矢量的估計(jì)比較盲目，效率不高。為提高運(yùn)動(dòng)估計(jì)精度，縮短運(yùn)動(dòng)估計(jì)時(shí)間，先在前一幀和后一幀間進(jìn)行單向運(yùn)動(dòng)估計(jì)，再以該估計(jì)的運(yùn)動(dòng)矢量作為初值進(jìn)行雙向運(yùn)動(dòng)估計(jì)[14]。

3 仿真結(jié)果與分析

表1給出了GOP=2時(shí)3組序列的NK幀在上述3種重構(gòu)算法下的平均PSNR值、SSIM值和單幀重構(gòu)時(shí)間T。

表1GOP=2時(shí)不同測(cè)量率下各視頻重構(gòu)算法的性能比較:PSNR(dB);SSIM;T(s)

視頻序列SRNKMC_BCS_SPLMH_BCS_SPLBiMC_BCS_SPLforeman0.129.931;0.844;8.45232.906;0.900;37.15931.903;0.885;5.5810.333.364;0.896;5.79934.720;0.923;37.91434.345;0.914;5.0090.534.983;0.924;4.53035.964;0.941;38.59635.882;0.937;4.477stefan0.122.288;0.724;8.13024.233;0.824;36.71823.352;0.761;6.2060.325.877;0.844;6.27826.520;0.884;38.29225.803;0.840;6.7700.528.185;0.891;6.67528.545;0.915;40.18528.236;0.893;6.026海港0.129.399;0.910;16.30934.032;0.950;87.80633.089;0.944;9.9010.331.96;0.923;12.67935.407;0.964;89.51935.056;0.960;9.6390.533.862;0.949;12.25636.179;0.97093.06135.996;0.969;8.918

可以看出本文提出的基于雙向運(yùn)動(dòng)估計(jì)的分布式視頻殘差重構(gòu)算法在主、客觀評(píng)價(jià)標(biāo)準(zhǔn)下的重構(gòu)質(zhì)量都優(yōu)于MC_BCS_SPL算法，且接近MH_BCS_SPL算法。在相同采樣率條件下，BiMC_BCS_SPL算法重構(gòu)的平均PSNR比MC_BCS_SPL算法高1.62 dB，最多高4.27 dB；但該算法的重構(gòu)質(zhì)量比MH_BCS_SPL算法稍差。然而，BiMC_BCS_SPL算法的平均單幀重構(gòu)時(shí)間最短，是MC_BCS_SPL算法平均單幀重構(gòu)時(shí)間的82%，是MH_BCS_SPL算法平均單幀重構(gòu)時(shí)間的16%。這說(shuō)明BiMC_BCS_SPL算法能同時(shí)兼顧重構(gòu)質(zhì)量和重構(gòu)時(shí)間，在低耗時(shí)的同時(shí)取得令人滿意的重構(gòu)效果。

為進(jìn)一步提高編碼端的壓縮率，實(shí)際中通常取GOP>2，即每個(gè)圖像組包括一個(gè)關(guān)鍵幀和多個(gè)非關(guān)鍵幀。表2給出了GOP=7時(shí)，3組序列的NK幀在上述3種重構(gòu)算法下的平均PSNR值、SSIM值和單幀重構(gòu)時(shí)間T。由表2可以看出，GOP=7時(shí)MC_BCS_SPL算法由于運(yùn)動(dòng)估計(jì)誤差過(guò)大，重構(gòu)性能顯著下降；BiMC_BCS_SPL算法仍能保持良好的重構(gòu)性能，有效改善了重構(gòu)退化(Quality Deterioration)，平均單幀重構(gòu)PSNR比MC_BCS_SPL算法高2.15 dB，最多高4.02 dB。而且BiMC_BCS_SPL算法在重構(gòu)時(shí)間上仍保持優(yōu)勢(shì)。

表2GOP=7時(shí)不同測(cè)量率下各視頻重構(gòu)算法的性能比較:PSNR(dB);SSIM;T(s)

視頻序列SRNKMC_BCS_SPLMH_BCS_SPLBiMC_BCS_SPLforeman0.127.002;0.753;8.89930.464;0.861;37.26928.276;0.795;6.1270.329.721;0.806;7.42732.986;0.907;38.61732.251;0.878;5.1520.531.619;0.859;5.12735.183;0.934;39.41234.746;0.918;5.040stefan0.118.608;0.600;8.77421.930;0.720;32.36220.935;0.619;6.1720.321.104;0.679;7.50724.651;0.826;34.97824.226;0.778;5.6990.523.618;0.751;6.43626.703;0.876;36.38626.654;0.849;5.636海港0.128.710;0.897;18.06133.380;0.943;86.33832.195;0.935;11.0750.330.970;0.920;11.20635.593;0.964;89.71134.831;0.953;10.1530.532.210;0.941;10.95636.495;0.972;91.02635.975;0.969;8.857

需要說(shuō)明的是，遙感凝視成像衛(wèi)星在對(duì)目標(biāo)區(qū)域進(jìn)行觀測(cè)時(shí)，會(huì)在衛(wèi)星相對(duì)于目標(biāo)的過(guò)頂時(shí)間窗口內(nèi)進(jìn)行姿態(tài)調(diào)整，以使觀察目標(biāo)始終處于衛(wèi)星視頻相機(jī)的視場(chǎng)中心，從而獲取該區(qū)域內(nèi)的序列圖像，故圖像各幀之間的相關(guān)性非常強(qiáng)。使得即使在GOP=7，SRK=0.5，SRNK=0.1的低采樣率下，平均單幀重構(gòu)的PSNR值仍高達(dá)30dB以上。

圖3給出了GOP=7，SRK=0.5，SRNK=0.1時(shí)遙感視頻“海港”第10幀圖像的重構(gòu)結(jié)果，目標(biāo)艦船用圓圈標(biāo)出。仿真結(jié)果表明本文提出的算法不僅適用于遙感視頻序列的重構(gòu)，而且能夠取得令人滿意的重構(gòu)效果，即使在平均采樣率為0.16的低采樣率下，PSNR值仍高達(dá)31.948dB.

(a) 原始圖像

(b) BiMC_BCS_SPL

圖3GOP=7，SRK=0.5,SRNK=0.1時(shí)“海港” 第10幀圖像的重構(gòu)結(jié)果

4 結(jié)束語(yǔ)

以壓縮感知理論為指導(dǎo)，結(jié)合視頻圖像的時(shí)空冗余特點(diǎn)，在連續(xù)圖像殘差重構(gòu)模型的基礎(chǔ)上提出了基于雙向運(yùn)動(dòng)估計(jì)的分布式視頻殘差重構(gòu)模型及相關(guān)算法。將視頻序列分成關(guān)鍵幀(K幀)與非關(guān)鍵幀(NK幀)，先重構(gòu)出K幀，然后用已重構(gòu)的相鄰K幀對(duì)待重構(gòu)的NK幀進(jìn)行雙向運(yùn)動(dòng)估計(jì)，并將估計(jì)結(jié)果作為NK幀的邊信息。最后，利用測(cè)量值和邊信息重構(gòu)殘差，并用殘差對(duì)邊信息進(jìn)行補(bǔ)償以重構(gòu)出NK幀。仿真結(jié)果表明基于雙向運(yùn)動(dòng)估計(jì)的殘差分布式重構(gòu)能夠在降低采樣率的同時(shí)保證良好的重構(gòu)效果，并能減少重構(gòu)過(guò)程中的累積誤差，有效改善“重構(gòu)退化”現(xiàn)象，而且該算法適用于遙感視頻的壓縮重構(gòu)。但本文提出的模型在對(duì)中間幀進(jìn)行運(yùn)動(dòng)估計(jì)和補(bǔ)償時(shí)沒(méi)有利用其測(cè)量信息，因此對(duì)中間幀的預(yù)測(cè)是不夠準(zhǔn)確的，如何利用補(bǔ)償信息和測(cè)量信息對(duì)中間幀進(jìn)行快速高效地預(yù)測(cè)將是下一階段研究的重點(diǎn)。

[1] Eldar Y C,Kutyniok G.Compressed Sensing:Theory and Applications [M].New York: Cambridge University Press,2012.

[2] Kyriakides I.Target Tracking Using Adaptive Compressive Sensing and Processing[J].Signal Processing,2016,127: 44-55.

[3] 翟雪含,朱衛(wèi)平,康 彬.結(jié)合KSVD和分類(lèi)稀疏表示的圖像壓縮感知[J].計(jì)算機(jī)工程與應(yīng)用,2015,51(6):193-198.

[4] 何國(guó)棟,謝小娟,楊凌云,等.基于壓縮感知的信號(hào)重構(gòu)研究[J].無(wú)線電通信技術(shù),2014,40(3):26-28.

[5] Marcia R F,Harmany Z T,Willett R M.Compressive Coded Apertures for High-Resolution Imaging[J].Proceedings of SPIE-The International Society for Optical Engineering,2010,7723(1):04-15.

[6] Mousavi H S,Monga V,Tran T D.Iterative Convex Refinement for Sparse Recovery[J].IEEE Signal Processing Letters,2015,22(11):1903-1907.

[7] Girod B,Aaron A M,Rane S,et al.Distributed Video Coding[C]∥Proceedings of the IEEE,2005,93(1): 71-83.

[8] Kang L W,Lu C S.Distributed Compressive Video Sensing[C]∥ Acoustics,Speech and Signal Processing on.IEEE,2009:169-1172.

[9] Willett R M,Marcia R F,Nichols J M.Compressed Sensing for Practical Optical Imaging Systems: a Tutorial[J].Optical Engineering,2011,50(7): 1-13.

[10]Thompson D,Harmany Z,Marcia R.Sparse Video Recovery Using Linearly Constrained Gradient Projection[C]∥Acoustics,Speech and Signal Processing on.IEEE,2011:1329-1332.

[11]Mun S,Fowler J E.Residual Reconstruction for Block-Based Compressed Sensing of Video[C]∥ Data Compression Conference on.IEEE,2011：183-192.

[12]常 侃,覃團(tuán)發(fā),唐振華.基于聯(lián)合總變分最小化的視頻壓縮感知重建算法[J].電子學(xué)報(bào),2014,42(12):2415-2421.

[13]Choi B D,Han J W,Kim C S,et al.Motion-compensated Frame Interpolation Using Bilateral Motion Estimation and Adaptive overlapped Block Motion Compensation[J].Circuits and Systems for Video Technology,2007,17(4): 407-416.

[14]Choi B T,Lee S H,Ko S J.New Frame Rate up-Conversion Using Bi-Directional Motion Estimation[J].Consumer Electronics,2000,46(3): 603-609.

[15]Chen C,Tramel E W,Fowler J E.Compressed Sensing Recovery of Images and Video Using Multihypothesis Predictions[C]∥Conference Record of the 46th Asilomar Conference.IEEE,2011: 1193-1198.

[16]Tramel E W,Fowler J E.Video Compressed Sensing with Multihypothesis[C]∥ Data Compression Conference.IEEE,2011：193-202.

[17]Gan L.Block Compressed Sensing of Natural images[C]∥the International Conference on Digital Signal Processing.IEEE,2007：403-406.

Research on Residual Distributed Video Reconstruction Models Based on Bilateral Motion Estimation

AN Wen,LIU Kun,WANG Jie

(College of Aerospace Science and Engineering,National University of Defense Technology,Changsha Hu’nan 410073,China)

Some problems exist inremote sensing video imaging satellitessuch as the high complexity of coders,the large volume of transmitted data and the increased transfer bandwidth.To ensure the high resolution andreduce the complexity of remote sensing video imaging systems,this paper,according to the high time-space redundancy of video image,proposes a distributed residual reconstruction model and associated algorithm using bilateral motion estimation based on the technique of reconstructing frames of the video sequence using residual information.The simulation shows that the proposed model and algorithm ensure the low sampling rate and high reconstruction quality simultaneously,the algorithm is simple,andthe time needed is reduced.

remote sensing video imaging;compressed sensing;distributed frame;residual reconstruction;bilateral motion estimation

10.3969/j.issn.1003-3114.2017.01.08

安 文，劉 昆，王 杰.基于雙向運(yùn)動(dòng)估計(jì)的殘差分布式視頻重構(gòu)模型研究[J].無(wú)線電通信技術(shù)，2017，43(1): 30-34.

2016-09-23

國(guó)家自然科學(xué)基金項(xiàng)目(61271440)

安 文(1991—),女,碩士研究生,主要研究方向：衛(wèi)星新型載荷技術(shù)及應(yīng)用。劉 昆(1965—),男,博士,教授,主要研究方向:飛行器動(dòng)力學(xué)與控制。

TN919.81

A

1003-3114(2017)01-30-5