基于背景擦除的視頻監(jiān)控圖像超分辨率重建*

俞文靜　張明軍　王　影

(廣州大學(xué)華軟軟件學(xué)院　廣州　510990)

?

基于背景擦除的視頻監(jiān)控圖像超分辨率重建*

俞文靜張明軍王影

(廣州大學(xué)華軟軟件學(xué)院廣州510990)

摘要視頻圖像的超分辨率重建在視頻監(jiān)控領(lǐng)域有非常重要的應(yīng)用，論文采用背景擦除的方法研究了一種應(yīng)用于視頻監(jiān)控的視頻圖像超分辨率重建算法。首先建立了超分辨率重建算法的一般模型，并闡明了視頻圖像的超分辨率重建的過程，重點研究了視頻監(jiān)控圖像重建的優(yōu)化算法，該算法采用背景差分算法先對視頻圖像背景進行擦除提取運動目標(biāo)，再使用改進DS算法對目標(biāo)進行運動估算，最后使用改進的POCS對圖像進行重建。實驗表明該文算法與一般的POCS相比能明顯地提高視頻監(jiān)控的重建圖像的清晰度和效率。

關(guān)鍵詞視頻監(jiān)控； 超分辨率重構(gòu)； 凸集投影法； 背景擦除

Class NumberTP301.6; TP391.9

1　引言

視頻圖像超分辨率重建[1～2]是利用同一場景下的多幅具有互補信息的模糊、變形以及噪聲污染的低分辨率圖像來重建一幅較清晰的高分辨率圖像的過程。這一技術(shù)在安保監(jiān)控、交通監(jiān)控檢測、衛(wèi)星遙感、醫(yī)療等領(lǐng)域都具有較好的應(yīng)用前景。

自1984年，Tsai和Huang[1～2]首次提出基于序列或多幀圖像的超分辨率重建算法之后，一些先進的思想、算法和技術(shù)相繼提出，已經(jīng)形成了一套基本理論，并取得了不錯的研究成果。這些研究主要涉及兩個關(guān)鍵問題：一個是圖像序列運動物體運動估計研究，目的在于得到各幀圖像與參考圖像幀的運動位移信息；另一個是完成對低分辨率圖像序列配準(zhǔn)操作后的重建算法研究，即如何恢復(fù)出一幅高分辨率圖像。

本文主要研究針對視頻監(jiān)控這種特定應(yīng)用場景下的多幀圖像超分辨率重建。基于視頻監(jiān)控畫面背景相對固定，而在監(jiān)控應(yīng)用中，人們更多關(guān)心的是監(jiān)控畫面中移動(運動)的對象的特點，本文提出了在監(jiān)控視頻多幀圖像背景分離的基礎(chǔ)上，采用背景擦除法及像素相減法對運動物體進行運動估計得到運動位移信息，再利用改進凸集投影法進行圖像重建的算法。

2　超分辨率圖像重建的數(shù)學(xué)模型

2.1高分辨率圖像和低分辨率圖像之間的觀測模型

圖1　圖像的詳細觀測模型圖

(1)

2.2視頻監(jiān)控圖像重建模型

由上述觀測模型圖可以得出，圖像的超分辨率重建模型是觀測模型的逆過程[3～4]，而視頻超分辨率重建過程可以概括為兩個方面：圖像運動估計、圖像插值重建，其流程如圖2所示。

圖2　視頻監(jiān)控圖像重建模型

3　視頻監(jiān)控圖像重建的優(yōu)化算法

3.1背景差分法的運動目標(biāo)提取

背景差分法[5]是采用圖像序列中的當(dāng)前幀和背景參考模型比較來檢測運動物體的一種方法。由于監(jiān)控視頻的背景固定，背景建模容易實現(xiàn)，因此本文采用背景差分法進行視頻運動目標(biāo)檢測，在檢測的基礎(chǔ)上擦除背景，提取運動目標(biāo)。然而，該方法檢測運動目標(biāo)容易受圖像采集過程中的誤差、背景光線以及環(huán)境等因素的干擾，使背景擦除效果受到影響。因此，本文對背景模型的獲取采用了多種環(huán)境下的動態(tài)背景，使用了人工的背景模型選擇，根據(jù)視頻的當(dāng)時天氣環(huán)境特點，光亮度(同位置像素HSI模型中的亮度I的差)，通過視頻序列的幀間信息，在動態(tài)背景里選擇相應(yīng)的背景圖像，再做背景擦除。

3.2運動目標(biāo)的運動估計

視頻監(jiān)控中運動目標(biāo)提取之后，由于監(jiān)控攝像機在時間和空間上的分辨能力是有限的，可能會引起運動影像的模糊，就是影像中的尾跡現(xiàn)象，并且考慮到監(jiān)控視頻中的運動對象運動速度的不一致性，本文采用改進的菱形搜索算法(Diamond Search，DS)[6～7]進行運動目標(biāo)的運動估計，DS被MPEG4標(biāo)準(zhǔn)采用，是目前公認的一種較好的搜索算法。它利用視頻序列中運動矢量的中心點偏移的特點，采用了兩種搜索模板：如圖3所示分別是9個搜索點的大菱形搜索模板(LDSP)和有5個點的搜索模板(SDSP)。本文在運動目標(biāo)背景擦除的基礎(chǔ)上，對菱形搜索算法進行了改進，其初始搜索點由原來的原點(0,0)，變化為除背景外的運動物體上x坐標(biāo)與左y坐標(biāo)的左上角交匯點(x0,y0)，如圖4所示，這樣省去了視頻圖像背景區(qū)域的搜索時間，從而使搜索效率得到了提高。

圖3　兩種搜索模板：LDSP和SDSP

圖4　搜索起始點示意圖

在視頻搜索中，假設(shè)選擇M×N的塊，且同一塊內(nèi)的像素運動是一致的，則搜索的絕對平均誤差函數(shù)如式(2)所示，其中fk和fk-1分別為當(dāng)前幀和上一幀的灰度值，(i,j)為位移量。

-fk-1(m+i,n+f)|

(2)

本文改進的DS算法步驟如下：

步驟1：初始化大菱形LDSP以運動物體上x坐標(biāo)與左y坐標(biāo)的左上角交匯點為中心(x0,y0)，用大菱形模塊在搜索區(qū)域中心和周圍8個點處進行匹配，如果最小塊誤差MBD(MAD值最小的點)位于中心位置，則轉(zhuǎn)到步驟3，否則轉(zhuǎn)到步驟2。

步驟2：以上一次找到的MBD點作為中心，構(gòu)建新的LDSP并計算其8個搜索點的匹配誤差，找到新模板的MBD點。若它位于中心位置，則轉(zhuǎn)到步驟3，否則轉(zhuǎn)到步驟2。

步驟3：以上一次得到的MBD點作為中心，構(gòu)建小模板SDSP，在其5個搜索點處進行匹配和比較，找出MBD點，該位置即對應(yīng)最終得到的運動矢量。

3.3基于改進的POCS圖像重建算法

凸集投影法(Projection Onto Convex Sets,POCS)是超分辨率重建方法的重要理論方法之一[8]。該方法以其強大的先驗知識包含能力，成為近年來圖像復(fù)原領(lǐng)域中的一種主要方法。由POCS算法運算步驟可知，該算法在實現(xiàn)的過程中，圖像超分辨率重建的初始值F的選擇將直接影響到后續(xù)的重建效果，因此，對初始值F進行優(yōu)化將對重建后的圖像效果有著直接的影響。

f(i+u,j+v)=ABC

(3)

A=[s(1+u)s(u)s(1-u)s(2-u)]

(4)

(5)

C=[S(1+v)S(v)S(1-v)S(2-v)]T

(6)

(7)

(8)

本文改進POCS操作流程如下所示：

Step1：選擇圖像序列中的一副低分辨率圖像g0，對其進行自適應(yīng)雙三次插值放大處理；

Step2：對Step1中放大后的圖像依據(jù)3.2節(jié)中改進菱形搜索得到的運動矢量進行逆濾波復(fù)原處理；

Step3：將Step2中的所得圖像幀作為基準(zhǔn)幀，并作為超分辨率圖像的初始估計；

Step4：設(shè)置迭代次數(shù)，并設(shè)置初值為0；

Step5：對每一幀圖像進行超分辨率計算：

Step5.1：計算每個序列圖像幀相對基準(zhǔn)幀的運動估計，并對每幀圖像進行運動補償；

Step5.2：對每幀圖像的每個相元進行幅值投影；

Step5.3：計算真實圖像與復(fù)原圖像之間的殘差；

Step5.4：根據(jù)殘差來修正圖像像素元；

Step5.5：檢查是否達到迭代次數(shù)；

Step6：檢查是否修正完所有低分辨率圖像：

Step7：程序結(jié)束。

本文改進的POCS算法依據(jù)本文視頻監(jiān)控特殊的應(yīng)用場景特點，在算法中采用了自適應(yīng)雙三次插值對圖像進行放大，比起傳統(tǒng)POCS算法使用的雙線性插值放大，更能保持邊緣細節(jié)信息；其次，在基準(zhǔn)幀的選擇上，除了放大以外，利用逆濾波復(fù)原方法對視頻監(jiān)控圖像中的模糊尾跡進行了復(fù)原，保證了初始估計的準(zhǔn)確性。

4　仿真實驗與數(shù)據(jù)分析

本文仿真實驗環(huán)境為Intel(R) Core(TM) i3 CPU 530,2.93GHz，內(nèi)存2GB，仿真平臺為Matlab R2010。采用道路監(jiān)控視頻下的1組連續(xù)3幀的圖像作為實驗初始圖像，如圖5所示。圖6為人工根據(jù)天氣情況和亮度I選擇的監(jiān)控的背景圖像組，首先，假設(shè)監(jiān)控環(huán)境良好，于白天拍攝，利用背景差分法進行運動目標(biāo)的提取，可以得到如圖8所示的擦除了背景的圖像序列。在圖7的基礎(chǔ)上，本文應(yīng)用改進菱形搜索算法進行運動目標(biāo)的運動估計，得到視頻中運動物體的運動矢量，如圖8所示。

圖5　視頻連續(xù)3幀原始圖像

圖6　視頻監(jiān)控背景圖像

圖7　運動目標(biāo)提取后的圖像序列

圖8　改進菱形搜索算法獲得運動物體的運動矢量

實驗表明，本文改進的菱形搜索算法初始搜索點由原來的原點(0,0)，變化為除背景外的運動物體上x坐標(biāo)與左y坐標(biāo)的左上角交匯點(x0,y0)，省去了視頻圖像背景區(qū)域的搜索步長，如圖8中的車輛運動估計，分別用基本菱形搜索算法和本文的改進菱形搜索算法進行運動估計，如下表1統(tǒng)計了實驗中兩種算法運行時的參數(shù)比較，可以看到，改進的菱形算法在監(jiān)控視頻序列圖像擦除背景的運動目標(biāo)的提取之后，在搜索初始點上進行改進，對算法搜索效率有很大的提高，在平均搜索點數(shù)，搜索時間以及搜索步數(shù)幾個方面都有了很大的提高。

表1　本文改進菱形搜索算法與基本菱形搜索算法比較

視頻圖像運動估計之后，本文利用基本的POCS重建算法和改進POCS算法對三張序列圖像進行圖像重建，并對兩種算法進行比較。實驗得到如圖9(a)～9(c)以及10(a)～9(c)所示的重建效果，其中圖9(a)為基本POCS重建2倍得到的整圖效果，圖9(b)為基本POCS重建逆向行駛車輛車牌放大8倍效果，圖9(c)為基本POCS重建順向行駛車輛車牌放大8倍效果；圖10(a)為改進POCS重建2倍得到的整圖效果，圖10(b)為改進POCS重建逆向行駛車輛車牌放大8倍效果，圖10(c)為改進POCS重建順向行駛車輛車牌放大8倍效果。

圖9　基本的POCS算法對圖像序列重建后效果

圖10　改進的POCS算法對圖像序列重建后效果

從實驗結(jié)果可以看到，本文提出的改進POCS重建算法與基本的POCS重建算法在視頻序列圖像重建中，重建效果有很大的提高，圖10與圖9比較，在圖像重建清晰度上有了非常明顯的提高，尤其是圖像重建倍數(shù)增大的時候，效果對比更加明顯。

5　結(jié)語

本文針對交通視頻監(jiān)控這種特定環(huán)境下的視頻圖像超分辨率重建進行系統(tǒng)研究，在建立視頻圖像重建模型的基礎(chǔ)上，提出了一種采用圖像背景擦除后進行視頻超分辨圖像重建的方法，該方法主要在以下兩點進行了改進：

1) 基于背景擦除后的視頻圖像，對基本DS運動估計算法進行了改進，改變初始搜索點，不搜索背景，只搜索運動物體所在塊，實驗表明，搜索效率得到了很大的提高。

2) 在運動估計的基礎(chǔ)上，對基本POCS算法進行改進，利用自適應(yīng)雙三次插值對圖像方法，并利用逆濾波復(fù)原方法對視頻監(jiān)控圖像中的模糊尾跡進行了復(fù)原，并將復(fù)原后的圖像進行重建，實驗表明，在視頻圖像重建效果上有較大的提高。

然而，在實驗中，根據(jù)實驗完成中出現(xiàn)的問題，該算法需在以下兩點進行改進：

1) 背景差分法對背景模型的要求很高，不同光照條件及環(huán)境背景的選擇不同，如何提高通過視頻圖像判斷背景選擇的速度，快速更新適合的背景將是下一步的研究重點。

2) 改進的POCS算法在重建效果上有了明顯的提高，然而，由于改進算法加入了較復(fù)雜的自適應(yīng)雙三次插值計算以及逆濾波復(fù)原計算，在算法的運行效率上需要進一步改進。

參 考 文 獻

[1] KANG M, GHAUDHURIS. Super-resolution image reconstruction[J]. IEEE Signal Processing Magazine,2003,20(3).

[2] AN Ouwerkerk J D. Image Super-resolution Survey[J]. Image and Vision Computing,2006,24(10):1039-1052.

[3] 何小海,吳媛媛,陳為龍,等.視頻超分辨率重建技術(shù)綜述[J].信息與電子工程,2011,9(1):2-6.

HE Xiaohai, WU Yuanyuan, CHEN Weilong. A survey of video super-resolution reconstruction technology[J]. Information and Electronic Engineering,2011,9(1):2-6.

[4] Patti A, Sezan M, Tekalp A. Super-Resolution Video Reconstruction with Arbitrary Sampling Lattices and Nonzero Aperture Time[J]. IEEE Transactions on Image Processing,1997,6(8):1064-1076.

[5] 朱明旱,羅大庸.基于幀間差分背景模型的運動物體檢測與跟蹤[J].計算機測量與控制,2006,14(8):99-101.

ZHU Mingzao, LUO Dayong. Moving objects detection and tracking based On two consecutive frames subtraction background model[J]. Computer Measurement and Control,2006,14(8):99-101.

[6] 劉海峰,郭寶龍,馮宗哲.用于塊匹配運動估值的正方形-菱形搜索算法[J].計算機學(xué)報,2002,25(7):747-752.

LIU Haifeng, GUO Baolong, FENG Zongzhe. A square-diamond search algorithm for block motion estimation[J]. Journal of Computer Science,2002,25(7):747-752.

[7] 李淳,馬力妮.基于菱形搜索的改進運動估計算法研究[J].計算機技術(shù)與發(fā)展,2008,11(18):117-122.

LI Chun, MA Lini. A study of improved motion estimation algorithms based on diamond search[J]. Computer Technology and Development,2008,11(18):117-122.

[8] Gunturk B K, Altunbasak Y, Mersereau R M. Superresolution Reconstruction of Compressed Video Using Transform-Domain Statistics[J]. IEEE Transactions on Image Processing,2004,13(1): 33-43.

[9] 龐志勇,譚洪舟,陳弟虎.一種改進的低成本自適應(yīng)雙三次插值算法及VLSI實現(xiàn)[J].自動化學(xué)報,2013,39(4):407-417.

PANG Zhiyong, TAN Hongzhou, CHEN Dihu. An improved low-cost adaptive bicubicinterpolation arithmetic and VLSI implementation[J]. Automation Journal,2013,39(4):407-417.

[10] 吳雪垠,吳謹,張鶴.逆濾波法在圖像復(fù)原中的應(yīng)用[J].信息技術(shù),2011(10):183-185.

WU Xueyin, WU Jin, ZHANG He. Research on restoration techniques based on inverse filtering algotithm[J]. Information Technology,2011(10):183-185.

收稿日期:2015年10月4日,修回日期:2015年11月23日

基金項目:廣東高校優(yōu)秀青年創(chuàng)新人才培養(yǎng)計劃項目(編號:2013LYM_0114)；廣州大學(xué)華軟軟件學(xué)院2014年教學(xué)研究、科學(xué)研究資助立項項目(編號：ky201410)資助。

作者簡介:俞文靜，女，碩士，講師，研究方向：計算機圖形圖像處理、優(yōu)化算法研究等。張明軍，男，講師，研究方向：圖像處理。王影，女，講師，研究方向：計算機圖形圖像，多媒體技術(shù)。

中圖分類號TP301.6; TP391.9

DOI:10.3969/j.issn.1672-9722.2016.04.037

Super Resolution Reconstruction Algorithm of Video Surveillance Image Based on Background Erasure

YU WenjingZHANG MingjunWANG Ying

(South China Institute of Software Engineering, Guangzhou510990)

AbstractSuper resolution reconstruction of video image has very important application in the field of video surveillance, this paper uses background erasure to research one of super-resolution reconstruction algorithm applications in video surveillance image. Firstly, the model of the super-resolution reconstruction algorithm is established, and the super-resolution reconstruction of the video image is clarified, and the optimized algorithm of the video surveillance image reconstruction is studied. In this algorithm, background subtraction is used to extract the moving target from video image, and the target image is estimated by using the improved DS(Diamond Search) algorithm, and then the improved POCS(Projection Onto Convex Sets) is used to reconstruct the image. Experiments show that the proposed algorithm compared with the general POCS can obviously improve the definition of the video surveillance images and its efficiency.

Key Wordsvideo surveillance, super resolution reconstruction, POCS, background erasure