立體視覺雙目圖像MAP的優(yōu)化復(fù)原方法

洪漢玉，范　艷，時　愈，華　夏，張?zhí)煨?/p>

(1.武漢工程大學(xué)電氣信息學(xué)院，湖北 武漢，430205；2.華中科技大學(xué)多譜信息處理技術(shù)國家級重點實驗室，湖北 武漢，430074)

立體視覺雙目圖像MAP的優(yōu)化復(fù)原方法

洪漢玉1，范艷1，時愈1，華夏1，張?zhí)煨?

(1.武漢工程大學(xué)電氣信息學(xué)院，湖北 武漢，430205；2.華中科技大學(xué)多譜信息處理技術(shù)國家級重點實驗室，湖北 武漢，430074)

摘要：為了有效地對立體視覺雙目模糊圖像進行復(fù)原，提出一種動目標雙目圖像MAP的優(yōu)化復(fù)原方法，將雙目運動模糊圖像的復(fù)原問題轉(zhuǎn)化為在模糊核路徑關(guān)系約束下的雙重循環(huán)MAP優(yōu)化估計問題，在保證模糊核路徑對應(yīng)關(guān)系前提下，對雙目圖像進行去模糊。建立了雙目圖像模糊核路徑的對應(yīng)關(guān)系模型，將關(guān)系模型作為約束條件式，嵌入到基于模糊核和雙目原圖像的MAP優(yōu)化估計過程中，通過雙重循環(huán)迭代獲取雙目圖像的模糊核和清晰圖像。實驗結(jié)果表明，該方法能夠有效地去除立體視覺雙目圖像的模糊。

關(guān)鍵詞：立體視覺；動目標；雙目圖像； MAP；模糊核；圖像復(fù)原

在計算機視覺系統(tǒng)中，由于單觀測點圖像不能為目標識別和監(jiān)控提供有效的三維信息，所以目前計算機視覺系統(tǒng)通常需要同步采集兩個觀測點圖像。而在短曝光時間內(nèi)，觀測目標與成像系統(tǒng)之間存在相對運動，導(dǎo)致采集到的觀測圖像是模糊的，圖像質(zhì)量一般較差。因此，為了獲得完整的三維信息，實際工作中往往需要解決短曝光雙目視覺系統(tǒng)中動目標圖像復(fù)原的問題。

目前動目標圖像復(fù)原方法主要有單幀圖像復(fù)原法[1-2]和多幀圖像復(fù)原法[3], 其中單幀圖像復(fù)原法基于單個相機采集的單幀圖像進行復(fù)原，復(fù)原效果僅對同一視角的模糊圖像有效；而多幀圖像復(fù)原法去模糊效果較好，但有如下的限制條件：同一視角、同一場景，且需要較多的先驗知識，適用范圍較窄。因此，基于混合圖像系統(tǒng)的圖像復(fù)原方法應(yīng)運而生[4-5]。在混合圖像系統(tǒng)中，雖然相機采集到的圖像是兩個不同視角的觀測圖像，但該方法僅利用其中一個視角的觀測圖像信息對另一個視角的圖像進行復(fù)原。以上方法并未考慮觀測圖像之間的像素位置關(guān)系，因而均不適用于解決雙目視覺系統(tǒng)中圖像的復(fù)原問題。為此，本研究提出一種雙目觀測圖像最大后驗估計(MaximumAPosteriori,MAP)優(yōu)化復(fù)原方法，在立體視覺系統(tǒng)中，建立雙目模糊核路徑的對應(yīng)關(guān)系數(shù)學(xué)模型，并對兩個模糊核路徑對應(yīng)關(guān)系進行優(yōu)化處理，通過雙重循環(huán)迭代地估計雙目模糊核和清晰圖像。

1立體視覺雙目圖像的運動模糊形成機理

立體視覺系統(tǒng)中，三維(3D)空間中目標的運動路徑投影如圖1所示。短曝光時間內(nèi)，在3D空間中，當(dāng)物體從P運動到Q，映射到觀測面上，對應(yīng)運動Mi(t)從pi運動到qi(i=1,2)，不同觀測面上成像視點的位置和角度是不同的，使得每個觀測面上piqi的長度和方向也不同。觀測圖像gi(x,y)可以表示如下：

(1)

式中：hi(x,y)、fi(x,y)及ni(x,y)分別表示模糊核、清晰圖像和噪聲；?表示2D離散卷積；下標i為觀測點標號。

圖像模糊是由目標在空間中的運動引起的。在短曝光時間內(nèi)，由于動目標在不同時刻的空間位置是不同的，所以，動目標在雙目左右兩個成像面上的投影是不一樣的。從光學(xué)理論上講，圖像模糊可看成動目標在成像積分時間內(nèi)的運動影像積累。因為在左右兩個像平面動目標影像的投影是不一樣的，動目標影像積累及運動軌跡也不一樣，因此兩個像平面內(nèi)雙目圖像的模糊核及模糊路徑是不同的。

圖1　立體視覺雙目運動路徑對應(yīng)關(guān)系示意圖

Fig.1 The correspondence between motion paths in the binocular stereo vision system

2雙目模糊核路徑的關(guān)系模型

雙目立體視覺兩個觀測面的模糊核路徑對應(yīng)3D空間中同一運動路徑。因此，兩個投影模糊核路徑之間存在對應(yīng)關(guān)系。模糊核可以由線段或平滑的曲線段近似表示[3]。對于雙目立體視覺系統(tǒng)中的運動模糊圖像復(fù)原，要迭代地估計兩個投影模糊核路徑，確保估計的投影模糊核路徑保持對應(yīng)關(guān)系。

2.1模糊核路徑的關(guān)系

考慮目標的線性運動，令相機參數(shù)映射矩陣為P ；(xyz1)為3D齊次坐標系中的一點，映射到2D觀測面上，則(u v 1)為 2D坐標系中的一點，那么(x y z 1)和(u v 1)的對應(yīng)關(guān)系如下：

(2)

式中：d為相機的景深。

相機參數(shù)映射矩陣P可定義為K*[Rt]，其中相機參數(shù)矩陣K和[Rt]可在相機標定的過程中計算得到。

從式(1)和圖1可知，每個觀測面的模糊核路徑是不同的。為簡化計算，假設(shè)運動模糊核路徑是空間不變的。當(dāng)物體在空間中從P點運動到Q點, 映射到兩個觀測面上分別為p1q1和p2q2,如圖2所示。相機參數(shù)映射矩陣P是可逆的，通過式(2)，可以從(u,v)和d推導(dǎo)得到(x,y,z)，如下式所示：

(3)

其中：

(4)

(a) 觀測面1(b) 觀測面2

圖2三維立體空間中運動piqi在兩個觀測面上的投影

Fig.2 Movement projection of piqion two observed imaging planes of 3D space

(5)

(6)

雙目立體視覺系統(tǒng)中，兩個觀測面上的點對(Δu(1),Δv(1))和(Δu(2),Δv(2))是相關(guān)的，那么一定滿足式(6)的關(guān)系，因此可以利用式(6)來檢查點對是否相關(guān)。

2.2離散化后的模糊核路徑的對應(yīng)關(guān)系

物體沿著空間路徑運動，在每個觀測面投影，對應(yīng)沿著投影路徑運動。不同觀測面的投影路徑不同。必須注意的是，對空間路徑上的任意一點，投影到觀測面，對應(yīng)兩個模糊核路徑上的點對(u(1)，v(1))和(u(2),v(2))。通過對模糊核支撐域沿著軌跡(模糊路徑)離散化，可建立模糊核路徑之間的關(guān)系：uk=u0+Δuk,vk=v0+Δvk(k=0,1,…,N-1)，其中k為沿著運動軌跡的離散點序號。

兩個觀測面上離散化的模糊核路徑上的點對是對應(yīng)的，對應(yīng)的點對是3D空間上同一個點的投影。類似于式(6)中模糊核路徑之間的關(guān)系，這里擴展兩個觀測面上離散化的模糊核路徑上離散點對的關(guān)系，離散化后的模糊核路徑如圖3所示。由圖3中可知：

(a) 觀測面1

(b) 觀測面2

圖3兩個觀測面上離散化的模糊核路徑

Fig.3 Discretization of blur kernel paths on two observed imaging planes

3圖像復(fù)原優(yōu)化框架

3.1MAP優(yōu)化

(7)

式中：P(gi|fi,hi)表示在已知原始圖像fi(x)和模糊核hi(x)的前提下，模糊圖像gi(x)產(chǎn)生的概率；P(fi)和P(hi)分別表示原始圖像和模糊核的先驗概率。

由于觀測到的模糊圖像、原始圖像和模糊核可以視為是獨立分布的，故可建立如下的MAP估計框架：

(8)

最大后驗概率對原圖像和模糊核的估計，可以通過極小化條件概率密度函數(shù)P(fi,hi|gi)的非負對數(shù)函數(shù)獲得：

(9)

其中，

L(fi,hi|gi)=-log(P(fi,hi|gi))

(10)

由式(7)、式(8)可得：

(11)

將P(fi)和P(hi)的非負對數(shù)記為L(fi)和L(hi)。在實際情況下，觀測到的模糊圖像往往受到噪聲的干擾，一般可假定每像元噪聲服從泊松分布，那么觀測圖像的概率密度函數(shù)可以表示為

(12)

對式(12)取對數(shù)，并去掉常數(shù)項，可以得到：

(13)

圖像復(fù)原是一個不適定問題，為了提高圖像復(fù)原的穩(wěn)定性并抑制噪聲干擾，可以采用一些正則化技術(shù)。由于相鄰點相關(guān)，最小化它們的差異可以視為對空間相關(guān)性的約束，構(gòu)造如下正則化項[6]：

(14)

將式(14)合并到式(13)可得：

(15)

(16)

同理，對L(fi,hi|gi)取關(guān)于hi的導(dǎo)數(shù)并令其為零，模糊核可以通過如下公式迭代更新：

(17)

3.2目標圖像估計過程

(18)

3.3模糊核估計過程

(19)

式中：下標m表示內(nèi)循環(huán)次數(shù)。

在原圖像和模糊核估計過程中，分別進行M1和M2次迭代。當(dāng)兩個內(nèi)循環(huán)迭代結(jié)束以后，再進行下面的模糊核的優(yōu)化處理。

3.4雙目模糊路徑坐標對應(yīng)關(guān)系的優(yōu)化處理

(20)

對雙目觀測點圖像的模糊核路徑對應(yīng)關(guān)系進行優(yōu)化處理，然后將優(yōu)化以后的模糊核用于目標圖像恢復(fù)的迭代過程中，直到滿足迭代終止條件為止。經(jīng)過幾次迭代以后，即可得到滿足雙目模糊核路徑對應(yīng)關(guān)系的模糊核和雙目復(fù)原圖像。

3.5雙目圖像復(fù)原算法流程圖

本文提出的算法主要包括以下流程：設(shè)置目標圖像和模糊核的初始值，在兩個內(nèi)循環(huán)中估計目標圖像和模糊核，對估計出來的雙目模糊核路徑進行優(yōu)化處理，將優(yōu)化后雙目模糊核進行外部循環(huán)，直到滿足終止條件為止。算法流程圖如圖4所示。

Fig.4 Flow chart of image restoration calculation in the binocular system

4仿真及實驗驗證

為驗證本研究的算法，采用VC++6.0編程，在Dell計算機(2.67 GHz CPU,4 GB內(nèi)存)上運行，對雙目圖像進行去模糊效果測試。

以雙目相機采集固定不動目標的雙目圖像作為基準圖像(原圖像，圖像大小為1024×1024像素)進行仿真，對本研究算法與目前圖像復(fù)原效果較好的Shan方法進行比較，結(jié)果如圖5所示。由圖5中可知，本研究方法比Shan方法估計的模糊核路徑要精細一些。

以圖5中原圖像為基準，分別計算模糊圖像、Shan方法恢復(fù)圖像及本研究方法恢復(fù)圖像的歸一化均方差值(Normalized Mean Squared Error，NMSE)，計算結(jié)果如表1所示。從表1可知，本研究方法得到的NMSE值最小，表明采用本研究方法恢復(fù)后的圖像與原圖最接近，圖像恢復(fù)效果好。

圖6所示為一組實際雙目圖像復(fù)原及視覺對比實驗的結(jié)果，下方小圖為大圖中對應(yīng)方框內(nèi)局部圖的2.5倍放大圖)。由圖6中可以看出，采用Shan方法對左、右視點圖像分別進行恢復(fù)，恢復(fù)結(jié)果有顯著振鈴效應(yīng)；而采用本研究方法恢復(fù)的結(jié)果振鈴效應(yīng)明顯減少，恢復(fù)的圖像清晰度高、視覺效果較好。局部放大圖的細節(jié)對比也表明本研究方法能夠獲得更好的恢復(fù)效果。

圖4　雙目圖像復(fù)原算法流程圖

(a) 原圖像

(b) 運動模糊圖像

(c) Shan方法恢復(fù)的圖像

(d) 本研究方法恢復(fù)的圖像

Fig.5 Restoration for simulated motion blurred binocular images

表1　NMSE值對比

(a) 實際運動模糊的雙目圖像

(c) 本研究方法恢復(fù)的雙目圖像

Fig.6 Restoration of real motion blur binocular images

5結(jié)語

在雙目相機同步采集情況下，本研究提出了雙目圖像MAP的優(yōu)化復(fù)原方法，將雙目圖像的復(fù)原問題轉(zhuǎn)化為在模糊核路徑關(guān)系約束下的雙重循環(huán)MAP優(yōu)化估計問題。建立了兩個觀測圖像模糊路徑之間的對應(yīng)關(guān)系模型，將關(guān)系模型作為約束條件式，嵌入到基于模糊核和雙目原圖像的MAP優(yōu)化估計過程中，有效地恢復(fù)雙目模糊圖像。實驗結(jié)果表明本研究的方法對雙目模糊圖像的復(fù)原能夠獲得較好結(jié)果。

參考文獻

[1]Xiao L, Gregson J, Heide F, et al. Stochastic blind motion deblurring[J]. IEEE Transactions on Image Processing, 2015, 24(10):3071-3085.

[2]Shan Q, Jia J Y, Agarwala A. High-quality motion deblurring from a single image[J].ACM Transactions on Graphics, 2008, 27(3):Article 73.

[3]Hintermüller M, Wu T. Bilevel optimization for calibrating point spread functions in blind deconvolution[J].Inverse Problems and Imaging,2015,9(4):1139-1169.

[4]Ben-Ezra M, Nayar S. Motion-based motion deblurring[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(6):689-698.

[5]Tai Y W, Du H, Brown M S, et al. Correction of spatially varying image and video motion blur using a hybrid camera[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(6):1012-1028.

[6]Hong H Y, Park I K. Single-image motion deblurring using adaptive anisotropic regularization[J]. Optical Engineering, 2010, 49(9):097008.

[責(zé)任編輯鄭淑芳]

Method for MAP optimization image restoration in binocular stereo system

HongHanyu1,FanYan1,ShiYu1,HuaXia1,ZhangTianxu2

(1.School of Electrical and Information Engineering, Wuhan Institute of Technology, Wuhan 430205,China；2.National Key Laboratory of Science and Technology on Multi-spectral Information Processing,Huazhong University of Science and Technology, Wuhan 430074, China)

Abstract:In order to remove the motion image blurring in binocular stereo vision system effectivery, this paper presents a novel motion image restoration method based on MAP optimization. The problem of motion blurry binocular image restoration can be transformed into MAP optimization and estimation double loop problem within the constraint of the relationship of blur kernel paths. The binocular image deblurring is performed under the condition that the corresponding relationship of blur kernel paths is guaranteed.The corresponding relationship model of motion blur kernel paths for the binocular image is built, and embedded into MAP optimization estimation as the constraints. The clear image and blur kernel of the binocular image is obtained by double circulation iteration.Experimental results show that the proposed approach is effective to deblur the binocular image in the stereo vision system.

Key words：stereo vision; moving object; binocular images; MAP; blur kernel; image restoration

收稿日期：2015-12-20

基金項目：國家自然科學(xué)基金面上項目(61175013)；湖北省自然科學(xué)基金創(chuàng)新群體項目(2012FFA046).

作者簡介：洪漢玉(1964-)，男，武漢工程大學(xué)教授，博士生導(dǎo)師.E-mail:hhyhong@163.com

中圖分類號：TP391.41

文獻標志碼：A

文章編號：1674-3644(2016)01-0062-07