基于改進(jìn)最佳縫合線的圖像拼接方法

張 翔，王 偉，肖 迪+

(1.南京工業(yè)大學(xué) 電氣工程與控制科學(xué)學(xué)院，江蘇 南京 211800；2.海軍醫(yī)學(xué)研究所 航空醫(yī)學(xué)研究室，上海 200433)

0 引 言

圖像拼接技術(shù)[1-3]主要包括圖像預(yù)處理、圖像配準(zhǔn)和圖像融合。在圖像配準(zhǔn)中特征提取是關(guān)鍵的步驟，常用的特征提取算法有SIFT(scale invariant feature transform)、SURF(speed-up robust features)、ORB(oriented fast and rotated brief)[4-6]等。圖像融合中常用的方法有基于加權(quán)平均融合法、基于多分辨率融合法、基于最佳縫合線融合法等，其中最佳縫合線方法是Duplaquet提出的[7]，在圖像拼接中可以有效解決鬼影、錯位現(xiàn)象，有學(xué)者對此進(jìn)行了相關(guān)研究，黨建武等改進(jìn)了Duplaquet算法的搜索準(zhǔn)則來擴(kuò)大搜索范圍，將最佳縫合線和多分辨率樣條法相結(jié)合來融合圖像，有效降低了出現(xiàn)鬼影的概率，但魯棒性較差，對某些場景拼接效果不好[8]；孫培雙等將紋理結(jié)構(gòu)引入能量函數(shù)來改進(jìn)Duplaquet算法，但仍然沒有很好地解決縫合線與運動物體接近而造成的鬼影現(xiàn)象[9]；鄒麗暉等基于幾何縫合距離很好地解決了單個運動物體鬼影的問題，但不適合具有多運動物體的復(fù)雜圖像拼接[10]。

本文針對圖像融合中運動物體過于靠近縫合線而產(chǎn)生鬼影的問題，提出改進(jìn)的最佳縫合線融合方法。首先用SURF和ORB算法對特征點提取描述，用PROSAC算法篩選匹配并求出兩張圖像的變換矩陣H，進(jìn)行圖像空間變換。然后，對待拼接圖像進(jìn)行曝光差異矯正，最后，對能量函數(shù)進(jìn)行形態(tài)學(xué)操作并引入S顏色飽和度差異，從而隔離運動物體，在最佳縫合線搜索策略中加入局部信息權(quán)重提高搜索靈活度，結(jié)合縫合線融合帶和加權(quán)融合法融合圖像。實驗結(jié)果表明，該方法可以較好地消除拼接縫隙和運動物體產(chǎn)生的鬼影現(xiàn)象，提高了拼接質(zhì)量。

1 圖像配準(zhǔn)

ORB算法本質(zhì)上是由FAST(features from accelerated segment test)特征檢測和BRIEF(binary robust indepen-dent elementary features)描述子組成，主要是將BRIEF描述子改進(jìn)為具有旋轉(zhuǎn)不變性的BRIEF描述子，即rBRIEF，但是ORB算法不具備尺度不變性，原因是因為FAST特征檢測不具備尺度不變性，而且在角點密集的圖像用FAST算法檢測特征，往往會發(fā)現(xiàn)特征過于匯集于一塊區(qū)域，這對后面求取變換矩陣是不利的。SURF特征檢測不僅具有尺度不變性，而且繼承了SIFT多量性的特點，在圖像物體不豐富的情況下也可以檢測相當(dāng)多的特征，將SURF和ORB結(jié)合起來同時可以滿足特征點檢測匹配速度與質(zhì)量上的要求。

1.1 SURF特征檢測

在SURF算法中，使用Hessian矩陣行列式可以表示圖像任意一點處的斑點響應(yīng)值，設(shè)圖像中的點(x,y)在點x處，尺度為σ的Hessian矩陣定義為

(1)

式中：Lxx(x,σ)，Lxy(x,σ)，Lyy(x,σ)是點x處高斯二階微分與圖像的卷積。

對高斯二階微分模板進(jìn)行簡化，可以將高斯微分模板和圖像卷積轉(zhuǎn)化成盒子濾波，將上式的Lxx，Lxy，Lyy簡化為Dxx，Dxy，Dyy。則Hessian矩陣判別式簡化為

Det(H)=LxxLyy-LxyLxy=DxxDyy-(0.9Dxy)2

(2)

該判別式可以判定點(x,y)是否為極值點，若Det(H) 大于0，則該點為極值點。為了快速求取Dxx，Dxy，Dyy的值，SURF算法通過積分圖像的方法，對Dxx，Dxy，Dyy進(jìn)行簡單的加減運算。取一幅灰度圖像G，任意一點(i,j)到圖像左上角所構(gòu)成的方框內(nèi)灰度值總和，即積分圖像為IΣ(x,y)， 則

(3)

按照上式，只需對圖像像素掃描一遍，便可得到所求窗口內(nèi)灰度值的總和，如果模板尺寸是9×9，通過上式積分圖像的概念，Dxx和Dyy需12次加減計算和4次乘法計算，Dxy需16次加減計算和5次乘法計算，大大縮短計算時間。

SURF算法不斷增大盒子濾波模板尺寸，通過盒子濾波模板與積分圖像獲取不同尺寸的響應(yīng)圖像，然后響應(yīng)圖像的極值點中心3×3×3的區(qū)域里進(jìn)行非極大值抑制，如果這點是周圍3×3×3區(qū)域內(nèi)所有像素中最大或最小，將此點作為候選特征點，然后用線性插值法得到特征點的具體位置。

1.2 ORB描述子

ORB描述子是通過BRIEF描述子加上求取的特征點主方向形成的，是二進(jìn)制形式的特征描述子，ORB描述子為了減少噪聲的干擾，在特征點周圍31×31窗口內(nèi)按一定模式選擇5×5的子窗口，在子窗口內(nèi)所有像素用積分加速計算灰度總和，比較圖像塊灰度值，則有二值測試準(zhǔn)則τ定義為

(4)

式中：p(x)為x領(lǐng)域內(nèi)的灰度值。

選擇n個測試點(x,y)，n一般選取64,128,256等，通過二進(jìn)制測試準(zhǔn)則生成二進(jìn)制描述子，維度為n。準(zhǔn)則如下式所示

(5)

但此時得到的二進(jìn)制描述子是沒有方向的，接下來用特質(zhì)點質(zhì)心方向作為描述子的主方向，使描述子具備旋轉(zhuǎn)不變性。但是加入主方向后，描述子的判別性能下降，文獻(xiàn)[6]用貪婪學(xué)習(xí)算法選出相關(guān)性最低的描述子作為最終的ORB描述子。

1.3 特征匹配與精確配準(zhǔn)

通過ORB生成的描述子是二進(jìn)制碼串形式，用Hamming距離法進(jìn)行快速特征點匹配，匹配結(jié)束后，常見的去除誤匹配的算法是RANSAC(random sample consensus)算法[11]，但是窮舉搜索得到的匹配在特征點接近時容易產(chǎn)生誤匹配，影響匹配精度，而且RANSAC算法是隨機(jī)取出特征匹配對進(jìn)行篩選，當(dāng)誤匹配數(shù)量過多時，會使匹配對篩選質(zhì)量下降。為此，本文采用PROSAC算法進(jìn)行提純。

PROSAC(progressive sample consensus)算法[12]是對RANSAC的改進(jìn)，在RANSAC算法之前，先對無序的匹配對按匹配質(zhì)量優(yōu)劣進(jìn)行排列，選取質(zhì)量較好的匹配對作為初始匹配點集，在模型參數(shù)擬合時對初始匹配集反復(fù)迭代，得到最大內(nèi)點數(shù)，即篩選后的正確匹配點。

通過正確的匹配點，可以計算獲得量圖像之間的映射關(guān)系即單應(yīng)性矩陣H為

(6)

按照本節(jié)思路，記錄圖1提取特征點的時間，結(jié)果見表1。

圖1 原始圖像

尺寸算法特征匹配對數(shù)匹配時間/ms960×720SURF35655070SURF-ORB34051391680×480SURF18722245SURF-ORB1687661480×360SURF10101228SURF-ORB902358

SURF和SURF-ORB的特征提取算法是一樣的，所以重點關(guān)注經(jīng)過PROSAC算法后的特征匹配對，從表1可以看出，SURF-ORB算法在特征點成功匹配對數(shù)略低于SURF算法，但在時間上要小于SURF所耗的時間，可以說明，該方法減少了特征點匹配時間同時保證了匹配質(zhì)量。

2 圖像融合

圖像融合中，當(dāng)待融合圖像存在運動物體時，直接用加權(quán)平均融合法會產(chǎn)生鬼影現(xiàn)象，最佳縫合線法直接拼接可以有效地避開運動物體，但如果在運動物體部分過于靠近最佳縫合線的情況下，融合圖像仍然會有鬼影現(xiàn)象，本文提出構(gòu)建沿縫合線融合帶避開運動物體的策略進(jìn)行拼接，融合帶拼接寬度窄，一方面減少了融合區(qū)域運動物體存在的幾率，另一方面在曝光差異過大的情況下，易造成拼接圖像不自然，故在融合之前，先對圖像進(jìn)行曝光差異矯正，之后求取最佳縫合線。

2.1 曝光差異矯正

相機(jī)在拍攝時光照強(qiáng)度的變化會影響圖像的曝光程度，為了減少融合難度，提高質(zhì)量，要先對圖像進(jìn)行曝光矯正。本文采用對應(yīng)像素之間關(guān)系來進(jìn)行矯正。方法如下：

(1)設(shè)兩張待拼接圖像為I1,I2,取出上節(jié)PROSAC算法計算出的內(nèi)點的像素值，記為p1i，p2i，其中i=1,2…m，m代表內(nèi)點有m組。

(2)對I1,I2進(jìn)行高斯模糊來去除噪點，分別取出P1i，P2i的RGB三通道的像素值，記為pr1i，pg1i，pb1i和pr2i，pg2i，pb2i。

(3)假設(shè)兩圖像之間曝光差異可以用線性模型來表示，為

pr1i=α1×pr2i+β1
pg1i=α2×pg2i+β2
pb1i=α3×pb2i+β3

(7)

對3個式子分別用最小二乘法求出α1，α2，α3和β1，β2，β3。

(4)得到兩張圖像像素值之間的線性關(guān)系，對其中一張圖像進(jìn)行曝光矯正，使兩張圖像曝光接近于一致。

效果如圖2所示，圖2(a)和圖2(b)在重疊部分能看出明顯的曝光差異，經(jīng)過曝光差異矯正后，圖2(c)的曝光更趨向與圖2(b)。

圖2 曝光矯正示例圖

2.2 改進(jìn)最佳縫合線能量函數(shù)

最佳縫合線可以有效隔開運動物體部分，理想的最佳縫合線必須滿足顏色和結(jié)構(gòu)強(qiáng)度差值最小[13]，為了得到更好的效果，本文引入HSV空間的顏色飽和度S作為新的強(qiáng)度。最佳縫合線的能量函數(shù)改進(jìn)如下式所示

E(x,y)=
αEcolor(x,y)+βEgeometry(x,y)+γES(x,y)

(8)

式中：Ecolor(x,y)——顏色差異，Egeometry(x,y)——結(jié)構(gòu)差異，ES(x,y)——顏色飽和度差異，α，β，γ表示各強(qiáng)度權(quán)重，α+β+γ=1。

圖3(a)是圖1經(jīng)過形變后切割出來的相同大小的重疊圖像，切割方法是通過選取最優(yōu)匹配點作為重疊區(qū)域邊界點。用灰度差圖像近似顏色差異強(qiáng)度，設(shè)IM1,IM2為I1，I2重疊區(qū)域的灰度圖像，則灰度差圖像δ計算公式為

δxy=abs(IM1xy-IM2xy)

(9)

對灰度差圖像δ像素值求取平均值mc，然后對δ進(jìn)行閾值化操作得到灰度二值化圖Ic，設(shè)閾值為1.5×mc，則

(10)

對Ic圖像進(jìn)行腐蝕操作一次，目的為了過濾一些因噪聲產(chǎn)生的點，再對Ic進(jìn)行膨脹操作一次，如圖3(b)所示，目的是為了擴(kuò)大運動物體部分的覆蓋面積，有利于后面最佳縫合線的求取。

記錄Ic中像素值為1的坐標(biāo)，將δxy相應(yīng)坐標(biāo)中的點的值進(jìn)行增強(qiáng)處理，設(shè)權(quán)重weight(本文weight=10)，則

(11)

結(jié)構(gòu)強(qiáng)度差異可以用圖像間梯度差來表示，考慮像素點的相關(guān)性，x方向和y方向的梯度用SOBEL算子進(jìn)行計算，模板為

(12)

設(shè)Lx，Rx為兩圖像在x方向的梯度圖，Ly，Ry為兩圖像在y方向的梯度圖，λ為近似梯度圖像，則

(13)

得到的梯度圖如圖3(c)所示，改進(jìn)的方法與灰度差類似，求取Egeometry(x,y)值的平均值mg，令4×mg作為閾值，對Egeometry(x,y)進(jìn)行閾值化處理，設(shè)Ig為梯度二值化圖像，得到

(14)

直接對Ig進(jìn)行膨脹操作一次，標(biāo)記Ig像素值為1的坐標(biāo)，將λ相應(yīng)坐標(biāo)中的點的值進(jìn)行增強(qiáng)處理，則

(15)

求取顏色飽和度差異首先把圖像從RGB空間轉(zhuǎn)換到HSV空間的S圖像，轉(zhuǎn)換公式如下

(16)

式中：max和min分別為R、G、B的最大值和最小值。

設(shè)IS1，IS2為I1，I2重疊區(qū)域的S圖像，則

ES(x,y)=abs(IS1xy-IS2xy)

(17)

權(quán)重α，β，γ的設(shè)定，要從綜合角度上選定，本文經(jīng)過實驗，α=0.3，β=0.4，γ=0.3效果較好。

2.3 改進(jìn)最佳縫合線搜索準(zhǔn)則

得到能量函數(shù)之后，根據(jù)準(zhǔn)則，用動態(tài)規(guī)劃的方式尋找一條最佳縫合線，傳統(tǒng)的最佳縫合線法在搜索時靈活度不夠，對局部信息反映較差，本文將局部信息按一定權(quán)重加入強(qiáng)度值，對最佳縫合線的搜索進(jìn)行改進(jìn)，主要步驟如下：

(1)每一列的第一個像素代表了一條縫合線的初始強(qiáng)度值，若有n列，則有n條縫合線。

(2)設(shè)第一個像素點為當(dāng)前點，像素值為強(qiáng)度值，則有該點下行緊鄰的3個像素值，將每個像素點正下方3×3方框內(nèi)求取像素平均值，稱為局部信息值。

(3)將當(dāng)前點下3個像素值分別加上其局部信息值與權(quán)重(本文為0.5)的乘積，得到的3個值進(jìn)行比較，最小值的像素點更新為當(dāng)前點，該像素值為新的強(qiáng)度值。依次更新當(dāng)前點直到最后一行，則所有當(dāng)前點連成的線為縫合線。

(4)求出所有n條縫合線，最小強(qiáng)度值的縫合線為最佳縫合線，如圖3(d)所示。

圖3 最佳縫合線過程

2.4 融合帶加權(quán)平均融合

在兩幅圖像的重疊區(qū)域搜索出最佳縫合線后，在縫合線兩端各取一幅原圖部分直接進(jìn)行拼接，這樣處理后消除了重影問題，可是明顯有拼接的痕跡，前面雖然經(jīng)過了曝光差異矯正，但縫合線兩端的顏色差異無法達(dá)到完全一致，為了得到更加自然的拼接圖像，需對縫合線兩端進(jìn)行處理，如圖所示，在縫合線兩端各劃出p個像素長度(按重疊區(qū)域長度來判斷，本文p=10)的區(qū)域為融合帶[14]。

在融合帶中，用加權(quán)平均融合法對x方向平滑過渡，融合如式所示

(18)

式中：f為融合后圖像，f1，f2為最佳縫合線在融合帶中左右原圖，w1和w2為融合帶中對應(yīng)像素的權(quán)重，關(guān)系為w1+w2=1。 一般按照漸入漸出法，w1和w2的計算如下

(19)

式中：xi為當(dāng)前像素橫坐標(biāo)，xl和xr為重疊區(qū)域左右邊界橫坐標(biāo)。本文中，因為是在融合帶中進(jìn)行融合，w1和w2的計算略有改動

(20)

式中：p為融合帶邊界點到縫合線點的距離。

3 實驗結(jié)果與分析

為驗證本文提出方法的效果，將Duplaquet算法和本文方法進(jìn)行比較。實驗對多組圖片進(jìn)行仿真實驗，實驗圖片均為手機(jī)直接拍攝，尺寸為640×480，實驗硬件平臺為Intel Core(TM) i7-5700HQ，2.7 GHz CPU，內(nèi)存為8 GB，軟件平臺為visual studio 2013+opencv2.4.13。實驗結(jié)果如圖4和圖5所示。

最佳縫合線通常可以較好地分離運動物體，但是也存在一種情況，就是運動物體過于靠近縫合線造成融合效果不佳的情況，圖4(a)和圖5(a)是實驗原圖，傳統(tǒng)最佳縫合線可以很好地分離運動物體，可以從圖4(b)和圖5(b) 看出，縫合線很好地繞過了運動物體，但與運動物體的距離非常近，建立融合帶時，圖4(c)和圖5(c)的融合帶都覆蓋了部分運動物體，拼接的效果如圖4(f)和圖5(f)所示，不僅可以明顯看出因曝光差異而造成的拼接縫，而且可以看出明顯的鬼影和重影。本文方法通過改進(jìn)最佳縫合線的能量函數(shù)和搜索策略，重新搜索出新的最佳縫合線，如圖4(d)，圖4(e)，圖5(d)，圖5(e)所示，最佳縫合線離運動物體具有一定的距離，所以建立融合帶時，融合帶也不存在運動物體。拼接效果如圖4(g)和圖5(g)所示，由于融合之前先進(jìn)行了曝光差異矯正，融合帶周圍的圖像過渡的也比較自然，整體的拼接效果要好于圖4(f)和圖5(f)，視覺效果也較好。細(xì)節(jié)方面，圖4(h) 左圖和右圖，圖5(h)左圖和右圖分別為圖4(f)，圖4(g)，圖5(f)，圖5(g)方框部分，圖4(h)左圖和圖5(h)左圖能看出較明顯的鬼影，圖4(h)右圖和圖5(h)右圖則較為清晰，并無鬼影現(xiàn)象，實驗結(jié)果表明，本文方法可以有效地解決最佳縫合線和運動物體過于接近造成的鬼影現(xiàn)象，提高了圖片拼接質(zhì)量。

圖4 第一組拼接效果

圖5 第二組拼接效果

實驗沒有通過任何GPU和CPU加速，算法所耗時間見表2。在特征提取方面，SURF算法所耗時間遠(yuǎn)大于SURF-ORB算法所耗時間，圖像融合方面，Duplaquet算法結(jié)合加權(quán)平均融合算法在時間上小于本文方法圖像融合時間，但本文算法在圖像拼接質(zhì)量上有所提高，消耗時間也在允許范圍內(nèi)，總體時間上，本文方法速度上還是略有優(yōu)勢。

表2 消耗時間對比

4 結(jié)束語

針對圖像融合過程中易產(chǎn)生鬼影的現(xiàn)象，本文首先將SURF和ORB算法相結(jié)合，縮短特征點提取與匹配的時間，然后采用改進(jìn)的最佳縫合線方法進(jìn)行圖像拼接，實驗結(jié)果表明，本文方法不僅提高了圖像拼接效率，而且有效地消除了圖像拼接過程中產(chǎn)生的鬼影現(xiàn)象。同時，本文工作仍有許多不足，針對圖像拼接實時性不足的問題，下一步將考慮引入CUDA GPU加速和CPU加速的方法優(yōu)化圖像拼接算法。