基于不變矩相似度的快速圖像拼接

何佳華，吳 斌，張紅英

(西南科技大學(xué) 信息工程學(xué)院，四川 綿陽 621010)

?

基于不變矩相似度的快速圖像拼接

何佳華，吳 斌，張紅英

(西南科技大學(xué) 信息工程學(xué)院，四川 綿陽 621010)

針對圖像拼接中普遍存在的效率低和誤匹配等問題，提出了一種基于不變矩相似度的快速拼接方法。首先利用不變矩相似度準(zhǔn)則，預(yù)估輸入圖像的重疊區(qū)域，然后采用SIFT算法進(jìn)行特征點(diǎn)檢測和匹配，減少了不必要的特征提取和誤匹配。利用穩(wěn)健的RANSAC算法實(shí)現(xiàn)特征點(diǎn)提純并計(jì)算單應(yīng)性矩陣。最后，針對帶運(yùn)動(dòng)目標(biāo)的動(dòng)態(tài)場景融合后易出現(xiàn)鬼影的現(xiàn)象，提出一種改進(jìn)的分段線性加權(quán)融合算法以消除拼接鬼影。

圖像拼接；不變矩；尺度不變特征變換；線性加權(quán)融合；鬼影

0 引言

圖像拼接不僅廣泛應(yīng)用于視頻監(jiān)控、三維重建和遙感測繪等領(lǐng)域，還是計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)研究領(lǐng)域中的重要研究課題。在全景圖的形成過程中，關(guān)鍵的步驟在于圖像配準(zhǔn)，而目前應(yīng)用最為廣泛的配準(zhǔn)算法是基于特征的配準(zhǔn)算法。常用的特征匹配算法有：SUSAN、Harris、SIFT和SURF算法等[1]。其中，SIFT算法對旋轉(zhuǎn)、縮放和尺度能夠保持不變形，且對圖像視角的變化和噪聲影響也具備很強(qiáng)的魯棒性。但SIFT算法復(fù)雜度較高且配準(zhǔn)效率低，而作為SIFT算法的改進(jìn)，SURF算法在精度上已經(jīng)達(dá)到了亞像素級，大大壓縮了圖像配準(zhǔn)的時(shí)間。但針對多張圖像的拼接，特征點(diǎn)提取部分仍然要耗費(fèi)大量時(shí)間，且經(jīng)過多年對基于特征點(diǎn)的配準(zhǔn)算法進(jìn)行驗(yàn)證發(fā)現(xiàn)，經(jīng)過提純后的正確匹配點(diǎn)對基本都分布在輸入圖像的重疊區(qū)域。據(jù)此，如果能采用某種有效算法預(yù)先估算輸入圖像的重疊區(qū)域，只在該區(qū)域進(jìn)行特征點(diǎn)的提取和匹配，將節(jié)省大量時(shí)間，提高整個(gè)拼接系統(tǒng)的效率。

不變矩是一種描述圖像平移、旋轉(zhuǎn)及比例不變性的數(shù)學(xué)特征。若把二值圖像或灰度圖像看作一種二維密度分布函數(shù)，不變矩值就可以用于描述圖像的特征。因此，許多學(xué)者將不變矩應(yīng)用于圖像分析中。Zhang Ruliang等[2]通過計(jì)算邊緣不變矩，將其作為匹配特征；高薇等人[3]在分割處理上利用不變矩對高分辨率遙感影像進(jìn)行建筑物特征提?。籏ARTHIK R等人[4]利用梯度邊緣檢測和不變矩的絕對比值，實(shí)現(xiàn)特征提取。本文根據(jù)不變矩特征，提出了一種估算重疊區(qū)域的快速圖像拼接算法。

1 重疊區(qū)域估算和圖像配準(zhǔn)

為有效解決圖像在旋轉(zhuǎn)、平移變換和光照差異等情況下的拼接錯(cuò)誤，且提高拼接效率，本文基于不變矩的旋轉(zhuǎn)，縮放和平移不變特性，提出了一種由粗到細(xì)的特征提取方法。首先計(jì)算輸入圖像二值化后的分塊圖像的7個(gè)不變矩值；然后采用歸一化歐幾里德距離計(jì)算各分塊圖像不變矩的相似度，提取出最為相似的區(qū)域；采用SIFT算法對該區(qū)域進(jìn)行特征提取[5]，根據(jù)隨機(jī)采樣一致性算法(Random Sample Consensus，RANSAC)提取特征點(diǎn)并求出單應(yīng)性矩陣H；最后，基于改進(jìn)的分段線性加權(quán)融合算法實(shí)現(xiàn)圖像的無縫無鬼影拼接。

1.1 重疊區(qū)域的估算

不變矩最初是用來表達(dá)物體的幾何形狀信息的參數(shù)，離散狀態(tài)下，對于大小為M×N、灰度分布為f(x,y)的圖像，其(p+q)階普通矩和中心矩定義如下[5]：

(1)

(2)

式中，p,q=0,1,2,…。

當(dāng)圖像發(fā)生變化時(shí)，mpq也發(fā)生變化，而μpq則具有平移不變性，但對旋轉(zhuǎn)依然敏感[3]。歸一化中心矩定義為：

(3)

Hu利用二階和三階中心矩構(gòu)造了7個(gè)不變矩，在連續(xù)圖像條件下可保持平移、縮放和旋轉(zhuǎn)不變[5]。

這里，把提取的7個(gè)二維Hu不變矩作為圖像的特征提取，采用歐幾里德距離作為相似性的度量，定義參考圖像和待拼接圖像的不變矩相似性距離為:

(4)

考慮到歐式距離公式取值范圍會(huì)很大，為合理評價(jià)輸入圖像的相似程度，減小歐氏距離的計(jì)算誤差，將上述距離公式進(jìn)行歸一化處理，定義Hu不變矩相似度公式為：

SH=1/(1+d(x,y))

(5)

其中，SH∈[0，1]，且值越大，說明兩幅圖像越接近，反之，值越小，相似程度越低。

1.2 SIFT特征提取

通過對分塊圖像的不變矩相似性進(jìn)行度量后，估算出輸入圖像的重疊區(qū)域，然后，利用SIFT算法在重疊區(qū)域進(jìn)行特征提取。SIFT算法的實(shí)質(zhì)是在不同的尺度空間上查找關(guān)鍵點(diǎn)，并計(jì)算出關(guān)鍵點(diǎn)的方向，最后得到特征描述子[5]。

SIFT算法檢測尺度空間主要采用高斯差分金字塔(簡稱DOG算子)，定義如下：

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=

L(x,y,kσ)-L(x,y,σ)

(6)

其中，I(x,y)是圖像位于點(diǎn)(x,y)處的像素值,G(x,y,σ)是二維高斯函數(shù)。

關(guān)鍵點(diǎn)是由DOG空間的局部極值點(diǎn)組成的，這些極值點(diǎn)并不全都是穩(wěn)定的特征點(diǎn)，還要通過擬合三維二次函數(shù)來精確確定關(guān)鍵點(diǎn)的位置和尺度，同時(shí)去除低對比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)[5]。最后，根據(jù)候選點(diǎn)領(lǐng)域像素的梯度方向特性得到關(guān)鍵點(diǎn)描述子。

1.3 特征匹配

本文采用K-D樹和RANSAC算法來精確匹配特征點(diǎn)，首先為輸入圖像建立K-D樹，完成特征點(diǎn)的初始匹配[6]。然后，采用RANSAC算法剔除外點(diǎn)，保留內(nèi)點(diǎn)。

根據(jù)投影變換公式，單應(yīng)性矩陣為：

(7)

為了確定8個(gè)自由參數(shù)，每次至少需要4對初始匹配點(diǎn)對，通過RANSAC算法不斷迭代，直到得到H矩陣的精確值。

2 重疊區(qū)域去鬼影融合

現(xiàn)有的線性加權(quán)法能在一定程度上實(shí)現(xiàn)無縫拼接，但是當(dāng)圖像中存在移動(dòng)目標(biāo)時(shí)，容易產(chǎn)生鬼影現(xiàn)象[7]。因此本文對線性加權(quán)融合算法進(jìn)行了改進(jìn)，提出一種分段線性加權(quán)融合方法，當(dāng)輸入圖像中只存在少量運(yùn)動(dòng)物體時(shí)，能在一定程度上消除鬼影。

2.1 線性加權(quán)融合

線性加權(quán)融合算法定義如下:

P(x,y)=t1P1(x1,y1)+t2P2(x2,y2)

(8)

這里，P(x,y)表示融合后的圖像，P1(x1,y1)和P2(x2,y2)表示兩幅輸入圖像，t1和t2分別對應(yīng)于重疊區(qū)域像素的權(quán)重值，且滿足t1+t2=1。線性加權(quán)的權(quán)重選擇多樣，合理的權(quán)值選取，可以實(shí)現(xiàn)平滑過渡。

2.2 分段線性加權(quán)融合

文獻(xiàn)[8]提出利用離散小波將圖像進(jìn)行多尺度分解，采用加權(quán)平均和領(lǐng)域方差加權(quán)平均算法實(shí)現(xiàn)低頻分量和高頻分量的融合與重構(gòu)。文獻(xiàn)[9]提出一種基于小波系數(shù)自適應(yīng)的改進(jìn)加權(quán)平均算法。文獻(xiàn)[10]提出通過閾值和小波變換來改進(jìn)加權(quán)平均融合。本文從加權(quán)平均融合的權(quán)值分配原則出發(fā)，將重疊區(qū)域分為四段，通過閾值的對比來分配每一段區(qū)域所占的權(quán)值。

P(x,y)=

(9)

其中，P1(x,y)和P2(x,y)表示兩幅輸入圖像，Pol(x,y)為重疊區(qū)域。α和β表示輸入圖像的權(quán)值，γ是重疊區(qū)域的權(quán)值。且滿足

α+β+γ=1

(10)

其中，權(quán)值α，β和γ的取值過程如下：

(1)設(shè)重疊區(qū)域的寬度為L，x為當(dāng)前點(diǎn)的坐標(biāo)，重疊區(qū)域的左邊界起始坐標(biāo)為i。首先利用2.1節(jié)所述的線性加權(quán)融合算法計(jì)算重疊區(qū)域的像素值Pol(x,y)和它的線性權(quán)值t1和t2。

(2)設(shè)P1為左圖某點(diǎn)的灰度值，P2為右圖某像素點(diǎn)的灰度值，Pol為融合后重疊區(qū)域某點(diǎn)的灰度值。T為灰度閾值。進(jìn)行四段式灰度值的比較，為每段的相應(yīng)像素點(diǎn)分配權(quán)值。

表1 分塊圖像的SH值比較

注：橫排為左圖歸一化不變矩值，豎排為右圖值。

根據(jù)上述四段線性加權(quán)融合的權(quán)值計(jì)算準(zhǔn)則，實(shí)現(xiàn)左右方向的無縫融合和鬼影消除，同理，也可實(shí)現(xiàn)上下拼接時(shí)的平滑過渡。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 重疊區(qū)域提取和SIFT特征點(diǎn)檢測

本文實(shí)驗(yàn)環(huán)境為Windows 7，實(shí)驗(yàn)平臺(tái)為MATLAB2012b。首先，對輸入圖像進(jìn)行自適應(yīng)閾值二值化操作，然后對圖像進(jìn)行均勻分塊，這里均勻分成3×3的圖像塊，便于計(jì)算圖像的不變矩值。然后，計(jì)算各模塊對應(yīng)的不變矩歐式距離，這里關(guān)注的是不變矩的不變性，與符號無關(guān)，所以統(tǒng)計(jì)時(shí)取不變矩的對數(shù)絕對值，便于計(jì)算。

重疊區(qū)域的選取如圖1所示，采用SIFT算法直接提取特征點(diǎn)并估算出重疊區(qū)域后再采用SIFT提取特征點(diǎn)，效果對比如圖2所示。

由表1分析可知，左圖的3、6、9區(qū)域塊依次對應(yīng)于右圖的1、4、7區(qū)域塊的SH值相對較小，說明重疊區(qū)域集中于這些區(qū)域塊。

圖1 重疊區(qū)域的選取

圖2 特征提取對比圖

為估算本文算法的性能優(yōu)越性，給出直接采用SIFT算法、SURF算法和本文算法實(shí)現(xiàn)拼接的用時(shí)和準(zhǔn)確率對比，如表2所示。

表2 本文算法與SIFT和SURF算法的性能對比

由表2可知，與SIFT算法和SURF算法相比較，本文算法不僅在特征提取和匹配時(shí)間上更高效，且匹配正確率也更高。

3.2 帶運(yùn)動(dòng)目標(biāo)的圖像去鬼影融合

當(dāng)圖像存在運(yùn)動(dòng)目標(biāo)時(shí)，傳統(tǒng)的線性加權(quán)融合算法并不能消除鬼影現(xiàn)象[11]。下面通過一組帶有運(yùn)動(dòng)目標(biāo)的圖像，分別用線性加權(quán)融合和分段線性融合算法進(jìn)行融合，效果對比圖如圖3所示。

圖3 消除鬼影效果對比圖

4 結(jié)論

本文提出了一種快速構(gòu)建全景圖像較為有效的方法，與經(jīng)典的SIFT和SURF算法相比，這種通過不變矩計(jì)算歐式距離來預(yù)估重疊區(qū)域的算法大大減少了計(jì)算復(fù)雜度和拼接時(shí)間。顯然，對于多幅大視場全景圖像的構(gòu)建，基于不變矩相似度的拼接算法更高效，也更能滿足對實(shí)時(shí)性的需求。

[1] 安維勝,余讓明,伍玉鈴. 基于FAST和SURF的圖像配準(zhǔn)算法[J]. 計(jì)算機(jī)工程,2015,41(10):232-235.

[2] Zhang Ruliang, Wang Lin. An image matching evolutionary algorithm based on Huinvariant moments[C]. International Conference on Image Analysis and Signal Processing, 2011: 113 -117.

[3] 高薇. 基于不變矩算法的高分辨率遙感影像建筑物特征提取[D]. 成都:電子科技大學(xué),2013.

[4] KARTHIK R, ANNISFATHIMA A, VAIDEHI V. Panoramic view creation using invariant momentsand SURF features[C].

International Conference on Recent Trends in Information Technology, 2013: 376-382.

[5] 李中生,趙彬,劉振宇,等. 基于SIFT和Hu特征融合的單目視覺識別算法研究[J]. 微型機(jī)與應(yīng)用, 2013,32(13):41-45.

[6] 劉欣,李校林,謝燦,等. 一種基于仿射變換的SURF圖像配準(zhǔn)算法[J]. 電子技術(shù)應(yīng)用,2014,40(6):130-132,139.

[7] 瞿中, 喬高元. 一種消除圖像拼接縫和鬼影的快速拼接算法[J]. 計(jì)算機(jī)科學(xué),2015,42(3):280-283.

[8] 張格森,陳東生,王懷野,等. 一種圖像局部特征快速匹配算法[J]. 電子技術(shù)應(yīng)用,2015,41(11):124-127.

[9] 吳金津,文志強(qiáng),龍永新,等. SIFT-FCACO算法的圖像配準(zhǔn)[J]. 微型機(jī)與應(yīng)用,2014,33(15):36-39.

[10] JOSHI H, SINHA K L. A survey on image mosaicing techniques[J]. International Journal of Advanced Research in Computer Engineering & Technology (UARCET), 2013,2(2):356-369.

[11] 秦緒佳, 王琪, 王慧玲,等. 基于最佳縫合線的序列遙感圖像拼接融合方法[J]. 計(jì)算機(jī)科學(xué),2015,42(10):306-309.

Fast image stitching based on similarity of invariant moments

He Jiahua, Wu Bin, Zhang Hongying

(Information Engineering Institute, Southwest University of Science and Technology, Mianyang 621010, China)

For problems such as low efficiency and false matching in the prevalence of image stitching, this paper proposes a fast stitching method based on similarity of invariant moments. Firstly, it uses the similarity of invariant moments to estimate overlap area of the input images, and then uses SIFT(Scale-Invariant Feature Transform)to detect and match feature points in the overlapping area, thus the unnecessary time of feature extraction and false matching are reduced. RANSAC(Random Sample Consensus)algorithm is used to refine the feature points and calculate homography. Finally, for dynamic scene easily appearing ghost phenomenon after fusion, an improved piecewise linear weighting fusion algorithm is put forward to eliminate ghost.

image stitching; invariant moments; scale-invariant feature transform; linear weighted fusion; ghost

TP391.4

A

10.19358/j.issn.1674- 7720.2017.12.015

何佳華，吳斌，張紅英.基于不變矩相似度的快速圖像拼接[J].微型機(jī)與應(yīng)用，2017,36(12)：50-53.

2016-12-28)

何佳華(1991-)，女，碩士研究生，主要研究方向：圖像處理技術(shù)、人工智能及其應(yīng)用。

吳斌(1965-)，男，博士，教授，博士生導(dǎo)師，主要研究方向：人工智能及其應(yīng)用、智能控制、圖像處理技術(shù)。

張紅英(1976-)，女，博士，教授，主要研究方向：圖像處理技術(shù)、生物特征識別技術(shù)。