基于SIFT算法的水下圖像拼接技術(shù)研究

李社蕾 崔聰穎

摘 要：由于水下圖像存在低對比度、偏色等問題，拼接之前需要對水下圖像進(jìn)行預(yù)處理。為了實(shí)現(xiàn)兩幅水下圖像的拼接，需要分別提取兩幅水下圖像的特征點(diǎn)，并對所提取的特征點(diǎn)進(jìn)行精確匹配，然后對拼接圖像進(jìn)行融合。文中首先對水下圖像進(jìn)行增強(qiáng)，其次應(yīng)用SIFT算法提取待拼接圖像的特征點(diǎn)，進(jìn)行特征點(diǎn)匹配，并在此基礎(chǔ)上利用投票過濾法消除無匹配點(diǎn)，最后基于特征點(diǎn)的圖像配準(zhǔn)作圖像融合。實(shí)驗(yàn)結(jié)果表明，該方法有效實(shí)現(xiàn)了水下圖像的拼接。

關(guān)鍵詞：SIFT算法；圖像拼接；圖像配準(zhǔn)；圖像融合

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2018）04-00-03

0 引 言

近年來，圖像拼接技術(shù)已成為圖像處理領(lǐng)域的熱門研究課題之一。圖像拼接技術(shù)是將具有重疊區(qū)域的一系列圖像拼接為一幅具有較寬視角圖像的技術(shù)，這種技術(shù)將兩幅圖像進(jìn)行同一場景匹配，找出最終匹配的對應(yīng)關(guān)系，從而獲得寬闊的視角圖像[1-3]。該技術(shù)克服了一般成像設(shè)備視場受限和廣角鏡頭失真嚴(yán)重且價(jià)格較貴的弊端，在不改變硬件條件的前提下極大地拓展了人們的視野[2]。因此圖像配準(zhǔn)和圖像融合是圖像拼接的兩項(xiàng)關(guān)鍵技術(shù)。

圖像配準(zhǔn)是根據(jù)一定的配準(zhǔn)策略，確定待拼接圖像之間的變換關(guān)系。基于特征點(diǎn)的配準(zhǔn)方法簡單、穩(wěn)健，且匹配效果良好，已成為目前國內(nèi)外的研究熱點(diǎn)。SIFT（Scale Invariant Feature Transform，SIFT）算法是一種局部特征提取算法，首先在尺度空間尋找極值點(diǎn)，再去除不穩(wěn)定的邊緣點(diǎn)得到關(guān)鍵點(diǎn)，最后提取關(guān)鍵點(diǎn)處的特征描述符作為匹配依據(jù)。1999年，Lowe等人[4]提出了尺度不變特征變換SIFT算法，該算法是計(jì)算機(jī)視覺檢測和描述圖像局部特征的一種算法，2004年Lowe對其進(jìn)行了總結(jié)和改進(jìn)[5]。新的圖像配準(zhǔn)會(huì)在圖像配準(zhǔn)前對圖像增強(qiáng)，使圖像中的特征點(diǎn)變得更加明顯，提高配準(zhǔn)的準(zhǔn)確性。國內(nèi)學(xué)者也將基于SIFT算法的圖像拼接成功應(yīng)用到了其他場合， 張朝偉等人[6]將SIFT算法用于監(jiān)控視頻序列圖像的自動(dòng)拼接；何孝瑩等人[7]利用SIFT算法實(shí)現(xiàn)了無人機(jī)影像快速匹配。本文預(yù)對水下圖像進(jìn)行拼接，首先對水下圖像進(jìn)行預(yù)處理，之后進(jìn)行SIFT算法圖像配準(zhǔn)，采用加權(quán)平均混合法去除拼接縫隙，最終實(shí)現(xiàn)了無縫拼接。

1 水下圖像預(yù)處理

為了解決水下圖像存在的低對比度、偏色等問題，對圖1中（a），（b）兩幅圖利用UCM改進(jìn)算法進(jìn)行了預(yù)處理，處理后的效果如圖2所示。

2 基于SIFT的圖像配準(zhǔn)

SIFT算法的實(shí)質(zhì)是在不同尺度空間上查找關(guān)鍵點(diǎn)（特征點(diǎn)），并計(jì)算關(guān)鍵點(diǎn)梯度的大小、方向、尺度等，利用這些信息描述特征點(diǎn)。匹配過程即對比特征點(diǎn)的過程，流程如圖3所示。

（1）生成高斯差分金字塔（DoG金字塔），構(gòu)建尺度空間[3]

高斯金字塔是構(gòu)建DoG金字塔的基礎(chǔ)，DoG金字塔是尺度空間構(gòu)建的基礎(chǔ)，高斯核是唯一可以產(chǎn)生多尺度空間的線性核，于是二維圖像的尺度空間定義為：

高斯差分尺度空間（DoG Scale-Space）利用不同尺度的高斯差分核與圖像卷積生成的公式如下：

（2）DoG空間尺度極值點(diǎn)檢測

為了尋找DoG尺度空間的極值點(diǎn)，將每一個(gè)像素點(diǎn)與其二維圖像空間的3×3鄰域內(nèi)的8個(gè)點(diǎn)，上下相鄰兩層圖像的2×9個(gè)點(diǎn)作比較，如此可保證檢測到的特征點(diǎn)在尺度空間和二維圖像空間上都是局部極值點(diǎn)[8]。極值點(diǎn)計(jì)算方法如圖4所示。

（3）特征點(diǎn)位置確定

為了確定穩(wěn)定的特征點(diǎn)位置，在獲取極值點(diǎn)之后，還需要將低對比度點(diǎn)和不穩(wěn)定的邊緣點(diǎn)排除。

對于極值點(diǎn)T，在其相應(yīng)的函數(shù)D（x，y，σ）上進(jìn)行泰勒展開，得到如下公式[8]：

對上式求導(dǎo)，令其等于零，得到精確位置，如式（5）所示：

把式（5）代入式（4），即在DoG 空間的極值點(diǎn)處D（x）取值，只取前兩項(xiàng)可得：

若，則為特征點(diǎn)。由此便去掉了極值點(diǎn)的低對比度點(diǎn)和不穩(wěn)定的邊緣點(diǎn)。

（4）穩(wěn)定關(guān)鍵點(diǎn)方向信息

利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。其梯度幅值表述為：

利用式（8）計(jì)算以關(guān)鍵點(diǎn)為中心的鄰域內(nèi)所有點(diǎn)的梯度方向，梯度方向的范圍為0～360°，每45°為一個(gè)柱，共8個(gè)柱，累計(jì)落到每個(gè)柱內(nèi)的關(guān)鍵點(diǎn)個(gè)數(shù)，以此生成梯度方向直方圖。Lowe等人[5]指出，直方圖的峰值代表了該特征點(diǎn)處鄰域或梯度的主方向，以此作為該關(guān)鍵點(diǎn)的方向。其他達(dá)到最大值80%的方向可作為輔助方向。

（5）特征點(diǎn)描述

對特征點(diǎn)的描述是后續(xù)實(shí)現(xiàn)匹配的關(guān)鍵，在計(jì)算特征點(diǎn)描述符之前，描述符的坐標(biāo)和梯度方向應(yīng)該相對于特征點(diǎn)方向旋轉(zhuǎn)。Lowe等人[5]以特征點(diǎn)為中心，選取16×16像素鄰域，將該區(qū)域劃分為8個(gè)4×4子區(qū)域。每個(gè)關(guān)鍵點(diǎn)形成一個(gè)4×4×8 =128維的特征向量，通過計(jì)算每個(gè)子區(qū)域中8個(gè)方向的方向直方圖來實(shí)現(xiàn)，最后進(jìn)行特征向量歸一化，以減少照明變化的影響。

（6）特征點(diǎn)匹配

進(jìn)行特征點(diǎn)匹配，首先需計(jì)算兩組特征點(diǎn)的128維特征向量的歐式距離，距離越小，則兩組特征點(diǎn)相似程度就越高。根據(jù)經(jīng)驗(yàn)設(shè)定一個(gè)閾值，當(dāng)兩特征向量的歐式距離小于該值時(shí)，則判定特征點(diǎn)匹配成功。

3 圖像融合

直接拼接會(huì)使圖像中間有一條明顯的拼接縫隙，影響視覺效果，因此有必要對拼接后的圖像進(jìn)行融合。本文對重疊區(qū)域采用加權(quán)平均法進(jìn)行融合，從而實(shí)現(xiàn)兩幅水下圖像的無縫拼接。圖像重疊區(qū)域中像素點(diǎn)R，G和B各通道分量值的計(jì)算方法如式（9）：

其中：d1，d2分別表示該點(diǎn)到兩幅圖像重疊區(qū)域左、右邊界的距離；Pixel-L為左側(cè)圖像中對應(yīng)點(diǎn)的值；Pixel-R為右側(cè)圖像中對應(yīng)點(diǎn)的值。

4 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文提出的圖像拼接算法的有效性，本實(shí)驗(yàn)的實(shí)驗(yàn)平臺(tái)硬件為Intel（R）Core（TM）i3-2100 CPU @ 3.10 GHz，3.09 GHz，軟件為Matlab R2012a。

將預(yù)處理后的圖像基于SIFT進(jìn)行圖像拼接后，圖像特征點(diǎn)的梯度值及梯度方向如圖5所示，兩幅圖像SIFT特征點(diǎn)提取、匹配結(jié)果如圖6所示，拼接結(jié)果如圖7所示。拼接后的圖像視覺效果良好。

5 結(jié) 語

圖像拼接算法在三維重建、視頻監(jiān)控、水下探測、醫(yī)學(xué)映像及無人機(jī)航拍等方面有著廣泛的應(yīng)用，因此成為計(jì)算機(jī)視覺領(lǐng)域的熱門研究方向。本文基于SIFT算法對水下圖像進(jìn)行拼接，實(shí)驗(yàn)結(jié)果表明，圖形經(jīng)過預(yù)處理，使用該方法拼接的水下圖像視覺效果良好，具有一定的應(yīng)用參考價(jià)值。

參考文獻(xiàn)

[1] CAO L J，LV M. An image mosaic method based on sIFT feature matching[J].Advanced materials research，2012，433-440：5420-5424.

[2]楊云濤，馮瑩，曹毓，等.基于SURF的序列圖像快速拼接方法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2011，21（3）：6-9.

[3]喬警衛(wèi)，胡少興.三維重建中特征點(diǎn)提取與匹配算法研究[J].系統(tǒng)仿真學(xué)報(bào)，2008，20（S1）：400-403.

[4] LOWE D G. Object recongnition from local scale-Invariant features[C]//Proc.of the international conference on computer vision，1999，9：1-8.

[5] LOWE D G. Distinctive image features from scale-Invariant keypoints[J]. International journal of computer vision，2004，60（2）：91：110.

[6]張朝偉，周焰，吳思勵(lì)，等.基于SIFT特征匹配的監(jiān)控圖像自動(dòng)拼接[J].計(jì)算機(jī)應(yīng)用，2008，28（1）：191-194.

[7]何孝瑩，岳建偉，張栩然.基于SIFT算法的無人機(jī)影像快速匹配[J].計(jì)算機(jī)工程，2011，37（7）：216-218，230.

[8]王邦國.基于SIFT特征點(diǎn)精確匹配的圖像拼接技術(shù)研究[J].大連大學(xué)學(xué)報(bào)，2015，36（3）：22-26.