基于計算集成成像的圖像配準(zhǔn)算法研究

韶阿俊，錢惟賢，顧國華，李 超，毛 晨

?

基于計算集成成像的圖像配準(zhǔn)算法研究

韶阿俊，錢惟賢，顧國華，李 超，毛 晨

（南京理工大學(xué)電子工程與光電技術(shù)學(xué)院，江蘇 南京 210014）

計算集成成像是目前三維重構(gòu)與顯示領(lǐng)域的主流研究方向，是一種基于透鏡陣列來獲取和重現(xiàn)目標(biāo)場景三維的技術(shù)，針對集成成像采集的子圖特征點匹配問題，傳統(tǒng)的圖像匹配方法匹配點少、耗費時間長、容易產(chǎn)生局部極值等問題。為了獲取更多的匹配點，在原有SIFT配準(zhǔn)算法基礎(chǔ)上進(jìn)行了適當(dāng)?shù)母倪M(jìn)，實現(xiàn)集成成像稠密的圖像配準(zhǔn)，較大地縮短了配準(zhǔn)時間。

集成成像；三維重構(gòu)；圖像匹配；SIFT

0 引言

計算集成成像（Computational Integral Imaging，CII）技術(shù)[1]是一種使用微透鏡陣列或針孔陣列來捕捉來自不同方向光線的3D成像技術(shù)，作為一種新型的“真三維”自由立體成像技術(shù)，是目前三維重構(gòu)探測領(lǐng)域的主流研究方向，并且對于三維重構(gòu)實時性具有很重要的意義，在醫(yī)療成像、工業(yè)探傷等領(lǐng)域也具有非常廣闊的應(yīng)用前景。

CII技術(shù)重點及難點在于圖像的配準(zhǔn)技術(shù)[2]，圖像配準(zhǔn)在一些圖形分析任務(wù)中是一個至關(guān)重要的部分，是集成成像、圖像融合、目標(biāo)檢測等應(yīng)用中基本的預(yù)處理步驟。圖像配準(zhǔn)是將不同時間、不同觀點或者由不同傳感器所獲取同一場景的兩幅或兩幅以上的圖像匹配、疊加的過程[3]。根據(jù)配準(zhǔn)過程中所采用的圖像信息的不同，一般可以分為基于灰度統(tǒng)計和基于特征這兩種方法。前者通過統(tǒng)計灰度信息來處理圖像，但對于相關(guān)性較弱的圖像卻難以解決，同時由于其遍歷整個圖像時間消耗過大，難以得到實際應(yīng)用，如歸一化互相關(guān)（normalized cross correlation method，NCC）；后者則需要找出兩幅圖像之間的共同特征結(jié)構(gòu)并提取出來，該方法計算量小、適應(yīng)性強(qiáng)、算法效率以及精度高，對復(fù)雜形變不敏感，是目前圖像配準(zhǔn)研究領(lǐng)域中的主流方法，得到了廣泛的應(yīng)用[4]。

現(xiàn)如今，特征點提取比較常用的算子有Harris、SUSAN（Smallest Univalue Segment Assimilating Nucleus，最小核值相似區(qū)）[5]、SIFT（Scale In variant Feature Transform，尺度不變特征轉(zhuǎn)換）等算法。Harris適用于角點數(shù)目較多且光源復(fù)雜的情況下。在沒有圖像尺度變化的條件下，Harris角點檢測對圖像的旋轉(zhuǎn)變化、視角變化以及圖像噪聲具有比同類檢測算子更好的穩(wěn)定性。然而Harris角點檢測對圖像的尺度變化非常的敏感，小的尺度變化就會造成Harris角點出現(xiàn)復(fù)現(xiàn)率快速下降的問題。對于透鏡陣列的單元圖像，我們在尋找每一個透鏡匹配點時發(fā)現(xiàn)，其對應(yīng)點十分稀疏，對于三維恢復(fù)來說造成了巨大的困難[6]。SUSAN角點檢測的一個突出優(yōu)點就是對局部的噪聲不敏感，抗干擾能力強(qiáng)。然而SUSAN角點檢測與Harris檢測面臨同樣的問題，檢測角點主要存在于灰度變化值變化比較大的部分，并且角點數(shù)量較少。對于許多在線系統(tǒng)，實時性往往需要擺在一個十分重要的位置，Lowe在前人研究的基礎(chǔ)上，提出了SIFT算法[7]。SIFT算法完整地把斑點檢測和特征矢量生成、特征匹配搜索等步驟結(jié)合在一起同時對其進(jìn)行適當(dāng)優(yōu)化，因此達(dá)到了接近實時的運算速度。

本文根據(jù)集成成像過程中光照和噪聲對于單元圖像質(zhì)量的影響，提出了改進(jìn)的SIFT算法，引入了相機(jī)光軸的旋轉(zhuǎn)角度和傾斜角度兩個新的參量，實現(xiàn)了全尺度不變的特征點匹配。實驗證明該算法在保證實時性的前提下，提取了更多稠密的特征點，為目標(biāo)識別與追蹤、三維重構(gòu)等問題提供了很大的便利。

1 SIFT算法特征匹配

SIFT是一種檢測與描述圖像局部特征的方法。特征的類型一般包括點、塊、邊緣等，SIFT主要檢測塊狀特征。該算子具有非常突出的特點，主要通過圖像的尺度空間提取特征，所提取的局部特征對于圖像有一定的尺度不變性，特別在圖像旋轉(zhuǎn)變換、尺度縮放、放射變換等方面保持不變性。因此較好地解決了圖像因場景部分遮掩、視點變化、旋轉(zhuǎn)縮放所引起的圖像變形等問題。該算法一般包括4個步驟：①建立完整尺度空間，進(jìn)行極值點檢測；②確定關(guān)鍵點主方向，保證描述子旋轉(zhuǎn)不變性；③提取特征描述符，保證矢量旋轉(zhuǎn)不變性。④特征點匹配。

1.1 極值點檢測

在尺度空間下檢測極值點，可以保證匹配的縮放不變性[8]。尺度空間的構(gòu)造可用如下公式表示：

(,,)=(,,)*(,) (1)

式中：(,,)為高斯濾波函數(shù)；(,)為圖像；(,,)為尺度空間，是圖像(,)與高斯差分核的卷積；(,)為像素坐標(biāo)；為尺度空間因子；(,,)為尺度空間。

極值點的檢測是在DoG（Difference of Gaussian）金字塔上進(jìn)行檢測的，這樣可以保證檢測到穩(wěn)定的極值點。由于生成尺度空間時，對圖像進(jìn)行高斯模糊時候采用了降采樣處理，因此從下到上尺度依次減小，如圖1所示，類似于金字塔形狀，因此稱為金字塔，公式表示如下：

(,,)＝[(,,)－(,,)]*(,)＝

(,,)－(,,) (3)

圖1 DoG金字塔的構(gòu)造過程

在生成的DoG金字塔中，從第2層開始，每個像素點與上下層及周圍總共26個像素點比較像素值，如果是最大或者最小值，則標(biāo)注為極值點，如圖2所示。

圖2 DoG金字塔特征點檢測

由對比得到的局部極值位置就是圖像特征點所處的位置和其相對應(yīng)的尺度，于是為了得到更準(zhǔn)確的特征點，我們可以借助曲面擬合的方法對特征點進(jìn)行更精確的定位，同時還需要對一些對比度相對較低的點以及邊緣響應(yīng)點進(jìn)行排查并剔除。

1.2 確定關(guān)鍵點主方向

為了保證描述子的旋轉(zhuǎn)不變性，需要對特征關(guān)鍵點指定一個主方向，這里我們利用特征點鄰域像素的梯度直方圖來計算極值點的主方向，從而確保算子具備旋轉(zhuǎn)不變性。

(,)＝tan－1[((,＋1)－(,－1)]/

[((＋1,)－(－1,)] (6)

式(5)、式(6)分別為()處梯度的模值和方向公式。其中，是每個特征點各自所在的尺度。實際計算過程中，在以特征點為中心的領(lǐng)域窗口內(nèi)進(jìn)行采樣，并用梯度方向直方圖統(tǒng)計鄰域像素的梯度方向[9]。通常，為了增強(qiáng)匹配的魯棒性，我們指定一個特征點具有多個方向：一個主方向，一個以上輔方向。

1.3 提取特征描述符

圖3 特征點描述子構(gòu)造

1.4 特征點匹配

兩幅相似圖像的128維SIFT特征矢量形成后，為了判定兩幅圖像中關(guān)鍵點的相似性，我們將采用關(guān)鍵點特征向量的歐式距離作為判定度量。然而由于遮擋等原因，匹配過程中可能出現(xiàn)較多錯誤匹配情況，所以我們必須采取一些措施以降低錯配率。但是因為特征點具有較強(qiáng)的獨特性，它的匹配點對于特征向量的歐式距離就會較大，所以每對匹配特征點的特征向量歐式距離加閾值的方法用在這里其實并不是特別適合。于是我們提出一種相對有效的方法：在匹配時比較與關(guān)鍵點的特征向量最近和第二近的關(guān)鍵點。例如，我們可以取圖像a中的一個關(guān)鍵點，并在圖像b中尋找與圖像a中歐式距離最近的兩個關(guān)鍵點并且進(jìn)行排序，在這兩個關(guān)鍵點中，如果最近距離與第二近距離的比值小于設(shè)定的比例閾值，則默認(rèn)這兩個關(guān)鍵點是一對匹配點，具體的表達(dá)式如下：

通過大量的實驗我們可以觀察到，如果降低閾值，匹配點數(shù)目則會相應(yīng)的減少，但卻更加穩(wěn)定。Lowe在實現(xiàn)過程中推薦取＝0.8，此時雖然會去掉約5%的正確匹配，但同時會去掉約90%的錯誤匹配[10]。

2 改進(jìn)的SIFT算法

當(dāng)兩個相對空間位置的元素圖像變化較小，光強(qiáng)度也足夠好時，SIFT算法在圖像配準(zhǔn)方面性能很好。然而對于一組在弱光和低分辨率的圖像，我們可以通過實驗發(fā)現(xiàn)得到的匹配點過于稀疏。如圖4所示。

圖4 SIFT匹配點（包括錯誤匹配點）

僅僅靠含有錯誤匹配點的65組匹配點，根本無法滿足三維重構(gòu)基礎(chǔ)應(yīng)用要求，于是我們引入了改進(jìn)的SIFT算法。

本文所引用的算法是通過模擬成像時傳感器的姿態(tài)來解決拍攝時帶來的仿射變形，其最顯著的一點就是進(jìn)一步增強(qiáng)了算法的仿射不變性[11]。如此看來，該算法模擬了3個參量：尺度、相機(jī)經(jīng)度角和緯度角（相當(dāng)于傾斜角），除此之外還規(guī)范了其他3個參數(shù)（平移和轉(zhuǎn)動）。因而該算法為全尺度不變算法，ASIFT（Affine Scale Invariant Feature Transform）[12]。該算法大致匹配過程如圖5。

圖5 仿射空間

圖A和圖B為兩幅存在近似仿射變形的圖像，模擬所有相機(jī)光軸扭曲所造成的變化。如果將圖A和圖B進(jìn)行匹配，SIFT算法不容易識別具有仿射變形的圖像，因而配準(zhǔn)點稀少。ASIFT算法通過將圖像A的成像姿態(tài)進(jìn)行精確模擬成圖G的近似正視角度的成像狀態(tài)，將圖像B以同樣的原理模擬成H，然后再將圖G和圖H進(jìn)行符合一定準(zhǔn)則的配準(zhǔn)。由于圖G和圖H是接近正面拍攝的角度，因此仿射變形的程度基本一致，更容易匹配。在一系列變換中，圖C和圖E是圖像A經(jīng)過模擬姿態(tài)角后生成的影像，圖D和圖F是圖像B經(jīng)過模擬姿態(tài)角后生成的影像。但是實際上，這些影像也是可以進(jìn)行相互匹配的，圖G和圖H是仿射變形后可以到達(dá)最優(yōu)匹配結(jié)果。因此選擇圖G和圖H的成像姿態(tài)作為最后的仿射變換模型。

由此可以看出，ASIFT算法的實現(xiàn)需要解決以下2個問題：

1）確定傳感器的視角關(guān)系：當(dāng)傳感器在拍攝對象上方的不同視角獲取子圖時，傳感器的光軸一般會發(fā)生改變，造成圖像上局部區(qū)域存在仿射變形。為了模擬所有可能的仿射變形，ASIFT算法在SIFT算法基礎(chǔ)上引入兩個新的參數(shù)來衡量傳感器的視角位置。

首先，我們假設(shè)一個矩陣為仿射變換矩陣（的行列式為正，且不存在相似矩陣），將其分解成：

式中：l＞0，f?[0, p]。式(8)的幾何過程可以由圖6解釋，f, q＝arccos1/t。分別代表相機(jī)光軸的經(jīng)度和緯度；右上角的平行四邊形表示攝像機(jī)的位置；u代表被拍攝的物體，可以看作為一個平坦的物理對象；第3個角y表示相機(jī)旋轉(zhuǎn)的參數(shù)；l為縮放倍數(shù)；f表示攝像機(jī)環(huán)繞自身光軸的旋轉(zhuǎn)角度。

本文介紹的ASIFT算法引入兩個全新的參數(shù)即為角和角，用這兩個參數(shù)來衡量傳感器在不同視角與正視角的關(guān)系，為了圖像的配準(zhǔn)，通過分別模擬待配準(zhǔn)圖像與正視角圖像的數(shù)學(xué)關(guān)系來實現(xiàn)。

2）模擬仿射不變性：ASIFT算法通過引入?yún)?shù)角和角來模擬由于傳感器光軸的方向改變而引起的局部仿射變形。因此可以在橫向角和縱向角上進(jìn)行足夠精確的采樣間隔以實現(xiàn)完全的仿射不變性。該方法主要過程有以下步驟：

圖7 采樣參數(shù)f,q＝arccos1/t。黑點為采樣點。沿Y軸的半球體透視圖（只顯示了t＝2, 2,4）

③采用SIFT算法對所有模擬傾斜后的圖像進(jìn)行匹配比較，匹配原則在1.4節(jié)中有所敘述。

由此可以看出改進(jìn)的算法在以足夠的精度模擬攝相機(jī)光軸的經(jīng)度角與緯度角，從而能夠更好地抵抗圖像間的仿射變換。實現(xiàn)了特征點的提取與匹配的稠密化。

3 實驗結(jié)果分析

為驗證本文所述算法的圖像匹配方法的可行性與可靠性，本文采用來自美國亞利桑那大學(xué)3DVIS實驗室的圖像進(jìn)行實驗。同時，文中我們使用IBM X230（CPU i7-3520M，8G內(nèi)存），64位操作系統(tǒng)作為實驗平臺。

在實驗中，我們用圖8作為實驗圖像組。

圖8 實驗圖像

剪切為同樣大小的單元圖像之后，對圖像9我們分別采用Harris角點檢測和NCC相結(jié)合的算法、SIFT和ASIFT算法提取匹配點[14]。得到的匹配圖如下，由圖10、圖11、圖12可以看出各算法得到對匹配效果圖。

圖9 平移仿射變換的原始圖

圖10 Harris＋NCC相結(jié)合的算法得到的匹配點

圖11 SIFT算法得到的匹配點

圖12 ASIFT算法得到的匹配點

針對圖9中單獨的兩幅腎臟單元圖，我們分別采用Harris＋NCC、SIFT、ASIFT算法進(jìn)行圖像配準(zhǔn)，得到初始匹配點及匹配時間的對比表格，如表1所示。

表1 Harris＋NCC、SIFT和ASIFT匹配實驗數(shù)據(jù)

由表1可以看出，本文所采用的ASIFT算法相對于Harris＋NCC和SIFT算法獲得了更多的匹配點，且縮短了匹配時間，匹配效果明顯改善。

將初始匹配點作為輸入，使用RANSAC（Random Sample Consensus，隨機(jī)抽樣一致）算法對Harris＋NCC、SIFT和ASIFT進(jìn)行精確匹配，可以看出改進(jìn)的ASIFT算法較Harris＋NCC和SIFT算法在檢測精度上明顯提高，見表2。

表2 SIFT和ASIFT算法的匹配精度

由對比可以發(fā)現(xiàn)ASIFT算法匹配點明顯比Harris＋NCC和SIFT算法稠密的多，呈現(xiàn)數(shù)倍差距，匹配精度有較大幅度的提高。

我們由此得出結(jié)論：針對具有仿射變換的集成成像圖像序列，ASIFT算法無論從匹配點數(shù)量和還是精確度方面都成倍的超過Harris＋NCC和SIFT算法。這為后續(xù)的三維重建工作奠定了更為良好的基礎(chǔ)。

最后我們利用MeshLab恢復(fù)出圖像的三維效果圖，得到了非常好的效果，如圖13所示，是在不同視角下得到的三維效果對比圖。

圖13 三維效果圖

4 結(jié)論

文中引入了相機(jī)光軸的旋轉(zhuǎn)角度和傾斜角度兩個新的參量，實現(xiàn)了全尺度不變的特征點匹配。提出了全新改進(jìn)的ASIFT算法，相對于Harris+NCC和SIFT算法，該算法在保證實時性的前提下，提取了更多稠密的特征點，縮減了配準(zhǔn)時間，具有較高的檢測精度。這種算法對于計算集成成像三維重構(gòu)實時性具有很重要的意義，在醫(yī)療成像、工業(yè)探傷等領(lǐng)域也具有非常廣闊的應(yīng)用前景。

[1] Lippmann G. La photographic intergrale[J].1908, 146: 446-451.

[2] 徐晶. 基于微透鏡陣列的集成成像和光場成像研究[D]. 合肥: 中國科學(xué)技術(shù)大學(xué), 201l: 1-21

[3] 陳顯毅. 圖像配準(zhǔn)技術(shù)及其MATLAB編程實現(xiàn)[M]. 北京: 電子工業(yè)出版社, 2009: 1-10.

[4] Wang F, Vemuri B C, Rao M. Cumulative residual entropy, a new measure of information & its application to image alignment[J]., 2003, 86(1): 112-114.

[5] 王永明, 王貴錦. 圖像局部不變性特征與描述[M]. 北京: 國防工業(yè)出版社, 2010: 65-134.

[6] 毛晨, 錢惟賢, 顧國華, 等. 基于雙邊濾波的Harris角點檢測[J]. 紅外技術(shù), 2014, 36(10): 812-815.

[7] LOWE D G. Object recognition from local scale-invariant features [C]//: [s.n.]1999,7 (2):1150-1157．

[8] 馬莉, 韓燮. 主成分分析法(PCA)在SIFT匹配算法中的應(yīng)用[J]. 電視技術(shù), 2012, 36(1): 129-132.

[9] 王世亮, 楊帆, 張志, 等. 基于目標(biāo)紅外特征與SIFT特征相結(jié)合的目標(biāo)識別算法[J]. 紅外技術(shù), 2012, 34(9): 503-507.

[10] 朱富國. 圖像寬基線匹配與攝像機(jī)三維姿態(tài)估計算法研究[D]. 北京: 北京郵電大學(xué), 2011: 12-14.

[11] MOREL J M, YU G. ASIFT: a new framework for fully affine in variant mage comparison[J].2009, 2(2):438-469.

[12] Yu G, Morel J M. A fully affine invariant image comparison method[C]()2009: 1597-1600.

[13] David G Lowe. Distinctive image features from scale-invariant keypoints[J]., 2004, 60(2): 91-110.

[14] Matas J, Chum O, Urban M, et al. Robust wide-baseline stereo from maximally stable extremal regions[J]., 2004, 22(10): 761-767.

Image Registration Algorithm Research Based on Computational Integral Imaging

SHAO A-jun，QIAN Wei-xian，GU Guo-hua，LI Chao，MAO Chen

(,,210014,)

Computational Integral Imaging（CII） technology is one of the main research directions in the field of 3D reconstruction and display. It is one kind of technologies based on lens array which is to obtain and reconstruct the goal 3D scene. According to feature point matching problem in integral imaging sub-graphs, the traditional method of image matching is not good enough because of poor matching points, huge time consumption in gand producing local minima. In order to get more matching points, we make the appropriate improvement in original image registration algorithm based on SIFT. It realizes dense image registration and shortens the time consumption.

computational integral imaging，3D reconstruction，image registration，SIFT

TP391

A

1001-8891(2015)05-0398-06

2014-11-05；

2015-02-04.

韶阿?。?990-），男，碩士，主要從事圖像處理、三維重構(gòu)等方面研究。E-mail：sailor-jack@163.com。

國家自然科學(xué)基金，編號：61271332；江蘇省“大人才高峰”支持計劃，編號：2010-DZXX-022。