NSCT輪廓與主方向一致性紅外與可見光圖像配準(zhǔn)

段琳鋒， 侯新國, 胡致遠(yuǎn)

(海軍工程大學(xué)電氣工程學(xué)院，武漢 430000)

0 引言

圖像配準(zhǔn)是尋找不同圖像的空間變換關(guān)系，使得相同場景不同視角的圖像進(jìn)行幾何位置對(duì)齊，廣泛地應(yīng)用于圖像融合、圖像拼接、醫(yī)學(xué)影像分析、遙感技術(shù)、三維重建等領(lǐng)域[1]。紅外與可見光圖像配準(zhǔn)技術(shù)是圖像配準(zhǔn)研究領(lǐng)域的熱點(diǎn)和難點(diǎn)。由于紅外與可見光攝像機(jī)的成像機(jī)理不同，拍攝的圖像在分辨率、光譜特性、灰度等方面都存在差異，使得兩種圖像配準(zhǔn)算法的準(zhǔn)確性和可靠性較低[2]，因此，研究紅外與可見光圖像配準(zhǔn)算法具有重要的意義。

紅外與可見光圖像配準(zhǔn)方法主要分為兩類[2]。一類為基于區(qū)域的配準(zhǔn)方法，主要是利用圖像灰度信息進(jìn)行圖像配準(zhǔn)，如文獻(xiàn)[3-4]利用圖像的梯度和互信息進(jìn)行圖像配準(zhǔn)。這類配準(zhǔn)算法適合圖像紋理不豐富、細(xì)節(jié)較少的情況，但在求解模型參數(shù)時(shí)搜索空間大、耗時(shí)久，而紅外與可見光圖像間的灰度信息差異大，使得這類配準(zhǔn)算法難以取得較好的效果。另一類是基于特征的配準(zhǔn)方法，其主要是利用紅外與可見光圖像的共有特征去求解變換模型參數(shù)，這類配準(zhǔn)算法應(yīng)用比較廣泛。如文獻(xiàn)[5]利用尺度不變特征變換(SIFT)方法建立了特征點(diǎn)配準(zhǔn)方法的基本框架;文獻(xiàn)[6]利用加速魯棒性圖像特征(SURF)算法提取紅外與可見光圖像的特征點(diǎn)，并運(yùn)用幾何約束方法剔除錯(cuò)誤匹配的特征點(diǎn)，這類算法直接在原圖上提取的特征點(diǎn)之間的對(duì)應(yīng)關(guān)系比較弱，特征匹配準(zhǔn)確率低;文獻(xiàn)[7]利用Canny邊緣提取算法提取紅外和可見光圖像較為穩(wěn)定的邊緣特征，再使用SURF算法進(jìn)行特征點(diǎn)提取與匹配，但Canny邊緣檢測算法高低閾值選擇困難，存在偽邊緣以及邊緣不連續(xù)等問題;文獻(xiàn)[8]利用FAST算法對(duì)無下采樣輪廓波變換(NSCT)得到的一級(jí)低頻圖像進(jìn)行角點(diǎn)檢測，并利用局域強(qiáng)度不變特征描述符(Partial Intensity Invariant Feature Descriptor,PIIFD)得到配準(zhǔn)圖像，在環(huán)境溫度相差較小時(shí)，紅外圖像上難以提取正確的特征點(diǎn)。

針對(duì)上述算法難以從兩幅圖像中提取相同特征點(diǎn)以及特征點(diǎn)匹配誤差較大的問題，本文首先利用NSCT提取紅外和可見光圖像中穩(wěn)定性較好的輪廓曲線，解決難以從兩種圖像中提取相同特征點(diǎn)的問題；采用輪廓曲線的中線作為特征點(diǎn)的主方向，并利用SIFT特征描述符進(jìn)行匹配，解決特征點(diǎn)主方向依賴圖像梯度的問題；再利用主方向一致性方法消除誤匹配得到精確的特征點(diǎn)匹配對(duì)，解決特征點(diǎn)匹配誤差較大的問題。

1 輪廓提取

1.1 NSCT原理

NSCT[9]具有良好的空域和頻域局部特性、多尺度以及多方向性，能夠很好地體現(xiàn)出圖像的幾何結(jié)構(gòu)特征。NSCT由無下采樣金字塔(Nonsubsampled Pyramid，NSP)分解和無下采樣方向?yàn)V波器組(Nonsubsampled Directional Filter Bank，NSDFB)兩部分構(gòu)成。NSCT過程為：先將原始圖像經(jīng)NSP分解得到低頻分量和高頻分量，然后再對(duì)高頻分量利用NSDFB進(jìn)行多方向分解，從而得到不同尺度、不同方向的子帶系數(shù)。想要實(shí)現(xiàn)多級(jí)結(jié)構(gòu)，只需對(duì)低頻子帶進(jìn)行多次迭代NSP與NSDFB分解即可。NSCT的框架結(jié)構(gòu)如圖1所示。

圖1 NSCT框架結(jié)構(gòu)圖

1.2 基于NSCT輪廓提取

NSCT中的高頻分量包含了圖像的邊緣輪廓信息，分別將紅外與可見光圖像進(jìn)行多級(jí)、多方向NSCT分解，得到高頻系數(shù)矩陣集合，然后利用最大類間方差法求得閾值，去除高頻系數(shù)矩陣中小于閾值的數(shù)值，對(duì)處理過的高頻系數(shù)矩陣集合進(jìn)行NSCT反變換得到圖像，再利用自適應(yīng)閾值法去除反變換圖像的較小系數(shù)得到輪廓曲線圖，具體步驟如下。

1)利用NSCT對(duì)輸入的紅外與可見光圖像進(jìn)行分解，得到高頻系數(shù)矩陣集合Qi j，其中，i表示尺度，j表示方向。

2)將高頻系數(shù)矩陣集合Qi j中的每個(gè)高頻系數(shù)矩陣分成R=A×B塊，對(duì)每一塊分別用最大類間方差法求得閾值On(n=1，2，…，R)，將塊中小于閾值On的系數(shù)取值為0，大于閾值的系數(shù)保留原值，使得高頻系數(shù)更能夠突出輪廓信息，經(jīng)過上述處理的高頻系數(shù)集合記為H(Q)。

3)對(duì)高頻系數(shù)矩陣集合H(Q)進(jìn)行NSCT反變換得到高頻圖像E，即

E=N-(H(Q))。

(1)

4)因高頻圖像E的系數(shù)值較大處輪廓更加明顯，為去除較小系數(shù)對(duì)輪廓圖像的影響，利用自適應(yīng)閾值方法對(duì)高頻圖像E進(jìn)行處理，得到輪廓曲線圖E1為

(2)

(3)

式中：δ1為全局閾值；δ2為局部閾值；ψ(r,c)為高頻圖像中以坐標(biāo)(r,c)為中心5×5的局部塊。

2 CSS角點(diǎn)提取

在得到輪廓曲線圖E1的基礎(chǔ)上，利用CSS角點(diǎn)檢測算法[10]檢測輪廓曲線上的角點(diǎn)。CSS角點(diǎn)檢測算法的核心思想是在一個(gè)較高尺度σh上利用曲率公式計(jì)算出輪廓曲線的曲率，并把局部極大值點(diǎn)作為角點(diǎn)的候選點(diǎn)，若某個(gè)候選點(diǎn)處的曲率值大于給定閾值t，且是相鄰局部曲率最小點(diǎn)處曲率值的2倍，則把該候選點(diǎn)作為角點(diǎn)；在較低尺度σl下計(jì)算曲率，對(duì)角點(diǎn)進(jìn)行精確定位。

將原始輪廓曲線集合表示為

(4)

式中：Γi為第i條輪廓曲線；xi(u)，yi(u)分別為Γi上的點(diǎn)的橫縱坐標(biāo)，u為弧度參數(shù)；n為圖像中包含的輪廓曲線數(shù)。

因噪聲和“毛刺”對(duì)輪廓曲線的影響，利用高斯函數(shù)對(duì)Γi進(jìn)行平滑濾波，即

(5)

式中：g(u,σ)為高斯函數(shù)，σ為尺度參數(shù)；?為卷積符號(hào)。

(6)

(7)

式中,g′(u,σ)和g″(u,σ)分別為g(u,σ)關(guān)于u的一階和二階導(dǎo)數(shù)。

3 特征點(diǎn)主方向一致性匹配

3.1 特征點(diǎn)主方向分配

將提取到的角點(diǎn)作為特征點(diǎn)，采用特征點(diǎn)輪廓曲線的中線作為特征點(diǎn)的主方向[11]。記P=(xi(f),yi(f))為輪廓曲線Γi上的一個(gè)特征點(diǎn)。定義點(diǎn)P指向Γi始端和末端鄰域內(nèi)的特征向量分別為

(8)

(9)

因?yàn)樘卣鼽c(diǎn)處于曲率局部極大值處，始、末向量可以圍成一個(gè)三角形。將三角形的中線指向的方向向量記為

(10)

圖2 特征點(diǎn)主方向分配示意圖

3.2 主方向一致性匹配

特征點(diǎn)的主方向保證了特征點(diǎn)的旋轉(zhuǎn)不變性，若紅外與可見光圖像無相對(duì)旋轉(zhuǎn)，理論上兩幅圖像中正確匹配的點(diǎn)具有相同的主方向，而錯(cuò)誤匹配的點(diǎn)的主方向不一致，這一特性被稱為特征點(diǎn)主方向一致性。

特征點(diǎn)主方向一致性匹配方法的具體描述如下。

1)在得到特征點(diǎn)的主方向的基礎(chǔ)上，生成特征點(diǎn)的SIFT描述符，通過描述符計(jì)算紅外與可見光圖像特征點(diǎn)之間的歐氏距離，將歐氏距離最小的特征點(diǎn)記為初始匹配點(diǎn)。

(11)

式中，Δφ為角度制，其值域?yàn)閇0°，360°)。

3)以5°為一個(gè)小區(qū)間，將[0°，360°)等分為72個(gè)小區(qū)間，統(tǒng)計(jì)每個(gè)小區(qū)間內(nèi)包含Δφ元素的數(shù)量。將候選旋轉(zhuǎn)角數(shù)量最多的區(qū)間對(duì)應(yīng)的角度值，視為紅外與可見光圖像的旋轉(zhuǎn)角度φr，如圖3所示。因?qū)嶋H場景中可能存在一定的誤差，取角度誤差為ε，將Δφ中數(shù)值在區(qū)間[φr-ε，φr+ε]內(nèi)的角度對(duì)應(yīng)的特征點(diǎn)作為正確匹配的特征點(diǎn)。

圖3 統(tǒng)計(jì)圖

4)在3)中去除顯著誤差錯(cuò)誤匹配點(diǎn)后，存有少量誤匹配點(diǎn)，這些誤匹配點(diǎn)在總匹配點(diǎn)中的比例較小。在誤匹配點(diǎn)比例較小的模型下，使用隨機(jī)抽樣一致性(RANSAC)算法進(jìn)一步消除匹配誤差，得到高精度的匹配結(jié)果。

在得到正確匹配特征點(diǎn)后利用最小二乘法進(jìn)行擬合得到最優(yōu)仿射變換參數(shù)。NSCT輪廓與特征點(diǎn)主方向一致性的紅外與可見光圖像配準(zhǔn)算法的流程如圖4所示。

圖4 配準(zhǔn)算法流程圖

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文提出的紅外與可見光圖像配準(zhǔn)算法的有效性和魯棒性，選取1組?？低暤臒岢上耠p譜網(wǎng)絡(luò)攝像頭拍攝的圖像以及2組網(wǎng)上樣本圖像作為測試圖像，實(shí)驗(yàn)平臺(tái)為Windows10系統(tǒng)，編程環(huán)境為Matlab2017a。

4.1 實(shí)驗(yàn)圖像

將本文算法與文獻(xiàn)[7-8]所提算法進(jìn)行對(duì)比實(shí)驗(yàn)。圖5-圖7給出了紅外與可見光圖像特征匹配點(diǎn)和配準(zhǔn)的效果圖。

圖5 匹配點(diǎn)和配準(zhǔn)效果對(duì)比(第1組)

圖6 匹配點(diǎn)和配準(zhǔn)效果對(duì)比(第2組)

圖7 匹配點(diǎn)和配準(zhǔn)效果對(duì)比(第3組)

通過圖5-圖7對(duì)比可以直觀地看出，文獻(xiàn)[7-8]所提算法提取的特征點(diǎn)的位置具有較大差異，兩幅圖的特征點(diǎn)存在許多錯(cuò)誤匹配，導(dǎo)致配準(zhǔn)的結(jié)果存在偏差，而本文算法提取原圖像的輪廓圖時(shí)，有效地減小了兩種圖像的灰度差異，能夠精確地匹配兩幅圖相同位置的特征點(diǎn)，在配準(zhǔn)圖中紅外與可見光圖像中同一目標(biāo)的位置基本吻合，配準(zhǔn)效果較好。

4.2 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)對(duì)比

采用均方根誤差(RMSE)和正確匹配率(CMR)作為配準(zhǔn)精度的定量指標(biāo)，其定義為

(12)

(13)

本文算法與文獻(xiàn)[7-8]所提算法在圖像配準(zhǔn)精度以及匹配點(diǎn)正確率方面的比較見表1。

表1 配準(zhǔn)精度以及匹配點(diǎn)正確率的比較

從實(shí)驗(yàn)數(shù)據(jù)看，本文算法得到的RMSE值最低、CMR值更高，表明本文提出的NSCT輪廓特征提取算法能提取出豐富的圖像邊緣信息，主方向一致性匹配算法比文獻(xiàn)[7-8]的RANSAC算法消除匹配誤差更準(zhǔn)確，配準(zhǔn)的精度更高。

5 結(jié)論

針對(duì)紅外與可見光圖像配準(zhǔn)問題，本文提出了NSCT輪廓提取與主方向一致性匹配的紅外與可見光圖像配準(zhǔn)方法。通過對(duì)比實(shí)驗(yàn)結(jié)果可以看出，本文算法相較于Canny，SURF和PIIFD算法，提高了圖像相同特征點(diǎn)提取的準(zhǔn)確度，特征點(diǎn)的定位更精確，主方向一致性匹配算法也有效地提高了特征點(diǎn)匹配的準(zhǔn)確率。本文方法較好地解決了紅外與可見光圖像灰度信息差異大、特征點(diǎn)提取不準(zhǔn)確、特征匹配精度差的問題，為后續(xù)的紅外與可見光圖像配準(zhǔn)研究提供了借鑒。