低光照環(huán)境下基于特征點補償?shù)膱D像匹配方法研究

唐華鵬,秦丹陽,燕夢瑩,張更新,鄭 平,白嘉男

(黑龍江大學 電子工程學院,哈爾濱 150080)

0 引 言

圖像匹配是指利用一定的匹配算法在兩幅或者多幅圖像之間識別同名點的過程,根據(jù)匹配要素的不同,圖像匹配可以分為基于灰度的匹配和基于特征的匹配兩種類型?；诨叶鹊钠ヅ淙菀资艿筋伾兓挠绊?因此在現(xiàn)有的目標識別領域,尺度不變特征轉換(Scale-invariant feature transform,SIFT)等基于局部特征匹配的相關算法得到了廣泛應用。然而,在早晚時段、遮擋區(qū)域或封閉/半封閉空間等照度低于0.1 Lux的低光照環(huán)境下采集的圖像存在亮度低、對比度差和噪聲干擾等問題,使圖像特征點提取損耗嚴重,導致圖像匹配困難。因此,研究低光照環(huán)境下的圖像匹配具有重要的應用價值。

為了解決低光照環(huán)境下的圖像匹配問題,需要在圖像匹配之前對低光照圖像進行增強處理。低光照圖像增強通過增強暗區(qū),抑制高亮區(qū),實現(xiàn)圖像清晰化。目前,常用的方法主要有基于直方圖的增強方法[1]、基于同態(tài)濾波的增強方法和基于Retinex理論的增強方法[2]等。文獻[3]提出了一種基于自適應對數(shù)變換的低光照圖像特征檢測方法,該方法采用自適應對數(shù)變換補償具有不同光照程度的圖像,以提高圖像的對比度和亮度,然而,該方法在處理圖像時沒有考慮噪聲對實驗結果的影響,在增強細節(jié)的同時,噪聲也被放大。文獻[4]以多種算法相結合的方式對低光照圖像進行預處理,該算法處理的圖像顏色自然,對比度合適,清晰度好,達到了圖像增強的目的。文獻[5]提出了一種基于小波變換的低照度圖像自適應增強算法,利用小波變換可以有效地分離圖像的高頻分量和低頻分量,該算法能有效提高圖像清晰度,去除圖像增強引起的光暈現(xiàn)象,具有良好的實時性。上述方法對低光照環(huán)境下的圖像增強提出了不同的改進思路,但亮度低、顏色失真和噪聲干擾等問題仍未得到解決。在文獻[4]基于低照度下特征匹配的新型圖像增強算法研究的基礎上,提出了一種基于同態(tài)濾波與MSRCP結合的特征點補償算法。為了驗證算法的可行性,采用多尺度色彩恢復Retinex (Multi-scale retinex with color restore,MSRCR)算法、自動多尺度色彩恢復Retinex (Automated muti-scale Retinex with color restoration,Automated MSRCR)算法、文獻[3]算法和本算法對不同環(huán)境下的低光照圖像進行處理,并比較處理后圖像的性能指標。

1 低光照圖像的獲取和預處理

1.1 低光照圖像的獲取

為了模擬不同環(huán)境下的低光照圖像,從現(xiàn)有的目標檢測數(shù)據(jù)集[6](Pattern analysis,statical modeling and computational learning visual object classes 2007,PASCAL VOC2007)中選取了50張圖像,通過隨機伽馬變換和添加高斯噪聲,將其處理成不同亮度的低光照圖像。低光照圖像的獲取如圖1所示。

圖1 低光照圖像的獲取Fig.1 Acquisition of low light images

1.2 低光照圖像的預處理

為了消除圖像中的干擾信息,需要對圖像進行預處理,以恢復出真實信息。低光照圖像的預處理過程如圖2所示。在預處理過程中,首先,采用高斯濾波去除低光照圖像中的噪聲;其次,采用亮度自適應增強[7]對圖像進行光照補償,提高圖像亮度;然后,采用自適應對比度增強和多尺度圖像細節(jié)提升[8]對圖像進行對比度和細節(jié)增強;最后,采用白平衡[9]校正圖像的顏色。通過預處理提高了低光照圖像的亮度和對比度。

圖2 低光照圖像的預處理Fig.2 Preprocessing of low light images

1.3 彩色圖像自適應直方圖均衡化

經(jīng)過預處理,圖像清晰度有所提高,但圖像的整體對比度不理想。為了改善這個問題,需要增強圖像對比度,圖像對比度增強的方法可分成兩類：一類是直接對比度增強方法;另一類是間接對比度增強方法。直方圖拉伸和直方圖均衡化是兩種最常見的間接對比度增強方法,直方圖均衡化是一種全局算法,沒有充分考慮圖像細節(jié)。在低光照環(huán)境下,由于光照不均勻,對整個圖像進行直方圖均衡化會導致一些細節(jié)丟失。因此,采用自適應直方圖均衡化來提高圖像對比度。具體步驟：首先,將圖像從RGB空間轉換到YCrCb空間,然后,對Y分量進行自適應直方圖均衡化,將均衡化后的Y分量和CrCb分量組合成彩色圖像,再轉換到RGB空間,從而達到圖像增強的目的。

2 同態(tài)濾波與多尺度顏色保護算法

2.1 同態(tài)濾波

為了校正圖像的光照,減弱光照變化的影響,達到增強暗部細節(jié)的目的,采用同態(tài)濾波對均衡化后的圖像進行銳化[10]。通過調(diào)整圖像的灰度范圍,有效解決了圖像光照不均的問題,達到了突出圖像邊緣和細節(jié)信息及增強對比度的目的。

設圖像坐標為(x,y),則圖像密度函數(shù)f(x,y)可表示為照射分量i(x,y)與反射分量r(x,y)的乘積[11],即

f(x,y)=i(x,y)*r(x,y)

(1)

對式(1)進行對數(shù)變換,得：

d(x,y)=lnf(x,y)=lni(x,y)+lnr(x,y)

(2)

對式(2)進行傅里葉變換,得到頻域的表達式：

D(x,y)=I(x,y)+R(x,y)

(3)

假設用同態(tài)濾波函數(shù)H(u,v)處理D(x,y)[12],可得：

H(u,v)D(x,y)=H(u,v)I(u,v)+H(u,v)R(u,v)

(4)

濾波后,對式(4)進行傅里葉逆變換,得：

G(x,y)=lnfi′(x,y)+lnfr′(x,y)

(5)

對式(5)進行指數(shù)變換,得到濾波后的圖像：

g(x,y)=fi′(x,y)+fr′(x,y)

(6)

同態(tài)濾波的過程如圖3所示。首先,借助對數(shù)變換和傅里葉變換將圖像變換到頻域,并對頻譜進行濾波處理,然后,通過同態(tài)濾波器H(u,v)抑制低頻,增強高頻,達到增強圖像細節(jié)的目的。

圖3 同態(tài)濾波Fig.3 Homomorphic filtering

在傅里葉變換中,圖像的照射分量屬于低頻分量,反射分量屬于高頻分量。在處理低光照圖像時,為了增強圖像細節(jié),減少光照的影響,需要提高高頻分量,抑制低頻分量。因此,在設計同態(tài)濾波傳遞函數(shù)時,應同時考慮低頻和高頻分量。由于同態(tài)濾波傳遞函數(shù)波形與高斯型高通濾波函數(shù)波形類似,通常使用高斯型高通濾波函數(shù)作為同態(tài)濾波傳遞函數(shù)。同態(tài)濾波傳遞函數(shù)的一般形式為：

(7)

式中：D(u,v)和D0分別為離頻率中心的距離和截止頻率;ΥH為高頻增益;ΥL為低頻增益。

對于不同亮度的低光照圖像,D0的選擇不同,當D0固定時,有的圖像整體偏黑,有的圖像整體偏白。為了提高圖像的辨識度,改善視覺效果,通過實驗測試,選取D0=10,以清晰顯示低光照圖像的細節(jié)信息。

2.2 多尺度色彩保護算法

傳統(tǒng)的Retinex算法在處理有噪聲圖像時容易出現(xiàn)局部顏色失真,整體視覺效果較差,為了避免顏色失真,采用多尺度色彩保護Retinex (Multi-scale retinex with chromaticity preservation,MSRCP)算法對同態(tài)濾波后的圖像進行色彩增強[13]。MSRCP通過一次多尺度Retinex (Multi-scale retinex,MSR)算法對彩色圖像的強度圖像進行處理[14],并根據(jù)原始圖像的RGB比例映射到每個通道。其中,強度圖像公式為：

(8)

式中IR、IG和IB分別為原始圖像中對應的三通道子圖像。

輻照度估計值的計算公式為：

(9)

式中f為濾波器的函數(shù)。

MSRCP增強的線性量化計算方法為：

(10)

為了提高圖像質量,反射分量圖像的伽馬亮度計算調(diào)整如下：

(11)

式中γ為校準參數(shù)。

實驗的γ校準參數(shù)均設定為2,Intα表示獲得的單通道圖像。此時,該算法需要使用算子恢復顏色,具體過程如下：

為了使增強圖像的背景色與原始圖像一致,圖像放大系數(shù)A為：

(12)

B=max(IR(i),IG(i),IB(i))

(13)

式中：i為像素的索引;max和min分別為計算的最大值和最小值。

利用放大因子A分別對R、G和B三個通道進行色彩調(diào)整,從而得到增強后的圖像[15],計算公式為：

Rmsrcp(x,y)=A·IR,G,B(x,y)

(14)

式中：IR,G,B(x,y)為原始對應的通道圖像;Rmsrcp(x,y)為最終得到的增強圖像。

基于同態(tài)濾波與MSRCP結合的特征點補償算法如圖4所示。首先,對預處理后的圖像進行自適應直方圖均衡化,提高圖像的對比度;然后,采用同態(tài)濾波對均衡化后的圖像進行銳化,提高圖像的清晰度;最后,采用MSRCP算法對圖像進行色彩增強,改善圖像的視覺效果。

圖4 算法步驟Fig.4 Algorithm steps

3 圖像匹配流程

3.1 SIFT算法

局部特征檢測算法(Scale-invariant feature transform,SIFT)通過在圖像中尋找特征點及其相關的尺度和方向描述子來獲取特征并進行特征匹配。由于SIFT特征是圖像的局部特征,因此可以在旋轉、縮放和亮度變化時保持一定的穩(wěn)定性。SIFT算法的步驟為：尺度空間的建立、特征點提取、特征描述子生成和特征點匹配。

3.2 尺度空間的建立

尺度空間理論是指利用高斯核函數(shù)對圖像進行尺度變換,以模擬圖像數(shù)據(jù)的多尺度特征[16]。SIFT算法利用高斯卷積核來建立尺度空間L,圖像的尺度空間表示公式為：

L(x,y,σ)=G(x,y,σ)*I(x,y)

(15)

式中：L(x,y,σ)為尺度空間;G(x,y,σ)為尺度可變的二維高斯函數(shù),由于尺度因子σ的不同,會生成一組不同尺度下的圖像,σ的大小代表圖像的平滑程度,σ越大代表圖像分辨率低,σ越小代表圖像分辨率高;I(x,y)代表原始圖像。

為了高效準確地檢測尺度空間中的穩(wěn)定關鍵點,SIFT算法采用高斯差分(Difference of Gaussian,DOG)尺度空間來提高計算效率,計算公式為：

D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]*I(x,y)=L(x,y,kσ)-L(x,y,σ)

(16)

3.3 特征點提取

SIFT特征點提取步驟為：DOG空間極值點檢測、特征點定位和特征點方向分配。

(1) 為了檢測高斯差分尺度空間中的極值點,每個選中的采樣點需要與周圍的26個鄰域點進行比較,即8個同尺度的像素點和18個上、下尺度的像素點,如圖5所示,當采樣點大于或小于26個鄰域點時,則該采樣點可視為候選關鍵點。

圖5 DOG空間極值點檢測Fig.5 Detection of extreme points in DOG space

(2) 通過擬合三維二次函數(shù)[17],精確確定關鍵點的位置和尺度,去除不穩(wěn)定的邊緣特征點,提高匹配的精度,使用子像素插值法對空間離散點進行連續(xù)插值,求出連續(xù)空間中的極值點。運用高斯差分(Difference of Gaussian,DOG)函數(shù)在尺度空間里面的泰勒級數(shù)展開式對尺度空間函數(shù)進行曲線擬合公式為：

(17)

式中極值點的表達式為：

(18)

(3) 利用關鍵點鄰域像素的梯度方向分布特征,確定每個關鍵點的方向參數(shù),使特征描述子具有旋轉不變性。對于窗口的每個采樣點L(x,y),梯度方向的模值和方向分別用m(x,y)和θ(x,y)表示：

(19)

(20)

式中a和b分別為：

a=L(x+1,y)-L(x-1,y)

(21)

b=L(x,y+1)-L(x,y-1)

(22)

3.4 特征描述子生成

特征描述子是一個包含特征點鄰域所有信息的高維向量,在生成特征描述子之前,需要進行以下處理;首先,確定特征點領域內(nèi)像素的主方向,為消除旋轉變換的影響,選取0°作為主方向;然后,在16個4×4區(qū)域,統(tǒng)計每個區(qū)域中8個方向的梯度分布直方圖如圖6所示。對于選定的16×16區(qū)域,需要統(tǒng)計16個分布直方圖,每個直方圖代表了該領域內(nèi)8個方向的信息;最后,形成了一個128維的特征描述子。

圖6 生成的特征描述子Fig.6 The generated feature descriptors

利用SIFT對經(jīng)過特征點補償算法處理后的低光照圖像進行特征點提取,提取過程如圖7所示。首先,利用高斯核進行卷積得到高斯金字塔,獲得圖像在不同尺度空間中的特征點信息;其次,將高斯金字塔差分得到差分金字塔,以提高計算效率;然后,在差分金字塔中進行DOG空間極值檢測,找到穩(wěn)定的關鍵點并對關鍵點進行方向賦值;最后,生成特征描述子。

圖7 特征點提取過程Fig.7 Extraction process of feature points

3.5 特征點匹配

SIFT特征匹配是指在分別提取模板圖像和實時圖像的特征描述子之后,使用描述子之間的相似性度量來完成匹配的過程。為了提高匹配效率,在提取具有多維向量的SIFT特征點后,使用K-D樹數(shù)據(jù)結構完成搜索,其搜索原理是：在待匹配的圖中,將與基準圖樣本點歐氏距離最小的特征點視為最近鄰點,其距離稱為最近鄰距離。對于距離基準圖樣本點歐氏距離大于最近鄰點但小于其他所有點的特征點,認為其為次近鄰點,其距離為次近鄰點的距離。當最近鄰距離與次近鄰距離之比小于閾值時,最近鄰點與樣本點為匹配點對,否則,它們就不是匹配點對。生成的匹配點對的數(shù)量取決于閾值,如果閾值很大,匹配點對的數(shù)量也會很大,否則,匹配點對的數(shù)量將會減少。雖然Lowe推薦的比例閾值為0.8,但匹配兩幅存在尺度、旋轉和亮度變換的圖像時,最佳比例閾值0.4～0.6,因此,為了篩選出最優(yōu)匹配點,比例閾值Threshold=0.5,計算公式為：

(23)

式中：dmin為最近距離;d1為次近距離。

3.6 隨機抽樣一致算法

由于SIFT算法是利用特征點周圍的空間特性進行匹配,因此會存在空間特性十分相似的非匹配點。為了解決這個問題,引用RANSAC算法從全局判斷匹配點對的正確性[18]。RANSAC算法采用仿射變換模型,通過隨機抽取一定數(shù)量的樣本來估計模型參數(shù)。RANSAC算法的基本假設是數(shù)據(jù)由“內(nèi)點”和“外點”組成,“內(nèi)點”是組成模型參數(shù)的數(shù)據(jù),“外點”是不擬合模型的數(shù)據(jù),其他誤差較大的點為噪聲。SIFT匹配點可分為：誤匹配點、精確匹配點和噪聲匹配點。

RANSAC算法的步驟為：

(1) 從匹配對數(shù)據(jù)集L中隨機選取四對匹配點作為樣本集S,求出仿射變換模型R的參數(shù)[19];

(2) 通過設定閾值Td,計算數(shù)據(jù)集所有數(shù)據(jù)與模型R的誤差,小于設定閾值Td的點為新的內(nèi)點,統(tǒng)計內(nèi)點的數(shù)目,記為集合P;

(3) 當集合P的大小大于某個閾值Te時,用P重新估計模型,迭代結束,否則選取下一個新的樣本,重復上述步驟,隨機抽樣計算N次,選出最大的一致集,重新計算模型,得到最后的結果。

4 實驗測試與仿真分析

為了驗證本算法的可行性,從50幅低光照圖像中隨機選取4幅圖像進行實驗,分別使用MSRCR算法、AutomatedMSRCR算法、文獻[3]算法和本算法對這4幅圖像進行處理,并對處理后的圖像進行性能比較。本研究以特征點的數(shù)量、人眼對增強后圖像的直觀感受、匹配點對數(shù)量以及匹配準確率[20]作為算法的評價指標。

4.1 圖像增強實驗

圖8(a)為原始圖像,圖8(b)是MSRCR算法處理后的圖像,圖8(c)為Automated MSRCR算法處理后的圖像,圖8(d)為文獻[3]算法處理后的圖像,圖8(e)為本算法處理后的圖像。采用4種算法對原始圖像進行增強,將處理后的圖像與原始圖像進行了對比分析,結果如圖8所示。可以看出,文獻[3]算法處理后的圖像視覺效果較差,亮度較低。雖然MSRCR和Automated MSRCR算法處理后的圖像亮度和對比度得到了明顯的改善,但這兩種方法對圖像邊緣的過度增強導致了圖像顏色失真。相比之下,本算法處理后的圖像亮度對比度較好,邊緣細節(jié)更加突出,顏色更加自然。

(a) 原圖

4.2 圖像匹配實驗

采用4種算法對圖像進行處理,結果如圖9所示,可以看出,文獻[3]算法處理的圖像檢測出的特征點最少,而本算法處理的圖像檢測出的特征點最多。

圖9 特征點數(shù)量Fig.9 Number of feature points

利用SIFT對4種算法處理后的圖像進行特征匹配,結果如圖10所示?？梢钥闯?在低光照環(huán)境下,文獻[3]算法處理后的圖像檢測出的特征點最少,雖然Automated MSRCR和MSRCR處理的圖像檢測到的特征點較多,但特征點質量較差,匹配效果不理想,本算法處理后的圖像檢測到的特征點最多,匹配效果較好。

(a) MSRCR算法

為了客觀評價4種算法的性能,以圖像特征點的匹配點對數(shù)量和匹配準確率作為評價指標,結果如表1所示,可以看出,在低光照環(huán)境下,本算法處理后的圖像匹配點對最多、匹配效果最好和匹配準確率最高,可以達到74.32%,在一定程度上解決了圖像匹配困難的問題。

表1 不同算法處理后圖像的客觀指標Table 1 Objective index of images processed by different algorithms

5 結 論

在光線不足的低光照環(huán)境中拍攝的圖像亮度低、噪聲明顯和細節(jié)模糊,為了有效地提高低光照原始圖像的質量,賦予人眼豐富的視覺效果,提高圖像匹配的準確性,提出了一種基于同態(tài)濾波與MSRCP結合的特征點補償算法,采用同態(tài)濾波對圖像進行銳化以提高圖像清晰度,并利用MSRCP對圖像進行色彩增強,改善視覺效果,達到圖像增強的目的。采用SIFT進行特征匹配,再使用RANSAC算法剔除誤匹配對,從而提高匹配精度。結果表明,經(jīng)過本算法處理后的圖像具有較好的邊緣和細節(jié)特征,在特征點的數(shù)量、特征點匹配對的數(shù)量和匹配準確率等方面都有較大的提高。在進行特征匹配時,本算法處理后的圖像相較于其它算法處理后的圖像,匹配準確率最多可以提高25.49%,在一定程度上解決了低光照環(huán)境下圖像匹配困難的問題。同態(tài)濾波的參數(shù)仍需調(diào)整,在未來的研究中可以進一步優(yōu)化。