低光照圖像特征檢測方法*

潘 瑞，曾良才，伍世虔，王瑞平

(1.武漢科技大學(xué) 機(jī)械自動(dòng)化學(xué)院，湖北 武漢 430080；2.武漢科技大學(xué) 信息科學(xué)與工程學(xué)院，湖北 武漢 430080)

0 引 言

特征的檢測與提取是眾多計(jì)算機(jī)視覺應(yīng)用的基礎(chǔ)，例如三維重建[1]、物體檢測及追蹤[2]等。圖像質(zhì)量對特征點(diǎn)檢測效果的好壞有著直接影響，在實(shí)際應(yīng)用中，由于各種原因，并非所有采集的圖像都滿足光照均勻一致的要求。為了更精確地捕捉圖像的細(xì)節(jié)信息，有必要針對不同的應(yīng)用場合，根據(jù)圖像實(shí)際情況進(jìn)行一系列的預(yù)處理。

鑒于圖像特征點(diǎn)檢測和匹配的頻繁使用，眾多國內(nèi)外學(xué)者提出了大量Hand-craft特征點(diǎn)檢測算法。在公開數(shù)據(jù)集上，尺度不變特征變換(scale invariant feature transform,SIFT)，SURF(speeded up robust features)，F(xiàn)AST(feature for accelerated segment test)，Harris，ORB[3]等具有較好的幾何不變性。此外，隨著深度學(xué)習(xí)的發(fā)展，眾多基于深度學(xué)習(xí)的特征檢測方法也涌現(xiàn)出來，但針對低光照下的圖像特征點(diǎn)檢測具有特征點(diǎn)數(shù)量少、重復(fù)率低、匹配點(diǎn)對少等缺陷。因此，需要針對以上問題，對圖像進(jìn)行預(yù)處理，改善圖像的質(zhì)量，更好地保留圖像邊緣和細(xì)節(jié)信息[4]，提升現(xiàn)有特征點(diǎn)檢測算法的檢測效果。

目前，眾多基于空域的光照不均勻圖像處理算法有著不錯(cuò)的效果，如常用的直方圖均衡化方法、伽馬矯正算法、Retinex算法等。直方圖均衡化模型的算法簡單、運(yùn)算速度快，對整體亮度偏暗的圖像具有很好的增強(qiáng)效果。但是，對于低光照圖像而言，直方圖均衡化算法可能會(huì)導(dǎo)致過增強(qiáng)現(xiàn)象[5,6]，產(chǎn)生視覺偽影[7]。伽馬校正增強(qiáng)了圖像對比度，但對于光照不均勻圖像，其受到過飽和或者欠飽和問題的困擾[8]。Retinex算法將圖像分解為光照分量和反射分量，把調(diào)整后的反射分量作為增強(qiáng)的結(jié)果，對于一般的低光照圖像具有較好的增強(qiáng)效果。但是這類算法運(yùn)算復(fù)雜度過高，而且存在“光暈”效應(yīng)以及暗處噪聲放大等問題[9]。文獻(xiàn)[10]提出一種低光照圖像亮度提升的ALTM方法，該方法結(jié)合傳統(tǒng)的Retinex對圖像進(jìn)行色調(diào)映射，其中的全局自適應(yīng)方法對于低照度圖像具有很好的照度提升效果，但該算法沒有充分利用臨近像素，導(dǎo)致處理后出現(xiàn)了一些平面顯示問題。

本文推薦了一種基于自適應(yīng)對數(shù)變換的低光照圖像特征檢測方法?；趫D像信息熵值，對不同光照條件下的圖像進(jìn)行不同基底的選取，保證了圖像在光照變化下得到最佳的變換，然后再使用特征點(diǎn)檢測算法。實(shí)驗(yàn)結(jié)果表明，針對光照差異較大的圖像，推薦方法具有更強(qiáng)的光照魯棒性。

1 相關(guān)工作

1.1 LIP模型

在數(shù)字圖像處理領(lǐng)域，傳統(tǒng)的線性處理存在著一些明顯的不足，即兩幅圖像經(jīng)過線性運(yùn)算后灰度值很有可能超出其原本定義的區(qū)間范圍，從而產(chǎn)生數(shù)值越界的問題，導(dǎo)致一些細(xì)節(jié)信息丟失和過度增強(qiáng)。從這一問題出發(fā)，Jourlin M等人提出了LIP模型圖像處理算法[11]，模型中定義了加、減、乘、微分、積分、卷積以及傅里葉變換和小波變換等一系列運(yùn)算符。

在LIP模型中，一幅圖像可以近似理解為，近光通過一個(gè)光濾波器形成了圖像，其吸收函數(shù)稱之為灰度色調(diào)函數(shù)，圖像的灰度級則表示為通過光濾波器的光的總量

g(i,j)=m-f(i,j)

(1)

式中M為圖像最大灰度值，f(i,j)為像素點(diǎn)灰度值，g(i,j)為每一個(gè)像素點(diǎn)的灰度色調(diào)函數(shù)。

LIP模型圖像處理算法為

(2)

(3)

(4)

式中g(shù)1和g2為圖像的灰度色調(diào)函數(shù)，⊕、?、?分別為對數(shù)圖像處理模型下的加減數(shù)乘運(yùn)算。α為大于零的數(shù)乘系數(shù)，用來進(jìn)行灰度值的放大或縮小。LIP模型利用對數(shù)法則和人類視覺系統(tǒng)處理光線時(shí)的對數(shù)特性，更加符合物理特性。

1.2 信息熵

在衡量圖像質(zhì)量及其清晰度方面，本文引入了信息熵概念，在進(jìn)行圖像對數(shù)變換的過程中，將信息熵作為指標(biāo)來進(jìn)行圖像對數(shù)域變換基底的選取。在大量圖像處理的過程中，需要判別一個(gè)圖像的清晰度和圖像分割結(jié)果的優(yōu)劣，于是引入了信息熵的概念，用來作為評價(jià)圖像的一個(gè)量化標(biāo)準(zhǔn)。

對于計(jì)算機(jī)，像素值概率分布均衡等于圖像色彩艷麗；對于人眼來說，色彩艷麗等于輪廓清楚等于圖像清楚。所以可以認(rèn)為，熵值大則圖像的色彩艷麗，甚至某些情況下，熵值大等同于圖像輪廓清楚，也就等同于圖像清楚。

1.3 重復(fù)率

特征點(diǎn)重復(fù)率是對特征點(diǎn)檢測算法的評價(jià)指標(biāo)，用來判斷不同特征點(diǎn)檢測算法的性能。在文獻(xiàn)[12]中，重復(fù)率定義為兩幅圖像中相對于檢測點(diǎn)總數(shù)的重復(fù)點(diǎn)數(shù)量。所使用的重復(fù)率計(jì)算公式

(5)

(6)

2 低光照圖像的自適應(yīng)對數(shù)變換

本文所采用的自適應(yīng)對數(shù)變換方法，能夠保持低光照圖像整體明暗效果，對圖像分層得到的基礎(chǔ)層進(jìn)行動(dòng)態(tài)范圍調(diào)整。

對數(shù)變換是將圖像的低灰度值部分?jǐn)U展，高灰度值部分壓縮，以達(dá)到強(qiáng)調(diào)圖像低灰度部分的目的。變換方法由式(7)給出

s=c·logv+1(1+v·r)，r∈[0,1]

(7)

式中 (v+1)為基底，實(shí)際計(jì)算時(shí)，將圖像灰度值矩陣進(jìn)行歸一化操作后得到r的值，其輸入為[0,1]，其輸出也為[0,1]。對于不同的基底，其對應(yīng)的對數(shù)變換曲線如圖1所示。

圖1 不同基底的對數(shù)變換曲線

從圖1中可以很直觀地看出，由于對數(shù)函數(shù)本身上凸的性質(zhì)，可以把低灰度(即較暗)部分的亮度提高，v越大，灰度提高越明顯，即圖像越來越亮

f(x)=logv+1(1+v·r)

(8)

面對場景動(dòng)態(tài)范圍較大時(shí)，上式固定的對數(shù)基底不能很好兼顧高亮區(qū)域和黑暗區(qū)域。對數(shù)基底較小時(shí)，高亮區(qū)域的壓縮程度不足，導(dǎo)致高亮區(qū)域細(xì)節(jié)不明顯；對數(shù)基底較大時(shí)，則對黑暗區(qū)域壓縮過度，導(dǎo)致黑暗區(qū)域細(xì)節(jié)不明顯。

為了解決上述矛盾，提出一種自適應(yīng)基底的對數(shù)變換算法。根據(jù)圖像信息熵值的不同，選取不同的對數(shù)基底，以進(jìn)行動(dòng)態(tài)范圍的調(diào)整，動(dòng)態(tài)范圍小的像素壓縮較小，動(dòng)態(tài)范圍大的像素則壓縮較大。本文根據(jù)兩幅試驗(yàn)圖像的信息熵值以及比例變換系數(shù)，來確定進(jìn)行對數(shù)變換的基底，將變換后的圖像與參考圖像進(jìn)行特征點(diǎn)檢測等處理，并使用不同的檢測方法分別進(jìn)行試驗(yàn)。式(9)是一個(gè)基本的對數(shù)函數(shù)公式，其基本屬性使得其可以任意選取對數(shù)基

(9)

圖像的信息熵值會(huì)隨圖像光照的變化而變化，因此，可以根據(jù)圖像光照的強(qiáng)弱來進(jìn)行對數(shù)基底的自適應(yīng)選取。圖像信息熵反映了圖像中平均信息量的多少，是一種特征的統(tǒng)計(jì)形式，信息的信息內(nèi)容被定義為

Ii=log(1/pi)=-log(pi)

(10)

一個(gè)對象的信息內(nèi)容與其概率成反比，稱為它的信息熵。令pi表示圖像中灰度值為的像素所占的比例，可由灰度直方圖獲得，則定義灰度圖像的灰度熵

(11)

(12)

式中entr1為變換圖像的信息熵值，entr2為對比圖像的信息熵值。在進(jìn)行變換前，先計(jì)算出兩幅圖像的信息熵值，得到其比值，為了提高算法的靈活度，引入比例變換系數(shù)k。將式(12)代入對數(shù)變換公式得到自適應(yīng)變換公式

(13)

上式自適應(yīng)對數(shù)變換方法，可以根據(jù)低光照圖像不同程度的光照條件，對其進(jìn)行不同程度的光照補(bǔ)償，獲得更佳的亮度提升。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文算法的可行性及泛化性，本文將選用不同的特征點(diǎn)檢測算法進(jìn)行驗(yàn)證。采用重復(fù)率、匹配點(diǎn)對、信息熵值以及增強(qiáng)圖像后人眼的直觀感受來判斷算法的效果及其光照魯棒性。其中,試驗(yàn)選用的參考圖像來自Belgium,Memorial_org,BigTree,ChurchDesk,Snowman_org等多個(gè)圖像標(biāo)準(zhǔn)庫。選取其中光照最均勻、檢測特征點(diǎn)最多的圖像作為對比圖像，與其他低光照圖像進(jìn)行對比試驗(yàn)，在進(jìn)行特征點(diǎn)檢測前先進(jìn)行圖像信息熵的計(jì)算，然后根據(jù)信息熵進(jìn)行基底的選取，并根據(jù)得到的試驗(yàn)結(jié)果，判斷本文自適應(yīng)對數(shù)變換的效果。

本文將SURF算法、FAST算法、Harris角點(diǎn)檢測算法、ORB(Oriented FAST and Rotated BRIEF)算法等傳統(tǒng)算法與本文自適應(yīng)對數(shù)變換方法相結(jié)合，并將多尺度Retinex(MSR)算法、ALTM算法與本文所述方法進(jìn)行對比試驗(yàn)，檢測各種方法得到的重復(fù)率和匹配點(diǎn)對。圖2～圖4為來自不同數(shù)據(jù)集的低光照圖像處理后的效果圖。

圖2 整體光照較低的圖像利用不同算法處理后的結(jié)果

圖3 整體光照較低的圖像利用不同算法處理后的結(jié)果

圖4 整體光照較低的圖像利用不同算法處理后的結(jié)果

由上述整體光照較低的圖像利用不同算法處理后的效果圖可見，由于原圖像光照較低，其中的部分細(xì)節(jié)幾乎看不清楚，經(jīng)過了不同算法處理后，圖像的亮度得到明顯提升。使用MSR(multi-scale Retinex)算法處理后的圖像在亮度提升的同時(shí)也放大了的噪聲，部分區(qū)域曝光嚴(yán)重，反而丟失了很多細(xì)節(jié)(比如圖2棧道區(qū)域)；而使用ALTM算法處理后的圖像，雖然整體亮度得到了有效的提升，但部分區(qū)域仍然沒有得到較好的提升(比如圖3樓梯部分)，較多的細(xì)節(jié)部分顯示不清楚。通過試驗(yàn)對比結(jié)果可知，本文所述基于自適應(yīng)對數(shù)變換的低光照圖像特征檢測方法相較傳統(tǒng)特征點(diǎn)檢測方法，在有效提高圖像亮度的同時(shí)，保留了更多的細(xì)節(jié)，顯示出了更好的效果。

為了進(jìn)一步比較不同算法的處理效果，利用圖像的特征點(diǎn)匹配點(diǎn)對、重復(fù)率和信息熵等客觀指標(biāo)來衡量不同算法處理前后圖像的客觀質(zhì)量。在試驗(yàn)所得數(shù)據(jù)中隨機(jī)選取其中一組(ORB特征點(diǎn)提取算法計(jì)算的重復(fù)率及匹配點(diǎn)對)，得到數(shù)據(jù)表1。

表1 不同算法處理前后圖像的客觀指標(biāo)

由表1中的數(shù)據(jù)可以看出，經(jīng)過本文算法處理后的不同場景的低光照圖像信息熵值明顯增大，這意味著可以從處理后的圖像中獲得更多的信息；各圖像的匹配點(diǎn)對和重復(fù)率也均有較大的提升，從圖像中提取到的可用特征點(diǎn)也就愈多。低光照圖像在經(jīng)過不同的算法處理后，進(jìn)行特征點(diǎn)匹配，同一圖像的特征點(diǎn)匹配結(jié)果有不同程度的改善。

圖5 不同算法處理后的低光照圖像利用ORB算法進(jìn)行特征點(diǎn)匹配

所用自適應(yīng)對數(shù)域變換中，系數(shù)k取20。用MSR算法、ALTM算法以及本文算法在相同標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行特征點(diǎn)檢測、匹配及重復(fù)率計(jì)算，得出這些算法的對比數(shù)據(jù)。所用試驗(yàn)圖像光照依次增加，將不同算法匹配點(diǎn)對和重復(fù)率的檢測結(jié)果與本文所述基于自適應(yīng)對數(shù)變換的低光照圖像特征檢測方法結(jié)果進(jìn)行對比，對比結(jié)果如圖6。

圖6 實(shí)驗(yàn)結(jié)果對比

由圖6明顯可見本文所提方法(proposed method)在圖像信息熵、特征點(diǎn)匹配點(diǎn)對和重復(fù)率上均有較大提升。本文算法降低了低光照圖像的照度影響，對各種特征點(diǎn)檢測方法都有較大的增益，對不同場景的低光照圖像有著較好的矯正效果，具有較強(qiáng)的光照魯棒性。

4 結(jié) 論

為了提高低光照圖像的質(zhì)量及其特征點(diǎn)檢測的效果，本文提出基于自適應(yīng)對數(shù)變換的低光照圖像特征檢測方法，根據(jù)圖像的信息熵值進(jìn)行自適應(yīng)基底的對數(shù)域變換。在結(jié)果評判方法上加入了信息熵、匹配點(diǎn)對和重復(fù)率等多個(gè)評判標(biāo)準(zhǔn)。實(shí)驗(yàn)結(jié)果表明：本文推薦方法模型簡單，對低光照圖像有較好的檢測效果。但本文算法在處理圖像時(shí)沒有考慮噪聲對試驗(yàn)結(jié)果的影響，在細(xì)節(jié)處亮度放大的同時(shí)，噪聲也可能同樣放大，在后續(xù)工作中，應(yīng)把噪聲的影響加以考慮，進(jìn)一步提高算法對低光照圖像的矯正能力。