基于偽高動態(tài)范圍的圖像拼接預(yù)處理方法

吳亮紅，孫亮，周博文，張紅強，盧明

(湖南科技大學(xué)信息與電氣工程學(xué)院，湖南湘潭，411021)

圖像拼接是計算機視覺研究中的熱點問題，該技術(shù)已廣泛應(yīng)用于醫(yī)學(xué)圖像處理[1]、虛擬現(xiàn)實[2]、機器人視覺[3]等領(lǐng)域。圖像拼接就是將某一環(huán)境下拍攝到的2幅或多幅圖像經(jīng)過圖像處理拼接成1幅視角更廣的全景圖像技術(shù)。圖像拼接可以通過基于灰度信息特征、相位相關(guān)和變換模型等方法來實現(xiàn)，其中，由于基于圖像特征點的匹配方法能夠在光照變化、拍攝角度變換等變化下表現(xiàn)出較強的可靠性和魯棒性，被大量應(yīng)用于圖像拼接中。例如，BAY等[4]提出的加速魯棒特征(speeded up robust features，SURF)算法采用Hessian 矩陣檢測圖像特征點具有尺度、光照、旋轉(zhuǎn)等不變特性，使得圖像特征匹配具有較強的穩(wěn)定性。然而，在惡劣照明場景下，圖像特征匹配準(zhǔn)確度非常低。由于圖像特征匹配是基于檢測到的邊緣、角落等特征來進行匹配，所以，盡可能多地檢測出特征點是解決圖像特征匹配準(zhǔn)確度低的有效方法。為了能夠檢測出更多的特征點，通常在圖像拼接預(yù)處理部分采用能夠提高圖像對比度并且增強待拼接圖像中邊緣、角落的圖像增強方法，如TU 等[5]提出直方圖均衡化應(yīng)用于圖像特征匹配，經(jīng)實驗驗證，直方圖均衡可以明顯提高特征點的數(shù)量；DAUD 等[6]提出一種基于直方圖均衡的改進預(yù)處理方法，該方法提高了惡劣光照情況下圖像特征匹配的準(zhǔn)確度；賈銀江等[7]提出一種銳化濾波器來增強圖像細(xì)節(jié)，以此增加特征點數(shù)量；ZHANG 等[8]采用直方圖匹配的方法改善圖像質(zhì)量，并可以改善光照變化時的圖像拼接效果。以上研究主要采用圖像增強算法作為圖像特征匹配和圖像拼接的預(yù)處理方法，提高了匹配準(zhǔn)確度，但同時造成圖像噪聲增多，從而影響匹配效率和拼接時間。為此，本文作者提出一種基于偽高動態(tài)范圍(pseudo high dynamic range，P-HDR)的圖像增強算法作為圖像拼接的預(yù)處理方法。該算法首先通過單幅低動態(tài)范圍(low dynamic range，LDR)圖像生成多重虛擬亮度圖像，然后對多重虛擬亮度圖像進行色調(diào)映射生成偽高動態(tài)范圍圖像。在惡劣照明場景下，本文提出的圖像增強算法可以明顯增強圖像邊緣、角落和提高對比度，檢測到的特征點數(shù)量增多，能有效抑制圖像噪聲，提高圖像特征匹配準(zhǔn)確度。

1 P-HDR圖像增強算法

本文提出圖像增強算法，即通過單幅圖像生成偽高動態(tài)范圍圖像，利用該算法增強待拼接圖像，以改善圖像質(zhì)量。圖1所示為該圖像增強算法的流程框圖，主要由3步組成。

1)通過RGB到Y(jié)UV顏色空間變換，從輸入圖像S中提取亮度信息圖像L，然后根據(jù)Retinex理論將亮度信息圖像分解成環(huán)境的照明量I和反射量R[9]。

由于加權(quán)最小二乘濾波器(weighted least square，WLS)與傳統(tǒng)高斯濾波器相比，可以防止光暈偽像，因此，本文采用加權(quán)最小二乘濾波器得到照明量I。

圖1 圖像增強算法流程框圖Fig.1 Flow chart of image enhancement algorithm

2) 調(diào)整反射量并生成對應(yīng)不同虛擬曝光值的多重虛擬照明量。為了調(diào)整反射量，提出一種選擇性調(diào)整反射比例方法，增強相對明亮區(qū)域的細(xì)節(jié)，從而提高圖像對比度。同時，使用虛擬曝光值比例函數(shù)生成多重虛擬照明量{Ik}。

3)由調(diào)整后的反射量R′和多重虛擬照明量{Ik}生成多重虛擬亮度圖像{Lk}，并對多重虛擬亮度圖像進行色調(diào)映射處理，最后得到增強后的偽高動態(tài)范圍圖像。

1.1 圖像分解

首先將輸入圖像S從RGB 顏色空間轉(zhuǎn)換到Y(jié)UV顏色空間以獲得作為人眼感知物體的亮度信息。Y分量的物理意義是像素點的亮度，將Y分量進行歸一化后得到亮度信息圖像L：

式中：CR，CG和CB分別為輸入圖像RGB顏色空間的3個分量(紅、綠、藍)。

根據(jù)Retinex 理論，人眼感知物體的亮度取決于環(huán)境的照明和物體表面對照射光的反射，數(shù)學(xué)表達式為

式中：(i,j)為像素位置；R為圖像信息的反射量；I是用濾波器G濾波L得到的照明估計量。由于高斯核通常會在明亮背景和暗前景的邊界附近產(chǎn)生光暈偽影[10]，因此，本文采用加權(quán)最小二乘濾波器代替高斯濾波器以減少光暈偽影。加權(quán)最小二乘濾波器是一種邊緣保持平滑的濾波器，能夠滿足與亮度信息圖像L類似又盡可能平滑的要求。

加權(quán)最小二乘濾波器數(shù)學(xué)模型[11]為

式中：u為濾波器輸出；λ為第1項和第2項之間的平衡參數(shù)；下標(biāo)p表示像素位置。式(3)中，第1 項(up-Lp)2是為了使輸出圖像u與輸入亮度信息圖像L越相似越好，第2項是通過最小化偏導(dǎo)數(shù)來抑制紋理的平滑項和ax,p(L)和ay,p(L)為平滑權(quán)重。

1.2 調(diào)整反射量和生成多重虛擬照明量

1.2.1 選擇性調(diào)整反射量比例

為了增強圖像暗區(qū)域中的細(xì)節(jié)清晰度，需要調(diào)整照明量。然而，在明亮區(qū)域下，增加照明又可能使圖像像素飽和，這樣會使圖像細(xì)節(jié)信息損失[12]，因此，在相對明亮的區(qū)域中，調(diào)整照明量不能充分增強圖像細(xì)節(jié)清晰度。本文在處理圖像明亮區(qū)域時，沒有采用遍歷像素的照明均衡方法，而是采用當(dāng)照明量大于某個閾值時進行調(diào)整反射量的方法，這樣可保證明亮區(qū)域的圖像細(xì)節(jié)更清晰。

反射量為

式中：mI為照明量I的平均值；γ=0.6。因此，當(dāng)像素I(i,j)的照明值大于平均值mI時，則將I(i,j)視為較明亮像素，并且將該像素的反射量增加倍。

1.2.2 生成多重虛擬照明量

由于本文使用的是未知曝光值的單幅亮度信息圖像L，為了生成多重虛擬照明量，采用Sigmoid 函數(shù)作為虛擬曝光值的比例函數(shù)f(ν)：

式中：ν為[0,1]范圍內(nèi)的虛擬曝光值；mI為照明量I的平均值；σs為Sigmoid 函數(shù)的平滑因子，本文取值為為控制比例函數(shù)的自適應(yīng)幅度；M為初始照明量I的最大值。

本文設(shè)計4種不同的虛擬曝光值，加上初始照明量平均值mI，即可獲得一組虛擬曝光值νk(k=1, 2, 3,4, 5)，其中，ν1=0.25，ν2=(ν1+ν3)/2，ν3=mI，ν4=(ν3+ν5)/2，ν5=0.75。

將圖像的初始照明量I乘以f(νk)作為新的照明量，這樣便可以生成多重虛擬照明量Ik(k=1,2,3,4,5)，即

1.3 色調(diào)映射

通過調(diào)整后的反射量R′和多重虛擬照明量Ik生成多重虛擬亮度圖像Lk(k=1,2,3,4,5)：

然后，對多重虛擬亮度圖像Lk進行色調(diào)映射[13]，從而獲得增強偽高動態(tài)范圍圖像：

式中：β∈[0,1]，為該范圍內(nèi)的校正系數(shù)，本文β取為1.0。

1.4 圖像增強效果對比

為了驗證本文提出的P-HDR 圖像增強算法的有效性，對1幅惡劣環(huán)境照明場景下的圖像進行增強處理，其結(jié)果如圖2所示，其中，圖2(a)所示為原始圖像，圖2(b)所示為增強后的圖像。由圖2可見：本文提出的圖像增強算法可增強圖像暗區(qū)域的邊緣，提高圖像對比度。

圖2 惡劣照明場景下的圖像增強效果Fig.2 Image enhancement effects in extreme illumination scenario

2 基于SURF算法的圖像拼接

2.1 SURF特征點檢測和特征描述符構(gòu)建

SURF特征點檢測是利用盒子濾波器建立尺度空間，在不改變原圖像大小的條件下不斷改變盒子濾波器的模板大小，與原圖像在不同方向上進行卷積計算，從而形成多尺度斑點響應(yīng)的金字塔圖像。利用這一金字塔圖像，即可進行斑點響應(yīng)極值點的搜索[14]，從而檢測出圖像的特征點。

SURF 特征點檢測是基于Hessian 矩陣，給定圖像I中的像素點I(i,j)，則尺度為σ的Hessian矩陣H(I,σ)定義如下：

式中：Lii(I,σ)為高斯二階微分在點I(i,j)處與圖像I的卷積，Ljj(I,σ)與Lij(I,σ)具有類似的含義。SURF算法在進行卷積時采用盒子濾波器來近似高斯濾波。通過Hessian 矩陣檢測到的特征點構(gòu)建特征描述符，每個特征點沿著主方向建立64 維的特征描述符[15]。圖3所示為沿主方向描述的待拼接圖像的特征點。

圖3 采用SURF在待拼接圖像中檢測到的特征點Fig.3 Feature points detected by SURF in image to be stitched

2.2 圖像特征匹配

由于SURF 算法檢測到的特征點具有尺度、光照、旋轉(zhuǎn)等不變特性，所以，通過比較特征描述符高維空間的歐氏距離，即可判斷2個特征點是否對應(yīng)于場景中的同一個位置[16]。對于待拼接的2幅圖像，若檢測到的2個特征點的歐式距離最近，則認(rèn)為這2個特征點是待拼接的2幅圖像相同場景部分中的同一位置。本文采用快速近似最近鄰搜索(FLANN)算法[17]進行粗匹配得到待拼接圖像的特征點對。當(dāng)完成粗匹配后，特征點對仍然存在一些錯誤的匹配對。為了進一步提純特征點對，采用隨機抽樣一致性算法[18](RANSAC)進行精匹配。RANSAC算法通過誤差函數(shù)來計算實際異常值，從而剔除錯誤的特征點對。圖4所示為圖像拼接的特征匹配效果。

圖4 圖像特征匹配效果Fig.4 Image feature matching effect

2.3 圖像拼接

通過計算匹配特征點對的透視變換矩陣來進行圖像拼接。根據(jù)透視變換矩陣，可以將待拼接圖像映射到一幅投影圖像上。由于待拼接圖像存在亮度、色度等差異，所以，在拼接圖像的拼接處采用加權(quán)平權(quán)算法[19]進行圖像融合。圖5所示為基于SURF 算法的圖像拼接效果。

圖5 基于SURF算法的拼接圖像Fig.5 Stitched image based on SURF algorithm

3 實驗驗證及分析

本文實驗平臺為Microsoft Visual Studio 2015，Python3.6.5 和OpenCV3.4.1，計 算 機CPU 為Inter(R)Core(TM)i5-8300M(2.30GHz)，內(nèi)存為8 GB。圖6所示為惡劣照明場景下的待拼接圖像1和圖像2。由圖6可見：待拼接圖像整幅區(qū)域的細(xì)節(jié)清晰度很低，嚴(yán)重影響拼接效果。

本文實驗分為4個階段。

1) 通過預(yù)處理方法增強待拼接圖像。為了與其他方法進行比較，該階段有5 種預(yù)處理方法：a) 無圖像預(yù)處理；b)文獻[5]中方法；c)文獻[7]中方法；d)文獻[8]中方法；e)本文預(yù)處理方法。

2)采用SURF算法檢測待拼接圖像的特征點。

3)采用FLANN算法和RANSAC算法對特征點進行圖像特征匹配。

圖6 待拼接圖像Fig.6 Images to be stitched

4) 根據(jù)匹配的特征點對計算透視變換矩陣，然后進行圖像拼接。實驗中，記錄檢測到的特征點數(shù)量、匹配特征點對數(shù)量、特征匹配準(zhǔn)確度和拼接時間，然后對記錄的數(shù)據(jù)進行比較和分析。

由不同預(yù)處理方法檢測到的特征點數(shù)量對比見表1。由表1可知：采用不同預(yù)處理方法得到的增強圖像都會使檢測出的特征點數(shù)量增多；檢測出的特征點數(shù)量增多證明這些預(yù)處理方法提高了圖像對比度，增強了圖像中的邊緣、角落。

表1 不同預(yù)處理方法檢測到的特征點數(shù)量對比Table 1 Comparison of the number of feature points detected by different preprocessing methods 個

不同預(yù)處理方法的特征匹配實驗結(jié)果見圖7。在每幅圖像上，紅色點代表檢測到的特征點，藍色線代表特征匹配的特征點對。由圖7可知：與其他預(yù)處理方法相比較，待拼接圖像采用本文預(yù)處理方法進行增強，在暗區(qū)域邊緣能檢測出更多的特征點數(shù)量，這能有效抑制增強后的圖像噪聲。

圖7 不同預(yù)處理方法的特征匹配效果Fig.7 Feature matching effects of different preprocessing methods

表2所示為不同預(yù)處理方法對4 組測試圖像進行拼接的定量評估結(jié)果。由表2可知：采用預(yù)處理方法增強待拼接圖像后可以提高特征匹配的準(zhǔn)確度；本文預(yù)處理方法與其他方法相比，具有更多的特征點對數(shù)量且特征匹配準(zhǔn)確度更高；文獻[5]中方法盡管檢測到的特征點數(shù)量增多且提高了特征匹配的準(zhǔn)確度，但粗匹配的特征點對數(shù)量與其他預(yù)處理方法相比少很多，說明該方法沒有有效地抑制圖像器噪聲，檢測出的特征點有很大部分是圖像噪聲，嚴(yán)重影響特征匹配效率，拼接時間過長；文獻[7]中方法由于檢測出的特征點數(shù)量少，特征匹配特征點對數(shù)量較少；文獻[8]中方法由于沒有圖像去噪，在進行特征匹配過程中增加了大量的錯誤特征點對，嚴(yán)重影響準(zhǔn)確度。對比表2中第1 組和第4 組數(shù)據(jù)可以發(fā)現(xiàn)：文獻[5]與文獻[8]中方法不穩(wěn)定、魯棒性差。

表2 基于SURF的不同預(yù)處理方法對圖像拼接的定量評價Table 2 Quantitative evaluation of image stitching based on SURF with different preprocessing methods

以上實驗結(jié)果表明：在惡劣照明場景下，本文提出的預(yù)處理方法在圖像拼接方面有著更好的拼接效果：特征點對數(shù)量平均提升15.37%，特征匹配的準(zhǔn)確度平均提升9.413%，拼接時間平均縮短6.26%。

4 結(jié)論

1) 針對惡劣照明場景下圖像拼接過程中特征匹配準(zhǔn)確度低的問題，提出一種有效方法來提高圖像特征匹配的準(zhǔn)確度。采用圖像增強算法來改善圖像質(zhì)量是解決特征匹配準(zhǔn)確度低的有效方法。

2)提出一種P-HDR 圖像增強算法來改善圖像質(zhì)量。該圖像增強算法采用單幅圖像生成偽高動態(tài)范圍圖像的方式，使得增強后的圖像邊緣更加明顯，圖像對比度提高。

3) 本文提出的基于偽高動態(tài)范圍的圖像拼接預(yù)處理方法可以有效地提高圖像拼接的特征匹配準(zhǔn)確度。該方法在基于特征的圖像拼接方面比現(xiàn)有預(yù)處理方法具有更好的效果，可應(yīng)用于任何圖像拼接系統(tǒng)如智能手機、視頻監(jiān)控和醫(yī)學(xué)圖像處理等系統(tǒng)，特別是在惡劣照明場景下，能夠可靠地進行圖像拼接。