多聚焦圖像離焦模糊區(qū)域的SIFT 特征提取

夏曉華，趙 倩，向華濤，秦緒芳，岳鵬舉

（長安大學(xué) 工程機械學(xué)院，陜西 西安 710064）

1 引言

多聚焦圖像是指聚焦于同一場景不同深度范圍的多幅圖像，其特點是圖像中的場景由于系統(tǒng)景深限制，只能在某一深度范圍內(nèi)成像清晰，超過該深度范圍則成像模糊。利用多聚焦圖像通過焦點堆疊和清晰度評價能擴大景深范圍和實現(xiàn)場景深度估計，因此多聚焦圖像在圖像融合［1-3］和三維重建［4-6］等領(lǐng)域中均有應(yīng)用。

特征提取是多聚焦圖像配準(zhǔn)、融合和三維重建的基礎(chǔ)和前提，它要求特征提取方法不僅能提取圖像聚焦清晰區(qū)域的特征，還能提取離焦模糊區(qū)域的特征，因此對特征提取方法提出了更高的要求。尺度不變特征變換（Scale-Invariant Feature Transform,SIFT）算法利用圖像的梯度強度信息實現(xiàn)特征點的檢測和描述，提取的特征在圖像旋轉(zhuǎn)、亮度變化和尺度縮放中具有不變性，是一種穩(wěn)定的局部特征，在圖像特征提取領(lǐng)域中應(yīng)用廣泛。然而，SIFT 算法對模糊和邊緣平滑的圖像難以準(zhǔn)確提取特征，因此將其應(yīng)用于多聚焦圖像時存在提取的特征點數(shù)量較少以及圖像特征點易集中于某一區(qū)域的問題，在圖像聚焦清晰區(qū)域特征提取效果好，提取的特征數(shù)量較多，但在離焦模糊區(qū)域特征提取效果差，提取特征時具有不確定性。目前文獻鮮有涉及圖像離焦模糊區(qū)域特征的提取算法，僅有Liu Yu［7］提出了在多聚焦圖像中使用密集SIFT 描述子［8］來解決離焦模糊區(qū)域特征提取困難的問題，直接在每個像素點提取局部特征描述子用于圖像融合。此外，Sekeroglu Kazim［9］和丁國紳［10］分別改進了SIFT算法，提高了SIFT 算法的特征提取數(shù)量，對離焦模糊區(qū)域特征提取有促進作用。然而，這些算法雖提取特征數(shù)量較常規(guī)SIFT 算法明顯增多，但圖像特征點仍主要集中在圖像聚焦清晰區(qū)域，在離焦模糊區(qū)域特征數(shù)量匱乏甚至缺失，使得多聚焦圖像間存在局部、少量的公共特征，導(dǎo)致圖像特征匹配效果差，嚴(yán)重影響后續(xù)圖像融合和三維重建質(zhì)量。為此，本文提出了多聚焦圖像離焦模糊區(qū)域的SIFT 特征提取方法。該方法首先利用常規(guī)SIFT 特征提取方法提取多聚焦圖像聚焦清晰區(qū)域的特征，再利用光流跟蹤提取對應(yīng)離焦模糊區(qū)域的特征，避免了在離焦模糊區(qū)域直接提取特征的不確定性，彌補了現(xiàn)有SIFT 特征提取方法的不足。

2 SIFT 特征提取原理及其不確定性

2.1 SIFT 特征提取原理

SIFT 算法對光照、旋轉(zhuǎn)、仿射以及尺度的變化都具有良好的穩(wěn)定性，是圖像處理領(lǐng)域中最著名的提取方法之一。SIFT 特征提取步驟如下：

首先，需要構(gòu)建圖像多尺度高斯金字塔。一個圖像的尺度空間L(x，y，σ)定義為變化尺度的高斯函數(shù)G(x，y，σ)與原圖像I(x，y)的卷積，如式（1）和式（2）所示：

其中：“*”表示卷積，m，n表示高斯模板的維度，(x，y)表示圖像的像素位置，σ為高斯核。

將原始圖像不斷下采樣得到多組大小不同的圖像，然后在每組圖像中使用不同的高斯卷積核不斷下采樣，得到多層大小相同的圖像，相當(dāng)于每組圖像都含有多層圖像。

其次，需要精確定位關(guān)鍵點。根據(jù)高斯金字塔建立高斯差分金字塔。去除首尾兩層圖像，將剩下每層圖像的各像素點與其相鄰的上下兩層18 個像素點以及同層的8 個相鄰像素點進行比較，若該點在此27 個像素點中是極大值或極小值，則認為該點是候選關(guān)鍵點。

候選關(guān)鍵點是離散空間的極值點，需要通過插值的方法對關(guān)鍵點精確定位。根據(jù)泰勒函數(shù)性質(zhì)，對尺度空間函數(shù)進行泰勒展開，其表達式如式（3）所示：

對式（3）進行求導(dǎo)并令導(dǎo)數(shù)為零可得極值點位置：

將X0'帶入式（3）可得插值結(jié)果：

若D(X0')大于設(shè)定的閾值則被保留，否則被剔除。最后計算主曲率的值，刪除曲率閾值范圍之外的極值點以降低邊緣效應(yīng)。

最后，需要計算唯一描述關(guān)鍵點的描述子，其可以區(qū)分兩個不同的關(guān)鍵點。SIFT 算法依據(jù)當(dāng)前關(guān)鍵點所在圖像的高斯尺度確定鄰域半徑，鄰域內(nèi)的像素梯度值和對應(yīng)的方向如式（6）和式（7）所示：

統(tǒng)計每個方向上的梯度值，將梯度值之和最大的方向作為關(guān)鍵點的主方向，將坐標(biāo)軸旋轉(zhuǎn)至關(guān)鍵點的主方向上，以確保描述符的旋轉(zhuǎn)不變性。然后，在關(guān)鍵點的4×4 鄰域內(nèi)，每個鄰域作為一個種子點，將其梯度平均劃分為8 個方向，統(tǒng)計每個方向區(qū)間內(nèi)的梯度值之和，最終形成128維的梯度向量，作為特征點的描述子。

2.2 特征提取的不確定性

如圖1 所示的成像系統(tǒng)，當(dāng)物點P處于聚焦?fàn)顟B(tài)時，感光元件位于聚焦平面上，物點P的像為理想像點P'；當(dāng)物點P處于離焦?fàn)顟B(tài)時，感光元件偏離聚焦平面，物點P的像是一直徑為δ的彌散圓。圖像聚焦區(qū)域中的特征點是清晰的，其坐標(biāo)位置是確定的；圖像離焦區(qū)域中的特征點是模糊的，其坐標(biāo)位置在彌散圓范圍內(nèi)是不確定的。

圖1 離焦成像示意圖Fig.1 Defocused imaging diagram

此外，當(dāng)物點P處于離焦?fàn)顟B(tài)時，其附近近似深度的物點也處于離焦?fàn)顟B(tài)，這些物點的彌散圓在P的成像位置產(chǎn)生疊加，進一步增加了圖像離焦模糊區(qū)域特征提取的不確定性。

因此，在圖像離焦模糊區(qū)域直接提取特征的坐標(biāo)，并不一定是物點的實際成像位置，利用這些特征進行圖像匹配，容易造成較大的匹配誤差。

3 基于光流法的特征提取原理

在圖像離焦模糊區(qū)域直接提取特征存在較大的不確定性，難以保證特征提取的準(zhǔn)確性，但對于多聚焦圖像而言，一幅圖像的聚焦清晰區(qū)域?qū)?yīng)其他圖像的離焦模糊區(qū)域，通過將一幅圖像聚焦清晰區(qū)域的特征映射至其他圖像上，可以獲得其他圖像離焦模糊區(qū)域的特征。在該思路的基礎(chǔ)上，本文提出利用光流跟蹤建立多聚焦圖像聚焦清晰區(qū)域與對應(yīng)離焦模糊區(qū)域的映射關(guān)系。

光流跟蹤建立在亮度恒定、小位移假設(shè)基礎(chǔ)上，盡管彌散圓分散了物點的亮度，但彌散圓間的疊加效應(yīng)仍能使像素點的實際亮度與對應(yīng)聚焦?fàn)顟B(tài)時的亮度基本一致，多聚焦圖像之間的像素移動多為小位移，基于金字塔的光流跟蹤也能解決多聚焦圖像大位移像素移動問題，因此多聚焦圖像滿足光流跟蹤的假設(shè)條件。此外，多聚焦圖像相鄰像素具有相似的徑向運動，因此多聚焦圖像也滿足空間一致性。

由亮度恒定和小位移假設(shè)可知，兩幅多聚焦圖像的對應(yīng)特征應(yīng)滿足：

其中：G(x，y，t) 表示在t時刻采 集的圖像在(x，y)坐標(biāo)位置處的灰度值，兩幅多聚焦圖像對應(yīng)特征的坐標(biāo)差為(dx，dy)，dt表示拍攝兩幅多聚焦圖像的間隔時間。

對式（8）進行一階泰勒級數(shù)展開得：

其中：Gt'dt=dG表示兩幅多聚焦圖像在(x，y)處的灰度變化量，G'x，G'y表示圖像在x，y方向上的梯度。式（9）可進一步化簡為：

式（10）有兩個未知數(shù)dx和dy，根據(jù)一個像素點不能對方程進行求解?；诳臻g一致性假設(shè)，利用鄰域內(nèi)的像素信息建立方程組：

記I和J為兩幅多聚焦圖像，I圖像在(u，v)坐標(biāo)處的像素點與J圖像上對應(yīng)點的坐標(biāo)差為d=[dxdy]T，在以(u，v)為中心，寬度為Wx、高度為Wy的鄰域內(nèi)，定義損失函數(shù)：

損失函數(shù)最小值所對應(yīng)的dx、dy即是所求值。對損失函數(shù)求導(dǎo)得：

對GJ(x+dx，y+dy)進行一階泰勒級數(shù)展開，忽略高階項，帶入式（13）得：

其中，φ(x，y)=GI(x，y)-GJ(x，y)。

因此，采用SIFT 特征提取方法提取多聚焦圖像中每幅圖像聚焦清晰區(qū)域中的特征，然后利用式（15）將其映射至其他圖像中對應(yīng)的離焦模糊區(qū)域上，實現(xiàn)離焦模糊區(qū)域SIFT 特征提取。

若多聚焦圖像間存在大位移，采用圖像金字塔進行處理，將金字塔底層的大位移轉(zhuǎn)化為金字塔頂層的小位移。假定金字塔的層數(shù)為n，令金字塔頂層的初始光流I1=0，記第k(1 ≤k≤n-1)層的初始光流為Ik，利用式（15）計算第k層的光流dk，則第k層的最終光流為Fk=(Ik+dk)，第(k+1)層的初始光流為Ik+1=2Fk。以此類推，則多聚焦圖像的最終光流為(In+dn)。

4 實驗及結(jié)果分析

在實際應(yīng)用中，通常采用移動鏡頭、移動成像系統(tǒng)或移動被拍攝物體的方式采集多聚焦圖像［2，11］，這種多聚焦圖像是未配準(zhǔn)的，實驗時難以對其特征提取的精度進行評估。在圖像融合領(lǐng)域，會利用光場相機獲得的已配準(zhǔn)多聚焦圖像對圖像融合算法進行評估，從而避免圖像配準(zhǔn)對圖像融合算法的影響。在配準(zhǔn)的多聚焦圖像中，對應(yīng)特征點的坐標(biāo)是相同的，因此可以利用匹配特征點的歐氏距離評價特征提取的準(zhǔn)確性。本實驗中，首先利用多聚焦圖像融合領(lǐng)域常用的配準(zhǔn)圖像驗證本文提出方法的有效性，然后利用實際采集的未配準(zhǔn)多聚焦圖像進一步檢驗本文方法的特征提取效果。

4.1 配準(zhǔn)圖像驗證實驗

如圖2 所示，實驗選用了6 組代表性的配準(zhǔn)多聚焦圖像，其中第1 組圖像、第2 組圖像和第3組圖像［12-14］的背景分別位于視野左側(cè)、右側(cè)和中間，每組圖像中的左圖聚焦于背景，右圖聚焦于前景；第4 組圖像、第5 組圖像和第6 組圖像是由光場相機拍攝獲取的多聚焦圖像，其背景分別位于視野左側(cè)、左側(cè)和右側(cè)，每組圖像中的左圖聚焦于前景，右圖聚焦于背景?？紤]到SURF（Speeded Up Robust Features）和ORB（Oriented FAST and Rotated BRIEF）是針對SIFT 存在的不足進行改進的算法［15-16］，將SIFT，SURF，ORB和基于DAISY 描述子的SIFT 與本文方法在相同的條件下進行特征提取與匹配，提取的特征用圓點標(biāo)記，匹配的特征用直線連接，結(jié)果如圖3 所示。圖3（a）～圖3（e）分別為SIFT，SURF，ORB和基于DAISY 描述子的SIFT 和本文方法的特征提取與匹配結(jié)果。由于5 種特征提取算法閾值代表的含義不相同，為方便對比，設(shè)定6 組多聚焦圖像提取特征數(shù)量均為300，以便在提取相同特征數(shù)量條件下對實驗結(jié)果進行比較。本文方法在提取特征的同時實現(xiàn)了特征的匹配，常規(guī)方法特征提取后須通過圖像匹配方法進行特征匹配，實驗采用暴力匹配和隨機抽樣一致（RANSAC）算法進行匹配。

圖2 實驗用配準(zhǔn)多聚焦圖像Fig.2 Registered multi-focus images for experiments

圖3 常規(guī)方法與本文方法特征提取與匹配效果對比Fig.3 Comparison of feature extraction and matching effect between conventional and proposed methods

由 圖3（a）～圖3（d）可 知，SIFT，SURF，ORB 和基于DAISY 描述子的SIFT 特征提取方法在離焦模糊區(qū)域提取的特征數(shù)量很少甚至缺失，圖3（a）中第2 組圖像右圖、圖3（b）中第2 組圖像右圖、圖3（c）中第1 組圖像左圖、圖3（c）中第2組圖像右圖、圖3（c）中第4 組圖像左圖、圖3（d）中第2 組圖像右圖、圖3（d）中第6 組圖像左圖的離焦模糊區(qū)域僅有1～5 個特征，圖3（c）中第2 組圖像左圖、圖3（c）中第3 組圖像左圖、圖3（c）中第6 組圖像左圖的離焦模糊區(qū)域缺失特征。在離焦模糊區(qū)域提取的特征數(shù)量不足，會導(dǎo)致多聚焦圖像能匹配的特征少，這是圖3（a）～圖3（d）中特征匹配數(shù)量少的主要原因。此外，圖3（a）～圖3（d）中出現(xiàn)了許多能匹配但未匹配成功的特征點對，例如圖3（a）第2 組圖像、圖3（b）第2 組圖像、圖3（b）第3 組圖像、圖3（b）第6 組圖像、圖3（d）第2 組圖像中圈出的部分特征未實現(xiàn)匹配，這是由于對應(yīng)特征在聚焦清晰區(qū)域和離焦模糊區(qū)域的描述子差異較大，使得SIFT，SURF，ORB和基于DAISY 描述子 的SIFT［17］在多聚 焦圖像中即使提取到了對應(yīng)的特征也難以實現(xiàn)匹配。對應(yīng)特征在聚焦清晰區(qū)域和離焦模糊區(qū)域的描述子差異較大，也會造成特征誤匹配，如圖3（d）中的第2 組圖像所示。

對比圖3（a）～圖3（d）和圖3（e）可知，在具有相同特征數(shù)量的條件下，本文方法匹配的特征數(shù)量明顯高于SIFT，SURF，ORB 和基于DAISY描述子的SIFT 算法。本文方法特征匹配點數(shù)量多主要是因為在離焦模糊區(qū)域特征提取數(shù)量多，具有良好的特征提取效果，并且其匹配的特征未出現(xiàn)如圖3（d）中第2 組圖像的誤匹配，說明本文方法在離焦模糊區(qū)域具有良好的特征提取性能。

為驗證上述觀察結(jié)果的準(zhǔn)確性，統(tǒng)計了上述實驗中本文方法與4 種對比方法的特征匹配數(shù)量，結(jié)果如表1 所示。由于實驗圖像為已配準(zhǔn)的多聚焦圖像，用匹配特征的平均歐式距離表示特征提取誤差，計算結(jié)果如表2 所示。

表1 本文方法與4 種對比方法特征匹配數(shù)量對比Tab.1 Comparison of feature matching quantity between the proposed method and the four comparison methods（pair）

表2 本文方法與4 種對比方法的特征提取誤差對比Tab.2 Comparison of feature extraction errors between the proposed method and the four comparison methods （pixel）

由表1 可知，本文方法的特征匹配數(shù)量均高于其他4 種對比方法，并且提取的特征均正確完成匹配，說明本文方法在離焦模糊區(qū)域提取特征效果好，特征點提取不會受到圖像模糊的影響，在離焦模糊區(qū)域的特征提取能力優(yōu)于其他4 種方法。由于本文方法在離焦模糊區(qū)域提取的特征來自于對應(yīng)聚焦清晰區(qū)域提取的特征，因此離焦模糊區(qū)域特征提取效果主要取決于特征提取方法在聚焦清晰區(qū)域的提取效果，與特征類型和圖像內(nèi)容有關(guān)，受離焦模糊影響較小。

由表2 可知，常規(guī)方法的特征提取誤差比本文方法的特征提取誤差大。不考慮誤匹配出現(xiàn)的異常值，常規(guī)方法的誤差在0.21～1.71 pixels之間波動，誤差數(shù)值大，波動范圍廣，說明離焦模糊增加了圖像特征提取的不確定性。表2 顯示本文方法特征提取的誤差在0.03～0.39 pixels之間波動，其數(shù)值比常規(guī)方法的誤差小，波動范圍也小，說明本文方法能有效減少離焦模糊造成的不確定性，能實現(xiàn)圖像離焦模糊區(qū)域特征準(zhǔn)確提取。

因此，本文方法在有效特征提取數(shù)量和精度上均優(yōu)于4 種對比方法，能顯著改善多聚焦圖像離焦模糊區(qū)域的特征提取效果。

4.2 未配準(zhǔn)圖像驗證實驗

為進一步驗證本文方法的有效性，對移動鏡頭方式拍攝的兩組典型的未配準(zhǔn)多聚焦圖像進行特征提取和匹配實驗，圖4 為實驗圖像，實驗結(jié)果如圖5 所示，圖5（a）～圖5（e）為本文方法與4種對比方法在相同特征數(shù)量條件下的特征提取和匹配結(jié)果。在實驗圖像中，圖4 中第1 組圖像和第3 組圖像為近景拍攝的多聚焦圖像，離焦模糊區(qū)域與聚焦清晰區(qū)域的清晰度相差較小，圖4中第2 組圖像和第4 組圖像為較遠距離拍攝的多聚焦圖像，離焦模糊區(qū)域與聚焦清晰區(qū)域的清晰度相差較大。兩組多聚焦圖像設(shè)定的特征提取數(shù)量與配準(zhǔn)實驗保持一致，均為300 個。與4.1節(jié)配準(zhǔn)圖像驗證實驗一樣，常規(guī)方法采用暴力匹配和RANSAC（Random Sample Consensus）算法進行匹配。

圖4 實驗用未配準(zhǔn)多聚焦圖像Fig.4 Unregistered multi-focus images for experiments

圖5 中的實驗結(jié)果與圖3 的實驗結(jié)果基本一致。由圖5（a）～圖5（d）可知，4 種對比方法提取的特征大部分位于聚焦清晰區(qū)域，少量分布于離焦模糊區(qū)域，甚至在圖4（c）左右兩圖的離焦模糊區(qū)域幾乎提取不到任何特征，這說明4種對比方法在圖像聚焦清晰區(qū)域的特征提取能力強，在離焦模糊區(qū)域的特征提取能力弱，離焦模糊區(qū)域少量的特征不足以和對應(yīng)的聚焦清晰區(qū)域大量特征進行匹配，再加上離焦模糊對特征描述子的影響，使得同一特征在聚焦清晰區(qū)域和離焦模糊區(qū)域的描述子差異較大，導(dǎo)致大部分特征被浪費掉，最終匹配的特征數(shù)量遠小于提取的特征數(shù)量。與之相反，圖5（e）中本文方法提取的特征不受離焦模糊影響，在圖像聚焦清晰區(qū)域和離焦模糊區(qū)域均能表現(xiàn)出良好的特征提取能力，特征提取后即實現(xiàn)了特征匹配，因此匹配的特征數(shù)量明顯高于常規(guī)方法匹配的特征數(shù)量。

本節(jié)采用未配準(zhǔn)的多聚焦圖像進行實驗，不能利用4.1 節(jié)配準(zhǔn)圖像用的歐式距離評價特征提取的準(zhǔn)確性，考慮到在多聚焦圖像中，場景每處位置對應(yīng)的聚焦清晰區(qū)域和離焦模糊區(qū)域分布在不同的圖像中，特征匹配建立了聚焦清晰區(qū)域與離焦模糊區(qū)域的特征對應(yīng)關(guān)系，在沒有出現(xiàn)誤匹配的前提下，特征匹配數(shù)量多說明在離焦模糊區(qū)域提取的特征數(shù)量多，并能與對應(yīng)的聚焦清晰區(qū)域中的特征實現(xiàn)匹配，說明所使用的特征提取方法在離焦模糊區(qū)域具有良好的特征提取能力和特征提取準(zhǔn)確性，因此特征匹配數(shù)量能夠綜合反映特征提取方法在離焦模糊區(qū)域中的特征提取效果。由于圖5 中的特征匹配結(jié)果未出現(xiàn)誤匹配現(xiàn)象，采用特征匹配數(shù)量對特征提取方法進行評價，結(jié)果如表3 所示。由表3 可知，本文方法在多聚焦圖像中的特征匹配數(shù)量明顯高于4 種對比方法，說明本文方法在離焦模糊區(qū)域具有良好的特征提取能力和特征提取準(zhǔn)確性，驗證了本文方法的有效性。

表3 本文方法與對比方法匹配特征數(shù)量對比Tab.3 Comparison of number of matching features between proposed method and comparison methods（pair）

5 結(jié)論

離焦模糊會使特征提取存在不確定性，即在圖像離焦模糊區(qū)域直接提取的特征坐標(biāo)，并不一定是物點的實際成像位置，利用這些特征進行圖像匹配，容易造成較大的匹配誤差。

本文提出了一種多聚焦圖像離焦模糊區(qū)域的SIFT 特征提取方法，該方法首先提取多聚焦圖像聚焦清晰區(qū)域的SIFT 特征，再利用光流跟蹤提取對應(yīng)離焦模糊區(qū)域的SIFT 特征，避免了在離焦模糊區(qū)域上直接提取SIFT 特征的不確定性，其有效特征提取數(shù)量和提取精度優(yōu)于常規(guī)方法，顯著改善了多聚焦圖像離焦模糊區(qū)域的特征提取效果。

本文提出的方法能顯著改善離焦模糊對SIFT 特征提取的影響，但其特征分布受到圖像內(nèi)容的影響，SIFT 特征容易集中在圖像的某一區(qū)域內(nèi)，下一步將研究特征分布均勻、不易受圖像內(nèi)容影響的SIFT 特征提取方法。