基于LBP 特征與圖像顯著性的散焦模糊區(qū)域檢測(cè)

李浩偉， 劉 洪， 梁建娟， 劉本永

（貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院， 貴陽 550025）

0 引言

散焦模糊是圖像成像過程中較為常見的一種退化現(xiàn)象。 散焦模糊的形成是由于相機(jī)鏡頭存在景深限制，景深范圍內(nèi)的成像是清晰的，景深范圍外的成像則是模糊的。 局部散焦模糊圖像可以看作聚焦前景和模糊背景的疊加，其中聚焦前景區(qū)域紋理較為豐富，圖像細(xì)節(jié)較多，而散焦模糊區(qū)域紋理較為平坦，圖像細(xì)節(jié)較少，只有大體的輪廓。 有效和準(zhǔn)確地檢測(cè)出局部散焦模糊圖像中的模糊區(qū)域在圖像信息的進(jìn)一步獲取和利用方面發(fā)揮著重要作用，如景深估計(jì)［1］、圖像局部去模糊［2］、圖像再聚焦［3］、圖像質(zhì)量評(píng)價(jià)［4］、圖像分割［5］、模糊放大［6］等領(lǐng)域。

依據(jù)散焦模糊區(qū)域和聚焦清晰區(qū)域在空域及變換域中的差異，學(xué)者們提出了多種局部模糊區(qū)域檢測(cè)方法。 Su 等學(xué)者［7］利用清晰像素塊和模糊像素塊在奇異值分解后的系數(shù)差異來構(gòu)造模糊特征。Shi 等學(xué)者［8］使用圖像梯度分布特征、圖像頻譜特征和局部濾波器來訓(xùn)練貝葉斯分類器，并在多尺度框架下進(jìn)行模糊區(qū)域檢測(cè)。 Yi 等學(xué)者［5］提出一種基于局部二值模式（Local Binary Pattern， LBP）的散焦模糊度量，并將其應(yīng)用于模糊區(qū)域的分割。Golestaneh 等學(xué)者［6］對(duì)圖像梯度進(jìn)行離散余弦變換，通過對(duì)其高頻系數(shù)進(jìn)行多尺度融合來構(gòu)造模糊特征進(jìn)行模糊區(qū)域檢測(cè)。 Tang 等學(xué)者［9］提出了一種基于對(duì)數(shù)頻譜殘差的模糊度量，利用相鄰圖像區(qū)域的內(nèi)在相關(guān)性來得到模糊圖。 上述方法通過提取和構(gòu)造模糊特征來對(duì)圖像中的每個(gè)像素點(diǎn)的模糊程度進(jìn)行度量，進(jìn)而得到最終的模糊圖。 然而，這些模糊檢測(cè)方法在紋理平坦區(qū)域的判別和圖像邊緣細(xì)節(jié)的保持方面尚有不足。

聚焦清晰區(qū)域可以分為紋理豐富區(qū)域和均質(zhì)清晰區(qū)域［10］。 其中，紋理豐富區(qū)域像素模糊響應(yīng)較低，對(duì)其進(jìn)行檢測(cè)相對(duì)容易，而均質(zhì)清晰區(qū)域較為光滑，模糊響應(yīng)較強(qiáng)，容易被誤判為模糊區(qū)域，其檢測(cè)是散焦模糊區(qū)域檢測(cè)中的一個(gè)難點(diǎn)。 LBP 特征能夠快速準(zhǔn)確地檢測(cè)出紋理豐富區(qū)域像素，但對(duì)處于均質(zhì)清晰區(qū)域的像素檢測(cè)能力較弱，這也是很多模糊特征共有的不足。 本文利用圖像的LBP 特征和顯著性特征來構(gòu)造三元標(biāo)識(shí)圖，借助于KNN（K Nearest Neighbors）摳圖［11］來實(shí)現(xiàn)散焦模糊區(qū)域的檢測(cè)，即將圖像分割成2 個(gè)區(qū)域：模糊區(qū)域和清晰區(qū)域，進(jìn)一步利用形態(tài)學(xué)運(yùn)算和邊緣保持的平滑濾波細(xì)化檢測(cè)結(jié)果。 此方法能有效克服傳統(tǒng)模糊區(qū)域檢測(cè)方法對(duì)于均質(zhì)清晰區(qū)域容易誤判的問題，并且在圖像的邊緣細(xì)節(jié)保持方面具有一定的優(yōu)勢(shì)。

1 模糊檢測(cè)及圖像顯著性

1.1 SLBP 模糊圖提取

模糊圖反映圖像中像素的模糊程度，本文基于LBP 特征來提取SLBP 模糊圖［5］。 LBP 特征可以有效提取圖像的局部紋理，對(duì)光照轉(zhuǎn)換造成的灰度變化具有較好的魯棒性，并且計(jì)算簡(jiǎn)單，速度較快。像素（xc，yc） 處的LBP 值定義為：

其中，nc是中心像素（xc，yc）的灰度值；np是以（xc，yc）為中心，半徑為R的圓上的P個(gè)相鄰像素的灰度值；TLBP是一個(gè)小的灰度敏感閾值。 將標(biāo)準(zhǔn)的LBPP，R進(jìn)行旋轉(zhuǎn)，選取LBP值最小的那一個(gè)來表示中心像素點(diǎn)， 可得到旋轉(zhuǎn)不變的局部二值模式在P ＝8，R ＝1 的情形下，通過結(jié)合旋轉(zhuǎn)不變性，LBP 模式還可以進(jìn)一步簡(jiǎn)化為9 種均勻局部二值模式（類型編號(hào)由0 到8）和1 種非均勻局部二值模式（類型編號(hào)為9）［12］。 對(duì)于散焦模糊區(qū)域而言，由于其較為平滑，多數(shù)鄰域像素灰度np與中心像素灰度nc較為接近，類型編號(hào)較小的模式出現(xiàn)的頻率相對(duì)較高，類型編號(hào)較大的模式出現(xiàn)的頻率相對(duì)較低。 圖1（a）中，紅色方框內(nèi)為散焦模糊區(qū)域，藍(lán)色方框內(nèi)為聚焦清晰區(qū)域，分別對(duì)方框區(qū)域內(nèi)像素的LBP類型分布進(jìn)行統(tǒng)計(jì)，結(jié)果如圖1（b）所示。 可以看出，散焦模糊區(qū)域像素的LBP 類型主要為低編號(hào)類型。

圖1 散焦區(qū)域和聚焦區(qū)域的LBP 分布Fig. 1 LBP distribution in blurred and sharp regions

基于以上分析，定義模糊特征QL BP為：

其中，U（LBPP，R） 為均勻模式的度量因子；n為模式i的數(shù)目；N是選取的像素塊中像素總數(shù)目。

利用模糊特征QLBP對(duì)輸入圖像進(jìn)行處理可以得到LBP 模糊圖。 然而，LBP 模糊圖中鄰近像素之間聯(lián)系相對(duì)較弱，即便是相鄰很近的像素，其模糊響應(yīng)也可能有較大差異。 為了更好地利用區(qū)域內(nèi)其它像素的模糊信息，本文不再以單個(gè)像素的模糊度作為度量，而是以某一區(qū)域內(nèi)所有像素模糊響應(yīng)的均值作為該區(qū)域所有像素的模糊度量。 利用SLIC（Simple Linear Iterative Clustering）算法［13］對(duì)輸入圖像進(jìn)行分割，依據(jù)分割結(jié)果來對(duì)LBP 模糊圖進(jìn)行處理，進(jìn)而得到SLBP 模糊圖。 SLBP 模糊圖HSLBP計(jì)算方法如下：

其中，HLBP為LBP 模糊圖；Ai為SLIC 算法分割后得到的超像素；M為超像素總數(shù)目。

圖2 給出了一個(gè)SLBP 模糊圖提取示例。 由圖2 可以看出，輸入圖像在經(jīng)過SLIC 超像素分割后，其輪廓和邊緣信息得到了較好的保持。 依據(jù)分割結(jié)果重新計(jì)算LBP 模糊圖中像素的模糊度，從而得到SLBP 模糊圖。

圖2 SLBP 模糊圖估計(jì)Fig. 2 Estimation of SLBP blur map

1.2 圖像顯著性

圖像中能夠優(yōu)先被人類視覺系統(tǒng)所注意到的區(qū)域稱為顯著性區(qū)域，顯著性檢測(cè)模擬人眼的視覺注意機(jī)制對(duì)像素的顯著性進(jìn)行度量得到顯著圖。 本文利 用 DRFI （ Discriminative Regional Feature Integration）算法［14］來獲取圖像的顯著圖。 該方法首先在不同尺度下對(duì)圖像進(jìn)行分割，然后結(jié)合區(qū)域?qū)Ρ榷龋≧egional Contrast）、區(qū)域?qū)傩裕≧egional Property）和區(qū)域背景（Regional Backgroundness）三種特征得到關(guān)于分割區(qū)域的一組86 維的特征向量，該特征向量通過隨機(jī)森林映射為顯著值，最后將不同尺度下得到的多個(gè)顯著圖進(jìn)行融合來獲取最終的顯著圖。

對(duì)于散焦模糊圖像來說，由于鏡頭聚焦的區(qū)域通常也是視覺上較為突出的區(qū)域，所以圖像顯著性一定程度上也具備區(qū)分聚焦清晰區(qū)域和散焦模糊區(qū)域的潛力。 圖3（a）中，聚焦區(qū)域?yàn)楣饣幕ò陞^(qū)域，包含有大量的均質(zhì)清晰區(qū)域。 分別利用模糊特征QLBP和DRFI 算法對(duì)其進(jìn)行檢測(cè)，得到圖3（b）和圖3（c）。 可以看出，模糊特征QLBP僅僅能檢測(cè)到部分邊緣像素點(diǎn)，無法準(zhǔn)確區(qū)分均質(zhì)清晰區(qū)域和散焦模糊區(qū)域，而在DRFI 顯著圖中，由于均質(zhì)清晰區(qū)域和散焦模糊區(qū)域的顯著性差異較大，所以這兩部分區(qū)域能夠得到有效的區(qū)分。

圖3 LBP 模糊圖與DRFI 顯著圖的比較Fig. 3 Comparison between LBP blur map and DRFI saliency map

然而，DRFI 算法不能直接用于模糊區(qū)域檢測(cè)，像素的顯著性和模糊度之間并無直接的聯(lián)系。 圖4（a）中，黃色方框區(qū)域顯著性明顯低于同處在聚焦前景區(qū)域的藍(lán)色方框區(qū)域顯著性，卻非常接近處在模糊背景中的紅色方框區(qū)域顯著性。 針對(duì)這類圖像進(jìn)行檢測(cè)時(shí)，DRFI 顯著圖同真實(shí)標(biāo)記的模糊圖差異較大。

圖4 不同聚焦區(qū)域的顯著性Fig. 4 Saliency in different focal regions

2 散焦模糊區(qū)域檢測(cè)

2.1 散焦模糊檢測(cè)流程

本文提出的散焦模糊檢測(cè)算法流程如圖5 所示。 由圖5 可知，首先利用LBP 特征和SLIC 超像素分割算法對(duì)輸入圖像進(jìn)行初步的散焦模糊區(qū)域檢測(cè)以得到SLBP 模糊圖，利用DRFI 算法得到DRFI顯著圖，然后依據(jù)均質(zhì)清晰區(qū)域和散焦模糊區(qū)域在顯著性上的差異，結(jié)合SLBP 模糊圖和DRFI 顯著圖來構(gòu)造三元標(biāo)識(shí)圖，進(jìn)而利用KNN 摳圖算法來得到散焦模糊區(qū)域檢測(cè)結(jié)果，最后借助于形態(tài)學(xué)處理和平滑濾波來細(xì)化檢測(cè)結(jié)果。

圖5 模糊區(qū)域檢測(cè)流程圖Fig. 5 Blur region detection flowchart

2.2 三元標(biāo)識(shí)圖的構(gòu)造

三元標(biāo)識(shí)圖、即trimap，由確定的前景、確定的背景以及待確定區(qū)域三部分構(gòu)成。 利用KNN 摳圖算法檢測(cè)散焦模糊區(qū)域，需要構(gòu)造合理的三元標(biāo)識(shí)圖。 三元標(biāo)識(shí)圖的前景應(yīng)當(dāng)處在聚集清晰區(qū)域，背景應(yīng)當(dāng)處在散焦模糊區(qū)域。 有別于通過設(shè)置雙閾值［5］或者借助于形態(tài)學(xué)的腐蝕膨脹方法［15］構(gòu)造三元標(biāo)識(shí)圖，這里將圖像的SLBP 模糊圖和DRFI 顯著圖結(jié)合起來構(gòu)造三元標(biāo)識(shí)圖。 三元標(biāo)識(shí)圖的構(gòu)造方法代碼具體如下。

算法代碼中的Ts為顯著性敏感閾值，控制著待確定區(qū)域的大小。 在摳圖前景確定的情況下，Ts越小，背景區(qū)域越大，待確定區(qū)域越小。 然而Ts過小時(shí)，待確定區(qū)域可能會(huì)無法包含均質(zhì)清晰區(qū)域，導(dǎo)致算法對(duì)均質(zhì)清晰區(qū)域的檢測(cè)能力下降。TC為自適應(yīng)分割閾值，用以二值化SLBP 模糊圖，該閾值通過OTSU 算法［16］得到。 OTSU 算法又稱為最大類間方差算法，是一種自適應(yīng)閾值的圖像分割算法。 相比于固定灰度閾值分割，其魯棒性更好，但是直接使用OTSU 算法來對(duì)SLBP 模糊圖中的超像素進(jìn)行分割，效果往往并不理想，主要表現(xiàn)在均質(zhì)清晰區(qū)域像素誤檢嚴(yán)重。

圖6 給出了一個(gè)對(duì)應(yīng)算法1 的三元標(biāo)識(shí)圖構(gòu)造示例。 圖6（a）中，黑色區(qū)域像素對(duì)應(yīng)輸入圖像中的紋理豐富區(qū)域像素，這部分像素作為摳圖前景被保留。 均質(zhì)清晰區(qū)域像素顯著性較高，多集中在待確定區(qū)域，即三元標(biāo)識(shí)圖TR 中的灰色區(qū)域，這部分像素在KNN 摳圖后能獲得較低的模糊響應(yīng)，較好地克服了1.2 節(jié)所提到的問題。

圖6 三元標(biāo)識(shí)圖的構(gòu)造示例Fig. 6 Example of generating a trimap

2.3 形態(tài)學(xué)運(yùn)算和平滑濾波

通常情況下，散焦模糊區(qū)域中存在較小的非模糊區(qū)域是不合理的，這部分區(qū)域在KNN 摳圖得到的模糊圖中常常以小的孤立像素塊的形式存在，可以使用形態(tài)學(xué)方法來處理。 孤立像素塊的產(chǎn)生主要是由于模糊背景中存在著灰度變化較為劇烈，且有著較低模糊響應(yīng)的偽清晰區(qū)域［10］。 形態(tài)學(xué)處理的方法如下：首先取分割閾值Tseg將KNN 摳圖后得到的模糊圖二值化，然后選取結(jié)構(gòu)元素對(duì)背景進(jìn)行先膨脹、后腐蝕的閉運(yùn)算操作，去除像素?cái)?shù)目小于G的孤立黑色像素塊，將得到的二值圖作為掩膜，保留模糊圖中對(duì)應(yīng)掩膜位置上的像素。

鄰近區(qū)域內(nèi)像素的模糊程度應(yīng)當(dāng)是相近的，進(jìn)一步利用邊緣保持的平滑濾波［17］對(duì)模糊圖進(jìn)行局部平滑處理，可以使局部區(qū)域內(nèi)的模糊分布更為合理。

3 實(shí)驗(yàn)結(jié)果及分析

本文在Shi 等學(xué)者［8］提供的模糊數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。 該模糊數(shù)據(jù)集包含1000 張局部模糊圖像及對(duì)應(yīng)的Ground Truth，其中散焦模糊圖像704 張，其余為運(yùn)動(dòng)模糊圖像。 本文只選取散焦模糊圖像進(jìn)行模糊區(qū)域檢測(cè)。 仿真實(shí)驗(yàn)中，將灰度敏感閾值TLBP設(shè)置為0.016，選取的圖像塊中像素總數(shù)目N設(shè)置為25，分割后的超像素個(gè)數(shù)M設(shè)置為500，顯著性敏感閾值Ts設(shè)置為0.89，用于形態(tài)學(xué)處理的Tseg設(shè)置為0.88，結(jié)構(gòu)體為半徑為3 的平面圓盤型結(jié)構(gòu)元素，G為3 個(gè)超像素塊的大小。

3.1 定性實(shí)驗(yàn)

在Shi 等學(xué)者［8］提供的數(shù)據(jù)集上選取5 張圖像，將上述參數(shù)設(shè)置下得到的散焦模糊檢測(cè)結(jié)果同部分主流算法得到的結(jié)果進(jìn)行比較，結(jié)果如圖7 所示。 由圖7 中可以看出，文獻(xiàn)［8］容易受到偽清晰背景區(qū)域的影響，檢測(cè)結(jié)果較為粗糙。 文獻(xiàn)［9］考慮了相鄰區(qū)域的相關(guān)性，在圖像邊緣信息的保持和均質(zhì)清晰區(qū)域的檢測(cè)方面表現(xiàn)相對(duì)較好，但模糊區(qū)域和聚焦區(qū)域交界處的差別不夠顯著。 文獻(xiàn)［5］和文獻(xiàn)［6］在邊緣保持和均質(zhì)清晰區(qū)域檢測(cè)方面也有一定的不足。

圖7 模糊圖比較Fig. 7 Blur map comparison

通過引入圖像顯著性，本文算法能有效地檢測(cè)出散焦圖像中的均質(zhì)清晰區(qū)域。 第一張圖像中黃色的水果區(qū)域，第二張圖像中綠色的葉片區(qū)域和第三張圖像中白色的卡片區(qū)域都包含有大量的均質(zhì)清晰區(qū)域，多數(shù)算法會(huì)將其誤判為散焦模糊區(qū)域，從而得到誤差較大的檢測(cè)結(jié)果，而本文算法則實(shí)現(xiàn)了較為準(zhǔn)確的檢測(cè)。 此外，即便模糊背景有著同聚焦前景較為相近的顏色（第四張圖像），或者聚焦前景區(qū)域內(nèi)存在著顯著性較低的區(qū)域（第五張圖像），本文算法仍然可以獲得較為準(zhǔn)確的檢測(cè)結(jié)果。

由于SLIC 算法和KNN 摳圖算法都有同輸入圖像的交互，本文算法在圖像邊緣定位的準(zhǔn)確性方面具有一定的優(yōu)勢(shì)。 利用本文算法對(duì)圖8（a）進(jìn)行模糊檢測(cè)，得到圖8（b），依據(jù)檢測(cè)結(jié)果對(duì)輸入圖像進(jìn)行分割得到圖8（c）。 由圖8（c）可以看出，本文算法得到的模糊檢測(cè)結(jié)果較好地保持了原圖像的邊緣細(xì)節(jié)信息。

圖8 模糊區(qū)域分割Fig. 8 Blur region segmentation

3.2 定量實(shí)驗(yàn)

為了定量地研究本文算法的檢測(cè)性能，選取Shi等學(xué)者［8］提供的數(shù)據(jù)集上總計(jì)704 張散焦模糊圖像進(jìn)行實(shí)驗(yàn)，使用精度查全率（Precision－Recall，PR）作為算法性能的評(píng)價(jià)指標(biāo)。 精度、查全率的計(jì)算方法如下：

其中，R為模糊圖經(jīng)過分割后的模糊像素集合（分割閾值由0 取到255），Rg為對(duì)應(yīng)的Ground Truth的模糊區(qū)域像素集合。

針對(duì)模糊檢測(cè)過程中部分流程進(jìn)行消融性實(shí)驗(yàn)，得到的P － R曲線如圖9 所示。 在圖9 中，圖例中的QLBP表示僅利用模糊特征QLBP進(jìn)行模糊檢測(cè)；QLBP＋KNN 表示利用模糊特征QLBP和KNN 摳圖算法進(jìn)行模糊檢測(cè)（未使用SLIC 超像素分割算法）；QLBP＋SLIC 表示利用模糊特征QLBP和SLIC 算法來進(jìn)行模糊檢測(cè)（未使用KNN 摳圖算法）；DRFI 表示直接利用DRFI 算法進(jìn)行模糊檢測(cè)。 由圖9 可以看出，直接使用模糊特征QLBP或者DRFI 算法進(jìn)行模糊檢測(cè)，檢測(cè)結(jié)果較差；通過結(jié)合SLIC 算法，模糊特征QLBP檢測(cè)能力得到了提升；進(jìn)一步借助于圖像顯著性和KNN 摳圖算法能夠獲得最佳的檢測(cè)效果。

圖9 不同處理方式下的P－R曲線Fig. 9Precision－Recallcomparison for diffierent processing methods

將本文方法同部分主流算法進(jìn)行定量的比較，對(duì)比結(jié)果如圖10 所示。 實(shí)驗(yàn)結(jié)果表明，當(dāng)查全率處在0.77和0.94 區(qū)間時(shí)，相比于其它模糊區(qū)域檢測(cè)算法，本文方法獲得的檢測(cè)結(jié)果在精度和查全率上表現(xiàn)最佳。

圖10 不同算法P－R比較Fig. 10Precision－Recallcomparison for diffierent algorithms

4 結(jié)束語

本文提出了一種簡(jiǎn)單有效的散焦模糊區(qū)域檢測(cè)算法，在較好地保留了圖像邊緣細(xì)節(jié)的同時(shí)，實(shí)現(xiàn)了對(duì)均質(zhì)清晰區(qū)域的有效檢測(cè)。 LBP 特征可以準(zhǔn)確檢測(cè)紋理豐富區(qū)域像素，圖像顯著性可以用來區(qū)分均質(zhì)清晰區(qū)域和散焦模糊區(qū)域。 將LBP 特征同圖像顯著性相結(jié)合，并利用KNN 摳圖算法實(shí)現(xiàn)散焦模糊區(qū)域的有效檢測(cè)，同時(shí)形態(tài)學(xué)運(yùn)算和平滑濾波進(jìn)一步提高了模糊區(qū)域檢測(cè)的準(zhǔn)確性。 構(gòu)造更為有效的模糊特征，提高檢測(cè)速度和精度，將是后續(xù)工作的重點(diǎn)。