基于清晰度評(píng)價(jià)的自適應(yīng)閾值圖像分割法

張 田， 田 勇， 王 子， 王昭東

(東北大學(xué) 軋制技術(shù)及連軋自動(dòng)化國(guó)家重點(diǎn)實(shí)驗(yàn)室， 遼寧 沈陽(yáng) 110819)

圖像分割是計(jì)算機(jī)視覺(jué)處理過(guò)程中的重要步驟，是實(shí)現(xiàn)圖像理解的前提.在圖像分割的實(shí)際應(yīng)用中，前景與背景的灰度級(jí)存在不同，閾值法就是通過(guò)找到前景與背景之間灰度級(jí)的差別，將目標(biāo)(前景)從背景中分割出的方法.圖像閾值分割[1]主要以圖像中灰度相似性作為分割依據(jù)，使用一個(gè)或多個(gè)閾值把圖像分成若干部分，廣泛用于工業(yè)檢測(cè)、醫(yī)學(xué)圖像等領(lǐng)域.圖像閾值處理主要有全局處理和局部處理兩方面[2]，本文主要聚焦全局閾值的選取.全局閾值法是對(duì)圖像中的每一個(gè)像素點(diǎn)而言，因此找到一個(gè)合適的閾值依然是分割的關(guān)鍵.目前有多種自適應(yīng)確定閾值的方法被提出[3]，主流的自適應(yīng)閾值方法有Otsu法和最大熵法.

Otsu方法又名最大類間差法[4]，其通過(guò)尋找前景、背景之間的最大類間方差得到兩類的分割.為找到最優(yōu)閾值，圖像的每一灰度級(jí)都作為閾值，當(dāng)某一閾值下得到最大類間方差時(shí)，該灰度級(jí)則作為最終分割閾值.近年來(lái)，在不同的應(yīng)用場(chǎng)合都有一些不同的改進(jìn)方法，以適應(yīng)不同的應(yīng)用場(chǎng)合.Yu等[5]提出了一種自適應(yīng)Otsu方法，應(yīng)用區(qū)域增長(zhǎng)與邊緣檢測(cè)和閾值分割(RGEDOM)相結(jié)合來(lái)提取石油泄漏. Li等[6]結(jié)合方差的差異性提出了新的Otsu判定準(zhǔn)則. Zou等[7]基于皮爾遜相關(guān)系數(shù)與Otsu方法之間的關(guān)系，提出了最大相似性閾值的方法.最大熵法由Kapur等[8]提出并成為圖像分割中廣泛使用的一種方法.Sahoo等[9]基于Renyi entropy提出了最大化 Renyi entropy.Albuquerque等[10]基于最大化Tsallis entropy提出了新的最大熵表達(dá)式.Nie等[11]基于一種新的廣義熵，其中加入了可調(diào)熵參數(shù)，新準(zhǔn)則被證明有效.近年來(lái)也有其他方法對(duì)最大熵法進(jìn)行改進(jìn)，如Lin 等[12]提出了基于Tsallis entropy拓展系數(shù)的圖像閾值分割方法.

通過(guò)研究分析上述方法，在實(shí)際應(yīng)用中上述算法均存在不足且不易克服：上述算法均是通過(guò)求解圖像中包含的灰度頻率信息來(lái)得到圖像分割結(jié)果.對(duì)Otsu和最大熵法而言，其均是實(shí)現(xiàn)前景背景之間某種關(guān)系的極值化，如最大化方差和最大化信息熵.為得到一種自適應(yīng)和魯棒性的圖像分割算法，本文提出了一種建立穩(wěn)健關(guān)系的思想，這種思想來(lái)源于Otsu方法和圖像自身的信息評(píng)價(jià)[13].在灰度范圍內(nèi)對(duì)圖像進(jìn)行閾值化之后，對(duì)分割后的圖片進(jìn)行清晰度信息的計(jì)算.將圖像閾值選取轉(zhuǎn)換為圖像信息平穩(wěn)變化下的灰度值求解，提供了灰度連續(xù)變換下的前景和背景之間的細(xì)節(jié)變化，對(duì)一些前景、背景灰度級(jí)差別細(xì)微的圖片也有較好的分割性.

1 前期工作

1.1 閾值分割

閾值法是圖像分割中普遍使用的一種方法.主要是對(duì)圖像的灰度進(jìn)行劃分，通過(guò)灰度強(qiáng)度值的差異把圖像劃分為兩類.閾值法的數(shù)學(xué)表達(dá)如式(1)所示：

(1)

式中：f(x,y)代表輸入圖像；T表示所設(shè)閾值；g(x,y)表示輸出圖像.

圖1為5張本文測(cè)試圖片及對(duì)應(yīng)的灰度直方圖.從圖中可以看出，圖1a和圖1b兩幅圖對(duì)比度很小且背景占比很大，圖1c為單峰圖像，圖1d和圖1e為雙峰圖像，并且目標(biāo)物體在整圖中占比較小.在實(shí)際分割中，這種對(duì)比度小或前景占比小的圖像會(huì)對(duì)自適應(yīng)閾值造成很大干擾，分割難度大.這是因?yàn)閭鹘y(tǒng)基于灰度頻率的分割閾值會(huì)向像素較多的部分移動(dòng)，導(dǎo)致前景無(wú)法被精確地提取出來(lái)，后續(xù)的圖像處理難以進(jìn)行.

1.2 圖像清晰度評(píng)價(jià)

傳統(tǒng)的圖像清晰度評(píng)價(jià)通常用于機(jī)器視覺(jué)系統(tǒng)調(diào)焦的判據(jù)，客觀的圖像清晰度評(píng)價(jià)不僅可以自動(dòng)調(diào)整對(duì)焦精度而且可以降低硬件成本[14].目前，常用的圖像清晰度算法有很多，大致可以歸結(jié)為：1)灰度梯度函數(shù)，主要利用正焦圖像比離焦圖像的邊緣更鋒利，灰度變化更明顯等特征，包括絕對(duì)方差函數(shù)、Roberts 梯度和函數(shù)、梯度向量平方函數(shù)、Brenner 函數(shù)、Laplacian 函數(shù)、Tenengrad 函數(shù)和Variance 函數(shù)等；2)熵函數(shù)，正焦圖像的信息熵比離焦圖像要多；3)頻域函數(shù)，主要利用傅立葉變換、小波變換等，通過(guò)比較正焦圖像與離焦圖像的高頻分量，高頻分量較多的是清晰圖像[15].

清晰度評(píng)價(jià)是對(duì)圖像細(xì)節(jié)信息的描述，梯度函數(shù)描述的是邊緣信息，因此邊緣信息越豐富的圖像，其清晰度評(píng)價(jià)值也越高.由于圖像中的邊緣信息是關(guān)鍵且穩(wěn)定的，當(dāng)用梯度函數(shù)描述清晰度時(shí)，在真實(shí)分割結(jié)果附近清晰度評(píng)價(jià)值也同樣是區(qū)域穩(wěn)定的.基于該設(shè)想提出一種基于清晰度評(píng)價(jià)的圖像分割方法并進(jìn)行驗(yàn)證.

本文選取的清晰度評(píng)價(jià)方法為Tenengrad 函數(shù)：一種基于梯度的函數(shù)，其使用Sobel算子提取水平垂直方向梯度值，值越大表示圖像越清晰.本文使用該函數(shù)作為圖像信息的度量,如式(2)～式(3)所示.

設(shè)Sobel卷積核為Gx,Gy,則

(2)

(3)

式中，n為圖片像素總個(gè)數(shù).

2 基于清晰度評(píng)價(jià)的圖像分割法

2.1 方法描述

本文使用清晰度評(píng)價(jià)作為閾值化后圖像內(nèi)灰度相似性變化的度量方法，在每幅圖像閾值化后，均對(duì)其做一次清晰度評(píng)價(jià).此時(shí)的清晰度評(píng)價(jià)值直接測(cè)量的是圖像中的細(xì)節(jié)變換，即把原先圖像中兩區(qū)域的相似性度量轉(zhuǎn)換為閾值化后的圖像清晰度的度量.對(duì)于前景背景可分的圖像，圖像清晰度評(píng)價(jià)值和最佳分割閾值存在穩(wěn)定對(duì)應(yīng)關(guān)系.類似相機(jī)自動(dòng)對(duì)焦原理，在一定距離下總能找到圖像最清晰時(shí)的焦距.在一定范圍內(nèi)，對(duì)待分割的圖片分別做圖像閾值化和閾值化后圖像的清晰度評(píng)價(jià).若分割閾值在目標(biāo)閾值附近，清晰度值會(huì)比較平穩(wěn)，此時(shí)清晰度值所反映的圖像信息變化是比較小的.反之，若不是目標(biāo)閾值，則清晰度評(píng)價(jià)值會(huì)出現(xiàn)較大波動(dòng).

初選一次閾值范圍的具體方法為：首先在整個(gè)圖像灰度范圍內(nèi)作一次圖像清晰度評(píng)價(jià)(此時(shí)灰度值步長(zhǎng)為2～3)，然后再選定清晰度值平穩(wěn)區(qū)域的灰度范圍(此時(shí)灰度步長(zhǎng)取1).不斷循環(huán)，直到選擇最佳分割閾值結(jié)束.同時(shí)，為了確定唯一的最佳分割閾值，使用皮爾遜相關(guān)系數(shù)進(jìn)行相似性度量，選取相似性最高的作為分割閾值.

基于上述思想，對(duì)圖1中5張圖分別做圖像閾值化和圖像清晰度評(píng)價(jià)，得到圖2.

圖2顯示了圖1中5張圖片在不同閾值下清晰度評(píng)價(jià)值的折線圖，其中黑色區(qū)域組成圖像灰度頻率，圓點(diǎn)折線代表圖像在不同灰度下的清晰度評(píng)價(jià)值.從圖2可以看出，圖像灰度頻率走勢(shì)與圖像清晰度評(píng)價(jià)值走勢(shì)大致相同.不論從左側(cè)還是右側(cè)向直方圖逼近，圖像清晰度評(píng)價(jià)部分都有一個(gè)從小到大或從大到小的變化，直接表現(xiàn)為離散的清晰度評(píng)價(jià)值在該范圍內(nèi)的梯度上升或梯度下降.在梯度上升或梯度下降的起始點(diǎn)處進(jìn)行圖像閾值分割，經(jīng)過(guò)與人工分割閾值(人工分割視為最佳閾值的標(biāo)準(zhǔn))對(duì)比發(fā)現(xiàn)，圖像的最佳分割閾值就在清晰度評(píng)價(jià)折線較平穩(wěn)部分至梯度急劇變化的拐點(diǎn)處.

基于上述分析，可以初步從清晰度評(píng)價(jià)值折線找到大致的平緩區(qū)域，由圖2a～圖2e可知最佳分割閾值的可能范圍分別為70～90和130～140，140～170，60～90，200～250，120～220.其中圖2a存在的最佳分割閾值的可能范圍有2個(gè)，因此對(duì)其重點(diǎn)分析，其余圖片的處理方法類似，將圖2a的2個(gè)可能閾值范圍放大，如圖3所示.

從圖3可以明顯看出清晰度值的平穩(wěn)部分及與其相接的梯度快速變化的部分.根據(jù)1.1節(jié)理論，若一定范圍內(nèi)清晰度評(píng)價(jià)值有一個(gè)明顯的變化，同時(shí)存在有一段或多段是趨于平緩的，則可以斷定最佳分割閾值可能在此范圍內(nèi).下面將分析并計(jì)算出最佳的分割閾值點(diǎn).

最佳閾值的選取采用梯度變化累積法.具體方法為對(duì)任意一點(diǎn)，從左邊和右邊同時(shí)選取若干點(diǎn)，將趨勢(shì)變化明顯的點(diǎn)視為拐點(diǎn)，假設(shè)該點(diǎn)左邊為趨勢(shì)平穩(wěn)的點(diǎn)，那么右側(cè)必為變化較大的點(diǎn).只有當(dāng)兩側(cè)清晰度值相差最大時(shí)，才能得到最佳分割閾值點(diǎn).先大步長(zhǎng)搜索可能的拐點(diǎn)，之后再次縮小范圍得到各自小區(qū)間內(nèi)的清晰度評(píng)價(jià)折線圖，不斷重復(fù)，直至找到最佳分割閾值.由圖3可知，有的圖片會(huì)存在2個(gè)可能分割區(qū)間，因此會(huì)得出2個(gè)候選分割閾值，為確定唯一的最佳分割閾值，這里利用皮爾遜距離作為從多候選閾值中選擇最佳分割閾值的判定條件.以圖3為例，分別在70～90 和120～140之間找到了候選分割閾值t，其對(duì)應(yīng)的清晰度評(píng)價(jià)值和皮爾遜距離如表1所示.

表1 多個(gè)可能分割閾值范圍的判定參數(shù)比較Table 1 Comparison of judgement parameters for multiple possible segmentation threshold ranges

分別用兩個(gè)候選閾值處理圖像，最終分割結(jié)果如圖4所示.

對(duì)照原圖1a和圖4的結(jié)果可以看出，顯然候選閾值134的為最佳分割閾值，在兩者清晰度評(píng)價(jià)相差不多的情況下，皮爾遜距離小的閾值可以滿足分割要求.在實(shí)際使用中，還可以依靠得到的清晰度曲線來(lái)判斷.在先驗(yàn)信息足夠的情況下，通常可用的閾值分布在峰值的左側(cè)或右側(cè)，這樣可選用的值只有1個(gè).

2.2 提出算法的步驟及結(jié)果

本文使用Lgray，Hgray代表輸入圖像的最小灰度和最大灰度,以t表示分割閾值，由此得到式(4):

Lgray≤t≤Hgray

(4)

算法流程具體步驟如下：

1) 將輸入圖像灰度化，轉(zhuǎn)換為灰度圖f(x,y)；

2) 提取圖像f(x,y)的灰度范圍及其灰度直方圖；

3)在灰度范圍內(nèi)作清晰度評(píng)價(jià)，得到清晰度折線圖，尋找折線圖拐點(diǎn)或平緩變化處的灰度值集合；

4) 判斷是否得到所有的灰度拐點(diǎn)集合，若是，轉(zhuǎn)到步驟5)；若否，轉(zhuǎn)到步驟3)繼續(xù)尋找；

5) 對(duì)得到的灰度集合進(jìn)行圖像閾值化，并計(jì)算閾值化圖與原圖之間的相關(guān)系數(shù)，當(dāng)相關(guān)系數(shù)最大時(shí)，取此時(shí)的閾值作為最佳分割閾值.

清晰度評(píng)價(jià)值的集合如式(5)所示：

VecEva(t)=Eva(f(Lgray),f(Hgray)) .

(5)

式中，Eva(f(t))表示閾值t下圖像的清晰度評(píng)價(jià)值.

依據(jù)上述描述，在實(shí)際使用中可用式(6)對(duì)清晰度值再作處理.若對(duì)任意處的灰度值滿足下列關(guān)系，則選取該值作為分割閾值.對(duì)任意灰度值i處的處理公式表達(dá)如下：

(6)

即在灰度值i處，計(jì)算與其相連的第5個(gè)值所形成直線斜率的絕對(duì)值.由前文可知，分割閾值只可能存在于清晰度評(píng)價(jià)值曲線的一側(cè)，因此需要得到圖像清晰度值的最大值或次大峰值處的灰度值，假設(shè)為L(zhǎng)max，則若在區(qū)間[LmaxHgray]多次存在式(7)所示關(guān)系，則保存該值作為閾值選項(xiàng).

(7)

式中：α為判定時(shí)系數(shù)，小于1；mmin為清晰度評(píng)價(jià)值的下限，本文取0.05;mmax為清晰度評(píng)價(jià)值的上限，本文取0.2.mmin和mmax取值在所有清晰度評(píng)價(jià)值的最大和最小值之間.

3 結(jié)果與討論

將本文提出的基于清晰度評(píng)價(jià)的閾值分割方法與Otsu法、最大熵法、模糊聚類法、Otsu改進(jìn)法1(Otsu_1)、Otsu改進(jìn)法2(Otsu_2)進(jìn)行圖像分割處理的測(cè)試比較.其中Otsu法、最大熵、模糊聚類法均采用算法原型，兩種改進(jìn)方法則是采用對(duì)圖像前景、背景概率進(jìn)行加權(quán)的方法.圖5顯示了樣本測(cè)試數(shù)據(jù)圖1各圖的前景占比.從圖中可以明顯看出所選圖像中前景占比最大不超過(guò)圖像像素總數(shù)的15%，最小逼近0，說(shuō)明這組圖的特點(diǎn)均為前景占比比較小，此外從圖1可以發(fā)現(xiàn)前景、背景的邊界較為模糊，對(duì)比度較低.

3.1 算法表現(xiàn)及結(jié)果評(píng)估

選擇上述測(cè)試圖像利用OpenCV及C++等工具得到分割結(jié)果如圖6所示.圖6a～圖6f分別表示Otsu算法、最大熵算法、模糊聚類算法、Otsu_1算法、Otsu_2算法和本文提出的算法對(duì)5張樣本圖像的分割結(jié)果.為了對(duì)各處理結(jié)果有全面客觀的評(píng)價(jià)，采用ME評(píng)價(jià)，即用誤分率對(duì)圖像分割的結(jié)果進(jìn)行評(píng)價(jià)，其反映的是前景和背景像素的誤分狀況，對(duì)于前景、背景二分問(wèn)題，誤分率ME如式(8)所示:

(8)

式中：Bgt，F(xiàn)gt表示背景、前景的真實(shí)像素；Bt，F(xiàn)t表示分割結(jié)果中的背景、前景像素?cái)?shù)；t表示分割閾值.若ME取值逼近0，則意味著前景和背景的分割錯(cuò)誤很少，分割效果也較好；反之，若ME取值逼近1，則表示誤分率較大，分割效果也較差.ME值與分割效果呈正相關(guān).各算法的評(píng)價(jià)結(jié)果如表2所示.

通過(guò)表2中的ME評(píng)價(jià)值可以看出各算法對(duì)于不同圖片的分割效果.對(duì)Otsu及其改進(jìn)算法而言，對(duì)背景占比相對(duì)較大時(shí)分割結(jié)果顯著，但前景較小時(shí)，則ME值均較大無(wú)法滿足分割需求.最大熵法在部分圖片的分割結(jié)果較好，但對(duì)超低對(duì)比圖像分割效果不盡滿意.模糊聚類的處理結(jié)果都存在明顯不足.在Otsu的改進(jìn)方法中，方法2的結(jié)果依賴于參數(shù)的選擇，對(duì)不同圖像若要都得到合適的結(jié)果較為困難.綜合比較，本文提出的算法，對(duì)不同的圖片的分割效果均較為理想，其ME值在所有算法中較低.

表2 各分割算法的圖像處理結(jié)果評(píng)價(jià)Table 2 Evaluation of image processing results for each segmentation algorithm

基于i5-7400 CPU對(duì)各算法的計(jì)算時(shí)間做了對(duì)比，如表3所示.本文方法的實(shí)時(shí)性弱于傳統(tǒng)算法，因?yàn)樘幚碇写嬖诖罅康c閾值化操作，占據(jù)大量時(shí)間，在實(shí)際使用時(shí)可以通過(guò)GPU或矩陣運(yùn)算做進(jìn)一步優(yōu)化.

表3 各算法時(shí)間消耗對(duì)比Table 3 Costs of time of different methods ms

3.2 本文算法的通用性驗(yàn)證

為驗(yàn)證本文算法的通用性，除了對(duì)低對(duì)比度高背景的圖片具有有效性，對(duì)常規(guī)的單峰圖像或雙峰圖像依然有較強(qiáng)的處理能力，特選取了若干圖像進(jìn)行驗(yàn)證，結(jié)果如圖7所示.

從圖7可以看出，對(duì)具有不同直方圖信息的圖片，本文算法均具有較好的分割能力.其中，對(duì)激光線和鋼板缺陷的分割效果較好，在實(shí)際應(yīng)用中能滿足工藝需求.對(duì)雙峰直方圖的羽毛分割，與人工分割的結(jié)果相比，誤分率較低，幾乎與人的判別水平相當(dāng)，獲得較滿意的圖像分割結(jié)果.

4 結(jié) 語(yǔ)

本文論述了一種新穎的具有魯棒性的基于清晰度評(píng)價(jià)的自適應(yīng)閾值分割方法.該方法從清晰度評(píng)價(jià)的角度揭示了圖像分割閾值的變化規(guī)律，把分割閾值的選取轉(zhuǎn)變?yōu)榍逦仍u(píng)價(jià)的度量.從圖像信息的角度入手，獲得前景背景之間灰度演變關(guān)系.

通過(guò)對(duì)實(shí)際圖像的測(cè)試與分析，本文提出的方法具有以下特點(diǎn)：1)對(duì)比其他經(jīng)典分割或改進(jìn)算法，本文提出的方法結(jié)果具有更高的分割精度，分割效果接近人工分割效果；2)本文提出的方法對(duì)低前景高背景的圖像具有優(yōu)異的分割性能，對(duì)常規(guī)的單/雙峰直方圖也有較好的效果；3)本文算法簡(jiǎn)單易用，可用于工業(yè)現(xiàn)場(chǎng)的實(shí)際應(yīng)用中.