基于對比度受限直方圖均衡化和非銳化掩模的織物表面瑕疵圖像增強算法

葛萬凱，趙世海，范雨佳

(1.天津工業(yè)大學 機械工程學院，天津 300387；2.天津工業(yè)大學 紡織科學與工程學院，天津 300387)

瑕疵檢測在織物生產(chǎn)過程中有非常重要的作用，傳統(tǒng)的檢測方法采用人工視覺驗布，效率慢、精度低，已經(jīng)逐漸被淘汰。隨著機器視覺研究的不斷深入和落實，在多個工業(yè)檢測領域性能表現(xiàn)優(yōu)異，為織物瑕疵檢測帶來了新方向[1-2]。在瑕疵檢測過程中，由于圖像采集環(huán)境、拍照設備、光源等因素影響，所獲取的圖像往往噪聲多且存在對比度低、畫面不清晰、細節(jié)模糊等問題，不利于后續(xù)瑕疵的檢測與分類。因此，為了提高瑕疵圖像檢測精度和效率，有必要對相機采集到的原始圖像進行增強處理，突出圖像的細節(jié)信息，過濾噪聲，提高圖像質(zhì)量[3-4]。

隨著機器視覺檢測技術的不斷進步，國內(nèi)外涌現(xiàn)出大量優(yōu)秀的圖像增強算法，黃成[5]為解決經(jīng)編布噪聲多的問題，選擇了高斯平滑濾波去噪，去噪效果顯著，但是單一的濾波去噪無法有效改善圖像質(zhì)量且導致了部分瑕疵細節(jié)丟失。李文羽[6]考慮到織物瑕疵邊緣紋理屬于高頻成分，正常紋理屬于低頻成分，提出使用分數(shù)階微分增強色織物瑕疵,突出了瑕疵邊緣信息，使紋理更清晰，同時也保存了圖像平滑區(qū)域信息，但是分數(shù)階微分計算量過大，不利于實現(xiàn)瑕疵實時檢測，為了提高速度不可避免地降低了圖像分辨率，一定程度上削弱了細節(jié)特征。郝陽[7]針對降噪處理會導致圖像涂抹，降低銳度，而全局銳化又會帶來噪點的問題提出了一種“蒙版銳化法”，以全局銳化圖像作為覆蓋涂層，以Canny邊緣檢測算法提取的邊緣圖像作為蒙版，以中值濾波降噪處理后的圖像作為底層，所得銳化圖像紋理清晰，瑕疵特征明顯，但是為解決光照不均勻問題只簡單進行了“光比平衡”，提升圖像整體亮度，而造成了圖像對比度缺失，甚至嚴重破壞了圖像灰度特征。為了提高織物瑕疵檢測準確率，孟志杰等[8]對織物圖像預處理，采用了高斯濾波去除噪聲，直方圖均衡化提高圖像對比度，但是該方法過時且無法滿足現(xiàn)在瑕疵檢測的實際需求。丁小康等[9]為了獲得更清晰的有色異纖圖像，采用灰度線性變換方法將灰度值范圍[50,160]擴展到[0,255]，實現(xiàn)了圖像對比度增強，但是該方案沒有去噪處理，在提升對比度同時也放大了噪聲，圖像質(zhì)量改善有限。

針對上述問題，本文提出了一種融合對比度受限的自適應直方圖均衡化(Contrast-limited adaptive histogram equalization，CLAHE)和非銳化掩模(Unsharp mask, UM)細節(jié)增強的圖像增強算法，以引導濾波為框架，引入CLAHE和非銳化掩模作為支撐，實現(xiàn)了織物瑕疵圖像有效增強，通過對比實驗表明該方法效果明顯且具有一定普適性。

1 圖像增強算法

1.1 圖像加權灰度處理

本文研究白坯布表面瑕疵問題，不存在由于色紗匹錯誤導致圖案、花紋與正?？椢锊黄ヅ涞拇命c[6]，因此可以將白坯布圖像灰度化后再進行瑕疵檢測處理。

常用的圖像灰度化方法有平均值法、加權平均值法、最小值法等。其中，加權平均值法分別對采集RGB圖像三通道采取不同權重，人眼對綠色最敏感，紅色次之，藍色最低，所以對R、G、B三通道分配0.299、0.587、0.114的權重，灰度圖像效果最好。

1.2 對比度受限的自適應直方圖均衡化

直方圖均衡化(Histogram equalization, HE)方法增強圖像對比度具有速率快、效果明顯等優(yōu)勢，直方圖均衡化可以實現(xiàn)圖像整體對比度提升，但是處理后圖像會出現(xiàn)“過亮或過暗”現(xiàn)象，同時也無法處理到局部細節(jié)，導致細節(jié)丟失，效果較差，考慮到這一點，基于分塊處理思想的自適應直方圖均衡化(Adaptive histogram equalization, AHE)被提出，解決了局部高亮或過暗問題，但是這2種方法在增強對比度的同時也放大了噪聲[10]。以AHE算法優(yōu)點為基礎，針對放大噪聲問題，限制對比度概念被提出，CLAHE算法既有效改善了對比度，又抑制噪聲的產(chǎn)生。

CLAHE算法具體步驟如下：

①把圖像分割成n×n個大小相同且互不重疊的矩形子塊，隨著子塊數(shù)量增多，圖像的增強效果越顯著，但損失的細節(jié)也更多。

② 計算子塊直方圖。

③ 求解受限制值T。

(1)

式中：nx表示子塊x方向像素個數(shù)；ny表示y方向像素個數(shù)；K為灰度級數(shù)；c為受限系數(shù)。

④ 裁剪直方圖，像素點重新分配。被裁剪子塊直方圖h(x)受限制值T約束，超出部分像素數(shù)平均分配到其他灰度級，像素點裁剪、重新分配如圖1所示。假設有S個像素超出受限制值T，令A為每個灰度級分配到的像素個數(shù)，則滿足：

圖1 像素點裁剪、重新分配

(2)

(3)

像素點重新分配后直方圖h′(x)滿足：

(4)

⑤子塊直方圖均衡化。

⑥雙線性差值重構灰度值。僅通過映射函數(shù)變換后得到的像素值會導致圖像呈塊狀現(xiàn)象，采用雙線性差值對圖像每個點做差值處理可以有效避免塊狀產(chǎn)生[11]。

雙線性差值只針對4個塊中心點包圍的區(qū)域，如圖2所示陰影區(qū)域。將每個子塊的中心作為參考點，分別記為M11(x1,y2)，M12(x2,y2)，M21(x1,y1)，M22(x2,y1)，待計算點P的像素值由相鄰的4個參考點決定。

圖2 雙線性差值

x方向線性插值R1、R22個點的像素值f(R1)，f(R2)：

(5)

(6)

再對y方向進行差值運算，得f(p):

(7)

綜合式(1)(3)得雙線性差值結果，P點的像素值f(p)有：

(8)

1.3 非銳化掩模細節(jié)增強

非銳化掩模(Unsharp mask, UM)是一種易控、有效的細節(jié)增強算法。運用了減法的思想求圖像中的高頻信息，其基本原理是原圖像減去低通濾波圖像獲取高頻部分，所得高頻部分乘一增益系數(shù)后再與原圖相加，該方法有效豐富了原始圖形的邊緣細節(jié)信息[12]。其數(shù)學表達式為：

g(x,y)=f(x,y)+k×{f(x,y)-Li[f(x,y)]}

(9)

式中：g(x,y)表示輸出的銳化增強圖像；f(x,y)表示原始輸入圖像；Li表示低通濾波器；k為增益系數(shù)。

濾波器的選擇直接影響銳化效果，均值濾波器和高斯濾波器是2種典型的線性低通濾波器，卷積核歷遍圖像，獲取圖像低頻信息[12]。本文選擇的均值濾波器在平滑去噪的同時也使得圖像邊緣、細節(jié)等高頻部分被削弱，原圖與濾波圖像相減獲得更多高頻信息，瑕疵細節(jié)等到增強，實現(xiàn)圖像銳化。

2 算法描述

引導濾波是一種保護圖像邊緣的濾波器，工作時需同時具備輸入圖像和引導圖像，并且二者應具有一定的線性關系，以引導圖像為導向，對輸入圖像進行濾波操作。為盡可能增強輸入圖像邊緣信息，需要選擇具有明顯邊緣特征的引導圖像。

采用引導濾波作為去噪算法，結合CLAHE算法和非銳化掩模細節(jié)增強算法的優(yōu)點，輸入圖像選擇CLAHE 算法增強后的圖像，引導圖像使用非銳化掩模處理后的圖像，進行引導濾波，以達到織物瑕疵圖像增強的目的。具體操作步驟如下：

①輸入原始拍攝的織物瑕疵圖像P；

②將原始圖像P轉(zhuǎn)化為灰度圖像Ph；

③分別對灰度圖像Ph做CLAHE對比度增強和非銳化掩模細節(jié)增強，獲得圖像Pz、Pf；

④以Pz作為輸入圖像，Pf作為引導圖像，進行引導濾波，得到增強后圖像。

圖3為本文圖像增強算法流程框圖。

圖3 本文算法流程圖

3 實驗結果與分析

實驗圖像來自雪浪視覺檢測的織物瑕疵數(shù)據(jù)集，為了保證圖像質(zhì)量，對數(shù)據(jù)集圖像重新篩選，排除褶皺等干擾影響，統(tǒng)一裁剪出512像素×512像素并包含瑕疵的圖像，實驗選取吊經(jīng)、跳花、扎洞、污漬、毛斑、破洞6類具有典型代表性的瑕疵圖像。實驗采用Matlab2020b軟件，在主機配置為Intel(R)Core(TM)i5-6300HQ CPU @ 2.30 GHz，8G內(nèi)存，64位操作系統(tǒng)的計算機上實現(xiàn)本文的算法。為驗證本文算法對圖像增強效果的有效性，選取HE算法、CLAHE算法以及灰度變換算法作對比實驗。

3.1 定性分析

圖4所示為各種圖像增強算法的實際效果對比，圖4(a)為織物瑕疵原始灰度圖像，瑕疵類型依次是吊經(jīng)、跳花、扎洞和污漬，圖4(b)是經(jīng)HE算法增強處理后的圖像，圖4(c)是經(jīng)灰度線性變換處理后的圖像，圖4(d)是經(jīng)CLAHE算法增強處理后的圖像，圖4(e)是經(jīng)過本文算法增強處理后的圖像。其中，經(jīng)HE算法增強后的圖4(b)明顯噪點增多且出現(xiàn)過增強現(xiàn)象，4幅圖都表現(xiàn)為中間部分亮，四周過暗，圖像失真嚴重，不利于查找瑕疵位置；圖4(c)的灰度線性變換方法較HE算法有明顯的改善，過增強現(xiàn)象減弱，但仍然沒有徹底改變亮度不均問題；圖4(d)的CLAHE算法很好的解決灰度不均問題，有效提升了圖像對比度，但是圖像的細節(jié)部分變化不大，部分瑕疵特征消失；圖4(e)是本文融合算法處理后的圖像，從中可以看出，處理后的圖像亮度均勻，對比度提升明顯，同時又很好保持了瑕疵細節(jié)信息，瑕疵與背景圖像有明顯的分離，視覺效果較好。

圖4 各種算法處理結果

3.2 定量分析

從定性角度分析，本文算法處理后的圖像在對比度、細節(jié)信息等方面都優(yōu)于其他算法，織物的瑕疵信息表現(xiàn)更佳。但是單純的根據(jù)主觀評價無法證明算法的有效性，因此本文將通過3種圖像質(zhì)量客觀評價標準定量的驗證本文算法的優(yōu)越性。對不同的圖像增強方法分別采用信息熵(information entropy)、峰值信噪比(PSNR)和平均梯度(MG)3種客觀指標進行定量評價。

信息熵是衡量圖像中包含信息量多少的量，信息量越大則熵值越大，對于圖像灰度級范圍在[0，L-1]，信息熵(IE)的表達式為：

(10)

式中：Pi為灰度級i出現(xiàn)的概率；L為灰度級數(shù)，取值為256。

峰值信噪比表示最大信號量與噪聲強度的比值，值越大增強處理后的圖像相比原圖像失真更小，由均方誤差定義。均方誤差(MSE)和峰值信噪比(PSNR)的公式分別為：

(11)

(12)

式中：f′(i,j)和f(i,j)分別表示增強處理后的圖像與原始灰度圖像；m、n為圖像的長和寬，像素；K表示最大灰度級與最小灰度級的差值，取值255。

平均梯度(Mean Gradient, MG)是衡量圖像細節(jié)變化的重要指標，反映了細節(jié)反差和紋理變換，細節(jié)越豐富層次越多，平均梯度值也就越高，公式如下：

(13)

式中：f(i,j)表示增強算法處理后的圖像。

不同圖像增強方法對上文所選圖像的客觀評價值如表1所示?？梢钥闯觯疚乃岢龅膱D像增強算法相對于HE、灰度線性變換、CLAHE算法，MG、PSNR和信息熵值均最大，對織物瑕疵圖像的處理效果最好，本文算法在提高圖像對比度的同時最大的保留了瑕疵信息，算法優(yōu)勢明顯。

表1 不同圖像增強方法客觀評價對比

為廣泛驗證本文算法的優(yōu)越性，對訓練集中420幅包含跳花、吊經(jīng)、毛斑、破洞、污漬和扎洞6種瑕疵圖像進行處理，其中每種瑕疵70張，統(tǒng)計客觀評價指標，并對其求平均值。其客觀評價結果如表2所示。

表2 420幅瑕疵圖像MG、PSNR、信息熵平均值

從表2可以看出，本文提出的融合算法平均MG、PSNR和信息熵值均最大。經(jīng)分析，HE算法處理后的圖像效果不佳，極易導致圖像出現(xiàn)失真或過增強，灰度線性變換和CLAHE算法相對HE都有了明顯的改善，本文算法對不同類型瑕疵圖像增強效果最好，具有廣泛適用性。

3.3 瑕疵識別與定位

圖像增強的目的是提高瑕疵識別定位的準確率，使用無瑕疵圖像對單分類支持向量機(SVDD)訓練，將訓練好的支持向量機用于瑕疵檢測，實驗在臺灣大學林智仁教授開發(fā)的LIBSVM-SVDD工具箱完成，參數(shù)設置為‘-s5-t2-c0.1-g0.17’，其中-s5表示支持向量機類型為SVDD，-t2表示核函數(shù)為BRF類型，-c0.1表示懲罰參數(shù)為0.1，-g0.17表示gamma值為0.17。將無瑕疵圖像分成32像素×32像素的子塊，提取子塊LBP特征為特征向量，送入SVDD進行分類器訓練。將待檢測圖像分成同樣大小32像素×32像素子塊送入分類器檢測，檢測到無瑕疵的子塊將其所有像素值統(tǒng)一設為0，即變?yōu)楹谏珘K，對有瑕疵的小塊不作處理，其中參與分類器訓練的無瑕疵圖像500張，子塊個數(shù)為128 000；檢測圖像420張，每類瑕疵70張，子塊17 920個。圖5為各算法增強處理后的瑕疵識別圖。

圖5 各算法處理后瑕疵識別定位圖

由于HE算法以及灰度線性變換算法產(chǎn)生的過增強現(xiàn)象，使得圖像某些正常區(qū)域特征類似瑕疵特征，因此有較多正常塊被誤識別為瑕疵塊。經(jīng)過CLAHE算法或融合算法處理過的圖像，其瑕疵識別準確率提升明顯，其中融合算法最為精準。

對上述訓練集420幅圖像進行瑕疵識別，結果如表3、4所示。由于過增強現(xiàn)象干擾，HE算法處理后瑕疵識別準確率低于原圖，誤檢率高于原圖；CLAHE和本文融合算法處理后圖像瑕疵識別準確率較灰度線性變換算法提升10%～14%，誤檢率下降5%～8%；其中融合算法處理后瑕疵識別準確率最高，達到了98%以上，誤檢率最低，不超過2%。

表3 不同圖像增強算法處理后瑕疵識別準確率 %

表4 不同圖像增強算法處理后瑕疵識別誤檢率 %

4 結 論

由于工業(yè)環(huán)境、相機參數(shù)、織物不平整等因素導致的現(xiàn)場采集的織物瑕疵圖像對比度低、細節(jié)模糊，瑕疵特征不清晰等問題，本文提出了一種融合CLAHE對比度增強和非銳化掩模細節(jié)增強的圖像增強算法。分別對原始灰度圖像進行CLAHE對比度增強作為輸入圖像，非銳化掩模細節(jié)增強作為引導圖像，進行引導濾波，以達到圖像增強目的。將本文算法與HE算法、灰度線性變換算法、CLAHE算法進行比較，并通過平均梯度、峰值信噪和信息熵3種客觀評價指標對處理結果進行分析對比，從客觀上肯定了本文算法在增強圖像對比度、保留瑕疵細節(jié)的優(yōu)越性。對各算法處理后圖像進行瑕疵識別與定位，本文融合算法識別準確率達98%以上，對比其他算法提升明顯。本文研究成果對后續(xù)瑕疵分類帶來了方便，顯著提高了分類結果的準確性，同時也為同類型圖像增強算法的研究提供了參考。