自適應(yīng)差異多尺度形態(tài)學(xué)的風(fēng)力機(jī)葉片紅外圖像增強(qiáng)研究

康 爽 陳長征,2 趙思雨 羅園慶 孔祥希

1.沈陽工業(yè)大學(xué)機(jī)械工程學(xué)院，沈陽，1108702．遼寧省振動噪聲控制技術(shù)工程研究中心，沈陽，110870

0 引言

葉片是風(fēng)力機(jī)的主要關(guān)鍵大部件，其主梁部分采用玻璃鋼環(huán)氧樹脂復(fù)合材料[1]，夾層部分采用PVC或巴塞木芯材，在鋪層及抽真空的過程中容易產(chǎn)生褶皺、氣泡和缺膠等典型缺陷，在裝機(jī)服役過程中容易產(chǎn)生裂紋和分層，一旦發(fā)生折損，不僅會對整機(jī)造成損壞，而且存在巨大安全隱患，所以針對風(fēng)力發(fā)電機(jī)葉片的定期外部及內(nèi)部檢查至關(guān)重要。目前，針對風(fēng)力發(fā)電機(jī)葉片的檢測手段有限，包括光學(xué)常規(guī)檢測、聲發(fā)射檢測[2]、超聲檢測[3]及紅外熱波檢測[4]?，F(xiàn)階段風(fēng)場仍以現(xiàn)場巡檢員利用光學(xué)望遠(yuǎn)鏡巡檢為主；聲發(fā)射需要采用耦合劑進(jìn)行耦合，實驗條件要求較高，難以在空中對葉片進(jìn)行安全預(yù)防檢測；超聲檢測具有極強(qiáng)的穿透能力，對金屬進(jìn)行檢測效果良好，葉片作為復(fù)合材料，表面粗糙度較高，檢測面積小，對風(fēng)場大面積葉片安全性預(yù)防檢測不適用；紅外熱波的非接觸式檢測可以實現(xiàn)對葉片的預(yù)防性檢測。

紅外檢測葉片的關(guān)鍵在于對獲得的紅外圖像進(jìn)行處理。圖像處理主要包括目標(biāo)提取和圖像增強(qiáng)[5-6]。本文主要針對紅外圖像的增強(qiáng)開展研究。圖像增強(qiáng)主要包括直方圖均衡化、頻域濾波和形態(tài)學(xué)濾波等。ZUIDERVELD[7]提出對比度受限直方圖均衡化，SIMI等[8]對模糊理論直方圖均衡化作了進(jìn)一步研究，BHANDARI等[9]提出基于加權(quán)直方圖的Salp Swarm算法進(jìn)行圖像增強(qiáng)。文獻(xiàn)[10-13]對肺部胸片進(jìn)行形態(tài)學(xué)頂帽變換得到增強(qiáng)圖像，MUKHOPADHYAY等[14]對多尺度形態(tài)學(xué)作了圖像局部增強(qiáng)研究。吳朔媚等[15]利用遞歸的多尺度多方向結(jié)構(gòu)元素進(jìn)行了形態(tài)學(xué)濾波研究，安靜等[16]通過多尺度頂帽變換對彩色圖像進(jìn)行增強(qiáng),李昌興等[17]將多尺度頂帽運(yùn)算與核磁共振成像(MRI)相融合，實現(xiàn)圖像增強(qiáng)。上述方法存在各自優(yōu)點：①直方圖均衡化可以有效地提高圖像的對比度，使人眼可以更好地識別不敏感信息；②頻域濾波可以去除圖像的噪聲，對圖像起到平滑的作用；③形態(tài)學(xué)濾波有多種濾波算子可以去除噪聲和增強(qiáng)圖像的細(xì)節(jié)。在實際的風(fēng)力機(jī)葉片紅外熱波檢測過程中，發(fā)現(xiàn)上述方法存在局部過亮或過暗、細(xì)節(jié)增強(qiáng)不顯著及出現(xiàn)部分白斑的現(xiàn)象。

本文提出一種基于改進(jìn)的差異多尺度結(jié)構(gòu)元素的形態(tài)學(xué)頂帽運(yùn)算方法，該方法通過改變結(jié)構(gòu)元素在運(yùn)算中的腐蝕和膨脹的差異尺度，將局部增強(qiáng)對比度改善系數(shù)比(contrast improvement ratio，CIR)的最大值作為目標(biāo)函數(shù)，選出最優(yōu)尺度及最優(yōu)差異尺度，實現(xiàn)白頂帽和黑頂帽最大值的選取，通過白頂帽與黑頂帽的差值運(yùn)算得到圖像的增強(qiáng)細(xì)節(jié)信息，與原圖像進(jìn)行融合得到處理后的圖像，最后對融合圖像進(jìn)行灰度值修整，得到人眼最佳視覺圖像。實驗表明該方法不僅提高了圖像的魯棒性，而且實現(xiàn)了細(xì)節(jié)局部增強(qiáng)。

1 基本理論

1.1 數(shù)學(xué)形態(tài)學(xué)

數(shù)學(xué)形態(tài)學(xué)以集合理論為基礎(chǔ)，包括膨脹和腐蝕兩個基本算子。膨脹選擇結(jié)構(gòu)元素附近的最大值(最亮)，腐蝕是膨脹的對偶運(yùn)算，即選擇最小值(最暗)。開閉運(yùn)算、頂帽運(yùn)算皆由兩個基本算子派生而來[18]。設(shè)灰度圖像為f，結(jié)構(gòu)元素為S，則定義如下基本形態(tài)學(xué)算子：

膨脹算子

(1)

腐蝕算子

(2)

開運(yùn)算

(f°S)=(fΘS)⊕S

(3)

閉運(yùn)算

(f?S)=(f⊕S)ΘS

(4)

式中，“Θ”、“⊕”、“° ”、“?”分別為膨脹、腐蝕、開和閉運(yùn)算符。

由上述四種基本算子構(gòu)造出其他的形態(tài)學(xué)算子：

形態(tài)梯度算子

MG(x,y)=(f⊕S)-(fΘS)

(5)

白頂帽算子

fth=f-(f°S)

(6)

黑頂帽算子

fbh=(f?S)-f

(7)

對于灰度圖像，膨脹算子是取原圖像和結(jié)構(gòu)元素之和所包含的那一部分小鄰域內(nèi)的灰度最大值，故膨脹之后的圖像更亮，原圖像中較暗的細(xì)節(jié)會變小或消失(取決于結(jié)構(gòu)元素的大小)；相反，腐蝕算子使圖像更暗，亮的細(xì)節(jié)會被抑制或消失。開運(yùn)算可以消除小對象物體，平滑較大物體的邊界同時不減小其物體面積，閉運(yùn)算可以平滑物體輪廓并填補(bǔ)較窄的間斷。目前，開運(yùn)算和閉運(yùn)算均選取相同結(jié)構(gòu)元素進(jìn)行膨脹和腐蝕操作。頂帽運(yùn)算利用原圖像與開閉運(yùn)算的差值，實現(xiàn)圖像的細(xì)節(jié)信息增強(qiáng)。為更好地提取圖像的細(xì)節(jié)信息，一般選擇多方向多尺度的結(jié)構(gòu)元素進(jìn)行操作運(yùn)算，增加了較多的計算量，影響計算效率。當(dāng)開、閉運(yùn)算選取的結(jié)構(gòu)元素較大時，頂帽運(yùn)算得到的圖像會出現(xiàn)局部光斑現(xiàn)象，從而影響圖像的增強(qiáng)效果。

1.2 自適應(yīng)差異多尺度頂帽增強(qiáng)算子

基于上述存在的問題，為克服結(jié)構(gòu)元素對圖像的單向特征提取的適用性，筆者選擇圓形結(jié)構(gòu)元素作為操作對象，以減小計算量(無需考慮方向性)，同時避免因形態(tài)學(xué)處理而產(chǎn)生的偽影現(xiàn)象。本文選取對比度改善系數(shù)比(CIR)的最大值作為選擇最優(yōu)尺度的目標(biāo)，對結(jié)構(gòu)元素進(jìn)行差異尺度運(yùn)算，差異尺度k即CIR最大值所對應(yīng)的最優(yōu)差異尺度，最適宜尺度的結(jié)構(gòu)元素可達(dá)到圖像細(xì)節(jié)增強(qiáng)的最好效果。在每一尺度下，選出該尺度下最優(yōu)k值，進(jìn)行j尺度循環(huán)。多尺度結(jié)構(gòu)元素Si、Si+k表示如下：

(8)

根據(jù)式(3)、式(4)、式(6)、式(7)進(jìn)行擴(kuò)展分別得到：

fthi(i+k)=f-(fΘSi)⊕Si+k

(9)

fbh(i+k)i=(f⊕Si+k)ΘSi-f

(10)

CIR用于衡量對比度增強(qiáng)對圖像質(zhì)量的影響程度，CIR定義為缺陷區(qū)域R內(nèi)增強(qiáng)圖像與未增強(qiáng)圖像對比度的比值，即

(11)

局部對比度值為

C(x,y)=|p-a|/(p+a)

(12)

式中，p、a分別為中心區(qū)域(RC)和鄰區(qū)(RN)內(nèi)的平均對比度。

循環(huán)迭代得到maxRCIR值，即所對應(yīng)的最優(yōu)尺度i和差異尺度k。設(shè)κ為增強(qiáng)后的圖像，計算公式如下：

(13)

式中，n為圖像中像素的總和。

為提升整體的視覺感知效果，對增強(qiáng)后的圖像κ進(jìn)行灰度修正。在灰度圖像中，大多數(shù)灰度分布在比較集中的小區(qū)域內(nèi)。直方圖線性拉伸是通過增大對比度來實現(xiàn)前景和背景的區(qū)分，直方圖非線性拉伸即直方圖均衡化是將灰度比較集中的區(qū)域均勻分布到整個灰度范圍內(nèi)，對直方圖進(jìn)行歸一化處理，灰度范圍由0～255變?yōu)?～1，得到的直方圖即為概率密度函數(shù)，而提高對比度需要滿足變換函數(shù)單調(diào)遞增的要求，故選擇累積分布函數(shù)，得到最終增強(qiáng)圖像κ′。

設(shè)共有L個灰度級，nk為當(dāng)前灰度級的像素個數(shù)，則第h個灰度級出現(xiàn)的概率可表示為

(14)

均衡化后各像素的灰度值可直接由原來圖像的直方圖計算得出。均衡化前后的結(jié)果對比如圖1、圖2所示。從兩圖對比結(jié)果可知，均衡化處理使灰度分布更為均勻，可顯著增強(qiáng)視覺效果。

圖1 原始圖像Fig.1 Original image

圖2 均衡化圖像Fig.2 Equalization image

1.3 ADMM的算法流程圖

原始圖像表示為f，對原圖像分別進(jìn)行白頂帽變換和黑頂帽變換。ADMM算法的步驟如下：

(1)選擇尺度為i的結(jié)構(gòu)元素對原圖像進(jìn)行腐蝕，再選擇尺度為i+k的結(jié)構(gòu)元素進(jìn)行膨脹得到圖像foik，原圖像與foik作差值運(yùn)算得到f-foik，進(jìn)行I×K次循環(huán)，選出f-foik中的最大值即CIR最大值。

(2)對原圖像進(jìn)行黑頂帽變換得到圖像fcik，選出fcik-f最大值。

(3)原圖像與白頂帽變換最大值之和減去黑頂帽變換最大值即為增強(qiáng)圖像κ。

(4)對圖像κ進(jìn)行灰度值修正得到κ′。

具體流程如圖3所示。圖中，Erode(i)函數(shù)表示對特定結(jié)構(gòu)元素進(jìn)行腐蝕運(yùn)算，Dilate(i+k)函數(shù)表示對特定結(jié)構(gòu)元素進(jìn)行膨脹運(yùn)算。

2 仿真分析

為了驗證所提出方法的魯棒性及圖像增強(qiáng)效果，選用兩幅公共圖庫像素深度為8位的灰度圖片Lena和Cameraman，像素分別為512 pixel×512 pixel，256 pixel×256 pixel作為研究對象。選擇直方圖均衡化、對比度受限直方圖均衡化、自適應(yīng)多尺度同態(tài)濾波[19]和本文提出的差異尺度增強(qiáng)方法作對比仿真分析。四種處理方法的結(jié)果如圖4、圖5所示。

圖4b灰度值拉伸過度導(dǎo)致整體視覺效果失真嚴(yán)重；圖4c克服了圖4b產(chǎn)生的失真問題，提升了視覺效果，但在細(xì)節(jié)部分未能達(dá)到很好的增強(qiáng)效果，如圖4中圓形區(qū)域所示；圖4d細(xì)節(jié)增強(qiáng)較好，但是在面部出現(xiàn)了部分白斑現(xiàn)象。本文方法(圖4e)增強(qiáng)了圖像的局部細(xì)節(jié)紋理信息，并具有良好的穩(wěn)定性。

圖3 ADMM方法流程圖Fig.3 Flow chart of ADMM method

(a)原圖 (b)直方圖均衡化 (c)對比度受限直方圖 (d)自適應(yīng)多尺度 (e)本文方法 均衡化 同態(tài)濾波圖4 Lena圖片仿真實驗對比結(jié)果 Fig.4 Comparison results of Lena image simulation experiment

(a)原圖 (b)直方圖均衡化 (c)對比度受限直方圖 (d)自適應(yīng)多尺度 (e)本文方法 均衡化 同態(tài)濾波圖5 Cameraman圖片仿真實驗對比結(jié)果 Fig.5 Comparison results of Cameraman image simulation experiment

圖5b圖像失真嚴(yán)重，背景光照不均現(xiàn)象明顯；圖5c也存在背景光照不均現(xiàn)象，面部出現(xiàn)過黑現(xiàn)象；圖5d濾除了背景光照不均，但面部和條形區(qū)域出現(xiàn)了過亮現(xiàn)象；圖5e具有良好的穩(wěn)定性并有效地抑制了背景光照不均現(xiàn)象。

3 實驗

3.1 實驗裝置

紅外檢測實驗采用兩套檢測裝置，室內(nèi)裝置用于檢測模擬預(yù)制葉片樣件,室外裝置用于檢測內(nèi)蒙古寶利格風(fēng)電場實際葉片。實驗裝置包括NECR300W2非制冷型紅外熱像儀、鹵素?zé)?、?shù)據(jù)采集裝置、 PC筆記本(CPU i5 9700，8 G運(yùn)行內(nèi)存)、電控升降試驗臺，圖像處理軟件采用Gideon infrared軟件2.0。實驗裝置如圖7、圖8所示，其中，室外檢測裝置與吊籃搭載。

圖7 室內(nèi)實驗裝置Fig.7 Laboratory experimental equipment

圖8 室外實驗裝置Fig.8 Outdoor experimental equipment

3.2 結(jié)果討論

選擇多組數(shù)據(jù)中的兩組實測紅外圖像驗證本文方法的有效性(仍然采用前述3種方法作對比分析)，圖像分辨率為320 pixel×240 pixel。室內(nèi)測試預(yù)制樣件的缺陷為氣泡，仿照風(fēng)力發(fā)電機(jī)葉片主梁進(jìn)行預(yù)制樣件。鋪層方式為0°和90°交替鋪層，氣泡缺陷預(yù)埋在第四層，每層深度為0.9 mm，涂層厚度為1.5 mm，缺陷位置總深度為4.7 mm，燈光加熱至21 s時采集到的圖像質(zhì)量最優(yōu)，如圖9所示。室外實驗選擇風(fēng)電場堆場HT37型號葉片，總長30 m，最大弦長3 m,對主梁部分進(jìn)行紅外全檢測，選擇其中含有缺陷的紅外圖像作為研究對象，如圖10所示。

圖9中的室內(nèi)氣泡實驗圖像，局部對比度改善系數(shù)比最大值(0.1024)對應(yīng)選擇的結(jié)構(gòu)元素半徑為41。 圖9b局部出現(xiàn)虛化現(xiàn)象，失真嚴(yán)重；圖9c背景光照不均，在缺陷附近顯得尤為突出，干擾判斷；圖9d消除了背景光照不均現(xiàn)象并增強(qiáng)了缺陷位置的細(xì)節(jié)信息，但穩(wěn)定性較差，邊界位置易出現(xiàn)白斑，造成誤判；圖9e抑制了背景光照不均現(xiàn)象，增強(qiáng)了缺陷位置的細(xì)節(jié)成分，圖像的整體穩(wěn)定性良好。

(a)室內(nèi)缺陷原圖 (b)直方圖均衡化 (c)對比度受限直方圖 (d)自適應(yīng)多尺度 (e)本文方法 均衡化 同態(tài)濾波圖9 氣泡實驗對比結(jié)果Fig.9 Comparison results of bubble experiment

(a)室內(nèi)缺陷原圖 (b)直方圖均衡化 (c)對比度受限直方圖 (d)自適應(yīng)多尺度 (e)本文方法 均衡化 同態(tài)濾波圖10 裂紋實驗對比結(jié)果Fig.10 Comparison results of crack experiment

圖10中的室外裂紋實驗圖像，局部對比度改善系數(shù)比最大值(0.162)對應(yīng)選擇的結(jié)構(gòu)元素半徑為93。圖10b局部虛化，整體失真嚴(yán)重，難以識別缺陷位置與正常位置；圖10c在中間水平位置出現(xiàn)模糊帶現(xiàn)象，局部失真；圖10d圖像細(xì)節(jié)信息有所增強(qiáng)，但穩(wěn)定性不好，出現(xiàn)幾處白斑現(xiàn)象；圖10e細(xì)節(jié)增強(qiáng)的同時較好地抑制了背景光照不均現(xiàn)象，保持了圖像良好的穩(wěn)定性。

上述結(jié)果為圖像的定性分析，為進(jìn)一步證明該方法的優(yōu)越性，選擇氣泡和裂紋的實驗圖像為研究對象。采取均方誤差(MSE)估計的方法，用MSE描述圖像處理前后的保真度(相似度)[20]。但MSE嚴(yán)重依賴于圖像強(qiáng)度的縮放，為了避免這一問題，選擇信噪比(PSNR)作為定量評價指標(biāo)[21]。MSE、PSNR定義如下：

(15)

(16)

式中，I為原圖像；Ie為處理后圖像；m×n為圖像大小。

由上述公式可計算出四種方法的信噪比，四種方法的信噪比如表1所示。

表1 幾種方法的信噪比Tab.1 PSNR of several methods

信噪比作為通用評價指標(biāo)，其值越大，說明有用信息越多，產(chǎn)生的噪聲越小，證明該算法的增強(qiáng)效果越明顯。由表1可知，本文方法的信噪比最大，遠(yuǎn)高于直方圖均衡化方法自適應(yīng)多尺度和對比度受限直方圖均衡化方法的信噪比，其氣泡和裂紋缺陷的檢測結(jié)果信噪比同比分別高出自適應(yīng)多尺度同態(tài)濾波的信噪比7.2%和9.4%。

4 結(jié)論

針對風(fēng)力發(fā)電機(jī)葉片紅外檢測中存在的光照不均、細(xì)節(jié)模糊等問題進(jìn)行研究，提出了一種自適應(yīng)差異多尺度形態(tài)學(xué)圖像增強(qiáng)方法，該方法對膨脹和腐蝕操作中的結(jié)構(gòu)元素采取差異多尺度的方式，通過對比度改善系數(shù)比選出多尺度黑頂帽和白頂帽雙循環(huán)下的最優(yōu)尺度。該方法有效地解決了圖像背景光照不均下的圖像細(xì)節(jié)增強(qiáng)問題，經(jīng)驗證該方法具有極強(qiáng)的魯棒性。

該方法現(xiàn)已集成到Gideon infrared軟件2.0中，通過室內(nèi)及室外風(fēng)場紅外檢測實驗均取得了良好效果。與另外三種方法的對比研究結(jié)果表明，本文方法效果最優(yōu)，其信噪比比次優(yōu)方法(自適應(yīng)多尺度同態(tài)濾波方法)同比高出7.2%(氣泡缺陷)、9.4%(裂紋缺陷)，從而驗證了本文方法的有效性。