基于圖像差分及鄰域特性的航空磁環(huán)缺陷檢測(cè)

陳琳琳，鄧華軍，張殿喜，陳召松，杜傳紅

（安順學(xué)院，貴州 安順 561000）

航空設(shè)備結(jié)構(gòu)非常復(fù)雜，涉及到的零器件眾多，零器件的質(zhì)量是保障安全飛行的前提。因零器件失效導(dǎo)致的安全事故是航空失事的主要因素之一，為了保證航空設(shè)備的正常運(yùn)行及飛行員的安全，設(shè)計(jì)生產(chǎn)環(huán)境對(duì)航空零器件進(jìn)行質(zhì)量監(jiān)控是必不可少的，而缺陷檢測(cè)是其重要的手段。綜上所述，如何在航空零器件生產(chǎn)線的終端環(huán)境實(shí)現(xiàn)高精度的檢測(cè)是航空制造業(yè)中極其重要的環(huán)節(jié)，也是保證飛行安全的前提條件。

隨著自動(dòng)圖像處理技術(shù)的不斷發(fā)展，基于計(jì)算機(jī)視覺(jué)的表面缺陷檢測(cè)已經(jīng)成為航空磁性零件品質(zhì)控制及過(guò)程監(jiān)控環(huán)節(jié)的主流技術(shù)手段。該方法可以克服人工檢測(cè)的諸多缺點(diǎn)，包括準(zhǔn)確性低、實(shí)時(shí)性能差、主觀性強(qiáng)和勞動(dòng)強(qiáng)度過(guò)高。李鑫等[1]針對(duì)目前航空發(fā)動(dòng)機(jī)表面缺陷檢測(cè)效果差的問(wèn)題，提出了一種基于改進(jìn)的YOLOv5 的檢測(cè)方法，相較于原始的YOLOv5 網(wǎng)絡(luò)，該方法在檢測(cè)效率不變的情況下將平均檢測(cè)精度提升了1.2%。唐嘉鴻等[2]采用深度學(xué)習(xí)方法，基于改進(jìn)的Faster R-CNN 網(wǎng)絡(luò)研究航空發(fā)動(dòng)機(jī)制件的表面缺陷檢測(cè)，該方法檢測(cè)速度快的同時(shí)還具有較高的檢測(cè)精度。Huang 等[3]研究了磁磚的表面缺陷檢測(cè)，提出了一種實(shí)時(shí)的多模塊神經(jīng)網(wǎng)絡(luò)模型MCuePush UNet，實(shí)驗(yàn)表明該模型能夠顯著降低算法時(shí)間成本，并提高了表面缺陷檢測(cè)的顯著性精度。Qiu 等[4]提出了一種基于深度學(xué)習(xí)的逐像素點(diǎn)的表面缺陷分割算法，該方法在DAGM 2007 數(shù)據(jù)集上取得了較好的表現(xiàn)。Li 等[5]基于改進(jìn)的YOLOv4 對(duì)鋼帶的表面缺陷進(jìn)行了檢測(cè)研究，將注意力機(jī)制嵌入到核心網(wǎng)絡(luò)結(jié)構(gòu)中，將路徑聚合網(wǎng)絡(luò)修改為定制化的感受野圖像塊結(jié)構(gòu)，增強(qiáng)了網(wǎng)絡(luò)模型的特征提取功能。相較于原本的YOLOv4 算法，該方法的平均精度有了明顯提高。

國(guó)內(nèi)外的研究者們基于計(jì)算機(jī)視覺(jué)對(duì)飛機(jī)發(fā)動(dòng)機(jī)、金屬、鋼帶和絲織物等的表面缺陷檢測(cè)進(jìn)行了探索，并在理論研究及實(shí)際工業(yè)生產(chǎn)中都取得了很多成果。但目前國(guó)內(nèi)對(duì)于航空磁性材料的研究并不多，且目前的相關(guān)研究仍然存在一些問(wèn)題和難點(diǎn)：①受環(huán)境光照、成像噪聲等的影響，原始圖像的信噪比較低，如何構(gòu)建魯棒性強(qiáng)、不易受外界干擾的穩(wěn)健算法仍然是一個(gè)難題；②由于缺陷檢測(cè)對(duì)象多樣，表面缺陷種類復(fù)雜，缺陷特征的提取難以精準(zhǔn)表征缺陷特性，從而導(dǎo)致缺陷目標(biāo)分割困難；③航空領(lǐng)域?qū)α闫骷钠房匾髽O其嚴(yán)苛，如何自動(dòng)化地實(shí)現(xiàn)磁性零件的高精度檢測(cè)是急需解決的問(wèn)題，但目前航空磁性零件的自動(dòng)化缺陷檢測(cè)仍然處于起步階段，技術(shù)發(fā)展并不成熟?；诖耍疚耐ㄟ^(guò)計(jì)算機(jī)視覺(jué)方法對(duì)航空磁環(huán)的表面缺陷檢測(cè)問(wèn)題進(jìn)行研究，利用BM3D[6]（Block-matching and 3D filtering，3 維塊匹配濾波）進(jìn)行噪聲去除，然后基于灰度閾值及梯度閾值進(jìn)行邊緣檢測(cè)。進(jìn)一步地，基于圖像差分提取邊緣及缺陷區(qū)域，最后通過(guò)鄰域均值特性檢測(cè)出缺陷區(qū)域。該方法對(duì)于外環(huán)、內(nèi)環(huán)及表層的磁環(huán)圖像均有較好的檢測(cè)效果。

1 基于圖像差分及鄰域特性的表面缺陷檢測(cè)

考慮到航空磁環(huán)結(jié)構(gòu)相對(duì)復(fù)雜、表面缺陷通常較為細(xì)小、圖像對(duì)比度差且原始圖像尺寸大等特點(diǎn)，本文提出了一種基于圖像差分及鄰域特性的缺陷檢測(cè)方法，實(shí)現(xiàn)對(duì)內(nèi)外環(huán)及表層磁環(huán)圖像的自動(dòng)缺陷檢測(cè)。該方法分為預(yù)處理及檢測(cè)2 個(gè)部分，其中預(yù)處理部分，通過(guò)適當(dāng)?shù)叵虏蓸涌s小圖像尺寸，并通過(guò)BM3D 算法進(jìn)行噪聲去除，提高圖像信噪比，減少噪聲干擾。在檢測(cè)階段，聯(lián)合灰度及梯度進(jìn)行閾值分割，提取出邊緣及缺陷區(qū)域。對(duì)閾值分割圖與預(yù)處理結(jié)果圖進(jìn)行差分運(yùn)算，提取出邊緣及缺陷特征，得到差分圖像?；卩徲蚓档牟町愋?，逐像素點(diǎn)地從差分圖中提取缺陷點(diǎn)，最后基于缺陷點(diǎn)的集中性進(jìn)行缺陷塊判定并輸出缺陷檢測(cè)結(jié)果。

1.1 預(yù)處理

通過(guò)超高清工業(yè)相機(jī)拍攝的磁環(huán)圖像數(shù)據(jù)分辨率高且尺寸大。為了能夠滿足實(shí)時(shí)性要求，在預(yù)處理階段首先去除感興趣區(qū)域外圍的白色背景部分，提取感興趣區(qū)域，并采用適度地下采樣操作來(lái)縮小圖像尺寸，以便提升后續(xù)算法的處理速度。

工業(yè)成像環(huán)境較為復(fù)雜，受環(huán)境光照、成像噪聲等因素影響，磁環(huán)圖像易受到噪聲干擾。為了避免噪聲分布干擾后續(xù)差分圖像對(duì)表面缺陷的表達(dá)，在預(yù)處理階段還需進(jìn)行去噪操作。本文采用BM3D 算法進(jìn)行噪聲去除，BM3D 是目前效果最好的去噪算法之一，其在充分抑制噪聲的同時(shí)又能夠保留圖像的邊緣及細(xì)節(jié)。BM3D 算法由Dabov 等于2007 年提出，該算法基于變換域進(jìn)行增強(qiáng)稀疏表示，分為初始估計(jì)和最終估計(jì)2 個(gè)階段，初始估計(jì)階段搜索相似圖像塊，進(jìn)行3D 塊匹配及3D 變換，然后進(jìn)行協(xié)同硬閾值濾波，最后通過(guò)聚合得到初始估計(jì)結(jié)果。最終估計(jì)階段，基于初始估計(jì)階段的相似塊位置信息構(gòu)造原始噪聲圖像的3D 相似塊組并進(jìn)行3D 變換，然后對(duì)其進(jìn)行協(xié)同維納濾波，協(xié)同維納濾波的能量譜采用初始估計(jì)的能量譜，最后通過(guò)加權(quán)平均聚合經(jīng)3D 逆變換后的估計(jì)塊，得到最終的去噪結(jié)果。

1.2 聯(lián)合閾值分割

灰度及梯度閾值分割實(shí)現(xiàn)簡(jiǎn)單且計(jì)算量小，是常用的分割方法。航空磁環(huán)的邊緣與缺陷區(qū)域呈現(xiàn)為暗區(qū)，像素值較小且梯度較大，具有相似的灰度及梯度分布情況，因此聯(lián)合灰度及梯度閾值可以快速分割出磁環(huán)邊緣及缺陷區(qū)域。輸入圖像f（x，y）是離散二維函數(shù)，其像素點(diǎn)（x，y）在X 方向及Y 方向上的梯度為

式中：gx和gy分別表示X 方向和Y 方向的梯度。聯(lián)合灰度及梯度閾值進(jìn)行圖像分割的變換函數(shù)為

式中：T 為設(shè)定的灰度閾值，G 為設(shè)定的梯度閾值。經(jīng)閾值分割后，只有圖像邊緣及缺陷區(qū)域被保留了下來(lái)，其余區(qū)域的像素值均為255。若要提取缺陷區(qū)域，只需將邊緣與缺陷區(qū)域進(jìn)行有效區(qū)分即可。

1.3 圖像差分運(yùn)算

差分運(yùn)算能夠削弱圖像間的相似部分，突出顯示差異部分。本文將經(jīng)BM3D 去噪后的圖像與閾值分割后的圖像進(jìn)行差分運(yùn)算，去噪圖與閾值分割圖中的相似部分，即邊緣與缺陷區(qū)域經(jīng)差分運(yùn)算后灰度值變?yōu)?，其他部分的灰度值不為0。內(nèi)外環(huán)圖像與表層圖像的結(jié)構(gòu)差異較大，且因環(huán)境光照不均勻造成對(duì)比度過(guò)大，為了避免因?qū)Ρ榷冗^(guò)大而無(wú)法利用鄰域的均值特性，內(nèi)外環(huán)圖像在差分運(yùn)算的同時(shí)將不為0 的所有像素值固定為一個(gè)常量。表層圖像按照公式（3）進(jìn)行差分運(yùn)算，內(nèi)外環(huán)按照公式（4）進(jìn)行差分運(yùn)算。

式中：d（x，y）為差分圖，e（x，y）為閾值分割結(jié)果，n（x，y）為經(jīng)BM3D 去噪后的圖像，const 為設(shè)定的常量，該值可設(shè)定在[50，100]之間。

1.4 基于鄰域特性的缺陷區(qū)域檢測(cè)

像素的鄰域性是指當(dāng)前像素與周邊像素的鄰接關(guān)系，反映了像素的空間分布關(guān)系。分析差分圖可知，缺陷點(diǎn)鄰域的灰度平均值與邊緣區(qū)域的灰度平均值存在較大差異，根據(jù)鄰域均值的差異性即可區(qū)分邊緣像素點(diǎn)與缺陷點(diǎn)。設(shè)像素點(diǎn)P（x，y）的m×m 鄰域?yàn)镹m（P），計(jì)算該鄰域內(nèi)所有像素的平均值

式中：sum（Nm（P））表示對(duì)像素點(diǎn)P（x，y）的m×m 鄰域中所有的像素值求和。對(duì)于表層圖像，設(shè)定閾值A(chǔ)veT1，若AveP＜AveT1，則將像素點(diǎn)P（x，y）判定為缺陷點(diǎn)。對(duì)于內(nèi)外環(huán)圖像，設(shè)定閾值A(chǔ)veT2，若AveP＞AveT2，則將像素點(diǎn)P（x，y）判定為缺陷點(diǎn)。逐點(diǎn)掃描差分圖，即可提取并標(biāo)定所有缺陷點(diǎn)。最后，根據(jù)缺陷點(diǎn)的集中性原則，即可根據(jù)缺陷點(diǎn)的集中性，檢測(cè)并標(biāo)定完整的缺陷區(qū)域。圖1 的磁環(huán)局部圖展示了用星號(hào)（灰色區(qū)塊）標(biāo)示的缺陷點(diǎn)。

圖1 磁環(huán)局部圖

2 實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)仿真的軟件環(huán)境為MATLAB R2017a，所采用的磁環(huán)數(shù)據(jù)集來(lái)自于合作企業(yè)，將工業(yè)相機(jī)安裝在工控機(jī)上，從不同角度對(duì)磁環(huán)圖像進(jìn)行拍攝，可獲取外環(huán)、內(nèi)環(huán)及表層圖像，如圖2 所示。內(nèi)外環(huán)圖像均有1 000 張，表層圖像50 張，圖像尺寸均為2 452×2 056。

圖2 磁環(huán)圖像類型

本文通過(guò)準(zhǔn)確率accuracy、精確率precision，以及召回率recall 這3 個(gè)指標(biāo)對(duì)磁環(huán)表面缺陷檢測(cè)方法進(jìn)行指標(biāo)評(píng)估。

式中：TP 表示實(shí)際有缺陷且被檢測(cè)為缺陷圖像的樣本數(shù)，F(xiàn)N 表示實(shí)際有缺陷但未被檢測(cè)為缺陷圖像的樣本數(shù)，F(xiàn)P 表示實(shí)際無(wú)缺陷但被檢測(cè)為缺陷圖像的樣本數(shù)，TN 表示為實(shí)際無(wú)缺陷且被檢測(cè)為無(wú)缺陷圖像的樣本數(shù)。外環(huán)、內(nèi)環(huán)及表層圖像的準(zhǔn)確率、精確率，以及召回率見(jiàn)表1。

表1 本文算法的性能指標(biāo) %

由表1 給出的性能指標(biāo)可以看出，本文基于圖像差分及鄰域特性的磁環(huán)缺陷檢測(cè)算法對(duì)外環(huán)、內(nèi)環(huán)及表層圖像均取得了較好的檢測(cè)效果，說(shuō)明了該方法檢測(cè)精度較高的同時(shí)還具有較強(qiáng)的魯棒性。由精確率可以看出該方法的誤檢率非常小，當(dāng)然召回率也反應(yīng)了本文的檢測(cè)方法對(duì)于內(nèi)外環(huán)及表層圖像存在少量漏檢情況，部分漏檢樣本的缺陷局部圖如圖3 所示。觀察可以發(fā)現(xiàn)，絕大部分漏檢的缺陷為黏連了極細(xì)微白色異物的區(qū)域。黏連了極細(xì)微白色異物的區(qū)域雖然被定義為缺陷區(qū)域，但其對(duì)磁環(huán)整體性能的影響較小，此類缺陷的漏檢在大部分實(shí)際工業(yè)應(yīng)用中是能夠被允許的。

圖3 部分漏檢樣本的缺陷局部圖

3 結(jié)論

針對(duì)航空磁環(huán)的內(nèi)外環(huán)及表層圖像，本文提出了一種基于圖像差分及鄰域特征的表面缺陷檢測(cè)方法。該方法通過(guò)BM3D 進(jìn)行圖像去噪，聯(lián)合灰度及梯度進(jìn)行閾值分割，對(duì)去噪圖像及閾值分割圖像進(jìn)行差分運(yùn)算，提取圖像邊緣及缺陷區(qū)域。基于邊緣像素與缺陷像素的鄰域差異性，檢測(cè)并標(biāo)定缺陷像素點(diǎn)。最后根據(jù)缺陷點(diǎn)的集中性原則，即可檢測(cè)出缺陷區(qū)域。大量樣本數(shù)據(jù)的實(shí)驗(yàn)仿真結(jié)果說(shuō)明了該方法在航空磁環(huán)表面缺陷檢測(cè)中的魯棒性及有效性。當(dāng)然，該方法對(duì)內(nèi)外環(huán)及表層圖像的極細(xì)微缺陷均存在漏檢情況，后續(xù)工作將進(jìn)一步研究極細(xì)微缺陷的檢測(cè)問(wèn)題。