基于最小生成樹和圖像矩的陶瓷過濾器表面缺陷檢測

周 靜， 劉 旭， 董子昊， 李金屏

(濟(jì)南大學(xué) a. 信息科學(xué)與工程學(xué)院， b. 山東省網(wǎng)絡(luò)環(huán)境智能計算技術(shù)重點實驗室，c. 山東省“十三五”高校信息處理與認(rèn)知計算重點實驗室， 山東 濟(jì)南 250022)

隨著我國經(jīng)濟(jì)快速發(fā)展，工業(yè)化水平日益提高，如何提高生產(chǎn)效率是當(dāng)前制造業(yè)面臨的重要課題。泡沫陶瓷過濾器具有高溫過濾功能，能夠過濾熔融液態(tài)金屬，有效濾除熔渣及其他非金屬夾雜物，凈化金屬熔體，在金屬鑄造領(lǐng)域得到廣泛應(yīng)用[1]。

陶瓷過濾器生產(chǎn)加工過程中難免產(chǎn)生堵孔、裂縫缺陷，這些缺陷將導(dǎo)致熔體過濾不充分，純凈度不達(dá)標(biāo)。目前，陶瓷過濾器檢測完全采用人工目檢的方式；但是人眼視覺疲勞會導(dǎo)致誤檢率增大，因此進(jìn)行基于機(jī)器視覺的陶瓷過濾器自動化缺陷檢測研究，即利用攝像頭獲取圖像，輸入到計算機(jī)中進(jìn)行檢測，可以減小人力成本，降低誤檢率。

目前，機(jī)器視覺技術(shù)已廣泛應(yīng)用于工業(yè)檢測、 包裝印刷、 食品工業(yè)等諸多領(lǐng)域， 其中， 在工業(yè)檢測中的應(yīng)用尤為廣泛[2]， 例如鋼板表面缺陷檢測[3-5]、 木材表面缺陷檢測[6-7]、 陶瓷瓦表面裂紋檢測[8]等。

目前， 基于機(jī)器視覺的陶瓷過濾器缺陷檢測相關(guān)研究很少。 文獻(xiàn)[9]中的基于傳統(tǒng)的圖像處理算法提出了關(guān)于陶瓷過濾器缺邊、 掉角、 凹坑和裂縫缺陷的檢測方法。 該算法對于裂縫、 凹坑缺陷的檢測的基本步驟是先對圖像進(jìn)行填充、 取差集、 閉運算等處理， 然后使用最小覆蓋圓算法實現(xiàn)缺陷長度的計算， 但不同種類的缺陷應(yīng)分析和提取各自的特征。

為了解決人工檢測陶瓷過濾器堵孔、裂縫缺陷效率低且誤檢率高的問題，本文中提出一種基于最小生成樹和圖像矩的陶瓷過濾器表面缺陷檢測算法(簡稱本文算法)，首先對圖像進(jìn)行預(yù)處理，并利用大津法分割圖像，然后基于邊界跟蹤算法檢測最大輪廓提取出感興趣區(qū)域，最后通過分析感興趣區(qū)域來檢測堵孔和裂縫缺陷。

通過對大量堵孔缺陷圖像進(jìn)行觀察可知， 這種缺陷基本在某一個局部區(qū)域內(nèi)出現(xiàn)， 且孔洞空間分布不均勻， 因此可基于滑動窗口遍歷圖像， 并結(jié)合最小生成樹和孔洞占空比提取窗口內(nèi)的特征進(jìn)行檢測。 最小生成樹可用來描述孔洞的空間分布情況， 而占空比用來表示堵孔所帶來的孔洞面積變化。 由于陶瓷過濾器裂縫的灰度值特征和形狀特征與骨架區(qū)域?qū)Ρ让黠@， 因此可基于橢圓描述裂縫的形狀特征， 即利用圖像矩計算連通區(qū)域的等價橢圓來進(jìn)行裂縫缺陷檢測。 驗證基于圖像矩的等價橢圓相較于文獻(xiàn)[9]中最小外接圓方法是否能更準(zhǔn)確地描述裂縫的細(xì)長形狀， 從而有效提升裂縫檢測效果。

1 算法原理

合格及有缺陷的陶瓷過濾器圖像如圖1所示。 首先， 利用均值濾波和灰度化方法對利用相機(jī)采集到的陶瓷過濾器圖像進(jìn)行預(yù)處理； 其次， 利用大津(Otsu)算法[10]求出滿足最大類間方差的分割閾值， 對圖像進(jìn)行二值化； 然后， 劃分感興趣區(qū)域， 采用取差集等方法提取表面孔洞區(qū)域； 最后， 采用最小生成樹提取孔洞特征檢測堵孔缺陷， 采用圖像矩算法計算等價橢圓檢測裂縫缺陷。 算法流程及相應(yīng)示例如圖2所示。

(a)正常(b)堵孔(c)裂縫圖1 合格及有缺陷的陶瓷過濾器圖像

1.1 圖像預(yù)處理及分割

通過相機(jī)采集到的圖像難免受到噪聲干擾， 因此本文算法采用均值濾波對圖像進(jìn)行去噪。 為了減少計算量和方便后續(xù)處理， 該算法對圖像進(jìn)行灰度化操作， 將輸入的彩色圖像轉(zhuǎn)化為8位灰度圖像。

閾值分割的方法在圖像分割中應(yīng)用較為廣泛。通過觀察分析陶瓷過濾器圖像的灰度直方圖可知，陶瓷過濾器目標(biāo)區(qū)域與背景的灰度級存在明顯差異，因此，可采用大津法進(jìn)行分割。大津法是一種自適應(yīng)的閾值分割算法，在[0, 255]區(qū)間內(nèi)找到一個灰度值使得目標(biāo)和背景區(qū)域的類間方差最大，以此灰度值作為分割的最佳閾值。

陶瓷過濾器圖像處理過程如圖3所示。

圖2 基于最小生成樹和圖像矩的陶瓷過濾器 表面缺陷檢測算法流程及示例

1.2 堵孔缺陷檢測

陶瓷過濾器的表面堵孔缺陷具體表現(xiàn)為孔洞堵塞，孔隙率減小使得過濾金屬溶液速度減慢。由于堵孔多存在過濾器表面的局部區(qū)域，因此采用正方形滑動窗口的方法遍歷圖像，分析圖像的局部特征。與正常區(qū)域相比，堵孔區(qū)域孔洞面積明顯減小且孔洞分布分散，表現(xiàn)為滑動窗口區(qū)域的占空比減小和孔洞分布的稀疏性增大，如圖3(a)所示。本文中選擇用面積特征和空間分布特征來檢測堵孔缺陷，用占空比描述孔洞面積特征，用最小生成樹描述空間分布特征。設(shè)置占空比閾值和最小生成權(quán)值的閾值，從而實現(xiàn)對滑動窗口的分類和圖像中缺陷的檢測。

1.2.1 劃分感興趣區(qū)域和提取孔洞

輸入圖像經(jīng)過分割后，需檢測框定過濾網(wǎng)在圖像中的所占區(qū)域位置，利用最小外接矩形方法對目標(biāo)區(qū)域進(jìn)行標(biāo)定。由于分割后的二值圖像存在噪聲點，對目標(biāo)區(qū)域檢測產(chǎn)生影響，因此先采用邊界跟蹤法找出圖像中所有連通域的輪廓，然后從各個輪廓的面積進(jìn)行篩選，從所有連通區(qū)域的輪廓所包圍面積中選出最大的即為目標(biāo)區(qū)域，如圖3(b)所示。將該輪廓填充后的圖像與原圖取差集從而提取出孔洞，如圖3(c)、 (d)所示。

(a)二值圖像(b)目標(biāo)檢測(c)裁剪(d)孔洞提取圖3 陶瓷過濾器圖像處理過程

1.2.2 滑動窗口

在提取圖像的所有孔洞后，需要檢測出孔洞面積和分布異常的區(qū)域，在過濾網(wǎng)表面區(qū)域存在很多大小相似、分布均勻的孔洞，考慮到孔洞分布的遍布性和規(guī)律性，采用滑動窗口的方法，即針對過濾器表面的孔洞的大小選擇合適的正方形窗口，使其能夠包含有一定數(shù)量的孔洞。利用所選的滑動框，對過濾器表面從左到右、從上到下依次滑動。

1.2.3 占空比

結(jié)合堵孔導(dǎo)致孔洞面積減少這一特點，本文算法使用計算窗口內(nèi)占空比的方法。占空比為前景面積與滑動窗口區(qū)域總面積的比值。

1.2.4 圖結(jié)構(gòu)

圖論可用來描述事物及其之間的關(guān)系，利用圖來描述孔洞的空間分布，將利于對堵孔與孔洞之間關(guān)系進(jìn)行全局分析和操作。本文算法通過分析堵孔缺陷的特點，利用最小生成樹來描述堵孔目標(biāo)點的空間分布稀疏性的特征，實現(xiàn)對堵孔區(qū)域的檢測。

1.2.5 構(gòu)造圖

要分析孔洞之間的空間分布情況，需要借助于坐標(biāo)點來表達(dá)孔洞坐標(biāo)位置信息，先計算每一個連通區(qū)域輪廓， 再通過一階矩求得各個輪廓的重心。本文算法把窗口內(nèi)目標(biāo)點作為集合中的元素，組成一個目標(biāo)點集。

1.2.6 距離表示

邊的權(quán)值可通過2個孔洞之間的距離求得，孔洞之間距離可由2種方法表示：一是通過計算對孔洞區(qū)域的重心的歐氏距離；二是計算2個孔洞的最短距離。由于孔洞形狀和大小具有不規(guī)則性，因此存在重心距離很大而最短距離很小的情況。為了更好地描述孔洞分布的稀疏性， 使用孔洞之間的最短距離作為構(gòu)造圖的邊的權(quán)值?？锥粗g距離的表示如圖4所示。

|AB|為重心之間距離； |CD|為最短距離。圖4 孔洞間最短距離與重心距離示意圖

將陶瓷過濾器正常區(qū)域與堵孔區(qū)域分別進(jìn)行處理，對比情況如圖5所示。完全圖是一個簡單圖，頂點與頂點之間都有一條邊相連。邊的權(quán)值為2個孔洞之間的最短距離。對所有目標(biāo)點進(jìn)行編號，構(gòu)成頂點集合V。邊的集合E由式(1)定義，構(gòu)成完全圖G，

(1)

式中：E是完全圖G邊的集合;d(vi,vj)表示頂點vi到頂點vj之間的歐氏距離即為頂點vi與vj之間的權(quán)值。

1.2.7 最小生成樹

最小生成樹是完全圖的生成樹中權(quán)值總和最小的一棵，能夠描述點集的聚集性，如圖5(d)所示。觀察堵孔區(qū)域和正常區(qū)域可知，堵孔區(qū)域圖像中表現(xiàn)為點集分布稀疏， 而正常區(qū)域圖像的點分布較為密集，因此使用最小生成樹來描述是合理的。

圖5 陶瓷過濾器正常區(qū)域與堵孔區(qū)域構(gòu)造過程對比

考慮到窗口之間孔洞數(shù)量的差異性，孔洞數(shù)量浮動較大，不能簡單地通過數(shù)量來判斷是否存在堵孔缺陷，因此需要對求得的最小生成樹所有邊權(quán)重求和取均值，從而得到邊權(quán)重的均值，即

(2)

計算得到最小生成樹權(quán)重均值和圖像占空比D后，通過設(shè)置最小生成樹權(quán)重均值的閾值和圖像占空比閾值，可將存在堵孔缺陷的過濾網(wǎng)和正常過濾網(wǎng)的圖像進(jìn)行分類和堵孔區(qū)域的檢測。

1.3 裂縫缺陷檢測

陶瓷過濾器裂縫在圖像上呈帶狀分布， 具有一定的連續(xù)性和方向性， 且灰度值小于骨架結(jié)構(gòu)區(qū)域的， 因此利用閾值分割、 填充、 取差集等方法實現(xiàn)過濾網(wǎng)表面的灰度值較低的區(qū)域的提取， 提取到每一個孔洞后， 利用圖像二階矩算法計算區(qū)域等價橢圓的細(xì)長度和長軸， 最后根據(jù)區(qū)域的細(xì)長度和長軸特征設(shè)置分類規(guī)則完成裂縫缺陷的檢測， 檢測流程如圖6所示， 圖像處理過程如圖7所示。

圖6 陶瓷過濾器裂縫缺陷檢測流程圖

1.3.1 孔洞區(qū)域提取

首先，根據(jù)輪廓跟蹤算法找到目標(biāo)區(qū)域的輪廓，對其輪廓范圍內(nèi)區(qū)域填充，如圖7(a)、 (b)所示。其次，將填充后圖像與原二值圖像取差集，結(jié)果如圖7(c)所示。裂縫出現(xiàn)在骨架斷裂處，裂縫連接處較為細(xì)微，取差集后會存在裂縫斷連的現(xiàn)象。閉運算能夠填補(bǔ)小孔以及彌合小裂縫。為了增強(qiáng)裂縫線條信息的同時不增加額外區(qū)域，本文算法采用矩形結(jié)構(gòu)元的閉運算。最后，提取孔洞區(qū)域的圖像矩特征，求得細(xì)長度和長軸后進(jìn)行篩選。

(a)二值圖像(b)目標(biāo)區(qū)域填充(c)提取孔洞區(qū)域(d)裂縫檢測及標(biāo)注圖7 陶瓷過濾器裂縫缺陷圖像處理過程

1.3.2 圖像矩

區(qū)域的矩[11]表示把一個歸一化的灰度圖像函數(shù)表示為一個二維隨機(jī)變量的概率密度。對于一個二值圖像，(p,q)階矩定義為

(3)

式中：mp,q為(p,q)階矩；rp為圖像第r行的p次方；cq為圖像第c列的q次方；R為目標(biāo)區(qū)域。

圖像的二階矩有m11、m02、m20。二階中心矩可以用來確定目標(biāo)的主軸。目標(biāo)的主軸通常有一對，即長軸和短軸，分別代表最大、最小二階矩的方向，根據(jù)主軸的方向角θ能夠估計出感興趣區(qū)域旋轉(zhuǎn)的角度。θ的計算公式為

(4)

式中μ11、μ02、μ20為二階中心矩。

1.3.3 圖像等價橢圓

由一階、二階矩可以確定一個與目標(biāo)幾何矩等價的橢圓[12]。圖像等價橢圓是一個與該連通域的一階矩和二階矩相等的橢圓。若圖像橢圓由其長半軸r1和短半軸r2表示，則有

(5)

(6)

(7)

式中ε為細(xì)長度，是橢圓扁平程度的一種度量，可用來描述一個連通區(qū)域的細(xì)長程度。當(dāng)ε為1時，長軸與短軸相等，構(gòu)成一個圓形。細(xì)長度ε越小，橢圓扁平程度越大。

通過實驗設(shè)置細(xì)長度和長軸的閾值就能夠?qū)崿F(xiàn)對裂縫、非裂縫區(qū)域的檢測。

2 實驗與分析

2.1 實驗

本文中的實驗對象為某公司提供的陶瓷過濾器樣品采集的圖像數(shù)據(jù)。 數(shù)據(jù)集包含2種常見的陶瓷過濾器缺陷樣本圖像， 分別為堵孔缺陷圖像38幅， 裂縫缺陷圖像50幅。 實驗中所用軟件為Python3.9.0、 OpenCV4.4， 硬件設(shè)備選用存儲器為8 GB、 主頻為3.4 GHz的Intel i5-8250U處理器。

2.2 實驗結(jié)果

過濾器堵孔、裂縫缺陷的實際檢測結(jié)果如圖8、9所示，限于篇幅，每種缺陷僅展示1個樣例。

(a)原圖(b)二值化(c)提取孔洞(d)堵孔檢測圖8 陶瓷過濾器堵孔缺陷檢測結(jié)果

(a)原圖(b)二值化(c)提取孔洞(d)裂縫檢測圖9 陶瓷過濾器裂縫缺陷檢測結(jié)果

2.3 分類閾值選擇

提取到圖像的特征后，需要設(shè)定分類閾值對圖像進(jìn)行決策分類，并盡可能使得準(zhǔn)確率高并且誤檢率低。在陶瓷過濾網(wǎng)的樣本數(shù)量較多的情況下，認(rèn)為其特征值近似符合正態(tài)分布。采用3σ(σ為標(biāo)準(zhǔn)差)準(zhǔn)則檢驗特征值中的異常值，找出存在缺陷的陶瓷過濾網(wǎng)。選取1 500個正?；瑒哟翱谧鳛闃颖荆嬎愕贸龅木郸毯蜆?biāo)準(zhǔn)差σ如表1所示。通過觀察，近似認(rèn)為占空比和最小生成樹權(quán)值符合正態(tài)分布， 數(shù)值在[μ-3σ,μ+3σ]為正常， 否則存在

表1 占空比和最小生成樹權(quán)重的均值和標(biāo)準(zhǔn)差

缺陷；但是檢驗準(zhǔn)則只能給出大致的閾值范圍，不能確定是否能達(dá)到最優(yōu)檢測效果，因此，通過微調(diào)閾值，最終確定占空比閾值為0.062，最小生成樹權(quán)值閾值為6.8。

裂縫在圖像上表現(xiàn)為帶狀細(xì)長型區(qū)域，為了能從提取到的所有連通區(qū)域中有效篩選出裂縫區(qū)域，本文中選擇r1與ε作為判斷條件對提取的孔洞進(jìn)行決策劃分，其中r1表示裂縫區(qū)域的長短，ε表示裂縫的細(xì)長程度。通過微調(diào)閾值，最終確定最佳閾值：ε=0.24，r1=31像素。所有的分類閾值見表2。

表2 占空比、權(quán)重等分類閾值

2.4 準(zhǔn)確率測試

在產(chǎn)品檢驗中通常會發(fā)生正確檢測和誤檢2種情況，檢測正確包括合格品檢測正確和不合格品檢測正確2類。為了測試本文算法的精度，本文中采用準(zhǔn)確率A、誤檢率F作為評判標(biāo)準(zhǔn)，即

式中：TP為將正類檢測為正類的數(shù)量；TN為將負(fù)類檢測為負(fù)類的數(shù)量；FP為將負(fù)類檢測為正類的數(shù)量；FN為將正類檢測為負(fù)類的數(shù)量。

對陶瓷過濾器的實驗樣本進(jìn)行堵孔、 裂縫缺陷檢測實驗。 為了驗證本文算法的優(yōu)越性， 設(shè)置2種不同的分類方法進(jìn)行對比： 一種是通過設(shè)定分類規(guī)則， 將滿足相應(yīng)缺陷分類條件的區(qū)域檢測出來； 另一種是通過利用帶動量項的3層反向傳播(BP)神經(jīng)網(wǎng)絡(luò)構(gòu)造一個非線性分類器， 將提取到的缺陷特征歸一化后構(gòu)成特征向量輸入到神經(jīng)網(wǎng)絡(luò)中， 然后經(jīng)過反向傳播更新權(quán)重， 最后輸出層輸出分類結(jié)果。 其中激活函數(shù)選用sigmoid函數(shù)， 學(xué)習(xí)率初始值設(shè)為0.1， 動量系數(shù)設(shè)為0.9， 隱含層的神經(jīng)元的個數(shù)為6， 實驗結(jié)果如表3所示。 從實驗結(jié)果來看， 在樣本規(guī)模較小的情況下， 基于本文方法的分類方法的準(zhǔn)確率較高， 而基于BP神經(jīng)網(wǎng)絡(luò)的分類效果表現(xiàn)不佳。

表3 陶瓷過濾器缺陷檢測實驗結(jié)果

3 結(jié)語

針對泡沫陶瓷過濾器生產(chǎn)加工中出現(xiàn)的堵孔、裂縫缺陷檢測依賴人工的難題，本文中通過分析堵孔、裂縫2種缺陷的特征，提出一種基于最小生成樹和圖像矩的陶瓷過濾器缺陷檢測算法，利用最小生成樹、占空比和圖像矩等描述方法用來檢測堵孔、裂縫缺陷。

實驗結(jié)果表明，本文算法能夠?qū)μ沾蛇^濾器的堵孔、裂縫缺陷進(jìn)行有效檢測。自建數(shù)據(jù)集的檢測準(zhǔn)確率達(dá)到95%以上。由于本文中使用大津法分割圖像，在不均勻光照和對比度低的情況下采集到的圖像質(zhì)量將會下降，從而影響檢測效果，需要進(jìn)一步改進(jìn)圖像分割方法，以適用于更復(fù)雜的應(yīng)用場景。