基于深度學習的鑄件缺陷檢測方法*

于宏全，袁明坤，常建濤，羅坤宇

（1. 中興通訊股份有限公司，陜西西安 710114；2. 西安電子科技大學，陜西西安 710071）

引 言

鑄造產(chǎn)品在工業(yè)領(lǐng)域應用廣泛，在航空、船舶、車輛等生產(chǎn)制造中都具有很大的應用量[1]，因此其質(zhì)量問題也成為工業(yè)生產(chǎn)關(guān)注的重點。及時發(fā)現(xiàn)存在缺陷和質(zhì)量不滿足要求的鑄造產(chǎn)品，不僅能節(jié)省寶貴的生產(chǎn)時間也可降低制造成本[2]?，F(xiàn)今基于X射線技術(shù)的無損檢測技術(shù)[3]廣泛應用在鑄件產(chǎn)品缺陷檢測中，只需判斷檢測影像中是否存在缺陷便能夠快速查找缺陷產(chǎn)品。但在工業(yè)領(lǐng)域，采用X射線技術(shù)的鑄件無損檢測主要采用人工檢測的方式去查找產(chǎn)品缺陷，檢測結(jié)果在很大程度上受檢測人員的經(jīng)驗、技術(shù)能力、熟練度等多方面因素的影響，并且長時間的檢測工作會造成檢測人員視覺疲勞，導致檢測結(jié)果存在偏差，質(zhì)量檢測誤判率和漏判率過高，也難以提升檢測效率。隨著計算機視覺技術(shù)與深度學習理論的快速發(fā)展，已能夠使用機器定位圖像中的目標，初步實現(xiàn)與人工檢測相同的功能，這為鑄件缺陷檢測提供了新的可行途徑。在鑄件缺陷檢測中應用計算機視覺和深度學習技術(shù)[4-5]，不僅可以實現(xiàn)鑄件缺陷的快速檢測，還能節(jié)省人力資源，降低由個人經(jīng)驗不足導致的不良影響，達到較高的檢測準確率和檢測速率，真正實現(xiàn)缺陷檢測的智能化[6]。

目前，由于業(yè)務場景和研究對象不同，產(chǎn)品缺陷的檢測方法也有所不同，但隨著深度學習的發(fā)展，缺陷檢測將逐漸由針對缺陷的直接圖像處理轉(zhuǎn)變?yōu)榛趯W習的缺陷檢測。針對缺陷的直接圖像處理是通過圖像濾波、分割等方式，直接或間接在原始圖像中將缺陷標記或凸顯出來。文獻[7]基于Butterworth濾波和虛光蒙版（Unsharp Masking, USM）銳化，使用迭代閾值分割方法實現(xiàn)了鈦合金鑄件圖像缺陷的成功分割；文獻[8]對圖像子圖中的灰度直方圖進行分析，通過中位數(shù)降噪得到子圖的分割閾值，并基于子圖閾值實現(xiàn)了全局缺陷分割；文獻[9]使用模糊C均值聚類實現(xiàn)對圖像缺陷的識別；文獻[10]采用聚類方式將由邊緣分形特性提取出的缺陷邊緣成功分割?；趯W習的缺陷檢測則是先通過提取圖像中的關(guān)鍵特征，再采用機器學習或深度學習的方式建立缺陷檢測模型，最后通過檢測模型對圖像特征的學習得到缺陷的類別或位置等預測結(jié)果。文獻[11]通過提取工件表面缺陷的紋理特征和形狀特征，完成對工件表面缺陷的檢測；文獻[12]通過提取多種鑄件的缺陷特征，并使用集成學習方式完成缺陷的多類別分類；文獻[13]嘗試了多個不變矩特征的提取，并使用主要成分分析（Principal Component Analysis,PCA）法將多個不變矩特征降維至4個，之后通過降維特征，使用神經(jīng)網(wǎng)絡對缺陷進行了分類檢測；文獻[14]結(jié)合PCA與支持向量機實現(xiàn)了帶鋼表面缺陷的多類別檢測；文獻[15]通過分析缺陷形態(tài)關(guān)系，利用隨機三角生成連續(xù)概率作為圖像特征，實現(xiàn)了鑄件缺陷不同類別的有效分類。隨著深度學習的興起，缺陷檢測也逐漸向缺陷特征的自學習發(fā)展。文獻[16]使用特征金字塔網(wǎng)絡（Feature Pyramid Networks, FPN）對Faster R-CNN進行了改進并應用于汽車鋁鑄件缺陷檢測，取得了理想的檢測結(jié)果；文獻[17]提出了基于Mask R-CNN的鑄件缺陷檢測方法，較好地實現(xiàn)了對鑄件數(shù)字化射線成像（Digital Radiography, DR）圖像缺陷的分級分類。

綜上所述，當前對于缺陷檢測的研究已經(jīng)取得了很大的進步和良好的應用成果，但現(xiàn)有鑄件缺陷檢測技術(shù)還有很大一部分依賴人工設(shè)計缺陷特征，并使用傳統(tǒng)方式按分類任務完成缺陷檢測。這不僅會使特征具有單一性和局限性，還不利于檢測方式的領(lǐng)域內(nèi)擴展。雖然部分學者已經(jīng)開始嘗試以深度學習來完成缺陷檢測，也取得了不錯的預期結(jié)果，但也面臨由工業(yè)圖像獲取成本高、難度大而導致的圖像樣本較少、數(shù)據(jù)量不足的困境。因此針對以上問題，本文提出了基于深度學習的鑄件缺陷檢測方法。通過數(shù)據(jù)增廣增加圖像數(shù)據(jù)量，基于僅瀏覽一次（You Only Look Once,YOLO）的理念實現(xiàn)多尺度特征的自動學習提取，并采用邊界框抑制的測試圖像檢測方法進行測試圖像中的缺陷檢測，實現(xiàn)了多種鑄件缺陷的自動檢測。

1 方法論述

基于YOLO的鑄件缺陷檢測方法主要包含數(shù)據(jù)增廣、檢測模型構(gòu)建和基于邊界框抑制的測試圖像缺陷檢測3部分，其技術(shù)流程如圖1所示。

圖1 鑄件缺陷檢測流程

1.1 圖像數(shù)據(jù)增廣

鑄件X射線圖像的采集常使用射線計算機層析照相技術(shù)。該過程往往會耗費極大的人力和物力，想要采集到足夠多的高質(zhì)量鑄件X射線圖是相當困難的，而且使用該技術(shù)可以獲得較大尺寸的檢測圖像，使得圖像中的部分缺陷只占有極小的像素，形成微小缺陷。較少的圖像數(shù)據(jù)難以保證檢測模型充分學習缺陷特征，而微小缺陷在神經(jīng)網(wǎng)絡多級下采樣過程中會被周圍的信息所稀釋，這給缺陷的準確檢測增加了難度。為此本文提出了以O(shè)verlap切圖數(shù)據(jù)增廣和Mosaic數(shù)據(jù)增廣來增加數(shù)據(jù)量和數(shù)據(jù)復雜性的方法。

1.1.1 Overlap切圖數(shù)據(jù)增廣

應用目標檢測模型時通常將每張圖像縮小到能被網(wǎng)絡接受的尺寸后再進行訓練或預測。這一過程會使圖像中的信息遭受損失，尤其是對于微小缺陷，這種損失將直接影響最后的檢測精度。本文受滑窗算法[18]啟示，采用Overlap切圖法對原始數(shù)據(jù)進行增廣處理。

滑窗算法是指使用某一小尺寸窗口，按照一定的步長從圖像左上角開始，從左向右從上到下依次滑動，對每一滑動過程截取的圖像進行一次處理。在Overlap切圖數(shù)據(jù)增廣中，采用類似的原理，每次按照固定重疊率滑動窗口，并將每次窗口內(nèi)的圖像設(shè)定為預選圖像，最終根據(jù)圖像的實際缺陷標注情況，有針對性地將含有缺陷的預選圖像選定為新的缺陷圖像。圖2為Overlap切圖操作示意圖。采取重疊方式沿圖像橫向或縱向進行最后一次切圖時，窗口或許存在超出原始圖像的現(xiàn)象，此時將滑窗后移，使滑窗與原圖邊緣相切，以獲得一個完整的預選圖像。

圖2 Overlap切圖示意圖

對鑄件圖像切圖時，會存在已有缺陷被分割的情況。采用Overlap切圖方式能在一定程度上減少微小缺陷被分割的可能，但往往難以保證大型缺陷不被分割，因此有可能將同一個缺陷劃分到多個子圖中。由于缺陷的紋理特征不會因裁剪而受到影響，因此缺陷在子圖中的裁剪部分亦可充當新的缺陷樣本，起到增加缺陷樣本數(shù)量的作用。對于某些缺陷，切圖后被保留在子圖中的缺陷大小并不固定，部分只含有極少缺陷的子圖并不利于檢測模型學習，所以還得通過判斷缺陷留存率r來選取適合作為新缺陷數(shù)據(jù)的子圖：

式中：g代表原始缺陷；s代表切分出的子圖；R為面積，R(g ∩s)代表g與s相交的面積，R(g)代表原始缺陷面積。

當原始缺陷圖被切圖時，計算每個子圖與每個原始缺陷標注邊界框的r值。當r ＞0.1時，認定該子圖存在利于模型學習的缺陷，并作為新缺陷數(shù)據(jù)。此外，為保留更多的缺陷原始信息，當原始圖像的邊長超過子圖邊長時，另將原始圖像的邊長縮放到子圖尺寸并作為新的缺陷數(shù)據(jù)。

1.1.2 Mosaic數(shù)據(jù)增廣

鑄件圖像數(shù)據(jù)具有稀疏分布現(xiàn)象，每張鑄件圖像僅含有一個或少量缺陷，這種數(shù)據(jù)特點不利于模型泛化能力的提升。圖3展示了本文簡化的Mosaic數(shù)據(jù)增廣方法，用以增加圖像的復雜度。簡化的Mosaic數(shù)據(jù)增廣方法實現(xiàn)了4張缺陷圖像的拼接，主要包含以下4個步驟：1）將選取的4張圖像按照4個象限位置排列。2）確定一個寬為w、高為h的圖像模板作為最終的輸出圖像尺寸，同時分別在寬、高方向隨機生成2條分割線，從而可將模板切分成4個分割域。以2條相交的分割線為軸，亦可分別將4個分割域?qū)?個象限，同時規(guī)定分割線生成區(qū)間為[0.4w,0.6w]和[0.4h,0.6h]。設(shè)定分割線生成區(qū)間，可以保證每一個分割域不會被分割得過小。3）以遠離分割線交點的頂點為重合點，對步驟1每個象限中的圖像進行分割，并將步驟2分割域?qū)膱D像區(qū)域稱為被分割圖像，采用式（1）來確定被分割圖像中是否包含缺陷。4）按照分割線邊緣對4個象限中的被分割圖像進行拼接，形成一個新的寬為w、高為h的圖像。

圖3 簡化Mosaic數(shù)據(jù)增廣方法

1.2 基于YOLO的缺陷檢測網(wǎng)絡

鑄件缺陷檢測網(wǎng)絡采用YOLOv3[19]結(jié)構(gòu)，能夠?qū)崿F(xiàn)缺陷區(qū)域的自動檢測。它主要包含由連接網(wǎng)絡串聯(lián)在一起的特征提取網(wǎng)絡和檢測頭。特征提取網(wǎng)絡主要完成圖像特征的自主學習，提取圖像中有用的關(guān)鍵信息。在YOLOv3中使用了Darknet-53作為特征提取網(wǎng)絡，并將特征提取網(wǎng)絡中不同尺度的特征圖輸入到檢測頭，完成不同尺度的缺陷檢測。Darknet-53的結(jié)構(gòu)見表1。

表1 Darknet-53網(wǎng)絡結(jié)構(gòu)

YOLOv3檢測頭涵蓋了整個網(wǎng)絡的檢測核心思想。YOLOv3將檢測圖像劃分成S×S個網(wǎng)格，并規(guī)定若目標的中心落入某一網(wǎng)格中，則該網(wǎng)格就負責這個目標的檢測任務。檢測頭最終預測出目標邊界框所在圖像中的中心點坐標、寬、高和置信度。在模型預測之前，會給予模型一系列錨框（Anchor），使檢測頭預測出目標邊界框與錨框之間的偏差值，再進一步計算出目標的預測邊界框信息。

基于錨框的目標邊界框計算示例如圖4所示。圖中虛線代表給定的錨框，按規(guī)定，其中心坐標在網(wǎng)格的左上角點(cx,cy)，則實線代表的預測邊界框可以使用含有偏差值tx，ty，tw和th的公式表示：

圖4 目標邊界框計算示例

式中：bx和by表示預測邊界框的中心坐標；bw和bh分別代表預測邊界框的寬和高；pw和ph分別為預測前邊界框的寬度和高度。σ(·)為Sigmoid函數(shù)，該函數(shù)將寬、高方向上的偏差控制在(0,1)之間。

檢測頭能夠預測與網(wǎng)格劃分數(shù)量成比例的數(shù)據(jù)量，并通過輸出相同體量的張量形式矩陣來進行表達。為此，對于YOLOv3，可通過多任務損失函數(shù)進行學習：

式中：lloc代表位置損失，用于目標預測邊界框位置學習；lconf為置信度損失，用于目標邊界框置信分數(shù)學習；lc代表類別損失，用于目標所屬類別的學習。通過最小化損失函數(shù)，YOLOv3可以實現(xiàn)端到端的學習，完成缺陷目標的分類和定位。

1.3 基于邊界框抑制的缺陷圖像檢測方法

對測試圖像進行缺陷檢測時，依舊采用重疊方式進行切圖，以保證測試和訓練時擁有相同的輸入圖像尺寸。檢測模型將對切圖產(chǎn)生的每一個子圖進行檢測，并得到子圖的檢測結(jié)果。測試圖像的最終結(jié)果由所有子圖的檢測結(jié)果拼接而成，由于同一個缺陷可能同時存在于多張子圖中，因此在最終拼接后的圖像中，同一個缺陷可能具有多個標注邊界框，如圖5所示。圖5（a）展示了子圖檢測結(jié)果拼接后的缺陷標注邊界框，可以看到同一裂紋缺陷被分配到多張子圖中，從而導致最終檢測結(jié)果拼接圖像中具有多個標注邊界框。

圖5 基于邊界框抑制的測試圖像缺陷檢測

鑄件X射線圖像缺陷分布具有稀疏性，這意味著同一區(qū)域的多個同類標注邊界框通常來自同一缺陷。針對上述特點，文中提出了基于邊界框抑制的測試圖像缺陷檢測方法，剔除冗余的邊界框，并將同一個缺陷的多個邊界框整合為一體?；谶吔缈蛞种频臏y試圖像缺陷檢測方法通過以下步驟實現(xiàn)：

1）按照預測類別將檢測結(jié)果拼接圖中的所有標注邊界框歸類，每一個類別的標注邊界框構(gòu)成一個列表，第i類的邊界框列表記作Li。

2）從Li中第一個標注邊界框開始循環(huán)遍歷每一個邊界框，通過計算該邊界框與其他邊界框的區(qū)域重疊比來確定邊界框是否被抑制。邊界框A和邊界框B的區(qū)域重疊比分別記作rA和rB，其表達式為：

3）通過某一閾值T來判定邊界框A和邊界框B的留存情況。若rA和rB中有一個大于等于閾值T（本文取0.7），則保留rA和rB中較小值所對應的標注邊界框；若rA和rB都小于閾值T，則兩個標注邊界框都保留。

4）通過步驟2得到抑制后的標注邊界框列表L′i，從L′i中的第1個邊界框box1開始遍歷，搜尋與該邊界框具有區(qū)域重疊關(guān)系的一組邊界框。要求該組邊界框中每一個邊界框與其他至少一個邊界框具有重疊區(qū)域，然后計算該組邊界框的最小外接矩形邊界，作為新的標注邊界框代替box1，并刪除該組邊界框中其他所有邊界框，之后開始遍歷L′i中下一個邊界框，重復上述操作直到將L′i中所有邊界遍歷完成。

5）重復步驟2和3，直到完成所有類別標注邊界框的抑制或合并。

采用基于邊界框抑制的測試圖像缺陷檢測方法，能夠解決由切圖方式導致的缺陷存在多個標注邊界框的問題。圖5展示了使用該方法對一類邊界框的融合結(jié)果。

2 實驗與結(jié)果分析

2.1 實驗數(shù)據(jù)

通過同一個實際工業(yè)案例，對本文的方法進行驗證。采用射線計算機（以X射線作為射線源）層析照相技術(shù)，獲得314張輕合金鑄件缺陷圖像。每張圖像具有3個通道，尺寸為2 176×1 792，共有氣孔、夾渣、裂紋、疏松和偏析5種缺陷類型，缺陷圖像如圖6所示。

圖6 不同鑄件缺陷的X射線圖像

使用LabelImage標注工具標注缺陷圖像中的缺陷位置，以XML文件形式保存圖像文件名、圖像分辨率、存儲位置、缺陷類型及區(qū)域等信息。按照8:2將所有缺陷圖像劃分為訓練集和測試集，共得到訓練圖像252張，測試圖像62張。

本文使用300×300的滑動窗口，以重疊率為15%的步長對訓練圖像進行Overlap切圖數(shù)據(jù)增廣，并將具有缺陷的子圖邊長擴大到448×448作為新的訓練圖像。同時為了能夠保留更多的缺陷圖像中的原始信息，當原圖像中存在超過子圖邊長的缺陷時，需另行將原始圖像邊長縮放到448×448作為新的訓練圖像。在此基礎(chǔ)上，采用幾何變換（如旋轉(zhuǎn)、鏡像等）進一步擴充缺陷數(shù)據(jù)，最終得到2 779張尺寸為448×448的新圖像。對獲得的新訓練圖像進行Mosaic數(shù)據(jù)增廣。此處使用的模板（608×608）比圖像更大，可以使每個分割域含有更多的原始信息。在對全訓練數(shù)據(jù)進行Mosaic數(shù)據(jù)增廣時，首先將所有樣本劃分成每批含有n張圖像的批量；然后從每一批中隨機抽取4張圖像進行Mosaic數(shù)據(jù)增廣，直到獲得同等數(shù)量的增廣數(shù)據(jù)；最后使用YOLOv3對訓練數(shù)據(jù)進行訓練，得到鑄件缺陷檢測模型。

2.2 缺陷檢測結(jié)果

本文使用62張測試圖像對文中的方法進行了組合測試。不同檢測模型組合見表2，其中，“”代表采用，“—”代表未采用。

表2 不同檢測模型組合

本文提出的4種組合模型都采用基于YOLOv3的檢測模型結(jié)構(gòu)，不同之處在于每種模型使用了不同的數(shù)據(jù)處理方法和測試圖像檢測方式。對以上4種組合模型進行訓練后，使用測試數(shù)據(jù)集進行驗證，檢測結(jié)果見表3，表中σ代表平均檢測準確率，σm代表平均檢測準確率的平均值。

表3 不同模型組合檢測結(jié)果表

經(jīng)過實驗，與模型C和模型D相比，模型A和模型B有更高的σm值（平均檢測準確率的平均值），即使用Overlap切圖數(shù)據(jù)增廣和基于邊界框抑制的測試圖像的檢測模型可以達到更好的檢測性能。同時，氣孔和夾渣缺陷在模型A和模型B中具有更高的檢出率，而在沒有使用Overlap切圖數(shù)據(jù)增廣的模型C和模型D中檢出較少，說明此類小型缺陷在切圖后更容易被檢測出來。圖7展示了模型A和模型C的檢測結(jié)果對比。模型A準確檢測出了偏析和氣孔2種不同尺度的缺陷，而模型C卻漏檢了氣孔缺陷。

圖7 模型A和模型C檢測結(jié)果對比

對比模型A與模型B之間以及模型C與模型D之間的檢測結(jié)果，發(fā)現(xiàn)使用Mosaic數(shù)據(jù)增廣的模型具有相對較高的σm值，模型A相比模型B提高了1.47%，模型C相比模型D提高了0.61%，也證實了Mosaic數(shù)據(jù)增廣有助于缺陷檢測模型性能的提升。同時，在使用本文的方法之后，檢測模型（即模型A）的σm值達到了84.81%，可以獲得較好的檢測效果。

為了進一步證實本文的方法比傳統(tǒng)檢測方法更有效，以模型A為例，對本文的方法與結(jié)合傳統(tǒng)滑窗算法（Sliding Window Algorithm, SWA）和卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks, CNN）分類器[20]的傳統(tǒng)檢測方法進行比較。表4展示了2種不同模型的缺陷漏檢率統(tǒng)計結(jié)果。本文的方法在除偏析缺陷外的檢測中都優(yōu)于傳統(tǒng)檢測方法，能夠降低7%～10%的漏檢率，證明本文的方法比傳統(tǒng)檢測方法更有效。

表4 本文方法與傳統(tǒng)檢測方法漏檢率統(tǒng)計表 %

3 結(jié)束語

本文針對鑄件X射線檢測圖像，使用Overlap切圖數(shù)據(jù)增廣和Mosaic數(shù)據(jù)增廣實現(xiàn)了訓練數(shù)據(jù)集的擴充，并在此基礎(chǔ)上實現(xiàn)了基于YOLOv3的鑄件缺陷檢測模型的訓練，最后通過基于邊界框抑制的測試圖像檢測方法完成了多種鑄件缺陷的檢測。該方法解決了原始缺陷數(shù)據(jù)較少帶來的模型訓練困難的問題，提升了對小型缺陷的檢測能力。實驗結(jié)果表明，本文的方法可以實現(xiàn)多種鑄件缺陷的檢測，并具有比傳統(tǒng)檢測方法更高的檢測準確率和泛化能力。