基于改進BiFPN的微特電機電樞表面缺陷檢測方法

李勇,王楊,方夏,王杰,楊苗苗

(四川大學機械工程學院，四川成都 610065)

0 前言

微特電機廣泛運用于智能手機、智能家居和自動化辦公設備等電子產(chǎn)品中，隨著這類電子產(chǎn)品的大量使用，市場對微特電機的需求量逐步增大，對其品質(zhì)要求也越來越高。微型電樞是微特電機的核心部件，其質(zhì)量直接影響電機的品質(zhì)。由于微型電樞體型小且結構復雜，在焊接和裝配過程中會出現(xiàn)缺陷件。缺陷件被用于其他設備時，會導致一定的經(jīng)濟損失。另外，對于產(chǎn)品的使用者來說，使用缺陷件也會存在巨大的安全隱患，可能導致設備損壞，甚至威脅到使用者的生命安全。微特電機電樞的產(chǎn)量巨大，應用自動化檢測手段很有必要。微型電樞的缺陷主要存在于其表面，合理的檢測手段是利用機器視覺進行檢測。由于缺乏有針對性的表面缺陷檢測方法研究，目前微特電機電樞表面缺陷檢測仍采用傳統(tǒng)的圖像處理手段，效率和精度都不高，極大地限制了微特電機的生產(chǎn)效率。因此，研發(fā)一種高效的微特電機電樞缺陷檢測方法極為迫切。

電樞質(zhì)量的檢測一直是微特電機品質(zhì)保障的關鍵。申貴龍針對磁鐵轉(zhuǎn)子表面明顯的缺陷，根據(jù)外形、顏色等特征進行特征提取，并采用PCA+SVM的方式進行缺陷檢測。劉平采用 ResNet 模型來解決微電機轉(zhuǎn)子3種缺陷的分類識別檢測任務，識別準確率達到89%。鄧仕超等使用殘差神經(jīng)網(wǎng)絡對微特電機轉(zhuǎn)子焊點圖像進行缺陷檢測，達到了91.5%的準確率。劉天源等利用轉(zhuǎn)子軸承部分的振動信號，使用卷積神經(jīng)網(wǎng)絡對裂紋轉(zhuǎn)子耦合故障進行檢測，裂紋深度檢測精度超過85%,位置檢測精度為90%,不平衡量檢測精度超過99%。焦博隆等使用基于蝙蝠算法(BA)優(yōu)化參數(shù)的變分模態(tài)分解(VMD)診斷轉(zhuǎn)子裂紋故障。ZAMUDIO-RAMIREZ等通過分析轉(zhuǎn)子啟動時的外部磁場來檢測轉(zhuǎn)子繞組的不對稱缺陷。PUCHE-PANADERO等針對電機的電流特征，通過對s-IF平面內(nèi)定子電流的分析，提出了一種瞬態(tài)狀態(tài)下的診斷方案。

本文作者針對微特電機電樞檢測精度不高和易誤分相似件的問題，將裁剪等預處理后的工業(yè)流水線拍攝的電樞圖片作為模型的輸入，通過深度神經(jīng)網(wǎng)絡EfficientNet完成基礎特征的提取，并輸入到改進后的BiFPN結構中進行多層次特征的語義信息融合，最終送入到分類器中完成電樞的缺陷分類。實驗證明：利用該方法可提高微特電機電樞外觀缺陷的檢測精度，并且對于相似件的區(qū)分效果明顯，大大減少了將缺陷件判為良品的概率，在實際工業(yè)應用中取得了良好的效果。

1 電樞及其缺陷種類介紹

1.1 電樞結構介紹

微特電機電樞由換向器、變阻、電樞鐵心、電樞繞組、鐵心轉(zhuǎn)軸組成。微特電機電樞長約為1 cm，主體由3個面構成，每個面夾角為120°，電樞缺陷主要存在于這3個面內(nèi)。電樞中可能存在缺陷的銅線直徑為0.03 mm，其余缺陷分布在每個面中且具有較小的像素占比。

1.2 電樞缺陷的類型

微特電機電樞在自動化生產(chǎn)線上每日的產(chǎn)量可以達到12萬件，由于生產(chǎn)系統(tǒng)的誤差和材料自身缺陷等的影響，導致多種電樞缺陷的產(chǎn)生。缺陷類型包含錫包過大、變阻龜裂、沾有異物、銅線斷裂、銅線過焊、端子裸露、沾有錫珠，如圖2所示。錫包過大的電樞在裝配上微特電機后可能會出現(xiàn)干涉，導致電樞不能正常旋轉(zhuǎn)；異物和錫珠可能在電機運行過程中脫落，導致電機內(nèi)部卡死；銅線過焊、端子裸露和銅線斷裂可能導致電機不能正常通電或者運行一段時間后出現(xiàn)接觸不良、宕機等；變阻缺陷可能導致?lián)Q向異常、電機工況不穩(wěn)定等現(xiàn)象。缺陷管控對電機質(zhì)量的保證非常重要，一旦出現(xiàn)上述缺陷，極大概率會影響到用戶的體驗，甚至可能導致設備損毀。因此，對于微特電機的外觀進行缺陷檢測非常必要。

圖1 電樞和其模型

圖2 各種缺陷示例

1.3 電樞外觀缺陷檢測系統(tǒng)

如圖3所示，在工廠生產(chǎn)線上，為保證采集圖像的質(zhì)量，需要布置特定的光源環(huán)境。采用2個面陣條形光源對電樞兩側照射，環(huán)形光源直射保證正面的亮度，工業(yè)CCD相機穿過環(huán)形光源對放置在載物臺上的電樞進行圖像采集。在電機驅(qū)動下載物臺會在拍照完成后旋轉(zhuǎn)，使電樞的另外一個面處于相機的視場正面，進行第2個面的圖像采集，之后再次旋轉(zhuǎn)載物臺，完成第3個面的圖像采集。單個電樞會采集3張圖像，對應于電樞的3個主要表面。

圖3 圖像采集裝置

采集的圖像需要先進行預處理。由于文中研究的電樞缺陷主要集中在線圈和變阻器之間，為避免其他區(qū)域圖像的干擾，需要獲取感興趣區(qū)域(ROI)。本文作者采取模板匹配算法獲取ROI區(qū)域，如圖4所示。由于圖像的中心區(qū)域外觀特征比較明顯，選擇合適的模板可以通過模板匹配出所需要的ROI區(qū)域，并對它進行裁剪和保存。每一個電樞的3張圖片按同一個名稱不同序號進行保存，以便于后續(xù)診斷電樞缺陷。

圖4 ROI獲取

2 傳統(tǒng)的圖像診斷方式

在過去的幾年里，機器學習有了長足的進步，并且已經(jīng)深入到許多領域。各種機器學習算法在以模式或模型的形式從大數(shù)據(jù)中提取知識方面非常有效。采用機器學習算法可以大大降低學術界和工業(yè)界的成本和勞動力需求，從而提高生產(chǎn)率、質(zhì)量和利潤。支持向量機(SVM)是傳統(tǒng)機器學習的經(jīng)典算法，可以用于分類問題和回歸問題，使用超平面對輸入的線性和非線性數(shù)據(jù)進行區(qū)分。工業(yè)視覺檢測一般采用HOG+SVM的診斷方式，將HOG提取出的特征，經(jīng)過SVM分類獲得最終的診斷結果。經(jīng)過實驗發(fā)現(xiàn)，基于HOG+SVM的電機外觀缺陷診斷方式的準確率低，達不到電樞檢測的要求。主要原因是電樞缺陷于整圖中占比較小、缺陷種類繁多，算法特征提取能力弱，無法獲取有效的特征，導致診斷的準確率達不到要求。

3 卷積神經(jīng)網(wǎng)絡缺陷檢測方法

隨著深度學習的發(fā)展，卷積神經(jīng)網(wǎng)絡逐漸在圖像領域大放異彩。針對某些較難的圖像識別任務，傳統(tǒng)圖像檢測方法的魯棒性達不到工業(yè)檢測的要求，深度卷積神經(jīng)網(wǎng)絡利用多維特征提取，可獲取更高維度的特征，相比于低維的特征能更有效地表達圖像的語義信息，其魯棒性遠遠優(yōu)于傳統(tǒng)的圖像處理方式。

3.1 EfficientNet網(wǎng)絡

EfficientNet是Google研究團隊于2019年提出的一個圖像分類網(wǎng)絡，其基礎網(wǎng)絡結構具有很強的特征提取能力，可以在其他任務中作為Backbone使用。EfficientNet最主要的貢獻是提出了一種多維度混合的放縮模型方法，并且同時兼顧了速度與精度。

通過對網(wǎng)絡寬度、網(wǎng)絡深度和圖像分辨率的調(diào)整，將3個維度中任意一個維度放大都可以帶來精度的提升，但隨著放大倍數(shù)的提升，精度的提升會越來越小，逐漸飽和。為更好地提升網(wǎng)絡的表現(xiàn)，Google研究團隊提出了多維度混合的模型放縮方法放縮模型，如圖5所示。

圖5 放縮模型

對比現(xiàn)有的其他CNN模型，EfficientNet模型具有更高的準確率和效率，而且其參數(shù)量和浮點運算量下降了一個數(shù)量級，EfficientNet-B7在ImageNet上獲得了當時最優(yōu)的Top-1準確率84.4%，Top-5準確率也達到97.1%。

3.2 改進的BiFPN結構介紹

BiFPN即加權雙向特征金字塔網(wǎng)絡，它將多個尺度的特征圖進行融合，不同的輸入特征在不同的分辨率下，對于輸出特征的重要程度并不完全一致。簡單地為每個節(jié)點設置權重，通過權重平衡不同尺度的特征信息。多個BiFPN的基礎結構經(jīng)過疊加，最終輸出融合了低維語義和高維語義的特征。BiFPN基礎結構如圖6所示。

圖6 BiFPN基礎結構 圖7 通道注意力機制ECA結構

原始的BiFPN結構采用的是在每個節(jié)點處簡單地設置可學習的權重參數(shù)來實現(xiàn)特征融合，每層特征圖的所有通道共享一個權重。然而，SENet表明同一個特征圖的不同通道對于網(wǎng)絡表達能力的重要程度是不同的，增加對于當前任務重要程度大的特征并抑制作用不大的特征，對于網(wǎng)絡模型的表達能力具有重要意義。

為實現(xiàn)對不同層次的特征進行融合和對同一層特征的不同通道進行重要程度區(qū)分，提出一個改進的BiFPN結構。通過在基礎結構的末端節(jié)點施加一種通道注意力機制(Channel Attention Mechanism，CAM)——ECA，實現(xiàn)對不同通道特征的篩選。ECA的結構如圖7所示。

給定一個中間特征∈××，具有維的通道數(shù)和×的大小，則通道注意力模塊的輸出′∈××可以表示為

′=(Conv1d(()))?

(1)

其中:()表示全局平均池化(Global Average Pooling，GAP);Conv1d表示一維卷積操作;表示激活函數(shù)Sigmoid;?表示逐元素相乘。

卷積操作采用卷積核為3×3的一維卷積，目的是通過卷積聚合相鄰通道的特征。與SENet采用全連接層的通道注意力不同，ECA首先通過全局平均池化聚合全局特征，在不改變維度的條件下經(jīng)過一次卷積獲取每個通道的注意力權重，然后和原輸入進行逐元素相乘，得到包含通道注意力的特征。BiFPN每一基礎結構有5個輸出節(jié)點，每個節(jié)點都經(jīng)過一次通道注意力機制模塊，這樣，原始BiFPN的結構就融合了包含通道間關聯(lián)的信息，對特征表達更有效的通道會被更關注，而不是主要的特征會被抑制。因此，改進后的BiFPN相比于原始的結構具備更準確的表達能力，其結構如圖8所示。

圖8 改進的BiFPN結構

4 電樞外觀缺陷檢測模型

4.1 模型設計

文中采用的模型是以EfficientNet為基礎特征提取網(wǎng)絡，通過EfficientNet輸出P3、P4、P5特征層；將P5最大池化下采樣一次得到P6，再次進行最大池化下采樣得到P7；然后，將輸出的五層特征圖送入改進后的BiFPN結構進行多維度的特征融合，之后對特征圖進行疊加，得到最終的特征輸出；將輸出的特征輸入分類器，完成電樞外觀缺陷診斷。網(wǎng)絡模型結構如圖9所示。

圖9 改進的BiFPN模型結構

4.2 模型工作流程

文中的模型工作流程分為兩個部分：首先是模型訓練，將采集的數(shù)據(jù)劃分為訓練集和測試集，利用訓練集對網(wǎng)絡參數(shù)進行訓練，采用測試集對網(wǎng)絡模型進行泛化性評估，獲取測試效果好的模型；其次是模型預測，將用于預測的圖片輸入訓練好的模型，通過模型預測出診斷結果。具體流程如圖10所示，步驟如下：

圖10 模型實現(xiàn)流程

步驟1，將工業(yè)相機采集的圖片進行預處理，通過模板匹配獲得ROI區(qū)域，將ROI區(qū)域裁剪下來，獲得所需數(shù)據(jù)集，并將數(shù)據(jù)集劃分成訓練集和測試集；

步驟2，將訓練集的圖片輸入模型，采用遷移學習的思想進行訓練，利用基礎網(wǎng)絡EfficientNet進行特征提取，輸出五層特征圖，采用改進的BiFPN網(wǎng)絡對特征加強提取，并融合多層次的特征，輸入到分類器里進行分類；

步驟3，獲得分類結果并結合標簽計算Loss，通過反向傳播求參數(shù)的梯度，并更新模型參數(shù)，重復進行前向傳播與反向傳播，每訓練完一個Epoch，進行一次測試集的測試，計算在測試集上的準確率和Loss；

步驟4，經(jīng)過多次迭代，測試集的Loss和準確率會趨于平穩(wěn)，當測試集的Loss和準確率不再改變時，停止訓練并保存模型；

步驟5，將需要進行診斷的電樞進行圖像采集并獲取3張ROI圖像，輸入模型進行預測，3張圖像的預測結果全為良品則判定為良品，否則為不良品。

5 微特電機電樞外觀缺陷診斷實驗

5.1 微特電機電樞數(shù)據(jù)集

微特電機電樞的圖像采用工廠流水線上的圖像采集設備進行原始圖像采集，采集的圖像送到工廠的質(zhì)量檢測部門，由經(jīng)驗豐富的員工進行圖片篩選，將良品和不良品區(qū)分出來，然后再次進行復檢確保圖片分類的準確性。由于好件數(shù)量遠大于壞件數(shù)量，隨機選擇一部分良品的圖片和所有不良品的圖片，通過模板匹配獲得ROI圖像，ROI圖像大小為350×84。圖片總量為16 406，其中劃分為訓練集好件8 925張、壞件2 947張，共11 872張；測試集好件3 310張、壞件1 224張，共4 534張。訓練集和測試集比例約為2.6∶1，部分數(shù)據(jù)集圖像如圖11所示。

圖11 部分數(shù)據(jù)集圖片

5.2 模型訓練

考慮到需要訓練的ROI圖像包含的物體比較少，需要關注的特征比較集中，采用最基礎的EfficientNet-B0結構。此外，參數(shù)量會更少，有利于減少模型運算量，使模型預測速度盡可能快。為加快模型收斂速度，采用遷移學習的思想，載入EfficientNet-B0的預訓練權重作為模型的初始化權重，在此基礎上進行訓練。

將數(shù)據(jù)集輸入模型，設置優(yōu)化器為帶動量的SGD，動量設置為0.9，Loss函數(shù)為交叉熵損失函數(shù)(CrossEntropy Loss)，學習率采用指數(shù)衰減學習率，其公式為

=×0.8/

(2)

式中:表示下一個Epoch的學習率;表示初始學習率，實驗中設置為0.01;表示當前的Epoch數(shù)量;表示每經(jīng)過多少個Epoch衰減一次，實驗中設置為3。

訓練過程中的訓練集準確率和Loss以及測試集的準確率和Loss變化情況如圖12所示?？芍?當訓練到50個Epoch時,模型基本收斂，準確率和Loss不再改變。

圖12 訓練集、測試集的準確率A和Loss的變化

6 實驗結果及分析

故障診斷的常用評價指標有值、準確率、精確率和召回率等。值和準確率越高，模型性能越好。召回率可以評判將良品誤分為不良品的概率，該指標一定程度上反映了生產(chǎn)成本的變化。但是將不良品誤分為良品的概率需要用特異度來衡量，特異度越高則將不良品誤分為良品的概率越小，該指標一定程度上反映了產(chǎn)品質(zhì)量。

6.1 SVM和深度學習的診斷方式

傳統(tǒng)的SVM等機器學習方式是基于單一特征工程的方法，而深度學習是基于多維度、多層次的特征獲取方式。利用不同模型進行實驗，結果如表1所示?？芍翰捎肏OG+SVM的缺陷診斷方式準確率最高只能達到80.92%，而采用深度學習的方式準確率基本都在90%以上。本文作者采用的EfficientNet-B0+改進的BiFPN的缺陷診斷方法可以達到98.42%，高于其他深度學習網(wǎng)絡模型，達到了檢測精度的預期效果。

表1 不同模型結果對比

6.2 實驗結果分析

基于EfficientNet結合改進后的BiFPN的網(wǎng)絡診斷方法相較于其他模型具有最好的效果。傳統(tǒng)的HOG+SVM診斷方式準確率只能達到80%左右，而且特異度指標很低，將不良品分為良品的概率接近22%，這會極大影響到產(chǎn)品的質(zhì)量。采用VGG-16和ResNet-101之后,網(wǎng)絡對于特征的提取能力大大加強，高維度的特征更有利于提升圖像分類的效果，準確率能達到95%左右。當使用更加強大的EfficientNet時，網(wǎng)絡的深度雖然沒有ResNet-101深，但是網(wǎng)絡結構的設計更加合理，特征提取更有效率，實驗結果證明它對于電樞圖片的分類相較于ResNet-101效果更好，但是仍然存在比較嚴重的誤分情況。實驗中發(fā)現(xiàn)誤分的主要是易混件。圖13所示為采用EfficientNet-B0進行分類時誤將不良品分為良品的部分圖片，方框內(nèi)為存在缺陷的部分。

圖13 易混件圖片

此類圖片的特點是缺陷存在的范圍比較小，且細微處和良品工件外觀很接近。當神經(jīng)網(wǎng)絡經(jīng)過多次卷積操作后，圖像的底層信息會逐漸淡化，細微處的特征很容易被忽略。如圖14(a)所示，當對僅采用EfficientNet-B0進行分類的模型使用Grad-CAM進行類激活映射熱力圖的可視化時，發(fā)現(xiàn)對于誤分的圖片，其關注點(顏色越偏向于紅色，其關注程度越強)會有一些偏差，或者主要關注范圍過于分散。這樣就導致模型關注到無用或者干擾當前分類任務的特征，進而導致了誤分。

圖14 易混件圖片的Grad-CAM可視化結果

考慮到對淺層特征保留的程度不夠，使用EfficientNet-B0的P3、P4、P5、P6、P7層的特征圖，P3特征圖最大程度地保留了淺層信息，對于易混件的特征會有較好的表達能力。出于平衡淺層和深層特征的考慮，使用BiFPN對多層次的特征進行融合，模型使用了3次重復的BiFPN基礎結構，在盡可能地保留淺層信息的同時也融合了深層的特征。實驗證明，采用BiFPN的堆疊結構后，模型的準確率有0.5%～1.2%的提升。使用Grad-CAM++進行可視化分析，結果如圖15所示。

圖15 使用原始BiFPN的Grad-CAM++可視化結果

由圖15可以看出：施加原始BiFPN后，模型關注的范圍仍然過于寬泛，模型關注的重點包含太多無缺陷區(qū)域，部分甚至是在空白背景處。模型可能會被這些錯誤關注點所干擾，導致對無缺陷的區(qū)域置信度過高，而淡化了缺陷存在區(qū)域的置信度，因此，該模型對于易混件仍然存在一定程度的誤分，如圖14(b)所示。

考慮到模型關注點不集中、關注點在對當前分類任務無效區(qū)域的問題，本文作者對BiFPN進行了改進。通過在原始BiFPN末端節(jié)點處施加通道注意力機制，改善原始BiFPN結構，使其能夠?qū)ν粚犹卣鞯牟煌ǖ肋M行重要程度區(qū)分，增強對于當前分類任務有效的通道的特征，抑制無效特征。實驗表明，經(jīng)過注意力機制篩選過后，分類的準確率進一步提高了0.2%～0.8%、特異度指標提高了0.3%～0.7%。這表明模型對于將缺陷件誤分為良品的概率也相應減小。圖14(c)的實驗結果表明：改進后的BiFPN對于相似件的區(qū)分能力是通過改善關注點特征位置和對其的置信度實現(xiàn)。使用Grad-CAM++進行可視化的效果如圖16所示，可知：該模型的關注點質(zhì)量有了很大提升：對于缺陷件，該模型關注點集中在存在缺陷的一小塊區(qū)域，而且模型關注的位置基本完全覆蓋了缺陷存在的位置；對于良品圖像，其關注點覆蓋全局，并且對于兩側的錫包區(qū)域關注度會略高。

圖16 使用改進后BiFPN的Grad-CAM++可視化結果

表1的特異度可以比較好地衡量將不良品分為不良品的概率，特異度越高，將不良品分為良品的概率就越低。采用改進后的BiFPN缺陷檢測方法，其特異度可以達到98.62%。為進一步比較對易混淆件的診斷能力，將ResNet-101模型在測試集上把不良品圖片分為良品的圖片單獨挑選出來作為易混淆圖片，共200張，采用EfficientNet結合改進后的BiFPN模型對這部分易混淆圖片進行重新診斷,結果如表2所示。

表2 易混淆圖片診斷結果

診斷結果表明，改進后的BiFPN結構對融合后特征的通道做了進一步篩選，主要表達特征的通道更被模型關注，對于易混淆件的區(qū)分能力比原始BiFPN結構提升了約22%。

6.3 實際驗證

在實際工廠流水線上采集一天的電樞圖片，由于產(chǎn)線上良品數(shù)量遠高于不良品的數(shù)量，為進一步驗證模型，從經(jīng)過工廠的質(zhì)量檢測部門判定為不良品的電樞中隨機挑選500個，在判斷為良品的電樞中隨機挑選500個。將挑選出的圖片提取ROI后再次將ROI圖片交給質(zhì)量檢測部門進行二次分類，確保標簽的準確性。最終得到壞件的圖片987張、好件的圖片2 013張，共3 000張圖片。

通過本文作者提出的改進的BiFPN模型結合EfficientNet網(wǎng)絡進行診斷，得到的診斷結果如表3所示。

表3 實際ROI圖片診斷結果的混淆矩陣

通過計算可以得到模型預測的準確率為98.50%、精確率為99.35%、召回率為98.41%、特異度為98.68%、值為98.88%，基本上和實驗結果差不多，這表明文中模型在電樞缺陷的診斷上具有良好的魯棒性。此外，自動化流水線上良品約占95%，文中模型在良品占50%的情況下，其值可以達到98.88%，在流水線上診斷的準確率勢必會更高。單個電樞從圖片采集、裁剪到最終完成診斷耗時不超過3 s，達到了應用于工業(yè)生產(chǎn)線的標準。

7 結論

本文作者提出了一種基于改進BiFPN的微特電機電樞外觀缺陷檢測方法。先將采集的圖片進行獲取ROI、裁剪的預處理操作，然后輸入特征提取網(wǎng)絡獲取初步的5個維度特征，將獲取的特征送入改進的BiFPN進行多維特征融合，并利用通道注意力機制對特征進行篩選，最后將篩選出的特征送入分類器完成圖像缺陷檢測。結論如下：

(1)利用多種深度學習檢測方法進行電樞缺陷診斷對比，本文作者提出的方法的檢測精度最高，達到了98.42%；

(2)添加特征融合操作，多維度的特征更有利于模型對圖像缺陷進行準確判斷；

(3)對于模型易誤分相似件的問題進行了研究，利用通道注意力機制對有效特征進行增強，并對無效特征進行抑制，可有效提升模型對相似件的診斷能力；

(4)在實際流水線中的檢測結果表明，所提出的檢測方法具備良好的魯棒性。

本文作者提出的檢測方法對于微型難區(qū)分非標工件的外觀缺陷檢測與品質(zhì)控制具有重要意義。