基于Darknet網(wǎng)絡(luò)和YOLO4的實(shí)時(shí)電路板故障檢測算法

趙 巖，孔祥偉，馬春斌，楊 浩

（1.國營長虹機(jī)械廠，廣西 桂林 541003；2.北京鈦航信息技術(shù)有限公司，北京 100195）

0 引言

隨著現(xiàn)代電子集成技術(shù)的快速發(fā)展，復(fù)雜裝備中核心的系統(tǒng)功能已經(jīng)通過大規(guī)模集成電路進(jìn)行實(shí)現(xiàn)，且電路板上元件越來越密集，電路也更加復(fù)雜。一方面使用集成電路技術(shù)使得裝備在精密化、小型化、計(jì)算能力上有了顯著的提升；另一方面，電路板出現(xiàn)故障以后往往很難進(jìn)行檢測，也伴隨著裝備突發(fā)失效的風(fēng)險(xiǎn)。電子設(shè)備維修保障中，集成電路執(zhí)行的功能越來越重要，快速識別和檢修故障是至關(guān)重要的步驟。隨著印制電路板的密集化和多層化，傳統(tǒng)的接觸式電路板檢測技術(shù)的各種限制和缺陷變得越來越明顯，不但需要接觸式檢測，而且只能發(fā)現(xiàn)已經(jīng)出現(xiàn)的故障，對于潛在的故障難以診斷。傳統(tǒng)的接觸式電路板故障檢測在微波、毫米波等高頻電路中檢測時(shí)，使用接觸式檢測可能會(huì)導(dǎo)致在檢測時(shí)影響到電路分布參數(shù)，影響原來的電路工作，所以接觸式檢測不能適用于高頻電路的檢測。除此之外，接觸式電路板檢測需要對電路板進(jìn)行拆卸和組裝，這可能會(huì)增加故障的概率。接觸式檢測需要使用探針進(jìn)行接觸，這可能會(huì)對電路板造成損傷，需要對每個(gè)測試點(diǎn)進(jìn)行測試，測試時(shí)間較長。隨著電子設(shè)備的不斷發(fā)展，接觸式電路板檢測技術(shù)的局限性越來越明顯，需要研究新的非接觸式電路板檢測技術(shù)。

近些年來，國內(nèi)外對電路板故障診斷技術(shù)的研究力度逐步加大，主要側(cè)重在使用機(jī)器學(xué)習(xí)方法來實(shí)現(xiàn)故障診斷模型。其中，周金祖［1］等提出基于改進(jìn)隱馬爾科夫模型的電路板故障診斷算法，并引入遺傳算法訓(xùn)練模型的參數(shù)，克服了傳統(tǒng)算法的收斂速度慢、易陷入局部最優(yōu)解和運(yùn)算復(fù)雜等缺點(diǎn)，改進(jìn)后模型的故障預(yù)測準(zhǔn)確率、收斂速度和收斂穩(wěn)定性都有明顯改善；郝建新［2］等提出基于SVM 與改進(jìn)D-S理論電路板故障診斷方法，所提算法可以有效降低各證據(jù)體對診斷結(jié)論的沖突，增強(qiáng)正確診斷結(jié)果的信度顯著提高；王力［3］等提出基于BCL-ASA-BP神經(jīng)網(wǎng)絡(luò)的模擬電路板芯片故障診斷，其提出的方法對芯片故障綜合診斷準(zhǔn)確率可達(dá)98.35%，較傳統(tǒng)BP 算法提升13.9%。謝永成［4］等提出基于GA-BP 神經(jīng)網(wǎng)絡(luò)的裝甲車輛電路板故障診斷，能夠有效提升裝甲車輛電氣系統(tǒng)電路板故障診斷效率和質(zhì)量，郝建新等［5］提出了一種由特征提取網(wǎng)絡(luò)與關(guān)系學(xué)習(xí)網(wǎng)絡(luò)并行構(gòu)成的可綜合利用溫度序列局部特征及特征間關(guān)系的電路板故障診斷模型，實(shí)現(xiàn)電路板故障的高準(zhǔn)確度診斷。黃威等［6］提出了基于深度學(xué)習(xí)的機(jī)器人電路板自主故障檢測系統(tǒng)，提升模型對細(xì)小故障的檢測，精確故障定位。Song等［7］提出一種結(jié)合計(jì)算機(jī)視覺的簡單高效的智能故障診斷方法，有效提取部件的熱故障特征，減少誤診和誤診不足。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展及應(yīng)用，針對圖像識別檢測領(lǐng)域，一些專家也使用深度學(xué)習(xí)技術(shù)進(jìn)行了相關(guān)探索，其中Darknet深度學(xué)習(xí)框架結(jié)合YOLO［8］在圖像檢測方向成果顯著。王輝等［9］研究了基于Darknet和YOLO3的水果圖像識別，所構(gòu)建模型能夠有效提取水果圖像的不同層特征，與原模型相比不依賴于批量大小，準(zhǔn)確率達(dá)到95.6%；使用改進(jìn)的DarkNet-53作為主干網(wǎng)絡(luò)的水果目標(biāo)檢測模型，平均識別精度達(dá)到85.91%；李珣等［10］研究了基于Darknet框架下YOLO v2算法的車輛多目標(biāo)檢測方法，基于YOLOvocRV 模型的車輛多目標(biāo)檢測方法的檢測率在自由流狀態(tài)下可達(dá)99.11%，同步流狀態(tài)下可達(dá)97.62%，阻塞流狀態(tài)下可達(dá)到97.14%，具有較小的誤檢率和良好的魯棒性。虞滸等［11］針對深度診斷模型較難處理信號緊鄰特征點(diǎn)以及多變工況導(dǎo)致模型診斷精度和泛化性能不足的問題，梅玲玲等［12］研究設(shè)計(jì)了一種基于深度學(xué)習(xí)的道路車輛目標(biāo)檢測系統(tǒng)，簡歷改進(jìn)的YOLOv4模型處理噪聲干擾信息，減少了模型計(jì)算參數(shù)量，提高檢測準(zhǔn)確性。魏小玉等［13］提出一種基于改進(jìn)輕量化神經(jīng)網(wǎng)絡(luò)的手勢識別方法，檢測準(zhǔn)確度較整體提升2.62%，達(dá)到了96.18%。段中興等［14］針對盲道障礙物檢測提出改進(jìn)YOLOv4算法，提高檢測準(zhǔn)確。牛振振等［15］提出了基于YOLOv5s的一個(gè)輕量型的CNN 模型YOLO＿AD，用于PCB缺陷檢測，減少模型參數(shù)量的同時(shí)加大對細(xì)節(jié)特征的提取，提升了識別率。侯玥等［16］提出一種新的小樣本目標(biāo)檢測模型。謝黎等［17］提出一種基于改進(jìn)YOLOv4網(wǎng)絡(luò)的電路板元器件缺陷檢測方法，對電路板上的不同元器件進(jìn)行識別。何國忠等［18］提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的電路板缺陷檢測網(wǎng)絡(luò)，基于YOLO v4網(wǎng)絡(luò)加入全局注意力機(jī)制，提高了對PCB 電路板缺陷檢測的精度。崔俊佳等［19］提出了基于YOLOv5s加ResNet18的自沖鉚接偏鉚缺陷檢測算法，對所提供的數(shù)據(jù)測試集的識別準(zhǔn)確度達(dá)到100%。本文基于格拉姆角場（GAF）和DarkNet-53圖像識別算法提出GAF-DarkNet算法，對滾動(dòng)軸承故障診斷具有更好的泛化能力和識別效果。

綜上所述，針對電路板故障診斷問題，使用基于圖像的人工智能方法來提高電路板診斷識別率已經(jīng)成為主流的研究方向，本文在此研究基礎(chǔ)上，研究重心側(cè)重在實(shí)時(shí)電路板故障檢測工程應(yīng)用角度，將采用以紅外和可見光結(jié)合的圖像處理與分析方式，通過特征提取能力更強(qiáng)的深度學(xué)習(xí)架構(gòu)來進(jìn)一步提高電路板故障診斷能力，并依托于非接觸式的方式，能夠基于視頻流進(jìn)行實(shí)時(shí)的故障診斷，在工程應(yīng)用上更具備可行性。核心優(yōu)化點(diǎn)包括：

1）構(gòu)建完備的缺陷電路板圖像樣本數(shù)據(jù)集，并經(jīng)過圖像增強(qiáng)技術(shù)提高樣本豐富度和規(guī)模，為深度學(xué)習(xí)大批量訓(xùn)練提供數(shù)據(jù)基礎(chǔ)；

2）引入更先進(jìn)的Darknet框架和YOLO4算法來實(shí)現(xiàn)電路板元器件的精確目標(biāo)檢測；

3）采用紅外成像和可見光結(jié)合的形式，對圖像進(jìn)行配準(zhǔn)后，以紅外溫度指標(biāo)作為異常表征，并反向確定故障的元器件。

1 數(shù)據(jù)集說明

本算法樣本圖像采集使用?？低昅V-CE120-10UC工業(yè)相機(jī)，成像像素1 200 萬，搭配海康威視 MVLHF0824M-10MP工業(yè)相機(jī)鏡頭，光源為環(huán)形面光，采集到的圖像為bmp格式。為提高數(shù)據(jù)樣本量，以及豐富不同場景的數(shù)據(jù)樣本，采集了多種規(guī)格的電路板圖像。

樣本中的電路板缺陷為完整電路板人為制造，元器件識別樣本為完整電路板。樣本采集過程中保存同一塊電路板不同位置、不同角度的圖像，同時(shí)針對同一種類的不同電路板，對圖像進(jìn)行翻轉(zhuǎn)、裁剪、旋轉(zhuǎn)、縮放、平移和添加噪聲等操作對數(shù)據(jù)集進(jìn)行擴(kuò)展，盡可能增加數(shù)據(jù)集所覆蓋的情況，提高模型的魯棒性。

樣本標(biāo)注使用labelImg［9］進(jìn)行，標(biāo)注過程如圖1所示。

圖1 使用labelImg進(jìn)行樣本標(biāo)注

標(biāo)注后生成標(biāo)定數(shù)據(jù)，即Yolo4 目標(biāo)檢測算法需要的標(biāo)注數(shù)據(jù)，數(shù)據(jù)組成為：

式中，label為樣本類別序號；place＿x為框選目標(biāo)左上角X坐標(biāo)；place＿y為框選目標(biāo)左上角Y坐標(biāo)；width為框選目標(biāo)寬度；height為框選目標(biāo)高度。

以上數(shù)據(jù)均進(jìn)行歸一化處理，即符合Yolo4 訓(xùn)練所需坐標(biāo)格式。如圖2所示。

圖2 圖像樣本標(biāo)注樣式

圖3 元器件目標(biāo)檢測算法流程

樣本集由訓(xùn)練樣本和樣本標(biāo)注數(shù)據(jù)組成，即樣本圖片＋樣本標(biāo)注數(shù)據(jù)，命名方式根據(jù)樣本圖片的命名，即訓(xùn)練樣本名稱和標(biāo)注數(shù)據(jù)名稱相同。訓(xùn)練樣本圖片與標(biāo)注數(shù)據(jù)放于同一級目錄中以便算法讀取。驗(yàn)證集從標(biāo)注樣本后的樣本中選取，選取比例：

2 算法介紹

2.1 檢測算法

元器件目標(biāo)檢測是電路板故障定位的核心，本算法以Darknet深度學(xué)習(xí)框架作為基礎(chǔ)，使用YOLO4目標(biāo)檢測算法，具有更好的分層特征提取、學(xué)習(xí)能力和特定硬件環(huán)境下實(shí)時(shí)高效處理大規(guī)模數(shù)據(jù)的能力，能更好地滿足基于機(jī)器學(xué)習(xí)的紅外圖像故障檢測算法系統(tǒng)對識別精度和實(shí)時(shí)性的要求。

首先設(shè)計(jì)并搭建基于深度學(xué)習(xí)的目標(biāo)檢測識別模型，以數(shù)據(jù)為驅(qū)動(dòng)，數(shù)據(jù)越完備，模型學(xué)習(xí)到的目標(biāo)檢測識別能力的泛化性越強(qiáng)。模型具有較高的特征提取、學(xué)習(xí)、處理大規(guī)模數(shù)據(jù)的能力，能更好地滿足基于機(jī)器學(xué)習(xí)的紅外圖像故障檢測算法系統(tǒng)對識別精度和實(shí)時(shí)性的要求。在學(xué)習(xí)階段，模型迭代輸入小規(guī)模數(shù)據(jù)集中的序列圖像，輸出預(yù)測的待識別目標(biāo)信息，然后計(jì)算預(yù)測結(jié)果與真實(shí)標(biāo)簽之間的損失值，通過梯度反向傳播的方式對模型參數(shù)進(jìn)行迭代優(yōu)化，挖掘小樣本數(shù)據(jù)集中包含的輸入圖像序列數(shù)據(jù)集與待識別目標(biāo)之間的復(fù)雜映射關(guān)系，訓(xùn)練學(xué)習(xí)過程中采用的數(shù)據(jù)增強(qiáng)、特征提取模塊設(shè)計(jì)、學(xué)習(xí)優(yōu)化方案等保證了算法模型的泛化能力。在輔助識別階段，實(shí)時(shí)輸入新采集的序列圖像，模型學(xué)習(xí)到的檢測識別能力對每一幀圖像中的目標(biāo)進(jìn)行識別，給出識別目標(biāo)的大小、位置、置信度等信息。

2.1.1 模型結(jié)構(gòu)

如圖4所示，基于Darknet＋YOLO4的目標(biāo)檢測模型采用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，主要包括特征提取主干網(wǎng)絡(luò)（CSPDarkNet53）、頸部網(wǎng)絡(luò)（Neck Network）和head預(yù)測模塊三部分。

圖4 Darknet＋YOLO4的目標(biāo)檢測模型結(jié)構(gòu)

其中：

1）主干特征提取網(wǎng)絡(luò)：CSPDarkNet53作為算法的主干特征提取網(wǎng)絡(luò)，由5個(gè)CSPNet子模塊組成（對應(yīng)圖3中的Residual X），充分提取圖像特征后，將后3 個(gè)CSPNet模塊提取的不同尺度圖像特征傳入SPP網(wǎng)絡(luò)和PANet網(wǎng)絡(luò)進(jìn)行特征融合。

2）頸部網(wǎng)絡(luò)：頸部網(wǎng)絡(luò)由空間金字塔池化SPP模塊和路徑聚合網(wǎng)絡(luò)PANet組合而成。SPP 模塊對特征層進(jìn)行1×1、5×5、9×9和13×13四種尺度的最大值池化（Max pooling），能有效提高網(wǎng)絡(luò)的感受野，更加有效地增加了主干特征的接收范圍，顯著地分離了重要的上下文特征。PANet是在特征金字塔網(wǎng)絡(luò)（FPN，feature pyramid network）上添加了一個(gè)自下而上的路徑增強(qiáng)結(jié)構(gòu)，避免在傳遞過程中出現(xiàn)淺層信息丟失的問題，對傳入的圖像特征進(jìn)行反復(fù)特征提取，自底而上融合從主干網(wǎng)絡(luò)不同特征層提取的特征，形成強(qiáng)定位特征，進(jìn)一步提高特征提取和定位能力。

3）頭部網(wǎng)絡(luò)：Head網(wǎng)絡(luò)用于回歸和分類，從頸部網(wǎng)絡(luò)輸入三種不同尺度的特征圖，分別檢測小、中、大3種目標(biāo)，預(yù)測層經(jīng)過處理輸出目標(biāo)得分、預(yù)測錨框尺寸坐標(biāo)、分類置信度等。

4）模型學(xué)習(xí)策略：模型損失函數(shù)由回歸框預(yù)測損失LCIoU、置信度損失LConf、分類損失Lcls三部分，公式如下：

2.1.2 模型訓(xùn)練

本次訓(xùn)練采用命令行進(jìn)行，經(jīng)過對YOLOv4源碼進(jìn)行編譯后，使用的訓(xùn)練命令如圖5所示。

圖5 模型訓(xùn)練指令

訓(xùn)練還需對整體文件進(jìn)行配置，即手動(dòng)設(shè)定data文件。xxx.data文件為目錄文件，包括了權(quán)重保存位置（backup）、訓(xùn)練集序文件地址（train）、驗(yàn)證集序文件地址（valid）、類名地址（names）、類別數(shù)量（classes）。

訓(xùn)練過程如圖6所示，可以看出，當(dāng)?shù)?xùn)練12 000次后，模型的誤差損失已經(jīng)降為0.459 7，mAP＠0.5 為99.2%，整體精度能夠滿足目標(biāo)檢測要求。

圖6 訓(xùn)練過程

2.1.3 Weights文件篩選

訓(xùn)練權(quán)重文件篩選主要依靠訓(xùn)練中的Loss曲線和mAP曲線以及對實(shí)時(shí)保存（每100epoch保存一次）的模型進(jìn)行單張預(yù)測或批量預(yù)測進(jìn)行。

訓(xùn)練過程中算法會(huì)顯示訓(xùn)練的實(shí)時(shí)Loss曲線和mAP曲線，每一個(gè)epoch 的Loss和每100 個(gè)epoch（epoch＞1 000）的mAP會(huì)形成曲線圖。若Loss持續(xù)下降或成振蕩下降過程，mAP呈上升趨勢為較好的訓(xùn)練結(jié)果。但是為防止過擬合出現(xiàn)，應(yīng)根據(jù)實(shí)際情況進(jìn)行判斷是否停止訓(xùn)練。

根據(jù)實(shí)時(shí)的保存模型也可對訓(xùn)練效果進(jìn)行篩選。使用命令對權(quán)重文件進(jìn)行單張不同圖像（不在訓(xùn)練集和測試集，單獨(dú)采集的圖像）進(jìn)行預(yù)測，通過預(yù)測結(jié)果對當(dāng)前模型訓(xùn)練效果進(jìn)行判斷。

模型測試時(shí)需要關(guān)閉cfg中Train下的batch和subdivisions，打開Test下的batch和subdivisions，即使batch和subdivisions都為1。

2.1.4 模型測試

輸入實(shí)時(shí)采集的圖像之后，模型先將輸入的圖像縮放到固定的尺寸（416×416），然后輸入到特征提取網(wǎng)絡(luò)中進(jìn)行特征提取，經(jīng)過頸部網(wǎng)絡(luò)處理后將輸入的圖像提取成S×S的特征網(wǎng)格。在Head預(yù)測模塊，每個(gè)網(wǎng)格負(fù)責(zé)檢測落在格子里的物體，每個(gè)格子做以下幾種預(yù)測，該網(wǎng)格是否包含物體，包含物體的置信度和包含物體的位置坐標(biāo)分別是多少。因此，每個(gè)小格需要預(yù)測的數(shù)據(jù)維度為B×（1＋4）＋C，其中，B代表每個(gè)網(wǎng)格先驗(yàn)框的個(gè)數(shù)，C表示要檢測的物體（不包含背景）類別個(gè)數(shù)，包含每個(gè)類別的預(yù)測。1表示該網(wǎng)格是否包含物體以及包含物體的置信度得分，4用于預(yù)測矩形框的位置坐標(biāo)。因此，網(wǎng)絡(luò)模型最終特征層的大小為S×S×（B×5＋C），也即每個(gè)網(wǎng)格包含5個(gè)預(yù)測值，分別是4個(gè)位置坐標(biāo)和1個(gè)置信度。置信度分?jǐn)?shù)反映模型預(yù)測的邊界框中是否包含物體，以及其預(yù)測的邊界框的準(zhǔn)確程度。如果該單元格中不存在目標(biāo)，則置信度分?jǐn)?shù)為0；否則，置信度分?jǐn)?shù)應(yīng)該等于預(yù)測框與真實(shí)值的IoU。實(shí)際上，這一步得到的結(jié)果并不是真實(shí)預(yù)測框，還需要對其進(jìn)行解碼，即用提前預(yù)設(shè)的先驗(yàn)錨框?qū)捀邔μ卣鲗拥膶捀哌M(jìn)行計(jì)算，計(jì)算真實(shí)預(yù)測框的公式為：

結(jié)合圖7，圖中實(shí)線框代表預(yù)測框，虛線框代表先驗(yàn)框，公式中各參數(shù)的含義如下：cx和cy代表先驗(yàn)框中心點(diǎn)所在區(qū)域的左上角的坐標(biāo)，pw和ph代表了當(dāng)前先驗(yàn)框的寬和高，bx、by、bw、bh代表預(yù)測框的中心點(diǎn)坐標(biāo)和長寬，tx、ty、tw、th代表模型學(xué)習(xí)得到的預(yù)測框相對于先驗(yàn)框的偏移量。公式中的σ代表sigmoid函數(shù)，作用是將坐標(biāo)偏移量變換到［0，1］區(qū)間，這樣得到的預(yù)測框的中心點(diǎn)坐標(biāo)bx、by會(huì)限制在當(dāng)前區(qū)域內(nèi)，保證一個(gè)區(qū)域只預(yù)測中心點(diǎn)在該區(qū)域內(nèi)的物體，有利于模型收斂。最后，bx、by、bw、bh就是得到最后預(yù)測框的中心坐標(biāo)以及寬高。

圖7 邊界框回歸示意圖

其中，由于不同數(shù)據(jù)集的先驗(yàn)錨框尺寸也不盡相同，在實(shí)際應(yīng)用場景中需要根據(jù)數(shù)據(jù)集計(jì)算相應(yīng)的錨框尺寸。本系統(tǒng)采用K-means聚類算法［20］計(jì)算錨框尺寸，具體計(jì)算步驟如圖8所示。

圖8 K-means算法計(jì)算錨框尺寸

最后，解碼之后可能會(huì)出現(xiàn)多個(gè)高度重復(fù)的預(yù)測框指向同一個(gè)目標(biāo)的情況，而目標(biāo)檢測任務(wù)中理想的檢測結(jié)果應(yīng)該是和檢測目標(biāo)一一對應(yīng)，所以還需要對檢測結(jié)果進(jìn)行“去重”處理，本系統(tǒng)使用非極大值抑制［21］（NMS，non maximum suppression）篩選出一定區(qū)域內(nèi)屬于同一種類的得分最高的預(yù)測框，對檢測結(jié)果進(jìn)行“去重”。

2.2 紅外溫度識別

采用在線式監(jiān)控測溫?zé)嵯駜x進(jìn)行視頻拍攝，能夠?qū)崟r(shí)地檢測出電路板的溫度變化。

2.3 圖像配準(zhǔn)

為了使可見光圖像與紅外圖像實(shí)現(xiàn)配準(zhǔn)，配準(zhǔn)值采用如下公式計(jì)算：

其中：Tx為配準(zhǔn)值，LUx為紅外圖像中的框選輪廓外接矩形的左上角坐標(biāo)x值，Ws為紅外圖像寬，Wb為可見光圖像寬，LU′x為可見光圖像框選輪廓外接矩形。Y坐標(biāo)配準(zhǔn)同理所示。計(jì)算出的值為絕對值，根據(jù)紅外相機(jī)和可見光相機(jī)相對位置進(jìn)行相應(yīng)正負(fù)值設(shè)置。結(jié)合PCB 板的電路設(shè)計(jì)和元器件指標(biāo)的分析，設(shè)置合適的溫度閾值，實(shí)現(xiàn)了異常發(fā)熱元器件的定位。

2.4 故障檢測

經(jīng)過圖像配準(zhǔn)后，通過設(shè)定異常溫度閾值的形式，能夠判定溫度異常區(qū)域，然后該算法能夠?qū)崿F(xiàn)視頻流下的元器件自動(dòng)識別，定位到元器件級短路故障，以及短路故障區(qū)域。

3 模型驗(yàn)證

3.1 整體框架

為驗(yàn)證基于Darknet網(wǎng)絡(luò)和YOLO4的實(shí)時(shí)電路板故障檢測算法性能，設(shè)計(jì)算法驗(yàn)證平臺(tái)，主要包括軟件算法和硬件處理平臺(tái)，基本組成如圖9所示。

圖9 電路板故障診斷算法系統(tǒng)組成

3.1.1 硬件部分

本系統(tǒng)的硬件部分主要由IRAY-A8-Z3在線式監(jiān)控測溫?zé)嵯駜x、MV-CE120-10UC工業(yè)相機(jī)，配套MVL-HF0824M-10MP鏡頭以及攜有NVIDIA顯卡的工作站構(gòu)成。

3.1.2 軟件部分

軟件主要功能是實(shí)現(xiàn)特定缺陷檢測、元器件識別、異常發(fā)熱元器件識別和定位以及斷路區(qū)域檢測，并以人機(jī)交互的方式實(shí)現(xiàn)目標(biāo)模型、參數(shù)的導(dǎo)入和設(shè)置以及檢測識別結(jié)果的顯示。

3.1.3 各模塊功能簡要說明

1）NVIDIA 顯卡工作站：目前測試到的最低要求Ge-Force 1050。由于構(gòu)建軟件識別的權(quán)重模型需要GPU 進(jìn)行高速計(jì)算，因此軟件使用依賴于NVIDIA 顯卡。

2）測溫?zé)嵯駜x：采用IRAY-A8-Z3在線式監(jiān)控測溫?zé)嵯駜x，使用以太網(wǎng)網(wǎng)絡(luò)接口及I／O 信號輸出。

3）工業(yè)相機(jī)：采用?？低昅V-CE120-10UC 工業(yè)相機(jī)，配套?？低昅VL-HF0824M-10MP鏡頭，使用USB進(jìn)行數(shù)據(jù)傳輸。

4）元器件識別：元器件識別指對PCB 板上電阻、電容、電感等典型元器件進(jìn)行識別和定位。

5）圖像配準(zhǔn)：圖像配準(zhǔn)是指紅外圖像和可見光圖像之間的對齊。

6）異常發(fā)熱元器件識別：異常發(fā)熱元器件識別是指對PCB板上短路引起異常發(fā)熱的元器件進(jìn)行識別和定位。

7）斷路檢測：斷路檢測是指針對元器件斷路引起的PCB板不能正常工作的功能區(qū)域進(jìn)行檢測。

3.2 試驗(yàn)對象說明

如圖10所示，為被測電路板設(shè)計(jì)原理圖。電路板有多組電源轉(zhuǎn)換電路、MCU 控制芯片，串口芯片、多路繼電器控制電路、多路負(fù)載及指示燈組成。本電路能夠在串口的控制下，實(shí)現(xiàn)不同繼電器的開關(guān)閉合控制，從而接通或斷開不同的負(fù)載和指示燈。將這些狀態(tài)預(yù)先定義為正常狀態(tài)或某種故障狀態(tài)，并通過紅外相機(jī)進(jìn)行拍攝和數(shù)據(jù)讀取分析，根據(jù)紅外成像的原理，在被測電路板元器件正常工作狀態(tài)和非正常工作狀態(tài)器件發(fā)熱不同，紅外成像的溫度顯示顏色不同，來分析出電路板故障位置和故障原因。從而達(dá)到演示紅外成像故障診斷原理和驗(yàn)證紅外成像故障診斷軟件功能是否正常的效果。

圖10 被測電路板設(shè)計(jì)原理圖

3.2.1 電路板狀態(tài)說明

電路板分為4個(gè)區(qū)域，每個(gè)區(qū)域通過1路電源控制后面2路負(fù)載通斷，正常情況下，電路板上電后每個(gè)區(qū)域的電源正常工作，一路負(fù)載接通狀態(tài)，另一路負(fù)載斷開狀態(tài)。這樣紅外相機(jī)測到不同區(qū)域正常狀態(tài)時(shí)溫度適中，短路狀態(tài)溫度偏高，斷開狀態(tài)溫度偏低。電源無輸出故障時(shí)電源區(qū)域溫度偏低。

圖11為標(biāo)識電路板器件布局示意圖，通過串口發(fā)送不同指令，使負(fù)載處于接通或斷開狀態(tài)，從而模擬不同的故障現(xiàn)象。

圖11 電路板器件布局示意圖

3.2.2 被測電路板使用

被測電路板由多組電源轉(zhuǎn)換電路、MCU 控制芯片，串口芯片、多路繼電器控制電路、多路負(fù)載及指示燈組成。本電路能夠在串口的控制下，實(shí)現(xiàn)不同繼電器的開關(guān)閉合控制，從而接通或斷開不同的負(fù)載和指示燈。將這些狀態(tài)預(yù)先定義為正常狀態(tài)或某種故障狀態(tài)，并通過紅外相機(jī)進(jìn)行拍攝和數(shù)據(jù)讀取分析以及紅外成像的原理，根據(jù)被測電路板元器件正常工作狀態(tài)和非正常工作狀態(tài)器件發(fā)熱的不同和紅外成像溫度顯示顏色的不同，分析出電路板故障位置和故障原因。從而達(dá)到演示紅外成像故障診斷原理和驗(yàn)證紅外成像故障診斷軟件功能是否正常的效果。

將被測電路板連接線纜上電后，被測電路板軟件界面可通過串口連接被測電路板，并通過發(fā)送指令來改變被測電路板工作狀態(tài)，從而模擬不同的故障現(xiàn)象，提供給算法系統(tǒng)進(jìn)行分析，用于驗(yàn)證紅外故障檢測算法的功能。

4 實(shí)驗(yàn)結(jié)果與分析

PCB紅外故障檢測軟件主界面如圖12所示，通過采集實(shí)驗(yàn)對象運(yùn)行過程中的紅外圖像數(shù)據(jù)提供給神經(jīng)網(wǎng)絡(luò)中訓(xùn)練為檢測使用的圖像模型，進(jìn)而識別出電路板預(yù)先設(shè)置好的故障。預(yù)想中的斷路故障、短路故障和元器件等算法均可正確識別被測對象。將采集實(shí)驗(yàn)對象運(yùn)行過程中的視頻流，輸入到目標(biāo)檢測模型中，用于元器件實(shí)時(shí)定位；并基于紅外圖像識別溫度異常，經(jīng)過圖像配準(zhǔn)后，定位溫度異常元器件，以實(shí)現(xiàn)電路板元器件檢測、元器件級短路，以及區(qū)域級斷路定位，圖13～17展示了實(shí)驗(yàn)結(jié)果。

圖12 PCB紅外故障檢測主界面

圖13 圖像配準(zhǔn)實(shí)驗(yàn)結(jié)果

通過 MV-CE120-10UC 工業(yè)相機(jī)及配套的 MVLHF0824M-10MP鏡頭，采用USB3.0獲取待檢PCB 板可見光圖像，然后進(jìn)行圖像配準(zhǔn)，將紅外圖像和可見光圖像之間對齊，如圖13所示。

元器件識別部分，打開待識別的PCB 電路板，開始對PCB板上電阻、電容、電感等典型元器件進(jìn)行識別和定位，并打印出各種元器件的數(shù)量信息，如圖14所示。

圖14 元器件統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果

斷路檢測針對元器件斷路引起的PCB 板不能正常工作的功能區(qū)域進(jìn)行檢測，根據(jù)電路板的位置劃定四個(gè)區(qū)域，即將整個(gè)電路板區(qū)域分為平均分為4個(gè)小區(qū)域，劃定斷路檢測區(qū)域，進(jìn)行檢測。通過紅外相機(jī)獲取設(shè)定區(qū)域的平均溫度，包含最高溫度，最低溫度，使能狀態(tài)，平均溫度，相應(yīng)溫度坐標(biāo)等。并進(jìn)行相應(yīng)的數(shù)據(jù)處理，用來判定區(qū)域是否存在斷路問題，判斷PCB是否斷路的步驟：

1）獲取該區(qū)域的5個(gè)連續(xù)不同平均溫度獲取數(shù)量作為判斷的靈敏度；

2）判斷這5個(gè)平均溫度是否為依次減小的關(guān)系，且第一個(gè)平均溫度與第五個(gè)平均溫度的差值大于0.3，設(shè)置0.3為判定閾值，也可根據(jù)具體情況修改；

3）若符合條件，則為斷路，在圖像中畫出區(qū)域，清空數(shù)據(jù)；若不符合條件，清空數(shù)據(jù)。

按照這個(gè)步驟得到的斷路區(qū)域檢測結(jié)果如圖15所示，并將得到的斷路區(qū)域信息打印在主界面右下角，提示區(qū)域斷路。

圖15 斷路區(qū)域檢測

為方便調(diào)試和開發(fā)，以及簡化操作步驟，斷路檢測判定以線程方式進(jìn)行，檢測故障顯示在紅外發(fā)熱檢測線程進(jìn)行，與發(fā)熱檢測為順序關(guān)系，并通過發(fā)熱檢測的標(biāo)志位進(jìn)行控制。發(fā)熱檢測在進(jìn)行元器件識別時(shí)需要降低資源占用關(guān)閉了相機(jī)，因此斷路檢測暫停，過程結(jié)束后自動(dòng)恢復(fù)。

異常發(fā)熱元器件識別對PCB 板上短路引起異常發(fā)熱的元器件進(jìn)行識別和定位，發(fā)熱檢測部分需要配置兩組模型，每組參數(shù)包括配置文件cfg、data文件和權(quán)重，分別載入缺陷模型和元器件模型。采用IRAY-A8-Z3測溫?zé)嵯駜x，通過以太網(wǎng)和I／O 口高速采集和傳輸紅外圖像和元器件工作溫度。得到紅外圖像中的全局溫度，包含最高溫度，最低溫度、最高溫度坐標(biāo)（x，y）、最低溫度坐標(biāo)（x，y），如圖16～17所示。

圖16 發(fā)熱檢測（1）

圖17 發(fā)熱檢測（2）

實(shí)驗(yàn)表明，預(yù)設(shè)中的斷路故障、短路故障和元器件等算法均可正確識別被測對象。

5 結(jié)束語

本文結(jié)合深度學(xué)習(xí)技術(shù)，針對現(xiàn)有的接觸式電路板故障檢測方法存在的問題，提出一種新的實(shí)時(shí)非接觸式電路板故障檢測方法，即基于Darknet框架和YOLO4的電路板元器件目標(biāo)檢測算法，該方法結(jié)合K-means聚類算法實(shí)現(xiàn)元器件的實(shí)時(shí)定位識別，結(jié)合紅外和可見光圖像，根據(jù)紅外溫度指標(biāo)判斷元器件級短路故障以及區(qū)域級短路故障，實(shí)現(xiàn)實(shí)時(shí)的電路板故障檢測，具備較好的工程應(yīng)用效果。

本文研究有利于電路板故障檢測的發(fā)展，目前本文針對特定電路板型號得到了良好的預(yù)測結(jié)果，未來將針對不同型號武器裝備上的電路板進(jìn)行泛化測試，通過增加樣本種類、樣本規(guī)模、故障類型來提高模型的檢測準(zhǔn)確度；并優(yōu)化模型設(shè)計(jì)，以實(shí)現(xiàn)元器件級的短路故障檢測。