基于機(jī)器學(xué)習(xí)的連接器縮針彎針檢測(cè)系統(tǒng)研究

韓亦歌，姚宇珂，楊旭偉，魏士皓

（1.中國(guó)商飛5G 工業(yè)創(chuàng)新中心，上海 201324；2.上海飛機(jī)制造有限公司，上海 201324）

隨著“工業(yè)4.0”等與智能制造相關(guān)的概念被提出，未來(lái)智能制造業(yè)主要分為“智能實(shí)驗(yàn)室／工廠”及“智能生產(chǎn)”兩大主題?！笆濉敝衅谝詠?lái)，智能制造成為未來(lái)10 年我國(guó)制造業(yè)轉(zhuǎn)型升級(jí)的發(fā)展方向，而航空制造業(yè)是先進(jìn)制造技術(shù)領(lǐng)航領(lǐng)域，智能實(shí)驗(yàn)室作為未來(lái)航天產(chǎn)品制造基礎(chǔ)設(shè)施，其智能化是必然[1]。電連接器是連接器件與組件、組件與單機(jī)、單機(jī)與單機(jī)、系統(tǒng)與系統(tǒng)必不可少的基礎(chǔ)元件，起著傳輸能量和信號(hào)的重要作用[2]。電連接器在整個(gè)民機(jī)工程中都有著巨大而普遍的使用價(jià)值，它在控制系統(tǒng)中同時(shí)具有信息傳遞和能量傳送的功能，所以連接器的可靠性和安全性對(duì)整個(gè)工程起著舉足輕重的作用[3]。在航空民機(jī)使用中，主要以圓形連接器為主[4]。目前連接器在應(yīng)用前通常只能進(jìn)行單純的人目檢查，人工必須判斷插針是否發(fā)生扭曲、縮針等，易受外部環(huán)境、個(gè)體差異等各種因素的影響，因此容易發(fā)生漏檢、誤檢的情形，測(cè)量的準(zhǔn)確度與結(jié)果無(wú)法得以提高。而且因?yàn)閷?duì)連接器插針的測(cè)量是一項(xiàng)大批量且長(zhǎng)時(shí)間的工作，所以人工檢測(cè)通常都無(wú)法持續(xù)穩(wěn)定地進(jìn)行，這是一項(xiàng)帶有相當(dāng)高復(fù)雜性的工作。

目前查詢(xún)到有采用傳統(tǒng)的圖像處理技術(shù)判斷連接器彎針的文章，其方法對(duì)于更換連接器或者更換缺陷類(lèi)型后，無(wú)法進(jìn)行缺陷的自動(dòng)識(shí)別。本文利用基于機(jī)器視覺(jué)的圖像采集系統(tǒng)，經(jīng)過(guò)采集大量不同連接器類(lèi)型以及不同的缺陷類(lèi)型樣本后，結(jié)合機(jī)器學(xué)習(xí)算法訓(xùn)練樣本，從而使該系統(tǒng)可對(duì)于不同類(lèi)型的連接器以及不同類(lèi)型的缺陷進(jìn)行自動(dòng)識(shí)別，測(cè)量結(jié)果也具有可追溯性。

本文的主要?jiǎng)?chuàng)新點(diǎn)，就是率先把利用機(jī)器學(xué)習(xí)訓(xùn)練缺陷樣本的測(cè)試方法運(yùn)用到了航空電連接器的插針測(cè)試，相比與傳統(tǒng)的人工測(cè)試而言，這個(gè)方式精度高、重復(fù)性好，而且測(cè)試結(jié)果還帶有可追溯性，更適宜于在工業(yè)現(xiàn)場(chǎng)開(kāi)展電連接器的插針測(cè)試，因此有著相當(dāng)?shù)膶?shí)用性。

1 總體方案設(shè)計(jì)

基于機(jī)器學(xué)習(xí)的電連接器缺陷檢測(cè)針對(duì)電連接器插針是否異常，通過(guò)機(jī)器視覺(jué)取代人眼目視進(jìn)行的一種檢測(cè)。檢測(cè)系統(tǒng)需要完成電連接器圖像生成、采集，再到圖像處理、插針異常情況識(shí)別，最后將異常情況標(biāo)記到圖像上，并進(jìn)行圖像保存。所以，整個(gè)體系應(yīng)該分為圖像收集單元、圖像處理單元、缺陷檢測(cè)單元和圖像管理單元?；跈C(jī)器學(xué)習(xí)的電連接器缺陷檢測(cè)系統(tǒng)流程如圖1 所示。

圖1 基于機(jī)器學(xué)習(xí)的電連接器缺陷檢測(cè)系統(tǒng)流程Fig.1 Flow chart of electrical connector defect detection system based on machine learning

2 圖像采集硬件選擇

基于機(jī)器學(xué)習(xí)的連接器縮針彎針測(cè)試控制系統(tǒng)的圖像收集模組基本上包含了燈光控制器、燈光、鏡頭以及攝像機(jī)。其基本組成及示意圖，如圖2所顯示。

光源直接影響圖像采集的質(zhì)量。照明系統(tǒng)是機(jī)器視覺(jué)應(yīng)用最關(guān)鍵的部分之一，其主要目標(biāo)是以合適的方式將光線(xiàn)投射到被測(cè)物體上，突出被測(cè)特征部分的對(duì)比度[5]。為確保相機(jī)采集到的圖像清晰、無(wú)陰影，因此需要選擇一個(gè)光源均勻性好的、具有較寬光譜范圍的、光照強(qiáng)度足夠的并且具有較長(zhǎng)的使用壽命和較高穩(wěn)定性的光源。本模塊選用了白色光源雙排燈珠白光，燈珠呈環(huán)形分布在被測(cè)單元正上方和相機(jī)周?chē)?，確保了光線(xiàn)均勻，無(wú)陰影。此外，光源控制器能對(duì)光源進(jìn)行有效調(diào)節(jié)，方便調(diào)節(jié)光照。

鏡頭采用Basler Premium C 口鏡頭，帶有25 mm定焦距，光圈范圍F2.2-F22，分辨率為500 萬(wàn)像素。這款Basler 鏡頭屬于Premium 產(chǎn)品線(xiàn)，分辨率高、失真度低以及暗角極小，成像質(zhì)量出眾，這些特點(diǎn)讓Basler Premium 鏡頭非常適用于分辨率極高的相機(jī)，助力分析細(xì)微的結(jié)構(gòu)[6]。Basler 鏡頭如圖2所示。

圖2 Basler 鏡頭Fig.2 Basler camera lens

相機(jī)是直接進(jìn)行圖像采集的部分。為保證成像質(zhì)量，采用Basler a2A2590-60umBAS USB3.0 相機(jī)配有Sony IMX334ROI CMOS 芯片，幀速率達(dá)60 fps，分辨率達(dá)2592x1944 pixel，能滿(mǎn)足數(shù)據(jù)高速傳輸?shù)囊?。Basler 工業(yè)相機(jī)如圖3 所示。

圖3 Basler 工業(yè)相機(jī)Fig.3 Basler industrial camera

3 機(jī)械結(jié)構(gòu)的設(shè)計(jì)

檢測(cè)裝置如圖4 所示，其特征包括：圖像采集模塊和機(jī)械控制模塊。圖像采集模塊包括序號(hào)3，4和5；機(jī)械調(diào)節(jié)模塊包括序號(hào)1，2 和6。

圖4 工裝臺(tái)結(jié)構(gòu)示意圖Fig.4 Structure diagram of tooling platform

1 號(hào)模塊：可以橫向調(diào)節(jié)相機(jī)拍攝位置；2 號(hào)?？欤嚎梢哉{(diào)節(jié)相機(jī)縱向位置；3 號(hào)模塊：可以調(diào)節(jié)相機(jī)橫向拍攝角度（以鏡頭垂直向下為0°，調(diào)節(jié)范圍為-90～90°）；4 號(hào)模塊：固定相機(jī)和補(bǔ)光燈；5 號(hào)模塊：可以調(diào)節(jié)補(bǔ)光燈亮度；6 號(hào)模塊：固定待拍攝零件，并且可以上下調(diào)節(jié)零件固定高度位置。

通過(guò)調(diào)節(jié)1，2 和3 號(hào)模塊，可以把相機(jī)鏡頭固定朝向零件針腳面；再通過(guò)調(diào)節(jié)5 號(hào)和6 號(hào)模塊，以及相機(jī)焦距可以使成像質(zhì)量達(dá)到最佳。

在建設(shè)工程項(xiàng)目管理工作中，合同雙方對(duì)合同條款的理解可能存在一定的偏差。這就容易導(dǎo)致在結(jié)算時(shí)，因工作變更、價(jià)格浮動(dòng)、對(duì)合同條款不熟悉等因素給企業(yè)的經(jīng)濟(jì)利益帶來(lái)嚴(yán)重的損失，在維權(quán)方面也存在一定的困難[4]。在施工工程發(fā)生變更事項(xiàng)時(shí)，如果變更確認(rèn)不及時(shí)，責(zé)任方劃分不明確，在竣工結(jié)算時(shí)就會(huì)遇到簽證、確認(rèn)方面的問(wèn)題，導(dǎo)致延誤工程結(jié)算時(shí)間，增加工程的投入成本。

首先將相機(jī)攝像頭朝下，固定于4 號(hào)模塊中，并將補(bǔ)光燈固定在攝像頭下方；將補(bǔ)光燈與5 號(hào)模塊鏈接通電；將待檢測(cè)零件針腳面朝上，固定于6號(hào)模塊上；調(diào)節(jié)1，2，3 號(hào)模塊，使相機(jī)鏡頭按照拍攝需求對(duì)準(zhǔn)零件針腳面；然后調(diào)節(jié)6 號(hào)模塊，使零件針腳面完整被鏡頭拍攝到；最后調(diào)節(jié)5 號(hào)模塊和相機(jī)焦距，使拍攝畫(huà)面質(zhì)量達(dá)到最佳。本工裝臺(tái)裝置調(diào)節(jié)靈活、使用方便、通用性強(qiáng)。

4 算法設(shè)計(jì)及實(shí)現(xiàn)

首先通過(guò)調(diào)整各種類(lèi)型的連接器，并調(diào)節(jié)工裝臺(tái)的拍攝角度，對(duì)于所收集得到的圖象開(kāi)始完成了圖象校準(zhǔn)、灰度化和二值化等的預(yù)處理步驟。然后將預(yù)處理后的圖片進(jìn)行針腳的定位，最后進(jìn)行缺陷算法的檢測(cè)。流程如圖5 所示。

圖5 整體算法設(shè)計(jì)流程Fig.5 Overall algorithm design flow chart

4.1 工裝臺(tái)拍攝參數(shù)調(diào)整

對(duì)于不同類(lèi)型的元件，需要對(duì)工裝臺(tái)的拍攝角度進(jìn)行調(diào)整，調(diào)整維度包含5 個(gè)部分：

1）橫向滑塊模塊：調(diào)整相機(jī)整體的左右位置，與角度調(diào)整共同設(shè)置成傾斜拍攝，滑軌最左側(cè)為0刻度；

2）縱向滑塊模塊：調(diào)整相機(jī)與元件處于同一垂直平面，與橫向滑塊模型相交處為0 刻度；

3）相機(jī)角度調(diào)整模塊：調(diào)整相機(jī)的角度，與橫向滑塊共同設(shè)置成傾斜拍攝，刻度見(jiàn)實(shí)物所示；

4）零件固定模塊：起到固定元件和調(diào)節(jié)高度的作用，工裝臺(tái)整體結(jié)構(gòu)平面為0 刻度；

5）補(bǔ)光燈調(diào)節(jié)模塊：起到補(bǔ)充光亮條件的作用。

不同類(lèi)型元件的相機(jī)拍攝參數(shù)如表1 所示。

表1 相機(jī)拍攝參數(shù)Tab.1 Camera shooting parameters

4.2 圖像預(yù)處理

圖像由灰度相機(jī)采集后，由計(jì)算機(jī)進(jìn)行存儲(chǔ)和處理?；叶葓D像在檢測(cè)中的效率更高，因此首先對(duì)采集的RGB（紅、綠、藍(lán)）彩色源圖像作灰度化處理[7]。圖像預(yù)處理的流程包括：①圖像尺度的調(diào)整，圖像由原始尺寸調(diào)整為統(tǒng)一的2000×800；②圖像灰度標(biāo)準(zhǔn)化：距離變換是對(duì)二值圖像的一種操作運(yùn)算，它將一幅二值圖像轉(zhuǎn)換為一幅灰度圖像，在這幅圖像中，每個(gè)像素的灰度值是該像素與距其最近的背景間的距離[8]。將所有灰度值標(biāo)準(zhǔn)化到［-0.5，0.5］；③圖像邊緣擴(kuò)增，在圖像邊緣添加0 像素，將圖像尺寸擴(kuò)增為32 的倍數(shù)；④圖像數(shù)據(jù)形式轉(zhuǎn)換，將圖像數(shù)據(jù)形式轉(zhuǎn)換為張量的格式。

4.3 連接器針腳定位

算法最終輸出針腳的位置信息和類(lèi)別，其中位置信息指針腳在圖像中的外接矩形框，具體包含矩形框的左上角坐標(biāo)和長(zhǎng)寬。類(lèi)別指正常、傾斜和縮短3 種類(lèi)型。根據(jù)每個(gè)針腳的位置信息和類(lèi)別可以唯一確定針腳在圖像中的位置以及類(lèi)別。

5 缺陷檢測(cè)算法

算法流程如圖6 所示。針腳缺陷檢測(cè)算法基于二階段的目標(biāo)檢測(cè)算法進(jìn)行改進(jìn)，通過(guò)判斷中心關(guān)鍵點(diǎn)是否落在中心區(qū)域，可以過(guò)濾掉大量的誤檢候選框。隨后，將保留的候選框送到多元分類(lèi)器進(jìn)行預(yù)測(cè)和回歸，獲取最終的檢測(cè)結(jié)果。實(shí)驗(yàn)結(jié)果表明，該方法在MS-COCO 數(shù)據(jù)集上能夠取得46.7%的檢測(cè)精度，與其他同類(lèi)算法相比具有較強(qiáng)的競(jìng)爭(zhēng)力[9]。由圖像采集設(shè)備獲取連接器針腳拍攝圖，相機(jī)采集的原始圖像作為檢測(cè)算法的輸入，首先經(jīng)過(guò)第1 階段的卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)初步的候選框，然后對(duì)每個(gè)候選區(qū)域的分類(lèi)和檢測(cè)框預(yù)測(cè)結(jié)果進(jìn)行第2 階段的修正，最終輸出每個(gè)針腳的檢測(cè)框和其對(duì)應(yīng)的缺陷類(lèi)別。

圖6 檢測(cè)算法流程Fig.6 Detection algorithm flow chart

本方法的主要貢獻(xiàn)在提出基于位置編碼的缺陷檢測(cè)方法。一般的二階段的檢測(cè)算法是基于滑動(dòng)窗口的方式對(duì)圖像中每個(gè)區(qū)域進(jìn)行物體的分類(lèi)和大小預(yù)測(cè)，并沒(méi)有考慮到由于不同拍攝方式導(dǎo)致的投影差異，且效率低下。例如，由于零件針腳相對(duì)于拍攝相機(jī)的位置不同，會(huì)導(dǎo)致同樣的缺陷在特征表達(dá)會(huì)有差異。為了解決直接使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行滑動(dòng)窗口檢測(cè)效率較低的問(wèn)題[10]，在第二階段的檢測(cè)過(guò)程中，本方法根據(jù)每個(gè)候選框（Proposal）的中心點(diǎn)位置信息作為位置編碼，讓神經(jīng)網(wǎng)絡(luò)在訓(xùn)練優(yōu)化過(guò)程中學(xué)習(xí)到不同位置的針腳形狀模板。在測(cè)試過(guò)程中，將每個(gè)候選區(qū)域的針腳特征與模板庫(kù)進(jìn)行比較，從而分辨不同位置的針腳形狀是否正常。本方法通過(guò)上述的方法提升網(wǎng)絡(luò)對(duì)于缺陷針腳的精確檢測(cè)。其應(yīng)用結(jié)果如圖7 所示。

圖7 應(yīng)用結(jié)果Fig.7 Results application

在圖7 中，標(biāo)記為normal 的是正常針腳，標(biāo)記為tilt 的是缺陷針腳。由此可以看出，該系統(tǒng)識(shí)別結(jié)果良好，能有效識(shí)別出連接器針腳的缺陷，消除了人工誤判的風(fēng)險(xiǎn)，有效提高飛機(jī)線(xiàn)纜裝配過(guò)程的自動(dòng)化與智能化水平。

6 結(jié)語(yǔ)

基于機(jī)器學(xué)習(xí)的連接器縮針彎針檢測(cè)系統(tǒng)研究實(shí)現(xiàn)了在復(fù)雜環(huán)境下的自動(dòng)識(shí)別與顯示的功能，消除了人工誤判的風(fēng)險(xiǎn)。對(duì)于飛機(jī)總裝制造過(guò)程中，線(xiàn)纜端接裝配智能化的提升提供了研究方向。