基于半監(jiān)督學(xué)習(xí)的航空導(dǎo)線切斷標(biāo)識圖像識別

金瑩瑩， 唐健鈞， 葉 波， 蔣 偉， 章 文

(航空工業(yè)成都飛機工業(yè)(集團)有限責(zé)任公司，四川 成都 610092)

線束是飛機神經(jīng)系統(tǒng)的重要組成部分，貫穿于飛機各個重要系統(tǒng)部件，為各系統(tǒng)傳輸配電信號(如飛控、發(fā)動機、起落架、航電等重要系統(tǒng)的信號)?，F(xiàn)如今，為了滿足飛行器強大的功能，航空線束往往主干龐大，分支較多，其布線集束過程也是錯綜復(fù)雜。隨著智能制造的發(fā)展，自動布線機成為航空線束制造的大趨勢。然而，在航空線束自動布線過程中，用于集束的導(dǎo)線種類繁多且布線路徑復(fù)雜，如何在自動布線過程中根據(jù)布線圖及布線規(guī)則精準(zhǔn)定位某一牌號導(dǎo)線的布線長度是必須要解決的關(guān)鍵問題。

常見解決方法是集成計米器來確定布線過程中某牌號導(dǎo)線的長度。由于被測導(dǎo)線包裹材質(zhì)(橡膠、塑料等)不同，其摩擦系數(shù)不同，與測量輪之間產(chǎn)生的摩擦力也不一樣，引起打滑使得測量結(jié)果不準(zhǔn)確，并且計米器本身的誤差也會導(dǎo)致過程中線束誤差積累，出現(xiàn)導(dǎo)線誤剪問題，進而影響航空線束制造質(zhì)量。

在導(dǎo)線激光印字階段按照布線規(guī)則中的導(dǎo)線理論長度在導(dǎo)線自身熱轉(zhuǎn)印處區(qū)別于線號的特殊標(biāo)識如圖1所示，然后利用機器視覺技術(shù)，實時識別切斷標(biāo)識圖像進而精準(zhǔn)切斷線束[1]。然而，由于導(dǎo)線本身線徑不一、扭絞導(dǎo)線表面材質(zhì)不同、表面不平導(dǎo)致切斷標(biāo)識圖像不清晰，存在扭曲、傾斜、斷裂等特征，且導(dǎo)線自身線號均使得切斷標(biāo)識圖像識別難度加大。

圖1 切斷標(biāo)識樣圖

針對切斷標(biāo)識圖像漏識別及誤識別現(xiàn)象，分析導(dǎo)線切斷標(biāo)識圖像特征，提出一種基于多特征及最小重構(gòu)誤差傳播的加權(quán)K近鄰(Minimum Reconstruction Error Probation K-Nearest Neighbor,MREP-KNN)半監(jiān)督切斷標(biāo)識圖像分類識別方法。有效提升切斷標(biāo)識圖像識別精度，為航空線束布線過程中導(dǎo)線長度確定提供技術(shù)思路。

1 導(dǎo)線切斷標(biāo)識圖像采集

1.1 導(dǎo)線圖像采集裝置

為了能夠?qū)崟r獲取導(dǎo)線切斷位置，采集導(dǎo)線圖像。采用一種導(dǎo)線圖像采集裝置獲取導(dǎo)線圖像，裝置結(jié)構(gòu)圖如圖2所示。該裝置包括工業(yè)相機、導(dǎo)線固定支撐裝置、導(dǎo)線全視角反射鏡、光源等關(guān)鍵組件。布線機械手在布線過程中，導(dǎo)線經(jīng)過全視角反射鏡前的固定支撐裝置，相機采樣幀率為25 f/s，采集到的導(dǎo)線圖像尺寸為1500像素×800像素，格式為TIFF。

1.2 導(dǎo)線圖像采集及建立樣本數(shù)據(jù)庫

為驗證提出的切斷標(biāo)識識別分類算法的準(zhǔn)確性，需要采集大量導(dǎo)線圖像并手動標(biāo)記類型。對導(dǎo)線切斷標(biāo)識圖像及非導(dǎo)線切斷標(biāo)識圖像進行分類。對20種線徑不同、類型不同的導(dǎo)線進行圖像采集。每種導(dǎo)線切斷標(biāo)識圖像采集10張，共200張樣本，形成切斷標(biāo)識圖像樣本庫。每種導(dǎo)線非切斷標(biāo)識圖像如圖3所示采集10張，共200張圖像，形成非切斷標(biāo)識圖像樣本庫。

圖2 導(dǎo)線圖像采集裝置

圖3 導(dǎo)線非切斷標(biāo)識圖像示例

2 算法設(shè)計

2.1 算法框架

所提出的航空導(dǎo)線切斷標(biāo)識識別及分類方法流程如圖4所示，主要包括圖像預(yù)處理、圖像分割、目標(biāo)特征提取和分類算法設(shè)計幾個步驟，即首先對圖像進行灰度化、濾波預(yù)處理，然后采用改進OTSU閾值分割提取前景目標(biāo)，之后提取目標(biāo)灰度圖的旋轉(zhuǎn)不變模式LBP紋理特征和目標(biāo)二值圖的幾何特征如Hu不變矩、矩形度、面積特征，將紋理特征和幾何特征結(jié)合作為描述圖像中目標(biāo)的特征向量，最后將特征向量輸入到訓(xùn)練好的MREP-KNN分類器中進行分類。

2.2 圖像分割

如果對灰度變化、濾波后的整張圖像進行特征提取，由于目標(biāo)在整張圖像中占據(jù)的像素點較少且有些特征提取方法如LBP 算法是基于空間域即從空間位置反映圖像灰度變化，整張?zhí)崛√卣鞑⒉荒苊黠@表示目標(biāo)特征。因此，待識別目標(biāo)的分割是影響圖像目標(biāo)識別分類的關(guān)鍵基礎(chǔ)，分析大量采集的導(dǎo)線圖像灰度直方圖，首先采用自適應(yīng)能力較強的OTSU閾值分割方法對圖像進行分割，如圖5中標(biāo)記的OTSU閾值，該閾值并沒有真正地分割出待識別目標(biāo)，圖中標(biāo)記的“前景灰度區(qū)間”才是真正想要提取前景目標(biāo)的灰度分布范圍[2]。因此結(jié)合導(dǎo)線切斷標(biāo)識圖像自身特點，提出一種針對待處理目標(biāo)分割方法(分割圖見圖6)，該方法能夠很好地提取前景目標(biāo)，具體步驟如下。

圖4 導(dǎo)線切斷標(biāo)識識別方法流程圖

① 首先對預(yù)處理后的圖像進行OTSU閾值分割，得到結(jié)果T1，如圖6(b)所示;

② 分析待提取目標(biāo)特征，對步驟①中T1進行孔洞填充，得到T2，如圖6(c)所示;

③ 用T2-T1，成功分割出切斷標(biāo)識前景目標(biāo)T，如圖6(d)所示。

圖5 導(dǎo)線圖像灰度直方圖

2.3 特征提取方法

得到上一步驟分割出的目標(biāo)對象圖像T后，為充分全面地表示導(dǎo)線切斷標(biāo)識目標(biāo)的特征，進一步準(zhǔn)確區(qū)分導(dǎo)線切斷標(biāo)識與非切斷標(biāo)識，采用紋理特征和幾何特征結(jié)合的方式表達待識別目標(biāo)圖像T(TP代表目標(biāo)圖像灰度圖，TB代表目標(biāo)圖像二值圖)。

2.3.1 紋理特征提取

首先用局部二值模式(Local Binary Pattern，LBP)提取目標(biāo)TP的紋理特征，LBP算法由Ojala等[3]提出，是一種用于描述圖像局部紋理特征的方法，該方法的基本原理是通過比較周圍鄰域像素點灰度值與中心像素點的灰度值，獲得圖像的LBP特征，其規(guī)則如式(1)所示，若周圍鄰域像素值大于中心像素點的灰度值，則該像素點的位置被標(biāo)記為1，反之被標(biāo)記為0。

圖6 導(dǎo)線圖像分割

(1)

(2)

式中，P為鄰域像素點的數(shù)量;R為鄰域半徑，即鄰域像素點到中心像素點的歐式距離；gi為其鄰域像素點的灰度值；gc為中心像素點的灰度值?；贚BP的原始算子,Ojala等提出了幾種模式的算法改進和優(yōu)化，改進后算法對比如表1所示。

通過對比不同模式LBP算法的優(yōu)缺點，考慮待處理圖像存在扭曲、歪斜的特點以及算法的運算時間，選擇P=8條件下的LBP旋轉(zhuǎn)不變模式作為目標(biāo)圖像LBP特征提取的算子。因此，對前景分割后獲得的目標(biāo)圖像T提取圖像的 LBP直方圖，歸一化形成36維LBP 紋理直方圖特征向量fLBP={f1,f2，…，f36}。

2.3.2 幾何特征提取

研究目標(biāo)特征，導(dǎo)線切斷標(biāo)識目標(biāo)與非切斷標(biāo)識在幾何上差異較大，選取目標(biāo)Hu不變矩、矩形度、面積作為目標(biāo)的幾何表現(xiàn)。

表1 不同LBP模式對比

Hu不變矩是Hu提出的，在描述圖像幾何特征時具有平移、旋轉(zhuǎn)、縮放不變性優(yōu)點[4]。對于離散的某一M×N數(shù)字圖像，f(x，y)表示圖像某一點的灰度值，其(p+q)階標(biāo)準(zhǔn)矩mpq、中心距μpq、歸一化中心距定義如下：

(3)

(4)

(5)

式中,x0，y0為圖像的中心坐標(biāo)。

利用圖像的二階以及三階的歸一化的的中心距能夠得到Hu提出的7個不變矩即Hu不變矩Δ={δ1,δ2,…,δ7}如式(6)所示。

δ1=ω20+ω02

δ2=(ω20-ω02)2+4ω11

δ3=(ω30-3ω12)2+(3ω21-ω03)2

δ4=(ω30+ω12)2+(ω21+ω03)2

δ5=(ω30-3ω12)(ω30+ω12)[(ω30+ω12)2-3(ω21+ω03)2]+

(3ω21-ω03)(ω21+ω03)[3(ω30+ω12)2-(ω21+ω03)2]

δ6=(ω20-ω02)[(ω30+ω12)2-(ω21+ω03)2]+

4ω11(ω30+ω12)(ω21+ω03)

δ7=(3ω21-ω03)(ω30+ω12)[(ω30+ω12)2-3(ω21+ω03)2+

(3ω12-ω30)(ω21+ω03)[3(ω30+ω12)2-(ω21+ω03)2]

(6)

本文對目標(biāo)圖像TB提取幾何特征步驟如下。

2.3.3 特征融合

將歸一化后的紋理特征fLBP和幾何特征farea，frect，fHu按行線性排列組合，得到標(biāo)識目標(biāo)T的45維紋理幾何融合特征向量[5]F={fLBP,farea,frect,fHu}={f1,f2,…,f36,amean,rmean,δmean1,δmean2,…,δmean7}。

2.3.4 分類方法

構(gòu)建強健的切斷標(biāo)識分類模型需要大量的已知類別樣本進行訓(xùn)練，然而在實際工程應(yīng)用過程中，以少量人工標(biāo)記樣本構(gòu)建較為穩(wěn)定的分類模型成為一種趨勢，利用半監(jiān)督分類理論[6]，提出一種基于最小重構(gòu)誤差傳播的加權(quán)K近鄰半監(jiān)督分類方法，該方法首先利用最小重構(gòu)誤差標(biāo)簽傳遞方法獲取部分無標(biāo)簽數(shù)據(jù)的類別信息增強有標(biāo)簽數(shù)據(jù)樣本，最后利用加權(quán)KNN分類方法進行分類。

(7)

(8)

重構(gòu)誤差表示待分類數(shù)據(jù)xi與已知類別樣本在流行上的距離，能夠度量xi與xj的相似性，重構(gòu)誤差越小則表示xi與哪一類越相似。使用帶標(biāo)簽數(shù)據(jù)和式(8)得到的重構(gòu)函數(shù)來預(yù)測xi的標(biāo)簽信息。利用迭代收斂的方式預(yù)測中：0<α<1代表xi從鄰域結(jié)構(gòu)獲取標(biāo)簽信息的尺度；經(jīng)過t次迭代收斂后的得到xi的標(biāo)簽預(yù)測值如式(9)所示。

(9)

式中，yi為樣本標(biāo)簽類別,取值為-1代表非導(dǎo)線切斷標(biāo)識，取值為1代表導(dǎo)線切斷標(biāo)識。

(10)

式中，ωj為xt與x0j的權(quán)值。

式中，[xt1,xt2,…,xtk]是xt的近鄰距離的升序排列。

3 實驗結(jié)果及分析

為了驗證MREP-KNN方法的工程有效性，實驗采集不同導(dǎo)線切斷標(biāo)識圖像200張，非切斷標(biāo)識圖像200張。隨機選取帶標(biāo)簽樣本6個(包含3個切斷標(biāo)識和3個非切斷標(biāo)識)、8個(包含4個切斷標(biāo)識和4個非切斷標(biāo)識)、10個(包含5個切斷標(biāo)識和5個非切斷標(biāo)識)，12個(包含6個切斷標(biāo)識和6個非切斷標(biāo)識)，剩余不帶標(biāo)簽數(shù)據(jù)集作為測試數(shù)據(jù)。MREP-KNN中k=8，k0=8，t=20。相同條件下，將文本方法與傳統(tǒng)監(jiān)督分類器K近鄰分類器(k-Nearest Neighbor Classifier,KNN)[8]、隨機森林分類(Random Forest Classifier,RF)[9]和支持向量機(Support Vector Machine,SVM)[10]進行比較。不同方法分類結(jié)果及識別正確率如圖7和表2所示。為削弱偶然樣本因素的影響，實驗結(jié)果均采用20次重復(fù)試驗的均值作為對比分類結(jié)果。

由表2可知，MREP-KNN方法在小樣本標(biāo)簽情況下,當(dāng)標(biāo)簽數(shù)為12(包含6個切斷標(biāo)識，6個非切斷標(biāo)識)時識別正確率達93.69%，從圖7中可以看出， MREP-KNN半監(jiān)督分類方法識別正確率隨著樣本標(biāo)簽數(shù)的增多而提高。

從表2及圖7中MREP-KNN方法與現(xiàn)在常見有監(jiān)督分類方法識別正確率對比結(jié)果可以看出，采用的最小重構(gòu)誤差傳遞標(biāo)簽方法能夠有效利用未知標(biāo)簽，增強標(biāo)簽樣本集，提高KNN分類器學(xué)習(xí)效果，在樣本標(biāo)簽數(shù)較少的情況下，能達到很好的分類正確率。

圖7 不同方法分類結(jié)果

表2 不同方法分類識別正確率 單位：%

4 結(jié)束語

針對航空導(dǎo)線切斷標(biāo)識圖像分割及識別問題，分析待處理圖像特點，本文提出的改進OTSU閾值分割方法能夠有效分割待處理圖像前景目標(biāo)。MREP-KNN方法能夠有效利用未標(biāo)記樣本數(shù)據(jù)，增強分類器學(xué)習(xí)效果，在標(biāo)簽樣本數(shù)少的情況下能夠有效提升切斷標(biāo)識圖像分類正確率,為航空導(dǎo)線自動布線切斷識別提供方法支撐。但本方法仍需進行少量樣本標(biāo)記，未來研究方向則是基于無監(jiān)督理論，在不需要樣本標(biāo)記的條件下進行識別并分類。