基于機(jī)器視覺的線束連接器字符檢測*

吳暉輝， 曾憲榮， 賴燕君， 吳福培

(1. 順德職業(yè)技術(shù)學(xué)院 機(jī)電工程學(xué)院， 廣東 佛山 528330； 2. 汕頭大學(xué) 機(jī)械電子工程系， 廣東 汕頭 515063)

0　引　言

線束連接器是電子電路設(shè)備中不可或缺的部件， 它的作用是連接阻斷處或孤立不通的電路； 近年來， 光纖系統(tǒng)中、 光信號通路中也使用連接器， 它們的作用與電路連接器相同. 隨著消費(fèi)電子、 汽車電子、 通信終端市場的快速增長以及全球連接器生產(chǎn)能力不斷向亞洲及中國轉(zhuǎn)移， 中國已經(jīng)成為全球連接器增長最快和容量最大的市場. 目前， 連接器正向著信號傳輸集成化、 產(chǎn)品體積微型化、 插拔便捷化等方向發(fā)展， 對連接器的品質(zhì)要求也越發(fā)嚴(yán)格[1]. 為保證品質(zhì)， 在連接器的生產(chǎn)過程中， 對其塑封體上的字符進(jìn)行檢測是一道必不可少的工序， 該字符不僅包含著器件的類型型號等信息， 甚至包含了極性等相關(guān)信息， 清晰準(zhǔn)確的字符對用戶選擇和使用連接器具有極其重要的作用[2].

目前， 連接器上印刷字符大多采用人工目檢的方式， 這種方式智能性低、 效率差， 錯(cuò)誤率高. 伴隨著機(jī)器視覺的興起， 其具有的穩(wěn)定性、 智能性和準(zhǔn)確性使得它在多個(gè)工業(yè)領(lǐng)域內(nèi)都成功實(shí)施了應(yīng)用[3-5]， 也形成了諸多的檢測方法. 在字符識別領(lǐng)域， 神經(jīng)網(wǎng)絡(luò)具有自組織性、 自學(xué)習(xí)性以及自適應(yīng)性等優(yōu)點(diǎn)， 該方法已經(jīng)成功應(yīng)用于字符的視覺識別[6-10]. 針對此， 文中提出了一種基于機(jī)器視覺的檢測方法. 首先利用一階導(dǎo)數(shù)獲得印刷字符邊緣點(diǎn)， 并將邊緣點(diǎn)擬合為線， 由此定位字符的位置； 然后， 對字符分割、 歸一化， 提取特征， 并建立了用于印刷字符特征識別的BP神經(jīng)網(wǎng)絡(luò). 針對標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)容易陷入局部極小值的特點(diǎn)， 引入附加動量項(xiàng)對其進(jìn)行改進(jìn).

圖 1　檢測系統(tǒng)Fig.1　Inspection system

1　檢測系統(tǒng)組成

通常意義上所說的檢測系統(tǒng)主要是指直接執(zhí)行檢測任務(wù)的在線檢測機(jī)器， 其結(jié)構(gòu)如圖 1 所示， 檢測過程為： 連接器經(jīng)傳送帶傳送至噴墨裝置時(shí)， 表面噴寫印刷字符， 然后運(yùn)動至檢測位置. 當(dāng)位置傳感器感應(yīng)到連接器到達(dá)預(yù)定的位置時(shí)， 相機(jī)拍照， 獲取連接器的圖像， 經(jīng)過分析后， 判斷連接器上印刷的字符是否合適， 如果字符不合適， 開啟排出裝置， 利用高壓空氣， 將不良品從傳送帶吹出.

2　連接器和字符定位

當(dāng)位置傳感器位置和傳送帶的速度都固定時(shí)， 連接器拍攝的位置基本也是固定的， 其在圖像中的檢測位置也是固定的. 考慮到檢測系統(tǒng)為在線檢測， 為了減少處理時(shí)間， 提高檢測的實(shí)時(shí)性， 檢測過程只針對圖像中有連接器的部分進(jìn)行處理， 稱之為感興趣區(qū)域(ROI). 如圖 2 所示， 在連接器的圖像中， 可以預(yù)先設(shè)定一個(gè)矩形的ROI.

圖 2　連接器圖像和ROIFig.2　Connection image and ROI

確定ROI后， 需要知道連接器的具體位置， 然后定位字符的位置， 并將字符的位置與連接器的位置對比， 從而判斷印刷字符是否有偏差， 比如偏移、 歪斜， 最后識別連接器字符.

圖像中物體定位的方式有很多種， 比如匹配、 邊緣提取和分割等. 注意到連接器與傳送帶之間有明顯的灰度差異， 即邊緣特征很明顯， 因此， 論文采用邊緣提取的方式來定位連接器.

要提取邊緣， 首先得確定邊緣點(diǎn). 邊緣點(diǎn)是指圖像中周圍像素灰度有顯著變化的那些像素點(diǎn)， 即灰度值導(dǎo)數(shù)較大的地方. 對一個(gè)一維連續(xù)函數(shù)f(x)而言， 其邊緣點(diǎn)位于一階導(dǎo)數(shù)大于0的位置， 即f′(x)|?0. 注意到真實(shí)的圖像是離散行和列組成， 因此， 以某一行為例 ， 其一階導(dǎo)數(shù)定義為fi=fi-fi-1， 即在數(shù)組中， 第i點(diǎn)處的一階導(dǎo)數(shù)為第i點(diǎn)的灰度值與第i-1點(diǎn)的灰度值之差. 注意到這個(gè)定義并不對稱[8]， 一副尺寸為M*N的灰度圖像可以看作是2維的矩陣， 其在任意點(diǎn)處的導(dǎo)數(shù)定義為[9]

d(i,j)=[f(i+1,j+1)-f(i-1,j-1)]/2,

(1)

式中：f(i+1,j+1)是圖像中點(diǎn)(i+1,j+1)處的灰度值，i=1,2,…M-1，j=1,2,…,N-1.

在圖像數(shù)組中， 可以將每一行數(shù)據(jù)理解為由N個(gè)點(diǎn)構(gòu)成的搜索線， 在這條搜索線上， 對每一個(gè)點(diǎn)計(jì)算其導(dǎo)數(shù). 在邊緣點(diǎn)所在的位置， 前后兩點(diǎn)變化劇烈， 導(dǎo)數(shù)值比較大， 因此可以定義搜索線上變化最為劇烈的點(diǎn)為邊緣點(diǎn)， 如圖 3 所示. 沿水平方向任意取一條搜索線， 這條線上任一點(diǎn)對應(yīng)的灰度值剖面線和導(dǎo)數(shù)值如圖 4 所示. 很顯然， 灰度有顯著變化的邊緣點(diǎn)其一階導(dǎo)數(shù)值比較大， 而在平坦的區(qū)域， 導(dǎo)數(shù)值基本接近0， 據(jù)此可以確定邊緣點(diǎn)位置. 同理， 如圖 5 所示， 對于多條搜索線， 就可以獲得多個(gè)邊緣點(diǎn)， 然后利用最小二乘法擬合邊緣點(diǎn)， 就可以獲得一條由邊緣點(diǎn)構(gòu)成的豎直邊緣線.

圖 3　搜索線和邊緣點(diǎn)Fig.3　Search-line and edge points

圖 4　搜索線上各點(diǎn)的灰度值和導(dǎo)數(shù)值Fig.4　Gray value and derivative value of search-line

類似的， 也可以利用上述方法由上到下沿豎直方向建立搜索線， 獲得邊緣點(diǎn)， 并將其擬合為水平邊緣線， 從而確定連接器的位置， 如圖 6 所示. 注意到正常情況下， 印刷字符在連接器中大致的印刷位置是固定的， 因此可以以獲得連接器水平和豎直邊緣為準(zhǔn)， 確定文字的大致范圍， 然后利用上述方式定位文字的水平邊緣和豎直邊緣； 最后將文字的邊緣與連接器的邊緣對比， 兩者的水平方向距離和豎直方向距離如果在設(shè)定的范圍內(nèi)則印刷的字符位置合適， 否則判斷為不合格. 此外， 兩者的水平邊緣和豎直邊緣接近平行， 如果角度相差過大， 判斷為不合格， 不需要后續(xù)的識別.

圖 5　邊緣點(diǎn)擬合線Fig.5　Edge points and fitting line

圖 6　連接器和字符定位結(jié)果Fig.6　Location of connection and characters

3　字符預(yù)處理

經(jīng)過上述處理的印刷字符， 已經(jīng)排除了印刷位置和角度的不良， 接下來需要對字符進(jìn)行處理， 以便為字符的識別做好準(zhǔn)備.

3.1　二值化

字符定位后， 為將圖像中的目標(biāo)字符同背景區(qū)域分離， 應(yīng)對圖像進(jìn)行二值化處理， 考慮到字符跟背景的灰度值差異明顯， 直接用經(jīng)驗(yàn)值作為閾值， 二值化的結(jié)果如圖7(a)所示.

3.2　整體傾斜度調(diào)整

如前文的字符定位所述， 圖像中的印刷字符可能存在一定程度的傾斜， 需要進(jìn)行適當(dāng)?shù)恼{(diào)整以使字符處于同一個(gè)水平位置， 方便后續(xù)的字符分割并且降低字符識別時(shí)的難度.

3.3　字符分割

BP神經(jīng)網(wǎng)絡(luò)在訓(xùn)練和檢測時(shí)都只能以1個(gè)單獨(dú)的數(shù)字作為樣本， 因此二值化后的多個(gè)字符需要進(jìn)行分割， 可以利用字符之間間隔為白色的背景這個(gè)特點(diǎn)來分割. 具體步驟為：

1) 確定字符的左右寬度. 對二值化后的字符圖像， 依次取一列， 從上至下掃描， 遇到第一個(gè)黑色像素， 記錄其列號， 為字符左端位置； 繼續(xù)掃描， 直到遇到的某列中沒有黑色像素， 即為字符的右端位置. 這兩個(gè)列號就記錄了字符的大致寬度.

2) 確定圖像中字符的高度范圍. 在第1)步得到的寬度范圍內(nèi)自上而下進(jìn)行逐行掃描， 遇到第一個(gè)黑色像素， 記錄其行號， 即為字符的上端位置； 然后繼續(xù)掃描， 直到遇到有一行中沒有黑色像素， 即為字符的下端位置.

結(jié)果如圖7(b)所示.

圖 7　二值化字符和分割字符Fig.7　Characters binaryzation and segmentation

3.4　字符歸一化

由于連接器的大小不一樣， 為了跟連接器的尺寸匹配， 印刷的字符尺寸也各不相同， 因此獲得圖像中字符的大小不一， 而在訓(xùn)練和識別時(shí)， 都需要統(tǒng)一尺寸的字符對象， 因此有必要對字符進(jìn)行歸一化處理， 使其有相同的尺寸. 本文中， 將字符的尺寸統(tǒng)一設(shè)置為54*27. 算法首先定出字符的目標(biāo)寬度和高度， 并計(jì)算出水平和豎直方向的縮放因子， 然后對不同尺寸的字符完成像素映射， 實(shí)現(xiàn)縮放.

4　神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

4.1　建立神經(jīng)網(wǎng)絡(luò)

將多個(gè)sigmoid單元連接成圖 8 所示的3層網(wǎng)絡(luò)， 第1層為輸入層. 考慮到要識別的對象是圖像中的字符， 則輸入必然是這個(gè)字符的某種表示， 或者是能夠代表字符的特征. 如果選擇特征， 則每個(gè)字符的特征參數(shù)數(shù)量不同， 不適合固定輸入的分類器. 為此， 論文選擇將整個(gè)歸一化后的字符圖像作為輸入. 這樣輸入的特征向量的維數(shù)是圖像高和寬像素的乘積， 其大小54*27， 經(jīng)過再次抽樣后， 歸一化為18×9的矩形區(qū)域， 則對于每一個(gè)輸入字符樣本， 就有162(18×9)個(gè)特征， 即輸入層的節(jié)點(diǎn)數(shù)為162．

注意到檢測對象并不復(fù)雜， 為了減少訓(xùn)練時(shí)間， 采用1個(gè)隱藏層(第2層). 隱含層的傳遞函數(shù)采用S型函數(shù)， 其定義為

(2)

其中,

y=∑ωjixji,

(3)

式中：xji為隱藏層中第j個(gè)單元的第i個(gè)輸入變量；wji是輸入xji相關(guān)聯(lián)的權(quán)值. 誤差函數(shù)定義為

(4)

式中：w是權(quán)值wji的集合；ydk是第k個(gè)輸出節(jié)點(diǎn)的期望輸出；yk是網(wǎng)絡(luò)的實(shí)際輸出， 為了最小化誤差， 需要調(diào)整w中的每個(gè)wji權(quán)值. 為此， 采用梯度下降算法. 在該算法中， 對每個(gè)訓(xùn)練樣本利用樣本的誤差E的梯度來修改權(quán)值， 第j個(gè)單元其權(quán)值的更新法則為

ωji=ωji+Δωji, Δωji=ηδixji,

(5)

式中：η為學(xué)習(xí)速率，δi是誤差項(xiàng).

第3層為輸出層, 計(jì)算所有輸入信號的總和, 并被直接解釋為輸出. 對于輸出， 其結(jié)果為P,1,2,…,8,9， 總共10個(gè)類型. 可以指定輸出0, 0.1, 0.2, …, 0.9來編碼這10個(gè)輸出值， 當(dāng)結(jié)果為所需的類時(shí)， 與它對應(yīng)的輸出接近為1， 否則接近0.

4.2　訓(xùn)練神經(jīng)網(wǎng)絡(luò)

對于每一個(gè)樣本， 其輸出對應(yīng)于1種類別標(biāo)號， 訓(xùn)練時(shí)對于第k類輸出類型， 將結(jié)果設(shè)置為高值(例如0.9)， 其他單元設(shè)置為低值(例如0.1)， 測試時(shí)取具有最高的輸出單元編號作為網(wǎng)絡(luò)的預(yù)測值. 此方案兩個(gè)優(yōu)點(diǎn)： ① 相比于單一的輸出單元編碼方案， 可以讓目標(biāo)函數(shù)提供更大的自由度. ② 除了可提供類別信息外， 還可以提供有關(guān)分類決策的可靠性信息[9].

算法在開始時(shí)將每一步迭代的累積誤差清零； 然后對于訓(xùn)練集中的每一個(gè)樣本， 沿網(wǎng)絡(luò)向前傳播， 計(jì)算網(wǎng)絡(luò)的輸出并保存至向量， 接著根據(jù)這個(gè)輸出與樣本的目標(biāo)輸出之間的誤差按照前述的公式更新權(quán)值， 使得當(dāng)同樣的輸入再次送入網(wǎng)絡(luò)時(shí)， 其輸出能接近正確答案. 一旦輸出層的權(quán)值已經(jīng)調(diào)整完畢， 就可以對隱藏層的權(quán)值做同樣的事情， 經(jīng)過多次迭代， 直到誤差值降低到一個(gè)設(shè)定的可以接受的閾值內(nèi).

對于學(xué)習(xí)速率η， 考慮將其設(shè)置的比較小， 防止搜索步長太大而越過誤差曲面最小值.

5　實(shí)驗(yàn)驗(yàn)證

根據(jù)具體的待測目標(biāo)， 實(shí)驗(yàn)選取230幅每幅含有兩組字符的圖像. 每組包含9個(gè)數(shù)字字符， 一個(gè)英文字符P， 共460個(gè)字符， 作為訓(xùn)練和測試樣本. 部分訓(xùn)練樣本組成的序列如圖 6 所示.

實(shí)驗(yàn)將460個(gè)樣本分為兩組， 訓(xùn)練樣本260個(gè)和檢測樣本200個(gè). 對樣本進(jìn)行訓(xùn)練， 設(shè)定學(xué)習(xí)速率為0.1， 誤差閾值為0.001， 隱藏層節(jié)點(diǎn)數(shù)分別為10和30時(shí). 其學(xué)習(xí)收斂過程如圖 8 所示. 隱藏層節(jié)點(diǎn)數(shù)為10時(shí)， 迭代1 200次即達(dá)到誤差要求， 耗時(shí)約為29 s； 隱藏層節(jié)點(diǎn)數(shù)為30時(shí)， 迭代670次即達(dá)到誤差要求， 耗時(shí)約為22 s. 一般說來， 隱藏層中的單元數(shù)目越多， 意味著權(quán)值越多， 這為網(wǎng)絡(luò)擬合訓(xùn)練數(shù)據(jù)提供了更大的自由度， 因此， 其訓(xùn)練時(shí)， 更容易收斂. 然而過多的單元數(shù)目會導(dǎo)致訓(xùn)練時(shí)間過長， 而且有可能由于過渡擬合而導(dǎo)致測試數(shù)據(jù)的識別率下降. 在本文中， 我們嘗試將隱藏節(jié)點(diǎn)數(shù)增加到60次時(shí)， 迭代420次即達(dá)到要求， 但是網(wǎng)絡(luò)的訓(xùn)練耗時(shí)達(dá)到37 s.

圖 8　神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.8　Neural network structure

圖 9　神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)收斂過程Fig.9　The convergence procedure of the neural network training

實(shí)驗(yàn)中發(fā)現(xiàn)， 由于待檢測到對象是固定的有規(guī)則的數(shù)字和字母， 因此識別率比較高. 對隱層節(jié)點(diǎn)數(shù)30， 迭代到誤差符合閾值網(wǎng)絡(luò)， 將200個(gè)樣本作為對像輸入， 對字符的識別率達(dá)到了98.2%， 單個(gè)字符的識別時(shí)間平均約為120 ms， 如表 1 所示.

考慮到固定學(xué)習(xí)率法對初始學(xué)習(xí)率的依賴度較高， 較小的學(xué)習(xí)率會使訓(xùn)練時(shí)間較長， 但可以獲得較高的字符識別率； 而學(xué)習(xí)率過高時(shí)， 則存在震蕩特性， 對網(wǎng)絡(luò)性能帶來不利影響. 自適應(yīng)學(xué)習(xí)率法通過在搜索過程中根據(jù)誤差自動調(diào)節(jié)學(xué)習(xí)率， 從而增大收斂方向的搜索步長來加速收斂或者減小步長來提高搜索精度， 但是依然可能陷入局部極小、 高頻震蕩等. 為此， 引入了附加動量

Δωji(t+1)=(1-α)ηδixji+αΔωji(t),

(6)

式中： Δωji(t)表示第t次迭代時(shí)的權(quán)值更新；α是一個(gè)常數(shù)， 稱為附加動量.

可見， 與式(5)相比， 其權(quán)值更新時(shí)， 增加了一個(gè)動量α， 使得網(wǎng)絡(luò)可以更容易從局部極小值中爬升出來. 實(shí)驗(yàn)表明： 引入動量因子后， 加快了網(wǎng)絡(luò)的訓(xùn)練速度， 進(jìn)一步提高了系統(tǒng)收斂速度和精度．在初始學(xué)習(xí)率0.1、 誤差閾值0.001， 隱層節(jié)點(diǎn)數(shù)為30的情況下， 引入動量因子0.5， 網(wǎng)絡(luò)性能比較結(jié)果如表1所示， 迭代次數(shù)為460次， 對字符識別的準(zhǔn)確率為99.1%， 單個(gè)字符的識別時(shí)間平均約為95 ms， 可知具有更高的識別效率和準(zhǔn)確率. 表 1 給出了測試樣本圖像的識別結(jié)果.

表 1　檢測結(jié)果

6　結(jié)　論

針對連接器字符人工檢測存在的不足， 提出了一種基于機(jī)器視覺的檢測方法. 在自動定位并分割字符后， 將歸一化的字符圖像作為特征輸入網(wǎng)絡(luò). 同時(shí)， 在保留傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)優(yōu)點(diǎn)的同時(shí)， 通過引入附加動量因子， 有效降低了收斂算法陷入局部極小點(diǎn)的危險(xiǎn)性， 縮短了迭代次數(shù). 實(shí)驗(yàn)證明， 論文提出的基于機(jī)器視覺的連接器字符圖像檢測方法準(zhǔn)確率可達(dá)99.1%. 目前該檢測系統(tǒng)已成功應(yīng)用于佛山一家電業(yè)公司的連接器檢測， 下一步工作重點(diǎn)是： 優(yōu)化網(wǎng)絡(luò)參數(shù)， 改善收斂算法， 進(jìn)一步提高檢測的精度和速度.

參考文獻(xiàn)：

[1]錢萍， 陳文華， 高亮， 等. 航天電連接器綜合應(yīng)力可靠性統(tǒng)計(jì)模型的驗(yàn)證[J]. 中國機(jī)械工程， 2011， 22(3)： 257-261.

Qian Ping, Chen Wenhua, Gao Liang, et al. Reliability statistical model verification of aerospace electrical connectors under multiple stresses[J]. China Mechanical Engineering, 2011, 22(3)： 257-261. (in Chinese)

[2]黃先學(xué)， 韓震宇. 基于OPENCV的半導(dǎo)體元器件字符檢測方法[J]. 計(jì)測技術(shù)， 2013， 33(4)： 30-32.

Huang Xianxue, Han Zhenyu. A method for semiconductor electronic components character detection based on OpenCV[J]. Metrology & Measurement Technology, 2013, 33(4)： 30-32. (in Chinese)

[3]王益恩， 夏如艇， 陳洪立. 銑刀機(jī)器視覺檢測系統(tǒng)設(shè)計(jì)[J]. 測試技術(shù)學(xué)報(bào)， 2015， 29(3)： 235-240.

Wang Yien, Xia Ruting, Chen Hongli. Design of machine vision measurement for cutter[J]. Journal of test and measurement technology, 2015, 29(3)： 235-240. (in Chinese)

[4]吳暉輝， 張憲民. 多引腳類貼裝器件的爐前檢測算法[J]. 電子測量與技術(shù)學(xué)報(bào)， 2011， 25(11)： 998-1005.

Wu Huihui, Zhang Xianmin. Inspection algorithm of before-furnace for multi-leads surface mounted devices [J]. Journal of Electronic Measurement and Instrument, 2011, 25(11)： 998-1005. (in Chinese)

[5]張堃， 王明泉， 張俊生.基于機(jī)器視覺的光纖傳像元件缺陷檢測系統(tǒng)[J]. 測試技術(shù)學(xué)報(bào)， 2017， 31(4)： 298-303.

Zhang Kun, Wang Mingquan, Zhang Junsheng. Surface defect detection system for optical fiber devices for image transmission based on machine vision[J]. Journal of Test and MeasuremenT technology, 2017, 31(4)： 298-303. (in Chinese)

[6]許宜申， 顧濟(jì)華， 陶智， 等. 基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的手寫字符識別[J]. 通信技術(shù)， 2011， 44(5)： 106-109.

Xu YiShen, Gu Jihua, Tao Zhi, et al. Handwritten character recognition based on improved BP neural network[J]. Communications Technology, 2011, 44(5)： 106-109. (in Chinese)

[7]Kaushik Deb, Md Ibrahim Khan, Anik Saha, et al. An efficient method of vehicle license plate recognition based on sliding concentric Windows and artificial neural network [J]. ELSEVIER SciVerse Science Direct, 2012(4)： 812 -819. (in Chinese)

[8]Carsten Steger, Markus Urich, Christian Wiedemann. 機(jī)器視覺算法與應(yīng)用(雙語版) [M]. 楊少榮， 吳迪靖， 段德山, 譯. 北京： 清華大學(xué)出版社， 2011.

[9]張錚， 王艷平， 薛桂香. 數(shù)字圖像處理與機(jī)器視覺[M]. 北京：人民郵電出版社， 2012.