基于機器視覺的電子元器件檢測系統(tǒng)設計

崔譯文,占 豐,張宇峰,郝建林,王大海

(中國空間技術研究院 山東航天電子技術研究所，山東 煙臺 264000)

0 引言

隨著中國航天航空、軍事裝備發(fā)展與更新速度的不斷提高，宇航軍工電子產(chǎn)品在功能、可靠性、穩(wěn)定性、功率密度等方面要求也逐步提升[1]，這就促使PCB生產(chǎn)與檢測等進一步細化。因此，必須通過高可靠設備實現(xiàn)PCB高效、自動檢測，以完善質(zhì)量保障體系。與工業(yè)電子產(chǎn)品相比，宇航軍工電子產(chǎn)品具有多品種、小批量、定制化生產(chǎn)特點，且在精度、可靠性方面要求更嚴格，目前市面上成熟的視覺檢測設備需人工試教而無法滿足宇航、軍工電子產(chǎn)品自動檢測需求。因此，宇航軍工電子產(chǎn)品主要通過人工完成PCB檢測，人眼檢測易受視覺疲勞、情緒等主觀因素影響造成誤檢、漏檢，效率低下且人工成本高[2]，既無法與現(xiàn)代化加工速度需求相匹配，也無法滿足電子產(chǎn)品生產(chǎn)過程質(zhì)量檢測要求。

因此，本文針對不同規(guī)格型號的宇航軍工PCB電子元器件的焊裝位置、極性與型號規(guī)格等檢測要求，開展了基于機器視覺的智能檢測系統(tǒng)研究，將三自由度桌面機器人、工業(yè)CCD相機、運動控制系統(tǒng)與電裝工藝文件有機結合完成了智能軟硬件平臺搭建，引入了SURF特征提取和匹配方法實現(xiàn)待測元器件的智能檢測，測試結果表明該系統(tǒng)可以高效完成不同規(guī)格型號PCB板上元器件的定位、錯焊、漏焊等檢測要求。

1 電子元器件檢測系統(tǒng)方案設計

基于機器視覺的電子元器件檢測系統(tǒng)總體框圖如圖1。系統(tǒng)硬件部分包括工控機、運動控制卡、龍門機器人、相機、鏡頭和光源。龍門機器人具有三個自由度，X、Y軸的行程均為540 mm，Z軸行程為200 mm，采用伺服電機控制，采用分辨率為3 840×2 748的工業(yè)CCD相機完成圖像采集，視野范圍為210 mm×170 mm，LED光源，實物圖如圖2。

圖1 電子元器件檢測系統(tǒng)總體框圖

圖2 電子元器件檢測系統(tǒng)實物圖

軟件部分則由視覺檢測軟件和檢測算法組成，軟件界面圖見圖3，包括圖像顯示、元器件信息、不合格類型標注等幾部分。用戶進入軟件界面后，提取Gerber文件信息，啟動相機和電機控制器，完成圖像采集，通過視覺檢測算法對采集的圖像進行處理，完成圖像匹配，得出檢測結果，生成不合格品單。

圖3 電子元器件檢測系統(tǒng)軟件界面圖

2 視覺檢測算法設計

圖4為電子元器件檢測系統(tǒng)視覺檢測算法流程圖。通過數(shù)字圖像處理技術對采集的PCB圖像進行預處理；采用改進的Hough變換算法檢測定位點，矯正圖像；讀取PCB電裝工藝文件，根據(jù)元器件坐標信息定位元器件位置，并結合尺寸信息制作ROI框；設定元器件模板圖像，將待測元器件圖像與模板圖像進行SURF特征匹配，實現(xiàn)元器件錯焊、誤焊判別。

圖4 視覺檢測算法流程圖

2.1 圖像預處理

圖像分析中，圖像質(zhì)量直接影響后續(xù)算法的運行效率及結果的精確程度，因此在圖像分析前，需進行預處理。

灰度化是將彩色圖像轉換為灰度圖像[3]。RGB彩色模型在計算機中由紅、綠、藍三個顏色通道表示，對應笛卡爾坐標系中的一個立方體。RGB[4]分別代表3個坐標軸，當三個坐標軸的值均為0時，圖像呈黑色；等于255時呈白色?；叶饶Ｐ驮赗GB空間表示為由黑到白的一條直線。

中值濾波是一種非線性濾波，不同于線性濾波器，統(tǒng)計排序濾波器不是簡單利用模板對鄰域內(nèi)像素進行加權平均，而是通過對采樣窗口內(nèi)像素的灰度值進行排序，取出序列中位于中間位置的灰度作為中心像素的灰度。中值濾波在少量離散噪聲點的消除方面效果顯著，能有效去除圖像的椒鹽噪聲。

2.2 MARK點定位

PCB板一般設有2～4個MARK點，精確查找MARK點的位置是進行圖像處理的前提。MARK點定位技術采用改進的Hough圓變換檢測算法[5]。Hough變換的核心是將圖像中特定曲線區(qū)域一一映射到參數(shù)空間中的點，對于圓的解析方程：

(x-a0)2+ (y-b0)2=r02

(1)

將該圓上任一點(xi,yi)投影至參數(shù)空間，其表達式為：

(a-xi)2+(b-yi)2=r2

(2)

式中,a,b,r是參數(shù)空間的3個變量，(xi,yi)則對應原圖像XOY坐標系上任意一點。(xi,yi)對應參數(shù)空間的一個圓錐，(xi,yi)在圓上移動形成參數(shù)空間眾多交叉重疊的一簇圓錐面，相交于一點(a0,b0,r0)。圖5為Hough圓檢測空間轉換關系。

圖5 Hough圓檢測空間轉換

改進Hough圓檢測實現(xiàn)的具體步驟如下：

1)在進行圓檢測之前對灰度圖像進行處理，首先對輸入圖像進行高斯濾波處理；為提高Hough檢測的運行效率，對圖像進行降采樣處理。

2)采用Sobel算子獲取圖像邊緣信息。Sobel算子對像素位置信息進行加權，能夠有效降低邊緣模糊程度。

3)對于寬為w、高為h的圖像，如果設定檢測半徑的最大值rm便可得到a,b,r的取值范圍，在搜索某一特定像素所在的圓周區(qū)域時，在值域內(nèi)依次取a,b的所有可能值，然后通過圓的解析方程計算對應的r值；

4)為每一個圓周區(qū)域在對應參數(shù)空間指定一個計數(shù)器，每得到一組(xi,yi,r)值，就為參數(shù)空間中對應的計數(shù)器加1；

5)根據(jù)需求在指定鄰域半徑內(nèi)進行峰值檢測，該峰值即為檢測到的圓的圓心和半徑。

在算法運行過程中選定合適的閾值即可獲得良好的檢測結果。改進的Hough圓檢測算法提高了定位圓的檢測效率，運行結果如圖6所示。

圖6 Hough圓檢測結果

2.3 制作ROI框

根據(jù)Hough檢測的結果，以檢測到圓心所在的位置為坐標軸原點建立坐標系。使用AD軟件直接輸出PCB元器件坐標文件與其對應的封裝報告，并根據(jù)像素長度與物理長度的關系求得元器件在像素坐標系中的相對位置，結合元器件的尺寸信息繪制元器件ROI框。PCB元器件坐標系與像素坐標之間的對應關系如圖7所示。

為元器件坐標系，為像素坐標系，兩者的轉換關系與圖像采集設備的參數(shù)直接相關[6]：

u=Axxu+a

v=Ayxv+b

(3)

式中,系數(shù)Ax與Ay是單位距離的像素個數(shù)(pixels/mm),(a,b)為相機中心與圖像平面的交點。

使用設計軟件直接輸出PCB元器件坐標文件和對應的封裝報告，根據(jù)在PCB圖像中得到的像素長度與物理長度的關系求出元器件在像素坐標中的位置和尺寸信息，在一定范圍內(nèi)繪制ROI框。圖8元器件ROI框繪制流程圖，圖9為坐標信息文件，圖10為ROI框繪制結果。

圖9 元器件坐標文件

圖10 ROI繪制效果圖

2.4 元器件檢測算法

元器件檢測算法采用基于特征信息的匹配算法，具有魯棒性高、計算量小的優(yōu)勢[2]。D.G.Lowe于2004年提出了尺度不變特征匹配算法(SIFT)[7]，該算法對圖像的旋轉、尺度變化等都是魯棒不變的。2006年，H.Bay 等人對SIFT算法進行改進，提出了加速穩(wěn)健特征算法(SURF)[8]，在保證正確匹配的前提下，運用積分圖提升了原檢測器中計算特征的速度，并采用小波變換增加魯棒性。與SIFT算法相比，SURF算法運行速度更快，并且魯棒性更好。為了更好地滿足實時性檢測要求，對SURF特征提取算法進行研究，并采用基于最近鄰和次近鄰比值的方法完成特征點匹配，具體操作步驟如下：

1)構造Hessian矩陣

圖像中某個像素點(x,y)的Hessian矩陣如下：

(4)

也就是說每一個像素點都可以求出一個Hessian矩陣，由于特征點需具備尺度無關性，在進行Hessian矩陣構造前對其進行高斯濾波，公式如下：

(5)

式中,Lxx(x,σ)是高斯二階微分?2g(σ)/?x2在x點處的圖像I的卷積，Lyy(x,σ)和Lxy(x,σ)具有同樣的含義。

2)積分圖像與盒子濾波

SURF算法中積分圖像可將二階高斯微分模型的卷積簡化為對圖像的加減，其中任一點的積分圖定義為該點左上方向的全部像素之和：

(6)

ii(x,y)表示像素點(x,y)的積分圖，i(x,y)表示原始圖像，ii(x,y)可由下式迭代得到：

——已故物理學家史蒂芬·霍金的新書出版，他在書中警告：基因改造技術越先進，人類想自我改造的誘因就越大，有錢人很快就可選擇編輯自己或孩子的DNA

s(x,y)=s(x,y-1)+i(x,y)

(7)

ii(x,y)=ii(x-1,y)+s(x,y)

(8)

s(x,y)表示行的積分和，s(x,-1)=0,ii(-1,y)=0。求一幅圖像的積分和只需遍歷一次圖像即可。

盒子濾波模板僅由幾個矩形區(qū)域組成，矩形區(qū)域內(nèi)用同一個值填充，白色區(qū)域值為1，黑色區(qū)域為-1，灰色區(qū)域值為0。一般地，盒子內(nèi)部填充的值vn∈{1,-1,-2}，盒子濾波模板的面積為sxx、syy、sxy，如圖11所示。

圖11 高斯二階混合微分模板及其簡化

則模板與圖像卷積結果如下：

(9)

由上式可知，高斯二階卷積轉化為簡單的加減運算，縮短了計算時間。

3)尺度空間構造

為保證匹配圖像的尺度不變性，需要構建圖像的尺度空間，然后在不同尺度上檢測圖像的特征點[9]。SIFT算法中，同一個組的圖像尺寸相同，但是模糊程度不同，不同組之間的尺寸也不相同[11]；SURF算法中，不同組間的輸入圖像的尺寸一致，使用盒式濾波器的尺寸不同，同一組間的不同層使用不同尺寸的濾波器，濾波器的模糊系數(shù)逐漸增大。圖12為SURF圖像金字塔。

圖12 SURF圖像金字塔

SURF尺度空間根據(jù)組(Octave)來區(qū)分，每一個組包含四個濾波模板，第一組中相鄰模板間尺寸相差6個像素值，第二組相差12個，以此類推。假設盒子濾波尺寸為N×N，那么尺度s=1.2×N/9。圖13為盒子濾波的尺寸變化示意圖。

圖13 濾波尺寸變化圖形表示

4)定位特征點

SURF算法中，原圖像每個像素的Hessian矩陣行列式的近似值構成一個變換圖像，在這個變換圖像上尋找特征點，將其映射到原圖像中。Hessian矩陣的行列式近似值由下式得到：

Det(Happrox)=DxxDyy-(0.9Dxy)2

(10)

通過上式篩選極值點，利用非極大值抑制的方法初步確定特征點。將經(jīng)過Hessian矩陣處理過的每個像素點與其三維鄰域內(nèi)的26個點進行比較，若為極值點則保留下來作為初步極值點，最后采用線性插值法對粗選后的特征點集合進一步篩選。

5)特征描述

為保證特征矢量具有旋轉不變形，需要對每個特征點進行主方向分配，如圖16所示。選取半徑為6 s(s為特征點所在的尺度)，統(tǒng)計60°扇形內(nèi)點的水平、垂直小波特征，以興趣點為中心進行高斯加權。然后60°扇形以一定間隔(0.2弧度左右)進行旋轉，最后將最大值所在扇形的方向作為該特征點的主方向。

主方向確定后，在特征點周圍取大小為20 s×20 s的正方形框，將此正方形框劃分成4×4子區(qū)域，使用尺寸為2×2的Haar小波模板進行響應值計算，統(tǒng)計響應值的水平方向之和∑dx、水平方向絕對值之和∑|dx|、垂直方向之和∑dy、垂直方向絕對值之和∑|dy|(相對主方向而言)，從而形成特征矢量。

6)特征點匹配

(11)

最近鄰與次近鄰比值的公式如下：

(12)

當計算出的比值大于閾值T時，剔除匹配點；小于閾值T時認為是正確匹配。Lowe經(jīng)過大量實驗數(shù)據(jù)得出閾值T的經(jīng)驗值為0.7。

3 實驗結果與分析

3.1 圖像匹配測試

采用SURF算法對不同種類元器件進行匹配測試，并對算法魯棒性進行測試。實驗環(huán)境為運行MATLAB R2010b的PC機、Inter Core i7處理器，主頻為3.6 GHz，內(nèi)存為4 GB，32位Windows7操作系統(tǒng)。分別對圖14中QFP封裝芯片、SOP封裝芯片和貼片電阻三種元器件進行檢測，對應匹配結果如圖15所示，將匹配結果匯總成表1。

圖14 被測元器件

圖15 元器件匹配結果

3.2 SURF算法魯棒性測試

對光照、平移、旋轉、縮放等情況下的SURF特征匹配結果進行魯棒性測試，結果如圖16所示，并將結果匯總至表2。

表1 三種不同的元器件SURF特征匹配結果

表2 SURF特征匹配算法實驗結果

圖16 SURF特征匹配算法穩(wěn)定性測試結果

對檢測結果進行分析可知，SURF算法在元器件匹配性測試中取得了良好的實驗效果，匹配準確率在85%以上；在光照變換、平移變換以及縮放變換的情況下魯棒性較好，匹配準確率達到97%以上；在元器件發(fā)生小角度偏轉時的檢測效果比較理想，準確率達到90%，偏轉角度越大匹配精度越低；圖像發(fā)生鏡像時匹配損失比較大。同時針對尺寸較大、特征較多的元器件，SURF算法的檢測時間比較長，在實時性方面還不能滿足要求；匹配方法上也可以在初匹配后進一步剔除誤匹配點，實現(xiàn)精確匹配。

4 結束語

基于機器視覺的電子元器件檢測系統(tǒng)在硬件平臺的基礎上，設計完成了PCB定位算法，采用邊緣提取改進Hough圓檢測算法定位PCB圖像的MARK點，結合電裝工藝文件定位元器件位置；通過SURF算法檢測特征點，完成待測圖像與模板圖像匹配，能夠?qū)崿F(xiàn)PCB板上元器件焊裝正確性檢測。經(jīng)過多次實驗證明，SURF算法在光照變化、平移變換等影響下具有一定魯棒性。

迄今為止，工業(yè)上AOI設備在大批量產(chǎn)PCB質(zhì)量檢測方面發(fā)展相對成熟，然而針對宇航、軍工這類小批量電子產(chǎn)品的自動檢測設備還有待進一步研究。設計制造高精度、高可靠的宇航PCB智能檢測設備，對我國航天事業(yè)的發(fā)展具有光明的應用前景，值得今后不斷探索。