面向標(biāo)準(zhǔn)件裝配質(zhì)量的PI-SURF檢測(cè)區(qū)域劃分技術(shù)

郭雪梅，劉桂雄，黃堅(jiān)，林鎮(zhèn)秋

（1.廣東省智能制造研究所，廣東廣州510070；2.華南理工大學(xué)機(jī)械與汽車工程學(xué)院，廣東廣州510640；3.廣州市華頡電子科技有限公司，廣東廣州510663）

面向標(biāo)準(zhǔn)件裝配質(zhì)量的PI-SURF檢測(cè)區(qū)域劃分技術(shù)

郭雪梅1，劉桂雄2，黃堅(jiān)2，林鎮(zhèn)秋3

（1.廣東省智能制造研究所，廣東廣州510070；2.華南理工大學(xué)機(jī)械與汽車工程學(xué)院，廣東廣州510640；3.廣州市華頡電子科技有限公司，廣東廣州510663）

標(biāo)準(zhǔn)件裝配具有部位多、類型復(fù)雜、結(jié)構(gòu)各異等特點(diǎn)，可基于產(chǎn)品特性指導(dǎo)機(jī)器視覺(jué)進(jìn)行產(chǎn)品裝配質(zhì)量檢測(cè)。該文基于部分裝配產(chǎn)品的位置不變性（PI），提出面向標(biāo)準(zhǔn)件裝配質(zhì)量的PI-SURF檢測(cè)區(qū)域劃分技術(shù)。首先，分析產(chǎn)品裝配中各標(biāo)準(zhǔn)件間位置關(guān)系基本穩(wěn)定的特點(diǎn)，以平面尺寸鏈描述兩個(gè)標(biāo)準(zhǔn)件的位置關(guān)系，提出基于PI的裝配檢測(cè)區(qū)域劃分方法；其次，提出基于PI-SURF的標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)區(qū)域劃分技術(shù)，通過(guò)提取基準(zhǔn)部位的SURF區(qū)域特征與特征主方向，使得檢測(cè)區(qū)域具有對(duì)產(chǎn)品整體平移、旋轉(zhuǎn)的抗干擾能力；最后，構(gòu)建標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)裝置，以聯(lián)想ThinkCentre G3機(jī)箱進(jìn)行試驗(yàn)。結(jié)果表明：與全局檢測(cè)相比，使用PI-SURF檢測(cè)區(qū)域劃分技術(shù)后，檢測(cè)時(shí)間縮短83.4%，實(shí)現(xiàn)零漏檢，提高裝配質(zhì)量檢測(cè)裝置結(jié)果可靠性。

標(biāo)準(zhǔn)件裝配；質(zhì)量檢測(cè)；檢測(cè)區(qū)域劃分；位置不變性

0 引言

標(biāo)準(zhǔn)件裝配具有部位多、類型復(fù)雜、結(jié)構(gòu)各異等特點(diǎn)，目前多采用人工目測(cè)法檢測(cè)裝配質(zhì)量。但在高強(qiáng)度、重復(fù)性工作環(huán)境下人員容易疲憊導(dǎo)致決策失誤，難以滿足大批量工業(yè)生產(chǎn)檢測(cè)的需要[1]。引入機(jī)器視覺(jué)實(shí)現(xiàn)機(jī)器代人是制造產(chǎn)業(yè)升級(jí)的必然趨勢(shì)，裝配產(chǎn)品往往具有顯著的宏觀特性。以專家經(jīng)驗(yàn)結(jié)合機(jī)器視覺(jué)技術(shù)形成圖像檢測(cè)模板，是提高機(jī)器視覺(jué)檢測(cè)準(zhǔn)確率的重要手段[2]。

圖像檢測(cè)模板是機(jī)器視覺(jué)檢測(cè)要求的載體，應(yīng)當(dāng)存儲(chǔ)評(píng)判標(biāo)準(zhǔn)、位置等信息，據(jù)此來(lái)實(shí)現(xiàn)裝配中標(biāo)準(zhǔn)件的準(zhǔn)確識(shí)別，從而判斷裝配質(zhì)量[3]。目前主要有數(shù)據(jù)變換自動(dòng)構(gòu)建法、匹配自動(dòng)構(gòu)建法。數(shù)據(jù)變換自動(dòng)構(gòu)建法通過(guò)讀取標(biāo)準(zhǔn)數(shù)據(jù)文件中標(biāo)準(zhǔn)件的形狀、大小、位置和型號(hào)等信息，生成相應(yīng)檢測(cè)模板[4]。如Hirvonen等[5]從有限元模型獲得的等效電路來(lái)制作機(jī)械部件庫(kù)，為進(jìn)行復(fù)雜幾何任務(wù)實(shí)驗(yàn)及構(gòu)建對(duì)象模型庫(kù)提供了可能性；文獻(xiàn)[6]通過(guò)CAD參數(shù)直接導(dǎo)入生成模板庫(kù)方法，系統(tǒng)讀取SMT文件中參數(shù)，轉(zhuǎn)換后生成標(biāo)準(zhǔn)的PCB裝配模板庫(kù)；Xie等[7]基于組裝組件的規(guī)則，將SolidWorks模型轉(zhuǎn)換而虛擬組件數(shù)據(jù)庫(kù)用于二次開(kāi)發(fā)。匹配自動(dòng)構(gòu)建法則通過(guò)形成標(biāo)準(zhǔn)件圖像樣本庫(kù)對(duì)合格產(chǎn)品進(jìn)行匹配，從而獲得標(biāo)準(zhǔn)件類別和相對(duì)位置[8]。文獻(xiàn)[9]選取某類零件的一張圖像作為基準(zhǔn)圖像進(jìn)行擬合區(qū)域的人工選取，后批量零件的操作則根據(jù)圖像配準(zhǔn)技術(shù)，自動(dòng)得到其余每張零件圖像與基準(zhǔn)圖像的仿射變換參數(shù)，進(jìn)行擬合區(qū)域自動(dòng)轉(zhuǎn)換，從而檢測(cè)相應(yīng)區(qū)域內(nèi)的零件位置。中國(guó)科學(xué)院結(jié)合零件特點(diǎn)，重點(diǎn)研究零件的形狀特征和幾何特征提取方法，定位準(zhǔn)確度能夠滿足工業(yè)要求[10]。匹配自動(dòng)構(gòu)建法實(shí)現(xiàn)簡(jiǎn)單，但存在誤匹配、漏匹配情況，一般與專家定義構(gòu)建法結(jié)合使用[11]。

本文分析面向裝配檢測(cè)對(duì)象具有位置不變性，提出基于位置不變性的裝配檢測(cè)區(qū)域劃分方法，并基于SURF區(qū)域特征與特征方向?qū)崿F(xiàn)檢測(cè)區(qū)域配準(zhǔn)，實(shí)現(xiàn)裝配標(biāo)準(zhǔn)件的高準(zhǔn)確識(shí)別。

1 基于位置不變性的裝配檢測(cè)區(qū)域劃分方法

產(chǎn)品由對(duì)應(yīng)裝配圖明確各標(biāo)準(zhǔn)件裝配要求，其中大部分標(biāo)準(zhǔn)件是固定零件，各標(biāo)準(zhǔn)件間位置關(guān)系基本穩(wěn)定，可使用直線、角度等平面尺寸鏈描述，儀器設(shè)備機(jī)箱裝配圖如圖1所示。由于一個(gè)合格產(chǎn)品的各標(biāo)準(zhǔn)件，其上的各裝配部位具有位置不變性（position invariance，PI），那么在標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)過(guò)程中，若充分考慮各標(biāo)準(zhǔn)件的位置不變性篩選出裝配檢測(cè)部位，則可降低圖像檢測(cè)計(jì)算量、提高檢測(cè)準(zhǔn)確率。

圖1 儀器設(shè)備機(jī)箱裝配圖（單位：mm）

基于位置不變性（PI）的裝配檢測(cè)區(qū)域劃分方法總體流程如下：

1）選定基準(zhǔn)面或基準(zhǔn)位置?；鶞?zhǔn)面或基準(zhǔn)位置必須是非裝配要求部位或漏裝配/誤裝配可能性最小部位。在設(shè)計(jì)過(guò)程中，會(huì)選擇較大加工面、零件結(jié)合面、零件對(duì)稱平面與重要平面作為尺寸基準(zhǔn)，從而形成便于裝配的裝配基準(zhǔn)。在機(jī)箱標(biāo)準(zhǔn)件裝配部位確定過(guò)程中，這些尺寸基準(zhǔn)在圖像中顯示為線特征，不利于自動(dòng)識(shí)別。因此，為保證劃分裝配檢測(cè)區(qū)域準(zhǔn)確，選定基準(zhǔn)面或基準(zhǔn)位置必須具有顯著圖像特征。

2）選擇需要檢測(cè)的裝配部位，并錄入該部位裝配標(biāo)準(zhǔn)件的具體型號(hào)與規(guī)格。這些內(nèi)容也是整個(gè)機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量要求。

3）計(jì)算裝配部位與基準(zhǔn)間相對(duì)位置與方向。裝配部位描述與裝配檢測(cè)范圍如圖2所示，以裝配部位Ai的形心Oi到基準(zhǔn)位置O來(lái)確定裝配部位的位置(藍(lán)色箭頭)，以距離di、角度αi進(jìn)行描述。

4）根據(jù)該標(biāo)準(zhǔn)件零件尺寸、安裝尺寸、裝配尺寸等相關(guān)信息，估計(jì)其檢測(cè)范圍。零件尺寸為裝配部位Ai所需裝配機(jī)箱標(biāo)準(zhǔn)件安裝尺寸（黑色方框），在此基礎(chǔ)上，考慮裝配部位與基準(zhǔn)間定位尺寸誤差要求、標(biāo)準(zhǔn)件與基礎(chǔ)裝配尺寸誤差，快速估計(jì)檢測(cè)范圍（藍(lán)色虛線框）。

5）錄入全部裝配部位，記錄其需裝配標(biāo)準(zhǔn)件的型號(hào)規(guī)格，形成其與基準(zhǔn)位置的距離、角度，裝配檢測(cè)區(qū)域，這樣就完成基于位置不變性（PI）裝配檢測(cè)區(qū)域劃分。

2 基于PI-SURF的機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)區(qū)域劃分技術(shù)

SURF特征描述感興趣點(diǎn)周圍亮度內(nèi)容的分布，相比較其他區(qū)域特征提取方法，其特征計(jì)算、模式識(shí)別速度較快、穩(wěn)定性較強(qiáng)。SURF特征提取方法的總體流程包括：使用箱型濾波器逼近Hessian濾波器，構(gòu)建圖像金字塔尺度空間，基于非極大值抑制初步確定特征點(diǎn)，使用Haar小波響應(yīng)尋找主方向，沿主方向及其垂直方向共選取16個(gè)5×5子區(qū)域，使用4個(gè)描述子描述圖像的SURF特征。

圖2 裝配部位與檢測(cè)范圍

采用SURF區(qū)域特征結(jié)合匹配的方式尋找基準(zhǔn)位置，通過(guò)SURF特征確定坐標(biāo)軸方向（圖2中點(diǎn)O與坐標(biāo)軸）；這可對(duì)裝配檢測(cè)范圍在機(jī)箱標(biāo)準(zhǔn)件裝配圖像上的平移、旋轉(zhuǎn)進(jìn)行校正，使機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)裝置對(duì)平移、旋轉(zhuǎn)具有一定的抗干擾能力，降低成像時(shí)機(jī)箱產(chǎn)品對(duì)運(yùn)動(dòng)控制裝置的定位準(zhǔn)確度要求。

在選定非裝配要求或漏裝配/誤裝配可能性最小部位，具有顯著圖像特征部位作為基準(zhǔn)位置后，提取其SURF區(qū)域特征，并以基準(zhǔn)位置的SURF區(qū)域特征主方向作為坐標(biāo)軸方向。則基于PI-SURF的機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)區(qū)域劃分技術(shù)流程如圖3所示。

1）生成機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)區(qū)域。在原始圖像I0上規(guī)定基準(zhǔn)位置并提取SURF區(qū)域特征，以區(qū)域形心為基準(zhǔn)位置、SURF區(qū)域特征主方向作為坐標(biāo)軸方向，應(yīng)用基于PI的裝配檢測(cè)區(qū)域劃分方法，獲得所有裝配部位的應(yīng)裝配標(biāo)準(zhǔn)件型號(hào)、規(guī)格，計(jì)算到基準(zhǔn)位置的相對(duì)距離、方向，估計(jì)檢測(cè)范圍。

圖3 基于PI-SURF的機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)區(qū)域劃分技術(shù)

則經(jīng)過(guò)這些步驟，生成的機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)區(qū)域可以以如下數(shù)據(jù)描述：基準(zhǔn)位置、基準(zhǔn)SURF區(qū)域特征；全部裝配部位，以及每個(gè)裝配部位中應(yīng)裝配標(biāo)準(zhǔn)件型號(hào)、規(guī)格，到基準(zhǔn)相對(duì)距離與方向，檢測(cè)范圍。

2）復(fù)現(xiàn)機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)區(qū)域。采集待測(cè)機(jī)箱圖像I′，在待測(cè)圖像I′上基于基準(zhǔn)部位SURF區(qū)域特征匹配到基準(zhǔn)部位，以基準(zhǔn)部位的形心作為待測(cè)圖像坐標(biāo)系的原點(diǎn)O′、SURF區(qū)域特征主方向作為坐標(biāo)軸方向，再讀取記錄的機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)區(qū)域數(shù)據(jù)，在圖像I′上復(fù)現(xiàn)。

本方法目的是解決基于位置不變性（PI）的裝配檢測(cè)區(qū)域劃分方法應(yīng)用到機(jī)器視覺(jué)中可能出現(xiàn)的運(yùn)動(dòng)控制裝置準(zhǔn)確度、振動(dòng)擾動(dòng)等導(dǎo)致的產(chǎn)品位置重復(fù)性問(wèn)題。

以機(jī)箱風(fēng)扇位固定鈑金件為基準(zhǔn)，提取SURF區(qū)域特征之后，實(shí)現(xiàn)鉚釘裝配部位檢測(cè)區(qū)域劃分如圖4所示。在圖4（a）的原始圖像上生成機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)區(qū)域，并使用軟件旋轉(zhuǎn)原始圖像形成新圖像。在圖4（b）待檢測(cè)圖像上，使用SURF區(qū)域特征匹配得到基準(zhǔn)區(qū)域，計(jì)算其形心與主方向，以形心為基準(zhǔn)位置，以主方向?yàn)樽鴺?biāo)軸，將檢測(cè)區(qū)域信息在檢測(cè)圖像上復(fù)現(xiàn)。復(fù)現(xiàn)機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)區(qū)域準(zhǔn)確地覆蓋裝配部位，在檢測(cè)過(guò)程中只需考慮檢測(cè)區(qū)域內(nèi)部位，能夠降低圖像檢測(cè)計(jì)算量，提高檢測(cè)準(zhǔn)確率。

圖4 機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)區(qū)域劃分

圖5 機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)裝置

3 試驗(yàn)與效果分析

機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)裝置如圖5所示。圖5（a）為機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)裝置三維模型，檢測(cè)平臺(tái)用箱體遮蓋，防止外部光照、人為因素干擾視覺(jué)成像，保證拍攝圖像質(zhì)量；外部設(shè)施主要由傳動(dòng)裝置組成，傳動(dòng)裝置將檢測(cè)樣品機(jī)箱送至檢測(cè)區(qū)域。圖5（b）為機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)裝置實(shí)物圖，裝置采用深圳市度申科技有限公司睛馳U3S230M-H黑白工業(yè)相機(jī)（分辨率1920×1200、感光元件尺寸1/1.2″、像素大小5.86μm），廣東奧普特科技股份有限公司的200萬(wàn)級(jí)OPT-C7528-2M定焦鏡頭（徑向畸變〈0.02%），視創(chuàng)科技有限公司的型號(hào)TXX-D708X21條形光源。圖5（c）為機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)裝置上位機(jī)軟件，選用ThinkCentre G3機(jī)箱進(jìn)行試驗(yàn)。對(duì)比全局檢測(cè)、劃分檢測(cè)區(qū)域2種方法，結(jié)果見(jiàn)表1。由表可知，使用PI-SURF檢測(cè)區(qū)域劃分技術(shù)后，檢測(cè)時(shí)間縮短83.4%，由50.5s降低至8.4s；實(shí)現(xiàn)零漏檢，有效提高裝配質(zhì)量檢測(cè)裝置結(jié)果的可靠性。

4 結(jié)束語(yǔ)

1）提出基于位置不變性（PI）的裝配檢測(cè)區(qū)域劃分方法，充分考慮各產(chǎn)品裝配中各標(biāo)準(zhǔn)件間位置關(guān)系基本穩(wěn)定的特點(diǎn)，兩個(gè)標(biāo)準(zhǔn)件之間位置關(guān)系可使用直線、角度等平面尺寸鏈描述，有效降低圖像檢測(cè)計(jì)算量。

2）提出基于PI-SURF的機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)區(qū)域劃分技術(shù)，通過(guò)提取基準(zhǔn)部位的SURF區(qū)域特征與特征主方向，使檢測(cè)區(qū)域具有對(duì)產(chǎn)品整體平移、旋轉(zhuǎn)的抗干擾能力，提高定位準(zhǔn)確度，降低漏檢可能性。

3）構(gòu)建機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)裝置，選用ThinkCentre G3機(jī)箱進(jìn)行試驗(yàn)，與全局檢測(cè)相比，使用PI-SURF檢測(cè)區(qū)域劃分技術(shù)后，檢測(cè)時(shí)間縮短83.4%，實(shí)現(xiàn)零漏檢，提高裝配質(zhì)量檢測(cè)裝置結(jié)果可靠性。

[1]RADKOWSKI R，HERREMA J，OLIVER J.Augmented reality-based manual assembly support with visual featuresfordifferent degrees of difficulty[J].International Journal of Human-Computer Interaction，2015，31（5）：337-349.

[2]RAJSIC J，WILSON D E，PRATT J.The price of information：increased inspection costs reduce the confirmationbiasinvisualsearch[J/OL].Quarterly Journal of Experimental Psychology，2016：1-20[2017-03-20].http：//dx.doi.org/10.1080/17470218.2916.1278249.

[3]RICHTER I.Assembly inspection system and method[J].Journal of Vascular Surgery，2015，52（6）：1727.

[4]郭靜，韓躍平，賈志前，等.產(chǎn)品表面檢測(cè)的變步長(zhǎng)采樣機(jī)制研究[J].中國(guó)測(cè)試，2017，43（2）：20-24.

[5]HIRVONEN J，KALLIO P.Automatic image-based detection and inspection of paper fibres for grasping[J].Computer Vision Iet，2015，9（4）：588-594.

[6]LIU H W，CHEN S H，PERNG D B.Defect inspection of patterned thin-film ceramic light-emitting diode substrate using a fast randomized principal component analysis[J].IEEE Transactions on Semiconductor Manufacturing，2016，29（3）：248-256.

[7]XIELF，LINL J，YIN M，et al.A novel surface defect inspection algorithm for magnetic tile[J].Applied Surface Science，2016（375）：118-126.

[8]FRANKE F，QUIROGA R Q，HIERLEMANN A，et al.Bayes optimal template matching for spike sorting-combining fisher discriminant analysis with optimal filtering[J].JournalofComputationalNeuroscience，2015，38（3）：439-459.

[9]談高超.基于機(jī)器視覺(jué)的批量零件自動(dòng)檢測(cè)系統(tǒng)的研制與工程應(yīng)用[D].上海：東華大學(xué)，2014.

[10]司小婷.基于視覺(jué)的零件特征識(shí)別與分類方法研究與實(shí)現(xiàn)[D].沈陽(yáng)：中國(guó)科學(xué)院研究生院（沈陽(yáng)計(jì)算技術(shù)研究所），2016.

[11]宋小春，王凱，熊芝，等.伺服定位技術(shù)汽車大梁視覺(jué)測(cè)量系統(tǒng)研究[J].中國(guó)測(cè)試，2015，41（1）：93-96.

（編輯：商丹丹）

PI-SURF detection area partitioning technique for standard component assembly quality

GUO Xuemei1，LIU Guixiong2，HUANG Jian2，LIN Zhenqiu3
（1.Guangdong Institute of Intelligent Manufacturing，Guangzhou 510070，China；2.School of Mechanical and Automotive Engineering，South China University of Technology，Guangzhou 510640，China；3.Guangzhou Huajie Electronic Technology Co.，Ltd.，Guangzhou 510663，China）

Standard component assembly has lots of features，such as complex type，multiassembly parts，different structures and so on，which is applicable to guide the machine vision for product assembly quality inspection based on product characteristics.In this article，PI-SURF detection area partitioning technique for standard component assembly quality is proposed based on the position invariance(PI)of part of assembled products.Firstly，the basic stability characteristic of position relationship between the standard components in product assembly is analyzed，and the position relation of the two standard components is described via the plane dimension chain，so that the PI-based assembly detection area partitioning method is proposed.Secondly，the standard component assembly quality detection area partitioning technique based on PI-SURF is proposed，and then through extracting the SURF region characteristic and the characteristic main direction of the reference part，the detection area has the anti-interference ability to overall translation and rotation.Finally，standard component assembly quality inspection device is built，and it is testedbyusingThinkCentreG3chassis.Theresultsshowthatcomparedwiththeglobal detection，the detectiontimeisshortenedby83.4%afterusingPI-SURF detectionarea partitioning technique，which also achieves zero leakage detection and improves the reliability of results of assembly quality inspection device.

standard component assembly；quality inspection；detection area partitioning；position invariance

A

1674-5124（2017）08-0101-05

2017-04-11；

2017-05-08

廣州市科技計(jì)劃項(xiàng)目（2017010160641，201509010008）

郭雪梅（1975-），女，遼寧沈陽(yáng)市人，工程師，碩士，主要從事智能制造技術(shù)與裝置研發(fā)。

劉桂雄（1968-），男，廣東揭陽(yáng)市人，教授，博導(dǎo)，主要從事先進(jìn)傳感器與儀器研究。

10.11857/j.issn.1674-5124.2017.08.021