附約束條件的零件輪廓線的多特征提取

郭寶云，李彩林，黃榮永

1.山東理工大學(xué)建筑工程學(xué)院，山東 淄博255049；2.武漢大學(xué)遙感信息工程學(xué)院，湖北 武漢430079

我國是零部件制造大國，但產(chǎn)品質(zhì)量檢測方面卻長期沒有得到重視，許多國內(nèi)企業(yè)仍然采用人工檢驗方式檢驗零件質(zhì)量，效率低下，常因人為失誤導(dǎo)致漏檢錯檢，給廠商帶來巨大的損失，而且無法有效建立質(zhì)量反饋系統(tǒng)。國家中長期科技發(fā)展規(guī)劃（2006—2020）［1］中特別提出要重點研究開發(fā)高精度零件檢測儀器。由于視覺測量技術(shù)具有速度快、無接觸等優(yōu)點［2］，因此成為當(dāng)前零件制造與自動化、近景攝影測量、計算機視覺等領(lǐng)域的重要研究方向。本文在零件質(zhì)量視覺檢測的研究過程中，對零件輪廓線多特征提取進行的相關(guān)研究。

在零件視覺檢測過程中，經(jīng)過圖像邊緣提取后，從待測零件圖像可以得到平面輪廓像素點集合，屬于同一個圖元的輪廓像素點集合可構(gòu)成如直線、圓弧等基本幾何圖元［3］。二維測量中在對零件形狀尺寸等參數(shù)檢測時，一般都是根據(jù)圖元的尺寸、形狀和各圖元的位置關(guān)系等進行檢測，因此檢測前必須先識別出組成零件輪廓的各圖元的特征。三維測量中，也有利用零件的輪廓線進行視覺測量重建的研究［4－5］，所以對輪廓基本圖元進行精確地分割識別是視覺檢測過程中一個關(guān)鍵步驟，會直接影響零件尺寸測量的準確性。

圖元與圖元間的分割點稱為特征角點［3］，它們可能是直線與直線或直線與圓弧等的鄰接點。識別圖元特征要先檢測出零件輪廓的特征角點，從而獲取圖元與圖元的連接點，然后根據(jù)相鄰特征角點的類型來確定圖元的類型，因此特征角點的檢測是輪廓多特征圖元識別的關(guān)鍵。國內(nèi)外很多學(xué)者對此進行了廣泛而深入的研究，例如文獻［9］結(jié)合曲率、投影高度、合并分裂等方法提取特征角點，實現(xiàn)了用圓弧和直線等圖元描述輪廓的特征信息，但在提取過程中沒有充分利用圖元間存在的固有關(guān)系（如相切關(guān)系），這必然會影響角點提取的精確度。

考慮到工業(yè)零件加工的特點，本文在綜合利用已有輪廓特征角點檢測方法的基礎(chǔ)上加入相關(guān)約束條件，實現(xiàn)利用直線和圓弧來對輪廓進行精確分割（文獻［10］已證明僅用直線和圓弧就可以很好地表達常見零件的輪廓信息）：首先介紹自適應(yīng)k曲率法［11－12］分割特征、點投影高度法［6，13－14］識別特征及特征間的邏輯關(guān)系來分割或合并特征點的方法，然后利用輪廓上圓弧與直線相切、相鄰圓弧與圓弧相切等約束條件，對輪廓上的特征進行迭代精確提取，最后用試驗證明了添加約束條件后，輪廓多特征提取更加準確可靠。

1 輪廓特征初始提取

由于視覺檢測系統(tǒng)一般都會設(shè)置成半封閉的環(huán)境，具有良好照明條件，因此獲取的待測對象的影像質(zhì)量一般都較好，目標與背景間的對比度大，利用一般的邊緣提取［15－17］再進行細化［18］的方法就能獲取零件的初始輪廓，得到初始輪廓后利用八鄰域跟蹤方法［19－20］獲取按照從起點到終點順序排列的輪廓像素點集合。在提取輪廓特征角點前，為減少運算量，先采用鄰域值對比的方法［3，6］預(yù)先分類輪廓點，將不可能為角點的輪廓點去掉，對保留下來的輪廓點本文將介紹利用旋轉(zhuǎn)不變的角點判定方法及基于角度判定方法［6］去除因直線重采樣導(dǎo)致的冗余角點，最后能得到如圖1所示的角點提取結(jié)果。

圖1 輪廓特征角點初始提取結(jié)果Fig.1 Initial extraction results of outline corner

從圖1（a）可以看出圓弧上仍然有很多冗余角點需要去除，去除方法為：首先根據(jù)角點鄰域特征將角點分為兩種類型，第1種是突變角點（C類型），角點兩側(cè)曲線段屬于不同特征（如圖2（a）、（b）），第2種是平滑角點（S類型），它可能為直線與圓弧的相切點或者圓弧上的冗余角點（如圖1（a）右邊圓弧部分及圖2（c）、（d）所示），其兩側(cè)曲線段可能屬于同一特征，可能需要去除；然后利用自適應(yīng)k曲率法［7，9］來區(qū)分角點類型。

要對輪廓基本圖元進行分段識別，還要確定圖元的類型，即判斷圖元是直線還是圓弧。本文將基于點投影高度［6］方法判別兩輪廓角點間的圖元類型，從而進一步將角點分為以下4種類型：①ll型，即直線至直線（line to line）；②al型，即圓弧至直線（arc to line）；③la型，即直線至圓?。╨ine to arc）；④aa型，即圓弧至圓弧（arc to arc）。

圖2 角點類型示例Fig.2 Corner types

考慮與前面的C型和S型組合，本文最終將角點分為以下幾類：c＿ll、c＿la、c＿aa、c＿al、s＿la、s＿al和s＿aa 7個子類。如s＿al表示連接圓弧和直線的平滑角點，c＿al表示連接圓弧和直線的突變角點。對于平滑性特征角點，則其兩端曲線段有可能屬于同一個特征而被合并。

圖元參數(shù)的識別是根據(jù)輪廓段兩端點的角點類型來確定的，但在特征角點檢測中難免會有遺漏。如圖3所示，ll角點緊接著就是aa角點，根據(jù)邏輯關(guān)系知道ll和aa之間肯定存在la角點，所以這時需要在兩者之間插入la角點，方法如下：用直線連接ll角點和aa角點，然后從ll角點和aa角點間的輪廓點中找出到這兩個角點連線距離最遠的點（max＿h），即該點為插入的la角點。

圖3 需要插入新角點的情況Fig.3 Cases that needed to insert new corners

對于圖4（a）有連續(xù)的圓弧特征的情況需要判斷其相互間是否能被合并或需要被分割。首先估算出圓弧的圓心和半徑，然后利用每點到圓心的距離與半徑差值的和與該段圓弧長度的比值η的圓弧判別函數(shù)［6］，依據(jù)下面的準則合并或分裂圓?。寒?dāng)兩段圓弧合并之后的η值更小時，則合并兩端圓弧；當(dāng)插入一個aa角點后，計算出的η值更小時則分割圓弧。最后得到圖4（b）的結(jié)果。

圖4 圓弧分裂與合并示意圖Fig.4 Schematic arc splitting and merging

當(dāng)識別出輪廓上的特征角點后，就可以將零件輪廓用直線和圓弧表示。ll型和la型角點間的曲線段用直線表達，la型和aa型角點間的曲線段用圓弧表達。

2 附約束條件的零件輪廓多特征參數(shù)整體求解

由于已有研究［10］證明僅用直線和圓弧就可以很好地表達自由輪廓信息，因此本文以只包含直線和圓弧的輪廓來描述如何進行附加約束條件的多圖元特征的聯(lián)合提取。計算過程具體如下：

2.1 基本條件

（1）直線方程表達式為

則其誤差方程為

（2）圓的方程表達式為

則其誤差方程為

用矩陣表示以上兩類誤差方程，得到

2.2 約束條件

（1）對于直線方程一般形式來說，（a，b）代表的是直線的法向量，因此直線參數(shù)a和b滿足

線性化可以得到

對這一類約束條件，將式（7）寫成矩陣形式為

式中，N1為其系數(shù)矩陣；C1為相應(yīng)的常數(shù)向量。

（2）圓弧和直線相切的約束條件

令

則其線性化形式為

對此類約束條件可以寫成矩陣形式

式中，N1和M2分別為X1和X2對應(yīng)的系數(shù)矩陣；C2是相應(yīng)的常數(shù)向量。

（3）圓弧與圓弧相切的約束條件

令兩個圓弧參數(shù)分別為（x1，y1，R1），（x2，y2，R2）則其相切條件為（同時包括內(nèi)切和外切）

式中

該約束條件的線性化形式為

將這些約束條件寫成矩陣形式（所有的（式15）形式的約束條件），則為

式中，M3為系數(shù)矩陣；C3則為常數(shù)向量。

令

利用以上的誤差方程和約束條件，根據(jù)附有約束條件的間接平差模型，本文參數(shù)估計的模型可以表達如下（采用單位權(quán)矩陣）

引入輔助的拉格朗日系數(shù)K，構(gòu)造朗格朗日函數(shù)如下

利用拉格朗日求極值的準則，對LG（X，K）求各個參數(shù)的偏導(dǎo)數(shù)并令其為零，可以得到如下的法方程

將所有輪廓點根據(jù)具體情況按式（5）、式（8）、式（12）、式（16）計算矩陣A、N、L和W，然后代入式（19），即可迭代求解獲得輪廓各圖元特征的精確參數(shù)值。

3 試驗結(jié)果與分析

為了驗證附加約束條件的有效性，分別采用模擬圖像和實際零件圖像進行驗證試驗。

對本文提出方法的準確性需要進行定量的分析，而實際試驗中無法獲得實際零件的真實值，所以本文根據(jù)已知零件尺寸設(shè)計圖繪制了模擬圖像進行驗證試驗。對于模擬圖像，本文方法的提取結(jié)果如圖5（a）、圖5（b）所示，包含5條直線、2段圓弧和3個圓，其中對于兩段圓弧的提取結(jié)果，附約束條件和未附約束條件的提取值與模擬設(shè)計值的比較見表1。從表1的對比中可以發(fā)現(xiàn)約束條件的引入使得提取結(jié)果更加準確，從而定量地說明了本文方法是有效的。

圖5 模擬圖像輪廓圖元特征角點提取結(jié)果Fig.5 Contour corner features extraction results of analog image

表1 特征提取結(jié)果比較Tab.1 Comparison of features extraction results

對于實際零件圖像，本文利用工業(yè)相機和大口徑遠心鏡頭獲取的一些具有代表性的零件圖像進行驗證。利用本文方法對圖像上零件輪廓提取結(jié)果如圖6、圖7、圖8（a）及圖9（a）所示。這些結(jié)果表明，本文方法均能正確地提取輪廓圖元間的分割角點，甚至對于連續(xù)圓弧相鄰接情況的零件，也能準確地提取圓弧相切點作為分割點（見圖9）。此外從圖8（b）、圖8（c）、圖9（b）、圖9（c）及圖10的細節(jié)對比圖中可以看出附加約束條件的輪廓圖元特征分割角點的提取位置更加準確合理。

圖6 實際零件圖像輪廓圖元特征分割角點提取結(jié)果Fig.6 Contour segmentation corner extraction results of actual part feature

圖7 實際零件圖像輪廓圖元特征提取結(jié)果及細節(jié)放大Fig.7 Contour feature extraction result of actual part features and enlargement details

圖8 有較大圓弧情況的零件圖像輪廓圖元特征提取結(jié)果及附約束和未附約束情況下的角點提取細節(jié)對比Fig.8 Contour feature extraction result of actual part features with large contour arc situation and corner position extraction comparison between cases with and without attached constraints

4 結(jié) 論

本文介紹了一種附加約束條件的邊緣輪廓多特征提取方法，即在已有方法提取的多特征結(jié)果的基礎(chǔ)上附加輪廓上圓弧與直線相切、相鄰圓弧與圓弧相切等約束條件來對輪廓特征進行整體精確求解，將組成輪廓的各特征如直線、圓弧、圓，進行精確分段識別，獲得各特征的精確參數(shù)。最后使用模擬圖像和多組零件的真實影像進行了試驗驗證。結(jié)果表明使用本文方法都能正確地提取出組成輪廓的各個圖元特征，并且提取出的角點的位置比未加約束條件的情況下提取出的角點的位置更加準確可靠。

圖9 有圓弧相鄰接情況的零件圖像輪廓圖元特征提取結(jié)果細節(jié)圖及附約束和未附約束情況下的角點提取細節(jié)對比Fig.9 Contour feature extraction result of actual part features with arc adjacent parts situation and corner position result comparison between with and without attached constraints cases

圖10 未附約束條件和附約束條件情況下提取的角點位置對比Fig.10 Corner position extraction comparison between cases with and without attached constraints

［1］ The State Council of the People＇s Republic of China.The Medium and Long－term National Planning Outline of Science and Technology Development（2006－2020）［EB／OL］.2006［2013－06－23］.http：∥www.mlr.gov.cn／kjgl／201005／t20100517＿149200＿3.htm.（中華人民共和國國務(wù)院.國家中長期科技發(fā)展規(guī)劃綱要（2006－2020）［EB／OL］.2006［2013－06－23］.http：∥www.mlr.gov.cn／kjgl／201005／t20100517＿149200＿3.htm.）

［2］ YE Shenghua，ZHU Jigui，WANG Zhong，et al.Visual Inspection Technology and Its Application［J］.China Engineering Science，1999，1（1）：49－52.（葉聲華，邾繼貴，王仲，等.視覺檢測技術(shù)及應(yīng)用［J］.中國工程科學(xué)，1999，1（1）：49－52.）

［3］ WU Jigang，BIN Hongzan.Research on Planar Contour Primitive Recognition Method Based on Curvature and HOUGH Transform［J］.Journal of Electronic Measurement and Instrument，2010（1）：124－130.（伍濟鋼，賓鴻贊.基于曲率與HOUGH變換的平面輪廓圖元識別方法研究［J］.電子測量與儀器學(xué)報，2010（1）：124－130.）

［4］ ZHENG Shunyi，SUN Mingwei.3DVisual Measurement and Reconstruction Based on Object’s Profile in Images［J］.Acta Geodaetica et Cartographica Sinica，2006，35（4）：353－357.（鄭順義，孫明偉.基于物體成像輪廓的視覺測量與重建［J］.測繪學(xué)報，2006，35（4）：353－357.）

［5］ ZHENG Shunyi，GUO Baoyun，LI Cailin.3DReconstruction and Inspection of Cylinder Based on Geometric Model and Generalized Point Photogrammetry［J］.Acta Geodaetica et Cartographica Sinica，2011，40（4）：477－482.（鄭順義，郭寶云，李彩林.基于模型和廣義點攝影測量的圓柱體自動三維重建與檢測［J］.測繪學(xué)報，2011，40（4）：477－482.）

［6］ SHEU H T，HU W C.A Rotationally Invariant Twophase Scheme for Corner Detection［J］.Pattern Recognition，1996，29：819－828.

［7］ HU W C.Multiprimitive Segmentation Based on Meaningful Breakpoints for Fitting Digital Planar Curves with Line Segments and Conic Arcs［J］.Image and Vision Computing，2005，23（9）：783－789.

［8］ KOLESNIKOV A.Segmentation and Multi－model Approximation of Digital Curves［J］.Pattern Recognition Letters，2012，33：1171－1179.

［9］ WU Jigang.Research on Key Technologies in Dimensional Inspection System of Thin Sheet Parts Based on Machine Vision［D］.Wuhan：Huazhong University of Science and Technology.2009.（伍濟鋼.薄片零件尺寸機器視覺檢測系統(tǒng)關(guān)鍵技術(shù)研究［D］.武漢：華中科技大學(xué)，2009.）

［10］ ROSIN P L.Techniques for Assessing Polygonal Approximations of Curves［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19：659－666.

［11］ MOKHTARIAN F，SUOMELA R J.Robust Image Corner Detection Through Curvature Scale Space［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（12）：1376－1381.

［12］ MOKHTARIAN F，SUOMELA R.Enhancing the Curvature Scale Space Corner Detector［C］∥ Proceedings of Scandinavian Conference on Image Analysis.Bergen：［s.n.］，2001：145－152.

［13］ FARAGO F T.Handbook of Dimensional Measurement［M］.2nd ed.New York：Industrial Press，1982.

［14］ WU Q M，RODD M G.Boundary Segmentation and Parameter Estimation for Industrial Inspection［J］.IEEE Proceedings of Computers and Digital Techniques，1990，137（4）：319－327.

［15］ ZHANG Jing.Profile Measuring Techniques Study in the Entire Imaging Measuring Method［D］.Tianjin：Tianjin Univerisity，2009.（張進.完整成像測量方法中輪廓測量技術(shù)的研究［D］.天津：天津大學(xué)，2009.）

［16］ ZHANG Xiang，LIU Meijie，CHEN Liwei.Method of Picking up Edge on the Basis of the Mathematics Morphologic Subject［J］.Journal of University of Electronic Science and Technology of China，2002，31（5）：492－495.（張翔，劉媚潔，陳立偉.基于數(shù)學(xué)形態(tài)學(xué)的邊緣提取方法［J］.電子科技大學(xué)學(xué)報，2002，31（5）：492－495.）

［17］ WANG Fusheng，QI Guoqing.Boundary Tracking Algorithm of Objects in Binary Image［J］.Journal of Dalian Maritime University，2006，32（1）：62－67.（王福生，齊國清.二值圖像中目標物體輪廓的邊界跟蹤算法［J］.大連海事大學(xué)學(xué)報，2006，32（1）：62－67.）

［18］ LI Jie，PENG Yueying，YUAN Changan，et al.Edge Thinning Based on Mathematical Morphology Thinning Algorithm［J］.Journal of Computer Applications，2012（2）：514－520.（李杰，彭月英，元昌安，等.基于數(shù)學(xué)形態(tài)學(xué)細化算法的圖像邊緣細化［J］.計算機應(yīng)用，2012（2）：514－520.）

［19］ LIU Xiangbin，XIANG Jianchi，YANG Bo.A Labeling Algorithm Based on 8－connected Boundary Tracking［J］.Computer Engineering and Applications，2001（23）：125－132.（劉相濱，向堅持，陽波.基于八鄰域邊界跟蹤的標號算法［J］.計算機工程與應(yīng)用，2001（23）：125－132.）

［20］ ZHANG Yujin.Image Processing and Analysis［M］.Beijing：Tsinghua University Press，1999.（章毓晉.圖像處理和分析［M］.北京：清華大學(xué)出版，1999.）