基于機(jī)器視覺的微小型零件測量與裝配控制

王曉東，宋洪俠，劉超，羅怡

(1.大連理工大學(xué)微納米技術(shù)及系統(tǒng)遼寧省重點(diǎn)實(shí)驗(yàn)室，遼寧 大連116024;2.大連理工大學(xué) 機(jī)械工程學(xué)院，遼寧 大連116024)

由精密微小型驅(qū)動元件、傳感元件等組成的器件或產(chǎn)品，以其體積小、性能可靠等特點(diǎn)，近年來在工業(yè)、軍事、生物領(lǐng)域得到廣泛應(yīng)用，該類產(chǎn)品往往不能一次加工完成，一般由微小型零件組裝而成.微小型零件采用不同材料、不同加工工藝制造，需要與之相適應(yīng)的測量和裝配技術(shù).

結(jié)合機(jī)器視覺、力反饋控制等技術(shù)，國內(nèi)外自20世紀(jì)90年代初開始研究和開發(fā)適用于微小型零件裝配的通用控制方法和技術(shù).基于機(jī)器視覺的裝配系統(tǒng)以其柔性化裝配的特點(diǎn)在提高裝配精度、保證產(chǎn)品質(zhì)量穩(wěn)定性以及提高生產(chǎn)率等方面，都顯示出極大的優(yōu)越性.德國布倫瑞克技術(shù)大學(xué)機(jī)床與加工技術(shù)研究所針對微小型零件精密裝配技術(shù)的研究［1］，已開發(fā)出用于微裝配的并聯(lián)機(jī)器人、各種微型手爪、柔性關(guān)節(jié)以及其他微裝配技術(shù)等.國內(nèi)哈爾濱工業(yè)大學(xué)、北京航空航天大學(xué)、華中科技大學(xué)、南開大學(xué)、北京理工大學(xué)等也積極開展這方面研究，建立了任務(wù)序列分解和規(guī)劃、立體顯微視覺微定位及動態(tài)觀測等頗具特色的微裝配與微操作相關(guān)技術(shù)［2-6］.一般情況下，零件的目標(biāo)特征可以完全進(jìn)入攝像機(jī)視野當(dāng)中，測量和定位過程相對較為容易，然而，對于尺寸跨度較大的微小型零件，由于攝像機(jī)視野的限制，測量范圍相對較小，對目標(biāo)特征的測量過程不能一次完成，需分步進(jìn)行.如何實(shí)現(xiàn)該零件大范圍、多參數(shù)的自動測量和精密裝配，解決高精度、高分辨率測量視場狹小和裝配作業(yè)空間較大的矛盾是微小型零件自動裝配系統(tǒng)研制需要解決的問題.

本文根據(jù)微小型零件的裝配要求，研制了裝配系統(tǒng)，基于機(jī)器視覺，采用相關(guān)控制策略，實(shí)現(xiàn)了該零件的自動測量和精密裝配，滿足了裝配的位置和形位等方面精度的要求，產(chǎn)品的一致性和裝配作業(yè)效率得到提高.

1 系統(tǒng)組成及功能模塊

按照功能的不同，微小型零件裝配系統(tǒng)一般由視覺測量模塊、裝配作業(yè)模塊及上料工作臺模塊組成.視覺測量模塊主要由三維精密運(yùn)動平臺、工業(yè)CCD相機(jī)、遠(yuǎn)心光學(xué)鏡頭、照明光源等構(gòu)成，完成圖像采集、目標(biāo)零件的識別，實(shí)現(xiàn)零件位置和姿態(tài)的精密測量;裝配作業(yè)模塊由夾鉗、傳感器等構(gòu)成，實(shí)現(xiàn)零件夾取、釋放，監(jiān)測裝配信息，完成裝配過程;上料工作臺模塊由運(yùn)動平臺、夾具、零件鎖緊機(jī)構(gòu)等組成，作為上料和裝配的平臺.結(jié)合如圖1所示的待組裝零件，所研制裝配系統(tǒng)的組成結(jié)構(gòu)，如圖2所示，系統(tǒng)設(shè)計的實(shí)體圖如圖3.

圖1 待裝配的零件和裝配后的組件Fig.1 Parts to be assembled and the finished assembly

圖2 微小型零件裝配系統(tǒng)組成框圖Fig.2 Schematic diagram of assembly system for miniature parts

圖3 微小型零件裝配系統(tǒng)設(shè)計實(shí)體圖Fig.3 The designed schematic drawing of assembly system for miniature parts

微小型零件測量裝配可分為零件上料、零件特征識別和定位、裝配作業(yè)等過程.安裝在三維精密運(yùn)動平臺上的CCD相機(jī)采集目標(biāo)零件不同位置的原始圖像，對圖像進(jìn)行包括圖像拼接等處理，完成目標(biāo)零件的識別和定位，獲取尺寸跨度較大零件的坐標(biāo)位置和姿態(tài)偏差，并據(jù)此驅(qū)動機(jī)械手進(jìn)行零件的夾持裝配作業(yè).

2 自動測量與裝配控制策略

系統(tǒng)采用運(yùn)動測量機(jī)構(gòu)和基于“任務(wù)消息”的控制策略.零件尺寸跨度較大，攝像機(jī)視野較小，不能夠完全容納目標(biāo)特征圖像，故采用精密運(yùn)動平臺和攝像機(jī)構(gòu)成的測量系統(tǒng)來進(jìn)行測量任務(wù)，對于一個目標(biāo)特征，視覺機(jī)器人可以在不同位置采集圖像，擴(kuò)展了測量范圍.

按照測量對象的不同，對任務(wù)進(jìn)行分類，將整個過程分解成若干任務(wù)模塊，每個模塊又分為若干環(huán)節(jié)，系統(tǒng)對每個環(huán)節(jié)都分配一個唯一的“消息”與之對應(yīng).對于每個環(huán)節(jié)，將試驗(yàn)好的各位移平臺位置、光照類型及強(qiáng)度、攝像機(jī)曝光時間、目標(biāo)輪廓提取閾值等信息分別寫入ini文件，組成系統(tǒng)總的配置文件.用戶在人機(jī)交互界面上選擇不同按鈕，向系統(tǒng)發(fā)送消息，系統(tǒng)根據(jù)不同的消息類型來確定對象與環(huán)節(jié)，程序相應(yīng)地讀取配置文件，系統(tǒng)發(fā)送硬件控制命令，硬件響應(yīng)，進(jìn)行環(huán)境配置，完成測量或者裝配任務(wù)，整個過程如圖4所示.

圖4 系統(tǒng)執(zhí)行任務(wù)流程Fig.4 Flow chart of task execution for the system

2.1 零件自動測量

零件自動測量即零件的識別定位過程，就是圖像處理—圖像分析—圖像理解的過程.通過濾波、銳化、數(shù)學(xué)形態(tài)變換、二值化、邊緣提取、輪廓提取等圖像處理分析方法，從采集到的灰度圖像中獲得目標(biāo)零件的特征信息［7］.

受零件尺寸和攝像機(jī)視野的限制，對零件的測量過程不能一次完成，須分步進(jìn)行，不能做到零件圖像的實(shí)時測量與定位［8］.視覺機(jī)器人在不同位置采集零件原始圖像，程序?qū)υ紙D像進(jìn)行濾波、Canny邊緣檢測等處理，提取出邊緣輪廓點(diǎn)，完成零件識別.

提取出的邊緣輪廓點(diǎn)為圖像坐標(biāo)，經(jīng)過坐標(biāo)轉(zhuǎn)換，轉(zhuǎn)換世界坐標(biāo)點(diǎn)，對轉(zhuǎn)換過的坐標(biāo)點(diǎn)進(jìn)行擬合運(yùn)算，由于測量過程中邊緣存在少量干擾，因此在進(jìn)行擬合運(yùn)算時需要進(jìn)行迭代處理，實(shí)現(xiàn)零件定位，如圖5所示.零件1上圓孔的測量，采集4幅圖像，經(jīng)處理獲得邊界后，經(jīng)擬合獲得圓心坐標(biāo)和圓孔直徑，圖6～8為采集的4幅圖像中的2幅在處理之前和之后的圖像;零件1上刻線測量的原始圖像及處理后提取邊線的圖像如圖9和圖10所示.

圖5 零件識別定位流程Fig.5 Flow chart of location for parts

圖6 零件1圓孔局部輪廓原始圖像Fig.6 Original image of contours of target part

圖7 零件1局部輪廓Canny算子邊緣提取圖像Fig.7 Image of edge extraction using Canny operator

圖8 零件1局部輪廓點(diǎn)提取圖像Fig.8 Image of edge points extraction of contour

圖9 零件1刻線原始圖像Fig.9 Original image of line

圖10 零件1刻線識別效果Fig.10 Effect drawing of part recognition

2.2 零件精密裝配

微小型零件的裝配大體可分為調(diào)整對準(zhǔn)和裝配作業(yè)2個過程.

調(diào)整對準(zhǔn)過程中，經(jīng)自動測量后，待裝配的組件已實(shí)現(xiàn)定位，系統(tǒng)根據(jù)組件定位的差值，控制位移平臺或夾鉗運(yùn)動，使組件裝配特征重合，如孔軸裝配時，要保證孔軸圓心重合.

裝配作業(yè)過程中，夾鉗是影響裝配質(zhì)量的重要因素.常用的夾鉗有吸附式夾鉗和機(jī)械式夾鉗.對于質(zhì)量小、易損壞的組件多采用吸附式夾鉗.對于質(zhì)量大的零件多采用機(jī)械式夾鉗.常用視覺監(jiān)控和力監(jiān)控2種方式對裝配過程進(jìn)行監(jiān)測［9］，便于系統(tǒng)做出相應(yīng)調(diào)整.

本系統(tǒng)中采用壓緊力來監(jiān)控孔軸裝配過程.機(jī)械式夾鉗采用分層設(shè)計，層與層有彈簧片相連，具有一定的柔順功能，同時夾鉗兩臂集成力傳感器，實(shí)時監(jiān)測裝配過程中夾鉗垂直方向上的壓緊力.在一定范圍內(nèi)，系統(tǒng)根據(jù)壓緊力的變化可以對裝配過程做出適當(dāng)調(diào)整，整個過程如圖11所示.

圖11 零件裝配流程Fig.11 Flow chart of parts assembly

3 系統(tǒng)控制軟件架構(gòu)

Xinhan Huang等人提出了面向微裝配機(jī)器人的TSB分級智能控制結(jié)構(gòu)［10］，徐征等研究了裝配控制和軟件架構(gòu)等微裝配的重要環(huán)節(jié)，分析了微裝配的具體需求、工作流程和人機(jī)交互，提出先看后動的微裝配控制模式和分層控制架構(gòu)，建立了基于顯微機(jī)器視覺的微裝配平臺［11］，本文根據(jù)上述研究思路，并結(jié)合具體的裝配任務(wù)進(jìn)行了適當(dāng)修改，建立微裝配控制分層架構(gòu)，如圖12所示.

圖12 微裝配控制系統(tǒng)分層架構(gòu)Fig.12 Layered architecture of assembly system for miniature parts

圖12中，該結(jié)構(gòu)自上而下由3個控制層組成:任務(wù)層(task layer)、策略層(strategy layer)和行為層(behavior layer).任務(wù)層接收和解析操作者下達(dá)的指令，以裝配工藝過程為依據(jù)進(jìn)行任務(wù)分解，綜合策略層反饋的當(dāng)前裝配狀態(tài)和裝配參數(shù)庫，構(gòu)造策略層能理解的動作序列，發(fā)送給策略層.策略層接受任務(wù)層發(fā)來的動作序列，將每個動作分解為多個部件的行為發(fā)送給行為層，策略層只與封裝后的行為接口有關(guān)系，并不涉及到任何行為層的硬件信息.行為層根據(jù)策略層發(fā)來的命令，控制位移平臺運(yùn)動、繼電器開關(guān)、力測量等部件行為.

根據(jù)以上的分析，采用統(tǒng)一建模語言設(shè)計了程序組成類，描述了系統(tǒng)中較重要的類組成及其相互關(guān)系，為提高軟件的復(fù)用性，主要采用聚集、繼承和依賴關(guān)系來構(gòu)造類，類組成結(jié)構(gòu)和其之間相互關(guān)系如圖13所示.

圖13 控制程序類結(jié)構(gòu)關(guān)系示意圖Fig.13 Schematic diagram of structural relationship among the classes control program

該軟件還為用戶留有處理疏漏和異常情況的接口，對裝配過程中某些重要的環(huán)節(jié)，都設(shè)有可重復(fù)操作.當(dāng)圖像識別錯誤時，用戶只要按下鍵盤的“Esc”鍵，程序會自動退出;當(dāng)裝配過程中位移平臺的走位出現(xiàn)異常時，用戶按下面板上的急停按鈕，所有位移平臺停止運(yùn)動，避免了平臺之間的碰撞，有效保護(hù)了系統(tǒng)硬件.

具體編程采用C++語言，圖像處理涉及大量數(shù)據(jù)動態(tài)讀取和寫入，內(nèi)存不足等原因會引起裝配失敗，采用了C++的STL中vector等標(biāo)準(zhǔn)數(shù)據(jù)類型作為承載圖像數(shù)據(jù)和中間處理結(jié)果數(shù)據(jù)的容器，避免了復(fù)雜的內(nèi)存管理問題，提高了系統(tǒng)魯棒性.

4 用于微小型孔軸零件的裝配系統(tǒng)

在以上分析的基礎(chǔ)上，完成了系統(tǒng)硬件和軟件的設(shè)計，所研制的精密裝配系統(tǒng)的硬件部分采用模塊化設(shè)計，機(jī)械部分主要由視覺測量機(jī)器人、旋轉(zhuǎn)工作臺機(jī)器人、夾持作業(yè)機(jī)器人組成.視覺測量機(jī)器人由兩自由度精密運(yùn)動平臺、CCD數(shù)字?jǐn)z像機(jī)、工業(yè)鏡頭、數(shù)字可控光源等組成，完成圖像采集、目標(biāo)零件的識別與定位;旋轉(zhuǎn)工作臺由三自由度精密運(yùn)動平臺、夾具、鎖緊機(jī)構(gòu)等組成，作為上料和裝配平臺，完成零件的傳輸和裝配過程方位角的定位，提供測量基準(zhǔn);夾持作業(yè)機(jī)器人由兩自由度精密運(yùn)動平臺、具有一定柔順功能的機(jī)械式夾鉗、力傳感器等組成，實(shí)現(xiàn)零件夾取、釋放，完成裝配過程.系統(tǒng)實(shí)物組成如圖14所示，控制軟件界面如圖15所示.

圖14 微小型零件裝配系統(tǒng)實(shí)物照片F(xiàn)ig.14 Photograph of the developed assembly system for miniature parts

圖15 系統(tǒng)控制界面截圖Fig.15 Diagram of assembly system for miniature part

5 結(jié)論

1)研制出一套用于微小型零件自動測量與精密裝配的系統(tǒng).與北京長城計量測試技術(shù)研究所對φ4.0的孔、軸進(jìn)行了測量比對，結(jié)果之間的偏差小于 3.0 μm，設(shè)備測量結(jié)果的重復(fù)性小于 1.5 μm.

2)將攝像機(jī)和精密位移平臺組成運(yùn)動測量機(jī)構(gòu)，能夠?qū)崿F(xiàn)從幾個微米到十幾毫米的較大范圍的測量.

3)采用了基于“任務(wù)消息”的控制策略，完成了軟件的三層架構(gòu)，控制該設(shè)備成功地進(jìn)行了大量裝配實(shí)驗(yàn).

4)采用了C++STL中vector等標(biāo)準(zhǔn)數(shù)據(jù)類型作為承載圖像數(shù)據(jù)和坐標(biāo)點(diǎn)數(shù)據(jù)處理結(jié)果的容器，避免了復(fù)雜的內(nèi)存管理問題，很好地解決了內(nèi)存溢出的問題，提高了系統(tǒng)魯棒性.

［1］王曉東，宋洪俠，HESSELBACH J.德國微裝配技術(shù)研究的幾個方向［J］.機(jī)械制造，2002，40(9):13-15.WANG Xiaodong，SONG Hongxia，HESSELBACH J.Some research aspects on micro assembly in Germany［J］.Machinery，2002，40(9):13-15.

［2］陳國良，黃心漢，周祖德.微裝配機(jī)器人系統(tǒng)［J］.機(jī)械工程學(xué)報，2009，45(2):289-293.CHEN Guoliang，HUANG Xinhan，ZHOU Zude.Microassembly robot system［J］.Chinese Journal of Mechanical Engineering，2009，45(2):289-293.

［3］謝暉，孫立寧，榮偉彬，等.MEMS微裝配機(jī)器人系統(tǒng)的研究［J］.機(jī)械與電子，2005(3):7-9.XIE Hui，SUN Lining，RONG Weibin，et al.Current situation and trend of microassembly robot for MEMS［J］.Machinery＆ Electronics，2005(3):7-9.

［4］宗光華，孫明磊，畢樹生，等.宏—微操作結(jié)合的自動微裝配系統(tǒng)［J］.中國機(jī)械工程，2005(23):2125-2130.ZONG Guanghua，SUN Minglei，BI Shusheng，et al.A microassembly workcell with macro to micro automatic operation［J］.China Mechanical Engineering，2005(23):2125-2130.

［5］孫明竹，趙新，盧桂章.基于離焦的微操作機(jī)器人系統(tǒng)光軸方向深度測量［J］.物理學(xué)報，2009(9):6248-6257.SUN Mingzhu，ZHAO Xin，LU Guizhang.Depth measurement in the direction of optical axis based on defocused micro-manipulation system［J］.Acta Physica Sinica，2009(9):6248-6257.

［6］葉鑫，張之敬，王強(qiáng)，等.可重構(gòu)12自由度微裝配技術(shù)及其實(shí)現(xiàn)［J］.北京理工大學(xué)學(xué)報，2009，29(9):775-779.YE Xin，ZHANG Zhijing，WANG Qiang，et al.Reconfigurable 12-DOF micro-assembly technology and its realization［J］.Transactions of Beijing Institute of Technology，2009，29(9):775-779.

［7］査英，劉鐵根，杜東，等.基于機(jī)器視覺的零件自動裝配系統(tǒng)［J］.天津大學(xué)學(xué)報，2006，39(6):723-726.ZHA Ying，LIU Tiegen，DU Dong，et al.Part automatic assembling system based on machine vision［J］.Journal of Tianjin University，2006，39(6):723-726.

［8］BOISSENIN M，WEDEKIND J，SELVAN A N.Computer vision methods for optical microscopes［J］.Image and Vision Computing，2007，25:1107-1116.

［9］SCHOTTLER K，RAATZ A，HESSELLBACH J.Precision assembly of active microsystems with a size-adapted assembly system［C］//Micro-Assembly Technologies and Applications.IFIP International Federation for Information Processing，2008，260:199-206.

［10］Lü X，HUANG X H.Three-layered control architecture for microassembly with human-robot task plan［C］//2004 IEEE Conference on Robotics and Biomimetics.Shenyang，China，2004:22-26.

［11］徐征，王曉東，程新宇，等.基于機(jī)器視覺的微裝配控制策略及軟件架構(gòu)［J］.光學(xué)精密工程，2009，17(4):819-824.XU Zheng，WANG Xiaodong，CHENG Xinyu，et al.Control tactics and software architectures for micro-assembly based on machine vision［J］.Optics and Precision Engineering，2009，17(4):819-824.