基于形狀內(nèi)容分析的機器人物料分揀系統(tǒng)*

鄒騰躍，唐小琦，宋 寶，陳吉紅

(華中科技大學 國家數(shù)控系統(tǒng)工程技術(shù)研究中心，武漢 430074)

0 引言

根據(jù)中國的人口普查結(jié)果，從2000 年到2010 年間，中國10 到14 歲以下的人口數(shù)量減少了約5%。照此速度，到2015 年左右，制造業(yè)就將迎來一輪缺工的高潮。為此富士康等大型制造型企業(yè)紛紛開展了自己的機器人計劃，擬用高性能、高效率的工業(yè)機器人替代工人完成部分工作以彌補用工荒。但我們國家的機器人技術(shù)起步時間晚，起點低，以至進口工業(yè)機器人大量充斥市場，特別是瑞士的ABB 和日本的FANUC 更是占有了國內(nèi)大部分市場份額。因此研發(fā)我國具有自主知識產(chǎn)權(quán)的高性能機器人控制系統(tǒng)及應(yīng)用系統(tǒng)迫在眉睫。

分揀作業(yè)是流水生產(chǎn)線上的一道重要的工序，其目的是將不同類型的物料或工件分類擺放到相應(yīng)的位置，其步驟主要分為定位、識別、抓取和放置四個階段。因工人操作存在疲勞度的問題，使用基于機器視覺的工業(yè)機器人進行分揀，不但高效準確而且穩(wěn)定持久，具有很大的優(yōu)勢。隨著人工智能的發(fā)展，機器人也能夠?qū)崟r適應(yīng)分揀環(huán)境，隨時變更作業(yè)對象和分揀工序。國外機器人公司已有相關(guān)的視覺系統(tǒng)，如ABB 的True View 系統(tǒng)，F(xiàn)ANUC 的M-liA 高速揀選系統(tǒng)，Sehuster-prazision 的鉆頭分揀系統(tǒng)等［1］;而國內(nèi)尚無成熟的商業(yè)分揀系統(tǒng)［2］?，F(xiàn)有的系統(tǒng)部分僅使用顏色進行分類，部分將重點放在小目標的定位上，對于形狀的分類往往只簡單采用幾何模板匹配的方式進行識別，不能很好地適應(yīng)實際情況。因為顏色的區(qū)分較易實現(xiàn)，而三維工件擺放角度不同和攝像機視場差異帶來的形狀識別誤差往往是引發(fā)分揀錯誤的主要原因。本文旨在運用形狀內(nèi)容分析方法對物料形狀的分類識別進行強化，依靠數(shù)控中心自主研發(fā)的工業(yè)機器人控制系統(tǒng)，實現(xiàn)對不同形狀物料的準確、穩(wěn)定、快速分揀。

1 視覺系統(tǒng)建立及圖像預(yù)處理

對于機器人視覺系統(tǒng)，首要問題是取得場景的視頻圖像，以便下一步進行分析或識別。本系統(tǒng)采用大恒 圖 像 1/1.8”的 USB-CMOS 面 陣 相 機 DHHV1351UC-ML，采集1280×1024 的數(shù)字圖像，幀率15 fps，通過USB 口直接接入筆記本或平板電腦。實際攝像機因其使用的鏡頭成像并非理想的透視成像，通常都帶有不同程度的畸變。而相機內(nèi)參數(shù)也會在攝像機坐標系與圖像點像素坐標對應(yīng)時帶來誤差。

系統(tǒng)可通過攝像機標定對相機內(nèi)參數(shù)和透鏡畸變參數(shù)進行矯正。標定過程可以使用如圖1 所示的棋盤和自標定算法［3］進行。矯正后攝像機采集的二維圖像可正確反映物體在三維空間中的位置和形狀。

采集的視場圖像在進行位置判斷和形狀分析之前還需要進行相應(yīng)的預(yù)處理，從而拋棄噪聲將有效的前景目標從背景中分割出來。預(yù)處理包括圖像閾值化、中值濾波、去除噪點、輪廓查找等，處理的效果如圖2 所示。預(yù)處理得到的輪廓將進行分形識別和定位操作。

圖1 視頻采集系統(tǒng)參數(shù)矯正

圖2 圖像預(yù)處理效果示例

2 形狀內(nèi)容分析及匹配

形狀內(nèi)容分析［4-5］是一種利用目標對象內(nèi)外輪廓特征點間相對位置信息來描述形狀的方法。因采用相對位置信息來進行描述，所以物體的旋轉(zhuǎn)、縮放和攝像機引起的輪廓畸變對其影響不大，其在形狀的分形識別方面具有較強的魯棒性。

2.1 形狀內(nèi)容獲取與描述

形狀內(nèi)容獲取的第一步是用一個離散特征點集來表示物體的形狀輪廓。它需要使用一個邊緣特征探測器來尋找出物體內(nèi)外輪廓的特征點，并用密集的離散點集來表示連續(xù)的輪廓邊線，這一過程稱為特征的離散化。圖3 所示為特征點提取與描述的一個例子，(d)(e)(f)分別為工件輪廓(a)(b)(c)的特征點描述，每個輪廓提取100 個特征點，圖中還按每個特征點梯度方向的不同標示了相應(yīng)的箭頭。

提取了特征點以后就可以根據(jù)特征點的相對位置進行形狀內(nèi)容的描述。相對位置的表示是通過log 極坐標直方圖來實現(xiàn)的。這種坐標系使臨近參考點的特征點的影響要大于遠處特征點的影響，從而令參考特征點對個體周圍的形狀變化更為敏感。log 極坐標直方圖可描述尺度log r 和旋轉(zhuǎn)角度θ 兩個方面的內(nèi)容，本系統(tǒng)使用5 個log r 區(qū)間和12 個θ 區(qū)間的直方圖。

圖3 特征點提取與描述示例

圖4 形狀內(nèi)容獲取與描述示例

如圖4a 所示，使某一特征點位于坐標系中心作為參考點，通過計數(shù)落在每個坐標系區(qū)間中其他特征點的數(shù)量可得相應(yīng)的直方圖區(qū)間值。圖中示例分別對擁有4 個和9 個其他特征點的區(qū)間進行了標注示例。令pi為形狀上任意特征點，hi表示其相對于其他n－1 個特征點的直方圖值，則hi可由式(1)得到，hi(k)的集合即為特征點pi的形狀內(nèi)容值。

圖4d，e，f 分別對圖4b，c 中用□，◇，△標記的三個特征點的形狀內(nèi)容值進行了可視化描述。從圖中可以看出，用□，◇標記的兩個特征點在不同輪廓上具有位置相關(guān)性，因此在形狀內(nèi)容值的表示上也有相似性，即其匹配誤差較小。相比之下，用△標記的特征點在形狀內(nèi)容描述上則大為不同，對應(yīng)其在輪廓上的位置與前兩點比也相距較遠。

2.2 形狀內(nèi)容匹配與物料分類

獲得了目標物料的形狀內(nèi)容信息之后就要對它進行分類了。分類是通過與樣品模板進行形狀匹配來完成的，確切地說是通過輪廓特征點的匹配來完成的。而輪廓特征點的匹配是通過其形狀內(nèi)容信息的匹配來完成的，即找相似程度最高的特征點。若pi為第一個形狀輪廓上的特征點，qj為第二個形狀輪廓上的特征點，令Cij= C(pi，qj)表示兩點匹配的代價，則Cij的值可由式(2)得到。

其中hi(k)和hj(k)分別表示以pi和qj點為參考的k區(qū)間的標準直方圖值。為每對可能的特征點匹配關(guān)系計算Cij則可以得到一個匹配代價Cij的集合。使該集合中所有元素的和最小化，則可以找到一種最佳的特征點配對關(guān)系。這種方式可使輪廓克服旋轉(zhuǎn)、縮放和鏡頭畸變等因素，最大程度地重合在一起。圖5a，b 展示了圖3a 和圖3b 中兩個輪廓的特征點匹配效果，而圖5c，d 展示了圖3a 和圖3c 中兩個輪廓的特征點匹配效果?？梢钥闯?，同形狀物料在特征點匹配后，便可以基本重合在一起。得到特征點的最佳配對后，在已知各分類樣品形狀的情況下，可以使用最近鄰方法［6-7］或計算所有特征點形狀內(nèi)容的最小誤差和來進行物料分類。

圖5 特征點對應(yīng)與形狀匹配示例

3 物料定位與抓取

在進行了物料的分形識別以后，就需要把相應(yīng)的物料抓取并放置到預(yù)設(shè)的位置。如圖6 所示，相應(yīng)的定位與抓取工作涉及到多次坐標變換的過程。首先，物體需要通過數(shù)字攝像機成像將其世界坐標轉(zhuǎn)化為圖像中的像素坐標。攝像機外參數(shù)定義了攝像機坐標系相對于已知世界坐標系的位置平移和姿態(tài)旋轉(zhuǎn)的關(guān)系。而內(nèi)參數(shù)用于進一步將圖像點的攝像機坐標轉(zhuǎn)換為像素坐標。在此過程中，攝像機的內(nèi)參數(shù)會帶來誤差，需要通過標定進行矯正。接著通過圖像中每一像素與空間中距離的對應(yīng)關(guān)系進行坐標變換，得到在三維空間中抓取物體的機器人位姿坐標。

圖6 機器人物料拾取坐標變換過程

定位抓取使用MOTOMAN-SK6 機器人實現(xiàn)，對其機器人位姿坐標采用反變換法進行運動學反解［8］。可得SK6 型機器人的關(guān)節(jié)角度變量θ1～θ6，再通過關(guān)節(jié)角和電機驅(qū)動角的關(guān)系轉(zhuǎn)化為電機驅(qū)動變量，最后由數(shù)控系統(tǒng)控制電機進行轉(zhuǎn)動，精確抓取目標，實驗過程示例如圖7 所示。

圖7 視覺引導下機器人的物料拾取

4 控制系統(tǒng)軟硬件結(jié)構(gòu)

工業(yè)機器人分揀控制系統(tǒng)分為硬件和軟件兩個部分。如圖8 所示，硬件系統(tǒng)的核心是數(shù)控中心擁有自主知識產(chǎn)權(quán)的華中數(shù)控HNC-08 型數(shù)控系統(tǒng)。HNC-08 系統(tǒng)8 軸聯(lián)動的控制功能，加上豐富的I/O接口，可以滿足最復雜的工業(yè)機器人控制要求。其最小分辨率為0.001μm，最小插補周期為0.125ms，充分保證了分揀機器人速度的穩(wěn)定性和運動的精度性。數(shù)控系統(tǒng)到伺服驅(qū)動單元以及I/O 單元采用基于實時工業(yè)以太網(wǎng)的NCUC-BUS 現(xiàn)場總線［9-10］進行連接。其高速通信滿足了機器人系統(tǒng)的實時性與可靠性要求。攝像機通過USB 接口與筆記本或平板電腦相連接，圖像經(jīng)識別軟件處理后，將分析結(jié)果通過以太網(wǎng)傳入數(shù)控系統(tǒng)，從而操控機器人進行物料分揀。

圖8 控制系統(tǒng)硬件結(jié)構(gòu)

圖9 所示為機器人控制系統(tǒng)的軟件結(jié)構(gòu)。由攝像機采集的視頻圖像通過攝像接口模塊進入圖像識別終端，該終端通常為筆記本或平板電腦。物料圖像經(jīng)圖像分析模塊定位分類后將結(jié)果通過通信管理模塊發(fā)往數(shù)控系統(tǒng)。數(shù)控系統(tǒng)上運行的核心應(yīng)用模塊對圖像分析結(jié)果進行處理后調(diào)用機器人軟件操作接口產(chǎn)生相應(yīng)的機器人操作指令，并通過NCUC 總線驅(qū)動模塊或脈沖口驅(qū)動模塊輸出到伺服驅(qū)動單元控制機器人運動到相應(yīng)位置實現(xiàn)分揀。

圖9 控制系統(tǒng)軟件結(jié)構(gòu)

5 試驗驗證

圖10 所示為運行于圖像識別終端上的圖像分析軟件對一例L 型工件定位識別的效果?？煽闯霰鞠到y(tǒng)識別軟件可以對目標工件進行有效分割和輪廓搜索，并通過形狀內(nèi)容分析和坐標變換得到其物料分類和在機器人三維空間中的坐標。

將設(shè)計的工業(yè)機器人分揀系統(tǒng)應(yīng)用于木塊、鋁制工件、塑料插件等多種復雜形狀、不同材質(zhì)的物料分揀中，正確識別率達到98.73%，定位精度誤差小于2mm，分揀一件物料平均用時3.8s。實驗表明，該控制系統(tǒng)能夠準確、穩(wěn)定、高速地完成各種材質(zhì)物料的分揀工作，支持不規(guī)則形狀物體的匹配識別以及近似物體的區(qū)分。

圖10 圖像分析軟件定位識別效果

6 結(jié)束語

隨著自動化技術(shù)的不斷發(fā)展，工業(yè)機器人終將取代人類完成各類生產(chǎn)制造工作。而視覺引導是機器人感知外部世界的一個重要組成部分，可為人工智能技術(shù)提供最直接的處理素材。本文設(shè)計實施的工業(yè)機器人物料分揀系統(tǒng)除了能穩(wěn)定、高效地實現(xiàn)復雜工件原料的分揀外，還能為進一步實現(xiàn)更為復雜的機器人視覺控制系統(tǒng)提供借鑒。其構(gòu)建于Linux 操作系統(tǒng)之上的控制軟件系統(tǒng)，具有良好的開放性，為進一步實現(xiàn)系統(tǒng)擴展和功能升級奠定了堅實的基礎(chǔ)。

［1］唐健. 基于機器視覺的機器人分揀技術(shù)研究［D］. 南京林業(yè)大學，2001.

［2］焦恩璋，杜榮. 工業(yè)機器人分揀技術(shù)的實現(xiàn)［J］. 組合機床與自動化加工技術(shù)，2010(2):84－87.

［3］Z.Zhang."Flexible Camera Calibration By Viewing a Plane From Unknown Orientations，"ICCV1999，Kerkyra，Greek，20－27 Sep 1999:666－673.

［4］S. Belongie，J. Malik，J. Puzicha."Matching Shapes，" ICCV2001，Vancouver，Canada，07－14 Jul 2001:454－461.

［5］S. Belongie，J.Malik，J.Puzicha."Shape matching and object recognition using shape contexts，"IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24(4):509－522.

［6］ E. Rosch. " Natural Categories，" Cognitive Psychology，1973，4(3):328－350.

［7］E.Rosch，C. B. Mervis，W. D. Gray，D. M. Johnson，and P. Boyes-Braem. " Basic Objects in Natural Categories，"Cognitive Psychology，1976，8(3):382－439.

［8］熊有倫，唐立新，丁漢，等. 機器人技術(shù)基礎(chǔ)［M］. 武漢:華中理工大學出版社，1996.

［9］王翰，宋寶，唐小琦，等. 基于NCUC_Bus 現(xiàn)場總線的數(shù)據(jù)硬件復制設(shè)計實現(xiàn)［J］. 組合機床與自動化加工技術(shù)，2012(7):23－26.

［10］劉慧雙，宋寶，周向東，等. 嵌入式數(shù)控系統(tǒng)NCUC_Bus現(xiàn)場總線設(shè)備驅(qū)動研究與開發(fā)［J］. 組合機床與自動化加工技術(shù)，2012(8):62－69.