機(jī)器人視覺引導(dǎo)下的機(jī)柜操作技術(shù)研究

摘要：針對(duì)狹窄環(huán)境下機(jī)柜操作效率低下、精度不足的問題，文章基于機(jī)器人視覺技術(shù)開展了系統(tǒng)性研究。首先，通過系統(tǒng)總體設(shè)計(jì)框架的規(guī)劃，研究了機(jī)柜操作系統(tǒng)的整體架構(gòu)和功能模塊。其次，對(duì)視覺模塊設(shè)計(jì)進(jìn)行了深入探討，包括相機(jī)選擇與安裝、相機(jī)標(biāo)定與參數(shù)配置、目標(biāo)識(shí)別與定位算法的開發(fā)等，旨在實(shí)現(xiàn)對(duì)機(jī)柜及其內(nèi)部設(shè)備的準(zhǔn)確識(shí)別和定位。最后，針對(duì)執(zhí)行模塊設(shè)計(jì)展開了研究，并以JAKA-ZU3機(jī)械臂為基礎(chǔ)分析了機(jī)械臂運(yùn)動(dòng)規(guī)劃與控制方法，以實(shí)現(xiàn)對(duì)機(jī)柜的自動(dòng)識(shí)別、定位和操作。

關(guān)鍵詞：機(jī)器人；手眼標(biāo)定；視覺引導(dǎo)；系統(tǒng)構(gòu)建

中圖分類號(hào)：TP242.6 文獻(xiàn)標(biāo)志碼：A

0 引言

隨著數(shù)字化信息時(shí)代的不斷發(fā)展，機(jī)器人技術(shù)正成為工業(yè)自動(dòng)化領(lǐng)域的研究熱點(diǎn)［1］。隨著工業(yè)生產(chǎn)和服務(wù)領(lǐng)域的自動(dòng)化程度提高，這些領(lǐng)域?qū)C(jī)器人視覺技術(shù)提出了更高的要求，特別是在狹窄環(huán)境下的機(jī)柜操作。傳統(tǒng)的操控方式往往效率低下、精度不足［2］，因此研究基于機(jī)器人視覺引導(dǎo)的機(jī)柜操作技術(shù)更具有重要的實(shí)際意義和應(yīng)用前景。

本文研究旨在針對(duì)機(jī)柜操作這一特定場景，結(jié)合機(jī)器人視覺引導(dǎo)技術(shù)展開深入研究與探索，為機(jī)器人在狹窄環(huán)境下的操作提供一種新的解35YPStaaDXUbTlqphMx1CA==決方案，以推動(dòng)機(jī)器人技術(shù)在工業(yè)生產(chǎn)中的應(yīng)用與發(fā)展。

1 基于機(jī)器人視覺的機(jī)柜操作方法設(shè)計(jì)

本文設(shè)計(jì)的基于機(jī)器人視覺的機(jī)柜操作方法如圖1所示，該框架包括機(jī)器人操作系統(tǒng)、目標(biāo)識(shí)別定位方法（數(shù)據(jù)集建立、模型建立、機(jī)柜識(shí)別定位）、相機(jī)標(biāo)定模塊（確定相機(jī)位置、相機(jī)標(biāo)定、獲取相機(jī)內(nèi)外參數(shù)、手眼標(biāo)定、機(jī)械臂坐標(biāo)變換矩陣）等多個(gè)部分。

（1）系統(tǒng)中的計(jì)算機(jī)作為主控制單元，負(fù)責(zé)整個(gè)系統(tǒng)的協(xié)調(diào)和控制。機(jī)器人操作系統(tǒng)作為機(jī)器人控制的核心，負(fù)責(zé)接收處理計(jì)算機(jī)發(fā)送的指令并通過執(zhí)行模塊實(shí)現(xiàn)相應(yīng)的動(dòng)作［3］。

（2）目標(biāo)識(shí)別定位方法是系統(tǒng)的重要組成部分［4-6］，主要包括數(shù)據(jù)集建立、模型建立和機(jī)柜識(shí)別定位3個(gè)步驟。在數(shù)據(jù)集建立階段，該方法通過收集機(jī)柜的圖像數(shù)據(jù)來構(gòu)建數(shù)據(jù)集，接著利用已建立的數(shù)據(jù)集訓(xùn)練模型。在應(yīng)用時(shí)，系統(tǒng)對(duì)實(shí)時(shí)采集的機(jī)柜圖像進(jìn)行處理，從而實(shí)現(xiàn)對(duì)機(jī)柜的準(zhǔn)確識(shí)別和定位。

（3）相機(jī)標(biāo)定模塊負(fù)責(zé)確定相機(jī)的位置和內(nèi)外參數(shù)，包括相機(jī)標(biāo)定［7-8］、手眼標(biāo)定和機(jī)械臂坐標(biāo)變換矩陣等多個(gè)步驟［9-11］。

（4）機(jī)械臂坐標(biāo)變換矩陣用于轉(zhuǎn)換相機(jī)坐標(biāo)系與機(jī)械臂坐標(biāo)系，確保機(jī)械臂能夠根據(jù)相機(jī)采集到的圖像進(jìn)行準(zhǔn)確操作。

2 視覺模塊設(shè)計(jì)

本文設(shè)計(jì)的機(jī)器視覺系統(tǒng)如圖2所示。視覺系統(tǒng)先通過相機(jī)標(biāo)定步驟對(duì)相機(jī)進(jìn)行標(biāo)定，以獲取相機(jī)的內(nèi)外參數(shù)。該過程中，系統(tǒng)采用相機(jī)內(nèi)參標(biāo)定模塊獲取相機(jī)的焦距、主點(diǎn)坐標(biāo)等內(nèi)部參數(shù)，這些參數(shù)對(duì)于后續(xù)的圖像處理和相機(jī)位置計(jì)算至關(guān)重要。在確定相機(jī)擺放位置之后，手眼標(biāo)定用于標(biāo)定相機(jī)與機(jī)械臂之間的相對(duì)位置關(guān)系。通過采集相機(jī)和機(jī)械臂末端執(zhí)行器的關(guān)鍵位置數(shù)據(jù)，并結(jié)合相應(yīng)的標(biāo)定算法，系統(tǒng)能夠準(zhǔn)確地確定二者之間的相對(duì)位置關(guān)系。機(jī)械臂坐標(biāo)變換矩陣模塊用于獲取機(jī)械臂坐標(biāo)系與相機(jī)坐標(biāo)系之間的轉(zhuǎn)換矩陣，以實(shí)現(xiàn)機(jī)械臂的運(yùn)動(dòng)控制和目標(biāo)定位。

在識(shí)別定位中，算法模塊是系統(tǒng)的核心部分，結(jié)合深度學(xué)習(xí)和圖像處理技術(shù)，系統(tǒng)對(duì)采集到的圖像進(jìn)行分析和處理，以實(shí)現(xiàn)對(duì)機(jī)柜等目標(biāo)物體的識(shí)別和定位。

手眼標(biāo)定是該方法的關(guān)鍵技術(shù)，具體如式（1）所示。

Tcw=Tew·Tbe·Tcb（1）

式中，Tcw表示相機(jī)在世界坐標(biāo)系中的位置和姿態(tài)；Tew表示末端執(zhí)行器在世界坐標(biāo)系中的位置和姿態(tài)；Tbe表示末端執(zhí)行器在機(jī)器人基座坐標(biāo)系中的位置和姿態(tài)；Tcb表示機(jī)器人基座到相機(jī)之間的位置和姿態(tài)關(guān)系。

手眼標(biāo)定的目標(biāo)通過一系列采樣點(diǎn)（Tei，Tci）求解Tcb。其中，Tei表示機(jī)器人末端執(zhí)行器在世界坐標(biāo)系中的位置和姿態(tài)；Tci表示相機(jī)在世界坐標(biāo)系中的位置和姿態(tài)。手眼標(biāo)定的過程可表示為式（2）。

Tcb=ni=1（Tei）-1·Tci（2）

式中，n表示采樣點(diǎn)的數(shù)量。手眼標(biāo)定可以通過最小化以下誤差來求解Tcb，如式（3）所示。

E=∑ni=1‖Tcb-（Tei）-1·Tci‖2（3）

通過最小二乘法等數(shù)值優(yōu)化方法，該方法可得到最優(yōu)的Tcb，從而實(shí)現(xiàn)相機(jī)和機(jī)器人基座之間的準(zhǔn)確標(biāo)定，為后續(xù)的機(jī)器人操作提供可靠的基礎(chǔ)。

3 執(zhí)行模塊研究

JAKA-ZU3機(jī)械臂是由JAKA公司研發(fā)生產(chǎn)的一款工業(yè)機(jī)器人，如圖3所示。該機(jī)械臂采用先進(jìn)的電氣伺服控制技術(shù)和高精度的運(yùn)動(dòng)控制算法，具備較強(qiáng)的運(yùn)動(dòng)控制能力和靈活性，并配備了先進(jìn)的電氣伺服控制系統(tǒng)，采用閉環(huán)控制算法，能夠?qū)崿F(xiàn)高速、高精度的運(yùn)動(dòng)控制。其控制系統(tǒng)支持多種通信接口，可與各類工業(yè)設(shè)備和自動(dòng)化系統(tǒng)實(shí)現(xiàn)無縫連接。在該機(jī)械臂上進(jìn)行手眼標(biāo)定及機(jī)柜操作引導(dǎo)時(shí)包括以下基本步驟。

3.1 手眼標(biāo)定

（1）準(zhǔn)備標(biāo)定工具：準(zhǔn)備用于手眼標(biāo)定的工具，包括標(biāo)定板和相機(jī)。

（2）安裝標(biāo)定板：將標(biāo)定板安裝于機(jī)械臂末端執(zhí)行器上，確保其能夠被相機(jī)清晰地拍攝到。

（3）采集標(biāo)定數(shù)據(jù)：控制機(jī)械臂移動(dòng)采集一系列不同位置和姿態(tài)下的機(jī)械臂末端執(zhí)行器和相機(jī)數(shù)據(jù)。

（4）計(jì)算標(biāo)定參數(shù)：通過手眼標(biāo)定算法利用采集到的數(shù)據(jù)計(jì)算出機(jī)械臂基座坐標(biāo)系到相機(jī)坐標(biāo)系之間的轉(zhuǎn)換矩陣。

3.2 機(jī)柜操作引導(dǎo)

（1）相機(jī)安裝和標(biāo)定：將相機(jī)安裝在機(jī)械臂上使相機(jī)能夠準(zhǔn)確拍攝到機(jī)柜的圖像，并進(jìn)行相機(jī)的內(nèi)參標(biāo)定和外參標(biāo)定。

（2）目標(biāo)識(shí)別與定位：利用機(jī)器人視覺算法對(duì)機(jī)柜進(jìn)行目標(biāo)識(shí)別和定位，確定機(jī)柜在工作環(huán)境中的位置和姿態(tài)。

（3）規(guī)劃路徑：基于機(jī)械臂的運(yùn)動(dòng)學(xué)模型和目標(biāo)位置信息規(guī)劃機(jī)械臂的運(yùn)動(dòng)路徑，使其能夠準(zhǔn)確地移動(dòng)到機(jī)柜前方。

（4）執(zhí)行操作：根據(jù)規(guī)劃的路徑控制機(jī)械臂執(zhí)行相應(yīng)的操作，如打開機(jī)柜門、取出或放置物品等。

（5）實(shí)時(shí)反饋與調(diào)整：通過實(shí)時(shí)監(jiān)測相機(jī)圖像和機(jī)械臂的位置姿態(tài)對(duì)操作過程進(jìn)行實(shí)時(shí)反饋和調(diào)整，確保操作的準(zhǔn)確性和穩(wěn)定性。

4 系統(tǒng)構(gòu)建方法

本文搭建基于機(jī)器人視覺的機(jī)柜操作系統(tǒng)步驟如圖4所示，具體如下。

4.1 系統(tǒng)設(shè)計(jì)與規(guī)劃

（1）確定系統(tǒng)需求：分析機(jī)柜操作的具體場景和需求，明確系統(tǒng)需要實(shí)現(xiàn)的功能和性能指標(biāo)。

（2）設(shè)計(jì)系統(tǒng)架構(gòu)：設(shè)計(jì)系統(tǒng)的整體架構(gòu)并確立各個(gè)模塊之間的交互關(guān)系，包括硬件平臺(tái)選擇、軟件框架搭建等。

4.2 相機(jī)選擇與安裝

（1）選擇相機(jī)：根據(jù)機(jī)柜操作的需求和環(huán)境條件，選擇性能優(yōu)良的工業(yè)相機(jī)。

（2）安裝相機(jī)：將相機(jī)安裝在機(jī)器人末端執(zhí)行器上，并根據(jù)實(shí)際情況進(jìn)行調(diào)整和固定。

4.3 相機(jī)標(biāo)定與參數(shù)配置

（1）相機(jī)標(biāo)定：通過標(biāo)定板等工具對(duì)相機(jī)進(jìn)行內(nèi)參和外參的標(biāo)定，獲取相機(jī)的準(zhǔn)確參數(shù)。

（2）參數(shù)配置：根據(jù)標(biāo)定結(jié)果配置相機(jī)的參數(shù)，確保相機(jī)能夠正常工作并拍攝清晰的圖像。

4.4 目標(biāo)識(shí)別與定位算法開發(fā)

（1）開發(fā)目標(biāo)識(shí)別算法：開發(fā)機(jī)柜及其內(nèi)部設(shè)備的目標(biāo)識(shí)別算法實(shí)現(xiàn)對(duì)目標(biāo)物體的準(zhǔn)確識(shí)別。

（2）開發(fā)定位算法：結(jié)合相機(jī)標(biāo)定參數(shù)開發(fā)目標(biāo)物體在圖像中的定位算法，確定目標(biāo)物體在三維空間中的位置和姿態(tài)。

4.5 機(jī)械臂運(yùn)動(dòng)規(guī)劃與控制

（1）運(yùn)動(dòng)學(xué)建模：對(duì)機(jī)械臂進(jìn)行運(yùn)動(dòng)學(xué)建模，建立機(jī)械臂的運(yùn)動(dòng)學(xué)模型。

（2）路徑規(guī)劃：基于目標(biāo)位置信息和機(jī)械臂的運(yùn)動(dòng)學(xué)模型進(jìn)行路徑規(guī)劃，確定機(jī)械臂的運(yùn)動(dòng)軌跡。

（3）運(yùn)動(dòng)控制：利用機(jī)器人操作系統(tǒng)等平臺(tái)實(shí)現(xiàn)對(duì)機(jī)械臂的運(yùn)動(dòng)控制，確保機(jī)械臂能夠按照規(guī)劃的軌跡準(zhǔn)確移動(dòng)。

4.6 系統(tǒng)集成與調(diào)試：

（1）搭建系統(tǒng)框架：將各個(gè)模塊集成到系統(tǒng)中，建立完整的機(jī)柜操作系統(tǒng)。

（2）系統(tǒng)調(diào)試：對(duì)系統(tǒng)進(jìn)行全面調(diào)試來驗(yàn)證各個(gè)功能模塊的準(zhǔn)確性和穩(wěn)定性。

5 結(jié)語

本文以機(jī)柜操作為背景，利用機(jī)器人視覺技術(shù)研究了一套完整的系統(tǒng)。通過對(duì)視覺模塊和執(zhí)行模塊的深入研究與設(shè)計(jì)，系統(tǒng)可以實(shí)現(xiàn)對(duì)機(jī)柜的自動(dòng)識(shí)別、定位和操作，其中，相機(jī)標(biāo)定、目標(biāo)識(shí)別與定位算法的開發(fā)以及機(jī)械臂運(yùn)動(dòng)規(guī)劃與控制系統(tǒng)的設(shè)計(jì)是系統(tǒng)實(shí)現(xiàn)的關(guān)鍵性內(nèi)容。通過理論研究和框架設(shè)計(jì)，本文為機(jī)器人在狹窄環(huán)境下的操作提供了一種新的解決方案，對(duì)推動(dòng)機(jī)器人技術(shù)在工業(yè)生產(chǎn)中的應(yīng)用和發(fā)展具有重要意義。未來的研究可進(jìn)一步優(yōu)化和完善該系統(tǒng)并將其拓展到更廣泛的應(yīng)用領(lǐng)域。

參考文獻(xiàn)

［1］陳立新.工業(yè)機(jī)器人在沖壓自動(dòng)化生產(chǎn)線的應(yīng)用［J］.機(jī)械設(shè)計(jì)與制造，2010（10）：94-96.

［2］畢運(yùn)波，李永超，顧金偉，等.機(jī)器人自動(dòng)化制孔系統(tǒng)［J］.浙江大學(xué)學(xué)報(bào)（工學(xué)版），2014（8）：1427-1433.

［3］HARAPANAHALLI S，MAHONY N O，HERNANDEZG V，et al.Autonomous navigation of mobile robots in factory environment［J］.Procedia Manufacturing，2019，38：1524-1531.

［4］YANG J C，WANG C G，JIANG B，et al.Visual perception enabled industry intelligence：state of the art，challenges and prospects［J］.IEEE Transactions on Industrial Informatics，2021（3）：2204-2219.

［5］鄭太雄，江明哲，馮明馳.基于視覺的采摘機(jī)器人目標(biāo)識(shí)別與定位方法研究綜述［J］.儀器儀表學(xué)報(bào)，2021（9）：28-51.

［6］高智偉，譚曉東，劉客.基于雙目視覺的物體識(shí)別定位與抓取［J］.科學(xué)技術(shù)與工程，2020（20）：8285-8291.

［7］支健輝，董新民，孔星煒，等.相機(jī)標(biāo)定的外界影響因素分析［J］.應(yīng)用光學(xué)，2014（2）：286-291.

［8］尹洪濤，劉成，李一兵，等.相機(jī)標(biāo)定誤差因素分析［J］.信息通信，2012（1）：28-30.

［9］王君臣，王田苗，楊艷，等.非線性最優(yōu)機(jī)器人手眼標(biāo)定［J］.西安交通大學(xué)學(xué)報(bào)，2011（9）：15-20，89.

［10］陳魯剛，平雪良，徐稀文.平面三自由度機(jī)械臂的軌跡規(guī)劃及仿真［J］.工具技術(shù)，2011（9）：26-30.

［11］王一，劉常杰，任永杰，等.工業(yè)坐標(biāo)測量機(jī)器人定位誤差補(bǔ)償技術(shù)［J］.機(jī)械工程學(xué)報(bào)，2011（15）：31-36.

（編輯 沈 強(qiáng)）

Research on cabinet operation technology guided by robot vision

HUANG Biao1， WU Youjun2， LIU Xun3

（1.Beijing AVIC Weak Current System Engineering Co.， Ltd.， Beijing 100028， China;

2.Airport Construction Headquarters， West Airport Group Co.， Ltd.， Xianyang 712000， China;

3.Shenzhen Xbrother Technology Co.， Ltd.， Shenzhen 518100， China）

Abstract： This article conducts systematic research based on robot vision technology to address the problems of low efficiency and insufficient accuracy in cabinet operation in narrow environments. Firstly， through the planning of the overall system design framework， the overall architecture and functional modules of the cabinet operating system were studied. Secondly， in-depth discussions were conducted on the design of the visual module， including camera selection and installation， camera calibration and parameter configuration， and the development of target recognition and positioning algorithms， aiming to achieve accurate identification and positioning of the cabinet and its internal equipment; Finally， research was conducted on the design of the execution module， and the motion planning and control methods of the JAKA-ZU3 robotic arm were analyzed to achieve automatic recognition， positioning， and operation of the cabinet.

Key words： robot; hand-eye calibration; visual guidance; system construction