機(jī)器人視覺引導(dǎo)運(yùn)動控制虛擬仿真平臺設(shè)計

李 哲,張小剛,王耀南,方 遒

(湖南大學(xué)電氣與信息工程學(xué)院,湖南 長沙 410082)

1 引言

隨著人工智能、機(jī)器人、智能制造等新技術(shù)的飛速發(fā)展,工科專業(yè)新型技術(shù)創(chuàng)新人才需求的壓力也日益增大[1-4]。教育部于2017年推行新工科建設(shè),創(chuàng)建了一批新型工科專業(yè),并對傳統(tǒng)工科專業(yè)進(jìn)行改革升級,著力培養(yǎng)工科學(xué)生的實(shí)踐綜合能力和解決復(fù)雜工程問題的能力[5-8]。機(jī)器人在現(xiàn)代工業(yè)中起到越來越重要的作用,其技術(shù)具有知識難度大、綜合性強(qiáng)等特點(diǎn),為了培養(yǎng)新工科人才的綜合設(shè)計能力,基于機(jī)器人視覺感知與控制技術(shù)國家工程實(shí)驗(yàn)室中真實(shí)的電子制造產(chǎn)線設(shè)備,設(shè)計了一套“機(jī)器人視覺引導(dǎo)運(yùn)動控制虛擬仿真平臺”,用于開展自動化、機(jī)器人工程等專業(yè)的綜合設(shè)計課程,同時也對相關(guān)課程的仿真環(huán)節(jié)進(jìn)行支撐。

課程以一套面向手機(jī)殼的機(jī)器人裝配電子產(chǎn)線為工藝對象,利用Unity3D、3D Studio Max等軟件技術(shù),在高保真度虛擬環(huán)境中,通過完成仿真操作與編程調(diào)試,實(shí)現(xiàn)機(jī)器人視覺引導(dǎo)手機(jī)上料的功能。通過仿真教學(xué),培養(yǎng)與訓(xùn)練機(jī)器視覺識別與定位(眼)、機(jī)械臂運(yùn)動學(xué)求解(手)、視覺引導(dǎo)控制算法集成創(chuàng)新與應(yīng)用(腦)等專業(yè)知識和實(shí)踐創(chuàng)新能力。

2 虛擬仿真環(huán)境

2.1 虛擬仿真平臺組成

仿真環(huán)境中的設(shè)備均與實(shí)際場景一一對應(yīng),具有較高的保真度(圖1)。其系統(tǒng)設(shè)備主要由視覺相機(jī)與圖像處理上位機(jī)、UR10工業(yè)機(jī)器人、工控柜、傳送帶及手機(jī)物料架等組成。視覺相機(jī)安裝在機(jī)械臂末端,用于采集物料圖像,并上傳至上位機(jī)進(jìn)行圖像識別定位,將生成坐標(biāo)發(fā)送至工業(yè)機(jī)器人,引導(dǎo)其完成抓取手機(jī)上料的過程;UR10機(jī)器人為六自由度工業(yè)機(jī)器人,按照設(shè)定軌跡抓取手機(jī)殼完成上料任務(wù);工控柜中包含可編程邏輯控制器(PLC)、變頻器、開關(guān)等電控設(shè)備,控制整條產(chǎn)線的邏輯和節(jié)拍動作;被抓取的手機(jī)被放至傳送帶上運(yùn)送至末端,通過位置傳感器檢測是否完成上料過程。通過實(shí)現(xiàn)該過程,可學(xué)習(xí)掌握工控系統(tǒng)“感知-控制-執(zhí)行”的知識閉環(huán),培養(yǎng)解決實(shí)際復(fù)雜工程問題的能力。

圖1 真實(shí)系統(tǒng)與虛擬設(shè)備對應(yīng)圖

2.2 仿真算法開發(fā)環(huán)境

仿真軟件除了具有自身參數(shù)設(shè)置和仿真功能外,還提供了外部軟件接口,能夠與Visual Studio和SIEMENS Portal進(jìn)行通訊,根據(jù)不同的難度要求完成算法設(shè)計及仿真任務(wù)。實(shí)驗(yàn)任務(wù)及對應(yīng)的軟件需求如圖2所示。利用虛擬仿真軟件本身可以完成機(jī)器人視覺引導(dǎo)控制的核心知識仿真;配合Visual Studio并利用C#語言編程可實(shí)現(xiàn)高級視覺及運(yùn)動算法的自主編程;通過SIEMENS Portal利用梯形圖編程可完成虛擬產(chǎn)線系統(tǒng)的綜合控制與虛擬調(diào)試。

圖2 實(shí)驗(yàn)任務(wù)與相關(guān)軟件

3 仿真教學(xué)任務(wù)

依托所設(shè)計的虛擬仿真軟件,設(shè)計了三個層次的實(shí)驗(yàn)內(nèi)容,分別學(xué)習(xí)機(jī)器視覺識別與定位、機(jī)器人運(yùn)動學(xué)求解與控制、以及視覺引導(dǎo)控制的知識內(nèi)容。

3.1 視覺識別與定位實(shí)驗(yàn)

1)配置虛擬設(shè)備:連接虛擬仿真環(huán)境中的視覺相機(jī)、UR10機(jī)器人、圖像處理上位機(jī)等設(shè)備,完成數(shù)據(jù)連通;

2)視覺坐標(biāo)系標(biāo)定:目標(biāo)識別算法的原理是通過圖像的分析和處理,識別并定位目標(biāo)在圖像中的像素位置,其過程涉及世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系和像素坐標(biāo)系之間的變換。在實(shí)驗(yàn)環(huán)境中,通過正確配置相機(jī)坐標(biāo)軸參數(shù),完成視覺相機(jī)的標(biāo)定及參數(shù)設(shè)定;

3)圖像采集及坐標(biāo)識別:在虛擬仿真環(huán)境中,首先在合適位置處對目標(biāo)拍照并生成模板圖像,之后用C#自主編程實(shí)現(xiàn)基于模板匹配的視覺定位算法并確定其坐標(biāo)。在編程時,已知模板圖片數(shù)據(jù)和相機(jī)拍攝圖像數(shù)據(jù),利用視覺算法確定其中一個手機(jī)殼左上角的坐標(biāo),并賦值給相應(yīng)變量(xpos, ypos),再對拍攝圖像進(jìn)行處理,識別出四個手機(jī)殼,通過尺寸數(shù)據(jù)計算標(biāo)出各中心點(diǎn)坐標(biāo),生成最終結(jié)果(圖3)。

圖3 視覺識別定位實(shí)驗(yàn)結(jié)果

3.2 機(jī)器人運(yùn)動學(xué)求解與控制

1)運(yùn)動軌跡設(shè)置:首先利用點(diǎn)動示教或關(guān)節(jié)示教來確定機(jī)器人上料過程的參考軌跡點(diǎn),如拍照點(diǎn)、預(yù)抓取點(diǎn)、放料點(diǎn)、歸位點(diǎn)等,再利用插補(bǔ)進(jìn)給的方式來實(shí)現(xiàn)機(jī)械臂的運(yùn)動;

2)運(yùn)動示教指令編程:在機(jī)器人指令輸入窗口中,根據(jù)指令格式編寫機(jī)器人示教控制指令,來實(shí)現(xiàn)機(jī)器人運(yùn)動控制。該部分的運(yùn)動是基于設(shè)定的軌跡參考點(diǎn)來完成的,遵循插補(bǔ)的直線或圓弧等軌跡運(yùn)動,以測試預(yù)設(shè)軌跡是否能夠完成上料任務(wù);

3)機(jī)器人正運(yùn)動學(xué)求解:機(jī)器人運(yùn)動學(xué)主要研究機(jī)器人本身的位姿描述與控制,其包括機(jī)器人某關(guān)節(jié)或末端執(zhí)行器的位置和姿態(tài)。正運(yùn)動學(xué)指當(dāng)各關(guān)節(jié)的旋轉(zhuǎn)角度給定時,求解機(jī)器人末端執(zhí)行器在空間坐標(biāo)系下的坐標(biāo)。根據(jù)實(shí)驗(yàn)程序框架,在Visual Studio環(huán)境下可實(shí)時讀取當(dāng)前機(jī)器人各軸角度值,并定義了待發(fā)送數(shù)據(jù)變量及格式。利用相關(guān)計算函數(shù)和齊次變換矩陣變量,通過自主編程計算機(jī)器人末端姿態(tài)矩陣,實(shí)現(xiàn)正運(yùn)動學(xué)求解。通訊成功并運(yùn)行程序后,調(diào)節(jié)機(jī)器人關(guān)節(jié)示教,若計算結(jié)果與機(jī)器人末端位姿一致,則說明結(jié)果正確;

4)機(jī)器人逆運(yùn)動學(xué)求解:若已知機(jī)器人末端位姿,通過計算求得機(jī)器人到該位姿時各關(guān)節(jié)轉(zhuǎn)角變量的過程即為機(jī)器人逆運(yùn)動學(xué)分析。逆運(yùn)動學(xué)求解會產(chǎn)生多重解,需要通過約束關(guān)系來選取最符合要求的一組作為逆解。在實(shí)驗(yàn)中給定機(jī)器人模型的D-H參數(shù)(表1),可實(shí)時讀取目標(biāo)姿態(tài)矩陣值,根據(jù)運(yùn)動學(xué)逆解原理編程可求出8組逆解,并從中選出最優(yōu)的一組解,賦值給相應(yīng)結(jié)果變量。最后同樣通過仿真軟件的點(diǎn)動示教比較結(jié)果來驗(yàn)證程序的正確性。正逆運(yùn)動學(xué)自主編程求解操作如圖4所示。

表1 UR10 機(jī)器人D-H模型參數(shù)

圖4 正逆運(yùn)動學(xué)自主編程過程示意圖

3.3 視覺引導(dǎo)控制上料流程實(shí)現(xiàn)

根據(jù)前面的機(jī)器人視覺識別定位和機(jī)器人運(yùn)動控制的實(shí)現(xiàn)方法,結(jié)合上料工藝流程和匹配的生產(chǎn)線控制時序、節(jié)拍等,可實(shí)現(xiàn)基于視覺引導(dǎo)的機(jī)器人上料過程,其綜合控制流程如圖5所示。在基礎(chǔ)實(shí)驗(yàn)任務(wù)中,為了實(shí)現(xiàn)各設(shè)備的綜合調(diào)試,仿真軟件提供了一個“外部通訊程序”來模擬現(xiàn)實(shí)中的PLC功能,實(shí)現(xiàn)生產(chǎn)線各設(shè)備的時序和節(jié)拍控制。在該通訊程序中,各設(shè)備的I/O點(diǎn)和對應(yīng)關(guān)系已確定,根據(jù)圖5的控制流程及視覺定位反饋?zhàn)鴺?biāo)結(jié)果,綜合前面的機(jī)器人運(yùn)動控制方案,最終實(shí)現(xiàn)完整的機(jī)器人視覺引導(dǎo)上料流程(圖6)。

圖5 電子產(chǎn)線系統(tǒng)機(jī)器人視覺引導(dǎo)控制流程

圖6 機(jī)器人上料完整工藝效果演示

4 虛擬仿真教學(xué)項(xiàng)目的創(chuàng)新性

4.1 可靈活拓展的仿真環(huán)境

該仿真平臺在完成機(jī)器人視覺引導(dǎo)控制的核心功能基礎(chǔ)上,還提供了與專業(yè)工控軟件的接口功能,能夠?qū)崿F(xiàn)創(chuàng)新拓展實(shí)驗(yàn)任務(wù)[13,14]。在上料工位的基礎(chǔ)上,可利用仿真平臺內(nèi)置的設(shè)備模型庫自主設(shè)計搭建新工位(如下料工位等),利用相應(yīng)控制方案進(jìn)行仿真。仿真平臺可以與SIEMENS Portal進(jìn)行通訊聯(lián)合調(diào)試,基于虛擬設(shè)備對應(yīng)的I/O端口,編寫梯形圖程序,控制生產(chǎn)線各工位的節(jié)拍與時序,完成虛擬調(diào)試的任務(wù)。通過該過程引導(dǎo)學(xué)生進(jìn)行自主設(shè)計與調(diào)試,探索實(shí)踐不同的方案,利用已有知識和能力進(jìn)行創(chuàng)新拓展。

4.2 科教融合的仿真平臺

該仿真平臺基于實(shí)驗(yàn)室真實(shí)的科研平臺,依托數(shù)字孿生技術(shù)理念進(jìn)行了虛擬化,并將其應(yīng)用于教學(xué)過程。因此可將前沿的科研和技術(shù)內(nèi)容進(jìn)行簡化和提煉,將其中的知識和理論融入到教學(xué)過程中,并在仿真平臺中實(shí)現(xiàn)[15,16]。例如,實(shí)際工業(yè)環(huán)境中的光照條件對視覺識別與定位的結(jié)果會造成影響,虛擬仿真軟件中具有選擇光照開關(guān)的功能。在打開光照的條件下,用傳統(tǒng)的模板匹配算法仿真將無法實(shí)現(xiàn)準(zhǔn)確的視覺識別與定位,因此可利用基于伽瑪校正(Gamma Correction)的光照補(bǔ)償方法進(jìn)行算法設(shè)計及編程,再將程序與仿真環(huán)境連通進(jìn)行目標(biāo)的成功識別。在此過程中,可將科研和實(shí)際工程中應(yīng)用的知識和算法融入教學(xué)過程中,激發(fā)學(xué)生對于科研工作的熱情,實(shí)現(xiàn)科教融合理念。

4.3 虛實(shí)結(jié)合的教學(xué)實(shí)踐過程

課程依托國家級工程實(shí)驗(yàn)室平臺展開,采用由淺入深、虛實(shí)結(jié)合的方法引導(dǎo)學(xué)生進(jìn)行學(xué)習(xí),教學(xué)環(huán)節(jié)施行“現(xiàn)場認(rèn)知—理論授課—仿真實(shí)驗(yàn)—實(shí)操驗(yàn)證—報告考核”的學(xué)習(xí)過程。實(shí)驗(yàn)由實(shí)際系統(tǒng)設(shè)備認(rèn)知過渡到虛擬仿真,再通過虛擬調(diào)試改進(jìn)設(shè)計方案并利用實(shí)際設(shè)備操作進(jìn)行驗(yàn)證,實(shí)現(xiàn)虛實(shí)結(jié)合的實(shí)驗(yàn)教學(xué)方案。在較低的改造成本下,充分利用了現(xiàn)有科研與教學(xué)資源,開展具有創(chuàng)新性和綜合性的仿真教學(xué)。

5 結(jié)語

面向教育部新工科建設(shè)需求,充分發(fā)揮虛擬仿真技術(shù)的優(yōu)勢,基于實(shí)驗(yàn)室的真實(shí)科研設(shè)備,開發(fā)了一套機(jī)器人視覺引導(dǎo)控制虛擬仿真平臺,并設(shè)計了“虛實(shí)結(jié)合,科教融合”的虛擬仿真教學(xué)方案。虛擬仿真軟件具有較高的保真度和開放性,能夠綜合訓(xùn)練學(xué)生機(jī)器視覺識別與定位、機(jī)器人運(yùn)動學(xué)求解、視覺引導(dǎo)運(yùn)動控制的核心知識與實(shí)踐方法,同時還可利用其豐富的接口與其它軟件配合實(shí)現(xiàn)工控系統(tǒng)設(shè)計與虛擬調(diào)試等功能,培養(yǎng)學(xué)生解決復(fù)雜工程問題和創(chuàng)新性設(shè)計與實(shí)踐能力,探索利用虛擬仿真技術(shù)培養(yǎng)新工科創(chuàng)新型人才的新模式。