智能垃圾分類拾撿機(jī)器人抓取目標(biāo)定位方法

李繪英

(九江職業(yè)大學(xué) 智能制造學(xué)院,江西 九江 332000)

智能垃圾分類機(jī)器人承擔(dān)垃圾搬運(yùn)、拾撿、打包環(huán)節(jié)等工作,其中,拾撿作業(yè)就是按照抓取要求揀選混放的多種垃圾,嚴(yán)格來(lái)說(shuō),機(jī)器人必須具有決策任務(wù)、移動(dòng)抓取、物品交互等行為能力。目前,分類型機(jī)器人的設(shè)計(jì)主要借助綜合感知、決策執(zhí)行等多項(xiàng)技術(shù)手段,實(shí)現(xiàn)垃圾清理、巡邏、環(huán)境監(jiān)測(cè)等功能。這就意味著為使機(jī)器人在分揀垃圾的過(guò)程中擁有自主判斷及運(yùn)動(dòng)規(guī)劃的能力,就必須聯(lián)合網(wǎng)絡(luò)主機(jī)對(duì)機(jī)械部件的行為能力進(jìn)行全方位的控制[1]。為更好適應(yīng)各行各業(yè)對(duì)分類機(jī)器人的需求量不斷增大的發(fā)展情況,需要將先進(jìn)的人工智能技術(shù)與智能化機(jī)械設(shè)計(jì)思想結(jié)合起來(lái),一方面對(duì)抓取行為過(guò)程中的目標(biāo)對(duì)象進(jìn)行精準(zhǔn)識(shí)別,另一方面靈巧抓取行為路徑內(nèi)的拾撿物體。

機(jī)器人行為過(guò)程中的抓取誤差主要表現(xiàn)在橫向坐標(biāo)軸、縱向坐標(biāo)軸、空間向坐標(biāo)軸三個(gè)方向上。在消除坐標(biāo)誤差方面,王煜升等人在期望位置模型的支持下,通過(guò)針對(duì)性估計(jì)的方式,識(shí)別抓取目標(biāo)所處位置,并根據(jù)目標(biāo)節(jié)點(diǎn)的輪廓還原結(jié)果,建立位置模型庫(kù),再將待檢測(cè)目標(biāo)分別與模型庫(kù)內(nèi)的節(jié)點(diǎn)參量進(jìn)行匹配,以確定當(dāng)前行為模式下,機(jī)器人是否能夠準(zhǔn)確抓取到預(yù)設(shè)拾撿目標(biāo)[2]。張震等人建立了一種新的特征描述子定義條件,規(guī)定所提取到的目標(biāo)對(duì)象就是機(jī)器人抓取行為的中心節(jié)點(diǎn),利用二維Gauss函數(shù),求解機(jī)器人抓取行為的偏導(dǎo)執(zhí)行結(jié)果,再在局部二值模式下,定義目標(biāo)拾撿對(duì)象所處的具體位置[3]。

深度學(xué)習(xí)是在學(xué)習(xí)過(guò)程中獲得大量的數(shù)據(jù)樣本,以便于主機(jī)元件可對(duì)整個(gè)學(xué)習(xí)流程進(jìn)行規(guī)劃與完善。相較于其他類型的學(xué)習(xí)算法,深度學(xué)習(xí)模型的最終目標(biāo)就是使機(jī)器能夠具有與人類似的分析與學(xué)習(xí)能力,并以此為基礎(chǔ)獲得更加真實(shí)的數(shù)據(jù)分析結(jié)果[4]。在計(jì)算機(jī)網(wǎng)絡(luò)環(huán)境中,深度學(xué)習(xí)算法的應(yīng)用有助于獲得更加真實(shí)的數(shù)據(jù)樣本提取與識(shí)別結(jié)果。隨著機(jī)器人行為模式的不斷復(fù)雜化,雙目視覺(jué)傳感器、Shi-Tomasi和改進(jìn)LBP的定位方法并不能保證抓取目標(biāo)節(jié)點(diǎn)與定位節(jié)點(diǎn)的高度重合關(guān)系,故而也就不能將兩類節(jié)點(diǎn)之間的坐標(biāo)誤差控制在較低的數(shù)值范圍之內(nèi)。為解決上述問(wèn)題,以深度學(xué)習(xí)模型為基礎(chǔ),設(shè)計(jì)一種新型的智能垃圾分類拾撿機(jī)器人抓取目標(biāo)定位方法,并通過(guò)對(duì)比實(shí)驗(yàn)的方式,突出該算法的實(shí)際應(yīng)用價(jià)值。

1 基于深度學(xué)習(xí)的抓取目標(biāo)檢測(cè)

深度學(xué)習(xí)模型是依照神經(jīng)網(wǎng)絡(luò)規(guī)則制定的卷積運(yùn)算類模型結(jié)構(gòu),由多個(gè)神經(jīng)元節(jié)點(diǎn)共同組成,在輸入數(shù)據(jù)置信等級(jí)完全相同的情況下,深度學(xué)習(xí)模型可以同時(shí)訓(xùn)練大量的信息參量,且只要輸入數(shù)據(jù)的編碼形式相同,那么與之相關(guān)的輸出數(shù)據(jù)編碼形式也就完全相同。定位智能垃圾分類拾撿機(jī)器人抓取目標(biāo)時(shí),深度學(xué)習(xí)模型結(jié)構(gòu)中主要包含輸入層、學(xué)習(xí)層、輸出層三類節(jié)點(diǎn)對(duì)象[5]。其中,輸入層節(jié)點(diǎn)負(fù)責(zé)錄入機(jī)器人抓取目標(biāo)位置信息,在數(shù)據(jù)樣本學(xué)習(xí)的過(guò)程中,該類型節(jié)點(diǎn)不具備改變信息參量編碼形式的能力。學(xué)習(xí)層節(jié)點(diǎn)負(fù)責(zé)對(duì)已錄入的機(jī)器人抓取目標(biāo)位置信息進(jìn)行決策與加工處理,并可以按照深度學(xué)習(xí)條件,將這些數(shù)據(jù)信息參量整合成多個(gè)輸出單元。輸出層節(jié)點(diǎn)負(fù)責(zé)向外反饋完成處理的機(jī)器人抓取目標(biāo)位置信息,為保證機(jī)器人抓取目標(biāo)定位結(jié)果的準(zhǔn)確性,主機(jī)元件要求同一類信息參量在完成學(xué)習(xí)處理時(shí)與反饋輸出后的編碼形式應(yīng)保持一致[6]。完整的深度學(xué)習(xí)模型結(jié)構(gòu)如圖1所示。

圖1 深度學(xué)習(xí)模型結(jié)構(gòu)

目標(biāo)函數(shù)是基于深度學(xué)習(xí)模型所定義的特殊線性計(jì)算函數(shù)。依照該函數(shù)表達(dá)式,主機(jī)元件對(duì)智能垃圾分類拾撿機(jī)器人抓取目標(biāo)位置信息的處理具有明顯的規(guī)律性特征,即在抓取目標(biāo)位置信息取值趨近于負(fù)無(wú)窮時(shí),深度學(xué)習(xí)目標(biāo)函數(shù)的求解結(jié)果也趨近于負(fù)無(wú)窮;在抓取目標(biāo)位置信息取值趨近于正無(wú)窮時(shí),深度學(xué)習(xí)目標(biāo)函數(shù)的求解結(jié)果也趨近于正無(wú)窮;在抓取目標(biāo)位置信息取值為零時(shí),深度學(xué)習(xí)目標(biāo)函數(shù)的求解結(jié)果也等于零[7]。深度學(xué)習(xí)模型對(duì)于拾撿機(jī)器人抓取目標(biāo)位置信息的決策曲線如圖2所示。

圖2 深度學(xué)習(xí)模型對(duì)于數(shù)據(jù)信息參量的決策曲線

(1)

對(duì)于智能垃圾分類拾撿機(jī)器人抓取目標(biāo)的檢測(cè)由數(shù)據(jù)集合定義、抓取目標(biāo)檢測(cè)值求解兩部分組成。數(shù)據(jù)集合就是包含所有智能垃圾分類拾撿機(jī)器人抓取目標(biāo)位置信息的數(shù)據(jù)樣本空間,對(duì)于主機(jī)元件而言,其在定位機(jī)器人抓取目標(biāo)時(shí),取樣的每一個(gè)數(shù)據(jù)信息參量都必須屬于依照深度學(xué)習(xí)模型所定義的數(shù)據(jù)集合[8-9]。抓取目標(biāo)檢測(cè)值求解就是在數(shù)據(jù)集合中選擇多個(gè)目標(biāo)信息對(duì)象,再聯(lián)合目標(biāo)函數(shù)表達(dá)式,計(jì)算檢測(cè)值指標(biāo)的實(shí)際數(shù)值范圍。

(1)數(shù)據(jù)集合如式(2)所示。

(2)

(2)抓取目標(biāo)檢測(cè)值求解如式(3)所示。

(3)

式(3)中,a1、a2、…、an表示數(shù)據(jù)集合中n個(gè)不相等的數(shù)據(jù)參量,表示目標(biāo)信息檢測(cè)系數(shù)。

(3)抓取目標(biāo)檢測(cè)表達(dá)式如式(4)所示。

(4)

2 智能垃圾分類拾撿機(jī)器人抓取目標(biāo)定位方法設(shè)計(jì)

尺度空間可以用來(lái)描述智能垃圾分類拾撿機(jī)器人抓取行為平面的排列關(guān)系。按照深度學(xué)習(xí)算法定位機(jī)器人抓取目標(biāo)時(shí),不可能只選擇一個(gè)行為平面作為目標(biāo)數(shù)據(jù)定義區(qū)域,且多個(gè)行為平面同時(shí)存在的情況下,目標(biāo)數(shù)據(jù)的排列形式也很難保持完全一致的狀態(tài)。但若按照深度學(xué)習(xí)算法定義統(tǒng)一的尺度空間模型,則可以為關(guān)聯(lián)行為平面提供唯一的定義架構(gòu),從而在保障行為平面完整性的同時(shí),使目標(biāo)數(shù)據(jù)在同一平面內(nèi)保持統(tǒng)一的排列形式[10-11]。在尺度空間模型中,上級(jí)行為平面可向下級(jí)行為平面提供映射投影,且在投影區(qū)域內(nèi),上、下及平面內(nèi)的目標(biāo)數(shù)據(jù)統(tǒng)一性分布關(guān)系能夠得到較好保障。基于深度學(xué)習(xí)的機(jī)器人抓取目標(biāo)尺度空間模型結(jié)構(gòu)如圖3所示。

圖3 基于深度學(xué)習(xí)的機(jī)器人抓取目標(biāo)尺度空間模型

(5)

主機(jī)元件對(duì)機(jī)器人抓取對(duì)象的標(biāo)定從橫軸、縱軸、空間軸三個(gè)方向同時(shí)進(jìn)行。橫軸方向上的抓取對(duì)象標(biāo)定決定了智能垃圾分類拾撿機(jī)器人在水平方向上的行為能力,在機(jī)器人行為幅度保持不變的情況下,橫軸方向上標(biāo)定值指標(biāo)的取值越大,就表示待抓取目標(biāo)在水平方向上的定位距離越遠(yuǎn)[12]?？v軸方向上的抓取對(duì)象標(biāo)定決定了智能垃圾分類拾撿機(jī)器人在豎直方向上的行為能力,縱軸方向上標(biāo)定值指標(biāo)的取值越大,就表示待抓取目標(biāo)在豎直方向上的定位距離越遠(yuǎn)?？臻g軸方向上的抓取對(duì)象標(biāo)定決定了智能垃圾分類拾撿機(jī)器人在三維尺度空間內(nèi)的行為能力,空間軸方向上標(biāo)定值指標(biāo)的取值越大,就表示待抓取目標(biāo)在三維尺度空間內(nèi)的定位距離越遠(yuǎn)[13]。

在式(5)的基礎(chǔ)上,可將橫軸、縱軸、空間軸三個(gè)方向上的標(biāo)定向量分別如式(6)所示。

(6)

式(6)中,KX表示水平方向上的機(jī)器人抓取行為幅值,ΔLX表示水平方向上的機(jī)器人抓取目標(biāo)定義距離,KY表示豎直方向上的機(jī)器人抓取行為幅值,ΔLY表示豎直方向上的機(jī)器人抓取目標(biāo)定義距離,KZ表示三維尺度空間內(nèi)的機(jī)器人抓取行為幅值,ΔLZ表示三維尺度空間內(nèi)的機(jī)器人抓取目標(biāo)定義距離。

利用式(6),推導(dǎo)機(jī)器人抓取對(duì)象標(biāo)定表達(dá)式如式(7)所示。

(7)

式(7)中,μ表示基于深度學(xué)習(xí)的機(jī)器人抓取對(duì)象辨別參數(shù),m表示非零條件下的目標(biāo)點(diǎn)計(jì)數(shù)值,bm表示基于參數(shù)m的目標(biāo)節(jié)點(diǎn)閾值向量,b0表示零值條件下目標(biāo)節(jié)點(diǎn)閾值向量的初始取值。

對(duì)于智能垃圾分類拾撿機(jī)器人抓取目標(biāo)物體而言,僅僅掌握目標(biāo)對(duì)象標(biāo)定表達(dá)式還不夠,還要對(duì)定位條件進(jìn)行估計(jì),才能確保定位結(jié)果的準(zhǔn)確性。結(jié)合目標(biāo)定位過(guò)程的特點(diǎn),主機(jī)元件依照深度學(xué)習(xí)算法選擇目標(biāo)節(jié)點(diǎn)時(shí),只有保證尺度空間模型的完整性,才能獲得較為理想的定位結(jié)果[14-15]。

對(duì)于抓取目標(biāo)定位條件的估算參考如下表達(dá)如式(8)所示。

(8)

利用式(8),推導(dǎo)智能垃圾分類拾撿機(jī)器人抓取目標(biāo)定位表達(dá)式如式(9)所示。

(9)

式(9)中,t表示基于深度學(xué)習(xí)的抓取目標(biāo)定位參數(shù),e1、e2、…、en表示不同的抓取目標(biāo)節(jié)點(diǎn)定義向量。為避免錯(cuò)誤抓取拾撿目標(biāo)情況的出現(xiàn),主機(jī)元件在定位智能垃圾分類拾撿機(jī)器人抓取目標(biāo)時(shí),應(yīng)排除同一行為軌跡內(nèi)完全重合的目標(biāo)節(jié)點(diǎn)。

3 實(shí)驗(yàn)分析

為突出說(shuō)明基于深度學(xué)習(xí)的智能垃圾分類拾撿機(jī)器人抓取目標(biāo)定位方法、雙目視覺(jué)方法、文獻(xiàn)[3]Shi-Tomasi和改進(jìn)LBP算法的實(shí)用差異性,設(shè)計(jì)如下對(duì)比實(shí)驗(yàn)。

3.1 實(shí)驗(yàn)準(zhǔn)備

本次實(shí)驗(yàn)選擇T7S Plus型智能垃圾分類拾撿機(jī)器人作為實(shí)驗(yàn)對(duì)象,在其行為半徑內(nèi)放置一條輸送帶,并在輸送帶上放置不同類型的垃圾,作為機(jī)器人抓取目標(biāo),詳情如圖4所示。

圖4 智能垃圾分類拾撿機(jī)器人抓取目標(biāo)

機(jī)器人每拾撿一個(gè)目標(biāo)垃圾,并將其投放至正確的分類箱之中為一個(gè)抓取行為周期,本次實(shí)驗(yàn)共設(shè)置6個(gè)抓取行為周期。測(cè)試用的輸送帶垃圾來(lái)源于某家庭生活垃圾。該家庭中放置了不同類型的可回收物、有害垃圾、濕垃圾和干垃圾等垃圾桶,其中包含塑料瓶、紙張、金屬罐、電池、食物殘?jiān)炔煌愋屠奈锲贰?/p>

3.2 實(shí)驗(yàn)原理和結(jié)果分析

不能準(zhǔn)確定位抓取目標(biāo)所處位置,是導(dǎo)致智能垃圾分類機(jī)器人錯(cuò)誤抓取拾撿目標(biāo)的主要原因。本次實(shí)驗(yàn)首先記錄定位節(jié)點(diǎn)坐標(biāo)的具體數(shù)值,所得結(jié)果記錄為標(biāo)準(zhǔn)值;然后分別從橫軸、縱軸兩個(gè)方向上定義抓取目標(biāo)節(jié)點(diǎn)的實(shí)際坐標(biāo)(本次實(shí)驗(yàn)過(guò)程中,智能垃圾分類機(jī)器人對(duì)于拾撿目標(biāo)的抓取行為只存在于平面范圍內(nèi),所以只需參考橫軸、縱軸兩個(gè)方向上的實(shí)驗(yàn)結(jié)果);最后根據(jù)標(biāo)準(zhǔn)值與實(shí)驗(yàn)值之間的坐標(biāo)差,總結(jié)實(shí)驗(yàn)規(guī)律。

圖5反映了定位節(jié)點(diǎn)坐標(biāo)標(biāo)準(zhǔn)值在橫軸、縱軸兩個(gè)方向上的數(shù)值變化情況。

分別應(yīng)用基于深度學(xué)習(xí)的智能垃圾分類拾撿機(jī)器人抓取目標(biāo)定位方法(實(shí)驗(yàn)組)、雙目視覺(jué)方法(對(duì)照A組)、Shi-Tomasi和改進(jìn)LBP算法(對(duì)照B組)進(jìn)行實(shí)驗(yàn),并記錄不同方法作用下,抓取目標(biāo)節(jié)點(diǎn)實(shí)際坐標(biāo)在橫軸、縱軸方向上的數(shù)值變化情況。抓取目標(biāo)節(jié)點(diǎn)實(shí)際坐標(biāo)的橫軸坐標(biāo)數(shù)值如圖6所示。

(實(shí)驗(yàn)組)

分析圖6可知,實(shí)驗(yàn)組抓取目標(biāo)節(jié)點(diǎn)橫軸坐標(biāo)的數(shù)值變化情況與標(biāo)準(zhǔn)值相同,且二者最大值的差值水平僅為0.01m。對(duì)照A組、對(duì)照B組抓取目標(biāo)節(jié)點(diǎn)橫軸坐標(biāo)的數(shù)值變化情況與標(biāo)準(zhǔn)值具有較大差異性,其最大差值分別為0.25m、0.55m,遠(yuǎn)大于實(shí)驗(yàn)組差值水平。

抓取目標(biāo)節(jié)點(diǎn)實(shí)際坐標(biāo)的縱坐標(biāo)數(shù)值如圖7所示。

(實(shí)驗(yàn)組)

分析圖7可知,實(shí)驗(yàn)組抓取目標(biāo)節(jié)點(diǎn)縱軸坐標(biāo)的數(shù)值變化情況與標(biāo)準(zhǔn)值相同,且二者最大值的差值水平僅為0.02m。對(duì)照A組、對(duì)照B組抓取目標(biāo)節(jié)點(diǎn)縱軸坐標(biāo)的數(shù)值變化情況與標(biāo)準(zhǔn)值也具有較大差異性,其最大差值分別為0.23m、0.11m,也遠(yuǎn)大于實(shí)驗(yàn)組差值水平。綜合上述實(shí)驗(yàn)結(jié)果可知,應(yīng)用基于深度學(xué)習(xí)的智能垃圾分類拾撿機(jī)器人抓取目標(biāo)定位方法,可以有效解決抓取目標(biāo)節(jié)點(diǎn)與定位節(jié)點(diǎn)間坐標(biāo)差較大的問(wèn)題,不會(huì)因?yàn)闊o(wú)法準(zhǔn)確定位抓取目標(biāo)所處位置,而造成智能垃圾分類機(jī)器人錯(cuò)誤抓取拾撿目標(biāo)的情況,與實(shí)際應(yīng)用需求相符合。

結(jié)語(yǔ)

所提方法在深度學(xué)習(xí)模型的基礎(chǔ)上,對(duì)抓取目標(biāo)進(jìn)行檢測(cè)后,在目標(biāo)尺度空間內(nèi),標(biāo)定機(jī)器人抓取對(duì)象所處位置,從而根據(jù)目標(biāo)定位估算條件,實(shí)現(xiàn)對(duì)機(jī)器人抓取目標(biāo)的準(zhǔn)確定位。對(duì)比實(shí)驗(yàn)結(jié)果表明,深度學(xué)習(xí)定位方法的應(yīng)用可以有效控制抓取目標(biāo)節(jié)點(diǎn)與定位節(jié)點(diǎn)之間的坐標(biāo)差水平,在準(zhǔn)確定位抓取目標(biāo)所處位置方面,具有較強(qiáng)的實(shí)用可行性。