基于視覺(jué)編程的機(jī)器人智能學(xué)習(xí)系統(tǒng)

廣東工業(yè)大學(xué)

陳俊洪，鄭澤賢，李軍達(dá)，曾潤(rùn)佳，何志銅

1 作品介紹

國(guó)內(nèi)外機(jī)器人制造企業(yè)均在加速推進(jìn)智能機(jī)器人產(chǎn)品的研發(fā)與推廣，但縱觀現(xiàn)有智能機(jī)器人的應(yīng)用場(chǎng)景，雖然編程手段更為高效（操作者手動(dòng)拖拽示例或者軟件繪制軌跡），但關(guān)鍵難點(diǎn)問(wèn)題仍未解決：智能機(jī)器人只能執(zhí)行預(yù)編程的指令，以相對(duì)“精確”的方式完成特定重復(fù)動(dòng)作。而當(dāng)環(huán)境發(fā)生變化時(shí)，會(huì)導(dǎo)致大量殘次品產(chǎn)生，即現(xiàn)有機(jī)器人尚未具備“有意識(shí)感知”操作物體和環(huán)境并做出調(diào)整的能力。要解決該問(wèn)題，機(jī)器人的“智能化”是必經(jīng)之路。本項(xiàng)目以提高機(jī)器人的“智能化”程度為目標(biāo)，讓機(jī)器人能夠根據(jù)人體的動(dòng)作變化進(jìn)行安全、實(shí)時(shí)的跟蹤協(xié)作，且當(dāng)環(huán)境發(fā)生變化時(shí)，機(jī)器人能夠通過(guò)視覺(jué)編程快速適應(yīng)新的工作環(huán)境，無(wú)需重新返廠編程，極大提高了生產(chǎn)效率，對(duì)我國(guó)智能制造具有重大推動(dòng)作用。

2 技術(shù)原理

2.1 模仿學(xué)習(xí)

利用任務(wù)-目標(biāo)導(dǎo)向方法對(duì)人的操作動(dòng)作和操作物體進(jìn)行分開(kāi)識(shí)別，過(guò)濾操作過(guò)程中不相關(guān)或冗余內(nèi)容，只學(xué)習(xí)關(guān)鍵動(dòng)作及如何操作物體，最終實(shí)現(xiàn)操作目的。

2.2 視頻流學(xué)習(xí)

利用深度學(xué)習(xí)技術(shù)將視頻進(jìn)行元語(yǔ)義分解，識(shí)別出視頻中的基本元素，并通過(guò)算法將元語(yǔ)義按照語(yǔ)義語(yǔ)法規(guī)則進(jìn)行重組，最終形成機(jī)器人指令操作。該做法相比于其他機(jī)器人系統(tǒng)更高級(jí)之處在于其可使用工具進(jìn)行動(dòng)作模仿，而非簡(jiǎn)單的動(dòng)作模仿。該技能不僅適用于家庭服務(wù)，更加能夠跨場(chǎng)景進(jìn)行部署。機(jī)器人炒菜視頻圖像如圖1所示。

圖1 炒菜視頻圖像

2.3 人機(jī)協(xié)作

利用深度學(xué)習(xí)方法對(duì)人體關(guān)鍵點(diǎn)進(jìn)行實(shí)時(shí)監(jiān)測(cè)，通過(guò)動(dòng)作關(guān)鍵幀和基于時(shí)間的動(dòng)態(tài)模型對(duì)人的操作完成度進(jìn)行判定，進(jìn)而達(dá)到人機(jī)協(xié)作目的。

2.4 語(yǔ)音交互

提供關(guān)鍵指令給機(jī)器人進(jìn)行識(shí)別，機(jī)器人識(shí)別語(yǔ)音后與對(duì)應(yīng)的操作技能進(jìn)行匹配執(zhí)行，最終實(shí)現(xiàn)人機(jī)交互的目的。

3 作品創(chuàng)新點(diǎn)、應(yīng)用前景

本系統(tǒng)以視覺(jué)編程為核心，將視頻、語(yǔ)音和文本等多模態(tài)數(shù)據(jù)進(jìn)行融合，具有學(xué)習(xí)能力強(qiáng)、部署效率高等技術(shù)優(yōu)勢(shì)。與此同時(shí)，本產(chǎn)品具備以下創(chuàng)新點(diǎn)：

（1）機(jī)器人自學(xué)能力強(qiáng)。不同于絕大多數(shù)機(jī)器人的預(yù)編程指令，本產(chǎn)品創(chuàng)新性地通過(guò)計(jì)算機(jī)視覺(jué)技術(shù)進(jìn)行學(xué)習(xí)，是機(jī)器人與深度學(xué)習(xí)兩大交叉領(lǐng)域的新嘗試，避免了用途或場(chǎng)景更改時(shí)再次對(duì)機(jī)器人進(jìn)行指令編程，具備很高的靈活性與可重用性。

（2）適用性廣。本產(chǎn)品對(duì)物體進(jìn)行操作時(shí)，將物體的著力點(diǎn)作為抓取物體的依據(jù)，該方法能廣泛應(yīng)用于多種不同形狀及類別的物體，使得機(jī)器人能夠?qū)Χ鄨?chǎng)景中的多種物體進(jìn)行操作。

（3）對(duì)操作行為具備理解能力。機(jī)器人需要對(duì)執(zhí)行的動(dòng)作進(jìn)行理解后才能準(zhǔn)確執(zhí)行該動(dòng)作，本產(chǎn)品通過(guò)定義語(yǔ)法語(yǔ)義規(guī)則構(gòu)建語(yǔ)法樹(shù)，對(duì)復(fù)雜的操作行為進(jìn)行分解，將分解后的元語(yǔ)義按照指定的語(yǔ)法規(guī)則進(jìn)行重構(gòu)，形成新的語(yǔ)義樹(shù)，最后將語(yǔ)義樹(shù)轉(zhuǎn)換為機(jī)器人指令用于執(zhí)行。