基于Choregraphe的Pepper機(jī)器人智能交互開發(fā)與應(yīng)用

◆張欣婷

（國家特種機(jī)器人產(chǎn)品質(zhì)量監(jiān)督檢驗中心（福建）福建 362011）

1 引言

在現(xiàn)代信息技術(shù)的浪潮中，人工智能已經(jīng)成為當(dāng)前最為熱門的話題之一。AI+應(yīng)用于服務(wù)業(yè)等各個領(lǐng)域。目前，我國正處于中國制造向中國智造邁進(jìn)的大背景下，機(jī)器人產(chǎn)業(yè)迎來了全新機(jī)遇[1]。在各種機(jī)器人品類中，比較典型的就是基于人機(jī)交互的智能機(jī)器人。Pepper在教育及商業(yè)的應(yīng)用領(lǐng)域極其廣泛，但由于目前日本軟銀已針對中國大陸禁止下載使用應(yīng)用商店的APP，因此國內(nèi)使用Pepper的機(jī)構(gòu)紛紛開始加入基于Pepper的應(yīng)用開發(fā)中。對此本文則基于Pepper智能機(jī)器人Naoqi平臺進(jìn)行二次開發(fā)，構(gòu)建一個可用于智能講解的定制化交互解決方案，并對該應(yīng)用的設(shè)計與實現(xiàn)進(jìn)行詳細(xì)敘述。

2 應(yīng)用整體架構(gòu)設(shè)計

本文主要以智能講解的定制化需求為前提，對Pepper機(jī)器人進(jìn)行研究與設(shè)計。設(shè)計工作主要以日常講解、規(guī)劃引導(dǎo)路徑、人機(jī)交互情感交流為目標(biāo)，采用語音對話方式構(gòu)建來訪者與機(jī)器人之間溝通的橋梁，涉及機(jī)器人臉部識別、聽說、肢體表達(dá)、周圍環(huán)境雷達(dá)探測排障等行為方式，以此對來訪者的下一步行為進(jìn)行判斷與規(guī)劃，使Pepper機(jī)器人形成閉環(huán)系統(tǒng)。具體Pepper機(jī)器人交互系統(tǒng)實現(xiàn)框架如圖1所示[2]。

圖1 Pepper機(jī)器人交互應(yīng)用實現(xiàn)框架

根據(jù)圖 1看出，本文所設(shè)計的智能講解機(jī)器人解決方案主要是在Pepper機(jī)器人平臺的Naoqi系統(tǒng)進(jìn)行設(shè)計與開發(fā)，通過系統(tǒng)中所支持的接口模塊進(jìn)行二次開發(fā)，使該應(yīng)用能夠滿足引導(dǎo)講解過程中的功能需求。在應(yīng)用的基本功能中，智能講解機(jī)器人通過紅外追蹤和臉部識別模塊喚醒應(yīng)用的執(zhí)行，在根據(jù)識別到的對話做出不同的行為反饋。語音處理主要由語音識別以及語音合成兩部分構(gòu)成，智能講解機(jī)器人主要通過肢體動作結(jié)合語音的方式，來對其情感進(jìn)行表達(dá)，再利用網(wǎng)絡(luò)通信功能對系統(tǒng)服務(wù)器中的語音功能進(jìn)行調(diào)用，以此實現(xiàn)與來訪者之間的溝通與交互。

3 開發(fā)環(huán)境介紹與搭建

3.1 硬件環(huán)境介紹

本文主要選用 Pepper機(jī)器人作為本次設(shè)計的開發(fā)平臺。Pepper機(jī)器人是一種由法國Aldebaran Robotic公司和日本軟銀集團(tuán)所設(shè)計研發(fā)的一種可編程仿人機(jī)器人。該機(jī)器人高約120cm，全身上下遍布著20個自由度及系列傳感器，具體包括紅外線傳感器、聲納傳感器等。同時，Pepper機(jī)器人還擁有2個攝像頭以及4個麥克風(fēng)，CPU主要運行于Linux內(nèi)核之上。相較于同類型的機(jī)器人平臺，Pepper機(jī)器人的Naoqi系統(tǒng)具備基礎(chǔ)功能模塊全面這一顯著特征，并且擁有多種傳感器以及豐富的開發(fā)接口，能夠為本次智能講解解決方案的設(shè)計提供極大的支持。如Pepper機(jī)器人內(nèi)部具備平面運動模塊，能夠?qū)C(jī)器人的運動控制起到支持，實現(xiàn)機(jī)器人在既定平面進(jìn)行軌跡直線或者曲線運動；Pepper機(jī)器人還具備語音識別功能，能夠根據(jù)識別到不同的語言根據(jù)既定的代碼觸發(fā)不同的事件，這些基礎(chǔ)核心接口的實現(xiàn)使得基于Naoqi的自定義開發(fā)提供了強(qiáng)有力的支持。

3.2 軟件開發(fā)環(huán)境介紹與搭建

Choregraphe 是一款多平臺的應(yīng)用軟件，用 Choregraphe 可以創(chuàng)建應(yīng)用于Pepper機(jī)器人的行為模塊，并連接到Pepper機(jī)器人上，從而測試用戶所創(chuàng)建的行為模塊。簡而言之，Choregraphe 是一款專門用于Pepper機(jī)器人應(yīng)用開發(fā)的控制軟件。它采用的是圖形化編程，通過一些指令盒的組合形式，足以實現(xiàn)多種復(fù)雜行為，并且Choregraphe還提供給用戶自定義使用 Python 語言編寫模塊和調(diào)用SDK接口的功能。通過如下步驟就可以完成無線化進(jìn)行Pepper應(yīng)用方案的設(shè)計和開發(fā)：

（1）將Pepper機(jī)器人開啟，在“設(shè)置”面板中會顯示當(dāng)前Pep per機(jī)器人的Naoqi版本。將Pepper機(jī)器人連接至可用的WIFI中，按下其腹部中的白色按鈕，當(dāng)WIFI連接成功的情況下 Pepper會說出自己當(dāng)前的IP地址。

（2）在 https://community.aldebaran.com/en/resources/software中設(shè)置機(jī)器人為Pepper，Naoqi系統(tǒng)版本為2.5.5后下載對應(yīng)的Choreg raphe 2.5.10版本。安裝好后啟動Choregraphe 2.5.10，擇“連接”＞連接到”，如圖2所示，輸入Pepper當(dāng)前的IP地址，端口默認(rèn)是95 59，點擊連接。連接到Pepper的Naoqi系統(tǒng)后即可進(jìn)行開發(fā)和聯(lián)機(jī)測試。

圖2 Choregraphe 2.5.10軟件與Pepper機(jī)器人的連接設(shè)置

3.3 應(yīng)用詳細(xì)設(shè)計

整體的智能講解的定制化交互解決方案具體的應(yīng)用流程圖如圖3所示。

圖3 智能講解定制化交互解決方案流程圖

從圖 3可知，本文中提到的應(yīng)用在機(jī)器人開機(jī)后是給其設(shè)置了一個觸發(fā)器條件（'Launchpad/RobotType'=="Pepper"）當(dāng)開機(jī)程序識別到當(dāng)前機(jī)器人名稱為 Pepper時自啟動該應(yīng)用。該應(yīng)用調(diào)用Choregraphe中的Face Detection指令盒，當(dāng)Pepper機(jī)器人識別到人臉時即傳遞輸入信號到Face Detection中，并且Face Detection的輸出端激活信號，運行到下一個Human Detected時間軸指令盒和Hello時間軸指令盒中。此時機(jī)器人會做出招手動作，并對來訪者發(fā)出hello的發(fā)音同時Pepper的平面展示器上顯示Hello的動態(tài)圖片。整個人臉識別和反饋行為的設(shè)計如圖4所示。

識別到人臉后在連續(xù) 120秒的時間內(nèi)如果機(jī)器人有識別到匹配的語言會根據(jù)usual/usual_mnc.top中的rules給出對應(yīng)反饋的內(nèi)容。會話編程在Choregraphe中需要先添加一個Set Language指令盒將語言設(shè)置為將語言設(shè)置為Chinese，接著添加一個對話框指令盒usual，添加usual主題后生成usual/usual_mnc.top的對話文件。輸入對話規(guī)則即可。在該應(yīng)用方案中也有多個功能性時間軸模塊，在會話中要將輸出端指向?qū)?yīng)的功能性時間軸指令盒的方式就是將輸出端名稱設(shè)置成一個參數(shù)，將這個參數(shù)賦值為1即可。整個會話模塊的詳細(xì)實現(xiàn)如圖5所示。

圖4 人臉識別模塊的實現(xiàn)示意圖

圖5 會話模塊的實現(xiàn)示意圖

在智能講解機(jī)器人解決方案中除了語音會話模塊上，還具備交互行為。例如彈吉他、繞口令、跟來訪者玩游戲互動、按路線進(jìn)行講解等。這些交互行為都是通過一個或者多個時間軸指令盒編程來實現(xiàn)的。時間軸指令盒分成動作和行為層。整個時間軸都基于時間標(biāo)尺。運動層就是存儲在時間線上的動作。每個幀對應(yīng)于機(jī)器人關(guān)節(jié)的位置。當(dāng)時間軸開始時，時間光標(biāo)位于開始幀上。然后定期將其增加到下一幀，直到到達(dá)“結(jié)束幀”。而行為層表示Pepper除了動作之外還將要執(zhí)行的其他操作，例如播放音樂、播放視頻、發(fā)出指定的對話、按照規(guī)劃的路徑進(jìn)行平面移動等。其中平面移動是Pepper特有的一個核心模塊。平面移動的時候，Pepper機(jī)器人為了實現(xiàn)避障控制，需要從它的兩個前端聲納獲取信息，對這些數(shù)據(jù)進(jìn)行處理，并將清晰的輸出發(fā)送給速度和角度控制模塊。為了在未知環(huán)境中導(dǎo)航，機(jī)器人必須獲取信息、處理信息并為任務(wù)提供最佳解決方案。實現(xiàn)其按照規(guī)定路徑移動每一條路徑需要新建一個.pmt平面移動項目，在一個時間軸指令盒中行為層插入“面移動項目，在一個時間指令盒，將其參數(shù)設(shè)置為pmt文件的路徑，如圖6所示。

圖6 平面移動的實現(xiàn)示意圖

另外彈吉他、繞口令、互動游戲的行為層實現(xiàn)如圖7所示。每個行為層的實現(xiàn)還有出現(xiàn)時間軸指令盒嵌套的情況。繞口令中的//部分引用的是Naoqi系統(tǒng)中對于聲音參數(shù)的設(shè)置，例如音調(diào)、語速等等，使得機(jī)器人的發(fā)音更加貼切和生動。

圖7 交互功能行為層的實現(xiàn)示意圖

4 測試和總結(jié)

將程序打包安裝到機(jī)器人的Naoqi系統(tǒng)中。按照黑盒測試中的場景法進(jìn)行功能測試。發(fā)現(xiàn)無論是對話功能，還是交互行為，該智能講解機(jī)器人都可給出很好的反饋，滿足日常接待來訪參觀人員的需求。但是在運行應(yīng)用過程中有如下注意事項，在本文中匯總供讀者和廣大Pepper開發(fā)人員參考。

（1）Pepper在充電狀態(tài)下無法讓其行走。

（2）Pepper在充電口沒有往下蓋好的情況下也不能觸發(fā)行走相關(guān)的行為。

（3）Pepper電量過低也會導(dǎo)致行為觸發(fā)失敗。