基于NAO機器人視覺識別科教創(chuàng)新實驗設計

王可欣 衛(wèi)九蓉 楊嘉融 李程 王晨 石玉 強寧

摘? 要：依托高校人工智能課程，結合垃圾分類這一重要民生問題，本文設計了基于NAO機器人的垃圾識別與目標抓取創(chuàng)新實驗?；贜AO的實驗開發(fā)平臺Choregraphe，使用視頻監(jiān)視器進行圖像數(shù)據(jù)的學習，建立圖像數(shù)據(jù)庫，進而使用Vision Reco.指令盒進行視覺識別。根據(jù)機器人運動學理論，實現(xiàn)NAO對目標的抓取動作設計，并使用NAOMarks進行定位信息處理，確保NAO正確定位垃圾桶位置。經(jīng)過教學實踐發(fā)現(xiàn)，學生對該種模式的教學方法有極高的學習興趣，培養(yǎng)了學生的動手實踐能力，對于學生創(chuàng)新實踐思維的培養(yǎng)有積極的促進意義。

關鍵詞：NAO機器人 視覺識別 機器人運動控制 垃圾分類

中圖分類號：TP391 文獻標識碼：A 文章編號：1674-098X（2021）07（a）-0178-06

Innovative Experimental Design Based on NAO Robot Visual Recognition

WANG Kexin? WEI Jiurong? YANG Jiarong? LI Cheng? WANG Chen? SHI Yu? QIANG Ning*

（School of Physics and Information Technology， Shaanxi Normal University， Xi'an， Shaanxi Province， 710062? China）

Abstract： Relying on the artificial intelligence course in colleges and universities， combined with the important livelihood problem of garbage classification， this paper designs an innovative experiment of waste identification and target capture based on NAO robot. The experimental development platform Chorepache based on NAO uses video monitor to learn image data， establish image database， and then use Vision Reco. Instruction box for visual recognition. According to the robot kinematics theory， the grasping action design of NAO to the target is realized， and NAOMarks is used to process the positioning information to ensure that NAO can correctly locate the trash can. Through teaching practice， it is found that students have a high interest in this mode of teaching method， cultivate students' practical ability， and have a positive significance in promoting the cultivation of students' innovative practical thinking.

Key Words： NAO robot; Visual recognition; Robot motion control; Garbage classification

仿人型機器人具備與人類相似的外觀，可以適應人類的生活和工作環(huán)境，代替人類完成各種作業(yè)，其中Aldebaran Robotics公司研制的NAO是目前世界上應用最廣泛的人形機器人[1]。

人形機器人的主要應用包括面向商業(yè)發(fā)展、家庭生活、學校教育及科學研究，有較為豐富的應用拓展。本文結合學校教育與垃圾分類問題，依托高校人工智能課程教，借助NAO仿人型機器人的圖像開發(fā)平臺Choregraphe設計NAO關于垃圾回收的創(chuàng)新實驗，建立NAO已知對象的數(shù)據(jù)庫，利用視覺關鍵特征進行識別，最終實現(xiàn)對不同垃圾進行分類識別的目標。本文設計的創(chuàng)新實驗過程遵循理論結合實際、循序漸進的原則，從平臺指令盒的初步使用到建立圖像數(shù)據(jù)庫、設計抓取動作、定位垃圾桶等一系列動作的實現(xiàn)，幫助培養(yǎng)學生的專業(yè)學科素養(yǎng)及動手實踐能力。

1? Choregraphe平臺使用

NAO提供了Choregraphe、NAOqi和檢測器作為開發(fā)軟件，本文基于Choregraphe開發(fā)平臺進行實驗設計。Choregraphe是一個具有高可視化的圖像開發(fā)工具，內(nèi)部裝載了面向?qū)ο蟮闹弊g程序語言Python。編程過程清晰、直觀，程序代碼可讀性高[2]。使用該平臺可以在NAO機器人上測試實驗過程中所創(chuàng)建的不同指令模塊，基于圖像編程工具實現(xiàn)對NAO機器人行為的控制，其內(nèi)置的指令盒在一定程度上簡化了實驗過程中對于NAO機器人基礎應用的實現(xiàn)。

對于入門級學生來說，Choregraphe圖像化編程的圖像化編輯平臺很容易上手，并可以提供NAO指令的即時反饋，這將大大提高學生的編程興趣，更有利于后續(xù)開展的相關編程課程的學習[3]。

2? 實驗總體方案

實驗設計總體分為兩大部分，即基礎視覺識別實驗設計和拓展應用實驗設計，所有實驗設計均基于Choregraphe平臺的使用?；A視覺識別實驗中，NAO機器人使用視頻監(jiān)視器進行圖像特征信息的學習，調(diào)用Vision Reco.指令盒對已建立的圖像數(shù)據(jù)庫信息進行視覺識別。拓展應用實驗中，主要設計NAO機器人的手部抓取動作，并使用NAOMarks進行目標定位功能的實現(xiàn)。

本文的創(chuàng)新實驗設計是以學生為中心，以現(xiàn)實生活中的垃圾分類與處理問題為驅(qū)動，旨在將課堂與生活實踐聯(lián)系起來，培養(yǎng)學生對于學習人工智能課程的興趣和熱情。本文的總體實驗設計難度循序漸進、由淺入深，從目標識別到目標捕獲再到目標定位，系統(tǒng)地、全面地引導學生從理解和運用NAO向開發(fā)NAO過渡，能夠有效培養(yǎng)學生動手實踐、獨立思考的能力[4]。實驗總體設計如圖1所示。

3? 基礎視覺識別實驗

實驗通過使用Choregraphe平臺提供的Video monitor（視頻顯示器）窗口進行圖像學習。在學習過程中，實驗人員手動截取不同形狀輪廓的物體圖片模擬實際物體，之后NAO通過對學習對象進行標定，提取相應的形狀及顏色特征，將學習對象的名稱、方位存儲到數(shù)據(jù)庫中。其中，視覺學習對象為平坦且具有不同顏色和不同輪廓物體的圖片，圖片背景為無特殊花紋形狀的白色背景，以減小外界環(huán)境對于NAO的學習識別帶來的干擾，保證NAO視覺識別過程環(huán)境背景的純凈。

3.1 圖像獲取

NAO機器人擁有兩個攝像頭以實現(xiàn)視覺認知，其中，軟件開發(fā)平臺中的視頻顯示器窗口用于顯示NAO的攝像頭實時畫面和內(nèi)存信息的程序。

實驗人員利用Choregraphe平臺上提供的視覺學習工具Video monitor進行NAO機器人的圖像學習實驗，詳見圖2。實驗中，選不同類型的垃圾圖片，確保圖像清晰且有較明顯的可識別特征。在視頻顯示器窗口，NAO通過自身攝像頭對圖片經(jīng)過4s學習后，相機捕獲一張320×240分辨率的圖像[5]。NAO在學習過程中會抽取選定圖像的關鍵特征，即顏色和形狀輪廓等進行提取。實驗人員手動畫出物體圖像的形狀輪廓，對已學習圖像的名稱、方位、類別等信息進行規(guī)定并上傳數(shù)據(jù)庫。多次重復上述過程，操作NAO學習多組對象的圖片信息，建立小型圖像數(shù)據(jù)庫并存儲在計算機中。

對于不同類型的垃圾采用格式一致的命名規(guī)范——“垃圾名稱_垃圾類型”。同時按照西安現(xiàn)行的垃圾分類管理辦法簡化名稱：規(guī)定A表示廚余垃圾;B表示有害垃圾;C表示可回收垃圾;D表示其他垃圾。

3.2 色彩空間

NAO機器人的攝像頭主要支持RGB顏色空間和HSV顏色空間模型[6]，詳見圖3、圖4。

RGB模式表示像素色時，是通過改變紅、綠、藍3種顏色不同程度上的疊加比例來表示不同的顏色。但在RGB空間中沒有光照記錄外界光照變化的影響，在識別過程中，外界光照的改變會引起3個分量的變化，導致識別過程無效。

HSV空間模型能夠記錄色調(diào)、亮度和飽和度的變化。但在該色彩空間下，NAO機器人攝像頭采集圖像的時間較長，不能滿足即時識別的性能要求[7]。

為滿足實驗設計對于垃圾圖像的實時處理識別，本文采用NAO機器人攝像頭默認的RGB色彩空間模型下進行圖像學習及識別處理。為排除因光照情況不同而產(chǎn)生的識別干擾，將實驗安排在有恒定光強照射且光源照射角度相同的室內(nèi)進行。

3.3 視覺識別

實驗設計使用Choregraphe平臺的Vision Reco.指令盒，如圖5所示。該指令盒的主要功能是識別機器人已知的圖片、物體和位置。該指令盒的輸入為待識別圖像的相關特征信息，NAO通過提取圖像的形狀輪廓及顏色等特征信息進行識別分析。

識別過程中需要將之前NAO在視頻顯示器上學習的圖像信息作為視覺識別數(shù)據(jù)庫全部導出到本地計算機默認文件夾下，生成本地數(shù)據(jù)庫，再將當前的本地視覺識別數(shù)據(jù)庫上傳到NAO機器人上，最后使用Vision Reco.指令盒進行視覺識別。具體識別演示情況可見圖6。

實驗中為向?qū)W生說明NAO機器人的顏色識別方式，設計可控制變量的實驗，即在保證其他實驗條件不變的情況下，通過使用圖像編輯軟件，僅改變待識別圖像的顏色信息。讓NAO再次識別，觀察NAO并不會將錯誤顏色信息的圖像識別成為已存儲在視覺識別數(shù)據(jù)庫中的圖像。多次重復實驗后，讓學生自行結合已學理論知識進行總結驗證，提高學生的實驗操作能力。

在建立數(shù)據(jù)庫成功識別圖像的基礎上，鼓勵學生開拓思維，基于實驗開發(fā)平臺自行設計拓展應用。如使用switch case語句指令盒，實現(xiàn)NAO機器人的人機交互功能，拓展應用如圖7所示。

4? 拓展應用實驗

4.1 抓取設計

NAO機器人具有多自由度，身體關節(jié)靈活，可基于時間的編程進行動作變化。

時間軸分為動作層和行為層，在時間軸編輯器可設定關節(jié)動作?？紤]到教學過程的普適性及靈活性，通過記錄模式編輯動作進行動作設計。使用Choregraphe平臺指令盒庫中的Animation指令盒，點擊進入該指令盒后，打開時間軸編輯器，激活記錄模式，即可進行NAO動作的記錄[7]。在行為層中添加Ear LEDs指令盒，配合時間軸中的動作讓NAO的抓取動作更具活力，實驗演示見圖8。

學生在編寫行為和動作時，需要深入了解Choregraphe模塊化編程的框架搭建，提高了學生問題分析能力和邏輯思維能力。在設計NAO的手部抓取動作時，學生需要對NAO機器人控制關節(jié)的自由度、身體平衡、運動控制等相關知識背景進行深入學習，是理論聯(lián)系實際的過程，詳見圖9。

4.2 NAOMark定位

Choregraphe附帶了一個自動檢測NAOMarks 的算法，可以辨認出已定義的標志。該算法會檢測NAOMarks獨特的形狀，并根據(jù)該標記內(nèi)白色和藍色區(qū)域的大小來劃分。Nao可以把直接尋找目標物體的任務轉(zhuǎn)換成通過探測NaoMarks來間接定位目標物體[8]。其中部分標志見圖10。

本文設計的實驗中使用Mark64、Mark112、Mark130、Mark170進行識別檢測。采用長寬均為5cm的NAOMarks標志，黑色背景白色形狀。調(diào)整轉(zhuǎn)椅高為58cm，確保NAO機器人在選擇上方攝像頭后能夠完整識別到NAOMarks，見圖11。

實驗將NAOMarks標志貼在指定垃圾桶上，學生通過小組合作的形式設計實驗路線及對NAO進行運動控制，保證NAO能夠平穩(wěn)、正確地定位到垃圾桶的位置，完成垃圾回收實驗的全部過程。學生使用Choregraphe平臺進行圖形化編程，最終實現(xiàn)NAO機器人可以按照既定路線行走，并且通過編程設計識別到不同的NAOMarks標志即觸發(fā)不一樣的行為動作，指導學生團結協(xié)作，為NAO設計不同的行為指令以實現(xiàn)更多具有創(chuàng)新性的想法。

4.3 實驗結果

實驗建立起一個小型圖像數(shù)據(jù)庫，使用Vision Reco.指令盒進行視覺識別。實驗過程中保證實驗環(huán)境干凈且待學習圖像有足夠的顏色及形狀輪廓信息，確保NAO能夠識別不同垃圾圖像并進行有效分類。同時設計拓展應用實驗，在時間軸編輯器中為NAO設計手部抓取動作，使用NAOMarks算法進行定位信息處理。由于NAO手部不同位置的摩擦力不同且待抓取物體形狀大小不同，抓取精度不高，需人為輔助進行。

實驗結果表明，NAO對已建立在數(shù)據(jù)庫中的圖像特征信息采集完整度好，識別準確度高、最終能夠完整地實現(xiàn)NAO對垃圾的識別、抓取與定位垃圾桶的一系列實驗設計過程。

5? 結語

本文設計了一種基于NAO實驗平臺的垃圾回收創(chuàng)新實驗，有效聯(lián)系起高校人工智能課程的理論學習和實踐操作。該實驗涉及融合NAO機器人的視覺系統(tǒng)、自由度控制、傳感器、目標定位等多方面的理論知識，使用Choregraphe平臺對不同類型垃圾的關鍵特征進行學習，進而快速識別出垃圾類型的應用拓展，為智能機器人方面的課程教學提供一種新的思路。

學生能夠?qū)崿F(xiàn)從簡單動作的調(diào)試到自主拓展功能的開發(fā)，用自主性學習補充傳統(tǒng)課堂教學，培養(yǎng)學生主動學習的能力[9]。教學過程中不必局限于現(xiàn)有的指令模塊進行動作設計，可以更改或者書寫新的代碼實現(xiàn)需求，從而激發(fā)學生的學習興趣，提升教學內(nèi)容的教學效果[10]。讓學生熟悉圖形化指令盒的編程構建，以及機器人視覺學習和動作的控制方法，大大提高了教學效果和教學趣味性。鼓勵學生對實驗結果多次重復，培養(yǎng)學生嚴謹?shù)奶骄克季S，為后續(xù)開展的人工智能高級實驗實訓奠定良好基礎。

參考文獻

[1] 楊杰.NAO機器人對目標紅球識別與視野中心追蹤策略[J].科教導刊：電子版，2017（6）：159-160.

[2] 郭鉞.基于NAO機器人在高職人工智能機器人專業(yè)教學中的應用[J].科學大眾（科學教育），2019（4）：126.

[3] 王振，張星.NAO機器人平臺的創(chuàng)新實驗設計與實現(xiàn)[J].實驗室研究與探索，2016，35（12）：156-159.

[4] 高唯，王曉麗，李杰.基于仿人機器人相關競賽教學研究[J].信息系統(tǒng)工程，2019（10）：170-171.

[5] 王大東.NAO機器人程序設計[M].北京：清華大學出版社，2019：165-168.

[6] 梁付新，劉洪彬，張福雷，等.基于NAO機器人的目標識別方法[J].計算機工程與設計，2017（8）：2235-2239

[7] 宗鵬程.基于NAO機器人的視覺目標檢測與跟蹤[D].北京：華北電力大學，2015.

[8] 鹿天柱，羅罹，胡開亮.基于Nao機器人的撿垃圾流程及算法研究[J].電腦知識與技術，2015，11（11）：154-155.

[9] 陳小平，羅文堅.以機器人實驗為載體的實踐創(chuàng)新培養(yǎng)體系研究[J].研究生教育研究，2011（3）：48-52.

[10] 齊晶薇.以機器人教學和實驗平臺為載體培養(yǎng)大學生實踐創(chuàng)新能力[J].科技資訊，2018，16（32）：186-187.