基于OpenMV的特征辨識跟隨機器人控制系統(tǒng)設(shè)計

肖嘯天 孫明曉 王博 欒添添

摘要：為了讓人在超市等公共場合解放雙手，減輕負(fù)重，設(shè)計一種基于OpenMV視覺攝像頭模塊的具有特征辨識功能的智能跟隨機器人。在自主跟隨模式下，系統(tǒng)通過識別AprilTag來確定被跟隨目標(biāo)與跟隨機器人的相對位置坐標(biāo)，運用PID算法來規(guī)劃系統(tǒng)的跟隨路徑，通過調(diào)用PWM脈寬調(diào)制控制左右電機的轉(zhuǎn)速，達到跟隨的效果。在遙控模式下，跟隨機器人可以被上位機遙控，借助應(yīng)用程序向系統(tǒng)發(fā)送特定的字符串，遙控跟隨機器人系統(tǒng)進退、轉(zhuǎn)動等。該設(shè)計的實現(xiàn)能夠有效減輕人的負(fù)重，提高運載效率。

關(guān)鍵詞：OpenMV視覺傳感器；控制系統(tǒng)；AprilTag識別；跟隨機器人

中圖分類號：TP273 ? ?文獻標(biāo)識碼：A

文章編號：1009-3044（2023）06-0015-03

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）

0 引言

互聯(lián)網(wǎng)和人工智能的飛速發(fā)展推動了機器人技術(shù)的高速發(fā)展。機器人視覺跟隨技術(shù)作為應(yīng)用非常廣泛且實用的關(guān)鍵技術(shù)越來越受到重視。視覺跟蹤機器人[1]模仿了生物行為，使機器人可以通過傳感器獲取外界信息通過計算做出相應(yīng)的判斷使得機器人更加智能化，雙?？刂芠2]可以更好地面對復(fù)雜環(huán)境，使機器人可以處理更加復(fù)雜的問題[3]。

國外的跟隨機器人發(fā)展較早，已有相對成熟的應(yīng)用，現(xiàn)如今私人貨物運輸機器人Gita和沃爾瑪購物車Budgee的應(yīng)用，都為勞累的人們提供了便捷的服務(wù)。本質(zhì)上，它們都是具有識別定位和跟隨功能的移動機器人。在國內(nèi)上海交通大學(xué)設(shè)計的具有高性能和低功耗的優(yōu)點移動跟隨機器人代表著國內(nèi)的領(lǐng)先水平。黃夢雨的零轉(zhuǎn)徑跟隨機器人控制系統(tǒng)設(shè)計，實現(xiàn)了用超寬帶定位技術(shù)實現(xiàn)機器人的跟隨服務(wù)功能，面對復(fù)雜環(huán)境的能力還有待增強。徐軍設(shè)計的雙?？刂聘S機器人，可以較好地實現(xiàn)跟隨行走和雙?？刂啤１疚南鄬τ谏鲜龅臋C器人而言，在雙?？刂频幕A(chǔ)上，采用PWM控制進行位置跟隨，電機調(diào)速通過PWM控制，占空比不同，輸出模擬電壓的平均值不同，由此來控制電機實現(xiàn)調(diào)速[4]。可以更好地應(yīng)對復(fù)雜環(huán)境，識別精度也可有一定程度的提高。主要從以下四方面展開：

（1）使用搭載OV7725攝像頭的OpenMV視覺傳感器模塊來采集圖像信息，同時將圖像信息上傳給主控芯片；（2）系統(tǒng)的微控制器是STM32F765，為了提高識別目標(biāo)人物的速率，確保系統(tǒng)的實時性，CPU在獲取到圖像信息后，調(diào)用PID算法[5]，設(shè)計跟隨路徑，運動平臺在獲取到跟隨路徑后穩(wěn)定跟隨目標(biāo)人物；（3）使用Wi-Fi模塊的AT指令作為連接PC機與跟隨機器人系統(tǒng)的橋梁，實現(xiàn)數(shù)據(jù)高速、穩(wěn)定地傳輸；（4）自主跟隨模式與遙控模式之間可以自由切換，確保整個系統(tǒng)的高效性、穩(wěn)定性、安全性。

1 硬件總體設(shè)計

本方案主要設(shè)計思路是目標(biāo)跟隨機器人系統(tǒng)結(jié)構(gòu)模塊化設(shè)計，包括視覺感知模塊[6]、機器人行走模塊、動態(tài)路徑規(guī)劃部分、Wi-Fi模塊部分、電源部分、報警部分。系統(tǒng)的總體框圖如圖1所示。

系統(tǒng)采用雙?？刂?，系統(tǒng)的核心部分是視覺感知部分和運動平臺部分，通過OV7725攝像頭找到跟隨目標(biāo)，OpenMV將相對的位置信息整合，并將此信息傳輸給STM32F，MCU[7]通過對相對位置信息的計算，得到準(zhǔn)確的跟隨路徑。同時，也可使用Wi-Fi模塊實現(xiàn)聯(lián)網(wǎng)的效果，通過PC機應(yīng)用程序控制機器人的運動。

2 軟件總體設(shè)計

2.1 系統(tǒng)的軟件總體框圖

對于整個跟隨機器人的控制系統(tǒng)來說，整個系統(tǒng)的軟件設(shè)計包括視覺傳感器，Wi-Fi模塊，電機驅(qū)動模塊以及PC的應(yīng)用程序的設(shè)計和編寫。系統(tǒng)總體軟件設(shè)計流程圖如圖2所示。

2.2 視覺傳感器

OpenMV視覺傳感器模塊[8]對于整個跟隨機器人控制系統(tǒng)來說是最為主要的模塊之一，它為整個系統(tǒng)提供了識別與跟隨的功能。當(dāng)視野內(nèi)出現(xiàn)AprilTag時，程序會將AprilTag的四周使用紅色的線框起來，并在AprilTag的中心畫一個綠色的十字。同時，在OpenMV IDE的調(diào)試輸出集成串行端口會輸出AprilTag對應(yīng)的ID和空間位置（六個自由度，三個位置，三個角度）。之后可以通過相對位置的輸出，來計算AprilTag和系統(tǒng)之間的實際距離。輸出3D坐標(biāo)信息的程序與運行結(jié)果如圖3所示。

2.3 電機驅(qū)動

跟隨功能作為系統(tǒng)的基本功能之一，也是跟隨機器人設(shè)計的核心部分。

電機驅(qū)動模塊上電之后，主要是受到來自O(shè)penMV3的四個GPIO引腳的控制。與此同時，電機驅(qū)動模塊的四個引腳驅(qū)動兩個電機的轉(zhuǎn)動速度。先在電機驅(qū)動模塊中配置好兩個驅(qū)動的正反轉(zhuǎn)，當(dāng)速度大于零時，電機正轉(zhuǎn)，速度小于零時，電機反轉(zhuǎn)。對于系統(tǒng)來說，左右輪胎的距離PID應(yīng)該是一樣的，方向PID是相反的。左輪的速度是距離PID減方向PID，右輪的速度是距離PID加方向PID。

2.4 Wi-Fi 模塊

ESP8266-01在上電后初始化Wi-Fi模塊，應(yīng)用程序（PC機）連接AP熱點后，可以通過串口通信發(fā)送指定的字符串，控制跟隨機器人前后左右地移動。

在OpenMV IDE上使用Python語言配置模塊。通過AT+RST指令重啟模塊。AT+CWMODE=2指令設(shè)置Wi-Fi模塊為AP熱點模式，也就是把ESP-01看作是TCP服務(wù)器，等待TCP客戶端的接入ESP-01的服務(wù)器。AT+CWSAP="OPEN"，"123456789"，6，4指令將熱點名稱設(shè)置為OPEN，密碼設(shè)置為123456789。再使用AT+CIPMUX=1指令啟動多連接模式，允許多個客戶端連接這個AP熱點。AT+CIPSERVER=1，8080指令建立TCP服務(wù)器，端口為8080端口。最后使用AT+CIFSR指令查詢一下服務(wù)器的IP地址和端口號。各個AT指令寫入后，接收到OK，則表示模塊配置成功。

2.5 PC的應(yīng)用程序編寫與設(shè)計

應(yīng)用程序的設(shè)計在Visual Studio 2019上創(chuàng)建一個MFC項目[9]，可使用該應(yīng)用程序?qū)崿F(xiàn)與OpenMV3數(shù)據(jù)和字符串的傳輸。

MFC提供兩類支持編寫Web的應(yīng)用程序。類CAsyncSocket封裝一個的Windows套接字API，提供高級的網(wǎng)絡(luò)程序員這種大多數(shù)功能和靈活性。為了實現(xiàn)系統(tǒng)的遙控功能，要先對PC機的應(yīng)用程序的功能進行調(diào)試。

3 調(diào)試過程與測試結(jié)果

3.1 識別與跟隨調(diào)試

跟隨機器人的設(shè)計采用雙?？刂?，在自主跟隨模式下，系統(tǒng)可以實現(xiàn)準(zhǔn)確的識別和穩(wěn)定的跟隨，在遙控模式下，可通過PC機（應(yīng)用程序）實現(xiàn)靈活的遙控移動。具體實物圖如圖4所示。

對于對目標(biāo)的識別，用2D條形碼AprilTag。主控制器根據(jù)獲取到的目標(biāo)三維坐標(biāo)信息，調(diào)用差速算法，驅(qū)動電機運動，使機器人跟隨目標(biāo)行走。機器人速度由目標(biāo)的X軸坐標(biāo)和Z軸坐標(biāo)確定。

[VL=KcZ-Z0-X-X0]? ? ? ? ? ?（1）

[VR=KcZ-Z0+X-X0]? ? ? ? ? ?（2）

式中：[VL]左輪速度標(biāo)量，[VR]右輪速度標(biāo)量，[Kc]為速度系數(shù)[Z0]為[Z]軸跟隨閾值，[X0]為[X]軸偏移量。

具體的使用過程如下，首先在OpenMV IDE中編寫好對應(yīng)程序的代碼。然后將打開的腳本保存到OpenMV Cam（作為main.py），執(zhí)行此操作便于以后跟隨機器人的脫機運行，保存成功后，可以在F盤里重命名保存的腳本文件。然后將OpenMV3 Cam M7連接上，如果此時OpenMV3 Cam無響應(yīng)，則可能是Windows上的串口驅(qū)動程序崩潰。最后運行OpenMV IDE里的腳本程序。在脫機運行時，OpenMV3可以自動運行RAM或SD卡里的main.py程序。

對于系統(tǒng)來說，左右輪胎的距離PID是一樣的，方向PID是相反的。

在確保各模塊已接好的前提下，把鋰電池接入系統(tǒng)，為系統(tǒng)的所有模塊供電。跟隨機器人系統(tǒng)可以完成跟隨和遙控功能，說明整個系統(tǒng)調(diào)試成功。

3.2 遙控功能的調(diào)試

遙控功能涉及了串口通信，以及Wi-Fi轉(zhuǎn)串口的問題，通過由MFC項目創(chuàng)建的應(yīng)用程序，可以接受或發(fā)送字符串。通過OpenMV IDE上傳到OpenMV3，PC機連接Wi-Fi模塊產(chǎn)生的熱點。打開應(yīng)用程序，接入對應(yīng)的IP地址的端口號，連接成功后，將遙控程序上傳到OpenMV3。通過點擊應(yīng)用程序頁面的前進、后退、左轉(zhuǎn)、右轉(zhuǎn)和停止按鍵控制系統(tǒng)的運動，也可以使用電腦上的上下左右鍵來控制。遙控功能的調(diào)試程序與測試圖如圖5所示。

4 結(jié)語

本文設(shè)計一種基于OpenMV機器視覺攝像頭模塊的具有人物特征辨識功能的智能可跟隨人物的機器人，且機器人具有辨識度高、成本低、操作便捷、安全性高等優(yōu)點。實現(xiàn)了以下功能：

（1）可以識別并跟隨目標(biāo)。

（2）運動平臺獲取目標(biāo)位置信息，設(shè)計跟隨算法，使用PID調(diào)節(jié)，使系統(tǒng)穩(wěn)定跟隨。

（3）存儲空間與系統(tǒng)空間結(jié)構(gòu)設(shè)計互不干擾，保證系統(tǒng)的魯棒性。

（4）手機端App與系統(tǒng)無線連接，在Wi-Fi模塊的SDK基礎(chǔ)上二次開發(fā)，具有高效透傳性能。

參考文獻：

[1] 黃夢雨，秦建軍，高磊，等.基于UWB的零轉(zhuǎn)徑跟隨機器人控制系統(tǒng)設(shè)計[J].重慶理工大學(xué)學(xué)報（自然科學(xué)），2019，33（9）：142-150.

[2] 徐軍，楊雄，陳怡佳，等.一種雙模控制的自主跟隨機器人系統(tǒng)設(shè)計[J].自動化儀表，2018，39（3）：48-51.

[3] Roy A，Noel M M.Design of a high-speed line following robot that smoothly follows tight curves[J].Computers & Electrical Engineering，2016，56：732-747.

[4] 羅琴.基于Arduino的避障小車設(shè)計與實現(xiàn)[J].黑龍江科學(xué)，2017，8（20）：24-25.

[5] 徐敏.基于ARM的移動機器人控制系統(tǒng)設(shè)計[J].電腦知識與技術(shù)，2008，4（35）：2356-2358.

[6] 劉暢.基于Android的無線遙控移動機器人[J].電腦知識與技術(shù)，2018，14（30）：35-36.

[7] 王典洪，孫蒙，黃小輝，等.基于單片機及傳感器的機器人設(shè)計與實現(xiàn)[J].微計算機信息，2007，23（8）：246-247，275.

[8] 張亞斌.基于ROS的輪式移動機器人行人目標(biāo)視覺感知與跟隨系統(tǒng)研究[D].徐州：中國礦業(yè)大學(xué)，2019.

[9] 王彬.基于改進核相關(guān)濾波算法的跟隨機器人設(shè)計與實現(xiàn)[D].杭州：浙江大學(xué)，2018.

【通聯(lián)編輯：梁書】