基于機(jī)器視覺室內(nèi)定位的智能購(gòu)物車設(shè)計(jì)

林杰 孫海升 唐啟承 周成 黃奕秋 洪遠(yuǎn)泉

摘 要：針對(duì)超市傳統(tǒng)購(gòu)物車的缺陷，面向大型超市和無人售貨超市提出了基于機(jī)器視覺室內(nèi)定位的智能購(gòu)物車設(shè)計(jì)。系統(tǒng)包含自動(dòng)跟隨和智能導(dǎo)購(gòu)兩種模式，利用視覺模塊識(shí)別跟蹤AprilTag標(biāo)簽，實(shí)現(xiàn)購(gòu)物車的自動(dòng)跟隨功能;融合物聯(lián)網(wǎng)技術(shù)和機(jī)器視覺室內(nèi)定位技術(shù)實(shí)現(xiàn)購(gòu)物車的智能導(dǎo)購(gòu)功能。兩種模式配合使用，給用戶購(gòu)物帶來了極大便利，有效提升了用戶的消費(fèi)體驗(yàn)，具有較好的市場(chǎng)價(jià)值和實(shí)用價(jià)值。

關(guān)鍵詞：機(jī)器視覺;室內(nèi)定位;自動(dòng)跟隨;智能導(dǎo)購(gòu);智能購(gòu)物車;物聯(lián)網(wǎng)

中圖分類號(hào)：TP249 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2019）06-00-03

0 引 言

當(dāng)前，大多超市由于存在商品導(dǎo)購(gòu)技術(shù)落后、購(gòu)物車需要手推等問題，降低了用戶的購(gòu)物體驗(yàn)。隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，線上交易營(yíng)銷方式的沖擊導(dǎo)致實(shí)體銷售企業(yè)的發(fā)展更加艱難，迫切需要通過提供更好的購(gòu)物環(huán)境來吸引消費(fèi)者。由于技術(shù)的限制，現(xiàn)有的智能購(gòu)物車存在識(shí)別精度不高、復(fù)雜環(huán)境出錯(cuò)率較大和成本較高等問題[1]，不能在市場(chǎng)中廣泛推廣應(yīng)用。因此，提供更加便捷智能的自動(dòng)跟隨購(gòu)物車代替人工導(dǎo)購(gòu)模式，將成為現(xiàn)階段各大商店提高用戶消費(fèi)體驗(yàn)、吸引顧客愉快購(gòu)物的重要技術(shù)手段。

本文針對(duì)目前實(shí)體超市行業(yè)存在的問題，設(shè)計(jì)了一種新型智能購(gòu)物車。該購(gòu)物車采用了成本較低、識(shí)別精度較高的室內(nèi)機(jī)器視覺識(shí)別技術(shù)，配合使用AprilTag標(biāo)志能在環(huán)境復(fù)雜的超市內(nèi)完成智能導(dǎo)購(gòu)以及自動(dòng)跟隨。方便用戶選用自動(dòng)跟隨模式[2]后在解放雙手的同時(shí)帶給用戶和超市極大的便利，節(jié)約人力資源及時(shí)間成本，大大提高了實(shí)體銷售行業(yè)的競(jìng)爭(zhēng)力。

1 系統(tǒng)總體結(jié)構(gòu)

如圖1所示，STM32作為各模塊通信的橋梁，是購(gòu)物車系統(tǒng)的運(yùn)行中樞。WiFi模塊ESP8266[3]將購(gòu)物車的數(shù)據(jù)上傳和下載到云端服務(wù)器，顧客手機(jī)的APP連接云端服務(wù)器后便可實(shí)現(xiàn)購(gòu)物車與手機(jī)的通信。顯示器作為顧客與購(gòu)物車交互的一種方式，在完成手機(jī)APP已有功能的同時(shí)，還能避免用戶暫時(shí)無法使用手機(jī)而無法啟動(dòng)購(gòu)物車的情況出現(xiàn)。視覺模塊OpenMV用于識(shí)別AprilTag標(biāo)志，獲得ID和3D數(shù)據(jù)完成室內(nèi)定位和跟隨[4]，電機(jī)驅(qū)動(dòng)模塊用來控制減速電機(jī)完成車體運(yùn)動(dòng)[5]。

2 功能與設(shè)計(jì)

本文所設(shè)計(jì)的購(gòu)物車共有2個(gè)模式，分別為跟隨模式和導(dǎo)購(gòu)模式。在跟隨模式下，顧客只需在背部佩帶AprilTag標(biāo)簽，購(gòu)物車便能實(shí)時(shí)跟隨顧客，解放顧客的雙手。導(dǎo)購(gòu)模式需要在超市地板上鋪設(shè)導(dǎo)航地圖，顧客通過手機(jī)APP選擇自己需要的商品，購(gòu)物車引導(dǎo)顧客走到商品處，方便顧客尋找商品。兩種模式均通過識(shí)別AprilTag標(biāo)志讀取AprilTag的3D數(shù)據(jù)和ID。

2.1 跟隨模式設(shè)計(jì)

購(gòu)物車的跟隨模式基于AprilTag的3D定位[6]技術(shù)實(shí)現(xiàn)。通過OpenMV[7]讀取AprilTag的3D數(shù)據(jù)定位顧客與購(gòu)物車的空間位置。

如圖2所示，通過OpenMV尋找AprilTag函數(shù)就能得到AprilTag相對(duì)于OpenMV空間上的6個(gè)3D數(shù)據(jù)，分別是3個(gè)旋轉(zhuǎn)量Rx，Ry，Rz和3個(gè)坐標(biāo)Tx，Ty，Tz，用于用戶跟蹤。

跟隨模式流程如圖3所示，顧客通過手機(jī)或顯示器選擇跟隨模式，此時(shí)購(gòu)物車啟動(dòng)跟隨模式，并等待顧客輸入領(lǐng)取的AprilTagID。顧客輸入完畢后，購(gòu)物車首先識(shí)別顧客背上的ApilTagID號(hào)是否為要跟隨的ID號(hào)，以避免跟錯(cuò)。如果是，則讀取3D數(shù)據(jù)，使用Rx，Ry，Rz調(diào)整購(gòu)物車轉(zhuǎn)向，使購(gòu)物車朝向顧客;使用Tx，Ty，Tz調(diào)整顧客與購(gòu)物車的距離，使顧客與購(gòu)物車的相對(duì)位置保持不變，實(shí)現(xiàn)智能跟隨。將上述數(shù)據(jù)作為測(cè)量值與經(jīng)過試驗(yàn)測(cè)得的設(shè)定角度、距離值作為設(shè)定值代入PID算法[8]，經(jīng)PID算法使輸出值在遇到較大偏差時(shí)及時(shí)進(jìn)行調(diào)整，若偏差較小則根據(jù)累計(jì)誤差使跟隨變得更加平緩，將PID輸出值轉(zhuǎn)換成電機(jī)驅(qū)動(dòng)數(shù)據(jù)，主控板根據(jù)電機(jī)驅(qū)動(dòng)數(shù)據(jù)驅(qū)動(dòng)電機(jī)，保持顧客與購(gòu)物車的相對(duì)距離不變。

2.2 導(dǎo)購(gòu)模式設(shè)計(jì)

購(gòu)物車導(dǎo)購(gòu)模式是基于循跡[9]以及識(shí)別AprilTag的ID實(shí)現(xiàn)的。

AprilTag與QRCode均通過在一個(gè)矩陣空間中的黑色和白色方塊進(jìn)行信息表示，但由于組成QRCode的像素比AprilTag多，所以QRCode可以存儲(chǔ)上百個(gè)字節(jié)的數(shù)據(jù)，一般用來存儲(chǔ)網(wǎng)站的地址數(shù)據(jù);AprilTag存儲(chǔ)的數(shù)據(jù)一般用于識(shí)別AprilTag的ID。也正是如此，識(shí)別AprilTag的準(zhǔn)確度和抗干擾能力要比QRCode高很多，AprilTag中的TAG36H10有2 319個(gè)ID，即使是大型超市，AprilTag也有能力進(jìn)行室內(nèi)定位標(biāo)記。圖4所示為10個(gè)AprilTag及其ID號(hào)。

導(dǎo)購(gòu)模式需要在超市鋪設(shè)導(dǎo)航地圖。超市地圖如圖5所示。在超市地面上的每個(gè)轉(zhuǎn)彎口和每個(gè)貨架旁都放置一個(gè)AprilTag標(biāo)志，當(dāng)購(gòu)物車行駛到某個(gè)AprilTag標(biāo)志時(shí)，讀取其ID，從而獲悉購(gòu)物車所處位置，并根據(jù)路徑數(shù)組得到此處的AprilTag轉(zhuǎn)向指令。將相鄰兩個(gè)AprilTag標(biāo)志用黑線連接，給購(gòu)物車循跡，引導(dǎo)購(gòu)物車到下一個(gè)AprilTag標(biāo)志處。

當(dāng)顧客通過手機(jī)APP或顯示器選擇了導(dǎo)購(gòu)模式并輸入想要買的商品后，購(gòu)物車的主控板就能接收到商品信息。一個(gè)商品信息對(duì)應(yīng)一個(gè)路徑數(shù)組，路徑數(shù)組的每一個(gè)位對(duì)應(yīng)一個(gè)AprilTagID，每一位值指示到達(dá)對(duì)應(yīng)AprilTag時(shí)的轉(zhuǎn)向或停止指令。購(gòu)物車在導(dǎo)購(gòu)時(shí)，執(zhí)行黑線循跡程序，同時(shí)判斷是否檢測(cè)到AprilTag。當(dāng)檢測(cè)到AprilTag并獲得AprilTagID后，就從路徑數(shù)組中獲得對(duì)應(yīng)AprilTagID的轉(zhuǎn)向指令，根據(jù)轉(zhuǎn)向指令驅(qū)動(dòng)電機(jī)轉(zhuǎn)向，如果轉(zhuǎn)向指令為左轉(zhuǎn)，則購(gòu)物車左轉(zhuǎn);如果轉(zhuǎn)向指令為右轉(zhuǎn)，則購(gòu)物車右轉(zhuǎn)。當(dāng)檢測(cè)到停止指令時(shí)，購(gòu)物車便到達(dá)了指定地點(diǎn)并停止。至此，購(gòu)物車就完成了一段路徑的行走。導(dǎo)購(gòu)流程如圖6所示。

3 購(gòu)物車軟件設(shè)計(jì)

購(gòu)物車的交互方式如圖7所示，主要由兩種方式操控。一種是手機(jī)APP[10]控制，APP主界面如圖8所示;另一種是由購(gòu)物車上的顯示器控制，顯示器界面如圖9所示。

顧客可以使用手機(jī)連接超市的WiFi，進(jìn)入APP后便能對(duì)購(gòu)物車下達(dá)指令。也可以使用購(gòu)物車上的顯示器，選擇顯示器上的其中一種模式來操控購(gòu)物車。

3.1 手機(jī)APP設(shè)計(jì)

手機(jī)APP在Android Studio環(huán)境中開發(fā)，將云服務(wù)器和WiFi模塊作為中樞進(jìn)行數(shù)據(jù)的發(fā)送和接收，主要實(shí)現(xiàn)的功能包括跟隨模式或?qū)з?gòu)模式選擇、商品搜索、商品瀏覽等。

（1）手機(jī)APP的主界面包括智能跟隨模式界面和智能導(dǎo)購(gòu)模式界面，用戶只需根據(jù)需求或喜好點(diǎn)擊相應(yīng)的模式即可。若選擇智能導(dǎo)購(gòu)模式，則界面會(huì)出現(xiàn)輸入框，用戶在輸入框中輸入想購(gòu)買的商品并搜索，或點(diǎn)擊底部按鈕切換界面。

（2）無論選擇哪種模式，用戶都可以切換至商品界面，在該界面中，用戶可以在搜索框中輸入自己想了解或者購(gòu)買的商品，也可以瀏覽該界面下的品。

3.2 顯示器界面設(shè)計(jì)

顯示器為智能購(gòu)物車上的控制面板，用戶使用交互界面可方便快捷地操作購(gòu)物車，對(duì)購(gòu)物車提出對(duì)應(yīng)的任務(wù)要求。

（1）用戶只需點(diǎn)擊相應(yīng)圖標(biāo)即可選擇智能跟隨模式或智能導(dǎo)購(gòu)模式。

（2）顯示器交互界面顯示當(dāng)前購(gòu)物車所在區(qū)域、所購(gòu)買商品總價(jià)以及商店的商品推送，以增強(qiáng)用戶的消費(fèi)體驗(yàn)。

4 結(jié) 語

隨著物聯(lián)網(wǎng)的迅速發(fā)展，萬物聯(lián)網(wǎng)是未來的必然趨勢(shì)，無人超市等新型超市的出現(xiàn)也說明了這一點(diǎn)。本文設(shè)計(jì)的集跟隨、導(dǎo)購(gòu)于一身的智能購(gòu)物車，最大程度解決了顧客尋找商品不便的問題，同時(shí)還解決了孕婦、老人等手腳不方便的顧客難以攜帶商品等問題。與其他智能購(gòu)物車相比，本文設(shè)計(jì)的購(gòu)物車在室內(nèi)定位方面擁有成本低、精度高、適用范圍廣等優(yōu)點(diǎn)。綜上所述，本購(gòu)物車具有較高的實(shí)用價(jià)值以及較廣闊的市場(chǎng)前景。

參 考 文 獻(xiàn)

[1]何沃林.室內(nèi)場(chǎng)館無線定位智能管理系統(tǒng)的設(shè)計(jì)[J].物聯(lián)網(wǎng)技術(shù)，2017，7（12）：63-65.

[2]張偉，王橋，李莉，等.基于單片機(jī)的自動(dòng)跟隨小車[J].物聯(lián)網(wǎng)技術(shù)，2018，8（6）：62-64.

[3]王愿祥，程悅琪，孫先松.基于WiFi的無線測(cè)控終端系統(tǒng)設(shè)計(jì)[J].物聯(lián)網(wǎng)技術(shù)，2018，8（9）：23-26.

[4]姚錫欽，林燁，陳蘇陽.基于AprilTag標(biāo)記定位的自動(dòng)泊車系統(tǒng)實(shí)現(xiàn)[J].電子產(chǎn)品世界，2018，25（8）：39-42.

[5]王恒，李陳康.基于雙單片機(jī)的無刷直流電機(jī)調(diào)速系統(tǒng)的設(shè)計(jì)[J].物聯(lián)網(wǎng)技術(shù)，2015，5（12）：47-50.

[6]梅妍玭，傅榮.基于OpenMV的3D定位識(shí)別系統(tǒng)[J].新技術(shù)新工藝，2018（2）：50-52.

[7]梅妍玭，傅榮.基于OpenMV的小車定位系統(tǒng)研究[J].揚(yáng)州職業(yè)大學(xué)學(xué)報(bào)，2017，21（4）：46-48.

[8]林森，劉志東，呂慶軍.基于STM32的PID算法控制直流電機(jī)系統(tǒng)設(shè)計(jì)[J].產(chǎn)業(yè)與科技論壇，2017，16（2）：78-79.

[9]李帥男.基于STM32的循跡避障智能小車的設(shè)計(jì)[J].數(shù)字技術(shù)與應(yīng)用，2018，36（8）：163-164.

[10]張國(guó)防，白曉波，孫超.基于Android的APP開發(fā)平臺(tái)的搭建[J].通訊世界，2015（12）：68-69.