基于機(jī)器視覺的一種智能購物車

歐其勝　楊桂華

基于機(jī)器視覺的一種智能購物車

歐其勝楊桂華

（桂林理工大學(xué)機(jī)械與控制工程學(xué)院，廣西 桂林 541004）

為提升線下超市購物體驗(yàn)和購物效率，研究設(shè)計(jì)了一種基于機(jī)器視覺的智能商品識別購物車。文章提出的智能購物車是主要基于計(jì)算機(jī)視覺、UWB超寬帶定位技術(shù)、重量傳感等技術(shù)，實(shí)現(xiàn)商品識別、定位導(dǎo)購、實(shí)時(shí)記賬、便捷支付等功能的智能識別購物車。文章介紹了該購物車的系統(tǒng)設(shè)計(jì)方案、硬件和軟件設(shè)計(jì)，測試結(jié)果顯示，該系統(tǒng)可實(shí)現(xiàn)商品識別、定位導(dǎo)購、便捷支付等功能。

商品識別；智能購物車；UWB定位；STM32

引言

隨著中國“智慧城市4.0”時(shí)代的到來，以人工智能為主要技術(shù)，中國經(jīng)濟(jì)的飛速發(fā)展與智慧城市理念漸漸深入人心，人們開始追求更加智能、便捷的生活，無接觸經(jīng)濟(jì)興起。

目前我國人口基數(shù)大，傳統(tǒng)商場、超市購物流程繁瑣，時(shí)間花費(fèi)長，傳統(tǒng)購物車只停留在放置商品的功能上，整體功能過于單一，沒有探索新零售技術(shù)在購物車中的其他應(yīng)用[1]。而目前的其他智能購物車識別商品依然采用掃描條形碼進(jìn)行識別商品，且需依靠人的自主認(rèn)知及素質(zhì)，結(jié)算效率低，未能提供自主定位導(dǎo)購服務(wù)，難以滿足大量市場需求和人們對更智能、便捷的線下購物體驗(yàn)[2]。針對以上情況，本文提出一種集商品識別、定位導(dǎo)購、實(shí)時(shí)記賬、便捷支付和抗菌等功能的智能識別購物車。

1　系統(tǒng)方案設(shè)計(jì)

本項(xiàng)目提出的智能購物車主要基于計(jì)算機(jī)視覺、UWB超寬帶定位技術(shù)、重量傳感等技術(shù)，實(shí)現(xiàn)商品識別、定位導(dǎo)購、實(shí)時(shí)記賬、便捷支付等功能。該智能購物車包括主控制模塊、商品識別跟蹤系統(tǒng)、定位導(dǎo)購模塊、交互系統(tǒng)及服務(wù)器，其主要功能如下。

（1）商品識別。攝像傳感單元實(shí)時(shí)獲取圖像數(shù)據(jù)，識別模塊應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)算法（Convolutional Neural Networks，CNN）進(jìn)行商品圖像識別，并根據(jù)商品重量比對，確保識別準(zhǔn)確率。

（2）定位導(dǎo)購。定位模塊實(shí)現(xiàn)購物車位置實(shí)時(shí)定位，并將位置坐標(biāo)發(fā)送至主控制器STM32F4，控制器將坐標(biāo)發(fā)送至顯示模塊進(jìn)行顯示，消費(fèi)者可通過搜索某商品，同時(shí)控制器獲取該商品位置信息并顯示于LCD屏上。購物者通過對比購物車以及目標(biāo)商品坐標(biāo)信息確定最終的購買路線。

（3）便捷支付。消費(fèi)者需要結(jié)賬時(shí)，通過智能購物車生成支付下單請求并發(fā)送至超市服務(wù)器，超市服務(wù)器發(fā)送支付二維碼信息經(jīng)過主控制器STM32F4傳輸?shù)絃CD屏幕顯示，消費(fèi)者掃碼支付完成后，主控制器從服務(wù)器獲取支付狀態(tài)并傳輸至LCD顯示。

2　硬件設(shè)計(jì)

2.1　購物車硬件設(shè)計(jì)

本項(xiàng)目以STM32F429處理器為控制核心，Kendryte K210為識別處理器。STM32F429借助Chrom?ART Accelerator?的優(yōu)勢，支持雙層圖形的新型LCD-TFT 控制器接口，使該圖形加速器創(chuàng)建內(nèi)容的速度達(dá)到單獨(dú)使用內(nèi)核時(shí)的兩倍，LCD顯示能力相對于STM32F407有非常大的提升，這也是本項(xiàng)目選用主控制器為STM32F429的主要原因之一。智能購物車硬件系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1　硬件系統(tǒng)結(jié)構(gòu)圖

商品識別模塊將識別結(jié)果傳輸?shù)街骺刂谱鬟M(jìn)一步處理。為了提高識別速率，本項(xiàng)目將主控制器與視覺識別模塊通過USART1（PA10/PA9引腳）連接，實(shí)現(xiàn)模塊之間的串口通信。購物車與超市后臺服務(wù)器之間的無線通信采用ESP8266模塊實(shí)現(xiàn)，完成支付數(shù)據(jù)、支付狀態(tài)等信息的獲取，主控制器通過USART6（PC7/PC6引腳）與ESP8266 WIFI模塊的RXD、TXD連接。智能購物車的定位導(dǎo)購功能采用定位精度高（厘米級）、抗干擾能力強(qiáng)的UWB定位技術(shù)，UWB定位模塊將定位坐標(biāo)信息傳輸至主控制器，通過控制器的USART2（PA3/ PA2）引腳與定位模塊進(jìn)行連接，完成定位坐標(biāo)信息的接收。LCD顯示模塊通過16個(gè)并口（D0～D15引腳）連接與主控制器GPIO相連實(shí)時(shí)顯示商品信息、定位信息以及支付信息。同時(shí)為了快速獲取商品的重量信息，本項(xiàng)目采用ZXZJ壓力傳感器，承重為10 kg，精度等級B級，滯后誤差±0.015%R.O.，由主控制器通過USART3（PB11/PB10引腳）與重量傳感器（通過AD轉(zhuǎn)換器）連接。

2.2　識別模塊硬件設(shè)計(jì)

Kendryte K210是集成機(jī)器視覺的系統(tǒng)級芯片（SOC），具有RISC-V 64 位雙核處理器（CPU），擁有較好的穩(wěn)定性與可靠性，還有豐富的外設(shè)單元，如FPIOA、UART、DVP、SPI、GPIO、JTAG、PWM、OTP、I2S以及I2C等。K210每個(gè)核心內(nèi)置獨(dú)立FPU，其包含一個(gè)國內(nèi)自主研發(fā)的神經(jīng)網(wǎng)絡(luò)硬件加速器KPU，其AI算力高達(dá)0.8 TFLOPS，用于高性能計(jì)算卷積人工神經(jīng)網(wǎng)絡(luò)，集成卷積、歸一化、激活以及池化等神經(jīng)網(wǎng)絡(luò)運(yùn)算單元[3]。

視覺識別模塊硬件連接圖如圖2所示。為實(shí)時(shí)捕獲視頻流中的圖像數(shù)據(jù)，本模塊采用OV7740高清攝像頭CMOS傳感器，通過K210芯片的DVP（Digital Video Port）數(shù)字視頻接口與K210連接，K210芯片通過SCCB串行攝像控制總線協(xié)議配置攝像頭寄存器，DVP將OV7740(60FPS)捕獲的圖像數(shù)據(jù)輸出至KPU。為了存儲更大的 KMODEL 識別模型，本項(xiàng)目采用擴(kuò)展MicroSD卡的形式，KendryteK210通過串行外設(shè)接口（SPI）連接擴(kuò)展MicroSD卡。K210串行外設(shè)接口有4組SPI接口，本項(xiàng)目采用K210的串行外設(shè)接口3（SPI3）進(jìn)行連接擴(kuò)展MicroSD卡。K210作為識別模塊處理器，只負(fù)責(zé)商品的檢測識別，通過異步收發(fā)器UART3連接STM32F4進(jìn)行串口通信，實(shí)現(xiàn)商品識別結(jié)果的發(fā)送，將識別信息傳輸至主控制器。K210的UART支持自由引腳映射功能，使用FM來對芯片引腳進(jìn)行映射和管理，將PIN35設(shè)置為UART3的發(fā)送引腳，PIN35設(shè)置為UART3的接收引腳。

圖2　識別模塊硬件連接圖

2.3　定位模塊硬件設(shè)計(jì)

定位模塊由MCU STM32F103和DWM1000模塊組成，應(yīng)用于定位基站以及購物車定位標(biāo)簽。DWM1000模塊是基于Decawave公司DW1000芯片設(shè)計(jì)的超寬帶收發(fā)模組。該模塊可用在TWR或TDOA定位系統(tǒng)中，定位目標(biāo)精度小于10 cm；并且該模塊最高支持6.8 Mbps的數(shù)據(jù)傳輸率，DWM1000板上搭載的DW1000芯片，是基于CMOS的、低功耗的的無線收發(fā)集成電路，遵循802.15.4-2011[1]協(xié)議中的 UWB 標(biāo)準(zhǔn)的芯片，模塊上包含了天線、無線通訊模塊以及相關(guān)電路[4]。

STM32F103與DWM1000模塊通過SPI通信連接，DWM1000模塊的SPI_CLK、SPI_MISO、SPI_MISI、SPI_Csn、IRQ、RESET引腳分別于STM32F103的A5、A6、A7、A4、B5、B15引腳相連，基站采用單獨(dú)電源供電。

3　軟件設(shè)計(jì)

3.1　商品識別算法

商品識別包括視覺識別、商品重量識別。第一步是商品的粗判斷，由視覺識別模塊進(jìn)行商品圖像的識別。第二步是商品的精確判斷，視覺識別模塊將識別結(jié)果發(fā)送至STM32主控制模塊，STM32主控制模塊從車載SD卡獲取該商品重量信息并與重力傳感器所測重量進(jìn)行誤差范圍比對，比對成功，則STM32主控模塊將最終的商品識別結(jié)果以及其信息發(fā)送至LCD顯示模塊。同理當(dāng)商品從購物車內(nèi)拿出，由識別模塊識別，再與重量傳感器減少的重量值進(jìn)行比對，得到取出商品的具體信息，由STM32處理后，將結(jié)果發(fā)送給LCD顯示模塊。

本文提出的商品視覺識別是基于CNN算法的一種商品圖像識別系統(tǒng)，利用圖像邊緣計(jì)算能帶來更快速的響應(yīng)服務(wù)和更優(yōu)質(zhì)的實(shí)時(shí)業(yè)務(wù)體驗(yàn)[5]。商品識別系統(tǒng)流程圖如圖3所示。

圖3　商品識別系統(tǒng)流程圖

首先通過高清攝像頭采集每種商品上百張不同角度原始商品圖片數(shù)據(jù)作為數(shù)據(jù)集制作，預(yù)處理數(shù)據(jù)集為目標(biāo)分辨率（將原始商品圖片轉(zhuǎn)換成224×224像素大?。?，圖像數(shù)據(jù)集依照TFRecord數(shù)據(jù)集格式構(gòu)建，通過VOTT標(biāo)記工具進(jìn)行目標(biāo)圖像區(qū)域標(biāo)記，商品識別神經(jīng)網(wǎng)絡(luò)模型采用TensorFlow深度學(xué)習(xí)框架進(jìn)行訓(xùn)練，得到多次迭代后保存的訓(xùn)練權(quán)重識別模型，最終導(dǎo)出可以被K210硬件平臺直接識別的Kmodel格式商品識別模型文件[6]。然后將訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型存放于SD文件系統(tǒng)，K210控制芯片利用購物車上搭載的攝像頭（OV7740）進(jìn)行實(shí)時(shí)捕獲并將捕獲的圖像數(shù)據(jù)直接傳輸至神經(jīng)網(wǎng)絡(luò)處理器KPU，KPU神經(jīng)網(wǎng)絡(luò)處理器通過加載并運(yùn)行商品識別模型，進(jìn)行快速卷積、批歸一化、激活以及池化等卷積神經(jīng)網(wǎng)絡(luò)運(yùn)算，完成商品視覺識別任務(wù)。最后將識別結(jié)果通過串口發(fā)送至主控制器STM32。主控制器接收到識別模塊發(fā)送的識別結(jié)果時(shí)，等待重力傳感器發(fā)送新的重量信息進(jìn)行差運(yùn)算，得出此時(shí)放入的商品重量，將該商品理想的重量信息與計(jì)算得出的重量信息進(jìn)行比對（指定誤差范圍內(nèi)），判斷商品類別。同時(shí)主控制器獲取購物車內(nèi)新總重量信息進(jìn)行差運(yùn)算，當(dāng)放入新的商品，利用差值得出該商品重量為正值，同理當(dāng)從購物車內(nèi)取出商品，利用差值得到該商品的重量為負(fù)值，進(jìn)而判斷商品是放入還是取出。

3.2　UWB定位導(dǎo)購算法

目標(biāo)商品定位采用基于到達(dá)時(shí)間差TDOA算法的UWB定位技術(shù)。UWB定位模塊實(shí)獲取定位購物車位置，主控制器獲取目標(biāo)商品位置并將購物車及目標(biāo)商品位置坐標(biāo)發(fā)送至顯示模塊。

UWB定位模塊包括MCU（STM32f103）和DWM1000射頻模塊。UWB室內(nèi)定位系統(tǒng)組成包括標(biāo)簽（購物車）、基站和定位服務(wù)器三部分[7]。UWB定位原理如圖4所示。標(biāo)簽到達(dá)兩個(gè)傳感器的距離（傳輸速度與到達(dá)時(shí)間差之積為c×?t）之差可以確定一條雙曲線，四個(gè)傳感器就可以確定兩條雙曲線，這兩條雙曲線的交點(diǎn)就是待定位標(biāo)簽的位置坐標(biāo)。

式（1）中，(x, y)是待定位標(biāo)簽的位置，(x1, y1)是已知基站1的位置，(x2, y2)是已知基站2的位置，同理通過基站3和基站4求出購物車位置，通過6組位置求均值，減少定位誤差。

本項(xiàng)目采用4基站布置在超市四個(gè)角落，有兩個(gè)基站分別布置在出入口（出口基站連接定位服務(wù)器），為提高定位精度，使基站與購物車于同一水平高度。UWB基站布置圖如圖5所示。

圖5　UWB基站布置圖

3.3　購物結(jié)算

為從根本上解決超市排隊(duì)結(jié)帳購物結(jié)賬擁擠等問題，本項(xiàng)目采用購物車電子支付，實(shí)現(xiàn)快速結(jié)算功能。本項(xiàng)目的電子支付功能通過調(diào)用微信API進(jìn)行訂單支付[8]，購物車通過LCD顯示支付二維碼和支付狀態(tài)。具體過程如下。

當(dāng)顧客在購物車上創(chuàng)建訂單后，購物車系統(tǒng)將創(chuàng)建訂單請求發(fā)送給超市后臺服務(wù)器，超市服務(wù)器通過當(dāng)前系統(tǒng)時(shí)間生成1個(gè)唯一訂單號，并存儲至數(shù)據(jù)庫中。為防止訂單發(fā)生串單，設(shè)置1個(gè)設(shè)備在同一時(shí)間只能設(shè)置1個(gè)訂單。創(chuàng)建訂單后，超市服務(wù)器向微信發(fā)送下單支付請求，成功后微信將返回支付二維碼信息。支付系統(tǒng)記錄當(dāng)前支付狀態(tài)后，發(fā)送結(jié)果和二維碼信息到購物車主控STM32，購物車通過LCD屏輸出支付二維碼顯示給顧客進(jìn)行支付。在顯示二維碼后，購物車將不斷詢問服務(wù)器訂單是否完成支付，若訂單狀態(tài)為未完成時(shí)，將詢問支付平臺的支付狀態(tài)，并將支付結(jié)果返回至購物車。同時(shí)支付平臺也會在顧客支付成功后將支付結(jié)果傳輸給超市服務(wù)器，服務(wù)器將處理數(shù)據(jù)寫入數(shù)據(jù)庫中。訂單創(chuàng)建及支付流程圖如圖6所示。

圖6　訂單創(chuàng)建及支付流程圖

3.4　人機(jī)交互

人機(jī)交互模塊主要由LCD觸摸交互屏實(shí)現(xiàn)，在購物車推手欄上安置一個(gè)電子式交互屏幕，輔助購物車實(shí)現(xiàn)商品導(dǎo)購、宣傳、商品結(jié)賬等一系列功能，人機(jī)交互界面如圖7所示。主控制器實(shí)時(shí)獲取購物車位置信息并顯示于LCD屏超市地圖中，當(dāng)消費(fèi)者通過搜索欄輸入類別或商品名稱查找某商品，主控制STM32獲取該商品的價(jià)格、位置、生產(chǎn)日期等信息。當(dāng)消費(fèi)者點(diǎn)擊該商品，STM32將該類商品的坐標(biāo)信息發(fā)送至LCD顯示模塊的超市地圖中，消費(fèi)者可以通過兩個(gè)位置坐標(biāo)確定最終購買路線，當(dāng)其到達(dá)指定商品位置附近，提示已到達(dá)指定位置附近等提示信息。當(dāng)商品被放入至購物車中，主控制器將其價(jià)格、數(shù)量發(fā)送至LCD進(jìn)行顯示，并顯示所購總價(jià)，購物者可以對消費(fèi)數(shù)據(jù)一目了然[9]。當(dāng)購物者點(diǎn)擊結(jié)賬時(shí)，STM32通過無線模塊發(fā)送下單請求和接收支付二維碼信息，并將支付二維碼發(fā)送至LCD顯示，當(dāng)購物者通過微信付款后，顯示“支付成功”和“歡迎下次光臨”等問候語。

圖7　人機(jī)交互界面

4　系統(tǒng)測試

經(jīng)過測試，該購物車可以實(shí)現(xiàn)商品識別、定位導(dǎo)購和便捷支付等功能。在商品識別方面本項(xiàng)目只采用100種商品分類檢測，在此條件下識別功能表現(xiàn)良好，雖識別效率稍有延遲，但識別準(zhǔn)確率比較高。識別速度的快慢與訓(xùn)練的識別模型和處理器運(yùn)算能力有較大的聯(lián)系。在定位導(dǎo)購方面，因沒有過多物體阻擋，定位精度達(dá)到預(yù)期要求，若布置于商場中，定位精度會略有降低。在搜索某商品時(shí)，該購物車能成功顯示商品相關(guān)信息以及位置坐標(biāo)于LCD上，定位精度良好。當(dāng)商品處于購物車中上方，視覺識別模塊進(jìn)行識別商品，在商品放入購物車底部，根據(jù)重力傳感器所測重量進(jìn)行檢驗(yàn)，并能將結(jié)果發(fā)送至LCD進(jìn)行顯示。當(dāng)點(diǎn)擊賬單結(jié)算后，LCD成功顯示微信支付二維碼，完成支付后顯示支付成功。

5　結(jié)束語

論文基于STM32和計(jì)算機(jī)視覺設(shè)計(jì)的智能購物車可以實(shí)現(xiàn)商品識別、定位、便捷支付功能，在理想的條件下可以實(shí)現(xiàn)一定速度的商品識別，系統(tǒng)整體功能表現(xiàn)良好。識別模塊處理器對識別速率有一定的影響，在后續(xù)的發(fā)展中，可根據(jù)需要采用AI算力更大的處理器，實(shí)現(xiàn)識別效率的提升。該型購物車具有功能豐富、功能模塊化、響應(yīng)速度快、性價(jià)比高等優(yōu)勢，采用的模塊化方案便于實(shí)現(xiàn)模塊的更換，實(shí)現(xiàn)購物車各功能的升級。

[1]王博毅，張河，趙明偉，等. 基于單片機(jī)設(shè)計(jì)的Smart Buy 智能購物車[J]. 電子世界，2019(17): 175-176.

[2]劉雪，徐永進(jìn)，秦雪雪. 基于單片機(jī)控制的智能購物車系統(tǒng)研究[J]. 河北農(nóng)機(jī)，2020(3): 35.

[3]蔣達(dá)央. 基于卷積神經(jīng)網(wǎng)絡(luò)的商品圖像識別系統(tǒng)設(shè)計(jì)[J]. 北京工業(yè)職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2021，20(3): 28-31.

[4]張志山. 基于UWB的人員跟蹤定位系統(tǒng)的設(shè)計(jì)[J]. 電子世界，2020，10(3): 155-156.

[5]方梓鋒，張鋒. 基于K210和YOLOv2的智能垃圾分類平臺[J]. 自動(dòng)化與儀表，2021，36(8): 102-106.

[6]王浩. 基于K210芯片的KPU硬件加速人臉檢測應(yīng)用系統(tǒng)設(shè)計(jì)[J]. 辦公自動(dòng)化，2021，26(11): 58-59，39.

[7]黃佳鑫，王民慧. 基于UWB技術(shù)的定位算法設(shè)計(jì)[J]. 智能計(jì)算機(jī)與應(yīng)用，2020，10(11): 137-143.

[8]邵華梅，汪志成，徐麗琴，等. 基于STM32的散裝食品自動(dòng)售貨機(jī)設(shè)計(jì)[J]. 機(jī)械制造與自動(dòng)化，2021，50(3): 220-223.

[9]龍正江，劉麗華，林力，等. 基于物聯(lián)網(wǎng)可交互超市智能購物車設(shè)計(jì)[J]. 遼寧科技學(xué)院學(xué)報(bào)，2019，21(3): 17-18.

An Intelligent Shopping Cart Based on Machine Vision

In order to improve the shopping experience and shopping efficiency of offline supermarkets, an intelligent commodity recognition shopping cart based on machine vision is studied and designed. The intelligent shopping cart proposed in this paper is mainly based on computer vision, UWB ultra wideband positioning technology, weight sensing and other technologies to realize the intelligent identification shopping cart with the functions of commodity identification, positioning and shopping guide, real-time bookkeeping, convenient payment and so on. This paper introduces the system design scheme, hardware and software design of the shopping cart. The test results show that the system can realize the functions of commodity identification, positioning and shopping guide, convenient payment and so on.

commodity identification; smart shopping cart; UWB positioning; STM32

TP249

A

1008-1151(2022)02-0009-04

2021-09-15

廣西壯族自治區(qū)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目（202110596194）；廣西高等教育本科教學(xué)改革工程項(xiàng)目（2021JGA198）。

歐其勝，男，桂林理工大學(xué)機(jī)械與控制工程學(xué)院學(xué)生，研究方向?yàn)闄C(jī)械電子工程。

楊桂華，女，桂林理工大學(xué)機(jī)械與控制工程學(xué)院副教授，研究方向?yàn)橛?jì)算機(jī)檢測與控制方向。