基于嵌入式設(shè)備的超市蔬果結(jié)算儀

暨若昀

（東北大學(xué)秦皇島分?？刂乒こ虒W(xué)院，河北 秦皇島 066003）

0 引言

目前，水果蔬菜等商品的售賣(mài)，大多數(shù)商場(chǎng)和百貨商店仍然采用店員手動(dòng)輸入商品編碼的方式計(jì)算出蔬果總價(jià)，然后貼上條形碼，再去到收銀臺(tái)統(tǒng)一結(jié)賬[1]。

一方面，傳統(tǒng)的人工稱(chēng)重采用人工記錄價(jià)格、排隊(duì)稱(chēng)重等方式，在購(gòu)買(mǎi)人數(shù)較多時(shí)效率很低，存在人力物力的浪費(fèi)，極大降低了顧客的購(gòu)物體驗(yàn)。另一方面，傳統(tǒng)商場(chǎng)以及大型的百貨商店依然延續(xù)人工清點(diǎn)、人工柜面支付等模式，在交易量較大時(shí)商家管理效率十分低下。

目前來(lái)看，現(xiàn)階段人工智能技術(shù)主要是在GPU平臺(tái)上進(jìn)行，在現(xiàn)實(shí)應(yīng)用場(chǎng)景中，配備了GPU的設(shè)備價(jià)格較為昂貴。本系統(tǒng)結(jié)合物聯(lián)網(wǎng)技術(shù)和深度學(xué)習(xí)技術(shù)在嵌入式平臺(tái)jetson nano上進(jìn)行實(shí)現(xiàn)，其體積小，性能優(yōu)越，部署方便的優(yōu)點(diǎn)適用于超市或商場(chǎng)的靈活應(yīng)用場(chǎng)景。

1 系統(tǒng)整體方案

本文基于購(gòu)物交易的一般環(huán)節(jié)，提取出顧客與商家兩類(lèi)用戶(hù)。對(duì)于顧客來(lái)說(shuō)，較慢的交易速度勢(shì)必降低其購(gòu)物體驗(yàn)；對(duì)于商家來(lái)說(shuō)，在管理個(gè)人店鋪時(shí)，存在商品量大、交易量大、客戶(hù)量大的問(wèn)題，導(dǎo)致無(wú)法有效對(duì)銷(xiāo)量、收益、商品進(jìn)行實(shí)時(shí)地管理與監(jiān)控[2]。

面向顧客，本系統(tǒng)結(jié)合物聯(lián)網(wǎng)技術(shù)、YOLOv4算法的圖像識(shí)別技術(shù)，并使用了性能強(qiáng)大的小型嵌入式開(kāi)發(fā)板jetson nano和單片機(jī)開(kāi)發(fā)板Arduino uno，顧客在微信小程序上即可獲取訂單進(jìn)行支付，為顧客打造了購(gòu)物時(shí)無(wú)人收銀、智能稱(chēng)重結(jié)算的購(gòu)物新體驗(yàn)。

面向商家，本系統(tǒng)設(shè)計(jì)出以數(shù)據(jù)為基礎(chǔ)的管理端，在線實(shí)時(shí)地監(jiān)控商品銷(xiāo)量、商品效益、商品信息等數(shù)據(jù)。

本系統(tǒng)的工作流程是：顧客預(yù)先將選購(gòu)的商品放上電子稱(chēng)，利用稱(chēng)重模塊自動(dòng)稱(chēng)得商品的質(zhì)量，通信模塊獲取質(zhì)量數(shù)據(jù)，并將該數(shù)據(jù)傳輸?shù)絡(luò)etson nano，jetson nano一方面接收該質(zhì)量數(shù)據(jù)，另一方面基于YOLOv4算法對(duì)商品進(jìn)行精準(zhǔn)預(yù)測(cè)，經(jīng)過(guò)數(shù)據(jù)分析與處理，將識(shí)別結(jié)果和質(zhì)量數(shù)據(jù)上傳至服務(wù)器。接著，服務(wù)器對(duì)其進(jìn)行邏輯處理，并將封裝的對(duì)象數(shù)據(jù)保存在數(shù)據(jù)庫(kù)中，便于后續(xù)用戶(hù)對(duì)訂單信息的獲取。用戶(hù)通過(guò)登錄微信小程序，點(diǎn)擊獲取訂單便可以支付，此外，還可以查看相關(guān)信息，例如，已支付信息、未支付信息、商品單價(jià)等[3]。

本文將研究并實(shí)現(xiàn)基于jetson nano嵌入式設(shè)備的蔬果結(jié)算儀，系統(tǒng)主要分為硬件部分、小程序部分、Web管理端部分。算法上選擇的是卷積神經(jīng)網(wǎng)絡(luò)YOLOv4，通過(guò)對(duì)數(shù)據(jù)集的訓(xùn)練與測(cè)試，實(shí)現(xiàn)對(duì)百貨商店蔬果的精準(zhǔn)識(shí)別與云端結(jié)算。

2 系統(tǒng)設(shè)計(jì)

2.1 硬件平臺(tái)介紹

本系統(tǒng)劃分了6個(gè)模塊，分別是：稱(chēng)重模塊、通信模塊、物體檢測(cè)識(shí)別模塊、服務(wù)器數(shù)據(jù)庫(kù)模塊、顧客小程序模塊，商家Web管理模塊。

（1）稱(chēng)重模塊。稱(chēng)重模塊主要包括稱(chēng)重傳感器、HX711模塊、arduino uno主控模塊、lcd1602顯示屏模塊，稱(chēng)得商品的質(zhì)量，并顯示在lcd1602屏上。

（2）通信模塊。通信模塊主要包括esp8266芯片，采用AP的工作模式，在接收到質(zhì)量數(shù)據(jù)后，作為服務(wù)器，等待物體檢測(cè)識(shí)別模塊作為客戶(hù)端接入，并傳送質(zhì)量數(shù)據(jù)。

（3）物體檢測(cè)識(shí)別模塊。物體檢測(cè)識(shí)別模塊主要由小型嵌入式開(kāi)發(fā)板jetson nano搭配CSI攝像頭構(gòu)成，對(duì)目標(biāo)商品進(jìn)行檢測(cè)與識(shí)別，得到識(shí)別結(jié)果。此外，還作為客戶(hù)端接入esp8266芯片，接收esp8266獲得的質(zhì)量數(shù)據(jù)，并將質(zhì)量數(shù)據(jù)與種類(lèi)識(shí)別結(jié)果打包上傳至服務(wù)器。

（4）服務(wù)器數(shù)據(jù)庫(kù)模塊。服務(wù)器采用springboot輕量級(jí)框架，數(shù)據(jù)庫(kù)則是采用開(kāi)源的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)MySQL，該模塊主要是對(duì)稱(chēng)重模塊的所測(cè)得的質(zhì)量數(shù)據(jù)以及物體檢測(cè)識(shí)別模塊所測(cè)的物體種類(lèi)數(shù)據(jù)進(jìn)行邏輯處理，并將其封裝的對(duì)象數(shù)據(jù)保存在數(shù)據(jù)庫(kù)中，方便用戶(hù)獲取。

（5）顧客小程序模塊。用戶(hù)在移動(dòng)端小程序界面中獲取訂單信息：商品種類(lèi)、商品質(zhì)量、商品單價(jià)、需支付等，點(diǎn)擊確認(rèn)便可實(shí)現(xiàn)一鍵支付。

2.2 算法選擇

由于超市人流量較大，對(duì)識(shí)別準(zhǔn)確度與實(shí)時(shí)性的要求提高，因此在處理速度與精度的選擇上，處理速度越快，精度越高，就會(huì)越適應(yīng)人類(lèi)快節(jié)奏生活下超市現(xiàn)階段購(gòu)買(mǎi)現(xiàn)狀?，F(xiàn)階段基于物聯(lián)網(wǎng)和深度學(xué)習(xí)技術(shù)的目標(biāo)檢測(cè)算法分為兩類(lèi)：一類(lèi)是two-stage目標(biāo)檢測(cè)算法，另一類(lèi)是one-stage目標(biāo)檢測(cè)算法。本系統(tǒng)選擇的是基于one-stage的目標(biāo)檢測(cè)算法YOLOv4，原因是one-stage的目標(biāo)檢測(cè)算法可以一邊產(chǎn)生候選識(shí)別區(qū)域，一邊直接進(jìn)行分類(lèi)和回歸。

本系統(tǒng)采用的YOLOv4是在YOLOv3算法基礎(chǔ)上的加強(qiáng)。YOLOv4劃分為Input、Backbone、Neck、Head四個(gè)部分。

（1）Input采用 Mosaic實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)。Mosaic實(shí)現(xiàn)原理是在輸入圖片集中隨機(jī)選取 4 張圖片進(jìn)行隨機(jī)縮放，隨機(jī)裁剪，隨機(jī)扭曲，然后將它們拼接起來(lái)，其目的是豐富樣本數(shù)據(jù)集。

（2）Backbone采用 CSPNet網(wǎng)絡(luò)結(jié)構(gòu)，用 concat 代替 Add，提取更豐富的特征。

（3）Neck在 YOLOv3 的基礎(chǔ)上增加了一個(gè)自底向上的 PANet 結(jié)構(gòu)，特征圖的尺寸是通過(guò)卷積的方式實(shí)現(xiàn)的（改變滑動(dòng)窗口的步長(zhǎng)）。

（4）Head用CIOU Loss取代Iou Loss。CIOU Loss的思想是：第一步，在兩個(gè)框最外層再畫(huà)一個(gè)最小的矩形框，求出這個(gè)框的對(duì)角線的距離，這個(gè)距離就能衡量?jī)蓚€(gè)框的距離；第二步，求出兩個(gè)框中心點(diǎn)的歐式距離，通過(guò)該歐式距離能衡量?jī)烧叩南嘟磺闆r。

圖1 CIOU示意圖

3 模型訓(xùn)練結(jié)果與分析

3.1 模型訓(xùn)練

初始的水果數(shù)據(jù)集來(lái)自于coco公開(kāi)數(shù)據(jù)集，共2.4萬(wàn)張圖片，并在此基礎(chǔ)上增加6 000張自己的數(shù)據(jù)集，制成新的數(shù)據(jù)集。網(wǎng)絡(luò)共迭代15萬(wàn)次，模型趨于收斂，測(cè)試準(zhǔn)確度在99.4%以上。loss曲線逐漸趨近于零表示模型逐漸收斂，右邊是我們用測(cè)試集對(duì)模型測(cè)試的結(jié)果，召回率約為99.4%表示模型識(shí)別準(zhǔn)確度很高。

在水果數(shù)據(jù)集中隨機(jī)選取85%的圖片作為訓(xùn)練集，25%的圖片作為測(cè)試集，生成train.txt，val.txt，est.txt和trainval.txt四個(gè)文件。在訓(xùn)練時(shí)安裝并編譯darknet源碼，加入已創(chuàng)建好的數(shù)據(jù)集進(jìn)行訓(xùn)練。

3.2 識(shí)別結(jié)果

在經(jīng)過(guò)150 000次迭代后，loss曲線逐漸趨于0，模型逐漸首聯(lián)，loss值逐漸趨于穩(wěn)定。使用50 000次迭代后的權(quán)重文件在測(cè)試集上進(jìn)行測(cè)試，測(cè)試準(zhǔn)確度在99.4%以上，召回率為99.4%，表示測(cè)試準(zhǔn)確度很高，基本滿足對(duì)超市稱(chēng)重現(xiàn)狀顧客的需求。

圖2 橘子識(shí)別結(jié)果

表1 水果識(shí)別結(jié)果

4 結(jié)束語(yǔ)

隨著當(dāng)今社會(huì)和科技的發(fā)展，商鋪和超市也將越來(lái)越智能化和信息化，商家往往希望投入最少的人力和物力以獲取最大的收益，所以設(shè)備的智能化也成為當(dāng)今超市和商鋪發(fā)展的主流。同時(shí)，對(duì)于銷(xiāo)售量、銷(xiāo)售收益，以及商品信息的管理越來(lái)越趨向于自動(dòng)化，這樣既可以減少人力的投入，也可以減少出現(xiàn)錯(cuò)誤的概率。

伴隨著人們生活節(jié)奏的加快，人們往往希望減少等待的時(shí)間，如果超市和商鋪使用平常的電子秤去結(jié)算，通常都會(huì)造成長(zhǎng)時(shí)間的等待，而這種較慢的交易速度勢(shì)必會(huì)影響到顧客的購(gòu)物體驗(yàn)。

所以一款集智能化和信息自動(dòng)化為一體的商品智能結(jié)算系統(tǒng)將會(huì)成為商鋪和超市未來(lái)青睞的商品。