基于深度學習的智能無人果蔬售賣系統(tǒng)

吳曉鳳，秦 菁，劉子翔，徐浩然

(1.西安鐵路職業(yè)技術(shù)學院，西安 710026；2.長安大學 信息工程學院，西安 710064)

0 引言

如今隨著物聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，我們的生活向著更智能，更便捷，更人性化的方向發(fā)展。智能硬件產(chǎn)品如雨后春筍，拉開了新的信息化革命[1]。無人超市[2]、無人駕駛和無人配送等技術(shù)的迅速發(fā)展，進一步彰顯了科技進步帶來的便利性。隨著技術(shù)的不斷成熟，規(guī)模更大、覆蓋范圍更廣、成本更低廉的無人零售時代已經(jīng)到來，在全球新冠疫情大環(huán)境下，人們越來越傾向于避免接觸和零接觸的購買方式，這也加速了無人售貨技術(shù)的發(fā)展。我們相信，未來的無人售賣系統(tǒng)將會更加精準、高效、安全，并能夠更好地滿足人們對商品質(zhì)量、服務(wù)品質(zhì)和購物體驗的要求。我們將持續(xù)不斷地投入研發(fā)，將科技進步和人類的需求相結(jié)合，為人們創(chuàng)造更加智能、更加便捷的生活方式。

國家統(tǒng)計局數(shù)據(jù)的結(jié)果展示，從2012年到2018年，全國線上的零售額的比重連年增加，而線下的零售額的比重則是連年下降。但是，自2018年開始，線上的零售額的增長處于乏力狀態(tài)[3]，一方面由于競爭壓力大，另一方面也是由于線上獲客成本逐漸增加。因此，最近幾年來，如何在線下進行更好的數(shù)字智能化的零售成為了各大品牌和資本的亟待解決的問題。而相比較于傳統(tǒng)的方式，轉(zhuǎn)向人工智能也無疑是更簡單更便捷的方式。據(jù)統(tǒng)計，零售商對人工智能技術(shù)的支持逐漸加碼，人工智能在線下零售領(lǐng)域內(nèi)也將獲得更好更完善的發(fā)展，據(jù)預測，2023年無人零售對人工智能技術(shù)的投入將增長到70億[3]。因此，在良好的發(fā)展環(huán)境和巨大的投資雙重激勵之下，無人售貨行業(yè)及其技術(shù)必將獲得更好更快的發(fā)展，也必將對后疫情時代和老齡化社會產(chǎn)生積極的貢獻，向消費者提供更多便利。

在無人超市中，人們不僅可以享受到豐富的商品種類，還能夠體驗到極大的購物便利。相比于傳統(tǒng)的商場或者超市，無人超市省去了排隊等候的時間，果蔬類商品稱重的時間和結(jié)賬時把所有商品拿出購物車的不便，使得顧客可以更加高效地完成購物。和自動售貨機一樣，無人超市也允許顧客自助結(jié)賬，利用微信支付，支付寶，Apple Pay云閃付和信用卡等多種移動支付方式實現(xiàn)無現(xiàn)金交易，這不僅方便快捷，也增強了顧客購物的自主性和個性化體驗。但是一般的無人售貨超市面臨著成本較高，并且水果蔬菜生鮮等產(chǎn)品，售賣方式單一不足的缺陷，例如Amazon Go Grocery 超市通過安裝大量的傳感器和攝像頭，進行協(xié)同跟蹤配合，以達到無人售賣的方式，Amazon Go的實現(xiàn)方法是利用動作傳感器，紅外傳感器，重量傳感器，攝像頭與毫米波雷達識別動作、商品和人的位置關(guān)系，將信息上傳至云端，通過位置和算法進行處理。

首先是視覺識別技術(shù)，如顧客將手伸向貨架，通過顏色識別除了膚色周圍還有沒有其他顏色判斷顧客手上是否有商品。如果顧客的手在伸入貨架上時沒有物品，在離開時有物品，那么就認為顧客拿起商品，相反就是放回。同時配合對商品區(qū)域進行識別，Amazon Go Grocery 超市的商品貨架被使用隔板分成若干單個區(qū)域，每個區(qū)域只存在一個件商品，同時每個區(qū)域都配備了獨立的多種傳感器，如利用紅外傳感器和雷達通過識別商品附近的光線是否被遮擋，識別商品是被拿走或放回，利用貨架和購物車上的重量傳感器，例如貨架上某一壓力傳感器受到的壓力減小，在一定時間內(nèi)，其附近某一購物車內(nèi)壓力傳感器的壓力增大同樣地的值。結(jié)合顧客的位置信息判斷其被顧客選擇。亞馬遜無人便利店所使用的標簽并不是常用的條形碼或者RFID，而是一種獨創(chuàng)的點狀標簽，這種類似盲文的標簽更利于攝像頭識別。

識別顧客身份和Amazon賬號信息，可以在顧客刷手機進店之后對其手機GPS或者WI-FI進行跟蹤定位，搭配圖像識別的軌跡跟蹤定位，比如某一區(qū)域的商品被檢測到拿起或放回，同時只有一個在此區(qū)域里，那系統(tǒng)認為該客戶拿起該商品，而如果同時區(qū)域內(nèi)有多人且多人而且同時都在拿附近的商品，目前Amazon Go Grocery 超市只通過位置無法準確判斷誰拿走商品，所以需要多維度姿態(tài)檢測。和多種方法綜合使用。做出綜合判斷。

Amazon Go Grocery 超市的無人購物系統(tǒng)另一優(yōu)勢在于數(shù)據(jù)的收集，傳統(tǒng)的購物模式很難收集和調(diào)查顧客的購物喜好，而無人收銀或自助收銀，利用位置信息和眼動追蹤技術(shù)可以知道顧客在貨架前的流量、停留時間和次數(shù)，顧客的視線停留時間和，以及顧客每次拿起/放回的商品及其個數(shù)，實時反饋的貨架庫存。將收集到的數(shù)據(jù)可以用于廣告宣傳和包裝設(shè)計。

同時，當系統(tǒng)監(jiān)測到客戶拿起或放下商品時，會不斷與服務(wù)器，數(shù)據(jù)庫進行數(shù)據(jù)交換和刷新，同時將商品清單同步到顧客的手持終端如手機上，顧客可以實時查看自己購買的商品，當顧客離開Amazon Go Grocery 超市的區(qū)域，GPS和WiFi定位檢測到客戶離開，且一段時間在超市區(qū)域檢測不到顧客的存在，系統(tǒng)認為顧客已經(jīng)離開，發(fā)出指令自動在顧客綁定的信號卡，Paypal或Apple Pay賬戶上進行扣款。

但這樣的成本就大大的提高了，涉及到大量的傳感器，攝像攝影設(shè)備，大量帶寬，并且需要極高的算力，前期投入非常高昂，不適合在中國的中小城市的市場進行普及，而簡單的自助收銀臺，又達不到自動識別果蔬生鮮的功能，無法真正做到無人售貨。至于Amazon Go Grocery 超市對于像水果、蔬菜、肉類等生鮮商品，都無需稱重，按照數(shù)量計費的方法也有著極大的不合理性，不符合中國消費者的購物習慣，并且Amazon Go Grocery 超市的傳感器雖然可以較為準確的識別正常購物行為，但對非正常購物行很難處理，如顧客故意遮擋攝像頭，不攜帶手機進入超市，利用強磁鐵破壞設(shè)備。而UNUQLO服裝銷售在商品標簽中安裝RFID芯片，提前在芯片中錄入商品型號，尺寸等信息，當其被放入檢測設(shè)備時，其中的金屬線圈產(chǎn)生感應電流，發(fā)出無線射頻信號，利用有限的設(shè)備就能夠快速準確得匹配儲存在云端的價格和商品，計算總價和優(yōu)惠，并且提供會員服務(wù)，并且起到防偽作用，不需要大量的攝像頭和傳感器，但果蔬產(chǎn)品有著數(shù)量大，價格時效性強，單價低等特點，RFID芯片的缺點也十分明顯，安全性不足，簡單的錫箔紙或金屬盒既可以干擾其正常工作。也不能用于液態(tài)商品。同時，RFID芯片只適用于數(shù)量少且高單價的商品，且工作量大，這種方法并不適用于我國的龐大的果蔬銷售市場。因此除了可以結(jié)算一般商品外，還具有自主稱重且識別出水果生鮮、智能判斷誤檢和顯示顧客購買清單等功能的智能售賣系統(tǒng)被市場迫切需要[4]。

為實現(xiàn)智能售賣果蔬，本文擬提出一種新的智能無人果蔬售賣系統(tǒng)，首先安裝在售賣機內(nèi)的攝像頭可以采集稱重臺上果蔬圖像，系統(tǒng)通過目標檢測算法可以快速且精準地識別出果蔬類別和位置[5-7]。其次，本系統(tǒng)使用的稱重模塊在液晶顯示器上顯示出重量，同時將重量數(shù)據(jù)傳入系統(tǒng)，最終根據(jù)對應的果蔬單價計算出果蔬總價，在系統(tǒng)界面顯示，并且通過通信主控將購物清單發(fā)送到購物者終端和云端。實驗結(jié)果證明，本系統(tǒng)可以自動檢測顧客誤操作的情況，準確識別稱重臺上的水果是否為同一類別，并引導顧客進行操作，減少誤檢情況發(fā)生，方法具有可行性。

1 系統(tǒng)結(jié)構(gòu)及原理

通過對無人果蔬生鮮售賣系統(tǒng)需求分析的解讀與分析，認為本系統(tǒng)應該具備4個特征：一是感知與執(zhí)行功能，即利用重力傳感器等隨時獲取稱重臺重量信息；二是智能目標檢測，即將所有與計算機視覺相關(guān)的功能集中到終端，由它進行總體調(diào)控；三是可傳遞，AM3358與終端，購物車要不斷的進行信號的交換，系統(tǒng)通過4G通信模塊完成此功能；四是顧客應用，顧客的基本設(shè)置、與系統(tǒng)交互等功能都是通過中控屏來完成。

故基于以上4個特征提出了系統(tǒng)的體系結(jié)構(gòu)，稱重模塊以51單片機為控制單元，采用HX711A/D轉(zhuǎn)換芯片將壓力傳感器得到的模擬信號轉(zhuǎn)為數(shù)字信號[8-10]，再通過串口通信發(fā)送給AM3358嵌入式平臺[11-12]；處理端將攝像頭采集到的圖像通過本系統(tǒng)改進的目標檢測算法識別出水果/果蔬種類，將其對應單價通過串口通信發(fā)送給嵌入式控制端，嵌入式控制端最終計算出進行稱重的水果總價，將其通過串口通信發(fā)回處理端并在處理端結(jié)果顯示屏顯示，同時通過無線通信將總價信息發(fā)送給購物車移動端和閘機控制模塊。系統(tǒng)結(jié)構(gòu)圖和系統(tǒng)示意圖分別如圖1和圖2所示。

圖1 系統(tǒng)結(jié)構(gòu)圖

圖2 系統(tǒng)示意圖

2 系統(tǒng)硬件設(shè)計

2.1 稱重模塊設(shè)計

本模塊實現(xiàn)實時監(jiān)測所放商品的重量。具體步驟如圖3所示。前端信號處理時，選用放大、信號轉(zhuǎn)換等措施來增加信號采集強度，通過AD芯片HX711將模擬信號轉(zhuǎn)為數(shù)字信號，輸入單片機處理端，重量數(shù)據(jù)將在LCD1602顯示器顯示，通過一組按鍵控制去皮、傳感器調(diào)節(jié)參數(shù)等功能。這種方案不僅加強了人機交換的能力，而且滿足設(shè)計要求，后通過通信模塊把數(shù)據(jù)傳送到終端。

圖3 系統(tǒng)設(shè)計硬件框圖

2.1.1 系統(tǒng)電源電路設(shè)計

由于該系統(tǒng)中的51單片機、AD轉(zhuǎn)換芯片以及液晶顯示器所需要的電源電壓均為5 V，為保證本系統(tǒng)的穩(wěn)定和可靠運行，需要設(shè)計一個可以穩(wěn)定提供5 V電壓的供電系統(tǒng)。由于USB接口供電方便程序調(diào)試，本系統(tǒng)電源電路采用的是USB供電方式，并且在電源輸入口裝上LED電源指示燈，用于判定電源是否正常工作。該系統(tǒng)電源電路設(shè)計如圖4所示。

圖4 電源電路設(shè)計

2.1.2 單片機控制電路設(shè)計

該系統(tǒng)的主控電路的組成是STC89C52單片機，晶振電路和復位電路，單片機控制電路是實現(xiàn)整個系統(tǒng)功能的核心，電路連接方式如圖5所示。

2.1.3 系統(tǒng)顯示電路設(shè)計

系統(tǒng)使用LCD1602型液晶屏幕實現(xiàn)數(shù)據(jù)顯示功能，其通過連接電路與51單片機相連接，如圖6所示。

圖6 系統(tǒng)狀態(tài)顯示電路圖

引腳1 (GND)是LCD1602型液晶屏的接地引腳，引腳2 (VCC)是LCD1602型液晶屏的電源引腳，引腳3 (VL)是液晶顯示器對比度引腳，通過10K歐姆電位器接地，通過改變電位器來調(diào)節(jié)LCD屏幕亮度，引腳4(RS)，引腳5(R/W)，引腳6(E)是LCD1602型液晶屏的片選控制引腳，分別連接到51單片機的P2.5、P2.6、P2，7端口，引腳7-14(D0～D7 )為數(shù)據(jù)接口，與51單片機的P0口相連，用于實現(xiàn)8位數(shù)據(jù)的傳輸；15腳為液晶的背光控制腳正極，接電源，16腳為液晶的背光控制腳負極，接地。

2.1.4 稱重模塊軟件設(shè)計

1)系統(tǒng)程序軟件流程圖：

系統(tǒng)程序軟件部分包括界面顯示、按鍵功能顯示以及總價信息顯示3個方面。程序開啟時首先顯示初始化界面，當檢測不到按鍵時將重新顯示初始化界面，直到檢測到按鍵為止；接著顯示各按鍵的功能，當稱重臺上檢測到重物時便會在顯示屏上顯示總價信息。設(shè)計流程圖如圖7所示。

圖7 系統(tǒng)主程序流程圖

2)系統(tǒng)顯示部分流程圖：

顯示部分子程序用于判斷LCD從單片機接收的數(shù)據(jù)是否在液晶屏上顯示，并使用按鍵控制顯示數(shù)據(jù)的刷新和保持。顯示器開啟時先檢測按鍵，無誤后啟動A/D轉(zhuǎn)換器，將硬件傳輸?shù)哪M信號轉(zhuǎn)換為數(shù)字信號，再將數(shù)字信號交由顯示器顯示。設(shè)計流程圖如圖8所示。

圖8 系統(tǒng)顯示部分流程圖

3)系統(tǒng)按鍵檢測部分流程圖：

鍵盤共有3個按鍵，鍵盤按下按鍵后發(fā)射出電信號，使用電信號傳遞功能選擇以及數(shù)據(jù)處理等需求信息。系統(tǒng)啟動時首先初始化LCD，在界面顯示字符，當按下某個按鍵時系統(tǒng)便根據(jù)按鍵所發(fā)射出的電信號讀取信息，調(diào)用LCD顯示按鍵所對應的功能。設(shè)計流程圖如圖9所示。

圖9 按鍵檢測部分流程圖

2.2 ZigBee通信控制模塊設(shè)計

ZigBee技術(shù)是一種短距離無線通信技術(shù)[13]，該技術(shù)能夠為顧客提供機動、靈活的組網(wǎng)方式。可以提供1000個以上的傳感器之間的相互協(xié)調(diào)并實現(xiàn)實時通訊。具有低功耗，短時延，低成本，低速率，高容量，高安全，免執(zhí)照頻段等特點[14-15]。被認為是實現(xiàn)工業(yè)互聯(lián)網(wǎng)的重要技術(shù)。

圖10 ZigBee網(wǎng)絡(luò)體系結(jié)構(gòu)和實物圖

本系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)采用星型網(wǎng)絡(luò)拓撲結(jié)構(gòu)。在整個網(wǎng)絡(luò)系統(tǒng)中，主要結(jié)構(gòu)由協(xié)調(diào)器、路由器和終端設(shè)備組成。平臺中的協(xié)調(diào)器主要是一個主節(jié)點FFD，即主站設(shè)備。該節(jié)點是整個網(wǎng)絡(luò)系統(tǒng)的核心，主要用于接收PC設(shè)備轉(zhuǎn)發(fā)的水果檢測結(jié)果和列表信息，并且實時更新、存儲和傳輸客人的購物信息，如會員賬號，積分，優(yōu)惠券等。同時，協(xié)調(diào)器設(shè)備還可以與機器連接，將傳輸?shù)礁鹘K端購物車的購物信息依次存儲在OneNET云端，從而建立一套完整的智能購物和客戶數(shù)據(jù)管理系統(tǒng)。

PC設(shè)備為每個客戶建立客戶檔案，將消費明細，積分等信息存儲起來，供商家提供會員卡服務(wù)、消費習慣分析等用途。此外，針對老年人操作智能設(shè)備不習慣、不方便，客人有特殊需求的情況，終端購物車設(shè)備還建立了一鍵式服務(wù)功能，按下后發(fā)出位置信息給最近的服務(wù)人員終端，使顧客的購物體驗更加便捷和舒適。

3 系統(tǒng)軟件設(shè)計

3.1 目標檢測網(wǎng)絡(luò)YOLOF

圖11 目標檢測網(wǎng)絡(luò)YOLOF

目標檢測網(wǎng)絡(luò)YOLOF(you only look once fruits)以YOLOX網(wǎng)絡(luò)為基礎(chǔ)[16-18]，結(jié)合YOLOV5[19]在目標檢測領(lǐng)域的優(yōu)勢，在其頸部網(wǎng)絡(luò)，從主干網(wǎng)絡(luò)中提取到的多個特征進行融合加強，使用C3，C4，C5作為特征融合的輸入[20]，這3個層次分別用來預測小物體，中等物體和大物體。當輸入為(640，640，3)的時候，選取3個層次跨度分別為8，16，32的特征，他們的整體尺寸為(80，80，256)、(40，40，512)、(20，20，1 024)，并且隨著特征圖層大小的衰減，其中的語義信息逐漸豐富，而特征的細粒度則逐漸衰減。之后，將這3個特征輸入PANet，通過一個自上而下的融合和一個自下而上的融合，首先將(20，20，1 024)的特征層進行卷積操作對通道進行調(diào)整為P5，P5進行上采樣后與(40，40，512)特征層堆疊，然后使用CSPlayer對融合后的特征進行細化增強，得到P5_upsample，此時獲得的特征層為(40，40，512)。P5_upsample=(40，40，512)的特征層進行1次1X1卷積調(diào)整通道后獲得P4，P4進行上采樣后與(80，80，256)特征層進行結(jié)合，然后使用CSPLayer進行特征提取P3_out，此時獲得的特征層為(80，80，256)。P3_out=(80，80，256)的特征層進行一次3x3卷積進行下采樣，下采樣后與P4堆疊，然后使用CSPLayer進行特征提取P4_out，此時獲得的特征層為(40，40，512)。P4_out=(40，40，512)的特征層進行一次3x3卷積進行下采樣，下采樣后與P5堆疊，然后使用CSPLayer進行特征提取P5_out，此時獲得的特征層為(20，20，1 024)。頸部網(wǎng)絡(luò)通過上采樣和下采樣后與相鄰的特征層互相融合，使得不同層次的信息相互融合，使得語義信息和細節(jié)信息達到較好的平衡，最終的頸部也就是在加強特征的提取，最終的輸出則是P3_out，P4_out，P5_out。

對于檢測網(wǎng)絡(luò)頭部，使用3個類似的檢測頭，分別對上一個模塊的輸出進行預測回歸。在這一塊，與之前的YOLO系列不同，YOLOX使用一個解耦的頭，將分類和回歸兩個任務(wù)解耦，通過卷積將不同的分支任務(wù)卷積成不同的通道數(shù)，分類的通道數(shù)為(種類數(shù)+1)，回歸的通道數(shù)則為4。YOLOF網(wǎng)絡(luò)結(jié)構(gòu)圖如圖11所示。

3.2 目標檢測網(wǎng)YOLOF改進

3.2.1 對spp網(wǎng)絡(luò)的改進

由于spp網(wǎng)絡(luò)是使得一個特征層通過不同大小的池化核所獲得的分支通過堆疊而形成一個新的且具有更多豐富信息的特征結(jié)構(gòu)，但是由于可能不同池化對不同位置信息的損失和提取有著較大的差異，為了使得spp模塊可以對某些位置和通道的信息更加注意，在spp加上一個CABM分支，這一部分既有著通道注意力也有著空間注意力，所以改進的SPP模塊對有效信息有著更強的提取能力。

圖12 SPP改進

3.2.2 對損失函數(shù)的改進

將損失中的回歸損失改為CIOU函數(shù)，先前的IOU損失雖然具有尺度不變性，較之前的歐幾里得距離有著很大的進步，但當物體完全不相交時，IOU損失的作用便會微乎其微，并且IOU由于只是比值的概念，它并不能很有效的反應重合度大小，它對目標物體的尺寸，以及中心點位置均是不敏感的，CIOU損失不僅考慮了真實框和目標框的的重合率，而且將物體間的中心距離，尺度都考慮進去，使得懲罰項更加平衡，回歸更為穩(wěn)定，大大減少了收斂所花費的時間，減少了時延。不僅如此，由于在預測中，一些位置會產(chǎn)生低質(zhì)量的預測結(jié)果，而且更希望我們的預測大多數(shù)更貼合于真實框的中心，所以需要對損失函數(shù)的計算進行加權(quán)處理。為了對邊緣的預測結(jié)果有著更大的乘法，因此將損失函數(shù)前的系數(shù)定義：

(1)

其中：l*，r*，t*，b*分別為真實框中心到預測框左側(cè)，右側(cè)，上側(cè)，下側(cè)的距離。

3.2.3 對FPN網(wǎng)絡(luò)的改進：SHA-FPN

由于原本的網(wǎng)絡(luò)在頸部時利用之前提取的特征不夠充分，所以在第一次的Csplayer的輸出(160，160，128)進行focus下采樣，然后通過CAM模塊提取其通道特征信息，然后對(80，80，256)的輸入進行加權(quán)處理，而在(20，20，1 024)后面也同樣的操作，對上層的信息進行加權(quán)處理，這樣無論是大目標還是小目標都有著更高的MAP。并且可以在其中進行跨層次融合。

3.3 數(shù)據(jù)集構(gòu)建

因為目標檢測網(wǎng)絡(luò)需要大量的數(shù)據(jù)集來進行訓練以及驗證，因此選取了一千多張由十幾種水果組成的混合圖片。在選取圖片時首先要保證不同類別圖片的數(shù)量均衡，其次還需要考慮其對不同場景的魯棒性需求，所選取的數(shù)據(jù)集中既要包含有單個類別的，又要包含有多個復雜類別的圖片，既要有包含單個目標，也要包含多個目標的。使用labelimg軟件對圖片進行標注，在圖片中標注物體的位置以及目標的種類，并將其自動保存為.xml文件，最后將圖片與標注的label信息一同送入網(wǎng)絡(luò)中訓練。

3.4 界面設(shè)計

無人果蔬售賣系統(tǒng)顯示界面包含實時檢測顯示窗口、計價欄(含重量顯示、商品種類顯示、商品單價顯示和總價顯示)和購物清單欄。界面可直觀地展示以下幾個功能：

1)給顧客展示稱重每個果蔬種類、重量、單價和所有商品的總價等信息；

2)果蔬放置錯誤檢測功能，當顧客出現(xiàn)誤放，錯放，操作，及在當前結(jié)算果蔬中混入其他類別果蔬，將在計價欄中出現(xiàn)錯誤放置的提示；

3)在購物清單欄設(shè)計了添加、清空和確認支付等功能按鈕，只有當顧客確定當前商品檢測計價正確時，點擊添加按鈕，當前商品及其總價加入購物清單，當顧客出現(xiàn)錯誤添加時，可以點擊清空按鈕清除當前清單內(nèi)容，顧客點擊確認支付按鈕后，屏幕上將出現(xiàn)引導界面幫助顧客完成支付，同時將清單信息發(fā)送到購物車端，服務(wù)器，數(shù)據(jù)庫和云端，并儲存到顧客信息數(shù)據(jù)庫中。系統(tǒng)使用交互式操作，顧客只需點擊3個按鈕即可完成各種操作，操作界面如圖13所示。

圖13 人機互動界面

4 實驗結(jié)果與分析

4.1 實驗配置和網(wǎng)絡(luò)訓練

表1 本系統(tǒng)實驗配置

網(wǎng)絡(luò)訓練300個epoch，batch_size = 16，采用學習率余弦下降訓練策略，初始學習率為0.01，最終為0.000 1。訓練過程平均損失值如圖14所示。

圖14 訓練過程平均損失值

從圖14可以看出，訓練過程平均損失值總體上隨著訓練次數(shù)的增加，總體上持續(xù)下降。

4.2 預測結(jié)果

對水果的類別預測和位置預測如下所示，能成功檢測出水果的類別和位置，并且同時識別多種水果，在部分遮擋的情況下仍能準確識別，且預測的準確度較高，速度較快，具有很好的穩(wěn)定性。例如在一張圖中有形狀大小相似的葡萄和藍莓，系統(tǒng)可以通過其顏色正確識別，并且可以識別單個葡萄和整串葡萄。

圖15 果蔬目標檢測效果圖

4.3 對比實驗

本文采用當前幾個主流的目標檢測算法在本文數(shù)據(jù)集基礎(chǔ)上進行實驗，實驗結(jié)果對比如下，本系統(tǒng)改進的算法對檢測性能有一定的提升。

表2 各算法評價指標

4.4 硬件模塊實物展示

稱重模塊實物展示，稱重臺機構(gòu)和稱重效果如圖16所示。

圖16 稱重模塊

LCD屏安裝和鍵盤安裝在在購物車上方，方便顧客查看和操作，使用添加、清空和確認支付等功能。

5 結(jié)束語

本系統(tǒng)的實時檢測功能不僅可以識別各種水果的種類，還可以準確判斷它們的位置，從而在不需要人工干預的情況下完成稱重和計價。同時，系統(tǒng)還通過串口通信和網(wǎng)絡(luò)通信將檢測到的信息傳遞到多個終端上，使得顧客可以方便地獲取商品的價格和信息，實現(xiàn)真正的無人售貨和無感支付，極大減少了人工操作。

為了實現(xiàn)這些功能，該系統(tǒng)采用了軟硬件結(jié)合的方式，硬件部分包括稱重臺、攝像頭和通信模塊等設(shè)備，通過深度學習算法對采集到的圖像進行處理，實現(xiàn)目標檢測、物體分類等功能。軟件部分則包括了目標檢測算法的改進、調(diào)試和維護以及基于Tkinter庫的實時監(jiān)測界面，通過實時監(jiān)測界面實現(xiàn)系統(tǒng)功能的展示。

通過對一階段anchor-free目標檢測網(wǎng)絡(luò)YOLOX的SPP模塊，F(xiàn)PN等結(jié)構(gòu)進行了改進，通過增加通道注意力和空間注意力機制，可以使得網(wǎng)絡(luò)聚焦于圖片中信息量更豐富的位置，同時我們修改了回歸損失計算函數(shù)，將IOU損失函數(shù)改進為CIOU損失函數(shù)，不僅僅考慮到了更多的位置信息，而且也加速了網(wǎng)絡(luò)的收斂。而硬件部分則使用TI芯片AM3358作為主控芯片，讓其完成主要控制和多級通信的功能，稱重模塊以51單片機為控制單元，采用HX711A/D轉(zhuǎn)換芯片將壓力傳感器得到的模擬信號轉(zhuǎn)為數(shù)字信號，然后將信息發(fā)給TI芯片，TI芯片進行處理，并進行多級分發(fā)完成系統(tǒng)的全部控制功能。

本系統(tǒng)具備實時檢測多個稱重臺的能力，可檢測多個稱重臺上的不同目標的種類和位置。此外，該系統(tǒng)的拓展性非常強，未來可以增加更多的檢測類別，如蔬菜、生鮮等，也可以加入品質(zhì)檢測和新鮮度檢測等功能。該系統(tǒng)的檢測精度也相當可靠，通過自主標定的幾千張數(shù)據(jù)集的測試，結(jié)果表明我們可以獲得83.5%的MAP，這證明了我們改進的目標檢測算法具有較高的準確性和穩(wěn)定性。此外，該系統(tǒng)的檢測速度也有了顯著的提高，完全能夠滿足實時檢測的需求。

我們計劃在未來進一步改進本系統(tǒng)，以實現(xiàn)更輕量化的網(wǎng)絡(luò)結(jié)構(gòu)，減小網(wǎng)絡(luò)的計算量、參數(shù)量和推理時間。為此，我們將采用更高效的模型設(shè)計和訓練方法，以便在保持高精度的同時，能夠更好地滿足實時檢測的需求，減小時延。后續(xù)我們還將研究使用更加精簡、更加簡單、更加低廉的芯片，以降低成本，提高性能。為了讓我們的無人果蔬售賣系統(tǒng)更加實用和可靠，加入免密支付等功能，使顧客只需要將商品放入購物車，點擊付款按鈕，既可完成付款，實現(xiàn)真正的智能購物體驗。我們將不斷探索各種技術(shù)和方法，不斷優(yōu)化算法、改進硬件，優(yōu)化界面設(shè)計，提高交互性，以實現(xiàn)速度和精度的完美平衡，以打造一個更加高效、更加智能、更加易用的售賣系統(tǒng)，為顧客帶來更好的購物體驗和服務(wù)。