基于雙神經(jīng)網(wǎng)絡(luò)模型的智能零售柜設(shè)計與實現(xiàn)

曾敏 吳圣健 李坊 陳直

摘要：近年來，基于深度學(xué)習(xí)模型的圖像識別技術(shù)已成為智能零售柜的主要解決方案。設(shè)計了一種新的基于雙神經(jīng)網(wǎng)絡(luò)模型的智能零售柜系統(tǒng)。該系統(tǒng)與單模型設(shè)計比較，除檢測召回率和分類準(zhǔn)確度有顯著提升外，還大大降低了因增加新品種而導(dǎo)致的模型再訓(xùn)練時間。首先，利用Faster RCNN模型完成商品大類（按包裝分類）的分類檢測任務(wù)，以提高檢測召回率;其次，利用ResNet50模型完成商品小類（按品種分類）的分類任務(wù)，以提高分類準(zhǔn)確度。與此同時，還在最難分品種集上進(jìn)行了多種數(shù)據(jù)增強(qiáng)消融實驗研究，以改進(jìn)該難分品種集所屬大類數(shù)據(jù)集的分類準(zhǔn)確度。

關(guān)鍵詞：深度學(xué)習(xí);圖像檢測;圖像分類;智能零售柜;神經(jīng)網(wǎng)絡(luò)模型

中圖分類號：TP181? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2021）26-0009-05

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

Design and Implementation of Intelligent Retail Cabinet Based on Double Neural Network Model

ZENGMin1，WU Sheng-jian2， LI Fang1， CHEN Zhi1

（1. Dept. of Communication and Information Engineering， Shanghai Technical institute of Electronics & information， Shanghai 201411， China;2. FinVolution Group， Shanghai 201203， China）

Abstract：In recent years， image recognition technology based on deep learning models has become the main solution for intelligent retail cabinets. A new intelligent retail cabinet system based on dual neural network model is introduced. Compared with the single model design， this system not only significantly enhances the detection recall rate and classification accuracy， but also greatly reduces the model retraining time caused by the addition of new varieties. First， the Faster RCNN model is used to complete the rough classification and detection task of commodity categories （classified by packaging） to improve the detection recall rate; secondly， the ResNet50 model is employed to complete the fine classification task of commodity categories （classified by variety） to improve classification accuracy degree. At the same time， some data augment ablation experiments were conducted on the most difficult-to-classification variety set of this project to refine the fine classification accuracy of the commodity categories （classified by variety） to which the difficult-to-classification variety set belongs.

Key words：deeplearning; image detection; image classification; intelligent retail cabinets; neural network model

近年來，無人零售作為一種便利的零售新業(yè)態(tài)，在我國許多城市得到了長足發(fā)展。根據(jù)前瞻產(chǎn)業(yè)研究院發(fā)布的《中國新零售行業(yè)商業(yè)模式創(chuàng)新與投資機(jī)會深度研究報告》預(yù)測，2022年無人零售用戶可達(dá)2.45億人，交易額將超1.8萬億元[1]。無人零售的快速增長，得益于多種技術(shù)的發(fā)展和融合，特別是移動支付的普及和人工智能、云計算等高新技術(shù)的應(yīng)用落地[2]。

目前，我國無人值守零售柜有4種技術(shù)實現(xiàn)形式[3，5]，分別是①以“友寶公司”為代表的機(jī)械式自動售賣機(jī)。其發(fā)展較早，技術(shù)難度低，產(chǎn)品成熟，但制造成本較高，購物流程相對煩瑣;②以“每日優(yōu)鮮”為代表的RFID（Radio Frequency Identification）零售柜。其技術(shù)成熟，市場占有率高，但RFID標(biāo)簽制作成本也高;③以“京東到家”為代表的重力感應(yīng)零售柜。其依靠重力感應(yīng)來識別商品的品類和價格，商品可自由擺放，空間利用率高，但對稱重傳感器的靈敏度要求高;④以“深蘭”“購呀”為代表的視覺識別零售柜。其主要利用圖像識別技術(shù)，能適應(yīng)復(fù)雜多樣的消費(fèi)場景，是未來零售智能化的方向[6]。視覺識別零售柜又分為動態(tài)和靜態(tài)兩種，其中深蘭以3D動態(tài)視覺技術(shù)見長，其TakeGo與AmazonGo類似，識別率的提高除采用較大神經(jīng)網(wǎng)絡(luò)模型外，還需要相應(yīng)的糾錯算法來降低諸如用戶單手取多件商品等行為的識別誤差，設(shè)備成本和計算量相對于靜態(tài)識別都較高，擴(kuò)大市場規(guī)模的難度較大;購呀目前專注于做靜態(tài)識別零售柜，其設(shè)備簡單，成本低，易于擴(kuò)大規(guī)模[3-4]。但這種低成本的無人值守零售柜的技術(shù)難點(diǎn)是如何提高所售商品的檢測召回率和分類準(zhǔn)確度。為此，本文設(shè)計了一種新的基于雙神經(jīng)網(wǎng)絡(luò)模型的智能零售柜系統(tǒng)，其售賣流程見圖1所示：通過手機(jī)掃碼開門，客戶自助取貨;關(guān)門后系統(tǒng)智能識別，結(jié)算扣款。該系統(tǒng)力圖在有限的硬件支持下，利用雙神經(jīng)網(wǎng)絡(luò)模型，使其所售商品的檢測召回率和分類準(zhǔn)確度達(dá)到落地商用的要求。