基于深度可分離卷積的果蔬分類識(shí)別方法

摘要：針對(duì)農(nóng)貿(mào)市場(chǎng)、果蔬超市中結(jié)算流程不夠智能化以及重型神經(jīng)網(wǎng)絡(luò)模型部署困難等問(wèn)題，對(duì)果蔬分類模型輕量化識(shí)別方法進(jìn)行了研究。首先針對(duì)果蔬智能識(shí)別設(shè)備所在環(huán)境差異大、果蔬套袋問(wèn)題，采用多場(chǎng)景采集方案在果蔬超市現(xiàn)場(chǎng)采集果蔬170種、圖片136 000張，并設(shè)計(jì)了弱化套袋的圖像預(yù)處理方法，對(duì)數(shù)據(jù)進(jìn)一步增強(qiáng)。然后針對(duì)重量級(jí)神經(jīng)網(wǎng)絡(luò)部署困難以及成本較高的問(wèn)題，設(shè)計(jì)了一種基于深度可分離卷積的果蔬分類識(shí)別模型，并進(jìn)行訓(xùn)練測(cè)試，其Top-1準(zhǔn)確率達(dá)96.8%，Top-5準(zhǔn)確率達(dá)100%，相對(duì)于Mobilenetv2-224，運(yùn)算量減少了70%，相對(duì)于Mobilenetv3-224，運(yùn)算量減少了60%，識(shí)別能力介于Mobilenetv2-224和Mobilenetv3-224之間。最后對(duì)所設(shè)計(jì)果蔬分類模型在實(shí)際部署中面臨的問(wèn)題進(jìn)行了分析。

關(guān)鍵詞：果蔬分類；圖像增強(qiáng)；深度可分類卷積；輕量化神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TP391.41" " " " "文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：0439-8114（2024）08-0028-07

DOI：10.14088/j.cnki.issn0439-8114.2024.08.006 開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Fruit and vegetable classification and recognition method based on Depthwise Separable Convolution

YUE Zhen1， LI Zhuo-ran1， WANG Xu-qian1， HOU Zong-sheng1， MIAO Zhuang2， ZHENG Yi3， LIU Jie1

（1. School of Science and Information Science， Qingdao Agricultural University， Qingdao" 266109， Shandong， China；

2. Qingdao Topscomm Communication Co.， Ltd.， Qingdao" 266109， Shandong， China；

3. Yiwen Family Farm in Pingyi County， Linyi" 273302， Shandong， China）

Abstract： Aiming at the problem that the settlement process in agricultural trade markets and fruit and vegetable supermarkets was not intelligent enough and the difficulty of deploying heavy neural network models， the lightweight recognition method of fruit and vegetable classification model was studied. Firstly， in response to the large differences in the environment where the intelligent recognition equipment for fruits and vegetables was located， and the problem of fuzzy features in fruit and vegetable bagging， a multi-scene collection scheme was used to collect 170 kinds of fruits and vegetables and 136 000 pictures in the fruit and vegetable supermarket， and an image preprocessing scheme for weakened bagging was formulated to further enhance the data. Secondly， aiming at the difficulty of deploying the heavyweight neural network and the high cost， a fruit and vegetable classification recognition model based on Depthwise separable convolution was designed， trained and tested. Its Top-1 success rate had reached 96.8%， and the Top-5 success rate had reached 100%. Compared to Mobilenetv2-224， the amount of computation had been reduced by 70%， compared to Mobilenetv3-224， the amount of computing had also been reduced by 60%， and the recognition ability was higher than Mobilenetv2-224 and lower than Mobilenetv3-224. Finally， the problems faced by the designed fruit and vegetable classification model in the actual deployment were analyzed.

Key words： fruit and vegetable classification； image enhancement； depthwise separable convolution； lightweight neural network

隨著生產(chǎn)力的發(fā)展，人們生活水平不斷提高，對(duì)水果蔬菜的需求不斷增長(zhǎng)［1-4］。當(dāng)前水果和蔬菜銷售集中在農(nóng)貿(mào)市場(chǎng)、生鮮超市，主要有兩種購(gòu)物方式［5］：第一種是先由顧客選自己所需要的果蔬，交給店員輸入商品價(jià)格、稱重然后結(jié)算，這種購(gòu)物過(guò)程不僅需要店員一直守候在稱重和付款設(shè)備旁邊重復(fù)輸入果蔬價(jià)格，比較容易出錯(cuò)，且可能導(dǎo)致顧客排隊(duì)；第二種是工作人員首先對(duì)果蔬封裝、稱重并打上價(jià)格條形碼，消費(fèi)者自主選擇后到收銀臺(tái)掃描付費(fèi)［6］，這種購(gòu)物方式雖然不需要客戶排隊(duì)稱重，但是影響了消費(fèi)者對(duì)需求量大小的選擇，并增加了運(yùn)營(yíng)者更多的人力成本。

近年來(lái)，圖像識(shí)別技術(shù)快速發(fā)展，在大規(guī)模圖像識(shí)別挑戰(zhàn)賽（ILSVRC）中，深度學(xué)習(xí)技術(shù)的引入推動(dòng)了圖像分類的性能從2010年的30%錯(cuò)誤率下降到2017年的2%以下。理論上基于深度學(xué)習(xí)的果蔬分類識(shí)別只需要一個(gè)攝像頭和一臺(tái)計(jì)算機(jī)即可實(shí)現(xiàn)，從而可以使果蔬的購(gòu)物方式變成客戶自助購(gòu)物模式。神經(jīng)網(wǎng)絡(luò)模型目前有兩種發(fā)展方向，一種為了追求更高的準(zhǔn)確率，其結(jié)構(gòu)往更深、更復(fù)雜方向設(shè)計(jì)；另一種考慮到有限計(jì)算環(huán)境下的實(shí)時(shí)計(jì)算，在追求準(zhǔn)確率的同時(shí)兼顧網(wǎng)絡(luò)大小和運(yùn)行速度。

在果蔬超市中，果蔬識(shí)別系統(tǒng)布置在不同的位置，其識(shí)別容易受到各種室內(nèi)燈光環(huán)境的影響，并且還容易受到各種外界天氣變化的影響［7］；農(nóng)貿(mào)市場(chǎng)很多處于露天環(huán)境，即使有大棚遮擋，果蔬識(shí)別也非常容易受到外界各種天氣、光照以及來(lái)往人員影子的影響。這些因素都給果蔬的正確識(shí)別帶來(lái)了干擾。雖然復(fù)雜的深度學(xué)習(xí)網(wǎng)絡(luò)在性能上更加強(qiáng)大，但是由于運(yùn)算量和參數(shù)量巨大，對(duì)果蔬識(shí)別的硬件平臺(tái)要求比較高［8，9］。一般的硬件平臺(tái)即使能夠運(yùn)行復(fù)雜的神經(jīng)網(wǎng)絡(luò)，但是運(yùn)行的時(shí)間會(huì)比較長(zhǎng)，這會(huì)影響顧客購(gòu)物體驗(yàn)；如果采用加速棒等方法進(jìn)行加速，雖然可以提高速度，但是會(huì)增加成本，不利于智能果蔬識(shí)別設(shè)備在農(nóng)貿(mào)市場(chǎng)和果蔬超市的推廣應(yīng)用。隨著深度卷積神經(jīng)網(wǎng)絡(luò)輕量化的發(fā)展，可以在低運(yùn)算量下實(shí)現(xiàn)較高準(zhǔn)確率，從而兼顧成本與識(shí)別率。

1 整體架構(gòu)

本研究所采用的果蔬分類整體識(shí)別方法流程如圖1所示，首先使用ACS-S30采集果蔬訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，對(duì)兩個(gè)數(shù)據(jù)集分別進(jìn)行圖像預(yù)處理后進(jìn)行增強(qiáng)，然后使用增強(qiáng)后的果蔬訓(xùn)練數(shù)據(jù)集對(duì)建立的果蔬分類識(shí)別神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并使用增強(qiáng)后的果蔬測(cè)試數(shù)據(jù)集進(jìn)行測(cè)試并分析，最后將果蔬分類識(shí)別網(wǎng)絡(luò)部署在安卓平臺(tái)，應(yīng)用在各個(gè)果蔬超市中?？紤]到果蔬超市中顧客會(huì)先對(duì)果蔬裝袋然后稱重，本研究對(duì)訓(xùn)練圖片和測(cè)試圖片都進(jìn)行了圖像預(yù)處理?？紤]到果蔬超市運(yùn)營(yíng)者對(duì)成本比較敏感以及復(fù)雜神經(jīng)網(wǎng)絡(luò)部署上的困難，本研究參考ShuffleNet網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計(jì)了一種基于深度可分離的果蔬分類識(shí)別模型，并基于此模型對(duì)果蔬分類方法進(jìn)行了研究。

2 數(shù)據(jù)和方法

2.1 多場(chǎng)景現(xiàn)場(chǎng)數(shù)據(jù)采集

在青島樂(lè)華超市8個(gè)門店使用青島中科英泰商用系統(tǒng)股份有限公司智能秤ACS-S30進(jìn)行果蔬實(shí)時(shí)采集，共采集果蔬170種。因?yàn)槊恳环N果蔬選購(gòu)的頻率不同，每種果蔬采集的照片數(shù)量不同。對(duì)采集數(shù)量較多的果蔬對(duì)其圖片進(jìn)行隨機(jī)抽選，對(duì)采集較少的果蔬安排人員采集補(bǔ)充，使每種果蔬都有800張圖片，總共得到圖片136 000張，將圖片按照" 8∶2的比例分為訓(xùn)練集和測(cè)試集。采用這種多個(gè)門店現(xiàn)場(chǎng)采集方法，可以保證所采集的每一種果蔬圖片盡可能地模擬真實(shí)顧客購(gòu)買場(chǎng)景，每種果蔬的圖片組合包含此品種在不同環(huán)境、光照下的各種形態(tài)圖片，方便所訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型可以直接部署在門店使用。為了盡量減少背景的干擾，對(duì)所采集的圖片進(jìn)行了居中裁剪，裁剪后的分辨率為1 100× 1 000。

2.2 圖像預(yù)處理

訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集的圖像預(yù)處理流程如圖2所示。為提高所搭建神經(jīng)網(wǎng)絡(luò)模型對(duì)外界環(huán)境變換的適應(yīng)能力，需要通過(guò)圖像增強(qiáng)訓(xùn)練來(lái)進(jìn)一步泛化神經(jīng)網(wǎng)絡(luò)，所采用的圖像增強(qiáng)方法包括：對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行隨機(jī)裁剪，水平或者豎直鏡像，亮度、色調(diào)、對(duì)比度［10］隨機(jī)調(diào)整。由于在農(nóng)貿(mào)市場(chǎng)和果蔬超市，果蔬通常是先裝袋然后稱重，所套袋子往往會(huì)模糊果蔬細(xì)節(jié)，因此有必要對(duì)套袋果蔬圖像進(jìn)行增強(qiáng)處理，弱化套袋帶來(lái)的影響。本研究采用圖像直方圖均衡化［11］方法對(duì)圖像進(jìn)行增強(qiáng)，直方圖均衡方法如下。

1）首先統(tǒng)計(jì)原始圖像直方圖，統(tǒng)計(jì)方法如公式（1）所示，其中N為一幅圖像的總的像素?cái)?shù)，[nk]表示第k級(jí)灰度的像素?cái)?shù)，[rk]表示第k個(gè)灰度級(jí)，[p（rk）]為該灰度級(jí)出現(xiàn)的相對(duì)頻率；

[p（rk）] =[nkN]" " " " " "（1）

2）由公式（2）計(jì)算新的灰度級(jí)；

[sk=Trk=j=0kprj=j=0knkN]" " " " （2）

3）根據(jù)圖像像素深度，修正[sk]為合理的灰度級(jí)；

4）重新計(jì)算新的直方圖，用處理后新的灰度值代替處理前的灰度值，生成新圖像。

3 基于深度可分離卷積的果蔬分類模型

精簡(jiǎn)模型網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)輕量化是提高檢測(cè)速度的主要手段，根據(jù)實(shí)現(xiàn)方式的不同可大致分為輕量級(jí)網(wǎng)絡(luò)［12］設(shè)計(jì)和網(wǎng)絡(luò)剪枝［13］兩條技術(shù)路線，本研究從輕量級(jí)網(wǎng)絡(luò)設(shè)計(jì)出發(fā)，結(jié)合果蔬識(shí)別實(shí)際應(yīng)用場(chǎng)景，提出了一種基于深度可分離神經(jīng)網(wǎng)絡(luò)分類模型并對(duì)該網(wǎng)絡(luò)模型能力進(jìn)行了對(duì)比測(cè)試。

3.1 輕量級(jí)網(wǎng)絡(luò)設(shè)計(jì)方法

在卷積神經(jīng)網(wǎng)絡(luò)中，卷積不僅是確保網(wǎng)絡(luò)表征能力最重要的一環(huán)，同時(shí)亦是計(jì)算和存儲(chǔ)成本最高的一項(xiàng)操作。為了有效降低卷積的計(jì)算量和參數(shù)量，在輕量級(jí)網(wǎng)絡(luò)設(shè)計(jì)中常采用深度可分離卷積（Depthwise Separable Convolution）替代標(biāo)準(zhǔn)卷積作為網(wǎng)絡(luò)的基礎(chǔ)單元。標(biāo)準(zhǔn)卷積的特點(diǎn)是每個(gè)卷積核的通道數(shù)與輸入量通道數(shù)相同，卷積核的數(shù)量與輸出量的通道數(shù)相同，每個(gè)通道單獨(dú)做卷積運(yùn)算后相加。

在標(biāo)準(zhǔn)卷積的計(jì)算過(guò)程中，卷積的參數(shù)量和計(jì)算量主要受輸入通道數(shù)[Cin]、卷積核[KH×KW] 、輸出通道數(shù)[Cout]和輸出特征圖 [Hout×Wout]四組參數(shù)影響，在忽略加法的情況下，其乘法運(yùn)算量[G1]如公式（3）所示，參數(shù)量[G2]如公式（4）所示，具體過(guò)程如圖3所示。從過(guò)程圖和公式可以看出，標(biāo)準(zhǔn)卷積運(yùn)算量和參數(shù)量都相當(dāng)大。

[G1=Cin×KH×KW×Cout×Hout×Wout] （3）

[G2=Cin×KH×KW×Cout]" " " " " " （4）

卷積前與卷積后的圖像尺寸變化根據(jù)公式（5）計(jì)算。其中[Fin]為輸入尺寸，k為卷積尺寸大小，p為補(bǔ)零個(gè)數(shù)，s為步進(jìn)值，[FO]為輸出尺寸。

[FO=Fin-k+2ps+1]" " " " " " （5）

深度可分離卷積是一種用來(lái)降低參數(shù)量和運(yùn)算量的卷積方式，其卷積過(guò)程包括深度卷積和點(diǎn)卷積兩部分。深度卷積中一個(gè)卷積核只有一個(gè)通道，卷積核數(shù)量與輸入量通道數(shù)相同，輸出量通道數(shù)不變，只負(fù)責(zé)通道內(nèi)信息的融合，即一個(gè)卷積核只對(duì)一個(gè)通道進(jìn)行卷積，具體過(guò)程如圖4所示。深度卷積忽略了通道之間的影響，因此經(jīng)過(guò)深度卷積后再進(jìn)行點(diǎn)卷積，點(diǎn)卷積是一種標(biāo)準(zhǔn)卷積，卷積核大小為[1×1]。點(diǎn)卷積實(shí)際上就是逐通道卷積可進(jìn)行組內(nèi)通道的信息融合。一次完整深度可分離卷積，其乘法運(yùn)算量[G1s]如公式（6）所示，參數(shù)量[G2s]如公式（7）所示。

[G1s=Cin×KH×KW×Hout×Wout+Cin×Cout×Hout×Wout]" " " （6）

[G2s=Cin×KH×KW+Cin×Cout]" " " " （7）

經(jīng)過(guò)如上分析，深度可分離卷積的參數(shù)量、運(yùn)算量與標(biāo)準(zhǔn)卷積的參數(shù)量、運(yùn)算量之比如公式（8）和公式（9）所示。深度可分離卷積無(wú)論是參數(shù)量還是計(jì)算量均僅為標(biāo)準(zhǔn)卷積的[1Cout+1KH×KW]。因?yàn)榫矸e過(guò)程輸出通道數(shù)一般比較多，[1Cout]可以忽略。以 3×3 卷積核為例，前者的參數(shù)量和計(jì)算量約為后者的1/9，降幅十分明顯。

[G1sG1=Cin×KH×KW×Hout×Wout+Cin×Cout×Hout×WoutCin×KH×KW×Cout×Hout×Wout=1Cout+1KH×KW]" " " " （8）

[G2sG2=Cin×KH×KW+Cin×CoutCin×KH×KW×Cout=1Cout+1KH×KW]" "（9）

3.2 果蔬神經(jīng)網(wǎng)絡(luò)分類模型

特征提取模塊作為分類模型的骨干，是模型中參數(shù)量和計(jì)算量最大的一個(gè)模塊。通常為了提高模塊的表征能力，需要設(shè)計(jì)一個(gè)較深的網(wǎng)絡(luò)結(jié)構(gòu)。而網(wǎng)絡(luò)深度的增加意味著模塊參數(shù)量和計(jì)算量的增加，因此對(duì)于實(shí)時(shí)檢測(cè)模型而言，如何在保證一定表征能力的前提下盡可能降低模塊的開(kāi)銷是設(shè)計(jì)的關(guān)鍵。為了實(shí)現(xiàn)上述目標(biāo)，參考ShuffleNetV2，設(shè)計(jì)一種果蔬分類神經(jīng)網(wǎng)絡(luò)模型，表1為模塊詳細(xì)的網(wǎng)絡(luò)結(jié)構(gòu)。

從表1可以看到，特征提取模塊在處理輸入圖像時(shí)共需經(jīng)歷八個(gè)階段。前五個(gè)階段，在輸出特征圖尺寸減小一半的同時(shí)，為了能夠保留盡量多的信息，輸出的通道數(shù)會(huì)相應(yīng)增加。在第一和第二階段，模塊首先會(huì)利用一個(gè)3×3的標(biāo)準(zhǔn)卷積和3×3的最大值池化，步進(jìn)都為2，快速將特征圖的尺寸縮小至原始圖像的1/16。從第三到第五階段，每一階段均是由數(shù)個(gè)圖5a中的單元組成。在每個(gè)階段的開(kāi)始，首先使用Block 1對(duì)輸入進(jìn)行下采樣并擴(kuò)展通道數(shù)，對(duì)應(yīng)第三至第五階段，通道數(shù)分別被擴(kuò)展至96、192和384；之后通過(guò)堆疊Block 2的方式提高圖像特征的提取能力，對(duì)應(yīng)第三至第五階段，Block 2分別被重復(fù)堆疊的次數(shù)為4、6和4。第六階段進(jìn)行一次點(diǎn)卷積，將通道數(shù)提高到1 000；第七階段進(jìn)行最大值池化，將多通道圖像轉(zhuǎn)化為一維數(shù)據(jù)；第八階段進(jìn)行一個(gè)全連接，輸出果蔬分類結(jié)果。實(shí)際上，Block 1擴(kuò)展的通道數(shù)和Block 2堆疊的次數(shù)均可以根據(jù)應(yīng)用場(chǎng)景進(jìn)行調(diào)整。一般而言，通道數(shù)和堆疊次數(shù)越少，模型的檢測(cè)速度越快，相應(yīng)的檢測(cè)精度也越低。需要指出，在特征提取模塊中包含了大量通道混洗的操作，為了實(shí)現(xiàn)通道之間信息更加充分地流動(dòng)，通道混洗方法如圖5b所示。

可以看到，實(shí)現(xiàn)通道混洗可分為3步操作。首先，依次對(duì)輸入通道進(jìn)行編號(hào)并按照序號(hào)順序?qū)ζ溥M(jìn)行分組，根據(jù)分組情況將通道從一維列向量變換成二維數(shù)組，然后對(duì)二維數(shù)組進(jìn)行轉(zhuǎn)置，實(shí)現(xiàn)行列互換。

3.3 果蔬神經(jīng)網(wǎng)絡(luò)分類模型訓(xùn)練及測(cè)試

為防止過(guò)擬合，首先將網(wǎng)絡(luò)模型輸出更改為" " 1 000，采用國(guó)際公用圖像庫(kù)ImageNet進(jìn)行訓(xùn)練，對(duì)建立的果蔬分類模型進(jìn)行訓(xùn)練得到一個(gè)初步的學(xué)習(xí)參數(shù)。接著將輸出層數(shù)量更改為170，其他保持不變，使用果蔬訓(xùn)練數(shù)據(jù)集接著訓(xùn)練，并計(jì)算epoch個(gè)數(shù)。當(dāng)訓(xùn)練數(shù)據(jù)集中圖片都輸入到神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練完成一輪后使用測(cè)試數(shù)據(jù)集進(jìn)行測(cè)試。其中訓(xùn)練程序和測(cè)試程序通過(guò)Python實(shí)現(xiàn)應(yīng)用軟件開(kāi)發(fā)。

測(cè)試集的Top-1準(zhǔn)確率、Top-5準(zhǔn)確率、loss和訓(xùn)練輪數(shù)epoch的關(guān)系如圖6所示。果蔬分類模型會(huì)給出5個(gè)預(yù)測(cè)結(jié)果，并根據(jù)可信度高低依次進(jìn)行排序。Top-1準(zhǔn)確率是指第一預(yù)測(cè)結(jié)果預(yù)測(cè)正確的概率，Top-5準(zhǔn)確率是指5個(gè)預(yù)測(cè)結(jié)果中有一個(gè)預(yù)測(cè)正確的概率。從圖6可以看出，因?yàn)樵谑褂霉哂?xùn)練集訓(xùn)練前已經(jīng)使用ImageNet進(jìn)行訓(xùn)練，所以將輸出層數(shù)量更改為170以后，Top-1準(zhǔn)確率和Top-5準(zhǔn)確率能夠快速達(dá)到90%以上。其中的一個(gè)epoch是將所有的訓(xùn)練集數(shù)據(jù)送入網(wǎng)絡(luò)中完成一次前向傳播及反向傳播的過(guò)程。當(dāng)完成20個(gè)epoch的訓(xùn)練后，測(cè)試集的Top-1準(zhǔn)確率基本開(kāi)始穩(wěn)定，最后穩(wěn)定在96.8%，Top-5準(zhǔn)確率穩(wěn)定在100%。

采用同樣方式，對(duì)mobilenetv2-224網(wǎng)絡(luò)和mobilenetv3-224網(wǎng)絡(luò)進(jìn)行訓(xùn)練，3種神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率以及損失與輪數(shù)的對(duì)比如圖7所示。其使用上文計(jì)算得到的參數(shù)量、運(yùn)算量、準(zhǔn)確率以及在ACS-S30平臺(tái)上完成一次果蔬識(shí)別的時(shí)間如表2所示，其中完成一次果蔬識(shí)別包括圖像采集、圖像預(yù)處理和神經(jīng)網(wǎng)絡(luò)識(shí)別。從表2可以看出，使用本研究所建立的果蔬分類模型，相對(duì)于Mobilenetv2-224，運(yùn)算量減少了70%，相對(duì)于Mobilenetv3-224，運(yùn)算量也減少了60%。其Top-1準(zhǔn)確率雖然低于Mobilenetv3-224，但是相對(duì)于Mobilenetv2-224卻有了提高。在ACS-S30上的一次果蔬識(shí)別時(shí)間降到193 ms，比采用Mobilenetv2-224降低了211 ms，比采用Mobilenetv3-224降低了130 ms。

4 果蔬分類神經(jīng)網(wǎng)絡(luò)模型數(shù)據(jù)分析

圖8a、圖8b、圖8c是模型第一預(yù)測(cè)結(jié)果正確的3張示例圖，使用本研究建立的果蔬分類識(shí)別網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果如表3所示。從表3可以看出，3種果蔬的第一預(yù)測(cè)結(jié)果的可信度遠(yuǎn)高于其他預(yù)測(cè)結(jié)果的可信度。

圖8d、圖8e、圖8f是模型第一預(yù)測(cè)結(jié)果不正確，但是其余4個(gè)預(yù)測(cè)結(jié)果中有一個(gè)正確的3張示例圖，其預(yù)測(cè)結(jié)果如表3。圖8d是一顆大白菜，第一預(yù)測(cè)結(jié)果是綠甘藍(lán)，第三預(yù)測(cè)結(jié)果是大白菜，主要由于相機(jī)拍攝視場(chǎng)角的問(wèn)題沒(méi)有獲取到大白菜全貌；圖8e是兩顆放在一起的綠甘藍(lán)，第一預(yù)測(cè)結(jié)果是生菜，第三預(yù)測(cè)結(jié)果綠甘藍(lán)，主要是由于兩顆綠甘藍(lán)渾然一體模糊了綠甘藍(lán)的特征；圖8f是紅富士蘋果，第一預(yù)測(cè)結(jié)果是西紅柿，第二預(yù)測(cè)結(jié)果為紅富士蘋果，主要由于擺放問(wèn)題以及塑料袋打結(jié)導(dǎo)致沒(méi)有露出蘋果蒂和果臍而模糊了蘋果特征。

從預(yù)測(cè)結(jié)果分析可以看出，超市果蔬識(shí)別的主要問(wèn)題是套袋問(wèn)題和拍攝視場(chǎng)角問(wèn)題。套袋主要是由于一些超市的袋子不透明或者打結(jié)致使袋子不透明所致；由于170種果蔬大小不一，顧客每次購(gòu)買數(shù)量也不相同，裝袋后的擺放姿勢(shì)也各不相同，視場(chǎng)角如果過(guò)大會(huì)引入背景復(fù)雜問(wèn)題，過(guò)小會(huì)導(dǎo)致無(wú)法獲得一些果蔬全貌。如果需要進(jìn)一步提高正確率，需要在數(shù)據(jù)多樣性以及攝像頭擺放上面進(jìn)一步細(xì)化研究。

5 小結(jié)

本研究針對(duì)農(nóng)貿(mào)市場(chǎng)和果蔬超市自主結(jié)算場(chǎng)景，首先采用多場(chǎng)景采集方式，使用青島中科英泰商用系統(tǒng)股份有限公司ACS-S30系統(tǒng)在門店現(xiàn)場(chǎng)采集圖片，盡可能還原現(xiàn)實(shí)真實(shí)場(chǎng)景，并對(duì)果蔬訓(xùn)練集和測(cè)試數(shù)據(jù)集設(shè)計(jì)了弱化套袋的圖像預(yù)處理方案，對(duì)數(shù)據(jù)進(jìn)一步增強(qiáng)。然后根據(jù)果蔬識(shí)別特征，基于深度可分離卷積設(shè)計(jì)一種果蔬分類神經(jīng)網(wǎng)絡(luò)，其Top-1準(zhǔn)確率達(dá)到96.8%，但是Top-5準(zhǔn)確率達(dá)到100%，模型運(yùn)算量相比Mobilienetv2和Mobilenetv3進(jìn)一步壓縮，成功率介于兩者之間，可以輕松布置到安卓平臺(tái)上運(yùn)行，在ACS-S30果蔬從采集、預(yù)處理到識(shí)別時(shí)間為193 ms，不會(huì)影響顧客購(gòu)物體驗(yàn)。

參考文獻(xiàn)：

［1］ 強(qiáng)文麗，田 楠，劉愛(ài)民，等.全球食物供給非均衡性演變及貿(mào)易影響［J］.地理科學(xué)進(jìn)展， 2022， 41（8）：1416-1427.

［2］ 王靈恩，倪笑雯，李云云，等.基于入戶稱重調(diào)研的居民春節(jié)食物消費(fèi)和浪費(fèi)特征［J］.自然資源學(xué)報(bào)， 2022， 37（10）：2544-2558.

［3］ XUAN W， TO N C. New retail versus traditional retail in e-commerce： channel establishment， price competition， and consumer recognition［J］. Annals of operations research， 2020， 291（1）： 36937.

［4］ HAUSER M， GüNTHER S A， FLATH C M， et al. Towards digital transformation in fashion retailing： A Design-Oriented IS research study of automated checkout systems［J］. Wirtschaftsinformatik， 2019（1）：51-66.

［5］ 王緒謙， 路 程， 劉 杰， 等. 基于Mobilenetv3的果蔬分類識(shí)別研究［J］. 濰坊學(xué)院學(xué)報(bào)， 2023， 23（2）：105-110.

［6］ MILNE A. The rise and success of the barcode： Some lessons for financial services［J］. Journal of banking regulation，2013， 14（3-4）：241-254.

［7］ 李天華，孫 萌，丁小明，等.基于YOLO v4+HSV的成熟期番茄識(shí)別方法［J］.農(nóng)業(yè)工程學(xué)報(bào)， 2021， 37（21）：183-190.

［8］ 高 晗，田育龍，許封元，等.深度學(xué)習(xí)模型壓縮與加速綜述［J］.軟件學(xué)報(bào)， 2021， 32（1）：68-92.

［9］ 宋 爽， 張 悅， 張琳娜， 等.基于深度學(xué)習(xí)的輕量化目標(biāo)檢測(cè)算法［J］.系統(tǒng)工程與電子技術(shù)， 2022， 44（9）：2716-2725.

［10］ 楊慧炯， 韓燕麗， 郭蕓俊. 基于亮度與色度信息的深度學(xué)習(xí)圖像風(fēng)格遷移算法研究［J］. 重慶理工大學(xué)學(xué)報(bào)（自然科學(xué)）， 2019， 33（7）：145-151，159.

［11］ 孫海超， 田 睿， 丁南南，等. 基于直方圖均衡化的自動(dòng)白平衡算法及其FPGA實(shí)現(xiàn)［J］.儀器儀表學(xué)報(bào)，2015，36（增刊）：222-226.

［12］ 曹渝昆， 桂麗嬡. 基于深度可分離卷積的輕量級(jí)時(shí)間卷積網(wǎng)絡(luò)設(shè)計(jì)［J］. 計(jì)算機(jī)工程， 2020， 46（9）：95-100，109.

［13］ 周仁爽， 陳堯森， 郭 兵， 等. 基于模塊相似性的超分網(wǎng)絡(luò)剪枝［J］. 電子科技大學(xué)學(xué)報(bào)， 2022， 51（1）：108-116.

基金項(xiàng)目：山東省自然科學(xué)基金面上項(xiàng)目“基于圖自注意網(wǎng)絡(luò)的圖嵌入聚類技術(shù)研究”（ZR2021MF078）；青島農(nóng)業(yè)大學(xué)博士課題“農(nóng)產(chǎn)品分選中的輕量級(jí)深度學(xué)習(xí)模型研究”

作者簡(jiǎn)介：岳 振（1988-），男，山東臨沂人，講師，博士，主要從事基于深度學(xué)習(xí)的農(nóng)產(chǎn)品智能識(shí)別的研究工作，（電話）18766239659（電子信箱）1511052807@qq.com；通信作者，劉 杰，男，山東臨沂人，副教授，主要從事智慧農(nóng)業(yè)研究，（電話）18765282829（電子信箱）1831440117@qq.com。