基于MobileNetV3-YOLOv4超市取貨機(jī)器人目標(biāo)檢測(cè)策略優(yōu)化設(shè)計(jì)

楊登杰 葉愛(ài)芬 袁舸凡 郭熔 王環(huán)

摘要：具有自主工作能力的超市取貨機(jī)器人能夠大大降低人工成本使其得到廣泛應(yīng)用，對(duì)超市取貨機(jī)器人的目標(biāo)檢測(cè)策略進(jìn)行持續(xù)的優(yōu)化改進(jìn)具有重要的現(xiàn)實(shí)意義。針對(duì)超市取貨機(jī)器人目標(biāo)檢測(cè)策略存在泛化性、效率低的問(wèn)題，提出了基于MobileNetV3-YOLOv4超市取貨機(jī)器人目標(biāo)檢測(cè)策略的設(shè)計(jì)。該策略中將根據(jù)檢測(cè)商品的特征有針對(duì)性地構(gòu)建數(shù)據(jù)集，并且輕量化改進(jìn)YOLOv4的主干特征網(wǎng)絡(luò)，將原來(lái)的YOLOv4的CSPDarknet53主干特征網(wǎng)絡(luò)用輕量級(jí)網(wǎng)絡(luò)MobileNetV3替換，最終提高 YOLOv4算法的訓(xùn)練速度、檢測(cè)精度以及網(wǎng)絡(luò)模型的泛化能力。最終場(chǎng)地測(cè)試結(jié)果表明，上述控制策略在提升超市取貨機(jī)器人泛化性和魯棒性，同時(shí)提高了執(zhí)行效率。

關(guān)鍵詞：MobileNetV3-YOLOv4；CSPDarknet53主干網(wǎng)絡(luò)；余弦退火衰減；魯棒性；泛化能力

中圖分類號(hào)：O246；TP311.1? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）30-0018-05

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

當(dāng)前，人工智能、深度學(xué)習(xí)在目標(biāo)檢測(cè)[1-3] 、機(jī)器人控制等領(lǐng)域得到廣泛應(yīng)用，這些成功應(yīng)用得益于芯片技術(shù)、計(jì)算機(jī)算力和系統(tǒng)優(yōu)化技術(shù)的持續(xù)進(jìn)步和發(fā)展。為了降低人工成本支出，超市取貨機(jī)器人在超市的卸貨、補(bǔ)貨、取貨等方面應(yīng)用廣泛。超市中商品種類繁多，如何對(duì)商品進(jìn)行快速的目標(biāo)檢測(cè)識(shí)別直接影響著整個(gè)超市的運(yùn)行效率。為提高目標(biāo)檢測(cè)算法的運(yùn)行效率，當(dāng)前的研究工作集中于形態(tài)學(xué)圖像處理與卷積神經(jīng)網(wǎng)絡(luò)（CNN ，Convolution Neural Network）兩個(gè)方面進(jìn)行相關(guān)的研究。文獻(xiàn)[4]中提出一種基于圖像特征匹配的超市貨物檢測(cè)方法，該方法的優(yōu)點(diǎn)是算法穩(wěn)定、具有很強(qiáng)的可行性，缺點(diǎn)是算法適用范圍窄，特征匹配較慢，受光線強(qiáng)弱和商品識(shí)別角度影響，會(huì)導(dǎo)致識(shí)別結(jié)果不準(zhǔn)確。

在 CNN 方面，劉永豪[5]提出的一種基于Faster R-CNN和 SSD在貨架商品檢測(cè)上的實(shí)際項(xiàng)目中的改善。

由邊緣檢測(cè)算法例如Canny得到結(jié)果然后將結(jié)果分層分割，獲得分開(kāi)的各個(gè)商品圖像元素，對(duì)于這些元素使用Faster R-CNN和SSD兩種檢測(cè)模型對(duì)上述圖像元素進(jìn)行最后的檢測(cè)。在實(shí)際應(yīng)用中，對(duì)紅色藍(lán)色方塊圖像進(jìn)行識(shí)別測(cè)試，該改進(jìn)有效地提高了商品上的檢測(cè)準(zhǔn)確率，該方法識(shí)別精度和準(zhǔn)確度較高，缺點(diǎn)在于訓(xùn)練時(shí)間長(zhǎng)，且識(shí)別較久。目前計(jì)算機(jī)視覺(jué)通常趨向于更廣、更復(fù)雜，深度更深的網(wǎng)絡(luò)[6-8]。訓(xùn)練更大的網(wǎng)絡(luò)或?qū)⒍鄠€(gè)模型組合在一起就能得到更好的網(wǎng)絡(luò)，比如YOLOv4[2-9] [10-11] 目標(biāo)檢測(cè)算法在速度和精度方面均表現(xiàn)優(yōu)異，但YOLOv4的主干網(wǎng)絡(luò)使用全關(guān)聯(lián)的神經(jīng)網(wǎng)絡(luò)的方式提取特征，網(wǎng)絡(luò)結(jié)構(gòu)煩瑣、參數(shù)量冗余，因此一般選擇處理能力較強(qiáng)的計(jì)算機(jī)對(duì)運(yùn)行該算法來(lái)達(dá)到預(yù)期的效果。針對(duì)上述問(wèn)題，本文提出了基于MobileNetV3-YOLOv4超市取貨機(jī)器人目標(biāo)檢測(cè)策略的設(shè)計(jì)[12]。為了解決上述提及的缺點(diǎn)與問(wèn)題，降低識(shí)別算法的硬件需求，兼顧圖像識(shí)別的準(zhǔn)確度與速度，該策略用MobileNet輕量級(jí)網(wǎng)絡(luò)替換原 YOLOv4的CSPDarknet53[13]主干網(wǎng)絡(luò)，以便獲取MobileNetV3-YOLOv4 模型，大大降低了目標(biāo)檢測(cè)網(wǎng)絡(luò)的參數(shù)量，在保證識(shí)別精度的前提下進(jìn)一步提升了檢測(cè)速度。

1 MobileNet模型優(yōu)化

MobileNet模型由谷歌開(kāi)發(fā)，這款模型針對(duì)的對(duì)象是手機(jī)等嵌入式設(shè)備。這是一款輕量級(jí)的神經(jīng)網(wǎng)絡(luò)，它里面最核心和最新穎的就是使用了可離散的深度卷積的方式取代如圖1所示標(biāo)準(zhǔn)卷積[14]。

深度可分離卷積涵蓋兩個(gè)部分：深度卷積和逐點(diǎn)卷積，此兩部分如圖2所示，其根據(jù)輸入通道數(shù)目的不同而采用不同的卷積核進(jìn)行卷積運(yùn)算，最后結(jié)果的通道的調(diào)整是通過(guò)單位為1的卷積核進(jìn)行處理。

這里將卷積核拆分成單通道形式，在不改變輸入特征圖像的深度的條件下，所有通道都進(jìn)行卷積，得到的輸出特征圖與輸入特征圖通道數(shù)相同。深度卷積如圖3所示，輸入為12×12×3，通過(guò)5×5×3的深度卷積處理，最后得到8×8×3的輸出特征圖流程圖如下。

在圖3的流程里，最終將特征圖處理為8[×]8[×]3的卷積核，然后作為輸入并使用256個(gè)大小為1[×]1[×]3的卷積核對(duì)其進(jìn)行卷積，得到最終的輸出特征圖，逐點(diǎn)卷積如圖4所示。

標(biāo)準(zhǔn)卷積與深度可分離卷積的過(guò)程對(duì)比后得出：深度可分離卷積的過(guò)程中使用的參數(shù)很大程度上減少了，使得運(yùn)算量也減輕了很多，節(jié)約了處理器的算力，將卷積乘法變成加法來(lái)實(shí)現(xiàn)相同的效果。本文MobileNet綜合了深度分離卷積操作、同時(shí)兼顧逆殘差結(jié)構(gòu)和采用h-swish函數(shù)代替swish[15]函數(shù)等。不同點(diǎn)是用h-swishj替換swish激活函數(shù)后，不僅減少了運(yùn)算量，并提高圖像識(shí)別能力。h-swish公式如下（1）：

[h-swish[x]=xReLU6（x+3）6]? ? ? ? ? （1）

這里的MobileNetV3采取一個(gè)矩陣大小為9的標(biāo)準(zhǔn)卷積核用于特征提取，使用最大池化層[16]獲得了最后的分類結(jié)果。MobileNetV3 包括兩種結(jié)構(gòu)，分別是Large結(jié)構(gòu)和Small結(jié)構(gòu)，本文選擇如下表1所示的MobileNetV3的Large 結(jié)構(gòu)。為完成超市商品的識(shí)別功能，設(shè)待識(shí)別的圖像大小設(shè)置為 416×416。

Input表示特征層在處理過(guò)程中的尺寸變化；

Operator表示特征層在處理過(guò)程前即將通過(guò)block結(jié)構(gòu)，在改進(jìn)型的網(wǎng)絡(luò)處理過(guò)程中使用了大量的bneck結(jié)構(gòu)。

Exp size表示特征層經(jīng)過(guò)bneck結(jié)構(gòu)后的通道數(shù)目。out也表示特征層經(jīng)過(guò)bneck結(jié)構(gòu)后的通道數(shù)目。

SE表示注意力機(jī)制是否在這一層被引入。

NL為激活函數(shù)種類，h-swish簡(jiǎn)化成HS表示，RELU由RE表示。

s表示經(jīng)過(guò)block結(jié)構(gòu)所用的步長(zhǎng)。

2 改進(jìn)型MobileNetV3-YOLOv4框架方案設(shè)計(jì)和功能實(shí)現(xiàn)

2.1 MobileNetV3-YOLOv4整體框架

改進(jìn)型MobileNetV3-YOLOv4整體算法結(jié)構(gòu)如圖5所示 。

YOLOv4是一個(gè)單階段目標(biāo)檢測(cè)算法，網(wǎng)絡(luò)結(jié)構(gòu)包括CSPDarknet53 、PAnet [17]和YOLOhead三個(gè)部分 ，其可檢測(cè)目標(biāo)并對(duì)目標(biāo)進(jìn)行分類， YOLO4算法框架流程圖如圖6所示。

MobileNetV3-YOLOv4用 MobilenetV3 替換YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)中的 CSPDarknet53網(wǎng)絡(luò)，其結(jié)構(gòu)如圖7所示。SPP金字塔模塊分別使用尺寸為 13 × 13、9 × 9、5 × 5的卷積核對(duì)上面的輸出特征進(jìn)行卷積，輸出的新的特征層包含3個(gè)處理后的結(jié)果，這個(gè)流程提高網(wǎng)絡(luò)的深度。PANet 模塊是對(duì)改進(jìn)后的MobileNetV3 主干網(wǎng)絡(luò)的特征提取的結(jié)果分別進(jìn)行了上下采樣。經(jīng)過(guò)不同層池化的自適應(yīng)處理，在下采樣中，使得該網(wǎng)絡(luò)的特征網(wǎng)格與特征層融合，并把結(jié)果傳入預(yù)測(cè)模塊進(jìn)行反饋和分類。預(yù)測(cè)返回值通過(guò) PANet結(jié)構(gòu)后輸出結(jié)果為 3 個(gè)大小分別為 52 × 52、26 × 26、13 × 13的特征層。

2.2 預(yù)測(cè)模塊改進(jìn)

IoU就是所說(shuō)的交并比，是目標(biāo)檢測(cè)中最常用的指標(biāo)，anchor-based的方法用來(lái)評(píng)估輸出框和ground-truth的長(zhǎng)度。

[IOU=|A∩B||A∪B|]? ? ? ? ? ? ? ? ? ? （2）

但I(xiàn)ou Loss存在兩個(gè)缺點(diǎn)，一是無(wú)法反映重合度（圖8 IOU=0）：即假設(shè)兩個(gè)框沒(méi)有重疊部分，根據(jù)定義，IoU=0，所以這并不能反映兩個(gè)框之間的間距，如圖8 IOU=0。同時(shí)因?yàn)閘oss=0，無(wú)梯度回傳，不能模型訓(xùn)練。二是無(wú)法區(qū)分兩者相交的情況（圖9 IOU=0.28）：兩種情況IoU的值即覆蓋率都相等，但很明顯狀態(tài)2回歸的效果較好，狀態(tài)1回歸效果較差。

針對(duì)以上兩種情況，本文用 CIoU Loss 取代 Iou Loss，真實(shí)框與預(yù)測(cè)框的重疊率、尺度等因子作為權(quán)重，讓預(yù)測(cè)框穩(wěn)定，避免了IoU中出現(xiàn)的不穩(wěn)定情況， CIoU Loss如圖10所示。在預(yù)測(cè)框和真實(shí)框最外層外接一個(gè)最小的矩形，用c表示圖中外接框的對(duì)角線的距離，這個(gè)距離就能衡量?jī)蓚€(gè)框的距離；同時(shí)求出預(yù)測(cè)框和真實(shí)框的中心點(diǎn)的歐式距離d，這歐式距離就能衡量?jī)烧叩南嘟磺闆r。

CIOU公式如下（3）：

[CIOU=IOU-ρ2（b，bgt）c2-αν]? ? ? ? ? ? ? ?（3）

公式中，在度量長(zhǎng)寬比的相似度的變量使用v表示，如圖10中在表示黃色矩形框的中心點(diǎn)和紫色矩形框的中心點(diǎn)時(shí)分別使用[b，bgt]表示，紫色矩形框和黃色矩形框所包含的最小矩形的對(duì)角線距離使用字母c表示。α表示權(quán)重量，其公式如下（4）（5）：

[α=υ1-IOU+υ]? ? ? ? ? ? ? ? ? ?（4）

[υ=4π2（arctanwgthgt-arctanwh）2]? ? ? ? ? ?（5）

完整的 CIOU 損失函數(shù)定義如（6）：

[LossCIOU=1-IOU+ρ2（b，bgt）c2+αυ]? ? ? ?（6）

2.3采用Mish激活函數(shù)

Mish[18]是一個(gè)平坦光滑曲線，這樣的激活函數(shù)可以通過(guò)更優(yōu)質(zhì)的圖像信息深入神經(jīng)網(wǎng)絡(luò)，獲得更好的識(shí)別準(zhǔn)確性；Mish具有無(wú)上界的特性，它的好處是能夠避免導(dǎo)致訓(xùn)練速度急劇下降的梯度飽和進(jìn)而加快訓(xùn)練過(guò)程。同時(shí)Mish是有遞增也有遞減的函數(shù)，這種性質(zhì)使其在小于零時(shí)不會(huì)有截?cái)帱c(diǎn)，使較小的負(fù)梯度進(jìn)入神經(jīng)網(wǎng)絡(luò)，能夠使網(wǎng)絡(luò)梯度流更加穩(wěn)定。Mish具有較好的泛化和識(shí)別精度的有效優(yōu)化能力，可以提高結(jié)果的質(zhì)量。

Mish函數(shù)如公式（7）：

[fx=x*tanh （?x）]? ? ? ? ? ? ? （7）

softplus函數(shù)如公式（8）：

[（?x=ln（1+ex）]? ? ? ? ? ? ? ? ? （8）

ReLU、tanh、softplus、Mish激活函數(shù)如圖11所示。

3 實(shí)驗(yàn)方法及結(jié)果分析

3.1測(cè)試準(zhǔn)備

本文所用材料都在實(shí)驗(yàn)室模擬超市貨框環(huán)境下拍攝，不同商品混合并列擺放，商品包含：雪花罐、特侖蘇、紅牛罐、AD鈣瓶、網(wǎng)球、紅色方塊、藍(lán)色方塊、可口可樂(lè)罐、雪碧罐、王老吉罐十種商品。每張照片六類商品分上下三個(gè)并排擺放。拍攝設(shè)備使用蘋(píng)果手機(jī)然后批量轉(zhuǎn)換為jpg格式，拍攝距離在20～30cm之間，分辨率為3 024×4 032，拍攝角度為正面拍攝，數(shù)據(jù)集最終添加200張網(wǎng)絡(luò)圖片作為訓(xùn)練集，所以訓(xùn)練集1400張，驗(yàn)證集400張，測(cè)試集400張，總共2200張數(shù)據(jù)集。訓(xùn)練前需要先對(duì)圖片進(jìn)行標(biāo)注，標(biāo)注時(shí)用矩形框標(biāo)注，這個(gè)流程使用LabelImg可視化圖片標(biāo)注工具。

環(huán)境內(nèi)容為torch 為1.2.0版，torchvision 為0.4.0版，scipy為 1.2.1版，numpy為 1.17.0版，matplotlib為 3.1.2版，opencv_python 為4.1.2.30版，tqdm 為4.60.0版，Pillow為 8.2.0版，h5py為 2.10.0版，同時(shí)安裝Anaconda方便環(huán)境管理，可以同時(shí)在一個(gè)電腦上安裝多種環(huán)境。

3.2測(cè)試結(jié)果分析

在模擬場(chǎng)地的目標(biāo)檢測(cè)中，漏檢的目標(biāo)商品個(gè)數(shù)用FN（False Negatives）表示，正確檢測(cè)到的目標(biāo)商品的數(shù)量使用TP（True Positives）表示， 錯(cuò)誤檢測(cè)到的目標(biāo)商品的數(shù)量用FP（False Positives）表示，測(cè)試圖片400張。Recall和Precision的定義如式（9）與式（10）所示，在模擬超市環(huán)境下所得實(shí)驗(yàn)結(jié)果如下表2所示。

[Precision=TPTP+FP]? ? ? ? ? ? ? ? ? ? （9）

[Recall=TPTP+FN]? ? ? ? ? ? ? ? ? ? ? ? ?（10）

在測(cè)試集上的檢測(cè)結(jié)果如圖12所示，目標(biāo)商品被預(yù)測(cè)框標(biāo)注，并顯示對(duì)應(yīng)的商品名稱與置信度。最終得出檢測(cè)準(zhǔn)確率為 0.992，召回值為 0.997，平均每張檢測(cè)完畢消耗時(shí)間0.8s。

為了驗(yàn)證本方案的有效性，分別將數(shù)據(jù)集在YOLOv4主干提取網(wǎng)絡(luò)為MobileNetV3和CSPDarknet53上進(jìn)行訓(xùn)練，每訓(xùn)練出一層就記錄下該層的損失量，如圖13所示，是所記錄的網(wǎng)絡(luò)的損失函數(shù)曲線。兩者驗(yàn)證誤差收斂速度很快，但本文改進(jìn)后的算法較改進(jìn)前的算法在參數(shù)解凍前和解凍后訓(xùn)練一層所消耗時(shí)間都有較大改善，MobileNetV3-YOLOv4 在參數(shù)解凍前訓(xùn)練完成一層所消耗時(shí)間約 5min20s，解凍后所消耗時(shí)間約為 6min45s；YOLOv4 參數(shù)解凍前訓(xùn)練完成一層所消耗時(shí)間約為13min58s，解凍后訓(xùn)練文訓(xùn)練完一層所消耗時(shí)間約為 32min49s。

4 結(jié)論

本文在YOLOv4 目標(biāo)檢測(cè)網(wǎng)絡(luò)的基礎(chǔ)上改進(jìn)后，獲得 MobileNetV3-YOLOv4模型。在模擬超市環(huán)境下進(jìn)行目標(biāo)檢測(cè)來(lái)驗(yàn)證該網(wǎng)絡(luò)模型的有效性，最終在模擬環(huán)境下進(jìn)行目標(biāo)檢測(cè)實(shí)驗(yàn)，結(jié)果表明改進(jìn)后的模型識(shí)別速度在改進(jìn)前提升了約 21%，同時(shí)改進(jìn)后的網(wǎng)絡(luò)數(shù)據(jù)集總量降為原來(lái)的 1/5，簡(jiǎn)化了參數(shù)的復(fù)雜程度。但局限于商品種類不是很多，并存在漏檢。為進(jìn)一步增強(qiáng)模型的泛化能力，我們后續(xù)會(huì)嘗試使用更多商品種類和拍攝角度進(jìn)行訓(xùn)練和改進(jìn)。

參考文獻(xiàn)：

[1] Liu W，Anguelov D，Erhan D，et al.SSD：single shot MultiBox detector[C]//Computer Vision–ECCV 2016，2016.

[2] Tian Y N，Yang G D，Wang Z，et al.Apple detection during different growth stages in orchards using the improved YOLO-V3 model[J].Computers and Electronics in Agriculture，2019，157：417-426.

[3] 李鵬飛，劉瑤，李珣，等.YOLO9000模型的車輛多目標(biāo)視頻檢測(cè)系統(tǒng)研究[J].計(jì)算機(jī)測(cè)量與控制，2019，27（8）：21-24，29.

[4] 趙瑩.基于圖像特征匹配的商品識(shí)別算法[D].上海：上海電機(jī)學(xué)院電子信息學(xué)院，2014.

[5] 劉永豪.基于深度學(xué)習(xí)的貨架商品檢測(cè)技術(shù)研究[D].杭州：浙江大學(xué) ，2017.

[6] Russakovsky O，Deng J，Su H，et al.ImageNet large scale visual recognition challenge[J].International Journal of Computer Vision，2015，115（3）：211-252.

[7] K. Simonyan and A. Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv：1409.1556， 2014. 2， 4.

[8] C. Szegedy， S. Ioffe， and V. Vanhoucke. Inception-v4，inception-resnet and the impact of residual connections on learning. CoRR， abs/1602.07261， 2016. 2.

[9] BOCHKOVSKIY A，WANG C Y，LIAO H Y. Yolov4：optimal speedand accuracy of object detection[DB/OL]. https：//arXiv：2004.10934.

[10] 胡丹丹，張莉莎，張忠婷.基于改進(jìn)YOLOv3和立體視覺(jué)的園區(qū)障礙物檢測(cè)方法[J].計(jì)算機(jī)測(cè)量與控制，2021，29（9）：54-60.

[11] 王林，劉盼.基于卷積神經(jīng)網(wǎng)絡(luò)的行人目標(biāo)檢測(cè)系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)測(cè)量與控制，2020，28（7）：64-68，96.

[12] Howard A，Sandler M，Chen B，et al.Searching for MobileNetV3[C]//2019 IEEE/CVF International Conference on Computer Vision （ICCV）.Seoul，Korea （South）.IEEE，：1314-1324.

[13] Wang C Y，Mark Liao H Y，Wu Y H，et al.CSPNet：a new backbone that can enhance learning capability of CNN[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）.Seattle，WA，USA.IEEE，：1571-1580.

[14] HOWARD A G，ZHU M，CHEN B，et al. Mobilenets：efficient con?volutional neural networks for mobile vision applications[DB/OL].https：//arxiv.org/abs/1704.04861.

[15] Ramachandran P ， Zoph B ， Le Q V.Searching for Activation Functions[Z].2017.

[16] He K M，Zhang X Y，Ren S Q，et al.Spatial pyramid pooling in deep convolutional networks for visual recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（9）：1904-1916.

[17] Liu S，Qi L，Qin H F，et al.Path aggregation network for instance segmentation[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City，UT，USA.IEEE，：8759-8768.

[18] Misra D.Mish：A Self Regularized Non-Monotonic Neural Activation Function[Z].2019.

【通聯(lián)編輯：梁書(shū)】