基于改進深度殘差網(wǎng)絡(luò)的快遞包裝識別融合算法研究

邵占英 劉飛 李麗杰

摘 ?要：在普通的ResNet50的基礎(chǔ)上修改激活函數(shù)，選取CeLU作為激活函數(shù)，增加了3個全連接層FC1、FC2、FC3；并在其中都加入了Droput，最后采用遷移學(xué)習(xí)的方式去訓(xùn)練模型。在快遞包裝圖像預(yù)處理中采用Triplet相似性度量學(xué)習(xí)方法進行特征提取和用SIFT特征加以完善，以形成新的融合算法，并得出改進的ResNet50網(wǎng)絡(luò)模型，整體的準(zhǔn)確率為98.67%，精確度為97.67%、召回率為98.67%，F(xiàn)1分?jǐn)?shù)為98.33%。通過最后的檢測結(jié)果，充分地證明了改進的ResNet50融合算法應(yīng)用于快遞包裝圖像識別的性能優(yōu)越，也為圖像識別技術(shù)在智慧物流行業(yè)提供技術(shù)經(jīng)驗。

關(guān)鍵詞：深度殘差網(wǎng)絡(luò)；圖像識別；融合算法；快遞包裝

中圖法分類號：TP18；F259.2 ? 文獻標(biāo)識碼：A ? 文章編號：2096-4706（2023）14-0061-06

Research on Fusion Algorithm of Express Packaging Recognition Based on Improved Deep Residual Network

SHAO Zhanying， LIU Fei， LI Lijie

（Department of Information Engineering， Hebei Construction Material Vocational and Technical College，

Qinhuangdao ?066004， China）

Abstract： This paper modifies the activation function on the basis of ordinary ResNet50， selects CeLU as the activation function， and adds three fully connected layers of FC1， FC2， FC3. It adds Droput to them， and finally uses the transfer learning method to train the model. The Triplet similarity metric learning method is used for feature extraction and the SIFT features are used to improve in the preprocessing of express packaging images to form a new fusion algorithm. Finally， the overall accuracy of the improved ResNet50 network model is 98.67%， the precision is 97.67%， the recall rate is 98.67%， and the score of F1 is 98.33%. Through the final test results， it fully proves that the improved ResNet50 fusion algorithm has superior performance in express packaging image recognition， and also provides technical experience for image recognition technology in the intelligent logistics industry.

Keywords： Deep Residual Network; image identification; fusion algorithm; express packaging

0 ?引 ?言

近年來，我國快遞行業(yè)隨著電子商務(wù)的發(fā)展迅速崛起，在人們生活方便的同時，產(chǎn)生了大量的包裝垃圾。社會各界開始關(guān)注包裝回收等問題。由于人工智能技術(shù)的飛速發(fā)展，使得計算機視覺技術(shù)的發(fā)展越來越受到重視。若將海量數(shù)據(jù)、人工智能等新一代信息技術(shù)應(yīng)用于快遞行業(yè)，必然促進綠色包裝、智慧物流的發(fā)展。本文研究的目的在于探索應(yīng)用于快遞包裝識別的新型融合算法研究，并對模型進行合理優(yōu)化，以達到適用于各種背景下的快遞包裝識別，提高快遞包裝識別算法的準(zhǔn)確度。

1 ?卷積神經(jīng)網(wǎng)絡(luò)概述

卷積神經(jīng)網(wǎng)絡(luò)是用于圖像識別的最佳學(xué)習(xí)算法之一，在圖像分割、分類、檢測和檢索相關(guān)研究中表現(xiàn)出了堪稱典范的性能。卷積神經(jīng)網(wǎng)絡(luò)的成功應(yīng)用引起了各行各業(yè)的關(guān)注，在行業(yè)中，谷歌、微軟、華為、NEC和Facebook等高科技公司已經(jīng)開始組建了高水平的研究團隊，以探索卷積神經(jīng)網(wǎng)絡(luò)的新架構(gòu)。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）在1989年開始被LeCun提出，并在計算機視覺相關(guān)研究工作中開始發(fā)揮出巨大的潛力[1]。隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，越來越多的變體模型的不斷產(chǎn)生，一種被認(rèn)為Deep Nets的進階模型——深度殘差網(wǎng)絡(luò)（ResNet）被HE[2]等人提出。通過將殘差塊引入到卷積神經(jīng)網(wǎng)絡(luò)中來改變CNN的原有架構(gòu)，并設(shè)計了一種有效的方法來訓(xùn)練深度網(wǎng)絡(luò)，即深度殘差網(wǎng)絡(luò)。

2 ?快遞包裝圖像數(shù)據(jù)集構(gòu)建及預(yù)處理

2.1 ?獲取快遞包裝圖像數(shù)據(jù)集

以紙版類包裝（紙袋子、紙箱子、報紙、貨運物流貨運單等）、塑膠類包裝（包裝袋、塑料膜、氣泡膜、聚乙烯薄膜等）及木制類包裝（人造板釘裝）三類生活中常見快遞外包裝為研究對象，并構(gòu)建快遞包裝圖像數(shù)據(jù)集。本文的數(shù)據(jù)集通過Python爬蟲技術(shù)進行獲取。這是由于在大數(shù)據(jù)技術(shù)中，數(shù)據(jù)的采集與存儲是其核心，而爬蟲技術(shù)在兩大核心技術(shù)中占有較大比例。基于Python語言獨有的特性，它對數(shù)據(jù)處理十分靈活，較成熟的網(wǎng)絡(luò)抓取模板，簡潔的語言模式，豐富的資源庫，相比其他方法而言，Python可以用很短的代碼在最短的時間內(nèi)獲取更大規(guī)模的數(shù)據(jù)量。

在爬取過程中，通過爬蟲基本流程進行數(shù)據(jù)爬取，如圖1所示。

在構(gòu)建快遞包裝圖像數(shù)據(jù)集時，采集到的快遞包裝圖像樣本數(shù)據(jù)量為35 080張，即為快遞包裝圖像數(shù)據(jù)集?？爝f包裝圖像數(shù)據(jù)集數(shù)量分布情況，如表1所示。

2.2 ?圖像預(yù)處理

為提高模型的學(xué)習(xí)和收斂速度，提高模型的準(zhǔn)確率，必須對包裹的數(shù)據(jù)進行預(yù)處理。本文使用了基于Torch的Python機器學(xué)習(xí)庫——PyTorch對快遞包裝圖像進行圖像降噪、調(diào)節(jié)白平衡、圖像均值化、空間尺度變換及張量處理，以保證快遞包裝圖像數(shù)據(jù)歸一化，再使用深度殘差網(wǎng)絡(luò)圖像識別算法，快速定位快遞包裝圖像特征點，排除背景干擾[3]。經(jīng)圖像預(yù)處理后的快遞包裝圖像的尺寸為256像素×

256像素×3通道。

2.3 ?特征提取

在快遞包裝圖像預(yù)處理中采用Triplet相似性度量學(xué)習(xí)方法進行特征提取和基于SIFT的不變性特性轉(zhuǎn)換SIFT（Scale-invariant feature transform， SIFT）[3]，SIFT是輔助特性，進行權(quán)重合并，增強特征的表現(xiàn)力，并加以完善，形成新的融合算法，以解決殘差網(wǎng)絡(luò)結(jié)構(gòu)識別圖像特征點時存在欠缺的問題。

3 ?算法的構(gòu)建與分析

3.1 ?改進深度殘差網(wǎng)絡(luò)識別算法的構(gòu)建

在訓(xùn)練的過程中，由于訓(xùn)練過程中存在梯度不能生成、梯度下降等問題，使得訓(xùn)練變得困難、模型損失值升高，但帶有殘差學(xué)習(xí)的深度卷積神經(jīng)網(wǎng)絡(luò)模型可以有效地規(guī)避此類問題。該模型從特征抽取中引入SIFT方法對包裹體的紋理進行精細的抽取，然后利用軟件映射功能對包裹體進行標(biāo)記，很大程度上提高了模型的準(zhǔn)確率。本文選取了含有殘差塊的ResNet50模型，并根據(jù)快遞包裝圖像樣本的實際情況對ResNet50結(jié)構(gòu)進行優(yōu)化，使其在快遞包裝圖像識別的應(yīng)用中更加有效[4]。深度殘差網(wǎng)絡(luò)的殘差結(jié)構(gòu)如圖2、圖3所示。

在3×3卷積核前后，使用1×1卷積維的上升和下降可以降低殘差網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)。在殘差結(jié)構(gòu)圖2中實線和殘差結(jié)構(gòu)圖3中的虛線作為下取樣函數(shù)的輸入，而殘差配置圖2是保持輸出圖像特征矩陣大小不變的殘差配置；殘差構(gòu)造圖3是一個增大比例的殘差塊，其輸出的特征矩陣是高、寬的二分之一。ResNet50的殘差結(jié)構(gòu)使特征圖具有更多的維數(shù)，能夠較好地解決諸如梯度消失、退化等問題。普通的殘差神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)與改進后的殘差網(wǎng)絡(luò)模型結(jié)構(gòu)如圖4、圖5所示。

改進的ResNet模型網(wǎng)絡(luò)結(jié)構(gòu)和普通ResNet模型網(wǎng)絡(luò)結(jié)構(gòu)的主題一樣。這兩種結(jié)構(gòu)中的Input image（256，256，3）均表示輸入了尺寸為256個像素×256個像素×3個通道的快遞包裝圖像[5]，ResNet50模型網(wǎng)絡(luò)結(jié)構(gòu)分別由輸入層、1個7×7的conv層（卷積層中/2表示為卷積核的移動步長為2）、4個3×3的殘差塊（卷積核的數(shù)量依次為64、64、128、256、512）、池化層、全連接層及分類層組成。在上述ResNet50神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中conv為卷積層，BN為批標(biāo)準(zhǔn)化處理，Pool表示最大池化層，Avg Pool表示平均池化層，F(xiàn)C為全連接層[5]。在卷積層中沒有添加偏置，批標(biāo)準(zhǔn)化處理（BN）可以加塊神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度，將BN放在卷積層中的激活函數(shù)之前。

圖5所示改進的深度殘差網(wǎng)絡(luò)與普通深度殘差網(wǎng)絡(luò)相比較后的區(qū)別在于激活函數(shù)由傳統(tǒng)的ReLU改成了更適合的CeLU，并通過由He提出的Kaiming[2]正態(tài)分布來初始化卷積層的權(quán)重，同時在新增加的FC1、FC2和FC3三個全連接層中加入Dropout，以防止過擬合。

將快遞包裝圖像輸入到神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，經(jīng)卷積層、最大池化層、殘差塊、平均池化層以及全連接層進行處理，這樣可以使輸入圖片先輸出特征圖像尺寸為7×7×2 048，再輸出特征圖像尺寸為1×1×2 048，然后輸出快遞包裝特征圖像的通道數(shù)為2 048和6，最后通過Softmax分類層輸出3類快遞包裝對應(yīng)的概率值，進而獲得識別結(jié)果。

3.2 ?深度殘差網(wǎng)絡(luò)識別算法改進分析

在改進后的深度殘差神經(jīng)網(wǎng)絡(luò)中重點改進和優(yōu)化了普通深度殘差網(wǎng)絡(luò)的激活函數(shù)、初始化卷積層權(quán)重的方式、全連接層、Dropout、Loss函數(shù)及優(yōu)化器與學(xué)習(xí)速率。

3.2.1 ?激活函數(shù)

ReLU是深度學(xué)習(xí)中廣泛運用的一種激活函數(shù)，相比于sigmoid函數(shù)和tanh函數(shù)，ReLU函數(shù)中只存在線性關(guān)系，因此它的計算速度比sigmoid和tanh更快[6]。

當(dāng)輸入數(shù)據(jù)為正時，不存在梯度飽和的問題。但是，當(dāng)輸入數(shù)據(jù)為負時，輸出值為零，使得反向傳播的梯度消失，相應(yīng)的參數(shù)無法進一步迭代。因此在改進的深度殘差網(wǎng)絡(luò)中，激活函數(shù)采用CeLU，該函數(shù)有利于深度神經(jīng)網(wǎng)絡(luò)的收斂和泛化，主要是是因為該函數(shù)是一個折點非線性且連續(xù)可微的指數(shù)平滑函數(shù)，ReLU激活函數(shù)與CeLU激活函數(shù)的計算參見式（1）、式（2），函數(shù)圖像分別如圖6、圖7所示。

3.2.2 ?初始化卷積層權(quán)重的方式

因為Kaiming正態(tài)分布在CeLU激活函數(shù)中可以更快更有效地促進模型的收斂，改進的深度殘差網(wǎng)絡(luò)結(jié)構(gòu)中初始化卷積層權(quán)重的方式采用的時Kaiming正態(tài)分布。

3.2.3 ?全連接層與Dropout

在改進的深度殘差網(wǎng)絡(luò)結(jié)構(gòu)中增加了3個全連接層FC1、FC2、FC3，通過FC1、FC2、FC3可以有效地通過神經(jīng)網(wǎng)絡(luò)從快遞包裝圖像上提取出更多的特征信息。在此基礎(chǔ)上添加Dropout也有利于降低泛化誤差，防止過擬合[7]。具體神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖8、圖9所示。

x

文中改進深度殘差網(wǎng)絡(luò)采用的損失函數(shù)（Loss）為交叉熵損失函數(shù)，其可以提高模型訓(xùn)練時的梯度與優(yōu)化速度。表達式如下：

（3）

3.2.4 ?優(yōu)化器與學(xué)習(xí)率衰減

ResNet50網(wǎng)絡(luò)模型的學(xué)習(xí)進度取決于學(xué)習(xí)進度，ResNet50網(wǎng)絡(luò)模型有效地控制了深度神經(jīng)網(wǎng)絡(luò)模型權(quán)重的迭代比率。（Adaptive Moment Estimation， Adam）優(yōu)化算法是計算損失梯度的指數(shù)移動均值（Exponential Moving Average， EMA），這些移動平均值的衰減率由超參量beta1和beta2決定。

Adam可以被看作是RMSprop和Momentum的混合體。類似于RMSprop在二次動量中采用的指標(biāo)運動平均值，Adam中對于一階的動量，同樣采用了一個指數(shù)的運動平均值。

具體推導(dǎo)如下：

（4）

（5）

其中，初值：

m0 = 0 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （6）

v0 = 0 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （7）

在迭代時，mt和vt有一個偏離（向0偏離），對一階和二階的動量作偏壓修正（bias correction）：

（8）

（9）

然后進行更新：

（10）

最終保證迭代較為平穩(wěn)的衰減率，為深度神經(jīng)網(wǎng)絡(luò)模型設(shè)置自適應(yīng)的學(xué)習(xí)率。

選用Adam優(yōu)化算法用于改進的深度殘差網(wǎng)絡(luò)模型，取學(xué)習(xí)率為0.001，指數(shù)衰減β1、β2分別為0.9、0.999。在改進深度參殘差網(wǎng)絡(luò)模型的訓(xùn)練過程中，隨著神經(jīng)網(wǎng)絡(luò)模型迭代次數(shù)的增加，學(xué)習(xí)率逐步減小，進而是的深度神經(jīng)網(wǎng)絡(luò)模型收斂更快，同時學(xué)習(xí)率衰減可以更高效的提高Adam優(yōu)化算法的性能。

4 ?算法的訓(xùn)練與評估

4.1 ?ResNet模型的訓(xùn)練環(huán)境

ResNet模型的訓(xùn)練環(huán)境是：深度學(xué)習(xí)框架是Python 3.8、PyTorch，操作系統(tǒng)為Ubuntu 20.04，GPU是顯存為12 GB的NVIDIA RTX A4000，在CUDA上加速深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，主要使用Jupyter Notebook、Pycharm。

4.2 ?普通驗證方法

將快遞包裝圖像數(shù)據(jù)集劃分為訓(xùn)練集和測試集，按比例分別為70%、30%。用訓(xùn)練集訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型，用測試集對已訓(xùn)練好的圖像識別模型的性能進行評估，以上就是普通的驗證方法，即訓(xùn)練1次深度神經(jīng)網(wǎng)絡(luò)模型，能夠更快的得出訓(xùn)練結(jié)果并優(yōu)化超參數(shù)，又叫單次驗證方法。

4.3 ?交叉驗證方法

使用已有的快遞包裝圖像數(shù)據(jù)集，訓(xùn)練改進的深度殘差網(wǎng)絡(luò)模型，然后評估得到的該模型的識別準(zhǔn)確率、損失值、檢測速度等一系列關(guān)鍵指標(biāo)。本文采用的交叉驗證方法是指K折交叉驗證方法，即：在給定的樣本數(shù)據(jù)集對于簡單的模型訓(xùn)練、測試，亦或驗證分割而言太小難以產(chǎn)生泛化誤差的準(zhǔn)確估計時，該驗證方法可用于估計相關(guān)學(xué)習(xí)算法的泛化誤差。

4.4 ?算法的訓(xùn)練過程

通過遷移學(xué)習(xí)的方法進行改進深度殘差網(wǎng)絡(luò)模型的訓(xùn)練，由于深度神經(jīng)網(wǎng)絡(luò)中的圖像數(shù)據(jù)量大，而遷移學(xué)習(xí)可使深度殘差網(wǎng)絡(luò)模型收斂加速，來提高該模型識別的準(zhǔn)確率[8]。改進后的深度殘差網(wǎng)絡(luò)模型訓(xùn)練過程如下：

通過深度學(xué)習(xí)框架PyTorch，快遞包裝數(shù)據(jù)集通過數(shù)據(jù)加載、圖像預(yù)處理（采用基于Triplet相似性度量學(xué)習(xí)方法進行特征提取和進行尺度不變特征變換）、使用SIFT特征作為補充特征進行加權(quán)融合、改進的殘差網(wǎng)絡(luò)模型從訓(xùn)練集中抽取數(shù)量為批大?。看握{(diào)整參數(shù)前所選取的樣本數(shù)量）的數(shù)據(jù)集樣本利用Adam優(yōu)化器優(yōu)化模型的學(xué)習(xí)率，在梯度下降過程中，迭代次數(shù)設(shè)為80，開始訓(xùn)練改進的殘差網(wǎng)絡(luò)模型，在測試集中獲得每次的預(yù)測結(jié)果，此時交叉熵損失函數(shù)使得模型損失之減小，以提高該模型的準(zhǔn)確率[5]。

經(jīng)歷80次迭代后，深度神經(jīng)網(wǎng)絡(luò)模型會逐漸收斂，直到訓(xùn)練集和測試機的損失值和準(zhǔn)確率趨于穩(wěn)定。

5 ?實驗結(jié)果分析

在深度神經(jīng)網(wǎng)絡(luò)模型的結(jié)果分析中，混淆矩陣非常重要，在混淆矩陣中有四個指數(shù)可以用來衡量深度神經(jīng)網(wǎng)絡(luò)模型的性能，分別是準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）和F1分?jǐn)?shù)（F1score），計算式如下：

（11）

（12）

（13）

（14）

計算公式中TP表示快遞包裝樣本為真實值，是指被模型識別正確的種類的數(shù)量；FN表示快遞包裝樣本為真實值，是指被模型識別錯誤的種類的數(shù)量；FP表示快遞包裝樣本為錯誤值，但被模型識別正確的種類的數(shù)量；TN表示快遞包裝樣本為錯誤值，被模型識別錯誤的種類的數(shù)量。準(zhǔn)確率是指模型的識別準(zhǔn)確率；精確度是指在所有預(yù)測結(jié)果中，模型預(yù)測正確的比例；召回率是指所有真實值中，模型預(yù)測正確的比例；F1分?jǐn)?shù)表示精確度和召回率的綜合評價指標(biāo)。

改進深度殘差網(wǎng)絡(luò)的快遞包裝識別融合算法實驗結(jié)果如表2所示，分析可知，在快遞包裝圖像數(shù)據(jù)集上訓(xùn)練改進的深度殘差網(wǎng)絡(luò)模型，該模型的精確度、召回率和F1分?jǐn)?shù)都相對很高，整體的準(zhǔn)確率為98.67%，精確度為97.67%。

6 ?結(jié) ?論

本文提出了一種改進的深度殘差網(wǎng)絡(luò)快遞包裝識別模型，以紙版類包裝、塑膠類包裝及木制類包裝三類生活中常見快遞外包裝為研究對象，以PyTorch深度學(xué)習(xí)庫為研究框架，在普通的ResNet50的基礎(chǔ)上修改了激活函數(shù)，選取CeLU作為激活函數(shù)，增加了3個全連接層FC1、FC2、FC3，并在其中都加入了Droput，最后采用遷移學(xué)習(xí)的方式去訓(xùn)練模型。同時，在快遞包裝圖像預(yù)處理中采用Triplet相似性度量學(xué)習(xí)方法進行特征提取—進行尺度不變特征變換，SIFT特征作為補充特征，做加權(quán)融合，以形成新的融合算法。通過混淆矩陣的計算方法，可以得出改進的ResNet50網(wǎng)絡(luò)模型整體的準(zhǔn)確率為98.67%，精確度為97.67%、召回率為98.67%，F(xiàn)1分?jǐn)?shù)為98.33%。通過最后的檢測結(jié)果，充分地證明了改進的ResNet50融合算法應(yīng)用于快遞包裝圖像識別的性能優(yōu)越。

參考文獻：

[1] KHAN A，SOHAIL A，ZAHOORA U，et al. A survey of the recent architectures of deep convolutional neural networks [J].Artificial Intelligence Review，2020，24（14）：1-62.

[2] HE K M，ZHANG X Y，REN S Q，et al. Deep Residual Learning for Image Recognition [J].Computer Vision and Pattern Recognition，2015，34（10）：47-50.

[3] 羅海保.基于改進Faster R-CNN的多尺度小目標(biāo)檢測算法研究 [D].北京：北京交通大學(xué)，2019.

[4] XU H，TANG T，ZHANG B R，et al. Identification of two-phase flow regime in the energy industry based on modified convolutional neural network [J].Progress in Nuclear Energy，2022，41（9）：147.

[5] 萬鵬，趙竣威，朱明，等.基于改進Res Net50模型的大宗淡水魚種類識別方法 [J].農(nóng)業(yè)工程學(xué)報，2021，37（12）：159-168.

[6] GUO Q B，WU X J，KITTLER J，et al. Differentiable neural architecture learning for efficient neural networks [J]. Pattern Recognition，2022，31（2）：126.

[7] 張立峰，王智.基于多元經(jīng)驗?zāi)B(tài)分解與卷積神經(jīng)網(wǎng)絡(luò)的氣液兩相流流型識別 [J].計量學(xué)報，2023，44（01）：73-79.

[8] 羅維平，徐洋，陳永恒，等.基于遷移學(xué)習(xí)和改進ResNet50網(wǎng)絡(luò)的織物疵點檢測算法 [J].毛紡科技，2021，49（2）：71-78.

作者簡介：邵占英（1981—），男，滿族，河北秦皇島人，高級工程師，碩士研究生，研究方向：人工智能、機器學(xué)習(xí)與數(shù)據(jù)挖掘；通訊作者：劉飛（1976—），女，漢族，山東龍口人，高級工程師，本科，研究方向：計算機軟件開發(fā)與應(yīng)用；李麗杰（1981—），女，漢族，河北保定人，講師，碩士研究生，研究方向：區(qū)域物流與區(qū)域經(jīng)濟。