基于輕量化深度學(xué)習Mobilenet-SSD網(wǎng)絡(luò)模型的海珍品檢測方法

俞偉聰，郭顯久,2*，劉鈺發(fā)，劉婷，李雅薇

(1.大連海洋大學(xué) 信息工程學(xué)院，遼寧 大連 116023；2.遼寧省海洋信息技術(shù)重點實驗室，遼寧 大連 116023)

近年來，中國海珍品養(yǎng)殖量和需求量迅速增長，大規(guī)模商業(yè)化養(yǎng)殖對海珍品的檢測需要投入巨大的成本。基于計算機視覺的海珍品目標檢測技術(shù)可有效節(jié)約人力，降低運營成本，提高海珍品養(yǎng)殖自動化水平。因此，實現(xiàn)基于計算機視覺的目標檢測技術(shù)在海珍品養(yǎng)殖產(chǎn)業(yè)上的應(yīng)用，對于提高海珍品養(yǎng)殖的信息化程度，改善養(yǎng)殖條件具有重要意義[1]。

目前，輕量級的目標檢測模型已經(jīng)在各行業(yè)有著廣泛運用。如在車輛檢測領(lǐng)域，劉肯等[2]利用Tiny-YOLO模型實現(xiàn)了在真實環(huán)境下對車輛的自動識別。而目標檢測在漁業(yè)領(lǐng)域上的發(fā)展也趨向完善，F(xiàn)rench等[4]使用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)了魚類捕撈視頻監(jiān)控識別；Chen等[5]采用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)了野外環(huán)境下魚類的分類和檢測。隨著目標檢測在漁業(yè)領(lǐng)域應(yīng)用中的推進，基于深度學(xué)習的計算機視覺技術(shù)也運用到海珍品目標檢測上，并取得了一定效果。如袁利毫等[3]采用YOLOV3模型實現(xiàn)了水下小目標的識別并成功運用在水下海珍品抓取。

目標檢測技術(shù)應(yīng)用在海珍品上主要存在以下問題：一是自然環(huán)境下，海珍品大多生長在泥沙多、水質(zhì)混濁的區(qū)域，在水下攝像機鏡頭中呈現(xiàn)出一種深綠色，就需要對采集的圖像進行預(yù)處理；二是在大型服務(wù)器上運行的分類網(wǎng)絡(luò)如VGG[6]等，對設(shè)備要求較高，不便于在海珍品養(yǎng)殖場等區(qū)域部署；三是水下通信條件遠不及陸地，特別在遠離海岸的地方，信號延時較大。因此，構(gòu)建輕量化模型并把模型運行在船載設(shè)備上，是解決此類問題的重要思路。基于上述原因，本研究中提出了基于輕量化深度學(xué)習模型的海珍品檢測方法，并對水下環(huán)境較暗、物體與背景分辨率低等特點，采用優(yōu)化的Retinex算法[7]進行圖像增強，針對通信網(wǎng)絡(luò)環(huán)境復(fù)雜，構(gòu)建低時延、高精度的輕量化網(wǎng)絡(luò)模型Mobilenet-SSD對海珍品進行檢測，旨在實現(xiàn)精確檢測多種水下海珍品，為科學(xué)養(yǎng)殖海珍品過程中掌握海珍品分布提供可靠保障。

1 輕量化深度學(xué)習網(wǎng)絡(luò)模型的構(gòu)建

當前主流的深度學(xué)習目標檢測網(wǎng)絡(luò)模型有SSD[8]和YOLO模型[9]。為了選擇一種適合邊緣計算的輕量化網(wǎng)絡(luò)模型，本文對比了Tiny-YOLO網(wǎng)絡(luò)模型的主干網(wǎng)絡(luò)YOLOV2和SSD網(wǎng)絡(luò)模型的主干網(wǎng)絡(luò)Mobilenet[10]。Mobilenet模型是當前最流行的輕量化網(wǎng)絡(luò)模型之一，相比于Mobilenet模型，YOLOV2模型有兩點明顯的缺點：一是其屬于端到端的訓(xùn)練方式，對于訓(xùn)練結(jié)果不容易進行科學(xué)調(diào)試；二是YOLOV2模型只做了7層的卷積尺度變換，特征損失較大，MobileNet和YOLOV2網(wǎng)絡(luò)模型參數(shù)的比較如表1所示。

針對海珍品檢測，本文利用Mobilenet網(wǎng)絡(luò)檢測到目標海珍品后，再用SSD的分類網(wǎng)絡(luò)進行目標分類，組成MobileNet-SSD輕量化深度學(xué)習網(wǎng)絡(luò)模型，以便達到提高海珍品檢測準確率和實時性的要求。

表1 Mobilenet與YOLOV2網(wǎng)絡(luò)模型參數(shù)的比較

1.1 Mobilenet分類網(wǎng)絡(luò)模型

本研究中使用的網(wǎng)絡(luò)模型是Mobilenet-V1版本，Mobilenet核心思想是引入了深度可分離卷積[10](圖1)，將標準的卷積過濾器拆分成深度卷積和逐點卷積兩個結(jié)構(gòu)。假設(shè)輸入與輸出的長×寬不變，標準的卷積過程是將輸入為DF×DF×M的輸入層轉(zhuǎn)化為維度為DF×DF×N的輸出層，其中DF×DF為輸入或輸出feature map的長×寬，M為是輸入通道數(shù)，N為輸出通道數(shù)。 假設(shè)卷積核過濾器的尺寸為DK×DK，則標準卷積核的計算量為DK×DK×M×N×DF×DF。對于深度可分離卷積來說，卷積執(zhí)行次數(shù)的計算分為2步，第一步深度卷積計算中，有M個DK×DK的矩陣移動DF×DF次，第二步1×1卷積計算中，有N個1×1×M的卷積核移動DF×DF次，因此，將以上2步執(zhí)行次數(shù)相加，得到總的卷積執(zhí)行次數(shù)，深度可分離卷積的計算量為DK×DK×M×DF×DF+1×1×M×N×DF×DF，深度可分離卷積和標準卷積的計算量比值為

(1)

圖1 深度卷積和逐點卷積Fig.1 Deep convolutional neural networks and point by point convolution neural networks

Mobilenet的卷積核尺寸選用DK×DK=3×3，帶入式(1)得到深度可分離卷積的計算量是標準卷積的1/8～1/9，從而達到提升網(wǎng)絡(luò)模型運算速度的目的。

1.2 Mobilenet-SSD檢測網(wǎng)絡(luò)模型

水下海珍品目標檢測網(wǎng)絡(luò)模型Mobilenet-SSD的整體結(jié)構(gòu)如圖2所示。模型將增強后的圖像統(tǒng)一調(diào)節(jié)長×寬至300×300像素，送入網(wǎng)絡(luò)結(jié)構(gòu)，圖中綠色邊框組成的是Mobilenet網(wǎng)絡(luò)模型，圖像經(jīng)過Mobilenet基礎(chǔ)分類網(wǎng)絡(luò)模型的底層網(wǎng)絡(luò)提取位置邊緣等信息，通過上層網(wǎng)絡(luò)提取更加具象的特征。圖中由黑色邊框組成的目標檢測器SSD是采用多尺度特征進行預(yù)測，取消預(yù)先提取候選區(qū)域這一步驟，對目標按照位置和類別置信度分別進行評價，評估總體的損失函數(shù)。在形成Mobilenet-SSD網(wǎng)絡(luò)模型后，分別在conv11、conv13、conv14_2、conv15_2、conv16_2、conv17_2卷積共6層上提取特征，將SSD檢測器的最小尺寸38×38改進為19×19尺寸的feature map，開始提取特征送給檢測器，同時在6層不同尺度的特征層生成多組對應(yīng)先驗框(prior box),這些先驗框選取的長與寬比例分別為1、2、3、1/2、1/3，在6層特征層上各采用一次1×1卷積對每個先驗框進行位置和類別的預(yù)判別。令n為該特征層所需要的先驗框個數(shù)，則對于位置預(yù)測所需要的卷積核個數(shù)是n×4，對于類別預(yù)測需要的卷積核個數(shù)是n×c，其中c是類別數(shù)，本文中取為3。由于每個真實目標(ground truth)會匹配多個先驗框，最后要選擇交并比(IOU)最大的先驗框與真實目標做匹配成為真樣本，對于其余先驗框，如果交并比大于一定閾值，就將這些框刪除，這個過程就是非極大值抑制(NMS)算法，只留下得分最高的框然后輸出。非極大值抑制算法對于海珍品目標檢測十分必要，因為海珍品生長特點是密集性的，即使在1×1卷積核情況下，仍會受到其余海珍品的部分影響，非極大值抑制過濾多余先驗框，保證了分類網(wǎng)絡(luò)在卷積核中心分類的準確性。

在Mobilenet-SSD結(jié)構(gòu)上，conv11、conv13、conv14_2、conv15_2、conv16_2、conv17_2卷積的先驗框的個數(shù)分別是3、6、6、6、6、6，對于某一類檢測目標，檢測器都有19×19×3+10×10×6+5×5×6+3×3×6+2×2×6+1×1+6=1917個先驗框負責檢測這個目標。圖2下半部分展示了將卷積提取特征至SSD檢測器并最后輸出的過程。

2 海珍品檢測網(wǎng)絡(luò)模型的訓(xùn)練和測試

試驗數(shù)據(jù)來自ChinaMM2018水下機器人目標抓取大賽官方標注的海珍品數(shù)據(jù)集，由潛水員在特定養(yǎng)殖海域進行拍攝，拍攝對象為海參、海膽、扇貝三類目標，圖像格式為.jpg格式，固定分辨率為720×405像素，官方同時也提供了標注有圖像類別和位置的.xml文件，文件名與圖像名稱一一對應(yīng)。

2.1 建立數(shù)據(jù)集

篩選通過Retinex算法增強后的圖像，選定5 606張圖像用于訓(xùn)練和測試模型性能。由于海珍品的生長特性，往往是一張圖像中有多類海珍品，且每種海珍品的數(shù)量不止一個，因此，對于一個輕量化模型來說這個數(shù)據(jù)量是足夠的。按照VOC2012數(shù)據(jù)集的格式規(guī)范化數(shù)據(jù)，將80%的數(shù)據(jù)量用于訓(xùn)練驗證，20%用于測試。在與圖像對應(yīng)的信息文件中，包含了圖像名稱、海珍品類別名稱、標注框的位置信息、標注框的長和寬。

2.2 網(wǎng)絡(luò)模型的訓(xùn)練和測試

訓(xùn)練數(shù)據(jù)集圖像大小均為統(tǒng)一的720×405像素，訓(xùn)練平臺是Windows10操作系統(tǒng)，型號為2070的顯卡，12G內(nèi)存條。全局訓(xùn)練次數(shù)為30 000次，初始學(xué)習率(rL)設(shè)置2組候選值,分別為0.004、0.04，動量系數(shù)(α)設(shè)置3組候選值，分別為0.5、0.9、0.99。針對這些候選值設(shè)計了多組對比試驗，序號為1、2、3的試驗在固定學(xué)習率為0.04的情況下改變動量系數(shù)，序號為4、5、6的試驗在固定學(xué)習率為0.004的情況下改變動量系數(shù)，超參數(shù)組合試驗情況如表2所示。

表2 不同超參數(shù)組合對應(yīng)的平均準確率

由表2可以看出，設(shè)置學(xué)習率為0.04對于模型的梯度下降過程不能較好地收斂到全局最小值，在網(wǎng)絡(luò)模型訓(xùn)練初始階段，設(shè)置學(xué)習率較大有助于模型盡快收斂，但是在訓(xùn)練后期，較大的學(xué)習率會讓梯度下降在權(quán)重更新的時候出現(xiàn)波動影響收斂。據(jù)此在第4組試驗時，把學(xué)習率定在0.004，對比第4組、第5組、第6組試驗，發(fā)現(xiàn)當α取值為0.9時的平均準確率最高。動量系數(shù)是避免梯度下降時模型陷入局部最小值時引入的一個超參數(shù)，α設(shè)置為0.5時過小，不能使模型逃脫局部最小值陷阱，α設(shè)置為0.99時過大，可能使模型跳過局部最小值。綜合以上考慮，最終選擇初始學(xué)習率為0.004，動量系數(shù)為0.9。

根據(jù)上面最佳參數(shù)組合(rL=0.004，α=0.9)訓(xùn)練模型的權(quán)重參數(shù)。訓(xùn)練使用的參數(shù)初始化方式是載入在Imagenet數(shù)據(jù)集上已預(yù)訓(xùn)練的參數(shù)，訓(xùn)練開始后可以通過卷積層的名稱固定底層的參數(shù)不進行訓(xùn)練，解凍上層卷積結(jié)構(gòu)，針對海珍品的特征進行參數(shù)微調(diào)。最終在測試集上的損失率固定在0.9～1.1范圍內(nèi)，如圖3所示，模型的平均準確率為85.79%，檢測一幅海珍品圖像用時0.2 s。

圖3 網(wǎng)絡(luò)模型損失函數(shù)的變化情況Fig.3 Change in network loss function

3 結(jié)果與討論

為了進一步說明提出的Mobilenet-SSD模型的有效性，本試驗中選擇了VGG-SSD模型作為參照，對比兩種模型的檢測效果。VGG與Mobilenet都是基礎(chǔ)分類網(wǎng)絡(luò)模型，相比Mobilenet，VGG網(wǎng)絡(luò)卷積核尺寸較小，但是參數(shù)量更多。從海珍品的大小和海珍品的品種2個方面分別做比較，每個評價指標均設(shè)置3組對比試驗。為了對比兩種檢測模型的效果，需要先確定模型的評價指標。

由于本文構(gòu)建的Mobilenet-SSD網(wǎng)絡(luò)模型的主干網(wǎng)絡(luò)Mobilenet最大的優(yōu)點是網(wǎng)絡(luò)參數(shù)量小，對運行速度有顯著提升，因此，在選擇評價指標的時候，除了采用在各類檢測物體的準確率和調(diào)和平均值(F1)指標外，還加入了對每張圖像的運算時間指標(t)。F1的計算公式為

(2)

其中：P為準確率，P=TP/(TP+FP)；R為召回率，R=TP/(TP+FN)，公式中TP、FP、FN、TN參數(shù)含義如表3所示。

表3 分類結(jié)果混淆矩陣Tab.3 Classification results of the fuscate matrix

為了獲得真正例和假反例，需要先計算交并比(IOU),交并比是預(yù)測框與真實值的交集和并集的比值，本文參考PASCAL VOC數(shù)據(jù)集所用的指標，設(shè)置交并比的閾值為0.5，如果IOU>0.5,認為檢測結(jié)果是真正例，否則認為是假正例。真正例確定后，漏檢的物體數(shù)即假反例就可以由所有正例減去真正例求出。

3.1 不同大小海珍品的檢測結(jié)果

在實際測試集當中，海珍品的大小往往對最后的檢測結(jié)果有較大的影響。大目標遮擋較少，識別難度低，小目標較為密集遮擋程度大，識別難度高。根據(jù)目標在整幅圖像中所占的比例把目標分為大、小兩類，同時將模型對大、小兩類目標海珍品的檢測結(jié)果進行了評價。定義占全圖面積5%～20%為小目標，超過20%為大目標。圖4為Mobilenet-SSD和VGG-SSD 2種模型在大、小兩類目標海珍品上的檢測效果，表4是對檢測結(jié)果進行統(tǒng)計。表4中總體的計算方法是：統(tǒng)計大、小兩類目標試驗的總樣本數(shù)、所有正樣本數(shù)、所有檢測到的樣本數(shù)和所有檢測到的正樣本數(shù)量，采用相同的試驗方法計算總體的準確率、召回率和F1值。分析顯示，Mobilenet-SSD模型在檢測結(jié)果優(yōu)于VGG-SSD的同時，更明顯的提升是檢測速度比VGG-SSD快了近4倍，說明Mobilenet-SSD模型在不損失性能的同時，通過優(yōu)化卷積之間的連接結(jié)構(gòu)，使參數(shù)量下降并加快了運算速度。

3.2 不同種類海珍品的檢測結(jié)果

為了進一步分析在不同種類海珍品上的檢測效果，本文用Mobilenet-SSD和VGG-SSD 2種模型分別對海參、海膽和扇貝3類海珍品目標檢測效果進行對比。在原始數(shù)據(jù)中3類海珍品生長區(qū)域往往高度混合，海參和扇貝顏色相近，海膽顏色區(qū)分度最大但生長也最為密集，完全被檢測到難度較大。圖5為2種模型在不同種類海珍品上的檢測效果。

統(tǒng)計每類海珍品被正確分類的樣本數(shù)TP、被分入正例的負樣本數(shù)FP和被分入負例的正樣本數(shù)量FN，并計算相關(guān)評價指標，結(jié)果顯示，Mobilenet-SSD模型的F1值比VGG-SSD高10.69%，平均準確率比VGG-SSD高9.58%(表5)，這表明Mobilenet-SSD模型在識別精度上表現(xiàn)得更為優(yōu)異。兩種模型同時在扇貝識別上表現(xiàn)最好，在海參識別上表現(xiàn)次之，在海膽識別上表現(xiàn)最差(表5)。推測導(dǎo)致這種情況的原因可能是：扇貝生長分布較為分散，遮罩較少，所以檢測效果最好；部分海參埋在泥地下，可提取特征區(qū)域小，交并比小，導(dǎo)致假正例多，影響準確率；海膽分布太過密集，遮擋大，導(dǎo)致很多海膽未被檢測到，召回率最低。

圖5 2種網(wǎng)絡(luò)模型對不同種類海珍品的檢測效果Fig.5 Detection effect of two network on different kinds of high value marine food organisms

表5 Mobilenet-SSD與VGG-SSD網(wǎng)絡(luò)模型對不同種類海珍品的檢測結(jié)果統(tǒng)計

圖6展示了部分識別遺漏或誤判的場景，圖6(a)把背景海草識別為扇貝，圖6(b)左側(cè)存在一塊扇貝漏檢的情況，圖6(c)因為檢測目標過于密集反而遺漏了稀疏部分的目標。

圖6 部分存在錯誤識別的圖像Fig.6 Part of the misidentified image

4 結(jié)論

1) 提出了基于卷積神經(jīng)網(wǎng)絡(luò)的輕量化模型Mobilenet-SSD，在構(gòu)建適合自己數(shù)據(jù)集的結(jié)果上確定了適用于海珍品檢測的學(xué)習率0.004和動量系數(shù)0.9，最終輸出的模型在3類海珍品檢測上的平均精度為85.79%，測試一張海珍品圖像用時0.2 s，在大、小兩類海珍品目標檢測上，較VGG-SSD模型在準確率和實時性上都有明顯提升。

2) 對比因不同種類海珍品而產(chǎn)生的準確率、召回率差異，表明Mobilenet-SSD模型能夠滿足在自然海域里對海參和扇貝的檢測，而海膽因為密集型的生長分布情況，容易造成目標丟失的情況。

3)在使用相同數(shù)據(jù)集的已報道文獻中，與使用YOLOV2網(wǎng)絡(luò)模型相比，本文中提出的Mobilenet-SSD網(wǎng)絡(luò)模型更加輕量化，為搭載在功率更低的水下設(shè)備上提供了條件；與使用Tiny-YOLO模型相比，Mobilenet-SSD模型增加了網(wǎng)絡(luò)層數(shù)，使得目標特征得到充分利用，同時模型的訓(xùn)練結(jié)果更容易調(diào)試，為未來的更新升級創(chuàng)造了空間。