基于多組卷積神經(jīng)網(wǎng)絡(luò)的梭子蟹性別識(shí)別研究

魏天琪 ，鄭雄勝，李天兵，王日成

1. 浙江海洋大學(xué) 海洋工程裝備學(xué)院，浙江 舟山 316002

2. 合肥城市學(xué)院，安徽 合肥 231131

三疣梭子蟹 (Portunustrituberculatus)，俗稱(chēng)梭子蟹，屬于甲殼綱、十足目、梭子蟹科、梭子蟹屬，其肉質(zhì)鮮美、營(yíng)養(yǎng)豐富，廣受消費(fèi)者青睞，是中國(guó)沿海重要的經(jīng)濟(jì)蟹類(lèi)[1]。梭子蟹生長(zhǎng)速度快、養(yǎng)殖成本低、經(jīng)濟(jì)效益高，已成為中國(guó)沿海地區(qū)的重要養(yǎng)殖品種。由于雌、雄梭子蟹的營(yíng)養(yǎng)成分不同，在市場(chǎng)銷(xiāo)售前需要對(duì)其性別進(jìn)行分類(lèi)。目前，梭子蟹的性別分類(lèi)主要靠人眼識(shí)別和手工挑選，效率低下。因此，開(kāi)發(fā)一種計(jì)算機(jī)輔助自動(dòng)分類(lèi)系統(tǒng)來(lái)區(qū)分梭子蟹的性別非常必要。

早期的分類(lèi)任務(wù)主要是手工設(shè)計(jì)提取特征，包括傳統(tǒng)機(jī)器學(xué)習(xí)[2-4]和利用上下文信息[5-6]，但是該類(lèi)方法的表達(dá)能力較弱，所以分類(lèi)模型的泛化能力不強(qiáng)。例如，Lecun 等[7]提出的一種多層人工神經(jīng)網(wǎng)絡(luò)LeNet 是為手寫(xiě)數(shù)字分類(lèi)而設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò) (Convolutional neural network, CNN)。2006 年，深度學(xué)習(xí) (Deep learning)[8]的概念被提出，在深度學(xué)習(xí)技術(shù)的推動(dòng)下，圖像分類(lèi)及識(shí)別的相關(guān)研究迅速發(fā)展[9-13]。

基于深度學(xué)習(xí)的圖像分類(lèi)中，Krizhevsky 等[9]構(gòu)建了一種較深層數(shù)的網(wǎng)絡(luò)AlexNet，并首次引入了Relu 激活函數(shù)，同時(shí)在全連接層中使用Dropout，解決了模型的過(guò)擬合問(wèn)題。牛津大學(xué)的幾何視覺(jué)組 (Visual geometry group[10])設(shè)計(jì)的VGG 模型在網(wǎng)絡(luò)結(jié)構(gòu)上并沒(méi)有太大的創(chuàng)新，但是通過(guò)實(shí)驗(yàn)對(duì)比發(fā)現(xiàn)，增加網(wǎng)絡(luò)的層數(shù)確實(shí)能夠在一定程度上提高網(wǎng)絡(luò)的訓(xùn)練效果。此外，VGG 模型始終使用的是非常小的卷積核，通過(guò)串聯(lián)很多小的卷積核后，其感受野和一個(gè)大卷積核相同，因此能很大程度地減少模型訓(xùn)練所需的參數(shù)。He等[12]開(kāi)發(fā)出一種具有深度殘差結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)ResNet，很好地解決了網(wǎng)絡(luò)深度達(dá)到一定層數(shù)時(shí)，模型的性能逐漸會(huì)趨向于飽和的問(wèn)題，以及在網(wǎng)絡(luò)達(dá)到某一深層時(shí)會(huì)使模型的性能急劇下降的問(wèn)題。

在過(guò)去的幾年里，圖像的成熟分類(lèi)技術(shù)主要得益于兩個(gè)關(guān)鍵因素：一個(gè)是卷積神經(jīng)網(wǎng)絡(luò)，另一個(gè)是大量的可用圖像數(shù)據(jù)集，如CIFAR 數(shù)據(jù)集[14]和ImageNet 數(shù)據(jù)集[15]。當(dāng)前，一些研究者已經(jīng)將圖像分類(lèi)方法應(yīng)用到實(shí)際場(chǎng)景中。例如，在醫(yī)學(xué)圖像分類(lèi)領(lǐng)域中，杜麗君等[16]提出了一種基于注意力機(jī)制和多任務(wù)學(xué)習(xí)的阿爾茲海默癥分類(lèi)方法。該方法是一種不需要人工提取特征的網(wǎng)絡(luò)，通過(guò)引入注意力機(jī)制，能夠在不丟失重要特征信息的前提下，將分類(lèi)任務(wù)所需要的關(guān)注重點(diǎn)放在目標(biāo)區(qū)域中；隨后通過(guò)不同的全連接層來(lái)實(shí)現(xiàn)多任務(wù)學(xué)習(xí)，從而提高了網(wǎng)絡(luò)的泛化能力。實(shí)驗(yàn)結(jié)果表明，該方法能夠?qū)Π柶澓ＤY進(jìn)行準(zhǔn)確分類(lèi)。在遙感圖像分類(lèi)領(lǐng)域中，王寧等[17]在隨機(jī)森林、支持向量機(jī)和BP 神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上設(shè)計(jì)出一種集成分類(lèi)模型，并將其應(yīng)用于水產(chǎn)養(yǎng)殖的水體資源遙感動(dòng)態(tài)監(jiān)測(cè)任務(wù)中。該模型很好地彌補(bǔ)了單個(gè)分類(lèi)模型分類(lèi)精度較低以及魯棒性較差等缺點(diǎn)，在很大程度上避免了山體與建筑陰影等外在因素對(duì)水體特征提取的干擾。最終實(shí)驗(yàn)結(jié)果顯示該分類(lèi)模型擁有較高的分類(lèi)精度，表明該模型能夠成為水體資源遙感動(dòng)態(tài)監(jiān)測(cè)的分析工具之一。此外，朱明等[18]基于輕量級(jí)神經(jīng)網(wǎng)絡(luò)構(gòu)建出一種鱸魚(yú)捕食狀態(tài)分類(lèi)網(wǎng)絡(luò)，滿(mǎn)足了現(xiàn)代智能水產(chǎn)養(yǎng)殖的自動(dòng)投喂需求。

然而，尚未見(jiàn)圖像分類(lèi)的相關(guān)技術(shù)應(yīng)用于梭子蟹性別識(shí)別的研究報(bào)道。為此，本文提出一種應(yīng)用于梭子蟹性別識(shí)別任務(wù)的分類(lèi)方法：首先構(gòu)建一個(gè)用于梭子蟹性別分類(lèi)的數(shù)據(jù)集PGCD；然后搭建一種多組卷積神經(jīng)網(wǎng)絡(luò) (Multi-group convolutional neural network, MGCNN)，并使用注意力機(jī)制更專(zhuān)注地找出輸入數(shù)據(jù)的有用信息；最后通過(guò)一系列的調(diào)整參數(shù)工作提高M(jìn)GCNN 的分類(lèi)精度。

1 材料與方法

圖1 展示了本文所提方法的整體框架，包括數(shù)據(jù)預(yù)處理、數(shù)據(jù)增強(qiáng)以及MGCNN。 其中，MGCNN包含了深度提取特征模塊和融合特征分類(lèi)模塊。數(shù)據(jù)預(yù)處理主要是將采集到的梭子蟹圖像進(jìn)行降低像素處理，從而解決后續(xù)處理速度過(guò)慢的問(wèn)題；數(shù)據(jù)增強(qiáng)主要是對(duì)經(jīng)過(guò)預(yù)處理后的梭子蟹圖像進(jìn)行數(shù)據(jù)擴(kuò)充，解決了少量樣本可能給網(wǎng)絡(luò)帶來(lái)的過(guò)度擬合問(wèn)題，或者樣本不均衡導(dǎo)致模型預(yù)測(cè)時(shí)對(duì)多數(shù)類(lèi)的側(cè)重問(wèn)題；深度提取特征模塊使用幾組成熟的CNN 來(lái)提取圖像的視覺(jué)特征，通過(guò)實(shí)驗(yàn)對(duì)比，最終的CNN 本文選取ResNet50；融合特征分類(lèi)模塊主要是先將CNN 提取到的特征進(jìn)行信息融合，然后利用注意力機(jī)制代替?zhèn)鹘y(tǒng)池化層，在降低融合特征圖維度的同時(shí)，去除了特征圖的冗余信息，保留特征圖的重要信息，最后經(jīng)過(guò)輸出分類(lèi)層獲取分類(lèi)結(jié)果。

圖1 所提方法的總體架構(gòu)Fig. 1 Overall architecture of our approach

1.1 數(shù)據(jù)預(yù)處理

在公開(kāi)數(shù)據(jù)庫(kù)中，并沒(méi)有梭子蟹性別分類(lèi)的數(shù)據(jù)集，因此首先需要構(gòu)建相關(guān)的數(shù)據(jù)集。本文的原始梭子蟹數(shù)據(jù)集主要由課題組在舟山水產(chǎn)品加工公司采集，采集所用設(shè)備的配置為10 800 萬(wàn)像素的主攝+1 300 萬(wàn)像素的超廣角鏡頭+500 萬(wàn)像素的長(zhǎng)焦微距鏡頭。采集到的原始數(shù)據(jù)集共有1 174 張圖像，其中雌、雄性圖像各494 和680 張，圖像像素約為3 024×4 032。圖2 為部分采集的梭子蟹樣品。

圖2 部分梭子蟹樣本 (左：雌性；右：雄性)Fig. 2 Samples of Portunid (Left: female; Right: male)

由于所采集的圖像像素較大，導(dǎo)致后續(xù)操作中處理速度較慢，因此需要對(duì)圖像進(jìn)行像素降低處理，調(diào)整后的圖像大小統(tǒng)一為224×224 像素。傳統(tǒng)的降低像素操作通常是利用opencv 庫(kù)的resize( )，然而這種操作對(duì)于尺寸非N×N大小轉(zhuǎn)化為N×N大小的圖像來(lái)說(shuō)，會(huì)改變圖像原有的特征，影響網(wǎng)絡(luò)的最終分類(lèi)精度[19-21]。因此，本文采用一種等比例調(diào)整圖像大小的方法，即在不改變寬高比的情況下進(jìn)行圖片調(diào)整，并填充至實(shí)驗(yàn)所需要的224×224 像素的圖像。resize ( ) 和等比例調(diào)整大小并填充的圖像對(duì)比如圖3 所示。

圖3 兩種降低像素的效果對(duì)比Fig. 3 Comparison of two pixel reduction effects

1.2 數(shù)據(jù)增強(qiáng)

經(jīng)過(guò)預(yù)處理后，將數(shù)據(jù)集隨機(jī)分成原始訓(xùn)練集和原始測(cè)試集，均包含587 張梭子蟹圖像 (雌性247 張，雄性 340 張)。為了解決少量樣本可能給網(wǎng)絡(luò)帶來(lái)的過(guò)度擬合問(wèn)題，或者樣本不均衡導(dǎo)致模型預(yù)測(cè)時(shí)對(duì)多數(shù)類(lèi)的側(cè)重問(wèn)題，需要對(duì)原始數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，以擴(kuò)充出更多數(shù)據(jù)來(lái)提高數(shù)據(jù)集的數(shù)量和質(zhì)量，提高網(wǎng)絡(luò)模型的學(xué)習(xí)效果[22-24]。數(shù)據(jù)增強(qiáng)的過(guò)程如下所述：

(I) 隨機(jī)翻轉(zhuǎn)：為了解決樣本不均衡問(wèn)題，本文隨機(jī)從原始訓(xùn)練集和原始測(cè)試集中各選取93 張雌性圖像，進(jìn)行隨機(jī)翻轉(zhuǎn)，從而使得原始訓(xùn)練集和原始測(cè)試集中雌性和雄性圖像均有340 張。隨機(jī)翻轉(zhuǎn)是指從3 種翻轉(zhuǎn)方式中 (水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)和水平-垂直翻轉(zhuǎn)) 隨機(jī)選取一種進(jìn)行翻轉(zhuǎn)。

(II) 隨機(jī)旋轉(zhuǎn)：對(duì) (I) 中的原始訓(xùn)練集圖像進(jìn)行隨機(jī)角度旋轉(zhuǎn)，旋轉(zhuǎn)角度在0°～90°、90°～180°、180°～270°和270°～360° 4 個(gè)范圍內(nèi)進(jìn)行隨機(jī)選取。

(III) 隨機(jī)平移：對(duì) (I) 中的原始訓(xùn)練集圖像進(jìn)行隨機(jī)像素平移，像素平移在?20 至20 之間進(jìn)行隨機(jī)選取，包括8 個(gè)方向。

(IV) 隨機(jī)明亮度：對(duì) (I) 中的原始訓(xùn)練集圖像進(jìn)行隨機(jī)明亮度調(diào)整，調(diào)整系數(shù)在0.8～1.0 和1.0～1.2 兩個(gè)范圍內(nèi)隨機(jī)選取。

(V) 隨機(jī)噪聲：對(duì) (I) 中的原始訓(xùn)練集圖像隨機(jī)添加高斯噪聲和椒鹽噪聲，添加噪聲的系數(shù)均介于0.009～0.011 隨機(jī)選取。

值得注意的是，除了(I) 對(duì)訓(xùn)練集和測(cè)試集進(jìn)行數(shù)據(jù)增強(qiáng)，(II)—(V) 均僅對(duì)訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)。其中，(IV) 和 (V) 主要是針對(duì)模型識(shí)別過(guò)程中圖像出現(xiàn)的明亮度變化和噪聲影響。通過(guò) (IV) 和(V) 兩種數(shù)據(jù)增強(qiáng)技術(shù)可以讓模型在現(xiàn)實(shí)環(huán)境中具有更好的應(yīng)對(duì)能力。

5 種不同類(lèi)型的數(shù)據(jù)增強(qiáng)技術(shù)示例如圖4 所示。因此，經(jīng)過(guò)數(shù)據(jù)增強(qiáng)后最終的數(shù)據(jù)集共有12 312 張梭子蟹圖像，將其命名為PGCD。其中，訓(xùn)練集和測(cè)試集分別各有11 560 張 (雌性 5 780張，雄性 5 780 張) 和680 張 (雌性 340 張，雄性340 張) 圖像。

圖4 5 種不同類(lèi)型的數(shù)據(jù)增強(qiáng)技術(shù)的示例Fig. 4 Examples of five different types of data enhancement technologies

1.3 深度提取特征模塊

雖然Transformer[25]已經(jīng)成為自然語(yǔ)言處理任務(wù)上的重要體系結(jié)構(gòu)之一，但它在計(jì)算機(jī)視覺(jué)(Computer Vision, CV) 領(lǐng)域的應(yīng)用卻非常有限。為了解決該問(wèn)題，Dosovitskiy 等[26]開(kāi)發(fā)出一種Vision Transformer (ViT) 模型，可以直接應(yīng)用于圖像塊序列 (Sequences of image patches)，并且能夠很好地執(zhí)行圖像分類(lèi)任務(wù)。受這項(xiàng)工作的啟發(fā)，本研究在提取特征之前設(shè)置了圖像塊來(lái)渲染每張圖 (圖5)。

圖5 深度提取特征模塊Fig. 5 Depth extraction feature module

具體操作是將輸入圖像切分成多個(gè)大小一致的圖像塊。在此假設(shè)輸入圖像的尺寸大小為N×N，需要切分的圖像塊數(shù)為n2，那么圖像塊的尺寸大小NP×NP用公式可表示為：

式中：n為正整數(shù)。本文所提的MGCNN 的輸入圖像尺寸為224×224 像素，圖像塊的個(gè)數(shù)n2=4，所以圖像塊的尺寸為112×112 像素。

在4 組圖像塊渲染圖像之后，需要通過(guò)CNN來(lái)對(duì)每個(gè)圖像塊進(jìn)行特征學(xué)習(xí)。為了減少特征提取過(guò)程的信息丟失，使得特征提取更有力，本文使用具有殘差塊的ResNet50 作為深度提取特征模塊中的主干CNN。ResNet50 的殘差塊示意圖見(jiàn)圖6。

圖6 ResNet50[12]殘差模塊示意圖Fig. 6 Residuals block diagram of ResNet50[12]

可以看出，殘差塊具有兩條路徑，一條是進(jìn)行跳躍連接的輸入特征X，另一條是經(jīng)過(guò)3 次卷積操作后得到的映射函數(shù)F(X)，然后將這兩條路徑連接后就能得到殘差模塊的輸出H(X)，其過(guò)程可用公式(2) 來(lái)表示：

1.4 融合特征分類(lèi)模塊

融合特征分類(lèi)模塊如圖7 所示。通過(guò)CNN 學(xué)習(xí)不同圖像塊的視覺(jué)特征后，需要一個(gè)獨(dú)特的全局描述符來(lái)表示圖像。本文將不同圖像塊的視覺(jué)特征拼接 (Concatenate) 成一個(gè)全局特征圖。最近一些研究表明，適當(dāng)增加一些注意力機(jī)制可以更專(zhuān)注地找出輸入數(shù)據(jù)的有用信息[27-29]。 為此，在分類(lèi)之前本研究引入了一個(gè)注意力機(jī)制，來(lái)強(qiáng)調(diào)全局特征圖中的細(xì)節(jié)重要性。首先，通過(guò)3 個(gè)1×1 的卷積層從全局特征圖中獲得Q、K、V3 個(gè)特征層；其次，將Q轉(zhuǎn)置后與K做乘積運(yùn)算形成一個(gè)新的特征圖，再經(jīng)過(guò)softmax 函數(shù)后形成注意力權(quán)重；然后，將V與注意力權(quán)重做積運(yùn)算，并使用最大池化對(duì)其結(jié)果進(jìn)行降低維度處理；最后，通過(guò)全連接層獲取待分類(lèi)類(lèi)別的概率分布。

圖7 融合特征分類(lèi)模塊Fig. 7 Fusion feature classification module

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)設(shè)置

本實(shí)驗(yàn)均在同一環(huán)境配置的計(jì)算機(jī)上完成，訓(xùn)練集和測(cè)試集均來(lái)自于構(gòu)建的PGCD 數(shù)據(jù)集。用于實(shí)驗(yàn)的計(jì)算機(jī)配置為Windows10、NVidia Ge-Force GTX 1080 Ti GPU、16 GB 內(nèi)存，實(shí)驗(yàn)基于Pytorch 的方法[30]來(lái)實(shí)現(xiàn)，損失函數(shù)使用交叉熵?fù)p失 (Cross entropy loss) ，最大epoch 值設(shè)置為100。通過(guò)實(shí)驗(yàn)對(duì)比，本研究提出方法的backbone model 為ResNet50，學(xué)習(xí)率值設(shè)置為 0.000 1，batch size 設(shè)置為32。此外，為了優(yōu)化整體模型架構(gòu)，本文使用 Adam[31]作為訓(xùn)練階段優(yōu)化器。

2.2 評(píng)估指標(biāo)

衡量模型分類(lèi)性能的評(píng)估指標(biāo)主要包括分類(lèi)準(zhǔn)確率 (又稱(chēng)分類(lèi)精度)、召回率與查準(zhǔn)率等[32-35]。本文主要采用這3 個(gè)指標(biāo)對(duì)所提方法進(jìn)行評(píng)價(jià)。圖8為混淆矩陣圖。

圖8 混淆矩陣Fig. 8 Confusion matrix

為此，分類(lèi)準(zhǔn)確率可用公式 (3) 進(jìn)行表征：

召回率可用公式 (4) 進(jìn)行表征：

查準(zhǔn)率可用公式 (5) 進(jìn)行表征：

式中：Acc代表分類(lèi)準(zhǔn)確率 (Accuracy)；R代表召回率 (Recall)；P代表查準(zhǔn)率 (Precision)。

2.3 實(shí)驗(yàn)分析

2.3.1 不同骨干模型對(duì)MGCNN 性能的影響

成熟的卷積神經(jīng)網(wǎng)絡(luò)能夠很好地進(jìn)行特征學(xué)習(xí)和特征提取[36-37]。為此，本文主要選取VGG 模型[10]和ResNet 模型[12]作為MGCNN 的深度提取特征模塊的主干模型。不考慮DenseNet 模型[23]最主要的原因是該模型屬于較大的網(wǎng)絡(luò)，需要訓(xùn)練更多的參數(shù)，并且可能由于過(guò)擬合導(dǎo)致分類(lèi)精度提高不明顯。而VGG 和ResNet 系列屬于較小的網(wǎng)絡(luò)，可以節(jié)省額外的計(jì)算開(kāi)銷(xiāo)以及訓(xùn)練時(shí)間。為了公平比較，在這里統(tǒng)一將學(xué)習(xí)率值設(shè)置為 0.001，批大小設(shè)置為32；此外，本文選取了 SGD[38]作為不同骨干模型的對(duì)比實(shí)驗(yàn)訓(xùn)練階段的優(yōu)化器。結(jié)果如表1 所示，可以看出，在相同的學(xué)習(xí)率、批大小以及相同優(yōu)化器的情況下，ResNet 系列普遍優(yōu)于VGG 系列。值得注意的是，ResNet152 的精度未超過(guò)90%，再次驗(yàn)證了較大網(wǎng)絡(luò)的過(guò)擬合現(xiàn)象會(huì)影響分類(lèi)精度。由于ResNet50 以92.79%的分類(lèi)精度位居第一，因此本研究選取ResNet50 作為MGCNN 的骨干模型。

表1 不同骨干模型對(duì) MGCNN 性能的影響Table 1 Effects of different backbone models on MGCNN performance

2.3.2 不同優(yōu)化器對(duì)MGCNN 性能的影響

深度學(xué)習(xí)的過(guò)程中會(huì)產(chǎn)生一定的損失[39]，所以應(yīng)盡可能地減少損失來(lái)優(yōu)化所提出的MGCNN模型，使其擁有更好的分類(lèi)性能。事實(shí)上，深度神經(jīng)網(wǎng)絡(luò)的每一層都有各自的權(quán)重參數(shù)，這些權(quán)重參數(shù)決定著神經(jīng)網(wǎng)絡(luò)的輸出。因此需要利用優(yōu)化器(Optimizer) 來(lái)降低損失，從而更新模型的可學(xué)習(xí)權(quán)重參數(shù)來(lái)優(yōu)化網(wǎng)絡(luò)模型。本研究以SGD[38]、Ada-Grad[40]、RMSprop[41]、Adam[31]、Adamax[42]、ASGD[43]6 種優(yōu)化器作為探討優(yōu)化器選取的對(duì)比實(shí)驗(yàn)。在這里學(xué)習(xí)率仍為 0.001，批大小為32，結(jié)果如表2 所示?？梢钥闯觯谙嗤歉赡Ｐ偷那闆r下，上述6 種優(yōu)化器中Adam 最為突出，分類(lèi)精度達(dá)到95.29%，均領(lǐng)先于其他優(yōu)化器。因此，本文選取Adam 作為MGCNN 的優(yōu)化器。

表2 不同優(yōu)化器對(duì)MGCNN 性能的影響Table 2 Effects of different optimizers on MGCNN performance

2.3.3 不同參數(shù)對(duì)MGCNN 性能的影響

通過(guò)調(diào)整學(xué)習(xí)率以及批大小可以提高模型的分類(lèi)性能[28,44-45]，在MGCNN 的骨干模型和優(yōu)化器均確定的情況下 (ResNet50+Adam)，本研究進(jìn)一步探討了不同參數(shù)對(duì)其分類(lèi)性能的影響，以實(shí)現(xiàn)最佳精度。對(duì)于模型訓(xùn)練而言，學(xué)習(xí)率是控制權(quán)重更新的重要參數(shù)[46]。一方面，使用過(guò)大的學(xué)習(xí)率可能會(huì)忽略最優(yōu)值的位置，導(dǎo)致模型不收斂；另一方面，使用過(guò)小的學(xué)習(xí)率容易出現(xiàn)過(guò)擬合，導(dǎo)致模型收斂緩慢。因此，首先應(yīng)確定最優(yōu)學(xué)習(xí)率。在本實(shí)驗(yàn)中，將最開(kāi)始的學(xué)習(xí)率設(shè)置為0.000 1，批大小設(shè)置為32。本次實(shí)驗(yàn)遵循從較小的速率開(kāi)始，并依次增加直到發(fā)現(xiàn)最佳學(xué)習(xí)率。當(dāng)最佳學(xué)習(xí)率確定后，需要進(jìn)行實(shí)驗(yàn)來(lái)確定最佳批大小，以?xún)?yōu)化網(wǎng)絡(luò)訓(xùn)練的收斂速度和穩(wěn)定性[45]。本研究依次將批大小設(shè)置為64、32 和16 來(lái)訓(xùn)練網(wǎng)絡(luò)，最終的實(shí)驗(yàn)結(jié)果如表3 所示。結(jié)果表明，當(dāng)學(xué)習(xí)率和批大小分別為0.001 5 和32 時(shí)，MGCNN 的分類(lèi)效果最高，分類(lèi)精度達(dá)到95.59%。因此，本文將最佳學(xué)習(xí)率設(shè)置為0.001 5，最佳批大小設(shè)置為32。

表3 不同參數(shù)對(duì) MGCNN 性能的影響Table 3 Effects of different parameters on MGCNN performance

2.4 實(shí)驗(yàn)結(jié)果及可視化

為了評(píng)估所提方法MGCNN 的分類(lèi)性能，本文在已構(gòu)建的PGCD 數(shù)據(jù)集上進(jìn)行了相關(guān)的分類(lèi)任務(wù)實(shí)驗(yàn)，并將所提方法與其他先進(jìn)的模型[9-10,12-13,46]進(jìn)行比較，包括AlexNet、VGG16、ResNet152、InceptionV3 和DenseNet121。這些模型之前均在用于圖像分類(lèi)的ImageNet 數(shù)據(jù)集[9]上訓(xùn)練過(guò)，但并沒(méi)有訓(xùn)練過(guò)PGCD。為了適應(yīng)PGCD數(shù)據(jù)集，實(shí)驗(yàn)過(guò)程中將上述網(wǎng)絡(luò)模型的輸出分類(lèi)層替換為具有兩個(gè)類(lèi)別 (雌性和雄性) 的輸出分類(lèi)層。

表4 給出了MGCNN 與一些先進(jìn)方法的實(shí)驗(yàn)對(duì)比結(jié)果?？梢钥闯?，AlexNet 顯示了最差的性能；ResNet152 和DenseNet121 網(wǎng)絡(luò)較深，召回率和查準(zhǔn)率相對(duì)平衡，但分類(lèi)精度未超過(guò)95%；InceptionV3 分類(lèi)精度達(dá)到95%，卻因其查準(zhǔn)率高導(dǎo)致召回率低；而本文所提的網(wǎng)絡(luò)相比InceptionV3而言，分類(lèi)精度有所提升，并且在查準(zhǔn)率僅降低0.54%的情況下，將召回率提升1.76%。網(wǎng)絡(luò)分類(lèi)錯(cuò)誤率最低，僅占4.41%，分類(lèi)性能均領(lǐng)先于其他方法。

表4 MGCNN 與先進(jìn)方法的比較Table 4 Comparison between MGCNN and state-of-theart methods

為了更直觀地顯示所提方法的優(yōu)越性，本文給出了PGCD 測(cè)試集上梭子蟹性別分類(lèi)的混淆矩陣(Confusion matrix) ，如圖9 所示。圖中主對(duì)角線(xiàn)顯示的是識(shí)別正確的數(shù)目，副對(duì)角線(xiàn)顯示的是識(shí)別錯(cuò)誤的數(shù)目?？梢钥闯?，梭子蟹共有680 只，僅30 只被錯(cuò)誤歸類(lèi)。其中，雌、雄蟹各有321、329只被正確歸類(lèi)，僅11 只雄蟹錯(cuò)歸為雌性，19 只雌蟹錯(cuò)歸為雄性。表明所提方法具有很好的分類(lèi)效果。

圖9 梭子蟹性別分類(lèi)的混淆矩陣Fig. 9 Confusion matrix of gender classification of P. tritubereulatus

此外，受試者工作特征 (Receiver operating characteristic, ROC) 曲線(xiàn)和ROC 曲線(xiàn)下的面積 (Area under the ROC curve, AUC) 也可以用于度量分類(lèi)模型的好壞。MGCNN 的ROC 曲線(xiàn)和AUC 如圖10所示?？梢钥闯觯岱椒ǖ腁UC 達(dá)到98.88%，在梭子蟹性別分類(lèi)任務(wù)中取得優(yōu)異的性能。

圖10 比較不同網(wǎng)絡(luò)性能的受試者工作特征曲線(xiàn) (ROC) 和ROC 曲線(xiàn)下的面積Fig. 10 Comparison of Receiver Operating Characteristic(ROC) curve and area under ROC curve for subjects with different network performance

2.5 單幅圖像預(yù)測(cè)結(jié)果

為了驗(yàn)證模型的實(shí)際應(yīng)用效果，采購(gòu)雌、雄梭子蟹各20 只，在實(shí)驗(yàn)室對(duì)其性別進(jìn)行自動(dòng)識(shí)別驗(yàn)證。驗(yàn)證圖像采用等比例調(diào)整大小并填充的預(yù)處理方式。圖11 展示了單幅圖像預(yù)測(cè)的示例，可以看出預(yù)測(cè)均正確，且預(yù)測(cè)概率均超過(guò)95%。此外，經(jīng)統(tǒng)計(jì)分析，識(shí)別一張圖像的時(shí)間不超過(guò)1 s。因此，本研究所提的算法可以很好地應(yīng)用在梭子蟹性別自動(dòng)分類(lèi)及識(shí)別系統(tǒng)。

圖11 單幅圖像預(yù)測(cè)概率Fig. 11 Prediction probability of single image

3 小結(jié)

為了實(shí)現(xiàn)梭子蟹性別的智能化識(shí)別，促進(jìn)現(xiàn)代漁業(yè)分揀裝備由半機(jī)械化、機(jī)械化走向智能化，本文構(gòu)建了梭子蟹性別分類(lèi)數(shù)據(jù)集 (PGCD)，提出了一種用于梭子蟹性別分類(lèi)的多組卷積神經(jīng)網(wǎng)絡(luò)框架。該網(wǎng)絡(luò)首先通過(guò)引入ResNet 對(duì)圖像塊提取特征，減少特征提取過(guò)程的信息丟失，使得特征提取更有力；然后提出一種注意力機(jī)制代替?zhèn)鹘y(tǒng)的池化層，從而更專(zhuān)注地找出輸入數(shù)據(jù)的有用信息；最后進(jìn)行了一系列的參數(shù)調(diào)整，使得所提的MGCNN擁有最優(yōu)分類(lèi)性能。實(shí)驗(yàn)結(jié)果表明，所提方法在PGCD 數(shù)據(jù)集上具有分類(lèi)優(yōu)越性，分類(lèi)準(zhǔn)確率高達(dá)95.59%。未來(lái)，將圍繞梭子蟹的尺寸、肥瘦、蟹鉗完整程度等特征進(jìn)行分類(lèi)，進(jìn)一步完善梭子蟹智能識(shí)別系統(tǒng)。