多模塊融合的浮游生物檢測器

齊 雷， 胡姣嬋， 于雙和, 閻 妍， 趙 穎

(1. 大連海事大學(xué) 船舶電氣工程學(xué)院， 遼寧 大連 116026； 2. 大連海事大學(xué) 環(huán)境科學(xué)與工程學(xué)院， 遼寧 大連 116026)

浮游生物是海洋生物資源的重要組成部分，在海洋生態(tài)系統(tǒng)的物質(zhì)循環(huán)和能量流動(dòng)中起著極其重要的作用.有效掌握海域中浮游動(dòng)植物的類群、密度和多樣性是海洋生態(tài)學(xué)研究中的基礎(chǔ)性科學(xué)問題.

傳統(tǒng)浮游生物自動(dòng)檢測是基于人工設(shè)定特征進(jìn)行檢測的方法.這些人工設(shè)定的特征依靠大量的先驗(yàn)知識(shí)，并且人工設(shè)定的特征參數(shù)數(shù)量有限，檢測結(jié)果常常受到人為偶然誤差的影響.尤其是浮游生物種類之間形態(tài)類似，使得人工提取目標(biāo)特征過程變得復(fù)雜且冗余，因此限制了目標(biāo)的檢測精度.基于機(jī)器學(xué)習(xí)的檢測方法是通過提取目標(biāo)物特征，利用大數(shù)據(jù)的優(yōu)勢,使用分類器對特征進(jìn)行處理的1種方法.文獻(xiàn)[1]將不變矩特征和具有灰度形態(tài)粒度的傅里葉邊界描述子結(jié)合起來，形成特征向量，捕捉浮游生物圖像的形狀和紋理信息進(jìn)行分類，首次實(shí)現(xiàn)了浮游生物的自動(dòng)分類，最后利用自適應(yīng)特征選取的快速線性分類器實(shí)現(xiàn)目標(biāo)分類.文獻(xiàn)[2]采用主成分分析(principal component analysis, PCA)和獨(dú)立成分分析(independent component ana-lysis, ICA)相結(jié)合的多層混合分類模型，提取浮游生物樣本特征，并結(jié)合改進(jìn)的K-最近鄰算法進(jìn)行分類.文獻(xiàn)[3]提出1種基于多核學(xué)習(xí)的多視圖特征相結(jié)合的浮游生物圖像自動(dòng)分類系統(tǒng)，通過使用3個(gè)核函數(shù)，將不同類型特征進(jìn)行組合，達(dá)到更高的分類率.

隨著計(jì)算機(jī)性能以及卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)用于提取圖像特征的方法也取得了巨大的成就，它是基于動(dòng)物視覺感受域而設(shè)計(jì)的[4].文獻(xiàn)[5]提出了1種基于多尺度滑動(dòng)窗口的分類、定位和檢測方法.文獻(xiàn)[6]提出YOLO(you only look once)算法，可直接學(xué)習(xí)圖像的全局特征[7]，將目標(biāo)檢測作為1個(gè)回歸問題，預(yù)測對象的類別和位置.文獻(xiàn)[8]引入了多種改進(jìn)YOLO的策略，如采用新的網(wǎng)絡(luò)結(jié)構(gòu)、引入維度聚類及提出1種聯(lián)合訓(xùn)練方法等.文獻(xiàn)[9]提出了1種SSD(single shot multibox detector)方法，利用不同尺度和長寬比的先驗(yàn)錨框覆蓋整個(gè)區(qū)域，提取不同尺度的特征，生成特征圖，并用卷積直接檢測.針對小目標(biāo)檢測性能較差的問題，文獻(xiàn)[10]提出了將低層特征與高層特征相結(jié)合的特征金字塔網(wǎng)絡(luò)(feature pyramid networks, FPN)，構(gòu)建了1個(gè)更深層次的特征金字塔，并整合了多層特征信息，提高了小目標(biāo)的檢測性能.文獻(xiàn)[11]通過對主干網(wǎng)的改造，并引入FPN的思想，成為當(dāng)時(shí)最先進(jìn)的檢測算法.文獻(xiàn)[12]提出了1種新的損失函數(shù)來處理類不平衡問題.近年來，有人基于FPN的思想，提出了許多特征融合方法.文獻(xiàn)[13]將基特征發(fā)送到1組交替連接的簡化U形模塊中，建立更深層的特征金字塔.文獻(xiàn)[14]引入了自底向上的路徑聚合結(jié)構(gòu)，充分利用了目標(biāo)的淺層特征.文獻(xiàn)[15]公開了包含大量浮游生物的數(shù)據(jù)集，利用現(xiàn)有檢測算法進(jìn)行檢測，但并未進(jìn)一步提高檢測精度.

由于SSD既結(jié)合了YOLO的回歸思想，又結(jié)合具有代表性的Faster R-CNN(faster region-based convolutional neural networks )中錨框機(jī)制[16]，實(shí)現(xiàn)了檢測速度和精度間的平衡.為此，針對浮游生物檢測，筆者在SSD算法基礎(chǔ)上進(jìn)行改進(jìn)，提出多模塊融合的浮游生物檢測器(multi module fusion single shot detector，MMFSSD)，生成多尺度特征圖，并進(jìn)行預(yù)測，以實(shí)現(xiàn)浮游生物檢測精度與速度間的平衡，解決傳統(tǒng)識(shí)別中依靠手工提取特征的浮游生物檢測準(zhǔn)確率低、過程繁瑣、冗余等問題，同時(shí)盡可能地識(shí)別出圖片中所有特定的浮游生物，更好地進(jìn)行浮游生物及整個(gè)海洋生態(tài)系統(tǒng)的監(jiān)測.

1 檢測方法

圖1 MMFSSD整體結(jié)構(gòu)圖

該檢測器由增強(qiáng)的SSD、特征信息增強(qiáng)模塊(feature information enhancement module, FIEM)和選擇性特征融合模塊(selective feature fusion mo-dule, SFFM)3個(gè)部分組成.特征信息增強(qiáng)模塊由常規(guī)卷積和空洞卷積組成，該模塊獲取不同感受野的多尺度上下文信息，提高錨框第1次修正時(shí)的判斷能力.選擇性特征融合模塊可以學(xué)習(xí)不同特征圖在網(wǎng)絡(luò)中的權(quán)重，更好地融合特征.

1.1 增強(qiáng)的SSD

SSD是目前流行的目標(biāo)檢測算法之一，許多新的檢測算法都是基于SSD進(jìn)行改進(jìn)的.為了提高浮游生物檢測精度，使用了文獻(xiàn)[17]提出的兩步級(jí)聯(lián)檢測.在第1次修正錨框時(shí)去除冗余的負(fù)樣本，減少搜索空間，同時(shí)修改錨框的位置和大小，有利于坐標(biāo)回歸，提高第2次預(yù)測時(shí)的精度.

1.2 特征信息增強(qiáng)模塊

圖2為特征信息增強(qiáng)模塊.在通常的特征提取網(wǎng)絡(luò)過程中，會(huì)丟失一些淺層特征信息，降低了檢測精度.基于這一考慮，在浮游生物檢測中，本檢測器使用特征信息增強(qiáng)模塊來增強(qiáng)特征圖的低級(jí)特征信息，第1次修正錨框時(shí)提高了錨框的預(yù)測精度.它是1個(gè)比較簡單的多分支卷積組模塊，如圖2所示，其靈感來自于文獻(xiàn)[18].

圖2 特征信息增強(qiáng)模塊

為了將該模塊的輸出注入到由特征提取網(wǎng)絡(luò)獲得的特征圖中，本模塊以下采樣圖像作為輸入，通過交替1×1卷積層和3×3卷積層來提高網(wǎng)絡(luò)的非線性表達(dá)能力，從而在分支前形成基本特征圖.為了增加各層特征圖的感受野，獲得多尺度的上下文信息，對不同的分支使用了不同膨脹率的空洞卷積，最后將來自不同分支的特征圖連接起來，并通過1×1卷積層來降低特征圖的通道數(shù).隨后將此模塊的輸出注入到特征提取網(wǎng)絡(luò)提取的特征圖中，再對融合后的特征圖進(jìn)行下采樣，將其注入到其他特征圖中，以提高校正能力.該模塊可以有效地增強(qiáng)特征圖的低級(jí)特征信息，彌補(bǔ)卷積過程中丟失的信息，提高浮游生物的檢測精度.

1.3 選擇性特征融合模塊

圖3為選擇性特征融合模塊.以往的特征融合方法是先將不同分辨率的特征圖按一定的規(guī)則縮放到相同大小，然后采用元素相加、元素相乘或通道連接等不同融合方法.雖然這些方法都取得了良好效果，但是注意到在融合過程中，不同分辨率特征圖對融合后輸出特征圖的貢獻(xiàn)是不同的，不同特征圖在同一空間位置上的信息是不同的.因此，在融合時(shí)要考慮各輸入特征圖的權(quán)重.在融合過程中，也嘗試手動(dòng)設(shè)置權(quán)重，最后受到文獻(xiàn)[19]啟發(fā)，在網(wǎng)絡(luò)中自動(dòng)學(xué)習(xí)權(quán)重，選擇性進(jìn)行融合.

圖3 選擇性特征融合模塊

記不同分辨率等級(jí)的特征圖為xi(i∈{1,2,3,4})，記融合后的每個(gè)分辨率等級(jí)的特征圖為yl，有下列公式：

(1)

其中，xi→l為特征圖從分辨率等級(jí)i調(diào)整到l，即4個(gè)不同尺度的特征圖被縮放到相同比例，然后進(jìn)行融合.wi和wj為不同輸入特征圖的權(quán)重，可以從網(wǎng)絡(luò)中自動(dòng)學(xué)習(xí).將權(quán)值量綱一化的目的在于其值可以是無窮的，在訓(xùn)練過程中可能會(huì)導(dǎo)致整體效果的下降，甚至出現(xiàn)發(fā)散.σ為1個(gè)設(shè)置得非常小的正數(shù)，以確保有效計(jì)算.融合公式等價(jià)如下：

(2)

在相同融合方式下，融合后得到的4個(gè)輸出作為檢測層的輸入.

2 試驗(yàn)過程

2.1 數(shù)據(jù)集與評價(jià)指標(biāo)

目標(biāo)檢測中使用PASCAL VOC數(shù)據(jù)集和MS COCO數(shù)據(jù)集來驗(yàn)證算法的有效性，本研究中使用PASCAL VOC、MS COCO和PMID2019等3個(gè)數(shù)據(jù)集進(jìn)行大量試驗(yàn).PASCAL VOC數(shù)據(jù)集包含20個(gè)不同的目標(biāo)類別，數(shù)據(jù)集中的目標(biāo)尺度分布相對均勻.試驗(yàn)中使用含有5 000張圖像的VOC 2007訓(xùn)練驗(yàn)證集，以及包含11 000張圖像VOC 2012訓(xùn)練驗(yàn)證集進(jìn)行訓(xùn)練，使用含有5 000張圖像的VOC 2007測試集進(jìn)行測試.MS COCO數(shù)據(jù)集包含80個(gè)目標(biāo)類別，數(shù)據(jù)集中的大多數(shù)目標(biāo)在圖像中比例非常小，使用包含35 000張圖片的訓(xùn)練驗(yàn)證集進(jìn)行訓(xùn)練，并使用測試集對訓(xùn)練結(jié)果進(jìn)行評估.PMID2019數(shù)據(jù)集共包含10 908張浮游生物圖像，每個(gè)圖像都包含一些浮游生物細(xì)胞，平均每張圖片包含3個(gè)目標(biāo)類別，其中包含24個(gè)種類.由于數(shù)據(jù)集中某些類別數(shù)據(jù)量較小，在訓(xùn)練中容易導(dǎo)致過擬合，因此使用該數(shù)據(jù)集中圖像數(shù)據(jù)量大于100張的類別進(jìn)行訓(xùn)練，共計(jì)10 225張浮游生物圖像，總共18個(gè)類別.

試驗(yàn)中，以平均精度均值(mean average precision,mAP)作為模型性能評價(jià)指標(biāo).在PMID2019和PASCAL VOC數(shù)據(jù)集中，使用交并比(IOU)閾值為0.50時(shí)的mAP作為評價(jià)指標(biāo)，在MS COCO數(shù)據(jù)集中，統(tǒng)計(jì)了10個(gè)不同IOU閾值下的mAP，并使用10個(gè)mAP的平均值作為評價(jià)指標(biāo).同時(shí)，統(tǒng)計(jì)了不同平均精度(average precision,AP)，即IOU閾值為0.50時(shí)的平均精度AP50和IOU閾值為0.75時(shí)的平均精度AP75.

2.2 試驗(yàn)結(jié)果與分析

2.2.1PASCAL VOC數(shù)據(jù)集

所提出的檢測器與其他目標(biāo)檢測器進(jìn)行了比較，結(jié)果如表1所示.

表1 PASCAL VOC數(shù)據(jù)集中不同檢測器的檢測精度

從表1可以看出：與其他目標(biāo)檢測器相比，本研究中的檢測器獲得了良好的檢測性能；當(dāng)輸入分辨率為320×320時(shí)，該檢測器的精度為80.70%；當(dāng)輸入分辨率為512×512時(shí)，精度進(jìn)一步提高到81.90%，充分驗(yàn)證了該檢測器的有效性.本檢測器在PASCAL VOC數(shù)據(jù)集中的檢測結(jié)果顯示在圖4中，可以看到每個(gè)目標(biāo)的檢測精度較高，本檢測器可以在PASCAL VOC數(shù)據(jù)集上進(jìn)行良好的檢測.

圖4 PASCAL VOC數(shù)據(jù)集檢測結(jié)果

2.2.2MS COCO數(shù)據(jù)集

與其他目標(biāo)檢測器相比，該檢測器獲得了較好的檢測性能.當(dāng)輸入分辨率為320×320時(shí)，該檢測器的精度為32.20%，超過RFBNet.當(dāng)輸入分辨率為512×512時(shí)，精度可進(jìn)一步提高到36.30%，且在小目標(biāo)和中目標(biāo)的檢測精度上有了較大提升，充分驗(yàn)證了檢測器的有效性.本檢測器在MS COCO數(shù)據(jù)集中的檢測結(jié)果如圖5所示，無論是大目標(biāo)還是小目標(biāo)，該檢測器都可實(shí)現(xiàn)較好的檢測.

圖5 MS COCO數(shù)據(jù)集檢測結(jié)果

%

表2 MC COCO數(shù)據(jù)集中不同檢測器的檢測精度

2.2.3PMID2019數(shù)據(jù)集

表3 浮游生物檢測精度 %

圖6 浮游生物數(shù)據(jù)集檢測結(jié)果

3 結(jié) 論

1) 筆者利用深度學(xué)習(xí)技術(shù)，在SSD算法基礎(chǔ)上進(jìn)行改進(jìn)，實(shí)現(xiàn)了對浮游生物的檢測.

2) 提出了1種多模塊融合的浮游生物檢測器(MMFSSD)，通過新增2個(gè)模塊來提高檢測性能，生成多尺度特征圖,并進(jìn)行預(yù)測，在浮游生物數(shù)據(jù)集上的平均檢測精度均值達(dá)到90.41%.

3) 解決傳統(tǒng)檢測中依靠手工提取特征的浮游生物檢測的準(zhǔn)確率低、過程繁瑣且冗余等問題，為后續(xù)的浮游生物檢測以及海洋生態(tài)系統(tǒng)的監(jiān)測提供了更好的前提條件.