基于深度學(xué)習(xí)的水下光學(xué)圖像分類(lèi)識(shí)別方法研究*

湯永濤 林鴻生 劉 興

（1.海軍士官學(xué)校 蚌埠 233012）（2.南京航空航天大學(xué) 南京 210016）

1 引言

我國(guó)沿海分布有大量港口，在國(guó)際形勢(shì)風(fēng)云變化的情況下，港口的防御壓力巨大。敵對(duì)勢(shì)力可利用水下蛙人、機(jī)器人以及小型水下運(yùn)載器等從水下趁虛而入，對(duì)重要設(shè)施進(jìn)行破壞［1］。目前水下安全監(jiān)視主要利用水聲技術(shù)對(duì)水下目標(biāo)進(jìn)行探測(cè)、分類(lèi)、定位和跟蹤。但聲吶系統(tǒng)易受水下環(huán)境及目標(biāo)屬性等條件制約，很難獲得準(zhǔn)確、直觀(guān)的目標(biāo)識(shí)別結(jié)果。相對(duì)于水聲而言，水下光學(xué)探測(cè)具有成像分辨率高、細(xì)節(jié)豐富、成像速度快等優(yōu)點(diǎn)。因此，水下光學(xué)探測(cè)逐漸成為水下探測(cè)的一種有效輔助手段［1～2］。

但是，由于水和水體中的雜質(zhì)對(duì)光信號(hào)存在著吸收、散射等效應(yīng)，水下光學(xué)圖像普遍存在著對(duì)比度低、噪聲突出等問(wèn)題［3～4］。這給水下目標(biāo)的自動(dòng)分類(lèi)識(shí)別帶來(lái)困難。

深度學(xué)習(xí)在圖像分類(lèi)識(shí)別方面表現(xiàn)非常出色。自 2012年Krizhevsky等提出AlexNet［5］以來(lái)，學(xué)者們開(kāi)發(fā)出了多種用于分類(lèi)識(shí)別的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如 VGGNet［6］、GoogleNet［7］、ResNet［8］、ResNeXt［9］、NASNet［10］、EfficientNet［11］等。這些網(wǎng)絡(luò)結(jié)構(gòu)在ImageNet數(shù)據(jù)庫(kù)上能得到很不錯(cuò)的準(zhǔn)確率（各種經(jīng)典網(wǎng)絡(luò)在ImageNet數(shù)據(jù)庫(kù)測(cè)試集上的準(zhǔn)確率見(jiàn)圖1（a））。但這些分類(lèi)網(wǎng)絡(luò)在實(shí)際應(yīng)用中存在兩個(gè)問(wèn)題：一是用于訓(xùn)練小型數(shù)據(jù)集時(shí)容易出現(xiàn)過(guò)擬合，因?yàn)樗鼈兌际轻槍?duì)大型數(shù)據(jù)庫(kù)進(jìn)行設(shè)計(jì)的，網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，參數(shù)量巨大（見(jiàn)圖1（b））；二是較難應(yīng)用于移動(dòng)設(shè)備，移動(dòng)設(shè)備硬件性能受到限制，無(wú)法與服務(wù)器等大型硬件相比，這些大型網(wǎng)絡(luò)由于模型巨大，推理時(shí)間較長(zhǎng)，在移動(dòng)設(shè)備上應(yīng)用會(huì)受到限制，實(shí)時(shí)性不能滿(mǎn)足要求。

在偏向于應(yīng)用到移動(dòng)設(shè)備的網(wǎng)絡(luò)中，也出現(xiàn)了像 MobileNet［12～14］、ShuffleNet［15］、GhostNet［16］等高效的輕量級(jí)網(wǎng)絡(luò)。但它們的分類(lèi)準(zhǔn)確率與大型網(wǎng)絡(luò)相比，仍有不小的差距。圖1為各種網(wǎng)絡(luò)的準(zhǔn)確率與參數(shù)量比較，以白框表示的為MobileNet、ShuffleNet、GhostNet。

圖1 經(jīng)典網(wǎng)絡(luò)的性能對(duì)比

本文在上述背景的基礎(chǔ)上，針對(duì)水下光學(xué)圖像小數(shù)據(jù)集目標(biāo)分類(lèi)的問(wèn)題，利用深度學(xué)習(xí)方法進(jìn)行研究，從遷移學(xué)習(xí)與輕量化網(wǎng)絡(luò)設(shè)計(jì)兩個(gè)方面進(jìn)行。

2 理論基礎(chǔ)

2.1 遷移學(xué)習(xí)

隨著各種網(wǎng)絡(luò)架構(gòu)越來(lái)越成熟，遷移學(xué)習(xí)的重要性在逐漸提高。大型網(wǎng)絡(luò)在大型數(shù)據(jù)集上的訓(xùn)練對(duì)于普通研究人員來(lái)說(shuō)很難實(shí)現(xiàn)（硬件設(shè)備，訓(xùn)練時(shí)間很難得到保證），而越來(lái)越多的企業(yè)在網(wǎng)絡(luò)上分享了他們?cè)诖笮蛿?shù)據(jù)集上訓(xùn)練過(guò)的網(wǎng)絡(luò)模型，這為普通研究人員節(jié)省了大量訓(xùn)練時(shí)間。

遷移學(xué)習(xí)定義為：給定一個(gè)源域Ds和一個(gè)學(xué)習(xí)任務(wù)Ts，一個(gè)目標(biāo)域Dt和一個(gè)學(xué)習(xí)任務(wù)Tt，遷移學(xué)習(xí)的目的是使用在Ds和Ts上的知識(shí)幫助提高在目標(biāo)域Dt上的預(yù)測(cè)函數(shù)fT（x）的學(xué)習(xí)［17］。遷移學(xué)習(xí)的目的是利用現(xiàn)有的訓(xùn)練過(guò)的網(wǎng)絡(luò)模型，改進(jìn)目標(biāo)域的學(xué)習(xí)效果。本文利用遷移學(xué)習(xí)訓(xùn)練的過(guò)程如圖所示。首先對(duì)預(yù)訓(xùn)練模型進(jìn)行隨機(jī)初始化后，利用小數(shù)據(jù)集進(jìn)行訓(xùn)練，訓(xùn)練穩(wěn)定后，取出網(wǎng)絡(luò)模型進(jìn)行推理，最后利用測(cè)試集對(duì)其性能進(jìn)行測(cè)試。

圖2 遷移學(xué)習(xí)示意圖

2.2 深度可分離卷積

單個(gè)卷積核具有兩個(gè)空間維度（寬度和高度）和一個(gè)通道維度，在卷積過(guò)程中需要同時(shí)映射跨通道相關(guān)性和空間相關(guān)性。在卷積核數(shù)量較多的情況下，計(jì)算量巨大。

深度可分離卷積（Depthwise separable convolution）［18］把映射空間相關(guān)性和映射通道間相關(guān)性的任務(wù)分離，不同的通道獨(dú)立起來(lái)，先進(jìn)行特征提取，再進(jìn)行特征融合，這種方式充分利用模型參數(shù)進(jìn)行特征學(xué)習(xí)，大幅降低計(jì)算量，從而讓網(wǎng)絡(luò)效率更高。

典型的深度可分離卷積如圖3所示。對(duì)于n個(gè)通道的卷積操作，首先對(duì)每一個(gè)通道獨(dú)立進(jìn)行空間卷積，然后使用concat操作把各個(gè)通道連接在一起，最后進(jìn)行逐點(diǎn)卷積（1×1卷積）實(shí)現(xiàn)跨通道融合。

圖3 深度可分離卷積示意圖

3 建立數(shù)據(jù)集

本文分類(lèi)目標(biāo)為潛水員、機(jī)器人及小型水下運(yùn)載器、水下生物等三種。主要搜集方式為因特網(wǎng)?？紤]到水下目標(biāo)有近有遠(yuǎn)，搜集到的圖像分辨率有大有小，最后水下生物圖片為505張（分辨率從40×38到743×497，分辨率為100×100以下的有176張），潛水員圖片為535張（分辨率從44×52到867×549，分辨率為100×100以下的有110張），水下運(yùn)載器圖片為337張（分辨率從53×68到890×629，分辨率為100以下的有20張）。

圖4 本文數(shù)據(jù)樣例

最后，采用旋轉(zhuǎn)、鏡像等方式對(duì)數(shù)據(jù)進(jìn)行擴(kuò)增，作為訓(xùn)練和測(cè)試的數(shù)據(jù)集（水下生物為1002張，潛水員為1005張，水下機(jī)器人為996張）。

4 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

本文場(chǎng)景為水下，數(shù)據(jù)較難收集，屬于小數(shù)據(jù)集的應(yīng)用場(chǎng)景。針對(duì)小數(shù)據(jù)集的分類(lèi)模型設(shè)計(jì)，主要有兩種方法：一種是遷移學(xué)習(xí)，另外一種是設(shè)計(jì)輕量化的模型，重新訓(xùn)練。

4.1 遷移學(xué)習(xí)設(shè)計(jì)

大型數(shù)據(jù)庫(kù)的分類(lèi)識(shí)別模型訓(xùn)練，對(duì)硬件要求較高，而且常常需要訓(xùn)練較長(zhǎng)時(shí)間。遷移學(xué)習(xí)的好處在于節(jié)省訓(xùn)練時(shí)間，同時(shí)對(duì)訓(xùn)練的硬件設(shè)備要求較低，而且還能得到比較好的預(yù)測(cè)結(jié)果。

ImageNet是一個(gè)大型數(shù)據(jù)庫(kù)，各個(gè)經(jīng)典網(wǎng)絡(luò)在ImageNet測(cè)試數(shù)據(jù)集的準(zhǔn)確率以及網(wǎng)絡(luò)的計(jì)算復(fù)雜度如圖5所示。其中FLOPs（floating point operations），表示浮點(diǎn)運(yùn)算次數(shù)，代表模型的計(jì)算復(fù)雜度。

圖5 經(jīng)典網(wǎng)絡(luò)的準(zhǔn)確率和復(fù)雜度

從圖中可以看到，計(jì)算復(fù)雜度較小，且準(zhǔn)確率較高的網(wǎng)絡(luò)模型有很多。本文選取計(jì)算復(fù)雜度在6GFLOPs以下，且準(zhǔn)確率達(dá)到77%以上的網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)。

用于圖像分類(lèi)的卷積網(wǎng)絡(luò)架構(gòu)包括了兩大部分：特征提取層（它們包含一系列卷積和池化層）和分類(lèi)器（一般是密集連接的全連接層）。由于本文分類(lèi)器與預(yù)訓(xùn)練模型的分類(lèi)器不同，所以進(jìn)行遷移學(xué)習(xí)時(shí)，對(duì)預(yù)訓(xùn)練模型的分類(lèi)層進(jìn)行改變，具體如圖6所示。其中全連接層分為2層，分別有256個(gè)節(jié)點(diǎn)和3個(gè)輸出節(jié)點(diǎn)（分類(lèi)目標(biāo)為3類(lèi)）。送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練的圖像統(tǒng)一設(shè)置為128×128（寬度×高度，單位為像素）大小的RGB圖像，且經(jīng)過(guò)歸一化處理。

圖6 遷移學(xué)習(xí)設(shè)計(jì)

4.2 輕量化模型設(shè)計(jì)

深度學(xué)習(xí)模型在水下目標(biāo)的分類(lèi)識(shí)別中的應(yīng)用偏向于移動(dòng)設(shè)備的部署，這就要求網(wǎng)絡(luò)模型要較小，計(jì)算速度要快。

本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。主要由卷積層（CONV）、池化層（MAXPOOL）和深度可分離卷積模塊（DWCONV）組成。具體卷積核數(shù)量如表1所示。

圖7 本文網(wǎng)絡(luò)結(jié)構(gòu)

表1 ShuffleNetV2的測(cè)試結(jié)果

考慮到分辨率較小的圖片比較多，所以輸入選擇統(tǒng)一縮放到128×128大小。第一個(gè)卷積層用于提取圖片的特征，選擇7×7的大卷積核，感受野比較大，特征提取效果較好。DWCONV模塊結(jié)構(gòu)如圖8所示，分為2個(gè)通道，分別提取不同細(xì)節(jié)特征。最后，用最大平均池化（GAP）和1×1卷積核代替分類(lèi)層的全連接，減少計(jì)算量。

圖8 DWCONV模塊結(jié)構(gòu)

5 實(shí)驗(yàn)結(jié)果

本文各種算法基于keras和pytorch框架實(shí)現(xiàn)，在Ubuntu中用Python進(jìn)行實(shí)驗(yàn)。訓(xùn)練平臺(tái)采用CPU為 intel i7 7700K，顯卡為nividia gtx 1080，內(nèi)存為16G的臺(tái)式機(jī)。訓(xùn)練過(guò)程中采用GPU加速。

5.1 遷移訓(xùn)練

遷移訓(xùn)練時(shí)，對(duì)各種網(wǎng)絡(luò)在ImageNet數(shù)據(jù)集下訓(xùn)練得到的模型進(jìn)行初始化；優(yōu)化算法采用可以自適應(yīng)的Adam算法；初始學(xué)習(xí)率設(shè)置為0.0001；損失函數(shù)采用交叉損失熵；Batchsize設(shè)置為32；epochs設(shè)置為20；每個(gè)epoch迭代200次；每次epoch開(kāi)始的時(shí)候，對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行打亂。

其中兩個(gè)典型的網(wǎng)絡(luò)EfficientNet-B1和InceptionV3的訓(xùn)練曲線(xiàn)如圖9所示，其中方格點(diǎn)標(biāo)示的曲線(xiàn)為準(zhǔn)確率曲線(xiàn)，圓點(diǎn)標(biāo)示的曲線(xiàn)為損失曲線(xiàn)。紅色線(xiàn)為測(cè)試集的曲線(xiàn)，藍(lán)色的為訓(xùn)練集的曲線(xiàn)。

圖9 遷移學(xué)習(xí)的訓(xùn)練曲線(xiàn)

從中可以看到，EfficientNet系列的測(cè)試集曲線(xiàn)比較平穩(wěn)，InceptionV3的測(cè)試集曲線(xiàn)有點(diǎn)波動(dòng)。說(shuō)明EfficientNet系列的預(yù)訓(xùn)練模型的泛化能力較強(qiáng)。

訓(xùn)練結(jié)束后，對(duì)測(cè)試集進(jìn)行測(cè)試，其中EfficientNet-B3、ShuffleNetV2和InceptionV3網(wǎng)絡(luò)的測(cè)試結(jié)果如下所示。可以看到，EfficientNet-B3準(zhǔn)確率非常高，601個(gè)圖像，推理結(jié)果只錯(cuò)了1個(gè)。InceptionV3推理能力也非常不錯(cuò)，ShuffleNetV2相對(duì)來(lái)說(shuō)推理能力弱了一點(diǎn)。

表2 InceptionV3的測(cè)試結(jié)果

各個(gè)網(wǎng)絡(luò)的參數(shù)量、計(jì)算復(fù)雜度及測(cè)試集的準(zhǔn)確率如表所示?？梢钥吹?，參數(shù)量較大的網(wǎng)絡(luò)都取得很不錯(cuò)的準(zhǔn)確率。參數(shù)量較小的網(wǎng)絡(luò)Shuffle-NetV2與其他網(wǎng)絡(luò)相比，仍有差距。

表3 InceptionV3的測(cè)試結(jié)果

總的來(lái)說(shuō)，遷移學(xué)習(xí)省時(shí)省力，而且能得到很不錯(cuò)的結(jié)果。但是同時(shí)也受預(yù)訓(xùn)練模型的限制，網(wǎng)絡(luò)模型固定，在部署到移動(dòng)設(shè)備時(shí)比較不方便。所以重新設(shè)計(jì)網(wǎng)絡(luò)模型，進(jìn)行自我訓(xùn)練就顯得尤為重要。

5.2 輕量化模型訓(xùn)練

本文網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，優(yōu)化算法采用可以自適應(yīng)的Adam算法；初始學(xué)習(xí)率設(shè)置為0.0008，然后采用可變學(xué)習(xí)率，每20個(gè)epoch學(xué)習(xí)率減小一半；損失函數(shù)采用交叉損失熵；Batchsize設(shè)置為32；epoch數(shù)量設(shè)置為200；每個(gè)epoch迭代300次；每次epoch開(kāi)始的時(shí)候，對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行打亂。

訓(xùn)練曲線(xiàn)如圖10所示。

圖10 訓(xùn)練曲線(xiàn)

從圖10中可以看到，在迭代訓(xùn)練100次以后，訓(xùn)練的準(zhǔn)確率接近100%，損失也接近0。同樣的，在迭代訓(xùn)練100次以后，測(cè)試集的準(zhǔn)確率接近99%，損失趨近0.14。

訓(xùn)練結(jié)束后，對(duì)測(cè)試集進(jìn)行測(cè)試，各個(gè)網(wǎng)絡(luò)的測(cè)試結(jié)果如表4所示。

表4 Verysimplenet的測(cè)試結(jié)果

本文方法得到的混淆矩陣見(jiàn)表2。分類(lèi)錯(cuò)誤數(shù)量為8個(gè)，正確數(shù)量為593。準(zhǔn)確率達(dá)到98.67%。

計(jì)算復(fù)雜度方面，本文網(wǎng)絡(luò)參數(shù)量為0.899M，

本文網(wǎng)絡(luò)模型的性能與其他網(wǎng)絡(luò)模型的比較見(jiàn)圖11。從中可以看到，本文模型參數(shù)量較少，而且取得較不錯(cuò)的測(cè)試結(jié)果，在移動(dòng)設(shè)備部署中具有很不錯(cuò)的優(yōu)勢(shì)。

圖11 與遷移學(xué)習(xí)的性能比較

6 結(jié)語(yǔ)

本文研究了水下光學(xué)圖像的分類(lèi)識(shí)別方法。從遷移學(xué)習(xí)與自我設(shè)計(jì)的網(wǎng)絡(luò)兩個(gè)方面出發(fā)，都取得了不錯(cuò)的目標(biāo)分類(lèi)結(jié)果?？偟貋?lái)說(shuō)，遷移學(xué)習(xí)省時(shí)省力，而且能得到很不錯(cuò)的結(jié)果。但是受預(yù)訓(xùn)練模型的限制，在部署到移動(dòng)設(shè)備時(shí)比較不方便。輕量化設(shè)計(jì)的網(wǎng)絡(luò)比較靈活，可以控制參數(shù)量，而且在小數(shù)據(jù)集的訓(xùn)練方面，小網(wǎng)絡(luò)適應(yīng)性更好，泛化能力也比較強(qiáng)。