基于遷移學(xué)習(xí)的海底底質(zhì)聲吶圖像分類

陳佳輝，陳嵐萍，夏小云，朱 蓉

(1. 常州大學(xué)信息科學(xué)與工程學(xué)院，江蘇 常州 213164；2. 嘉興學(xué)院數(shù)理與信息工程學(xué)院，浙江 嘉興 314001)

1 引言

海底底質(zhì)通常是指海底表面的覆蓋物和沉積物，主要有沙質(zhì)、泥質(zhì)、礁石等。海底底質(zhì)分類對海洋測繪、水下作戰(zhàn)和海洋養(yǎng)殖有著重要意義。早期的底質(zhì)分類方法主要通過機(jī)械鉆孔對海底底質(zhì)進(jìn)行采樣，再根據(jù)先驗(yàn)知識來判斷。這種方式不但笨重、成本高，而且會對海洋環(huán)境造成破壞。隨著聲吶技術(shù)的日益成熟，人們開始將其作為海底探測的主要手段之一，通過向海底發(fā)射聲波并對回波信息進(jìn)行采集，以期獲得蘊(yùn)含豐富底質(zhì)信息的數(shù)據(jù)，并對數(shù)據(jù)進(jìn)行分析、成像，最終形成能夠真實(shí)反映海底環(huán)境的聲吶圖像。研究人員可以根據(jù)聲吶圖像來獲取海底底質(zhì)類型、地形地貌、是否有沉船、魚群等信息。

隨著圖像處理技術(shù)和機(jī)器學(xué)習(xí)的發(fā)展，許多研究者通過提取不同底質(zhì)聲吶圖像的特征，并用傳統(tǒng)機(jī)器學(xué)習(xí)的方法來對海底底質(zhì)聲吶圖像進(jìn)行分類。例如，支持向量機(jī)(Support Vector Machine，SVM)、隨機(jī)森林(Random Forest)、各類神經(jīng)網(wǎng)絡(luò)算法等[1-8]，以上方法都采用了傳統(tǒng)的機(jī)器學(xué)習(xí)方法，雖然取得了較好的分類效果但是需要手動提取特征，并且需要多種特征進(jìn)行融合才能得到較好的準(zhǔn)確率。不同于傳統(tǒng)的機(jī)器學(xué)習(xí)，深度學(xué)習(xí)能夠自動提取圖像特征，并且提取到的特征更加多樣化?；谶@種優(yōu)點(diǎn)，研究者們嘗試用深度學(xué)習(xí)的方法來進(jìn)行海底底質(zhì)聲吶圖像分類研究。2016年，NATO STO—Centre for Maritime Research and Experimentation(北約科學(xué)技術(shù)組織海上研究試驗(yàn)中心)首次提出將卷積神經(jīng)網(wǎng)絡(luò)用于水下聲吶圖像分類。Keqing Zhu[9]針對海底目標(biāo)分類問題，將卷積神經(jīng)網(wǎng)絡(luò)作為特征提取器，再用SVM作為分類器，最終的精度達(dá)到88.9%。X Wang[10]提出了一種基于權(quán)值自適應(yīng)的深度卷積網(wǎng)絡(luò)，實(shí)驗(yàn)證明該方法能較好地區(qū)分海床類型、飛機(jī)、沉船。

目前采用深度學(xué)習(xí)模型對海底底質(zhì)聲吶圖像進(jìn)行分類的研究還處于初步階段，存在較大的研究空間，但是海底底質(zhì)聲吶圖像獲取困難，每一張圖像的形成都要啟用聲吶、船舶進(jìn)行實(shí)地航行，這導(dǎo)致海底底質(zhì)聲吶圖像的數(shù)據(jù)量較小，而深度學(xué)習(xí)模型的訓(xùn)練需要龐大的數(shù)據(jù)作為支撐。對于小樣本而言，重新訓(xùn)練模型未必能達(dá)到預(yù)期的效果，而遷移學(xué)習(xí)在處理小樣本的問題上有較好的表現(xiàn)，本文以此作為切入點(diǎn)，采取基于遷移學(xué)習(xí)的方法來對海底底質(zhì)聲吶圖像進(jìn)行分類。通過對比實(shí)驗(yàn)結(jié)果表明，本文模型的準(zhǔn)確率優(yōu)于現(xiàn)有的傳統(tǒng)機(jī)器學(xué)習(xí)方法，可達(dá)98.1%。此外，在數(shù)據(jù)預(yù)處理階段對數(shù)據(jù)進(jìn)行了增廣，增加數(shù)據(jù)多樣性，提升了模型的泛化能力。

2 實(shí)驗(yàn)?zāi)Ｐ图胺椒?/h2>

2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)(Feedforward Neural Networks)，是深度學(xué)習(xí)(deep learning)的代表算法之一[11-12]。其主要包括以下幾種結(jié)構(gòu)：輸入層、卷積層、池化層、全連接層。其中卷積層和池化層為卷積神經(jīng)網(wǎng)絡(luò)中最核心的部分。

卷積層(Convolutional layer)的功能是通過卷積核對輸入數(shù)據(jù)進(jìn)行卷積運(yùn)算并提取其特征，卷積核中的每個元素都由權(quán)重系數(shù)和一個偏差量(bias vector)構(gòu)成。其具體公式如下所示

(1)

池化層(Pooling layer)也叫下采樣層，通常設(shè)置在連續(xù)的卷積層之間。池化的作用是可以減少圖像的冗余信息，從而降低特征圖的數(shù)據(jù)量，減少計(jì)算復(fù)雜度。其方式主要有最大池化(Max Pooling)和平均池化(Average Pooling)兩種[12]，以池化窗口大小為2×2為例，公式分別為

Ppool=MAX(xm，n，xm+1，n，xm，n+1，xm+1，n+1)

(2)

Ppool=AVG(xm，n，xm+1，n，xm，n+1，xm+1，n+1)

(3)

其中：Ppool為池化后的輸出，MAX為取最大值函數(shù)，AVG為取平均值函數(shù)，xm，n，xm+1，n，xm，n+1，xm+1，n+1為相鄰的四個像素。

2.2 遷移學(xué)習(xí)及模型選擇

遷移學(xué)習(xí)是指通過從已學(xué)習(xí)的相關(guān)任務(wù)中轉(zhuǎn)移知識來幫助完成新任務(wù)的方法。其核心是模型的復(fù)用，即把為任務(wù)A開發(fā)的模型作為初始點(diǎn)，重新使用在為任務(wù)B開發(fā)模型的過程中。

遷移學(xué)習(xí)中包含域和任務(wù)兩個重要的概念。一個域D由一個特征空間χ和特征空間上的邊際概率分布P(X)組成，其中X={x1，x2，…，xn}。在給定一個域D={X，P(X)}之后，一個任務(wù)T由一個標(biāo)簽空間Y以及一個條件概率分布P(Y/X)構(gòu)成。若給定一個源域(source domain)Ds和對應(yīng)的任務(wù)Ts，目標(biāo)域(target domain)Dt和對應(yīng)的任務(wù)Tt，遷移學(xué)習(xí)旨在Ds≠Dt或Ts≠Tt的條件下通過使用Ts和Ds所獲取的知識來幫助Tt在Dt中的預(yù)測函數(shù)Ft()[15]。

在進(jìn)行遷移學(xué)習(xí)之前，首先要先確定預(yù)訓(xùn)練模型。AlexNet、VGG16、VGG19、InceptionV3、ResNet50[16]都是性能優(yōu)異的模型，通過對比各個模型之間的參數(shù)量、模型大小、Top-1準(zhǔn)確率和Top-5準(zhǔn)確率，發(fā)現(xiàn)InceptionV3不僅模型較為輕便，而且有著較高的準(zhǔn)確率，比較符合本課題的研究。詳見表1。

表1 模型對比

2.3 Inception V3

Inception V3[14]由Google在2014年發(fā)布的GooLeNet(Inception V1)改進(jìn)而來，Inception V3采用了Inception結(jié)構(gòu)，對比傳統(tǒng)卷積的單一尺寸卷積核操作，Inception V3選用多尺寸的卷積核，并且在同一個卷積層進(jìn)行卷積操作。同時(shí)，Inception V3提出將一個較大的二維卷積拆成兩個較小的一維卷積，進(jìn)一步減少的參數(shù)數(shù)量。另一方面，Inception V3優(yōu)化了Inception Model的結(jié)構(gòu)。

2.4 InceptionV3-FC

2.4.1 模型遷移

圖1為本實(shí)驗(yàn)的整體框圖，主要分為預(yù)訓(xùn)練模型和InceptionV3-FC兩部分。預(yù)訓(xùn)練模型部分為已在ImageNet上訓(xùn)練成熟的InceptionV3模型；InceptionV3-FC部分先凍結(jié)InceptionV3模型瓶頸層(bottleneck)以上的所有參數(shù)，遷移到InceptionV3-FC當(dāng)中，將其作為InceptionV3-FC的特征提取器，之后再刪除原有的分類層，并加入全新的全連接層和softmax分類器形成新的網(wǎng)絡(luò)(InceptionV3-FC)，最后對海底底質(zhì)聲吶圖像數(shù)據(jù)進(jìn)行訓(xùn)練并分類。

圖1 實(shí)驗(yàn)?zāi)Ｐ蛨D

由圖1可知，InceptionV3-FC在原有的InceptionV3模型之后接入了新的全連接層，這有利于保證模型遷移的效果。根據(jù)Zhang Chenlin[17]等人的研究顯示，在遷移學(xué)習(xí)的過程中，當(dāng)源域和目標(biāo)域相差較大時(shí)，增加全連接層的網(wǎng)絡(luò)的性能要比不含全連接層的更好，尤其是在源域圖像是物體為中心的圖像，而目標(biāo)圖像是非物體為中心的圖像的情況下，全連接層可以保持較大的模型容量(capacity)，從而保證模型遷移之后的效果。由于海底底質(zhì)聲吶圖像與ImageNet上的圖像差別較大，并且屬于非物體為中心的圖像。因此，本文接入了新的全連接層，構(gòu)建了適用于聲吶圖像的InceptionV3-FC。全連接層的數(shù)學(xué)表達(dá)過程如下式

y=w·x+b

(4)

其中，w為權(quán)值矩陣，b為偏置項(xiàng)，x為輸入向量。

2.4.2 fine-tune微調(diào)

由圖1所示，InceptionV3-FC保留了源模型特征提取的能力，即全連接層之前的參數(shù)被完全保留，不需要重新學(xué)習(xí)，而新建立的全連接層和softmax分類層則需要針對聲吶數(shù)據(jù)進(jìn)行重新訓(xùn)練。微調(diào)時(shí)將softmax分類層輸出個數(shù)調(diào)整成海底底質(zhì)聲吶圖像的類別數(shù)，同時(shí)用較小的學(xué)習(xí)率來對模型進(jìn)行訓(xùn)練。這種方式適用于目標(biāo)域樣本數(shù)量較小且與源域數(shù)據(jù)相似度較低的情況，有利于模型的訓(xùn)練，能夠有效防止過擬合。softmax層的數(shù)學(xué)表達(dá)式如下所示

(5)

2.4.3 訓(xùn)練流程

InceptionV3-FC，對輸入的樣本圖像進(jìn)行特征提取，根據(jù)特征來對其進(jìn)行分類，并利用反向傳播算法更新網(wǎng)絡(luò)參數(shù)，從而使準(zhǔn)確率達(dá)到最高，具體過程如下：

1)載入InceptionV3模型的參數(shù)，將其作為初始化參數(shù)。

2)輸入圖像，通過卷積層、池化層、Inception模塊、全連接層、softmax分類層，得到不同底質(zhì)類別的概率。

3)計(jì)算誤差，將softmax的輸出和實(shí)際的樣本標(biāo)簽做交叉熵，具體公式如下

(6)

4)利用反向傳播算法，更新網(wǎng)絡(luò)連接權(quán)值和相關(guān)參數(shù)，使得loss值減小并趨于穩(wěn)定。

3 實(shí)驗(yàn)數(shù)據(jù)及預(yù)處理

本實(shí)驗(yàn)數(shù)據(jù)來自浙江星天海洋科學(xué)技術(shù)有限公司和北京藍(lán)創(chuàng)海洋科技有限公司。主要分為沙質(zhì)、礁石、泥質(zhì)三種底質(zhì)的聲吶圖像，為了得到更好的實(shí)驗(yàn)效果，要對原始聲吶圖像數(shù)據(jù)進(jìn)行預(yù)處理。由于原始數(shù)據(jù)大小不一，首先要對圖像進(jìn)行裁剪并對尺寸歸一化處理。根據(jù)InceptionV3模型圖像輸入尺寸的要求，用matlab將原始圖像裁剪成多幅299×299像素的圖像，裁剪之后的圖像示例如圖2所示。同時(shí)，為了增加實(shí)驗(yàn)?zāi)Ｐ偷姆夯院汪敯粜?，本?shí)驗(yàn)采用翻轉(zhuǎn)、角度變換等數(shù)據(jù)增廣手段來增加數(shù)據(jù)的多樣性。增廣后的圖像如圖3所示。

圖2 裁剪之后的聲吶圖像

圖3 數(shù)據(jù)增廣效果示例

完成對原始數(shù)據(jù)進(jìn)行裁剪、增廣之后一共得到沙質(zhì)、礁石、泥質(zhì)三種底質(zhì)聲吶圖像共2011張，其中沙底質(zhì)聲吶圖像684張，礁石底質(zhì)聲吶圖像675張、泥底質(zhì)聲吶圖像652張。

4 可視化特征圖

深度學(xué)習(xí)模型最大的作用在于自動提取特征，本節(jié)將以可視化的方式來展示經(jīng)過卷積計(jì)算之后的特征圖。為了更直觀地看出模型的提取效果，以一副沙底質(zhì)的聲吶圖像作為示例，輸出其在第1層卷積層、第1個混合層(即mixed＿0層)和第6個混合層(即mixed＿5層)之后的特征圖。

圖4為經(jīng)過第1層卷積層之后的特征圖，從圖中可知，經(jīng)過第1層卷積之后，聲吶圖像的紋理特征得到了較好的保留，可以清晰的看見沙底質(zhì)聲吶圖像的沙紋紋理特征。

圖4 第一層卷積層部分特征

圖5為經(jīng)過第1個混合層模塊之后的特征圖，其大小為35×35像素，一共256張，取8張作為展示。從圖5可以得出，經(jīng)過第1個混合層模塊之后，此時(shí)模型學(xué)習(xí)的還是圖像整體的輪廓特征，相對第1層卷積層的輸出來看，此時(shí)聲吶圖像的紋理輪廓較為模糊，但也基本保留了圖像的信息。

圖5 mixed＿0層部分特征

圖6為經(jīng)過第6個混合層模塊之后的特征圖，其輸出大小為17×17像素，一共768張。輸出的特征圖中，圖像的分辨率降低，輪廓較為模糊，隨著層數(shù)的加深，模型學(xué)習(xí)到的特征越來越抽象，保留的基本信息也越來越少。

圖6 mixed＿5層部分特征

觀察三組特征圖可知，底層網(wǎng)絡(luò)提取的是海底底質(zhì)的邊緣、輪廓信息。隨著網(wǎng)絡(luò)深度一步步加深，網(wǎng)絡(luò)提取出的特征越來越抽象，并且更加具有代表性。由此可以得出卷積神經(jīng)網(wǎng)絡(luò)可以通過底層的整體特征來整合出高層的抽象特征，并利用高層的抽象特征來對圖像進(jìn)行區(qū)分。

5 實(shí)驗(yàn)結(jié)果及對比

5.1 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)過程中，本文隨機(jī)將聲吶數(shù)據(jù)集按照8：1：1的比例劃分成訓(xùn)練集、驗(yàn)證集、測試集。在訓(xùn)練模型時(shí)，相關(guān)參數(shù)設(shè)置如表2所示：

表 2 網(wǎng)絡(luò)基本參數(shù)設(shè)置

圖7(a)(b)為訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率和損失函數(shù)曲線圖，由圖可知在迭代次數(shù)2000次之前，準(zhǔn)確率成上升趨勢且上升速度較快，對應(yīng)的損失函數(shù)的值則呈下降趨勢，在2000次到4000次之間準(zhǔn)確率上升變緩，最終達(dá)到收斂，并且在訓(xùn)練集上的最終準(zhǔn)確率為99.6%，在驗(yàn)證集上的最終準(zhǔn)確率為97.2%訓(xùn)練完成之后，用測試集進(jìn)行測試，最終測試準(zhǔn)確率為98.1%。

圖7 訓(xùn)練、驗(yàn)證準(zhǔn)確率以及損失值曲線圖

5.2 性能測試及對比

本文在對隨機(jī)的測試集進(jìn)行測試之后，還對每一類海底底質(zhì)的分類效果進(jìn)行了測試。如表3所示，選取沙底質(zhì)、礁石底質(zhì)、泥底質(zhì)聲吶圖像各50張。其中分類效果最好的是礁石底質(zhì)，50張測試圖像中僅有1張被分類為沙底質(zhì)。相較于礁石底質(zhì)來說沙底質(zhì)和泥底質(zhì)的準(zhǔn)確率略低，沙底質(zhì)測試圖像中有3張被分類為泥底質(zhì)，泥底質(zhì)測試圖像中有3張被分類為沙底質(zhì)，1張被分類為礁石底質(zhì)。

表3 三類底質(zhì)分類結(jié)果

為了進(jìn)一步測試本文模型的性能，將本文模型與其它相關(guān)方法進(jìn)行對比。其對比結(jié)果如表4所示。

表4 相關(guān)方法性能對比結(jié)果

由表4可知，本實(shí)驗(yàn)?zāi)Ｐ筒坏梢宰詣犹崛√卣?，并且有更高的?zhǔn)確率。同時(shí)不需要重新學(xué)習(xí)所有參數(shù)，訓(xùn)練速度較快。

6 結(jié)束語

本文采用遷移學(xué)習(xí)的方法來對海底底質(zhì)聲吶圖像進(jìn)行分類，并且在真實(shí)聲吶數(shù)據(jù)上進(jìn)行實(shí)驗(yàn)，最終總體分類精度達(dá)到98.1%，尤其是在礁石圖像上取得了較為出色的分類精度。與傳統(tǒng)方法相比，本文的方法準(zhǔn)確率更高，可以為海底底質(zhì)分類提供技術(shù)支持。在后續(xù)研究中，將對聲吶數(shù)據(jù)進(jìn)行擴(kuò)充，如加入茅草地、基巖等底質(zhì)類型的聲吶圖像數(shù)據(jù)，進(jìn)一步擴(kuò)充可分類的海底底質(zhì)的類別。此外，還將采用手動提取的特征和深度學(xué)習(xí)網(wǎng)絡(luò)提取的特征相融合的方法來進(jìn)一步豐富提取到的特征，提升沙底質(zhì)和泥底質(zhì)的分類精度，力爭實(shí)現(xiàn)海底底質(zhì)分類自動化、智能化。