海底聲學(xué)底質(zhì)分類的ELM-AdaBoost方法

王嘉翀，吳自銀*，王明偉,2，周潔瓊，趙荻能，羅孝文

( 1. 自然資源部第二海洋研究所 自然資源部海底科學(xué)重點實驗室，浙江 杭州 310012；2. 山東科技大學(xué) 測繪與空間信息學(xué)院，山東 青島 266590)

1 引言

海底底質(zhì)類型的分類識別是海洋科學(xué)、海洋資源探測以及海洋軍事等領(lǐng)域的重要研究內(nèi)容，快速、有效、準(zhǔn)確地對海底底質(zhì)進行識別和分類對于海洋科學(xué)研究和應(yīng)用至關(guān)重要?；趥鹘y(tǒng)的地質(zhì)取樣方法進行底質(zhì)識別成本高、效率低[1]，而多波束、側(cè)掃聲吶和淺地層剖面等海底淺表層聲吶探測信號或圖像中蘊含著豐富的海底底質(zhì)信息，通過對上述海底探測聲學(xué)信號或圖像進行分類和識別，以快速揭示海底底質(zhì)類型，已逐漸發(fā)展成一門前沿交叉學(xué)科[2]。

近年來，有不少文獻將多種機器學(xué)習(xí)方法應(yīng)用于海底底質(zhì)類型的自動分類識別。文獻[3-6]利用反向傳播神經(jīng)網(wǎng)絡(luò)（Back Propagation，BP）對海底底質(zhì)進行分類識別，但該方法存在收斂速度慢，易陷入局部最優(yōu)化等問題[7]。文獻[8-9]將學(xué)習(xí)向量量化網(wǎng)絡(luò)（Learning Vector Quantization，LVQ）用于海底底質(zhì)分類，但仍存在未充分使用神經(jīng)元，對初始權(quán)值敏感等問題。文獻[10-11]利用支持向量機算法（Support Vector Machine，SVM）對海底底質(zhì)進行分類識別，雖分類精度高、魯棒性強，但其對核函數(shù)的參數(shù)過于敏感，且難以解決多分類問題。此外，國內(nèi)外學(xué)者還利用自組織神經(jīng)網(wǎng)絡(luò)（Self-Organizing Map，SOM）、ISODATA（Iterative Self-Organizing Data Analysis Techniques Algorithm）算法以及K-均值聚類算法等非監(jiān)督分類手段[12-16]，無需樣本訓(xùn)練，分類過程簡單，但由于輸出數(shù)據(jù)沒有標(biāo)識，且對異常數(shù)據(jù)敏感，容易產(chǎn)生錯誤分類，魯棒性較差。海底底質(zhì)分類數(shù)據(jù)量大，在測量與數(shù)據(jù)采集過程中進行實時分類識別是其發(fā)展的必然趨勢[17-18]?，F(xiàn)有的海底底質(zhì)分類方法多繼承或改進已有分類器，以單一或兩個分類器簡單結(jié)合的方式往往無法同時滿足海底底質(zhì)快速、準(zhǔn)確、實時分類的需求，利用適當(dāng)?shù)募伤惴▋?yōu)化多個弱分類器形成強分類器有望同時滿足上述需求。

增強學(xué)習(xí)或提升算法，能夠?qū)⑷鯇W(xué)習(xí)器增強為預(yù)測精度更高、預(yù)測結(jié)果更穩(wěn)定的強學(xué)習(xí)器[19]。為實現(xiàn)海底底質(zhì)快速分類，本文采用極限學(xué)習(xí)機（Extreme Learning Machine, ELM）作為分類器。該分類器分類效率高，適用于處理數(shù)據(jù)量較大的樣本，已成功應(yīng)用于水質(zhì)預(yù)測[20]、遙感圖像處理[21]等領(lǐng)域。利用自適應(yīng)增強算法優(yōu)化極限學(xué)習(xí)機（ELM-AdaBoost），在ELM高分類效率的基礎(chǔ)上可提升其精度和魯棒性?；趯崪y側(cè)掃聲吶灰度圖像，提取均值、標(biāo)準(zhǔn)差、對比度等6個特征向量，對礁石、砂、泥3類典型海底底質(zhì)進行分類識別，取得了較好的分類結(jié)果。

2 極限學(xué)習(xí)機基本原理

極限學(xué)習(xí)機算法最早于2005年由Huang等[22]提出，是一種針對SLFNs（即含單個隱含層的前饋型神經(jīng)網(wǎng)絡(luò)）的監(jiān)督學(xué)習(xí)算法，其主要思想是：輸入層與隱含層之間的權(quán)值參數(shù)，以及隱含層上的偏置向量參數(shù)是隨機確定的（無需像其他基于梯度的學(xué)習(xí)算法一樣通過迭代反復(fù)調(diào)整刷新），只需求解一個最小范數(shù)最小二乘問題（最終歸化為求解一個矩陣的Moore-Penrose廣義逆問題）。因此，該算法具有訓(xùn)練參數(shù)少、運行速度快、泛化性好等優(yōu)點。

任意給定N個樣本 (Xi,ti)， 其中其中m,n分別表示樣本數(shù)量和類別數(shù)。對于一個有L個隱含層節(jié)點的單隱層標(biāo)準(zhǔn)前饋型神經(jīng)網(wǎng)絡(luò)，可表示為

式 中，g(x)為 激 活 函 數(shù)；Wi=[wi1,wi2,···,win]T為 輸 入 權(quán)重；βi為 輸出權(quán)重；bi是第i個隱層單元的偏置。Wi·Xj表示W(wǎng)i和Xj的內(nèi)積。

則式（2）可表示為

式中，H為隱含層輸出矩陣；β為輸出權(quán)重；T為輸出期望。

ELM的訓(xùn)練過程即選定隱層節(jié)點個數(shù)后，隨機確定輸入權(quán)重Wi和偏置bi，然后求式（3）的最小二乘解，可得其中，H+=(HTH)-1HT是矩陣的廣義逆。ELM網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 ELM網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 Network structure of extreme learning machine

3 ELM-AdaBoost方法實現(xiàn)

自適應(yīng)增強算法（Adaptive Boosting）是Freund和Schapire[23]于1995年提出的經(jīng)典集成算法。其自適應(yīng)性體現(xiàn)如下：前一個基本分類器樣本如果被錯誤分類，它的權(quán)值會增大，而正確分類的樣本的權(quán)值會減小，并用來訓(xùn)練下一個基本分類器。通過迭代、反復(fù)學(xué)習(xí)，組合調(diào)整弱分類器直到達(dá)到某個預(yù)定的錯誤率或達(dá)到預(yù)定的最大迭代次數(shù)才形成最終的強分類器。

本文采用側(cè)掃聲吶圖像作為聲學(xué)底質(zhì)分類的數(shù)據(jù)源，基于側(cè)掃圖像采用ELM-AdaBoost方法進行海底底質(zhì)的分類識別主要包括3大步驟：（1）聲吶數(shù)據(jù)預(yù)處理；（2）特征向量提?。唬?）ELM-AdaBoost網(wǎng)絡(luò)構(gòu)建和海底底質(zhì)分類（圖2）。

圖2 基于ELM-AdaBoost方法的海底底質(zhì)分類流程Fig. 2 Flow chart of seabed sediment classification based on ELM-AdaBoost method

3.1 聲吶數(shù)據(jù)預(yù)處理

由于獲取的原始散射數(shù)據(jù)畸變嚴(yán)重且含有大量噪聲，所以需要對原始反向散射數(shù)據(jù)進行預(yù)處理[24-25]，為此，本文進行了海底線跟蹤、增益補償和幾何校正等預(yù)處理，同時通過圖斑和條紋噪聲濾波處理降低側(cè)掃聲吶噪聲，提升魯棒性，使聲吶圖像能真實反映底質(zhì)情況，提高分類精度。

3.2 特征向量提取

特征向量作為分類器的輸入向量，代表著不同底質(zhì)各自的特征，是區(qū)分不同底質(zhì)的標(biāo)識。本文基于側(cè)掃聲吶圖像進行底質(zhì)分類，從基本統(tǒng)計量和灰度共生矩陣中提取多種圖像紋理特征作為分類的特征向量。

由于紋理是由灰度分布在空間位置上反復(fù)出現(xiàn)而形成的，因而在圖像空間中相隔一定距離的兩像素之間會存在一定的灰度關(guān)系，即圖像中灰度的空間相關(guān)特性。灰度共生矩陣就是通過研究一定方向（0°、45°、90°、135°）上間隔一定距離的灰度級像素之間的相互關(guān)系來揭示圖像的某些紋理特征。矩陣元素的值就是沿一定方向間距為d時，灰度i和j的像素對出現(xiàn)的概率或頻數(shù)[26]。Haralick等[27]在灰度共生矩陣的基礎(chǔ)上提出了共14種量化紋理的特征向量，主要包括：灰度值、角二階矩、熵、對比度、協(xié)方差等。

為了減少圖像中相關(guān)性較少或者冗余的圖像特征、減少數(shù)據(jù)維度、提高分類效率，需要進行特征向量降維。本文利用主成分分析方法（Principal Component Analysis，PCA）從所有特征向量中選擇關(guān)聯(lián)性較高的特征向量，確定了6個特征向量：

（1）對比度

反映了圖像的清晰度和紋理溝紋深淺的程度，紋理溝紋越深，其對比度越大，視覺效果越清晰。

（2）相關(guān)系數(shù)

用以度量空間灰度共生矩陣元素在行或列方向上的相似程度。

（3）能量

是灰度共生矩陣元素值的平方和，反映圖像灰度分布均勻程度和紋理粗細(xì)度。

（4）熵

是圖像所具有的信息量的度量，表示圖像中紋理的非均勻程度或復(fù)雜程度。

（5）均值

構(gòu)成對象所有像元的灰度平均值。

（6）標(biāo)準(zhǔn)差

用以衡量對象灰度值的離散程度。

3.3 ELM-AdaBoost網(wǎng)絡(luò)構(gòu)建

ELM-AdaBoost網(wǎng)絡(luò)構(gòu)建，包括以下5個步驟。

（1）通過數(shù)據(jù)預(yù)處理后的圖像提取6種特征向量，作為輸入數(shù)據(jù)。給定訓(xùn)練數(shù)據(jù)T={(x1,y1),(x2,y2),···,(xi,yi)},i=1,···,n， 其中yi∈{1,-1}，用于表示訓(xùn)練樣本的類別標(biāo)簽。當(dāng)xi=yi時，分類正確，類別標(biāo)簽為1；當(dāng)xi≠yi時，分類錯誤，類別標(biāo)簽為-1。

（2）初始化訓(xùn)練數(shù)據(jù)的權(quán)值分布。每一個訓(xùn)練樣本最開始都被賦予相同權(quán)值：訓(xùn)練樣本集的初始權(quán)值分布如下：

（3）選定ELM分類器的個數(shù)，確定迭代次數(shù)t，進行迭代：

a.使用初始化的訓(xùn)練集進行單個ELM訓(xùn)練學(xué)習(xí)以確定最佳隱含層節(jié)點個數(shù)l，同時得到基本分類器

b.計算分類器Ht(x) 數(shù) 據(jù)集上Dt的誤差率

c.計算該基本分類器在最終ELM-AdaBoost強分類器中所占的權(quán)重

d.更新訓(xùn)練樣本的權(quán)值分布

式中，Zt為 歸一化常數(shù)即分類錯誤的樣本獲得更大的權(quán)值。

（4）全部迭代完成后，根據(jù)弱分類器權(quán)重αt組合各個ELM，即：

再通過符號函數(shù)sign得到最終強分類器ELM-Ada-Boost：

（5）最后利用ELM-AdaBoost分類器對測試樣本進行特征向量分類，輸出分類結(jié)果。

4 實驗分析

為驗證ELM-AdaBoost方法在海底底質(zhì)分類中的可行性，本文實驗數(shù)據(jù)來源于908專項海洋調(diào)查航次，利用Edgetech 2000DSS側(cè)掃聲吶系統(tǒng)在珠江口海區(qū)獲取了側(cè)掃聲吶圖像（圖3a），其空間分辨率為0.5 m。珠江口海區(qū)微地貌類型多樣，具有比較典型的礁石、砂、泥類底質(zhì)，從獲取的側(cè)掃圖像分析，河口分布有大片的沙波和礁石[28-31]。河口區(qū)豐富的底質(zhì)類型如圖3b至圖3d所示，分別為礁石、砂和泥3種典型的底質(zhì)灰度圖像。

圖3 研究區(qū)位置示意圖（a）及礁石（b）、砂（c）和泥（d）3種典型底質(zhì)的聲吶圖像Fig. 3 Location of study area (a) and three typical seabed sediment sonar images of rock (b), sand (c) and mud (d)

4.1 圖像處理與特征提取

從圖形校正和噪聲處理后的側(cè)掃聲吶圖像中截取典型的已知底質(zhì)類型區(qū)域，并進行分割和歸一化處理，將圖像分割成12 ×12的像素單元，得到礁石樣本360個，砂樣本361個，泥樣本322個，總計1 043個樣本。

然后，利用主成分分析法選擇其中識別精度較高的特征向量，最終確定了均值、標(biāo)準(zhǔn)差、對比度、相關(guān)系數(shù)、能量和熵6個特征向量（表1）。

表1 礁石、砂和泥3種底質(zhì)的特征向量Table 1 Characteristic vectors of three types of seabed sediment of rock, sand, and mud

從部分?jǐn)?shù)據(jù)中可以看出，礁石的標(biāo)準(zhǔn)差范圍為[0.142 0～0.230 5]，均值為0.186 2；砂的標(biāo)準(zhǔn)差范圍為[0.104 7～0.127 6]，均值為0.116 1；泥的標(biāo)準(zhǔn)差范圍為[0.220 0～0.302 3]，均值為0.261 1。可見不同底質(zhì)之間特征向量具有差異性，分類器據(jù)此進行分類訓(xùn)練。

4.2 分類結(jié)果分析與討論

從1 043個樣本中隨機挑選，其中700個用于訓(xùn)練，343個用于測試。首先構(gòu)建單個ELM數(shù)據(jù)實驗，以確定隱含層最佳節(jié)點數(shù)，結(jié)果如圖4所示，選取隱含層節(jié)點個數(shù)l為200，迭代次數(shù)t為10次。

圖4 隱含層神經(jīng)元個數(shù)對ELM分類性能影響Fig. 4 The influence of the number of hidden layer neurons on the extreme learning machine classification performance

確定隱含層節(jié)點個數(shù)和迭代次數(shù)后，進行10組ELM-AdaBoost的網(wǎng)絡(luò)訓(xùn)練，取其平均值作為最終分類結(jié)果。同時，為驗證ELM-AdaBoost算法的可行性，基于同一組數(shù)據(jù)進行了多次BP、LVQ、PSO（Particle Swarm Optimization）-SVM和 單 獨ELM的 網(wǎng) 絡(luò) 訓(xùn)練，并取其結(jié)果平均值，測試結(jié)果如表2所示。

表2 5種分類器的分類性能對比表Table 2 Comparison of classification performance of five classifiers

結(jié)合表2和圖5可看出，相比于單一ELM弱分類器，ELM-AdaBoost強分類器調(diào)整了各個ELM間的權(quán)重，即加大其中分類誤差率小的分類器權(quán)重，使其在最終分類函數(shù)中起著較大的決定作用，從而減少了最終分類結(jié)果因錯誤分類所受的干擾，提高了分類的穩(wěn)定性，最終分類精度提高約5%。

圖5 ELM-AdaBoost和ELM誤差絕對值對比Fig. 5 Comparison of absolute error value between extreme learning machine-adaptive boosting and extreme learning machine

結(jié)合表2和圖6可看出，ELM-AdaBoost分類器對于砂、礁石的平均分類精度均超過90%，泥的平均分類精度也接近90%，相比于傳統(tǒng)分類方法（BP為83%、LVQ為81%），分類精度有明顯提高。從分類器的分類效率來看，ELM和ELM-AdaBoost分類器完成分類所耗時間僅為0.11 s和0.37 s，相比其他分類器有明顯的優(yōu)勢。

圖6 5種分類器的分類精度對比Fig. 6 Comparison of classification accuracy of five classifiers

5 結(jié)論

本文充分利用了AdaBoost算法集成多個ELM，通過反復(fù)迭代調(diào)整各個ELM分類器之間的權(quán)值，加大其中分類誤差率小的分類器權(quán)重，使其在最終分類函數(shù)中起較大的決定作用。最終克服了單個ELM輸出波動大，模型不穩(wěn)定的缺點，構(gòu)建了具有強魯棒性、高精度的ELM-AdaBoost強分類器。

基于實測珠江口側(cè)掃聲吶圖像，利用灰度共生矩陣提取對比度、相關(guān)系數(shù)、熵等特征向量，通過改進的ELM-AdaBoost方法，實現(xiàn)對砂、礁石和泥3種海底底質(zhì)的分類，其分類精度達(dá)到90%，優(yōu)于單一ELM分類器的平均分類精度85.95%，也優(yōu)于LVQ、BP等其他傳統(tǒng)分類器。同時，在分類效率上，分類時間僅為0.37 s，也遠(yuǎn)少于其他傳統(tǒng)分類器，驗證了本文方法的可行性。