基于深度學(xué)習(xí)的無人機(jī)影像夜光藻赤潮提取方法

李敬虎，邢前國，鄭向陽，李琳，王麗麗

（1.魯東大學(xué)信息與電氣工程學(xué)院，山東煙臺 264025；2.中國科學(xué)院煙臺海岸帶研究所，山東煙臺 264003；3.中國科學(xué)院大學(xué)，北京 100049）

0 引言

近年來，隨著海洋資源的大力開發(fā)利用，海洋生態(tài)環(huán)境遭受破壞，赤潮事件在全球范圍內(nèi)呈現(xiàn)多發(fā)態(tài)勢［1］。赤潮是有害藻華（Harmful Algal Blooms，HAB）的一種常見類型［2］，呈紅色或棕色，赤潮爆發(fā)期間會產(chǎn)生有毒物質(zhì)，造成海洋生物死亡，對沿海地區(qū)的漁業(yè)和旅游業(yè)造成嚴(yán)重破壞［3］，開展赤潮監(jiān)測和研究工作具有重要現(xiàn)實(shí)意義。

針對赤潮對漁業(yè)和旅游業(yè)造成的惡劣影響，眾多監(jiān)測手段被提出用于赤潮監(jiān)測工作［4］。早期依賴于實(shí)地取樣和葉綠素a（Chlorophyll a，Chl-a）濃度實(shí)驗(yàn)分析的現(xiàn)場觀測方法，資源密集且耗時(shí)，而通過固定點(diǎn)水質(zhì)傳感器監(jiān)測赤潮，存在無法靈活改變監(jiān)測地點(diǎn)和深度的問題，導(dǎo)致赤潮研究局限于相對較小的區(qū)域或較短的時(shí)間段［5］。衛(wèi)星遙感作為一種重要觀測手段，在目標(biāo)識別、環(huán)境監(jiān)測中發(fā)揮著重要作用［6］。目前，已經(jīng)成功開發(fā)出眾多利用衛(wèi)星光學(xué)遙感數(shù)據(jù)進(jìn)行赤潮監(jiān)測的算法［7-9］。借助衛(wèi)星遙感，赤潮監(jiān)測工作不再受限于現(xiàn)場采樣效率，降低了時(shí)間和經(jīng)濟(jì)成本［10］。

隨著機(jī)器學(xué)習(xí)、深度神經(jīng)網(wǎng)絡(luò)不斷優(yōu)化改進(jìn)，展示了其在遙感等領(lǐng)域的應(yīng)用潛力［11-12］，為赤潮信息提取提供了新的解決方法。Kim 等［13］利用U-Net 模型對地球靜止海洋水色成像儀（Geostationary Ocean Color Imager，GOCI）數(shù)據(jù)進(jìn)行分析，成功提取了朝鮮半島南部沿海地區(qū)的赤潮；Lee 等［14］對2013 年朝鮮半島南部沿海地區(qū)赤潮的Landsat-8 OLI（Operational Land Imager）數(shù)據(jù)進(jìn)行分析，結(jié)合實(shí)地考察，提出了結(jié)合深度學(xué)習(xí)的赤潮監(jiān)測方法。

受限于衛(wèi)星遙感的固定時(shí)空分辨率，衛(wèi)星遙感無法為赤潮監(jiān)測提供更加精準(zhǔn)和實(shí)時(shí)的技術(shù)支持。近年來，搭載高分辨率攝像機(jī)的無人機(jī)（Unmanned Aerial Vehicle，UAV）作為傳統(tǒng)衛(wèi)星遙感的重要補(bǔ)充，具有使用成本低、操作簡單、獲取影像速度快、地面分辨率高等傳統(tǒng)遙感無法比擬的優(yōu)勢，在環(huán)境監(jiān)測中得到越來越多的應(yīng)用［15-16］。目前常見的無人機(jī)配備高分辨率的RGB（Red-Green-Blue）數(shù)碼相機(jī)，若能用于赤潮高效的提取，會大幅提高赤潮的遙感監(jiān)測水平。

基于以上討論，本文以無人機(jī)采集夜光藻（Noctiluca scintillans）赤潮RGB 視頻影像作為監(jiān)測數(shù)據(jù)，通過在原始UNet++網(wǎng)絡(luò)［17］基礎(chǔ)上，修改主干網(wǎng)絡(luò)為VGG-16（Visual Geometry Group-16）［18］，引入空間dropout（spatial dropout）策略［19］，同時(shí)使用ImageNet 數(shù)據(jù)集［20］預(yù)先訓(xùn)練VGG-16 網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)，提出了一種基于深度學(xué)習(xí)的無人機(jī)影像夜光藻赤潮提取方法，實(shí)現(xiàn)了對復(fù)雜環(huán)境中夜光藻赤潮自動化、高精度的提取。在自建的赤潮數(shù)據(jù)集Redtide-DB 上，通過與多種方法進(jìn)行對比測試，探究所提方法的優(yōu)勢和不足。

1 數(shù)據(jù)采集和數(shù)據(jù)采樣

本文無人機(jī)獲取的夜光藻赤潮影像來自北黃海近岸海域，數(shù)據(jù)保存為視頻格式，視頻分辨率為1 280 像素×720 像素。數(shù)據(jù)獲取所用的無人機(jī)型號為大疆“御”Mavic 2 專業(yè)版，搭載RGB 相機(jī)。夜光藻赤潮數(shù)據(jù)采集期間大氣能見度一般（如圖1 所示）。

圖1 無人機(jī)采集的夜光藻赤潮樣本數(shù)據(jù)Fig.1 Sample data of Noctiluca scintillans red tide taken by UAV

為便于夜光藻赤潮提取工作，首先按照固定頻率，對視頻格式的數(shù)據(jù)進(jìn)行采樣，最終形成2 691 張圖片的樣本庫，部分?jǐn)?shù)據(jù)如圖1 所示。樣本庫中的2 511 張圖片作為訓(xùn)練樣本參與模型訓(xùn)練，視頻最后30 s 采樣所得的180 張圖片作為測試樣本，用于評估所提方法的夜光藻赤潮提取精度。

2 夜光藻赤潮提取與精度評估

針對目前衛(wèi)星遙感中夜光藻赤潮識別精度低、實(shí)時(shí)性差的問題，以無人機(jī)采集的高分辨率夜光藻赤潮RGB 視頻影像作為監(jiān)測數(shù)據(jù)，提出一種基于深度學(xué)習(xí)的無人機(jī)影像夜光藻赤潮自動提取方法，由數(shù)據(jù)預(yù)處理、網(wǎng)絡(luò)訓(xùn)練與測試、精度評估構(gòu)成，提取流程如圖2 所示。

圖2 基于深度學(xué)習(xí)的無人機(jī)影像夜光藻赤潮提取流程Fig.2 Flow of Noctiluca scintillans red tide extraction from UAV images based on deep learning

2.1 數(shù)據(jù)預(yù)處理

為構(gòu)建用于訓(xùn)練的數(shù)據(jù)集，首先對數(shù)據(jù)進(jìn)行標(biāo)注。夜光藻赤潮區(qū)域分為明顯區(qū)域和不明顯的區(qū)域，如圖1 所示。夜光藻赤潮不明顯區(qū)域由于邊界模糊，人工標(biāo)注容易受到主觀因素的影響。為減小數(shù)據(jù)集標(biāo)注導(dǎo)致的誤差，首先在HSV（Hue-Saturation-Value）顏色空間選取H（Hue）波段閾值法對夜光藻赤潮進(jìn)行提?。蝗缓蠼Y(jié)合目視解譯對提取結(jié)果進(jìn)行修正；最終將數(shù)據(jù)標(biāo)注為背景、夜光藻赤潮明顯區(qū)域和非明顯區(qū)域三部分。

訓(xùn)練過程中為減少圖片尺寸過大帶來的硬件壓力，將圖片切割為512×512 大小的子圖；同時(shí)，為減少正負(fù)樣本失衡對分類器性能的影響，去除背景像元占單樣本像元總數(shù)90%以上的樣本；最后對數(shù)據(jù)進(jìn)行鏡像、隨機(jī)旋轉(zhuǎn)、隨機(jī)平移的數(shù)據(jù)擴(kuò)增操作，如圖3 所示。

圖3 數(shù)據(jù)擴(kuò)增Fig.3 Data augmentation

經(jīng)過上述圖片裁剪、正負(fù)樣本均衡和數(shù)據(jù)擴(kuò)增處理之后，得到有效樣本數(shù)為6 560 的赤潮數(shù)據(jù)集Redtide-DB。Redtide-DB 數(shù)據(jù)集被隨機(jī)分為兩部分，其中80%作為訓(xùn)練集，20%作為驗(yàn)證集。最后，在對圖片進(jìn)行預(yù)測時(shí)，使用Overlap-tile 策略［21］保留圖片邊緣特征，以獲得更準(zhǔn)確的赤潮提取結(jié)果。

2.2 網(wǎng)絡(luò)訓(xùn)練與測試

在原始UNet++網(wǎng)絡(luò)基礎(chǔ)上，通過修改主干網(wǎng)絡(luò)為VGG-16 網(wǎng)絡(luò)，以提高其特征提取能力，同時(shí)引入空間dropout 策略，將dropout 擴(kuò)展到整個(gè)網(wǎng)絡(luò)來防止過擬合。本文網(wǎng)絡(luò)模型訓(xùn)練過程中，使用ImageNet 數(shù)據(jù)集預(yù)先訓(xùn)練VGG-16 網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)，提高收斂速度。

本文網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)如圖4 所示，由編碼器、解碼器和密集跳躍連接組成，其中：Input、Conv、Max pool、Tr-conv、Softmax 分別代表輸入層、卷積層、最大池化層、反卷積（Transposed convolution）層、分類層；每個(gè)圓圈代表一個(gè)特征提取模塊，由兩個(gè)3×3 的卷積層組成，其卷積操作之后，依次連接空間dropout 單元和修正線性單元（Rectified Linear Unit，ReLU）。每個(gè)特征提取模塊節(jié)點(diǎn)下面的數(shù)字表示當(dāng)前節(jié)點(diǎn)輸出的通道數(shù)，節(jié)點(diǎn)內(nèi)部En、Me、De 用來區(qū)別編碼路徑、密集跳躍連接、解碼路徑的單元。

圖4 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)Fig.4 Network topology

在本文網(wǎng)絡(luò)模型中，通過編碼結(jié)構(gòu)中降采樣操作，可以不斷增加感受野大小，從而避免較小感受野造成的分割邊緣模糊問題；同時(shí)，在不斷下采樣過程中，可以得到不同程度的下采樣分支，進(jìn)行多尺度特征的融合，以提高分類精度。在解碼結(jié)構(gòu)中，對密集跳躍連接融合的特征圖進(jìn)行上采樣，將特征圖尺寸還原為原始圖片大小，以便對圖片中各個(gè)像素進(jìn)行分類。在相同層之間通過跳躍連接（skip connection）的方式將特征向后傳遞，從而將編碼特征與解碼特征進(jìn)行連接，減少特征提取過程中的信息損失；在不同層之間，特征自上至下深度聚合，縮小了編碼特征與解碼特征跳躍連接時(shí)的語義鴻溝（semantic gap），從而提升模型的特征學(xué)習(xí)能力。網(wǎng)絡(luò)中每個(gè)模塊的輸出結(jié)果為：

式中：xi，j表示當(dāng)前特征提取模塊的輸出，i表示網(wǎng)絡(luò)模型的層序，從上至下依次取值為1～5，j表示同一層的模塊序號，j=0表示為編碼器特征提取模塊；C（·）表示特征提取模塊的卷積操作；M（·）表示最大池化操作；T（·）表示反卷積操作；［·］表示特征通道合并（concatenate）。

本文以PyTorch 作為深度學(xué)習(xí)開發(fā)框架，在硬件配置為Intel Core i5 CPU，NVIDIA Tesla T4 GPU，16 GB 顯存，16 GB內(nèi)存，操作系統(tǒng)為Ubuntu16.04，編程語言python 的環(huán)境上進(jìn)行訓(xùn)練和測試。使用Lovasz 損失函數(shù)［22］；損失函數(shù)優(yōu)化算法采用自適應(yīng)矩估計(jì)法（Adaptive moment estimation，Adam）；基礎(chǔ)學(xué)習(xí)率為0.000 1；批大小設(shè)為8；設(shè)置100 個(gè)epoch；空間dropout 參數(shù)為0.5。

2.3 精度評估

為驗(yàn)證本文所提出的夜光藻赤潮提取方法的可靠性，選用總體精度（Overall Accuracy，OA）、F1 評分（F1 score）和Kappa 作為評價(jià)指標(biāo)，在驗(yàn)證集上進(jìn)行夜光藻赤潮提取測試和精度評估，其中OA 代表所有正確分類的像元占總像元的比例。

為了探究所提方法與其他方法相比在提取夜光藻赤潮時(shí)的優(yōu)勢和不足，選取不同拍攝角度和高度的6 張典型測試圖片對提取結(jié)果進(jìn)行展示，其原圖及目視解譯的真實(shí)分割結(jié)果如圖5 所示。

圖5 用于細(xì)節(jié)展示的原始圖片和真實(shí)分割結(jié)果Fig.5 Original images and actual segmentation results for detail display

3 實(shí)驗(yàn)及結(jié)果分析

3.1 機(jī)器學(xué)習(xí)方法夜光藻赤潮提取結(jié)果對比

為驗(yàn)證本文所提出的夜光藻赤潮提取方法的優(yōu)越性，采用K近鄰（K-Nearest Neighbors，KNN）［23］、支持向量 機(jī)（Support Vector Machine，SVM）［24］和隨機(jī)森 林（Random Forest，RF）［25］這3 種機(jī)器學(xué)習(xí)方法進(jìn)行對比測試。在實(shí)驗(yàn)過程中，KNN 方法參數(shù)為：采用KD 樹（K-Dimensional tree）算法，K值設(shè)為5，使用歐幾里得距離，距離的權(quán)重選擇無；SVM方法參數(shù)為：核函數(shù)為徑向基函數(shù)（Radial Basis Function，RBF），其中調(diào)整懲罰系數(shù)值為10，gamma 參數(shù)值為0.1；RF方法參數(shù)為：森林中樹木的數(shù)量為30，最大分裂數(shù)為249。在驗(yàn)證集上，KNN、SVM、RF 和本文方法的夜光藻赤潮提取評價(jià)指標(biāo)如表1 所示，6 張典型測試圖片的分類細(xì)節(jié)如圖6所示。

圖6 不同機(jī)器學(xué)習(xí)方法的夜光藻赤潮提取結(jié)果對比Fig.6 Noctiluca scintillans red tide extraction results comparison of different machine learning methods

表1 機(jī)器學(xué)習(xí)方法的夜光藻赤潮提取評價(jià)指標(biāo)對比Tab.1 Comparison of evaluation indexes of machine learning methods on Noctiluca scintillans red tide extraction

在機(jī)器學(xué)習(xí)方法中，SVM 方法的夜光藻赤潮提取評價(jià)指標(biāo)（OA=88.69%，F(xiàn)1 評分=0.891 3，Kappa=0.842 7）高于其他2 種機(jī)器學(xué)習(xí)方法。但是由于建筑物區(qū)域和夜光藻赤潮區(qū)域的像元光譜信息相近，機(jī)器學(xué)習(xí)方法沒有充分利用圖像的上下文信息，導(dǎo)致其提取結(jié)果中出現(xiàn)較多的建筑物誤識別。

與機(jī)器學(xué)習(xí)方法對比，本文提出的基于深度學(xué)習(xí)夜光藻赤潮提取方法具有明顯的精度優(yōu)勢，其夜光藻赤潮提取的三個(gè)評價(jià)指標(biāo)均高于機(jī)器學(xué)習(xí)方法。本文所提方法在準(zhǔn)確識別夜光藻赤潮的同時(shí)，有效避免了建筑物、云霧、耀光等因素的干擾，具有較強(qiáng)的抗干擾能力，且計(jì)算簡單，不用人工提取特征。

3.2 語義分割網(wǎng)絡(luò)赤潮提取結(jié)果對比

為比較本文方法相比其他語義分割網(wǎng)絡(luò)在赤潮提取任務(wù)上的性能差異，采用PSPNet（Pyramid Scene Parsing Network）［26］、SegNet［27］和U-Net［21］這3 種典型的語義分割網(wǎng)絡(luò)進(jìn)行對比測試。在實(shí)驗(yàn)過程中，3 種典型語義分割網(wǎng)絡(luò)的超參數(shù)設(shè)置與本文方法保持一致。在驗(yàn)證集上，3 種語義分割網(wǎng)絡(luò)（PSPNet、SegNet 和U-Net）及本文方法的夜光藻赤潮提取評價(jià)指標(biāo)如表2 所示，6 張典型測試圖片分類細(xì)節(jié)如圖7所示。

表2 語義分割網(wǎng)絡(luò)的夜光藻赤潮提取評價(jià)指標(biāo)對比Tab.2 Comparison of evaluation indexes of semantic segmentation networks on Noctiluca scintillans red tide extraction

從表2 可以看出，評價(jià)指標(biāo)的最高值（OA=94.63%；F1評分=0.955 2；Kappa=0.949 6）均為本文方法的提取結(jié)果。從圖7 可以看出，3 種語義分割網(wǎng)絡(luò)都可以有效識別建筑物等干擾信息，但是在赤潮非明顯區(qū)域的信息提取上效果較差；本文方法相較于其他3 種語義分割網(wǎng)絡(luò)，可以更好地保留夜光藻赤潮的細(xì)節(jié)信息，在細(xì)弱目標(biāo)識別上具有較高精度。

圖7 語義分割網(wǎng)絡(luò)的夜光藻赤潮提取結(jié)果對比Fig.7 Noctiluca scintillans red tide extraction results comparison of semantic segmentation networks

3.3 泛化能力分析

在實(shí)際應(yīng)用中，本文所提出夜光藻赤潮提取方法對新樣本的泛化能力也是一項(xiàng)重要的評價(jià)指標(biāo)，選用不同拍攝環(huán)境和不同拍攝設(shè)備獲取的夜光藻赤潮影像進(jìn)行測試，并驗(yàn)證精度。用于測試的圖片尺寸為3 968×2 976，相機(jī)型號為HMAAL00。本文所提方法的夜光藻赤潮提取結(jié)果如圖8 所示。

圖8 泛化能力測試Fig.8 Test of generalization ability

分析結(jié)果可知，基于深度學(xué)習(xí)的無人機(jī)影像夜光藻赤潮提取方法的在新樣本上同樣具有較好的分類結(jié)果，經(jīng)過定量精度評估其OA 為97.41%，F(xiàn)1 評分為0.965 9，Kappa 為0.938 2，說明其對新樣本具有一定泛化能力，可以應(yīng)用于不同拍攝設(shè)備和環(huán)境。

4 結(jié)語

無人機(jī)具有獲取影像靈活和分辨率高的特點(diǎn)，使得快速對赤潮做出反應(yīng)成為可能。為快速和準(zhǔn)確地處理無人機(jī)獲取的大量視頻數(shù)據(jù)，本文通過融合UNet++模型、VGG16 主干網(wǎng)絡(luò)、空間dropout 策略，提出了一種基于深度學(xué)習(xí)的無人機(jī)影像夜光藻赤潮提取方法。

研究表明，機(jī)器學(xué)習(xí)方法（KNN、SVM、RF）無法準(zhǔn)確提取復(fù)雜環(huán)境中的夜光藻赤潮信息，并且訓(xùn)練數(shù)據(jù)需要人工提取特征，操作困難且效率低；PSPNet、SegNet 和U-Net 3 種典型的語義分割網(wǎng)絡(luò)在赤潮圖像的細(xì)弱目標(biāo)識別上效果較差。本文所提出的夜光藻赤潮提取方法在對比實(shí)驗(yàn)中表現(xiàn)最優(yōu)，實(shí)現(xiàn)了高精度提取，且自動化程度高，魯棒性強(qiáng)，使業(yè)務(wù)化的夜光藻赤潮無人機(jī)監(jiān)測具有較高的可行性。不同的赤潮具有不同的顏色，本文提出的模型能否應(yīng)用于其他優(yōu)勢種的赤潮，我們將進(jìn)一步開展研究。