聯(lián)合Bi-LSTM和注意力加強(qiáng)多尺度卷積的黃河三角洲濕地高光譜圖像分類方法研究

徐美論, 李忠偉, 王雷全, 李 娟, 胡亞斌, 梁 建

聯(lián)合Bi-LSTM和注意力加強(qiáng)多尺度卷積的黃河三角洲濕地高光譜圖像分類方法研究

徐美論1, 李忠偉1, 王雷全2, 李 娟2, 胡亞斌3, 梁 建4

(1. 中國石油大學(xué)(華東)海洋與空間信息學(xué)院, 山東 青島 266580; 2. 中國石油大學(xué)(華東)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 山東 青島 266580; 3. 自然資源部 第一海洋研究所, 山東 青島 266061; 4. 南通智能感知研究院, 江蘇 南通 226007)

近年來, 面向黃河口的監(jiān)測(cè)需求日益增大, 如黃河入海流路改道至清水溝路以來, 在新老河道的交匯處存在著豐富的地物類別, 對(duì)于這些地物類別的檢測(cè)識(shí)別研究有助于掌握生態(tài)環(huán)境狀態(tài), 對(duì)于黃河口的濕地保護(hù)以及國家改善環(huán)境的戰(zhàn)略支持具有重要意義。因此, 本文提出一種新的濕地高光譜圖像分類方法, 分雙路分別提取圖像的空譜特征并融合分類。光譜維采用分組預(yù)處理的雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(Bi-LSTM)有效學(xué)習(xí)光譜特征; 空間維采用注意力加強(qiáng)的多尺度卷積網(wǎng)絡(luò)有效增強(qiáng)所提取的空譜特征, 使得分類結(jié)果更具準(zhǔn)確性。本文實(shí)驗(yàn)應(yīng)用覆蓋黃河入海口新老河道交界處的成像光譜儀(Compact High Resolution Imaging Spectrometer, CHRIS)所采集的數(shù)據(jù)和黃河三角洲自然保護(hù)區(qū)濱海濕地高分5號(hào)傳感器(GF-5)所采集的高光譜圖像開展。結(jié)果表明: 分組與雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(Bi-LSTM)的有效結(jié)合顯著提升了網(wǎng)絡(luò)性能, 同其他監(jiān)督分類方法相比提升約3%~8%, 此外注意力機(jī)制的加入同比增加約3%, 在使用1%的極少訓(xùn)練集下數(shù)據(jù)集CHRIS和GF-5的總體分類精度分別達(dá)到92.3%和86.11%。

高光譜圖像分類; 黃河三角洲; 分組; 多尺度; 注意力機(jī)制

黃河三角洲是高效的生態(tài)經(jīng)濟(jì)區(qū), 是國家級(jí)自然保護(hù)區(qū), 在資源儲(chǔ)備, 生態(tài)調(diào)節(jié), 生物保護(hù)等[1-2]方面發(fā)揮著重要作用。黃河入海流路改道至清水溝路以來, 在新老河道的交匯處, 存在多種地物類型, 其生態(tài)資源、土地資源極為豐富, 而近年來由于油田和農(nóng)田的增加導(dǎo)致灘涂大面積圍墾, 破壞了生態(tài)環(huán)境, 使得面向黃河三角洲濕地分類遙感監(jiān)測(cè)的需求日益增大; 加之遙感技術(shù)的飛速發(fā)展, 使得越來越多的學(xué)者投身于高光譜圖像分類領(lǐng)域, 因此采用有效的分類方法來監(jiān)測(cè)識(shí)別相關(guān)地物對(duì)于黃河三角洲濕地的生態(tài)資源保護(hù)具有重要意義。

高光譜遙感是將成像技術(shù)和光譜技術(shù)相結(jié)合的多維信息獲取技術(shù), 可以同時(shí)獲取目標(biāo)的二維空間信息與第三維的光譜信息, 得到高光譜分辨率的連續(xù)、窄波段圖像數(shù)據(jù)[3]。與傳統(tǒng)遙感相比, 其優(yōu)勢(shì)在于光譜分辨率高, 波段眾多, 能夠獲取地物幾乎連續(xù)的光譜特征曲線, 為圖像分類提供了條件。根據(jù)每個(gè)像元的灰度、紋理、空間鄰域信息及光譜信息等可得到像元的類別標(biāo)簽。高光譜圖像(Hyperspectral Image, HSI)應(yīng)用于農(nóng)業(yè)、海洋遙感、地表資源調(diào)查、環(huán)境監(jiān)測(cè)、地質(zhì)資源勘探、軍事偵察等領(lǐng)域均表現(xiàn)出突出優(yōu)勢(shì)與重要作用。

直到夜幕降臨，父親才臉色鐵青地回來。剛進(jìn)屋，父親把我們?nèi)齻€(gè)朝懷里一摟，“嗚哇嗚哇”大哭起來，大聲說自己沒用。那一刻，我們知道，想吃頓帶肉的年夜飯的愿望又泡湯了?；蛟S是父親去借錢時(shí)受了風(fēng)寒，第二天他就感冒了，燒得滿臉通紅，一向剛強(qiáng)的父親主動(dòng)說扛不住了，要去醫(yī)院。醫(yī)生說，是重感冒引發(fā)的急性肺炎，需要住院幾天。母親身體不好，我們又小，只好告知親朋好友，希望能過來幫忙照看一下。

目前國內(nèi)已有文章也談及東非某國抗震設(shè)防烈度的取值方法[2]，本文試圖以其他地區(qū)幾個(gè)海外項(xiàng)目為例，淺析海外巖土工程勘察工作中抗震設(shè)防烈度的采取方法，供從業(yè)者參考。

目前, 深度學(xué)習(xí)方法已成為高光譜圖像分類領(lǐng)域的研究新熱點(diǎn), 其相較于傳統(tǒng)的機(jī)器學(xué)習(xí)算法如支持向量機(jī)(SVM)、K-近鄰法、樸素貝葉斯、決策樹、稀疏表示、字典學(xué)習(xí)等能夠自主學(xué)習(xí)圖像的更高級(jí)特征, 可以更好地提取非線性和層次特征。其中, 卷積神經(jīng)網(wǎng)絡(luò)(CNN)、遞歸神經(jīng)網(wǎng)絡(luò)(RNN)、生成對(duì)抗網(wǎng)絡(luò)(GAN)、長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)等為基本、常見、高效、經(jīng)典的深度學(xué)習(xí)網(wǎng)絡(luò)。Li S等[4]綜述了自編碼(SAE)、CNN、RNN、GAN等深度學(xué)習(xí)網(wǎng)絡(luò)在高光譜圖像分類中的應(yīng)用, 并比較了傳統(tǒng)方法和深度學(xué)習(xí)方法間的差異性。張雪薇[5]列舉了CNN、RNN、LSTM等神經(jīng)網(wǎng)絡(luò)在海洋信息探測(cè)中的應(yīng)用現(xiàn)狀, 并總結(jié)了深度學(xué)習(xí)方法的前景展望。高光譜圖像分類方法高度依賴于空譜信息的特征提取, 而傳統(tǒng)方法如支持向量機(jī)[6]、隨機(jī)森林(RF)[7]等方法僅利用了光譜信息, 忽略了空間信息的重要性, 導(dǎo)致提取的特征信息不夠完整, 影響分類準(zhǔn)確率。RNN、LSTM網(wǎng)絡(luò)主要用于光譜序列的學(xué)習(xí), 例如楊勝龍[8]提出多層雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(Bi-LSTM)用于識(shí)別遠(yuǎn)洋漁船類型, 考慮船舶的兩個(gè)方向的歷史信息, 但僅利用單一的光譜波段信息進(jìn)行特征的提取和識(shí)別, 因光譜存在同物異譜、同譜異物的現(xiàn)象而影響網(wǎng)絡(luò)性能。因此, 空間信息對(duì)于分類至關(guān)重要。CNN網(wǎng)絡(luò)主要用于提取空譜特征, 有1DCNN、2DCNN和3DCNN, 例如ROY S K等[9]綜合考慮空譜信息, 提出典型3D-2D-CNN網(wǎng)絡(luò)同時(shí)提取空譜信息, 3D- CNN有助于從一堆光譜波段中聯(lián)合表示空間-光譜特征, 2D-CNN進(jìn)一步學(xué)習(xí)更抽象的空間表示, 增加特征的辨別度, 從而提高分類精度; ZHANG Z[10]采用殘差網(wǎng)絡(luò)從高光譜圖像(HSI)豐富的光譜特征和空間背景中連續(xù)學(xué)習(xí)鑒別特征, 進(jìn)而提升網(wǎng)絡(luò)性能。而上述方法均未考慮空間分布的特殊性, 即目標(biāo)像素鄰域內(nèi)像素類別存在隨機(jī)性。于是, ZHANG M[11]提出DR-CNN網(wǎng)絡(luò), 學(xué)習(xí)目標(biāo)像素多鄰域空間區(qū)域的上下文交互特征, 使提取到的空譜特征具有更強(qiáng)的識(shí)別能力。FENG J[12]提出RS-AMCNN網(wǎng)絡(luò), 自適應(yīng)選取目標(biāo)像素周圍多個(gè)不同大小的鄰域塊, 不僅提取聯(lián)合空間-光譜特征, 而且通過多尺度卷積操作利用不同空間位置的感受野。而這些模型忽略了卷積核提取不同區(qū)域特征對(duì)分類結(jié)果的貢獻(xiàn)程度的不同, 因此, 近年注意力機(jī)制的興起為深度學(xué)習(xí)提供更好的學(xué)習(xí)能力。

神經(jīng)網(wǎng)絡(luò)在注意力機(jī)制的輔助下可以聚焦局部重要位置而忽略無關(guān)位置, 根據(jù)輸入的重要性自適應(yīng)加權(quán)特征加以分配不同的權(quán)重值, 突出重要特征弱化相對(duì)無用特征。GUO M H[13]綜述了通道、空間、分支等不同注意力的應(yīng)用場(chǎng)景和方式。HUJ[14]提出的壓縮激活網(wǎng)絡(luò)(SENet)屬于通道注意力, 通過對(duì)特征通道之間的相互依賴關(guān)系建立注意力機(jī)制, 自適應(yīng)地對(duì)特征進(jìn)行重新校準(zhǔn)。J WANG[15]提出波段注意力, 使網(wǎng)絡(luò)可以自動(dòng)學(xué)習(xí)關(guān)注所需的波段集, 從而最大限度地提高分類精度。在卷積網(wǎng)絡(luò)中加入注意力機(jī)制已是當(dāng)下研究熱點(diǎn), 例如SUAN H[16]提出一種空間注意力機(jī)制網(wǎng)絡(luò)(SSAN), 將光譜-空間網(wǎng)絡(luò)(SSN)與SSAN相結(jié)合提取空譜特征。在此基礎(chǔ)上, WOO S等[17]結(jié)合通道和位置注意力, 提出CBAM, 在通道和空間2個(gè)維度上均對(duì)輸入特征進(jìn)行特征優(yōu)化, 使網(wǎng)絡(luò)更多關(guān)注對(duì)分類有用的信息, 增強(qiáng)特征的表達(dá)能力。Li R[18]提出雙路注意力網(wǎng)絡(luò)DBDA, 將特征分別輸入光譜特征提取分支和空間維提取分支, 分別加強(qiáng)光譜特征和空間特征的表征能力。Fu J[19]提出了一種新穎的對(duì)偶注意力網(wǎng)絡(luò), 位置注意力模塊用于學(xué)習(xí)特征的空間依賴性, 通道注意力模塊用來學(xué)習(xí)通道之間的內(nèi)部關(guān)聯(lián)性, 利用自注意力機(jī)制提高特征表示的判別性。

黃河三角洲濕地的黃河水含沙量巨大, 而河口區(qū)的裸灘含水量較大, 在衛(wèi)星圖像中其水體和裸灘的光譜特征差異較小, 因而根據(jù)黃河三角洲濕地類型及分布特點(diǎn), 本文在深度學(xué)習(xí)方法和注意力機(jī)制的基礎(chǔ)上作相關(guān)改進(jìn), 提出了聯(lián)合分組預(yù)處理的雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(Devide pretreatment Bi-LSTM network, DBL)和注意力加強(qiáng)多尺度卷積網(wǎng)絡(luò)(Atten-tion enhancement on Multiple scales CNN, AMCNN)用于黃河三角洲濕地高光譜圖像分類, 網(wǎng)絡(luò)名字簡(jiǎn)稱則為DBL-AMCNN。該網(wǎng)絡(luò)主要有以下三點(diǎn)貢獻(xiàn):

目前，我國對(duì)食品安全的監(jiān)督，涵蓋了從農(nóng)產(chǎn)品種養(yǎng)殖、食品生產(chǎn)加工與制造到流通和消費(fèi)的全鏈條、各環(huán)節(jié)，食品安全的“共治”格局已形成。具體來講，從農(nóng)業(yè)部門、水產(chǎn)部門、林業(yè)部門到加工運(yùn)輸，再到食品供應(yīng)，甚至包括互聯(lián)網(wǎng)食品快餐的配送，以及小攤點(diǎn)、小餐桌、小飯館的消費(fèi)，每一個(gè)環(huán)節(jié)都納入了食品安全監(jiān)管的范圍內(nèi)。

圖1、圖2的真實(shí)地物標(biāo)簽圖均由自然資源部第一海洋研究所和南通智能感知研究院相關(guān)人員聯(lián)合進(jìn)行了數(shù)據(jù)標(biāo)簽的人工標(biāo)注和處理(去噪和大氣校正)。此外, CHRIS是GF-5圖像的黃河口入?？诓糠? 區(qū)域有重疊但地物標(biāo)簽存在不一樣現(xiàn)象, 是因?yàn)閮煞鶊D像波段、所用衛(wèi)星和采集年份不一樣, 地物會(huì)發(fā)生變化, 從而地物類型存在差異, 在人工進(jìn)行數(shù)據(jù)標(biāo)簽標(biāo)記時(shí)進(jìn)行了更細(xì)致的歸類。

1.4統(tǒng)計(jì)學(xué)分析采用SPSS18.0進(jìn)行統(tǒng)計(jì)分析,計(jì)量資料以(±s)表示,t檢驗(yàn),計(jì)數(shù)資料用n(%)表示,χ2檢驗(yàn),P<0.05為差異有統(tǒng)計(jì)學(xué)意義。

1 實(shí)驗(yàn)數(shù)據(jù)

1.1 研究區(qū)域

如圖1所示, 高分五號(hào)(GF-5)數(shù)據(jù)集采集于2018年11月, 其區(qū)域覆蓋了黃河三角洲的自然保護(hù)區(qū)濱海濕地, 其影像圖由78、25、5三波段組合得到, 像素尺寸為462×617, 共150個(gè)波段, 光譜范圍為390~1 029 nm, 其分辨率3.67~4.81 nm, 地面空間分辨率30 m。該區(qū)域?yàn)榈湫偷臑I海濕地, 其地物類型包含互花米草、蘆葦、檉柳林、鹽地堿蓬、潮灘蘆葦、裸潮灘、鹽堿灘及水體共8類。PROBA-CHRIS (Compact High Resolution Imaging Spectrometer) 是搭載于歐洲空間局(European Space Agency, ESA)小衛(wèi)星上的遙感器, 成像模式多, 可獲取0°、+36°、–36°、+55°和–55°等五種角度的高光譜圖像。如圖2所示, 本文采用的CHRIS數(shù)據(jù)集區(qū)域位于黃河入?？谛吕先牒搅髑灏算夂颓逅疁辖唤缣? 于2012年6月獲取黃河口濱海濕地CHRIS工作模式2的0°圖像, 其影像圖由15、10、5三波段組合得到; 像素尺寸為510×511, 共18個(gè)波段, 光譜范圍為406~ 1 035 nm, 其光譜分辨率5.9~44.1 nm, 地面空間分辨率為17 m。該區(qū)域?yàn)榈湫偷臑I海濕地, 其地物類型包括蘆葦、互花米草、灘涂、水體、裸地及檉柳堿蓬混生區(qū)共6類。

1.2 數(shù)據(jù)

黃河三角洲是我國暖溫帶最廣闊、最完整、最年輕的濱海濕地, 位于山東省北部渤海灣和萊州灣之間, 東營市黃河入海口處, 東經(jīng)118°10￠至119°15￠與北緯37°15￠至38°10￠之間, 地處黃河入?？? 總面積約5 450 km2, 是上游黃河攜帶大量泥沙在渤海凹陷處沉積形成的沖積平原, 是山東省東營市經(jīng)濟(jì)發(fā)展的廣闊空間, 為山東黃河三角洲國家級(jí)自然保護(hù)區(qū), 其水源充足, 海水和淡水的交匯促進(jìn)泥沙絮凝沉降形成泥灘, 生長(zhǎng)有許多濕地植被與珍稀動(dòng)植物, 具有很高的科研價(jià)值; 加之其對(duì)于生態(tài)保護(hù)的重要性, 選取該研究區(qū)域, 對(duì)其地物類型進(jìn)行有效的監(jiān)測(cè)及分類。

子美性極辣，惜未見諸行事。 《雕賦》一篇，辣味盡露。 所云“重其有英雄之姿，類大臣正色立朝之義”，可謂善于立言。 《義鶻行》是其一生心事，偶遇好題，遂不覺淋漓痛快。 至功成用舍之際，何其撇脫，幾于神龍見首不見尾矣。 高鳥奇文，并傳不朽。[26]9101

(3)空間特征提取支路采用多尺度卷積神經(jīng)網(wǎng)絡(luò), 并通過加入注意力對(duì)不同尺度和不同層次的網(wǎng)絡(luò)信息進(jìn)行信息增強(qiáng)學(xué)習(xí), 最后級(jí)聯(lián)多尺度多層次的信息得到空間特征用于后續(xù)分類; 在注意力增強(qiáng)特征信息表現(xiàn)力的基礎(chǔ)上充分學(xué)習(xí)網(wǎng)絡(luò)不同深度的特征信息, 使得分類精度更高, 黃河三角洲濕地不同地物類型的邊界更清晰。

圖1 實(shí)驗(yàn)區(qū)GF-5影像圖及地物真值圖

圖2 實(shí)驗(yàn)區(qū)CHRIS影像圖及地物真值圖

2 方法

本文所提出的黃河三角洲濱海濕地高光譜圖像分類方法的整體網(wǎng)絡(luò)框架如圖3所示, 該網(wǎng)絡(luò)分兩路分別提取地物的空譜特征并融合; 針對(duì)黃河三角洲濕地地物中水體和裸灘的光譜特征差異較小的問題, 光譜特征提取支路采用分組預(yù)處理的Bi- LSTM網(wǎng)絡(luò), 分別從正反兩方向?qū)W習(xí)光譜間相關(guān)性和長(zhǎng)距離依賴性; 針對(duì)各地物空間分布邊界的模糊性, 空間特征提取部分引入注意力機(jī)制進(jìn)行特征的增強(qiáng), 并通過級(jí)聯(lián)多尺度卷積充分提取具表征力的特征。本節(jié)將分以下五小部分對(duì)圖中相關(guān)工作做詳細(xì)介紹。

2.1 分組策略預(yù)處理

研究表明在處理復(fù)雜光譜結(jié)構(gòu)時(shí)深層的結(jié)構(gòu)具有更好的泛化能力[20-21], 現(xiàn)有的方法主要關(guān)注光譜的完整性, 輸入網(wǎng)絡(luò)可在無監(jiān)督情況下自動(dòng)學(xué)習(xí)光譜特征, 而長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)等時(shí)序網(wǎng)絡(luò)更加關(guān)注相鄰波段的上下文信息。因此, 如何正確地將高光譜矢量劃分為不同的序列對(duì)網(wǎng)絡(luò)的性能至關(guān)重要。高光譜含有數(shù)百個(gè)波段, 若將每個(gè)波段作為一個(gè)時(shí)間步輸入一個(gè)頻段一次則使得LSTM網(wǎng)絡(luò)太深而無法訓(xùn)練。此外, 黃河三角洲濕地地物光譜之間具有強(qiáng)相似性, 如裸灘和水體光譜信息相似, 不易區(qū)分; 因此根據(jù)地物光譜間強(qiáng)相關(guān)性和長(zhǎng)距離依賴性的特點(diǎn)進(jìn)行分組預(yù)處理。

圖3 聯(lián)合Bi-LSTM和注意力加強(qiáng)多尺度卷積的高光譜圖像分類網(wǎng)絡(luò)架構(gòu)

本文提出兩種分組策略, 如圖4所示為分組策略1, 圖5所示為分組策略2, 并通過后續(xù)實(shí)驗(yàn)選擇最優(yōu)方案和最優(yōu)時(shí)間步長(zhǎng)。設(shè)為波段數(shù),為L(zhǎng)STM中時(shí)間步數(shù), 則每個(gè)時(shí)間步的序列長(zhǎng)度為=(/),()表示向下舍入。例如: 設(shè)=[1,2,…,z]為高光譜圖像中某一像元在整個(gè)波段上的光譜向量序列。經(jīng)分組變化后的光譜序列表示為=[1,2, …x, …τ], 則存在下列分組策略。

圖4 分組策略1

分組策略1為:

分組策略2為:

2.2 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)

(1)該網(wǎng)絡(luò)分為雙路分別學(xué)習(xí)高光譜圖像的光譜信息和空間信息, 最后將兩路信息通過全連接層進(jìn)行融合學(xué)習(xí)后得出最終分類結(jié)果。整個(gè)網(wǎng)絡(luò)相互統(tǒng)一、相互制約, 通過反向傳播不斷訓(xùn)練優(yōu)化。

機(jī)構(gòu)優(yōu)化設(shè)計(jì)中常用的算法有梯度優(yōu)化算法[14]和進(jìn)化算法[15-17]。梯度優(yōu)化算法收斂速度快，但容易導(dǎo)致局部最優(yōu)解；遺傳算法、蟻群算法屬于進(jìn)化算法，能有效規(guī)避局部最優(yōu)解，但搜索到滿足點(diǎn)距準(zhǔn)則、函數(shù)值變化準(zhǔn)則或梯度準(zhǔn)則的最優(yōu)解需要較長(zhǎng)的迭代時(shí)間。

圖6 LSTM網(wǎng)絡(luò)門單元

2.3 基于分組預(yù)處理的雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(DBL)

每個(gè)波段圖像不僅與其之前的波段圖像相關(guān), 還與其后續(xù)的波段圖像相關(guān), 基于此, 梁聯(lián)暉等[22]運(yùn)用Bi-RNN注意力網(wǎng)絡(luò), Mei S[23]運(yùn)用Bi-LSTM, 有效學(xué)習(xí)序列長(zhǎng)期依賴和上下文關(guān)系。因此在圖像識(shí)別等某些任務(wù)中, 雙向的序列網(wǎng)絡(luò)可以很好的解決上述問題。

圖7 DBL網(wǎng)絡(luò)

Fig. 7 DBL network

2.4 注意力機(jī)制模塊

提取的立方體的不同位置具有不同的語義信息。例如, 對(duì)象邊緣通常比其他位置更具辨別力。如果能充分利用這些先驗(yàn)信息, 光譜和空間子網(wǎng)的學(xué)習(xí)能力將得到提高。由于黃河三角洲濕地地物空間分布的邊界模糊, 網(wǎng)絡(luò)對(duì)于邊界地物的分類識(shí)別具挑戰(zhàn)性?；诖? 本文將注意力機(jī)制加入到網(wǎng)絡(luò)中, 使得網(wǎng)絡(luò)更加關(guān)注對(duì)分類有用的信息并抑制對(duì)分類無用的信息, 從而可以讓網(wǎng)絡(luò)學(xué)習(xí)到更準(zhǔn)確的特征信息, 更加精確高效地區(qū)分邊界信息, 從而提升分類精度。

本文所提出的模型在下述服務(wù)器上運(yùn)行: 操作系統(tǒng)Ubuntu18.04.3, CPU處理器Intel(R) Core(TM) i7-9700K CPU@3.60GHz, GPU顯卡NVIDIA RTX 3090 Super GP基于Tensorflow 2.5.0框架實(shí)現(xiàn)。

國網(wǎng)鄉(xiāng)鎮(zhèn)供電所生產(chǎn)的營業(yè)用房，處于嚴(yán)寒地區(qū)，因嚴(yán)寒地區(qū)施工時(shí)間短，施工地點(diǎn)多，位置分散，建筑規(guī)模小，因此構(gòu)建節(jié)能環(huán)保的裝配式建造體系更利于滿足建筑全生命周期綠色建筑發(fā)展（見圖4）。

圖8 注意力機(jī)制模塊

Fig. 8 Attention mechanism module

2.5 注意力加強(qiáng)多尺度卷積網(wǎng)絡(luò)(AMCNN)

CNN不同層次之間的信息互補(bǔ)更有利于分類, 結(jié)合黃河三角洲濕地地物空間分布邊界的模糊性特點(diǎn), 本文提出AMCNN用于提取濕地高光譜圖像的空間特征, 如圖9所示, CNN中加入批歸一化層[24], 其多尺度體現(xiàn)在目標(biāo)像素鄰域在卷積過程中提取三個(gè)不同的鄰域范圍和淺中深三個(gè)不同層次的結(jié)構(gòu)特征, 通過卷積、PCCBA注意力模塊、批歸一化、池化等, 分別從不同尺度和不同深度提取不同的空間特征, 并通過級(jí)聯(lián)的方式融合這些特征用于后續(xù)通過全連接層和softmax層進(jìn)行分類。該網(wǎng)絡(luò)可加強(qiáng)特征之間的互補(bǔ)和層次之間的相關(guān)性, 提取到更加具有表現(xiàn)性的特征, 更加精準(zhǔn)高效地對(duì)邊界地物進(jìn)行分類, 提升網(wǎng)絡(luò)性能。相較于傳統(tǒng)的多尺度多分支網(wǎng)絡(luò), 該網(wǎng)絡(luò)不僅可以學(xué)習(xí)不同尺度之間相關(guān)性, 而且可以提取到不同尺度的特征信息。網(wǎng)絡(luò)每個(gè)步驟細(xì)節(jié)參數(shù)如表1所示, 步長(zhǎng)是指卷積或池化過程中滑動(dòng)窗口的移動(dòng)步長(zhǎng), 填充是CNN中常用的一種技術(shù), 通過在邊界中添加零值使卷積運(yùn)算前后特征圖大小不變。

圖9 引入BN層的多尺度卷積模塊

表1 注意力加強(qiáng)多尺度卷積網(wǎng)絡(luò)模塊參數(shù)

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)設(shè)置及環(huán)境

本實(shí)驗(yàn)所選數(shù)據(jù)集為黃河三角洲濕地CHRIS高光譜影像。本實(shí)驗(yàn)均隨機(jī)重復(fù)10次后取平均值, 每次訓(xùn)練均隨機(jī)抽取訓(xùn)練集和測(cè)試集。如表2、表3所示。實(shí)驗(yàn)中訓(xùn)練集分別選取1%、2%、3%進(jìn)行不同訓(xùn)練樣本占比的比較, 剩下的為測(cè)試集。實(shí)驗(yàn)中采用小批量隨機(jī)梯度下降算法優(yōu)化網(wǎng)絡(luò), 實(shí)驗(yàn)中設(shè)置訓(xùn)練批次為300, 學(xué)習(xí)率為0.001, 批量大小為128。實(shí)驗(yàn)結(jié)果采用OA和Kappa系數(shù)評(píng)估。OA表示正確分類的樣本占總測(cè)試樣本的比例, Kappa系數(shù)表示真實(shí)值和分類結(jié)果之間的一致性, 兩個(gè)指標(biāo)越高說明分類結(jié)果越好。

行為風(fēng)格或人格能夠影響創(chuàng)造力，創(chuàng)造力與行為風(fēng)格或人格密切相關(guān)。早期的研究就發(fā)現(xiàn)了一些較為穩(wěn)定的人格對(duì)創(chuàng)造力有很大影響，如內(nèi)在動(dòng)機(jī)、寬廣的興趣、審美敏感、容忍模糊、直覺、冒險(xiǎn)、韌性與自信、不關(guān)注公眾認(rèn)可等。巴龍、愛杜森等人在研究科學(xué)家的創(chuàng)造力時(shí)發(fā)現(xiàn)，高度的自我力量、獨(dú)立自主的強(qiáng)烈需要、較高的自信水平、陶醉于所熱愛和傾注的事業(yè)等是創(chuàng)造者的共同個(gè)性特征。克頓(1989)發(fā)現(xiàn)那些具有“創(chuàng)新性”解決問題的人往往以“新穎的”方式解決看似普通的問題，甚至重新“界定問題表征”，然后再找尋答案。他說，這些創(chuàng)造性行為風(fēng)格是較為穩(wěn)定的，一旦形成，就會(huì)貫穿于解決絕大多數(shù)問題的過程之中。

表2 GF-5訓(xùn)練集和總樣本數(shù)量

表3 CHRIS訓(xùn)練集和總樣本數(shù)量

(2)光譜特征提取支路采用Bi-LSTM網(wǎng)絡(luò), 學(xué)習(xí)光譜間的雙向關(guān)系, 并通過分組策略預(yù)處理緩解梯度消失現(xiàn)象, 更好地學(xué)習(xí)光譜的長(zhǎng)期依賴關(guān)系; 從而緩解了由于水體和裸灘的光譜特征差異較小而影響分類精度的問題。

十九大報(bào)告明確指出，推動(dòng)形成全面開放新格局，要以“一帶一路”建設(shè)為重點(diǎn)，賦予自由貿(mào)易試驗(yàn)區(qū)更大改革自主權(quán)，探索建設(shè)自由貿(mào)易港。從總體上看，“一帶一路”倡議與自貿(mào)試驗(yàn)區(qū)建設(shè)互為補(bǔ)充，“一帶一路”建設(shè)的“五通”與自貿(mào)試驗(yàn)區(qū)的“四化”兩者高度契合，共同推動(dòng)形成全面開放新格局[注]張時(shí)立：《中國自貿(mào)區(qū)建設(shè)與“21 世紀(jì)海上絲綢之路”——以上海自貿(mào)區(qū)建設(shè)為例》，《社會(huì)科學(xué)研究》2016年第1期，第58頁。。

3.2 實(shí)驗(yàn)結(jié)果與分析

首先驗(yàn)證分組策略的有效性, 對(duì)所提出的兩種分組策略進(jìn)行實(shí)驗(yàn)驗(yàn)證, 策略1按照光譜順序?qū)⑾噜彶ǘ蝿澐譃橥唤M, 策略2則按相同的時(shí)間步長(zhǎng)間隔劃分為同組。實(shí)驗(yàn)結(jié)果如圖10、圖11所示(采用1%的訓(xùn)練集), 通過實(shí)驗(yàn)說明, 太深的網(wǎng)絡(luò)并不適合LSTM提取光譜特征, 所以本文中將時(shí)間步設(shè)置為3, 全連接FC神經(jīng)元數(shù)量設(shè)置為128。實(shí)驗(yàn)結(jié)果證明了在不同時(shí)間步長(zhǎng)的設(shè)置下策略2均優(yōu)于策略1, 其原因一是策略2所劃分的序列覆蓋了更寬的光譜范圍, 在每個(gè)時(shí)間步中有更多豐富的上下文光譜信息送入LSTM單元, 原因二是策略2中不同時(shí)間步之間的光譜距離更短, 使網(wǎng)絡(luò)更好地學(xué)習(xí)長(zhǎng)短期依賴關(guān)系。此外, 從可分性的角度來看, Xu Y[23]通過使用PCA將數(shù)據(jù)從原始高維空間投影到三維空間, 也驗(yàn)證了分組的有效性。

圖10 CHRIS基于不同步長(zhǎng)的分組策略性能

圖11 GF-5基于不同步長(zhǎng)的分組策略性能

其次, 采用第二種分組策略, 驗(yàn)證lstm不同方向的性能。實(shí)驗(yàn)結(jié)果如表4所示, 在采用光譜特征進(jìn)行圖像分類的任務(wù)中, 雙向網(wǎng)絡(luò)能達(dá)到最好效果; 同時(shí), 黃河三角洲濕地不同地物的光譜間差異性小, 利用DBL網(wǎng)絡(luò)可綜合學(xué)習(xí)不同方向的上下文長(zhǎng)期依賴關(guān)系, 為分類網(wǎng)絡(luò)提供更好的性能, 實(shí)現(xiàn)地物的有效區(qū)分。

表4 基于分組策略2的LSTM不同方向性能

然后評(píng)估AMCNN在不同降維通道和不同輸入鄰域塊大小下的性能, 因?yàn)镻CA預(yù)處理的降維通道數(shù)和輸入網(wǎng)絡(luò)的patch塊大小是網(wǎng)絡(luò)中兩個(gè)重要的影響性能的參數(shù)。由于經(jīng)PCA降維預(yù)處理后, 高光譜圖像的空譜信息多集中于第一主成分, 因此選擇3, 4, 6進(jìn)行實(shí)驗(yàn)對(duì)比,選擇28, 24, 20, 其實(shí)驗(yàn)對(duì)比如表5所示。因此加權(quán)計(jì)算時(shí)間花費(fèi)和分類精度,選擇4,選擇28。

表5 AMCNN主要參數(shù)性能

最后我們將所提出的方法同其他方法進(jìn)行比較, 包括SVM、BL-0(無分組Bi-LSTM)、DBL-1(基于分組策略1的Bi-LSTM)、DBL-2(基于分組策略2的Bi-LSTM)、SSUN[25]、DBMA[26]、DBDA[18]、AMCNN (本文所提方法的空間特征提取支路)、DBL0-MCNN (無分組Bi-LSTM且無注意力機(jī)制)等, 分別采用不同占比的訓(xùn)練集, 其評(píng)估結(jié)果如表6—8(GF-5-1%/2%/ 3%訓(xùn)練集)、表9—11(CHRIS-1%/2%/3%訓(xùn)練集)所示, 各方法相應(yīng)分類結(jié)果如圖12—14(GF-5-1%/2%/3%訓(xùn)練集), 圖15—17(CHRIS-1%/2%/3%訓(xùn)練集)所示。

通過實(shí)驗(yàn)可知, 分組策略可以顯著地提高LSTM的性能, 在兩個(gè)數(shù)據(jù)集中, OA可提高約3%~5%, 其原因則是逐頻帶輸入網(wǎng)絡(luò)使得訓(xùn)練過深影響精度, 因此本文采用的分組策略2效果達(dá)到最優(yōu)。此外, 光譜分支缺乏空間特征, 其分類圖會(huì)受到胡椒噪聲的干擾; 在空間分支中可有效利用地物連續(xù)性, 得到較清晰的分類圖, 在不加注意力機(jī)制情況下SSUN的性能相較于AMCNN略低, 這是由于在AMCNN中使用的是雙注意力, 可以同時(shí)捕獲空譜信息, 有效提高網(wǎng)絡(luò)精確率; DBL0-MCNN相較于DBMA、DBDA、SSUN略低, 其原因是無分組的Bi-LSTM加重了網(wǎng)絡(luò)的計(jì)算負(fù)擔(dān), 使網(wǎng)絡(luò)訓(xùn)練參數(shù)升高, 出現(xiàn)過擬合現(xiàn)象; 而DBMA、DBDA略低于SSUN可能由于該網(wǎng)絡(luò)相對(duì)復(fù)雜, 不適用于小樣本訓(xùn)練, 其參數(shù)訓(xùn)練出現(xiàn)欠擬合現(xiàn)象。因此, 相比之下, 本文所提出的DBL-AMCNN綜合雙向、分組和雙注意力機(jī)制, 可達(dá)最優(yōu)效果, 相比于其他卷積神經(jīng)網(wǎng)絡(luò)有效緩解過擬合現(xiàn)象, 減少網(wǎng)絡(luò)訓(xùn)練壓力和計(jì)算消耗, 提升抗噪聲干擾能力; 從對(duì)比實(shí)驗(yàn)圖的黑框和白框中可清晰看到本文算法在地物邊界處的良好分類效果, 相比于其他方法地物邊界更清晰, 更精確; 此外, 在不同占比訓(xùn)練集的實(shí)驗(yàn)相比較下, 總體精度在1%的極少訓(xùn)練集下已達(dá)到86%(GF5), 93%(CHRIS), 且其強(qiáng)泛化能力亦能在其他數(shù)據(jù)集中獲得較優(yōu)性能。

表6 所提分類方法與其他實(shí)驗(yàn)結(jié)果對(duì)比(GF-5-1%訓(xùn)練集)

表7 所提分類方法與其他實(shí)驗(yàn)結(jié)果對(duì)比(GF-5-2%訓(xùn)練集)

表8 所提分類方法與其他實(shí)驗(yàn)結(jié)果對(duì)比(GF-5-3%)

表9 所提分類方法與其他實(shí)驗(yàn)結(jié)果對(duì)比(CHRIS-1%訓(xùn)練集)

表10 所提分類方法與其他實(shí)驗(yàn)結(jié)果對(duì)比(CHRIS-2%訓(xùn)練集)

表11 所提分類方法與其他實(shí)驗(yàn)結(jié)果對(duì)比(CHRIS-3%訓(xùn)練集)

圖12 GF-5-1%訓(xùn)練集下不同方法實(shí)驗(yàn)結(jié)果對(duì)比圖(a-i為對(duì)比方法, j為本文方法)

圖13 GF-5-2%訓(xùn)練集下不同方法實(shí)驗(yàn)結(jié)果對(duì)比圖(a-i為對(duì)比方法, j為本文方法)

圖14 GF-5-3%訓(xùn)練集下不同方法實(shí)驗(yàn)結(jié)果對(duì)比圖(a-i為對(duì)比方法, j為本文方法)

圖15 CHRIS-1%訓(xùn)練集下不同方法實(shí)驗(yàn)結(jié)果對(duì)比圖(a-i為對(duì)比方法, j為本文方法)

圖16 CHRIS-2%訓(xùn)練集下不同方法實(shí)驗(yàn)結(jié)果對(duì)比圖(a-i為對(duì)比方法, j為本文方法)

圖17 CHRIS-3%訓(xùn)練集下不同方法實(shí)驗(yàn)結(jié)果對(duì)比圖(a-i為對(duì)比方法, j為本文方法)

4 結(jié)語

本文提出了一種新的高光譜圖像分類方法, 并將其應(yīng)用于黃河三角洲的濱海濕地地物識(shí)別檢測(cè), 根據(jù)該濕地地物的空譜特點(diǎn), 網(wǎng)絡(luò)分雙路分別進(jìn)行地物的光譜特征提取和空間特征提取。首先利用PCA對(duì)空間維進(jìn)行降維預(yù)處理, 然后取降維后的小patch塊輸入AMCNN網(wǎng)絡(luò)提取多尺度多層次融合的空間特征; 采用分組策略將對(duì)光譜維進(jìn)行分組預(yù)處理后的光譜序列輸入Bi-LSTM網(wǎng)絡(luò)提取雙向上下文關(guān)聯(lián)和具長(zhǎng)期依賴的光譜特征, 最后融合雙路的空-譜特征通過softmax層進(jìn)行分類。

觀察組和對(duì)照組均采用標(biāo)準(zhǔn)的化療方案，對(duì)獲得CR的急性髓細(xì)胞性白血病的緩解后治療，主要包括表柔紅霉素+阿糖胞苷（DA）、高三尖杉酯醇+阿糖胞苷（HA）、米托蒽醌+阿糖胞苷（MA）、阿霉素+阿糖胞苷（AA）及中/大劑量阿糖胞苷（Ara-C）等方案；對(duì)獲得CR的急性淋巴細(xì)胞白血病患者的緩解后治療，主要包括長(zhǎng)春新堿+柔紅霉素+環(huán)磷酰胺+強(qiáng)的松（VDCP）、足葉乙苷+阿糖胞苷（EA）以及甲氨蝶呤（HD-MTX）等方案。觀察組加用十一味參芪片（吉林金恒制藥股份有限公司，國藥準(zhǔn)字Z10900029，0.3 g/片）口服，每日服用3次，每次服4粒。

本文通過一系列實(shí)驗(yàn)比較證明了所提DBL- AMCNN方法的有效性, 證明了分組和雙向組合的有效性。此外, 通過雙注意力和多尺度卷積的有效結(jié)合, 并驗(yàn)證注意力的對(duì)比試驗(yàn), 證明了注意力模塊在多尺度卷積的基礎(chǔ)上進(jìn)一步加強(qiáng)了空譜特征。所提出的方法不僅在少量的樣本下實(shí)現(xiàn)了較好的分類效果, 而且降低了模型計(jì)算量和復(fù)雜度, 有效在龐大的數(shù)據(jù)提取困難度下更好的檢測(cè)黃河三角洲濱海濕地的地物分布狀況。

雖然所提出的分類方法和其他方法相比, 表現(xiàn)出最優(yōu)異的性能, 但還存在不足之處, 之后的工作還需進(jìn)一步優(yōu)化模型, 繼續(xù)提高模型效率和魯棒性, 用更少的訓(xùn)練樣本來達(dá)到更高的分類精度, 繼續(xù)探索優(yōu)化注意力及多尺度的參數(shù)問題, 并使網(wǎng)絡(luò)能夠自動(dòng)學(xué)習(xí)雙分支的貢獻(xiàn)度權(quán)重因子并合理分配權(quán)重。

[1] 李永濤, 杜振宇, 王霞, 等. 黃河三角洲自然保護(hù)區(qū)濕地生態(tài)服務(wù)功能價(jià)值評(píng)估[J]. 海洋環(huán)境科學(xué), 2019, 38(5): 761-768.

LI Yongtao, DU Zhenyu, WANG Xia, et al. Evaluation of wetland ecological service function in Yellow River delta nature reserve[J]. Marine environmental science, 2019, 38(5): 761-768.

[2] 王娜娜, 劉宏元, 李英, 等. 黃河三角洲濕地生態(tài)系統(tǒng)服務(wù)價(jià)值評(píng)估[J]. 山東農(nóng)業(yè)科學(xué), 2022, 54(2): 153-158.

WANG Nana, LIU Hongyuan, LI Ying, et al. Evaluation of wetland ecosystem services in Yellow River Delta[J]. Shandong Agricultural Sciences, 2022, 54(2): 153-158.

[3] 張建偉, 陳允杰. 高光譜圖像分類方法綜述[J]. 南京信息工程大學(xué)學(xué)報(bào)(自然科學(xué)版), 2020, 12(1): 89-100.

ZHANG Jianwei, CHEN Yunjie. A review of hyperspectral image classification methods[J]. Journal of Nanjing University of Information Science & Technology (Natural Science Edition), 2020, 12(1): 89-100.

[4] LI S, SONG W, FANG L, et al. Deep Learning for Hyperspectral Image Classification: An Overview[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(9): 6690-6709.

[5] 張雪薇, 韓震, 郭鑫. 深度學(xué)習(xí)在海洋信息探測(cè)中的應(yīng)用: 現(xiàn)狀與展望[J]. 海洋科學(xué), 2022, 46(2): 145-155.

ZHANG Xuewei, HAN Zhen, GUO Xin. Application of deep learning in ocean information detection: Current Situation and Prospect[J]. Marine Science, 2022, 46(2): 145-155.

[6] MOUGHAL, T A. Hyperspectral image classification using Support Vector Machine[J]. Journal of Physics Conference, 2013, 439(1): 20-42.

[7] XIA J, FALCO N, BENEDIKTSSON J A, et al. Hyperspectral Image Classification With Rotation Random Forest Via KPCA[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2017, 10(4): 1601-1609.

[8] 楊勝龍, 史慧敏, 張勝茂, 等. 基于Bi-LSTM模型的遠(yuǎn)洋漁船類型識(shí)別研究[J]. 海洋科學(xué), 2022, 46(3): 25-35.

YANG Shenglong, SHI Huimin, ZHANG Shengmao, et al. Research on type identification of ocean-going fishing vessel based on BiLSTM Model[J]. Marine Science, 2022, 46(3): 25-35.

[9] ROY S K, KRISHNA G, DUBEY S R, et al. HybridSN: Exploring 3D-2D CNN Feature Hierarchy for Hyperspectral Image Classification[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 17(2): 277-281.

[10] ZHONG Z, LI J, LUO Z, et al. Spectral-Spatial Residual Network for Hyperspectral Image Classification: A 3-D Deep Learning Framework[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 56(2): 847-858.

[11] ZHANG M, LI W, DU Q. Diverse Region-Based CNN for Hyperspectral Image Classification[J]. IEEE Transac-tions on Image Processing A Publication of the IEEE Signal Processing Society, 2018, 27(6): 2623-2634.

[12] FENG J, WU X, SHANG R, et al. Attention Multibranch Convolutional Neural Network for Hyperspectral Image Classification Based on Adaptive Region Search[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(6): 5054-5070.

[13] GUO M H, XU T X, LIU J J, et al. Attention Mechanisms in Computer Vision: A Survey[J]. 2021, 8 (3): 331-368.

[14] HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 7132-7141.

[15] WANG J, ZHOU J, HUANG W. Attend in bands: Hyperspectral band weighting and selection for image classification[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, 12(12): 4712-4727.

[16] SUN H, ZHENG X, LU X, et al. Spectral–Spatial Attention Network for Hyperspectral Image Classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(5): 3232-3245.

[17] WOO S, PARK J, LEE J Y, et al. Cbam: Convolutional block attention module[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 3-19.

[18] LI R, ZHENG S, DUAN C, et al. Classification of hyperspectral image based on double-branch dual-atten-tion mechanism network[J]. Remote Sensing, 2020, 12(3): 582.

[19] FU J, LIU J, TIAN H, et al. Dual attention network for scene segmentation[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019: 3146-3154.

[20] CHEN Y, LIN Z, ZHAO X, et al. Deep learning-based classification of hyperspectral data[J]. IEEE Journal of Selected topics in applied earth observations and remote sensing, 2014, 7(6): 2094-2107.

[21] CHEN Y, ZHAO X, JIA X. Spectral–spatial classification of hyperspectral data based on deep belief network[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(6): 2381-2392.

[22] 梁聯(lián)暉, 李軍, 張紹泉. 基于3D Octave卷積和Bi-RNN注意力網(wǎng)絡(luò)的高光譜圖像分類方法[J].光子學(xué)報(bào), 2021, 50(9): 13.

LIANG Lianhui, LI Jun, ZHANG Shaoquan. Hyperspectral image classification based on 3D Octave convolution and BI-RNN attention Network[J]. Journal of photons, 2021, 50(9): 13.

[23] MEI S, LI X, LIU X, et al. Hyperspectral image classification using attention-based bidirectional long short- term memory network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 1-12.

[24] IOFFE S, SZEGEDY C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]//International conference on machine learning. PMLR, 2015: 448-456.

[25] XU Y, ZHANG L, DU B, et al. Spectral–spatial unified networks for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(10): 5893-5909.

[26] MA W, YANG Q, WU Y, et al. Double-branch multi- attention mechanism network for hyperspectral image classification[J]. Remote Sensing, 2019, 11(11): 1307.

Combined Bi-LSTM and attention enhancement multiscale convolution for wetland hyperspectral image classification in the Yellow River Delta

XU Mei-lun1, LI Zhong-wei1, WANG Lei-quan2, LI Juan2, HU Ya-bin3, LIANG Jian4

(1. College of Oceanography and Spatial Information, China University of Petroleum (East China), Qingdao 266580, China; 2. College of Computer Science and Technology, China University of Petroleum (East China), Qingdao 266580, China; 3. Ministry of Natural Resources, First Institute of Oceanography, Qingdao 266061, China; 4. Nantong Intelligent Perception Research Institute, Nantong 226007, China)

Recently, the demand for monitoring the Yellow River estuary has gradually increased. For example, there are various types of ground objects at the intersection of the old and new rivers since the flow of the Yellow River into the sea was diverted to Qingshuigou. Thus, the detection and recognition of these ground objects can provide insights into the state of the ecological environment for the protection of wetlands at the Yellow River estuary. Therefore, in this paper, a new classification method for wetland hyperspectral images is proposed. The proposed method can be categorized into spectral and spatial dimensions to extract the empty spectral features of the images and fuse them for classification. In the spectral dimension, a bidirectional long- and short-term memory network (Bi-LSTM) with packet preprocessing was used to determine spectral features efficiently. In the spatial dimension, an attention-enhanced multiscale convolution network was used to effectively enhance the extracted empty spectrum features and further improve the accuracy of classification results. In this paper, the experimental application was conducted based on data from a compact high-resolution imaging spectrometer (CHRIS) covering the junction of old and new rivers at the estuary of the Yellow River and the hyperspectral images collected using the Gaofen-5 sensor (GF-5) in the coastal wetland of the Yellow River Delta Nature Reserve. Our results show that the effective combination of grouping and Bi-LSTM significantly improved the network performance by ~3%–8% compared with other supervised classification methods, and the addition of an attention mechanism increased by ~3% compared with the previous year. Under the minimal training set of 1%, the CHRIS and GF-5 datasets reached overall classification accuracy of 92.3% and 86.11%, respectively.

hyperspectral image classification; Yellow River Delta; grouping; multiscale; attentional mechanism

Apr. 29, 2022

TP79

A

1000-3096(2023)5-0027-14

10.11759/hykx20220429013

2022-04-29；

2022-12-30

山東省聯(lián)合基金項(xiàng)目(U1906217)；國家自然科學(xué)基金項(xiàng)目(62071491)

[Shandong Provincial Joint Foundation Project, No. U1906217; National Natural Science Foundation of China, No. 62071491]

徐美論(1997—)，女，河南新鄉(xiāng)人，碩士研究生，主要研究方向?yàn)楦吖庾V圖像分類，E-mail: s20160034@s.upc.edu.cn；李忠偉(1978—)，通信作者，男，教授，研究方向：大數(shù)據(jù)與人工智能、多源遙感數(shù)據(jù)融合與智能信息處理 E-mail: li.zhongwei@vip.163.com

(本文編輯: 康亦兼)