基于數(shù)據(jù)融合的無人機影像碎屑巖巖性識別

閆彥芳, 邵燕林*, 王慶, 曾齊紅, 趙坤鵬

(1.長江大學地球科學學院, 武漢 430100; 2.中國石油勘探開發(fā)研究院, 北京 100083)

地質(zhì)露頭作為地下巖層的觀察窗口,通常以突出的地形特征出現(xiàn)在人們視野中。地質(zhì)學家們可從地質(zhì)露頭上提取地層、巖性、儲層發(fā)育的特征參數(shù)[1-2],用于指導石油勘探,用于油藏精細刻畫與三維地質(zhì)建模等工作中[3-4]。地質(zhì)露頭的重要性催生了數(shù)字露頭技術(shù)的發(fā)展[5],數(shù)字露頭模型(digital outcrop model,DOM)的建立使得很多地質(zhì)研究從野外走進實驗室。DOM是多種地質(zhì)特征綜合解譯、測量、巖性分類的重要工具,利用無人機(unmanned aerial vehicle,UAV)獲取的三維露頭數(shù)據(jù)突破傳統(tǒng)衛(wèi)星遙感影像云層遮擋、重放周期過長的局限,既可以記錄多重時間數(shù)據(jù),同時能夠從多個空間尺度收集數(shù)據(jù),在地質(zhì)領(lǐng)域發(fā)揮著重要作用[6]。

目前,無人機影像廣泛應(yīng)用于圖像分類[7-8]、影像分割[9-10]以及目標檢測[11-12]中,但前人研究多集中在單一RGB(red,green,blue)影像應(yīng)用。趙桂玲等[13]采用改進后的蟻群算法,從光譜特征方面進行森林分類。段濤[14]僅針對無人機獲取的影像數(shù)據(jù)實現(xiàn)滑坡地質(zhì)災(zāi)害識別。余宏明等[15]對無人機獲取的正射影像、高程數(shù)據(jù)與三維模型數(shù)據(jù)分別結(jié)合滑坡相關(guān)物理力學進行滑坡區(qū)域解譯。上述研究均未充分考慮深度信息與影像數(shù)據(jù)的融合。鑒于此,在RGB影像基礎(chǔ)上,加入由無人機影像得到的數(shù)字地表模型(digital surface model,DSM),將研究區(qū)范圍內(nèi)地表以外的地形特征融入RGB影像中,得到地物更多的細節(jié)信息,放大地物類間差異性,進而提高識別精度[16]。同時,在巖性識別方面,中外學者多著眼于遙感衛(wèi)星影像[17-18]或者室內(nèi)高清RGB影像[19-21],很少利用無人機獲得影像進行研究,而且用于野外露頭剖面巖性提取的研究尚鮮見報道。為了得到更精確的巖性識別結(jié)果,以RGB影像與DSM數(shù)據(jù)為數(shù)據(jù)基礎(chǔ),采用多種數(shù)據(jù)融合方式,利用深度學習語義分割模型對野外露頭進行識別,對比分析碎屑巖巖性識別精度,以期提供更為高效的野外露頭巖性識別方法。

1 研究區(qū)及數(shù)據(jù)

研究區(qū)位于準噶爾盆地南緣(44°N、85°E～88°E),露頭巖相以碎屑巖為主,露頭多見中層狀砂巖,中部有約0.6 m礫巖,多為棕色礫巖,沉積特征多見交錯層理、平行層理發(fā)育,泥巖與砂巖互層,砂巖多見小型交錯紋理、砂紋層理。

2021年10月,利用大疆無人機(型號為M300RTK)完成數(shù)據(jù)采集,飛行高度50 m,搭載大疆ZenmuseP1全畫幅相機(具有全畫幅傳感器,影像分辨率達4.5×107像素,同時三軸云臺智能擺動拍攝)實現(xiàn)影像的采集。通過不同數(shù)據(jù)融合方式獲得的影像,經(jīng)過隨機裁剪建立不同的碎屑巖影像融合結(jié)果樣本集,每種融合影像樣本集數(shù)量為11 000張,其中訓練集與測試集按照10∶1進行劃分,樣本大小為256像素×256像素。實驗選擇的測試影像大小7 268像素×8 280像素(圖1),影像分辨率為0.01 m,影像包含泥巖、砂巖與礫巖。

2 研究方法

2.1 數(shù)據(jù)融合方法

2.1.1 通道疊加

通道疊加作為通道變換的一種,主要是針對多個影像進行的疊加操作,對不同影像間的各個通道分別進行變換,彼此之間互不相關(guān)。RGB-Depth深度圖像在目標檢測[22]、三維重建以及目標跟蹤等方面獲得了較好的應(yīng)用,其中DSM類似于灰度圖像,其每個像素值表示傳感器與地面物體的實際距離,表示地物相對于地表的起伏狀態(tài)?，F(xiàn)將無人機獲得的正射影像和地表模型影像進行通道疊加操作,獲得具有四通道的RGB-DSM圖像,進而加入語義分割模型中,用于碎屑巖露頭巖性識別。

2.1.2 IHS圖像融合

IHS(intensity,hue,saturation)變換是圖像融合技術(shù)發(fā)展最早、現(xiàn)已成熟的空間色彩變化算法。相對RGB的紅(red)、綠(green)、藍(blue)3個通道,IHS有強度、色調(diào)和飽和度3個通道[23]。依據(jù)IHS融合原理,將DSM影像與正射影像進行融合,具體步驟如下。

步驟1將正射影像進行重采樣,使其分辨率與DSM影像一致,同時將正射影像的R、G、B波段轉(zhuǎn)換為I、H、S分量。

步驟2將DSM影像與上一步得到的I分量進行直方圖匹配,得到與I分量灰度分布相似的影像,并將其作為新亮度分量替換原來的I分量。

步驟3用新的I分量與S、H分量進行逆變換,還原到RGB影像空間,得到包含高程信息的融合后影像。

2.1.3 小波融合

小波變換在空間和時間上都具備表征局部特征的能力,具有多分辨率分析的特點[24],已廣泛運用于圖像融合?；谛〔ㄗ儞Q的圖像融合將DSM影像與經(jīng)色彩空間變換后的正射影像分別進行小波分解,得到一系列不同的頻段且能夠反映圖像局部特征的子圖像,用不同的融合規(guī)則進行子圖像融合,最后通過小波逆變換得到融合后的圖像(圖2),主要步驟如下。

圖2 小波融合流程圖Fig.2 Flow chart of wavelet fusion

步驟1影像配準與正射影像色彩空間的轉(zhuǎn)變。

步驟2對轉(zhuǎn)變后的正射影像和DSM影像分別進行小波分解(采用haar小波),得到高頻分量和低頻分量。

步驟3對高頻分量采用系數(shù)絕對值取大法(max)規(guī)則融合,對低頻分量采用加權(quán)平均值(mean)規(guī)則進行融合。

步驟4對融合后得到的小波金字塔進行小波逆變換。

步驟5得到的重構(gòu)影像即為融合后圖像。

2.1.4 RGB-D多模態(tài)融合

多模態(tài)融合綜合兩個或多個模態(tài)信息進行預測,在預測過程中將單個模態(tài)不能包含的信息,通過融合來自兩個或多個模態(tài)的信息,實現(xiàn)信息補充,拓寬輸入影像所包含信息的覆蓋范圍,進而提升預測結(jié)果的精度,提高模型的魯棒性[25]。通過RGB-D跨模態(tài)融合方式,加入自注意力機制通過RGB影像與DSM影像通道關(guān)系間的相互依賴性,并自適應(yīng)校準通道特征,得到最具判別性的特征,從而輸入網(wǎng)絡(luò)中進行碎屑巖巖性識別,意圖提升識別精度。

2.2 語義分割模型

由于野外露頭較復雜,噪聲較多導致識別難度大,同時基于無人機影像多模態(tài)的特性,選用DeepLabv3+作為主干網(wǎng)絡(luò)。DeepLabv3+在增加感受野的基礎(chǔ)上能夠還原邊界信息,其在DeepLabv3的基礎(chǔ)上增加上采樣的解碼器模塊,同時融合空洞卷積和金字塔模塊,將多尺度特征與空間信息結(jié)合,更多保留了物體的邊界信息[26],獲得更清晰的分割從而提高識別精度。DeepLabv3+整體結(jié)構(gòu)主要是encoder-decoder架構(gòu)的,如圖3所示。

Encoder模塊用于逐步減少特征圖并提取更高語義信息;Decoder模塊用于逐步恢復影像的空間信息,提高影像的邊緣檢測精度

2.3 檢驗指標

使用平均交并比mIOU、總體精度OA、像素精度PA以及Kappa系數(shù)Kappa作為識別精度的評價指標[27],用來檢驗巖性識別結(jié)果的準確度,其計算公式分別為

(1)

(2)

(3)

(4)

式中:k為標簽標記的種類,k=5;mIOU為所有類別交集和并集之比的平均值;pii為目標為i類被預測為i類的像素數(shù)量;pij為目標為i類被預測為j類的像素數(shù)量;pji為目標為j類預測為i類的像素數(shù)量;TP為真正例;FN為假反例;FP為假正例;TN為真反例;PA為預測類別正確的像素數(shù)占總像素數(shù)的比例;po為預測的準確率;pe為偶然一致性,其值越高,Kappa越低。

3 結(jié)果分析

實驗采用Win 10系統(tǒng),CPU為i7-10750H,顯卡GTX 1650 Ti,在Anaconda中搭建Pytorch虛擬環(huán)境,進行巖性識別。實驗訓練數(shù)據(jù)初始學習率為0.000 1,由于計算機算力有限,batch_size大小設(shè)置為2,patch_size設(shè)置為256像素×256像素,類別數(shù)為5。

3.1 整體識別對比

從總體識別效果(圖4)可以看出,測試影像基于多模態(tài)融合方式的識別效果最好,最接近人工解譯結(jié)果(經(jīng)過專業(yè)地質(zhì)人員指導);經(jīng)過IHS融合后的影像識別效果最差,只對礫巖有所識別。幾種融合影像對泥巖的識別多與浮土、砂巖誤分,這與泥巖顆粒直徑僅0.01 mm相關(guān),容易導致錯分;在礫巖的識別上,幾種影像都過多識別,最接近人工解譯的、錯分最少的是多模態(tài)融合影像;幾種影像對砂巖識別效果都不佳,識別最好的多模態(tài)融合影像也沒有辦法保證砂巖在空間上的連續(xù)性,這與泥巖、砂巖在紋理、顏色上表現(xiàn)相似有關(guān)。

圖4 幾種影像巖性識別對比Fig.4 Comparison of lithology identification from several images

從識別精度評價指標(表1)可以看出,以RGB-D多模態(tài)融合方式總體識別精度最高,將DSM影像作為深度特征加入RGB影像識別過程中,通過通道間學習獲得高級特征與低級特征,在注意力機制的自動學習下,最終獲得含有深度信息的特征,信息利用率高,最終識別精度也較高。其次是RGB-DSM通道疊加識別精度較高,在目標邊界的分割的同時,加入地質(zhì)特征高程信息,從而獲取具有判別性的特征,因此識別精度也較高。經(jīng)過IHS融合之后的識別效果最差,雖然經(jīng)IHS融合獲得的影像空間分辨率高且計算簡單,但色彩畸變嚴重,光譜失真[28],而巖石紋理與光譜信息對識別具有極大的影響,因此其總體識別精度不高。結(jié)合IHS-小波融合后的影像,巖性識別總體精度達74.04%,但在砂巖、泥巖的識別效果好于單一RGB影像,在一定程度上也保證了巖性在空間上的連續(xù)性,其缺點在于融合后影像雖保證了光譜響應(yīng)范圍的一致性,但融合影像的空間分辨率有所下降,出現(xiàn)錯分、漏分現(xiàn)象,識別效果遠不如RGB-D多模態(tài)融合影像識別結(jié)果。因此,總體來看,基于RGB-D多模態(tài)融合影像的巖性識別效果最好。

表1 幾種影像巖性識別精度

3.2 不同巖性識別精度分析

為得到幾種影像融合方法對巖性識別的效果,進一步通過混淆矩陣對4種融合影像進行分析。由表2可知,RGB-D多模態(tài)融合巖性識別Kappa系數(shù)達76.17%,RGB-DSM通道疊加影像與單一RGB影像Kappa系數(shù)相近,大致都在50%,高于IHS、IHS-小波融合影像融合方式。其中對于不同巖性的識別效果如下。

表2 不同巖性識別結(jié)果混淆矩陣

(1)泥巖的識別。單一RGB影像較4種融合影像識別精度都高,這與其保持了原有的空間分辨率和光譜信息有一定關(guān)系;RGB-D多模態(tài)融合在泥巖識別上僅低于單一RGB影像1.88%,仍對泥巖有較好的識別;IHS影像與IHS-小波融合影像在一定程度上對影像光譜信息和空間分辨率有損失,進而影響識別效果;而基于通道融合影像在一定程度上不能高效的利用RGB影像和深度影像的信息,導致識別效果差。

(2)砂巖的識別。RGB-D多模態(tài)融合識別精度為50.03%,高于其他幾種影像;其他幾種影像中,IHS-小波融合后的影像識別精度最高,但也僅為9.26%,其他幾種影像對砂巖識別效果差,更甚對砂巖沒有識別,主要原因在于砂巖和泥巖在色彩、紋理方面表現(xiàn)較為接近,識別難度大。

(3)礫巖的識別。4種融合影像的識別精度都較高,識別精度最高的是單一RGB影像,可能是有由于融合影像或多或少引入少量噪聲,從而降低了礫巖的識別精度。綜上,基于RGB-D多模態(tài)融合的影像在碎屑巖總體識別上能夠提升巖性識別精度,具有一定的應(yīng)用性。

4 結(jié)論

利用無人機采集野外露頭數(shù)據(jù)獲取的RGB影像和DSM影像,結(jié)合4種不同的影像融合方法,利用DeepLabv3+模型對4種影像碎屑巖巖性識別結(jié)果進行對比分析,得到以下結(jié)論。

(1)利用數(shù)據(jù)融合對無人機影像進行碎屑巖巖性識別,其中整體識別效果最好的是多模態(tài)融合影像,高于其他幾種融合數(shù)據(jù)識別效果,大幅避免了因影像融合而導致噪聲增加的問題,總體識別精度達到91.05%,高于單一RGB影像識別精度將近17%。

(2)DSM影像作為深度信息與RGB影像采用多模態(tài)影像通道學習的方式可以大幅提高高差較大的碎屑巖巖性識別精度。

(3)針對野外露頭的復雜性,露頭巖性識別比較困難,利用多模態(tài)融合影像進行碎屑巖巖性識別雖然表現(xiàn)更佳,但對于影像上相似度較高的巖性區(qū)分度還是不高,如泥巖和砂巖識別效果較差,因此后續(xù)擬采用加入地質(zhì)約束線的方式,通過自動追蹤地質(zhì)界線,對碎屑巖巖性進行空間約束以及層狀刻畫,進而提升碎屑巖露頭不同巖性的識別精度,為巖性快速識別提供新思路。