月表落石檢測方法研究
——基于梯度注入策略與結(jié)構(gòu)驅(qū)動評價機(jī)制

胡云澤,李 杰,何 江,袁強(qiáng)強(qiáng),鄭 莉

(武漢大學(xué) 測繪學(xué)院,武漢 430079)

落石可以被描述為一個物理過程,滑坡、泥石流等均是生活中常見的落石現(xiàn)象。相比起日常生活中的落石現(xiàn)象,月表落石的獨(dú)特性在于其覆蓋范圍較小,且彼此間較為獨(dú)立,都是由單一巖石塊產(chǎn)生的連鎖反應(yīng)。大眾對月表落石的關(guān)注最早可以追溯到1966年傳回的第一張月表高分影像[1]。在這個過程中,較大的巖石塊從高處分離,迅速滾動、反彈和滑落到地形低處,并留下明顯且深刻的軌跡[2]。作為一種普遍現(xiàn)象,落石能夠發(fā)生在各類地質(zhì)環(huán)境中,包括月球、火星和谷神星等。盡管每個行星的地質(zhì)環(huán)境不盡相同,但這些環(huán)境中的落石都具有相對一致的地質(zhì)特征,即均由巨石和滾落軌跡組成,這也是在遙感影像中識別落石動態(tài)位移的關(guān)鍵點。自2009年美國月球勘測軌道飛行器(LRO)進(jìn)入月球軌道以來,LRO的窄角相機(jī)(NAC)連續(xù)獲取了大量高分辨率的月表影像,很好地展現(xiàn)了小尺度地質(zhì)目標(biāo)的特征,這些特征對于研究落石的形成過程至關(guān)重要。落石的形成原因有很多[3],包括但不限于內(nèi)部地質(zhì)活動、外部小行星撞擊以及太陽風(fēng)暴等。因此,對月表落石開展分析,不僅有助于研究月球內(nèi)外部地質(zhì)活動的影響,還有利于深入了解月表地質(zhì)環(huán)境和地貌變化,并為未來月球探測乃至月球基地建立等工作提供強(qiáng)有力的支持。

與撞擊坑檢測相類似,月表落石檢測也經(jīng)歷了一個從手動到自動的過程。過去,行星遙感影像中地質(zhì)目標(biāo)的識別與定位主要依賴視覺辨別和人工標(biāo)注,這種方式無疑是耗時且低效的。

近年來,隨著深度學(xué)習(xí)的迅速發(fā)展,其已被成功應(yīng)用到遙感影像處理領(lǐng)域中[4-5],為遙感影像的自動檢測和目標(biāo)識別提供了重要的技術(shù)支持。同時,通過月球軌道飛行器,持續(xù)且高頻的月球探測工作產(chǎn)生了大量的月球影像數(shù)據(jù)集,其推動了計算機(jī)視覺算法在月表目標(biāo)檢測中的應(yīng)用。RetinaNet作為單階段目標(biāo)檢測算法,已被成功應(yīng)用于月表落石檢測[6],并自動繪制了第一張包含13.6萬個目標(biāo)的全月表落石地圖[7]。但是,該算法對于影像標(biāo)注精度的要求非常高,并容易受到噪聲干擾。隨著自注意力機(jī)制的發(fā)展,學(xué)者們逐漸將Transformer應(yīng)用在計算機(jī)視覺任務(wù)中,并作為CNN的潛在替代品[8]。盡管Transformer架構(gòu)在自然影像中取得了較好的效果,但從未應(yīng)用于月球地質(zhì)目標(biāo)檢測中。鑒于月球遙感影像與自然影像間存在異質(zhì)性,基于Transformer的月表落石檢測算法的有效性還有待驗證。

考慮到落石影像多為灰度影像,且落石和背景的差異性不顯著,因此文中考慮加入梯度算子來獲得更準(zhǔn)確的落石邊緣信息。這種梯度注入策略將有助于挖掘更多的地質(zhì)特征,同時落石和背景中其他干擾項將會得到有效區(qū)分,大大提升落石檢測器性能。

與傳統(tǒng)目標(biāo)不同的是,巨石和軌跡的特征結(jié)合使得落石成為一種組合結(jié)構(gòu)的地質(zhì)目標(biāo)。按照傳統(tǒng)評價機(jī)制,如果預(yù)測框捕捉到較長的落石軌跡,那么它通常會比真值框大得多。此時,由于識別到的軌跡長度較長,IoU會遠(yuǎn)小于指定閾值,使得本身被正確識別的落石被誤認(rèn)為錯檢,進(jìn)而可能會造成可視化結(jié)果與基于IoU計算的mAP指標(biāo)相反。因此,為了實現(xiàn)可視化結(jié)果和定量評價指標(biāo)間的一致性,文中提出了一種基于落石成功檢測數(shù)目的全新評價機(jī)制。一旦成功同時檢測到巨石和軌跡,就可以準(zhǔn)確識別出落石,從而避免準(zhǔn)確的落石檢測結(jié)果被錯誤分類。

1 研究數(shù)據(jù)和預(yù)處理

本研究選用的影像均為高分辨率灰度影像,數(shù)據(jù)來源為公開數(shù)據(jù)集RMaM-2020[9]。該數(shù)據(jù)集包含從153張行星遙感影像中提取的2 822個落石標(biāo)簽,以用于訓(xùn)練和測試。其中,使用的月表落石數(shù)據(jù)來自窄角相機(jī)(搭載于月球勘測軌道飛行器上的NAC[10]),火星落石數(shù)據(jù)來自高分辨率圖像試驗相機(jī)(搭載于火星勘測軌道器上的HiRISE[11])。落石標(biāo)簽示例如圖1所示。

圖1 落石樣本示例

為了增強(qiáng)訓(xùn)練模型的魯棒性和泛化能力,本研究對所有的落石標(biāo)簽都進(jìn)行了數(shù)據(jù)增強(qiáng)的預(yù)處理。為了增加數(shù)據(jù)集的大小,本研究將每個落石標(biāo)簽分別沿長邊和短邊,對稱兩次,同時將其以圖像中心為旋轉(zhuǎn)中心,分別旋轉(zhuǎn)90°、180°和270°。剔除重復(fù)樣本后,訓(xùn)練數(shù)據(jù)集擴(kuò)張為原始大小的8倍。

2 方法和原理

目前,基于CNN和Transformer的方法均已廣泛應(yīng)用于自然影像,但只有基于CNN的單階段檢測算法成功應(yīng)用于月表落石檢測。盡管Transformer在自然影像中取得了較好的性能,但現(xiàn)有研究尚未將其引入月表落石檢測。同時,考慮到行星遙感影像與地球遙感影像存在異質(zhì)性,且落石與背景的區(qū)分不夠明顯。因此,如何補(bǔ)充提升Transformer架構(gòu),使其更好地應(yīng)用于月表落石探測也是文中研究的關(guān)鍵。圖2為文中提出的落石檢測方法的總體框架。

圖2 結(jié)合Transformer和梯度注入策略的月表落石檢測方法總體框架

2.1 梯度注入策略

落石是一種具有特殊結(jié)構(gòu)的組合目標(biāo),所以分析其邊緣信息對于檢測十分關(guān)鍵。同時,由于落石數(shù)據(jù)均為高分辨率灰度影像,其邊緣特征一定程度上不能很好地與背景相區(qū)分,因此落石檢測會受到背景噪聲的影響。受邊緣檢測[12]啟發(fā),文中提出了一種基于梯度注入的落石檢測策略。考慮到落石邊緣包括直線軌跡和圓形巨石輪廓,研究選擇Sobel算子和Prewitt算子進(jìn)行梯度增強(qiáng)以突出其邊緣。

文中提出的梯度注入策略,通過模擬方向卷積可以更好地提取落石邊緣信息。Sobel算子和Prewitt算子都是離散微分算子,二者分別通過兩個3×3掩膜計算水平和垂直方向上的近似導(dǎo)數(shù)值。唯一的區(qū)別在于,Sobel算子將“2”和“-2”的權(quán)重分配給水平掩碼的第一和第三列的中心,以及垂直掩碼的第一和第三行的中心。兩種權(quán)重的算子有助于在落石檢測中更好地增強(qiáng)影像中不同層次的信息,從而獲得更準(zhǔn)確的落石邊緣特征信息。

最后,經(jīng)梯度注入模塊處理后,將增強(qiáng)后的特征與原始影像一同進(jìn)行綜合處理,得到最終用于訓(xùn)練的落石特征信息。

2.2 網(wǎng)絡(luò)框架

文中所采用的基于Transformer的落石檢測框架主要參考DEtection Transformer,整體由三部分組成。首先是通過卷積神經(jīng)網(wǎng)絡(luò)提取特征信息的主干網(wǎng)絡(luò)(backbone),其次是Transformer經(jīng)典的編碼器(encoder)和解碼器(decoder)結(jié)構(gòu),最后是簡單的用于最終預(yù)測的前饋神經(jīng)網(wǎng)絡(luò)(FFN)。

主干網(wǎng)絡(luò)部分結(jié)構(gòu)較為簡單,主要是用ResNet提取影像特征生成較低分辨率的激活圖,并將其作為輸入傳遞到Transformer的編碼器。在編碼器部分,每個編碼器層都有統(tǒng)一且標(biāo)準(zhǔn)的結(jié)構(gòu),即由一個多頭自注意力模塊和一個前饋網(wǎng)絡(luò)組成。由于變換器結(jié)構(gòu)是不變的,所以用固定的位置編碼進(jìn)行補(bǔ)充,其也被添加到每個注意力層的輸入中。解碼器部分可以實現(xiàn)對多個對象的同時解碼,輸入時學(xué)習(xí)到的位置編碼被視為對象查詢,進(jìn)而可以被解碼器轉(zhuǎn)化為輸出,最后每個對象被兩個前饋神經(jīng)網(wǎng)絡(luò)分別輸出類別和位置坐標(biāo)兩項結(jié)果?；谏鲜鲈?可以實現(xiàn)在影像全局中直接對各類目標(biāo)進(jìn)行推理。

2.3 實驗方法對比

深度學(xué)習(xí)具有強(qiáng)大的表征能力,所以其被廣泛應(yīng)用于目標(biāo)檢測領(lǐng)域,并被證實是一種高效準(zhǔn)確的檢測手段。因此,文中選擇將Transformer引入月表落石檢測,并與RetinaNet[13](單階段檢測方法)和Faster R-CNN[14](雙階段檢測方法)進(jìn)行比較。這三類方法是目前主流的不同結(jié)構(gòu)特點的目標(biāo)檢測模型,圖3給出了三者的特點對比。

圖3 3種目標(biāo)檢測模型特點對比

DETR(DEtection TRansformer)是一種經(jīng)典的基于Transformer的目標(biāo)檢測模型。Transformer在自然語言處理(NLP)領(lǐng)域取得了巨大的成功,引起了學(xué)者們對其在計算機(jī)視覺中的應(yīng)用的興趣。DETR的亮點在于將注意力機(jī)制引入到目標(biāo)檢測中,通過結(jié)合CNN和Transformer機(jī)制實現(xiàn)了端到端的目標(biāo)檢測。在該方法中,無需預(yù)先確定區(qū)域或利用非極大值抑制即可刪除重復(fù)的邊界框。然而,與單階段或雙階段檢測方法相比,其訓(xùn)練所需的數(shù)據(jù)量是巨大的。

RetinaNet是一種單階段目標(biāo)檢測模型,其通過密集采樣對目標(biāo)進(jìn)行一步到位的分類和定位,因此它的訓(xùn)練過程要快速且簡單得多。然而,與雙階段檢測方法相比,它在訓(xùn)練速度上的提升會帶來精度的下降,因為在訓(xùn)練過程中會遇到極端的樣本不平衡問題。由于提取的背景樣本數(shù)量較多,大量樣本疊加在一起,即使相對權(quán)重較小,也會帶來較大的精度損失。除此之外,RetinaNet在訓(xùn)練過程中想要達(dá)到最優(yōu)狀態(tài)是較為困難的。但值得一提的是,RetinaNet設(shè)計了一種損失函數(shù)Focal Loss,其通過給交叉熵?fù)p失分配指數(shù)權(quán)重,一定程度上削弱了樣本不平衡問題。

不同于單階段目標(biāo)檢測模型,Faster R-CNN首先在圖像中生成候選區(qū)域,然后在第二階段對其進(jìn)行分類和定位。盡管這樣的訓(xùn)練復(fù)雜且耗時,但它更適合檢測多尺度的小物體,通常被作為實驗中的對照組。

2.4 評價指標(biāo)

本研究在月表落石測試集中統(tǒng)計了落石檢測結(jié)果的真正樣本(TP)、真負(fù)樣本(TN)和假正樣本(FP),并在此基礎(chǔ)上計算了精度和召回率。精度(precision)是指目標(biāo)檢測器判斷結(jié)果中預(yù)測爭取的部分(TP)占預(yù)測結(jié)果(TP+FP)的比例。召回率(recall)是指目標(biāo)檢測器預(yù)測正確的部分(TP)占數(shù)據(jù)集中所有真值(TP+FN)的比例。召回率越高意味著目標(biāo)檢測器漏檢的越少,可以在影像中發(fā)現(xiàn)更多感興趣的目標(biāo)。同時,文中還計算了F1分?jǐn)?shù),這是精度和召回率的調(diào)和平均值。

在目標(biāo)檢測中,全類平均精度(mAP)是較常見的用于衡量檢測器性能的評價指標(biāo)。AP表示精度—召回曲線下的面積。當(dāng)mAP指標(biāo)達(dá)到1.0時,通常認(rèn)為該檢測器是完美的。在目標(biāo)檢測評價體系中,mAP通常利用不同閾值下的交并比(IoU)進(jìn)行計算。IoU等于真值實際區(qū)域與預(yù)測區(qū)域重合的面積比上二者整體所占面積[15],其通過比較真值與預(yù)測范圍的空間重疊來衡量檢測方法的準(zhǔn)確性,計算方法如下:

(1)

其中,定義的閾值是用來確定檢測所得目標(biāo)是否為真的標(biāo)準(zhǔn)。當(dāng)IoU大于閾值時,則認(rèn)為是真正樣本 (TP)。反之,當(dāng)IoU小于該閾值時,則為假正樣本(FP),即錯檢。由于小目標(biāo)的特殊性,本研究將IoU的閾值設(shè)置為0.3。

由于落石是一種具有特殊結(jié)構(gòu)的組合目標(biāo),所以識別到其軌跡的長度決定了預(yù)測框的范圍。在該數(shù)據(jù)集中,研究發(fā)現(xiàn)由于標(biāo)注中軌跡長度較短,導(dǎo)致真值實際區(qū)域中反映出的落石軌跡較短,從而使得真值實際區(qū)域較小。此時,倘若落石檢測器能夠更充分地反映軌跡長度、更準(zhǔn)確地表征落石,那么預(yù)測區(qū)域?qū)⑦h(yuǎn)大于參考真值的實際區(qū)域,其中圖4(a)和(b)均以IoU為分析依據(jù),圖4(c)表示在新評價機(jī)制下如何判斷是否成功檢測到落石,如圖4(a)和圖4(b)所示。在這種情況下,IoU可能達(dá)不到所設(shè)定的閾值,這就會令部分本應(yīng)視為真正樣本的落石檢測結(jié)果被誤認(rèn)為假正樣本。

圖4 不同評價指標(biāo)的準(zhǔn)則

基于上述分析,文中認(rèn)為在落石檢測中有必要對基于IoU的評價機(jī)制進(jìn)行補(bǔ)充。因此,研究設(shè)計了一種基于落石成功檢測數(shù)目(NoS)的新評價機(jī)制,該評價機(jī)制以落石結(jié)構(gòu)為根本判定標(biāo)準(zhǔn),將不受識別落石軌跡長度相關(guān)的預(yù)測框大小的影響。之后,通過基于落石結(jié)構(gòu)的新評價機(jī)制下得到的落石成功探測數(shù)目,本研究進(jìn)行了召回率、精度和F1分?jǐn)?shù)的測算。成功檢測到的落石應(yīng)滿足以下兩個條件:①巨石的邊界應(yīng)完全在預(yù)測范圍內(nèi),且在預(yù)測框內(nèi)的相對位置與真值范圍基本相同;②落石軌跡應(yīng)反映在預(yù)測范圍中,且方向與真值區(qū)域中的標(biāo)注趨勢一致,判別式如下:

(2)

(3)

本研究希望通過這種基于落石結(jié)構(gòu)的新評價機(jī)制,實現(xiàn)可視化結(jié)果與定量指標(biāo)的一致性。圖4(c)提供了在不同情況下判斷是否成功檢測到落石的示例。白色實線表示真值標(biāo)注的實際范圍,彩色虛線模擬不同的落石檢測結(jié)果。顯然,只有情況(1)能夠表達(dá)落石成功檢測的結(jié)果。在情況(2)中,落石軌跡識別錯誤,原因在于對于軌跡的方向沒有正確標(biāo)注;在情況(3)中,一塊沒有軌跡信息的巨石被錯誤地視為落石。

綜上所述,研究采用兩種評價機(jī)制來定量評估落石檢測器的性能。一個是基于IoU計算的mAP,另一個是基于所提出的NoS機(jī)制計算所得的精度(PrecisionNoS)、召回率(RecallNoS)和F1分?jǐn)?shù)(F1 scoreNoS)。

3 實驗結(jié)果和分析

3.1 實驗設(shè)置

文中采用不同的樣本設(shè)置策略來訓(xùn)練落石檢測器,目的是通過結(jié)合不同目標(biāo)檢測器和樣本設(shè)置策略來提升月表落石檢測的有效性和準(zhǔn)確性。表1列出了研究采用的樣本訓(xùn)練類別。

表1 訓(xùn)練樣本設(shè)置

在樣本類別中,字母表示訓(xùn)練數(shù)據(jù)來源,數(shù)字表示該數(shù)據(jù)來源的樣本占所有訓(xùn)練數(shù)據(jù)的百分比。每種樣本設(shè)置策略下,文中均采用前文所提的3種目標(biāo)檢測模型進(jìn)行分析,共構(gòu)建了9個落石檢測器。

之所以選擇在訓(xùn)練中引入火星落石樣本,是因為先前的研究中指出,加入一定量的異域行星落石數(shù)據(jù)參與訓(xùn)練,相比本地單域訓(xùn)練數(shù)據(jù),可以很好地提高檢測器性能[16]。值得一提的是,M90Ma10g指的是在M90Ma10的基礎(chǔ)上,加入Sobel算子和Prewitt算子以提取梯度信息,獲得更多的落石邊緣特征。

無論選用何種檢測器,參與訓(xùn)練的落石標(biāo)簽總數(shù)都控制在1 000個,并保證其被隨機(jī)分為9比1,分別用于訓(xùn)練和驗證。所有落石檢測器的測試集均為公開月表落石測試集。

3.2 多域樣本的實驗結(jié)果

如表2所示,與基于CNN的目標(biāo)檢測模型相比,文中所提出的結(jié)合Transformer和梯度注入策略的方法獲得了較好的檢測性能,PrecisionNoS達(dá)到92.0%,RecallNoS達(dá)到68.4%,F1 scoreNoS達(dá)到78.4%。

表2 不同檢測方法在不同樣本類別中檢測結(jié)果的定量評價

圖5給出了是否有多域落石樣本參與訓(xùn)練的落石檢測可視化結(jié)果,其中,圖5(a)為真值標(biāo)注,圖5(b～d)基于M100樣本設(shè)置,圖5(e～g)基于M90Ma10;從左到右依次采用RetinaNet、Faster R-CNN和DETR 3種目標(biāo)檢測模型?？梢钥吹?在保持落石樣本總數(shù)一定的情況下,將火星落石樣本與月表落石樣本混合訓(xùn)練后,檢測器在月表落石測試集上的性能優(yōu)于僅有單一月表落石樣本訓(xùn)練的檢測器。當(dāng)采用基于Transformer的方法進(jìn)行落石檢測時,上述結(jié)論同樣成立,mAP提高了2.4%?；旌隙嘤蚵涫瘶颖竞?錯檢的落石結(jié)果得到了明顯修正,從而提高了檢測器的性能。因此,文中驗證了無論在何種深度學(xué)習(xí)網(wǎng)絡(luò)中,混合其他行星的落石樣本對于月表落石檢測都是非常有益的。

圖5 單域和多域落石樣本參與訓(xùn)練的落石檢測結(jié)果對比

最重要的原因是,火星落石樣本中背景干擾信息較少,落石可以清晰地同背景相區(qū)分,這種更為清晰的巨石輪廓和軌跡信息有利于落石檢測器捕捉更多細(xì)節(jié)特征。因此,從火星落石樣本中提取的更準(zhǔn)確的落石特征有利于檢測器訓(xùn)練,進(jìn)而提高落石檢測器性能。

本研究發(fā)現(xiàn),與其他混合多域落石樣本的檢測器相比,基于Faster R-CNN的檢測器可視化效果明顯更差。圖5為基于兩張不同底圖的檢測結(jié)果可視化,遠(yuǎn)取兩個樣例證明結(jié)果的可信度。如圖5(e)、圖5(f)、圖5(g)所示,圖5(f)中正確探測到的巖崩數(shù)量最少,但其mAP的定量評價結(jié)果卻最高。可視化結(jié)果表明,基于DETR的檢測器明顯檢測到更多的正確落石樣本,但mAP也并沒有體現(xiàn)出這一點。與此同時,經(jīng)M90Ma10樣本訓(xùn)練的Faster R-CNN檢測器定量評價最高,但在圖6(c)中,可視化結(jié)果展現(xiàn)的效果遠(yuǎn)不及本文所提出的Transformer結(jié)合梯度注入策略的方法。除此之外,盡管基于Transformer的檢測器在mAP的表現(xiàn)上不如RetinaNet,但其在正確檢測落石的同時,對落石軌跡的捕捉更全面,實現(xiàn)了更長、更充分的落石軌跡標(biāo)注。

圖6 是否注入梯度信息的落石檢測可視化結(jié)果

綜上所述,顯然這是一種定量指標(biāo)與可視化結(jié)果不匹配的情況,且該問題在后續(xù)實驗中也有所顯露。這使得本文不僅思考,傳統(tǒng)的基于IoU計算mAP的定量評價機(jī)制,對于落石這種特殊結(jié)構(gòu)的地質(zhì)目標(biāo)是否合適。

這種可視化結(jié)果與mAP定量評價不一致的主要原因在于,落石檢測的預(yù)測框與標(biāo)記的真值框出現(xiàn)了較大差異,這種差異是由檢測到的落石軌跡長度引起的。mAP是通過IoU計算的,而IoU衡量的又是預(yù)測區(qū)域和參考真值區(qū)域之間的重疊度,當(dāng)真值標(biāo)記的落石軌跡長度較短時,真值的實際標(biāo)注范圍覆蓋就較小。然而,基于注意力機(jī)制的Transformer檢測器傾向于捕捉更長的軌跡信息,如此就會生成較大的預(yù)測范圍。此時,IoU無法達(dá)到設(shè)定的閾值,實際上是檢測器識別的正確落石則會被認(rèn)為是錯檢。這種誤判帶來的后果就是mAP指標(biāo)下降,出現(xiàn)可視化結(jié)果與定量指標(biāo)的矛盾。

考慮到軌跡信息是月表落石檢測重要組成部分,因此對其的關(guān)注度不應(yīng)被削弱或忽視,且檢測結(jié)果中落石的軌跡范圍較大,可以被視為是對特征更全面的挖掘。軌跡標(biāo)注更充分,意味著結(jié)構(gòu)信息檢測更全面,落石的探測也就更準(zhǔn)確。然而,這種更優(yōu)的檢測結(jié)果在傳統(tǒng)定量評價指標(biāo)中很難體現(xiàn)。因此,增加另外一種基于落石實際形態(tài)學(xué)結(jié)構(gòu)的評價機(jī)制對于落石檢測評價是非常必要的。

文中所提出的評價機(jī)制是將落石視為一個整體來評價,而不是分解成逐個像素,有效解決了由于檢測軌跡長度增加所引起的錯分問題,從而更全面地反映真實的落石檢測結(jié)果。一旦同時檢測到巨石輪廓和走向?qū)?yīng)的落石軌跡,就認(rèn)為該落石被準(zhǔn)確檢測。該評價機(jī)制與基于IoU的傳統(tǒng)評價機(jī)制最大的區(qū)別,在于對已檢測結(jié)果的分類判斷。通過這樣的評估機(jī)制,希望實現(xiàn)可視化結(jié)果和評價指標(biāo)的一致性。

3.3 梯度注入機(jī)制的實驗結(jié)果

圖6為是否采用梯度注入策略的落石檢測可視化結(jié)果,其中,圖6(a)為真值標(biāo)注,圖6(b～d)基于M90Ma10樣本設(shè)置,圖6(e～g)基于M90Ma10g;從左到右依次采用RetinaNet、Faster R-CNN和DETR 3種目標(biāo)檢測模型?？梢钥吹?在加入梯度算子增強(qiáng)落石邊緣后,基于Transformer的檢測模型,不僅糾正了錯檢結(jié)果,同時檢測出了極難檢測的落石。如圖6(g)所示,文中所提出的方法是唯一成功檢測到位于影像中心位置落石的方法,哪怕其相應(yīng)的軌跡方向很難識別準(zhǔn)確。因此,基于反映實際情況的可視化結(jié)果,文中所提出的Transformer結(jié)合梯度注入策略的方法可以有效提升落石檢測器性能。

從圖6(e)和圖6(f)可以看出,前者檢測性能更好,但后者基于IoU的定量評價指標(biāo)更高。如前文所述,傳統(tǒng)評價機(jī)制的定量評價結(jié)果與可視化結(jié)果不一致的情況再次出現(xiàn)。所以,有必要在此基礎(chǔ)上提出一種從落石結(jié)構(gòu)出發(fā)的目標(biāo)檢測評價機(jī)制。

在基于NoS的評價機(jī)制下,注入梯度信息提取模塊后,基于注意力機(jī)制的方法檢測結(jié)果顯著提升,F1分?jǐn)?shù)提高了4.4%。這種檢測性能的提升主要源于精度的提高,近10%,同時召回率也略微提高超1%。結(jié)合可視化結(jié)果,可以認(rèn)為該方法在落石檢測中是有效的。除此之外,實驗結(jié)果也說明所提出的基于NoS的評價機(jī)制可以作為傳統(tǒng)目標(biāo)檢測評價機(jī)制的補(bǔ)充,有利于解決在落石檢測中可視化結(jié)果和定量評價不一致的問題。

相比RetinaNet和Faster R-CNN目標(biāo)檢測模型,梯度注入策略的引入在基于Transformer的方法上表現(xiàn)更好。分析其原因,文中認(rèn)為相比于基于CNN的目標(biāo)檢測模型,基于Transformer的方法更關(guān)注全局信息而不是局部信息,因此全局引入梯度信息可以有效提高基于Transformer檢測方法的落石邊緣提取能力。相反,由于基于CNN的目標(biāo)檢測模型更關(guān)注局部信息,所以引入的梯度信息很容易被誤認(rèn)為是噪聲。通過加入梯度算子增強(qiáng)落石邊緣,感興趣的目標(biāo)特征更加突出,有助于Transformer結(jié)構(gòu)通過注意力機(jī)制在行星遙感影像中尋找感興趣的落石目標(biāo),并補(bǔ)充在降采樣過程中丟失的細(xì)節(jié)特征信息。綜上所述,提高落石檢測器性能的關(guān)鍵是根據(jù)落石的形態(tài)學(xué)結(jié)構(gòu)增強(qiáng)其本身特點。

4 結(jié) 論

文中提出了一種結(jié)合Transformer和梯度算子的月表落石有效檢測方法。同時,研究還提出了一種結(jié)構(gòu)驅(qū)動的基于落石成功檢測數(shù)目(NoS)的落石探測器評價機(jī)制,該機(jī)制從整體評價落石,從而避免了因落石軌跡識別長度對探測結(jié)果造成的影響。實驗表明,與現(xiàn)有基于CNN目標(biāo)檢測模型的落石檢測方法相比,文中所提出的月表落石檢測方法在月表落石數(shù)據(jù)集RMaM-2020上表現(xiàn)更好,尤其是在精度方面。同時,與傳統(tǒng)基于IoU的目標(biāo)檢測評價機(jī)制相比,文中提出的基于NoS的落石檢測器評價機(jī)制能夠更有效、更客觀地反映月表落石數(shù)據(jù)集上的實際結(jié)果,其有效性主要源于對月表落石結(jié)構(gòu)形態(tài)的考慮。因此,如何結(jié)合更先進(jìn)的模型,以便更有效地挖掘落石的結(jié)構(gòu)特征將是今后研究的重點。