基于深度學習的光學遙感圖像目標檢測綜述

馮長峰,王春平,付 強,張冬冬

(陸軍工程大學石家莊校區(qū)電子與光學工程系,河北 石家莊 050003)

1 引 言

光學遙感圖像是指使用可見光波段傳感器采集的航空和衛(wèi)星影像,其包含豐富的細節(jié)信息,能夠直觀反映地物目標的形狀、顏色和紋理等特征[1]。光學遙感圖像目標檢測的主要任務是對圖像中的感興趣目標(通常為飛機、船舶、建筑物等)進行分類和定位,作為航空和衛(wèi)星圖像分析領域的基礎任務,其在情報偵察、目標監(jiān)視、交通疏導、災害救援等領域發(fā)揮著重要作用,同時也是開展目標跟蹤、場景分類、圖像分割等任務的前提。

傳統(tǒng)的遙感圖像目標檢測算法可分為模板匹配方法和機器學習方法。模板匹配方法通過手工設計生成目標模板,隨后以特定評價標準計算圖像與模板匹配度來尋找目標。機器學習方法則先通過滑動窗口生成大量潛在目標區(qū)域,之后對每個區(qū)域進行特征提取,最后使用分類器分類以剔除虛假目標獲得最終的檢測結果。2012年AlexNet首次被應用于圖像分類,取得了性能上的跨越性突破,此后學者開始將深度學習應用到目標檢測任務并取得巨大成功,由此開啟了深度學習目標檢測算法時代[2]。

近年來,隨著傳感器、衛(wèi)星、航拍飛行器等技術的發(fā)展成熟,遙感數據量成指數級增長,圖像的空間分辨率也由中等分辨率(4～70 m)和高分辨率(1～4 m)提升為超高分辨率(VHR)。超高分辨率的圖像能夠提供更多的空間和紋理信息,使許多以往無法察覺的小目標也具備了被檢測的可能性。遙感技術的進步催生出對智能高效檢測算法的巨大需求,光學遙感圖像目標檢測算法性能的提升主要面臨兩點困難:(1)缺乏高質量標注的光學遙感數據;(2)遙感圖像特點鮮明,包含諸多干擾因素。針對上述問題,許多研究團隊構建了大型遙感圖像目標檢測數據集,并就遙感圖像特點對通用檢測模型進行了一系列改進,產生了大量基于深度學習的光學遙感圖像檢測算法[3]。

本文分類總結了基于深度學習的通用目標檢測算法,并就其中經典模型進行了詳細介紹;整理歸納了當前應用廣泛的光學遙感目標檢測數據集;基于光學遙感圖像目標的5個顯著特點:任意方向、目標多尺度、小目標分布、目標密集分布以及復雜背景,對當前流行的遙感圖像目標檢測算法進行了詳細梳理;對光學遙感圖像目標檢測研究的未來方向進行了展望。

2 通用目標檢測算法

基于深度學習的通用目標檢測算法可分為3類:基于錨框的目標檢測方法、基于無錨框目標檢測方法以及基于Transformer目標檢測方法。這些方法構建了現今深度學習目標檢測的主要框架,部分經典檢測模型框架如圖1所示。

圖1 通用目標檢測模型

2.1 基于錨框的目標檢測方法

基于錨框的目標檢測方法通過顯式或隱式的方法,創(chuàng)建一系列具有不同尺寸、長寬比的先驗框(錨框),然后對先驗框進行分類和回歸。根據是否有顯式的區(qū)域建議,基于錨框的目標檢測方法分為兩階段(Two-Stage)和單階段(One-Stage)兩種。

2.1.1 兩階段檢測模型

2014年,Girshick等[4]提出R-CNN,該算法首先使用選擇性搜索選取包含目標的候選區(qū)域,隨后利用卷積神經網絡(Convolutional Neural Network,CNN)對候選區(qū)域進行特征提取,最后通過分類器和回歸器實現目標的分類和定位。R-CNN極大提升了目標檢測任務的準確率,但是候選區(qū)域的特征提取過程存在大量的重復計算,嚴重影響了算法檢測速度。鑒于此,He等[5]提出了SPP-Net,與R-CNN相比只需對整幅圖像進行一次特征映射,提升了網絡的推理速度。

2015年,Ren等[6]將區(qū)域候選網絡(Region Proposal Network,RPN)融入Fast R-CNN網絡中,提出了Faster R-CNN,該模型具備較強鑒別能力并可以借助GPU加速,極大提升了檢測的精度和速度。以Faster R-CNN為基礎,研究人員進行了大量的改進。Lin等[7]在框架中引入特征金字塔網絡(Feature Pyramid Network,FPN),利用深層網絡的豐富語義信息來加強空間信息豐富的淺層網絡特征,在多尺度檢測方面取得重大進展。Mask R-CNN[8]增添了一個額外的分割支路,通過像素級預測生成目標的分割掩膜,并引入感興趣區(qū)域聚集(RoIAlign)層以解決量化誤差問題。

2.1.2 單階段檢測模型

YOLO系列是最早應用于實踐的單階段目標檢測算法。YOLO[9]舍棄了繁瑣的區(qū)域建議步驟,直接在特征圖上對目標的類別、置信度和位置偏移進行預測,其檢測速度比Faster R-CNN提高近十倍。YOLOv3[10]借鑒ResNet構建了Darknet-53主干網絡,在保持性能前提下大幅降低了計算量;在三種不同尺度的特征圖上進行分類和回歸,改善了多尺度目標的檢測效果;在預測類別時使用Logistic回歸代替Softmax方法,以支持多標簽分類任務。YOLOv5在輸入端利用Mosaic數據增強技術提升數據豐富度;在主干網中采用跨階段局部網絡結構,減少計算量的同時也保證了準確率;提供了不同規(guī)模的變體以滿足不同的應用需求。

Liu等[11]在2016年提出了SSD算法。該模型通過借鑒YOLO算法的網格劃分和Faster R-CNN中的錨框機制,同時引入金字塔型特征層級充分挖掘卷積層的特征信息,在一定程度上克服了YOLO算法難以檢測小目標、定位不準的缺點,并保證了推理速度。

2.2 基于無錨框目標檢測方法

基于錨框的目標檢測需要人為設定錨框的尺度、長寬比等超參數,導致檢測器對超參數敏感且泛化能力較差。鑒于上述問題,研究人員提出了無錨框目標檢測方法,主要可分為兩類:基于內部點的檢測方法和基于關鍵點的檢測方法。

基于內部點的檢測算法通過預測物體內部點的邊界偏移量及類別信息,達到目標檢測效果,代表算法有CenterNet[12]。CenterNet將目標建模為一個中心點,通過中心點處的特征來預測其他目標屬性如大小、深度甚至姿態(tài)。同時,采用最大池化操作提取峰值點,舍棄了非極大值抑制(NMS)步驟,顯著提高了檢測速度。

基于關鍵點的目標檢測方法則選擇預測物體的多個關鍵點,并通過關鍵點集成實現對物體的最終檢測,代表算法有CornerNet[13]。CornerNet采用Hourglass網絡提取的高分辨率特征圖,分別預測同一對象類別內所有實例的左上角熱圖、右下角熱圖及角點嵌入特征向量,隨后通過向量相似性匹配,將屬于同一物體的角點關聯生成最終檢測框。

2.3 基于Transformer的目標檢測方法

Transformer是一類起源于自然語言處理(Natural Language Processing,NLP)領域的新型深度神經網絡,不同于傳統(tǒng)網絡經過不斷卷積獲得多層級信息,它主要通過自注意力機制提取數據的內在特征。近年來,基于Transformer的目標檢測算法憑借出色檢測性能引起了研究者的廣泛關注。

Carion等提出的DETR[14]算法屬于較早將Transformer引入目標檢測的嘗試,其利用卷積神經網絡提取特征并送入一個編解碼器,直接預測物體位置及分類得分。DETR舍棄了錨框等手工設計組件和后處理步驟,將檢測任務簡化為集合預測問題,實現了真正意義上的端到端檢測。還有研究者嘗試利用Transformer作為檢測器的主干網絡。Dosoviskiy等[15]首次提出將Transformer作為主干網絡用于圖像分類,并取得SOTA結果。隨后,研究者致力于探索更為通用的框架設計,Liu等在2021年提出了Swin Transformer[16]網絡,在COCO數據集目標檢測任務上超過了當時最先進算法的精度,展示了Transformer模型作為計算機視覺主干網絡的巨大潛力。

表1總結了不同類別檢測方法的原理以及優(yōu)缺點。其中,雙階段檢測模型憑借其優(yōu)良的性能在光學遙感圖像目標檢測領域得到廣泛應用[17-19],單階段方法相比雙階段相關研究較少,主要用于對檢測速度有更高要求的快速檢測場景[20]。近年來,無錨框方法逐漸受到研究者的青睞,但是還無法取代錨框方法[21-22],兩者仍屬于共存關系。對基于Transformer的光學遙感圖像目標檢測[23],目前也有一部分嘗試,但仍處于初步階段。

表1 深度學習目標檢測方法比較

3 光學遙感圖像目標檢測數據集

深度學習是一個數據驅動的概念,一個具有挑戰(zhàn)性的數據集可以加速該領域的發(fā)展。其中最為典型的例子就是ImageNet和MS COCO促進了自然場景圖像分類和目標檢測算法的發(fā)展。本章首先介紹了一批具有代表性的光學遙感目標檢測公開數據集,隨后通過對其中圖像特性的進一步分析,歸納總結出光學遙感圖像區(qū)別于常規(guī)圖像的顯著特點。

3.1 光學遙感圖像目標檢測數據集

遙感技術的廣泛應用加上深度學習的數據需要,使得過去十幾年中涌現出一批高質量光學遙感目標檢測數據集,其中又以NWPU VHR-10[24]和DOTA[25]使用較為廣泛。

NWPU VHR-10是西北工業(yè)大學于2014年發(fā)布的航天遙感目標檢測數據集。該數據集包含10類目標:飛機、棒球場、籃球場、橋梁、港口、田徑場、船舶、油罐、網球場和車輛,由715張空間分辨率為0.5～2 m的RGB圖像和85張分辨率為0.08 m的銳化彩色紅外圖像組成,采用水平框(HBB)標注。

DOTA由武漢大學遙感國家重點實驗室和華中科技大學聯合提出,包含15類目標:飛機、船舶、儲罐、棒球場、網球場、游泳池、田徑場、港口、橋梁、大型車輛、小型車輛、直升機、環(huán)島、足球場和籃球場。由包含188282個目標實例的2806張衛(wèi)星圖像組成,圖像尺寸在800×800到4000×4000之間,采用旋轉框(OBB)標注。圖像來源于多個不同的光學傳感器,空間分辨率在0.1～1 m之間。

表2選取了7個公開的光學遙感圖像目標檢測數據集,并就空間分辨率、實例數、標注種類(注:括號內代表細粒度標注種類)等內容進行對比。

表2 公開光學遙感圖像目標檢測數據集

通過分析發(fā)現,這些光學遙感數據集的演進存在以下趨勢:

(1)來源更為多樣:早期一些研究者通過訪問政府機構數據庫收集遙感圖像?，F今數據集大多選擇整合了航拍與衛(wèi)星影像的商業(yè)化平臺,如Digital Globe和Google Earth來獲取高分辨率遙感影像;(2)內容更為豐富:DIOR[27]、LEVIR[29]等數據集都選擇了多數據來源,收集了各種復雜場景下的多分辨率光學遙感圖像,Weir等[31]提出了首個多視角遙感數據集SpaceNet MVOI。相比于早期數據集,這些數據集更加貼合真實場景并緩解了由于傳感器來源單一、觀測區(qū)域重復等引起的數據偏差問題;(3)標注信息更為細致:近年來,許多遙感數據集采用旋轉邊界框來取代水平框,提供定位精度更高的空間位置標注。在類別標注上,一些數據集也對物體進行了細粒度的標注劃分。FAIR1M對目標進行了5種大類別、37個細粒度的分類,并采用旋轉框標注,是目前最大的光學遙感圖像細粒度目標檢測識別數據集。

3.2 光學遙感圖像特性

光學遙感傳感器往往位于高空或大氣層外,對地面呈鳥瞰視角。這使得光學遙感圖像展現出不同于常規(guī)自然圖像的特殊性質,也給目標檢測任務帶來了新挑戰(zhàn),具體可總結為以下五點:

(1)目標方向隨機:如圖2(a)所示,不同于自然圖像中目標的豎直排布,光學遙感圖像中的目標方向呈多樣隨機分布,一般稱之為旋轉目標。

圖2 光學遙感圖像特性

(2)目標多尺度:如圖2(b)所示,光學遙感目標有著更為顯著的多尺度特征。目標類間、類內尺度差異以及空間分辨率變化使圖像內目標尺度呈現多樣化分布。

(3)小目標:如圖2(c)所示,由于空間分辨率限制,光學遙感圖像存在數量可觀的小目標分布。這些小目標往往只有幾十甚至十幾個像素,缺乏檢測所必要的形狀、顏色、紋理等信息,造成很大程度上的漏檢。

(4)目標密集分布:如圖2(d)所示,在停車場、碼頭等特殊場景中,往往容易出現密集分布情形。稠密排布的目標在特征圖上會出現出現邊界模糊、高密度目標特征聚集現象,導致誤檢、定位不準確和目標分類錯誤。

(5)復雜背景:如圖2(e)所示,光學遙感圖像中背景情況更為復雜。一方面,遙感圖像背景像素占有率遠高于前景,導致檢測器降低了對目標的檢測效率。另一方面遙感圖像中往往包含多種地物,相似地物可能對目標檢測造成干擾導致誤檢。

4 光學遙感圖像目標檢測算法

在常規(guī)圖像上性能極佳的經典檢測算法遷移后效果并不理想,究其原因是光學遙感圖像自身特性給檢測器帶來了新挑戰(zhàn)。針對上述問題,研究者提出了一系列的改進算法。本章以目標方向隨機、多尺度、小目標、密集分布、復雜背景5個方向為出發(fā)點,對上述改進算法進行梳理總結。

4.1 針對目標方向隨機的改進研究

為解決目標方向隨機問題,研究者主要采取提取目標旋轉不變特征和旋轉框檢測兩種思路。對于提取旋轉不變特征,可通過數據增強和添加旋轉不變子模塊兩種方式實現。數據增強就是在訓練過程中對圖像進行旋轉變換擴充訓練數據,增強網絡對旋轉目標的適應能力,從而達到間接提取旋轉不變特征的效果。但數據增強并未從根本上解決旋轉敏感問題,更為有效的做法是在網絡中添加旋轉不變子模塊。Cheng等[32]通過優(yōu)化一個新目標函數,在CNN特征上加入旋轉不變正則化和Fisher判別正則化,以實現旋轉不變性。

水平框在面對旋轉目標時往往會引入無用背景信息影響模型判斷,這一現象在大長寬比物體檢測中尤為明顯。鑒于此,有研究者選擇旋轉框來檢測目標。主流方法一般將生成旋轉框作為回歸任務,通過回歸表征參數生成最終預測結果。常見的旋轉框表示方案有五參數法[33-34]和八參數法[19],其中五參數法回歸目標中心點的坐標以及寬度、高度和旋轉角度;八參數法則回歸旋轉框四個頂點的水平和垂直坐標。

如圖3所示,基于回歸方法在運用中存在邊界問題,即模型損失值在邊界情況下突然增加。邊界問題會造成模型收斂困難,并影響最終檢測效果。針對邊界問題,RSDet[35]從改進損失函數的角度出發(fā),弱化邊界情況下訓練樣本的損失值,有效緩解了邊界問題。Gliding vertex[19]模型摒棄了直接回歸頂點坐標的做法,通過回歸比例因子使頂點在水平框側邊滑動,避免了順序歧義。

圖3 邊界問題示意

近年來,利用實例分割[36]和角度分類[37]生成旋轉框的方法逐漸流行。分割方法以Mask R-CNN[8]為原型,通過尋找目標類別掩膜上的最小外接矩形來生成旋轉框,但額外的分割過程也增加了算法復雜度。角度分類方法與五參數法類似,但是將其中角度參數的預測由連續(xù)回歸轉化為離散分類,消除了造成邊界問題的不連續(xù)點。

4.2 針對目標多尺度的改進研究

針對遙感目標多尺度特點,研究者多采用特征融合方法使檢測器兼具多尺度檢測能力。目前常用的特征融合方法主要包括三種:多層級特征融合、特征金字塔融合以及跨尺度特征融合,其具體結構如圖4所示。

圖4 特征融合方法

多層級特征融合結構將頂層特征與相鄰層相結合,彌補了網絡深化帶來的空間信息缺失[34,38]。這種方法連接結構最為簡潔,但沒有充分利用底層豐富的位置信息,導致目標定位效果差。特征金字塔借鑒FPN網絡,采用橫向連接模塊將上采樣后的深層特征與相鄰的淺層特征結合,直到最底層接收到融合信息反饋,從而形成特征金字塔用于多尺度預測[39]?？绯叨热诤戏椒ńY合上述兩種策略,通過跨尺度融合模塊將特征預先融合,隨后生成不同規(guī)格特征圖用于后續(xù)檢測[33,40]。融合后的特征有效兼顧了空間和語義信息,但是對偏離中心層特征進行了較大跨度的采樣,這會導致信息損失。特征金字塔與跨尺度融合相比于第一種方法,都使用了更為復雜的連接方式,在檢測效果提升的同時也不可避免引入了大量無用信息。

除上述特征融合方法,現有大多數算法在訓練過程中,采用圖像金字塔進行多尺度訓練,融合了更多圖像信息從而加強了模型的特征學習能力,但也增加了大量計算開銷。

通過對眾多模型的分析發(fā)現,構建多尺度特征融合結構并結合一些優(yōu)化策略如跳躍連接[40]、高低頻特征[41],已成為一種趨勢,可以有效提升遙感圖像目標檢測精度。

4.3 針對小目標檢測的改進研究

小目標檢測問題理論上屬于多尺度范疇,因此上述多尺度改進方法對小目標檢測有很大借鑒意義。除此之外,研究者主要通過增大特征圖尺寸方法來提升小目標檢測的精度。

增大特征圖尺度的其中一種方法是上文提及的多尺度特征融合,通過拼接淺層的大尺寸特征圖來增強對小目標的特征表示。另外一種方法是通過反卷積對深層特征上采樣來恢復丟失的小目標信息,這里需要注意的是上采樣只有在深層特征中仍存在小目標前提下才有意義。也有一部分工作將兩種方法相結合,將淺層特征和反卷積輸出融合實現互補,這種方法也被稱為自下而上特征融合[42]。

近年來,一些研究者將超分辨率技術應用于光學遙感圖像,該技術可以重建物體的鑒別信息,從數據角度出發(fā)解決小目標沒有足夠語義信息的缺陷。當前研究主要圍繞基于對抗生成網絡(Generative Adversarial Network,GAN)的超分辨率重構展開。Mostofa提出一個聯合超分辨率遙感車輛檢測器Joint-SRVDNet[43],利用多尺度生成對抗網絡輸出2X和4X的超分辨率圖像,隨后使用YOLOv3[10]對重建圖像進行檢測。CycleGAN的提出將數據限制由配對圖像擴展到圖像域,解決了匹配數據不可用的問題。文獻[44]在檢測網絡匯總使用了改進的CycleGAN模型,增強了遙感圖像中小物體的檢測效果。

4.4 針對目標密集分布的改進研究

相比于自然圖像中的密集場景如擁擠道路中的車輛檢測,遙感目標由于視角原因不易出現遮擋現象,其檢測難點在于密集分布往往與小目標緊密聯系。同時傾斜排列的密集目標采用水平框檢測會出現高度重疊,導致非極大抑制時過濾正確目標引起漏檢。因此,上述基于小目標和旋轉目標的改進都在一定程度上緩解了密集場景。此外,還有許多研究通過特征增強方案來提升單個目標的區(qū)分度。

Yang等[20]通過設計一個精細化模塊,利用逐像素插值將邊界框位置信息編碼到對應的特征點上,最大程度保證了目標特征和目標中心的對齊,從而提升了密集目標的定位精度。SCRDet++[45]借助語義分割網絡中間層特征來指導特征提取,間接使用注意力機制倆進行密集目標特征增強,從而提升密集目標的邊界區(qū)分度。

4.5 針對復雜背景的改進研究

注意力機制被視為解決光學遙感圖像復雜背景問題的有力方式,其本質是一種資源分配的方法,根據場景中對象的重要性對均勻分布的資源重分配。從原理考慮,注意力機制可以分為空間注意力、通道注意力和聯合注意機制。

空間注意力機制能夠捕捉像素與像素間關系,通過掩碼賦權的方式提升關鍵區(qū)域的特征表達,當前許多研究采用在網絡中嵌入自注意力模塊的方式生成空間注意力掩碼圖。Wang等[46]將自注意力模塊嵌入主干網絡,以捕獲不同區(qū)域相關性并獲得更具鑒別性的特征。

通道注意力機制旨在通過學習的方式為不同通道賦予權重系數以強化重要特征。Wu等[47]在可變形卷積網絡中引入了通道注意力,提出可變形卷積通道注意塊,達到了抑制遙感圖像背景噪聲突出目標的效果。聯合注意機制采用空間和通道雙重注意機制,在圖像和特征通道兩次分配最初均勻分布的權重。

注意力機制較好地解決了遙感圖像中復雜背景的問題,但是網絡需要自主學習圖像分布并在空間和通道分配權重,帶來了額外的計算開銷。

綜上,針對光學遙感圖像的5種顯著特點,對不同的改進算法進行了細致的分類總結。其中,各算法驗證大多采用了NWPU VHR-10和DOTA數據集,利用多個檢測類別的平均精度值即mAP來評估在數據集上的整體性能。典型光學遙感圖像目標檢測算法性能對比如表3所示。

表3 典型光學遙感圖像目標檢測算法性能對比

結合上述分析和算法對比,可以得到以下結論:首先,不同特點之間具有很強的關聯性,甚至是共生的。例如:小目標往往伴隨有密集分布情形,其相比于其他尺度的物體也更容易受到復雜背景的干擾。其次,針對不同特點的改進很大程度上也是相通的,例如:注意力機制可以解決多個特殊問題;旋轉框在一定程度上也降低了密集分布場景的檢測難度。因此,基于光學遙感圖像的改進方法應該相互借鑒,使得面向各類特點的多任務優(yōu)化目標得以協(xié)同解決。

5 研究展望

近年來基于深度學習的光學遙感目標檢測取得了長足的進步,但是仍有著巨大的發(fā)展?jié)摿?。我們認為光學遙感圖像目標檢測在以下4個方面值得進一步研究:

(1)高性能網絡結構。作為模型的基礎,基礎網絡結構是提升算法性能的關鍵所在。近段時間以來遙感檢測器性能提升速度有所放緩,表明現有方法已經達到了局限性,因此專門為遙感圖像設計高性能網絡結構,將更有效的應對遙感圖像中的復雜目標,這無疑是一個值得的研究方向。

(2)弱監(jiān)督與半監(jiān)督學習。不斷增多的光學遙感載荷平臺,為研究者提供了指數級增長的遙感數據,但同時目標檢測數據集也存在標注困難、稀有目標缺乏等問題。鑒于此,發(fā)展弱監(jiān)督和半監(jiān)督學習,在遙感標注不明確或目標無標注情況下訓練模型,將會是未來一項重要的研究內容。

(3)輕量化參數模型。為了提取具有豐富信息表示的特征,檢測網絡往往使用深度結構,模型收斂需要優(yōu)化大量參數,當前便攜嵌入式設備的低算力也無法實現此類重型模型。如何在盡量保持性能前提下,借鑒剪枝、量化等、知識蒸餾等操作生成輕量化模型,對算法的落地有著重大意義。

(4)多源遙感數據融合。當前使用的光學遙感圖像主要使用RGB三個波段,限制了其在夜晚、微光、煙霧、偽裝等條件下的應用。隨著多光譜、紅外、合成孔徑雷達傳感器的發(fā)展,未來天基遙感將包含多源異構數據,進一步發(fā)展出多源異構遙感數據為基礎的目標檢測。