基于Transformer的3D點(diǎn)云目標(biāo)檢測(cè)算法

劉明陽,楊啟明,胡冠華,3,郭巖,張建東

(1.沈陽飛機(jī)設(shè)計(jì)研究所,遼寧 沈陽 110035;2.西北工業(yè)大學(xué) 電子信息學(xué)院,陜西 西安 7101291;3.中國(guó)船舶集團(tuán)有限公司系統(tǒng)工程研究院,北京 100094;4.空裝駐沈陽地區(qū)第一軍事代表室,遼寧 沈陽 110850)

傳統(tǒng)的基于錨框的圖像目標(biāo)檢測(cè)算法其本質(zhì)是對(duì)預(yù)定義的密集錨框進(jìn)行內(nèi)部物體類別的分類和邊框位置的微調(diào)[1]。而將其應(yīng)用于點(diǎn)云目標(biāo)檢測(cè)時(shí)由于空間維度的增加,大部分基于錨框的檢測(cè)算法在部署時(shí)面臨新的困難,一方面在錨框鋪設(shè)時(shí)需要考慮高度因素,涉及到錨框數(shù)量、大小、角度和密度等超參數(shù),這些參數(shù)的手動(dòng)試錯(cuò)過程需要耗費(fèi)極大的精力和時(shí)間成本;另一方面錨框角度回歸的增加使得這一類算法在檢測(cè)框微調(diào)時(shí)難度大大提升[2]。

作為將Transformer[3]應(yīng)用于機(jī)器視覺領(lǐng)域的先驅(qū),DETR算法[4]將目標(biāo)檢測(cè)視為一個(gè)集合預(yù)測(cè)問題。Transformer本質(zhì)上起到的是一個(gè)序列轉(zhuǎn)換作用,因而可以將DETR視為一個(gè)將圖像特征序列向目標(biāo)集合序列的轉(zhuǎn)換模塊。具體來說,DETR中設(shè)計(jì)了一系列的目標(biāo)查詢向量負(fù)責(zé)檢測(cè)圖像中不同位置的物體[5],每個(gè)目標(biāo)查詢向量都與來自卷積神經(jīng)網(wǎng)絡(luò)的空間視覺特征進(jìn)行交互,并利用交叉注意力機(jī)制[6]自適應(yīng)地收集目標(biāo)相關(guān)信息,用于估計(jì)檢測(cè)框位置和目標(biāo)類別。

(1)

(2)

本文從基于體素化表達(dá)的檢測(cè)算法出發(fā),采用DETR的結(jié)構(gòu)構(gòu)造一種新型的針對(duì)戶外場(chǎng)景的3D點(diǎn)云目標(biāo)檢測(cè)算法,并且結(jié)合點(diǎn)云數(shù)據(jù)和3D目標(biāo)檢測(cè)場(chǎng)景下的特點(diǎn)對(duì)原有的DETR進(jìn)行了改進(jìn)。其包含3個(gè)主要模塊:①體素化及三維體素編碼網(wǎng)絡(luò);②二維特征提取網(wǎng)絡(luò)以及特征金字塔網(wǎng)絡(luò);③結(jié)合空間調(diào)制交叉注意力(spatially modulated cross-attention,SMCA)的解碼器。

1 問題描述

假定原始點(diǎn)云輸入記為{pn=(xn,yn,zn,rn),n=1,2,…,N},其中(xn,yn,zn)是點(diǎn)云的三維空間坐標(biāo)位置,rn是反射強(qiáng)度,N是集合中包含的點(diǎn)云總數(shù)。3D目標(biāo)檢測(cè)任務(wù)中要求對(duì)于場(chǎng)景內(nèi)的所有真實(shí)目標(biāo){yi=(Ti,bi),i=1,2,…,M}進(jìn)行定位和分類,Ti和bi分別表示目標(biāo)的類別和檢測(cè)框。檢測(cè)框如圖1所示。

圖1 三維檢測(cè)框鳥齲示意圖

三維檢測(cè)框通常采用底部中心點(diǎn)坐標(biāo)加三維尺寸和角度的表示方法,即b=(xc,yc,zc,l,w,h,α)。其中(xc,yc,zc)維底部中心點(diǎn)坐標(biāo),l,w,h為目標(biāo)的三維尺寸長(zhǎng)、寬、高,α是目標(biāo)行進(jìn)方向和X軸正方向的夾角。

2 算法設(shè)計(jì)

2.1 原理概述

本文所提出的基于Transformer的3D點(diǎn)云目標(biāo)檢測(cè)器結(jié)構(gòu)如圖2所示。與大部分三維目標(biāo)檢測(cè)器類似,包含3D體素編碼網(wǎng)絡(luò)、2D骨干網(wǎng)絡(luò)以及頭部檢測(cè)網(wǎng)絡(luò)。本算法在2D/3D特征提取過程中所

圖2 基于Transformaer的3D點(diǎn)云目標(biāo)檢測(cè)器主體結(jié)構(gòu)

采用的三維體素特征編碼網(wǎng)絡(luò)和二維特征提取骨干網(wǎng)絡(luò)與SECOND相同。本文的研究?jī)?nèi)容主要集中在頭部檢測(cè)網(wǎng)絡(luò),一方面采用熱度圖初始化目標(biāo)查詢向量的方法,使得編碼器無需從頭開始學(xué)習(xí)目標(biāo)特征;另一方面改進(jìn)原有的空間調(diào)制注意力機(jī)制使其與熱圖初始化策略相適應(yīng),極大地加快了網(wǎng)絡(luò)的訓(xùn)練速度。

2.2 熱圖初始化的目標(biāo)查詢

DETR采用編碼器-解碼器的Transformer架構(gòu),編碼器和解碼器都各自級(jí)聯(lián)6層。編碼器由多頭自注意力和前饋網(wǎng)絡(luò)組成,起到的作用與卷積層類似,都是從輸入中關(guān)聯(lián)并提取上下文特征,只是自注意力機(jī)制更多關(guān)注全局特征,其感受野要遠(yuǎn)大于卷積網(wǎng)絡(luò)。解碼器則具有額外的多頭交叉注意力,將固定數(shù)量的目標(biāo)查詢與編碼器的輸出特征進(jìn)行交互,并利用交叉注意力機(jī)制自適應(yīng)地聚合相關(guān)信息。

在DETR及其諸多改進(jìn)版本中,目標(biāo)查詢通常采用0初始化或隨機(jī)初始化,這使得解碼器需要更多層的級(jí)聯(lián)才能使目標(biāo)查詢具備物體地空間特征。Efficient DETR算法[7]中指出,通過更好地初始化目標(biāo)查詢向量或者對(duì)解碼器輸出進(jìn)行輔助損失計(jì)算,能夠有效減少解碼器的級(jí)聯(lián)層數(shù)并且增強(qiáng)其目標(biāo)感知能力。受到這一觀點(diǎn)的啟發(fā),本算法采用了熱圖初始化的目標(biāo)查詢策略,使得初始的目標(biāo)查詢位于或靠近真實(shí)的目標(biāo)中心,從而無需多層解碼器來進(jìn)行位置的細(xì)化。在本算法中,對(duì)于來自骨干網(wǎng)絡(luò)的深度點(diǎn)云特征首先送入解碼器進(jìn)行全局特征感知,熱圖頭接收解碼器輸出的全局特征并進(jìn)行熱圖預(yù)測(cè)。

(3)

式中:px,py是真實(shí)目標(biāo)檢測(cè)框的中心點(diǎn);σp是與檢測(cè)框大小相關(guān)的分布半徑。熱圖頭的損失函數(shù)可以描述為

(4)

式中:α和β是用于訓(xùn)練的超參數(shù);N是當(dāng)前樣本中所有待檢測(cè)目標(biāo)數(shù)量。

圖3 熱圖初始化查詢向量計(jì)算流程

(5)

(6)

在CenterNet[8]中直接采用關(guān)鍵點(diǎn)熱圖的局部熱峰作為預(yù)測(cè)框的中心點(diǎn)。但是在DETR的解碼器中,設(shè)定的解碼器中目標(biāo)查詢數(shù)量要遠(yuǎn)大于真實(shí)目標(biāo)數(shù)量,若只采用目標(biāo)中心點(diǎn)進(jìn)行特征進(jìn)行查詢初始化,在解碼器的自注意力計(jì)算中,會(huì)產(chǎn)生大量待檢測(cè)目標(biāo)與遠(yuǎn)處背景的無意義交互,造成極大的計(jì)算開銷。而在目標(biāo)周邊生成諸多稀疏的查詢點(diǎn),中心點(diǎn)查詢也會(huì)與邊界點(diǎn)查詢進(jìn)行特征交互,從而起到輔助類別判斷和類似于偏移頭的位置細(xì)化作用,但同時(shí)位于目標(biāo)周圍數(shù)量眾多的查詢會(huì)導(dǎo)致大量假陽性檢測(cè)結(jié)果。對(duì)此,本節(jié)結(jié)合了2種查詢點(diǎn)生成方式,用孤立的中心查詢點(diǎn)代替一部分在上一步中獲得的稀疏查詢點(diǎn)。

Tt=?pt/(H×W)」

it=pt-?pt/(H×W)」×(H×W)

(7)

需要注意的是此處的空間位置坐標(biāo)i是每個(gè)單一類別熱圖拉直后的位置坐標(biāo)。此外對(duì)每個(gè)查詢的類別屬性進(jìn)行獨(dú)熱向量編碼,再通過多層感知機(jī)升維后產(chǎn)生類別編碼。

最后將鳥瞰圖下的特征圖沿每個(gè)通道展開,并將所有it位置下的特征進(jìn)行拼接,并疊加類別編碼從而生成目標(biāo)查詢向量qt∈RD。

2.3 改進(jìn)的空間調(diào)制交叉注意力機(jī)制

DETR另一個(gè)重要的問題在于其需要比現(xiàn)有的目標(biāo)檢測(cè)器訓(xùn)練更長(zhǎng)的時(shí)間才能收斂[9]。在COCO 2014[10]數(shù)據(jù)集上DETR需要進(jìn)行500周期的訓(xùn)練才能完全收斂,相較于Faster R-CNN[11]周期長(zhǎng)了大約10～20倍。這主要是在初始狀態(tài)下,交叉注意模塊在整個(gè)特征圖上平均分配注意力。而在收斂狀態(tài)下,其注意力只關(guān)注特定的空間位置,變得極為稀疏。這種顯著的注意力變化需要很長(zhǎng)的周期進(jìn)行學(xué)習(xí)。另外在解碼器中采用交叉注意力進(jìn)行特征聚合時(shí),巨大的鍵和值的數(shù)量稀釋了注意力權(quán)重,最終導(dǎo)致輸入特征的梯度模糊。

注意力機(jī)制的本質(zhì)就是定位到感興趣的信息[12],抑制無用信息。而上述的2個(gè)問題可以總結(jié)歸納為檢測(cè)器無法快速將注意力集中在關(guān)鍵點(diǎn)信息上。而對(duì)于該問題,一種直接快速的解決方法是采用動(dòng)態(tài)調(diào)制策略,受到SMCA-DETR的啟發(fā),本文設(shè)計(jì)了一種與熱圖初始化目標(biāo)查詢相適應(yīng)的空間調(diào)制交叉注意力。在DETR所采用的Transformer中,來自骨干網(wǎng)絡(luò)的特征圖與位置嵌入相疊加,生成查詢、鍵以及值,并輸入編碼器與所有空間位置的特征進(jìn)行信息交互。同時(shí)為增加特征的多樣性,采用多頭自注意力機(jī)制

(8)

獲得來自編碼器視覺特征E后,DETR在對(duì)象查詢Oq∈RT×D和視覺特征E∈RL×D之間執(zhí)行交叉注意力計(jì)算

(9)

DETR中原始的交叉注意力無法感知目標(biāo)的空間位置,因此需要多次迭代才能為每個(gè)對(duì)象查詢生成適當(dāng)?shù)淖⒁鈭D。針對(duì)這一問題,SMCA-DETR[13]將可學(xué)習(xí)的交叉注意力特征圖與手工創(chuàng)建的查詢先驗(yàn)空間相結(jié)合。通過對(duì)僅嵌入位置編碼的空初始化查詢向量進(jìn)行學(xué)習(xí),生成先驗(yàn)的感知位置,并通過堆疊的編碼器進(jìn)行位置細(xì)化。在本文算法中,由于熱圖初始化目標(biāo)查詢機(jī)制的存在,初始的目標(biāo)查詢已經(jīng)位于或靠近真實(shí)的目標(biāo)中心,因而無需從查詢中學(xué)習(xí)先驗(yàn)的感知位置。其計(jì)算過程描述如下。

每個(gè)查詢生成其負(fù)責(zé)對(duì)象的中心和尺寸,用于生成二維高斯空間注意力權(quán)重圖[14]。目標(biāo)查詢的中心ch,cw由熱圖初始化得到的位置坐標(biāo)i計(jì)算得到,高斯分布尺寸Σ∈R2×2則通過學(xué)習(xí)目標(biāo)查詢得到。目標(biāo)查詢的中心點(diǎn)僅需在第一個(gè)解碼器中進(jìn)行計(jì)算,并與之后的解碼器共享。

(10)

三維空間場(chǎng)景下,不同類別的物體尺寸差別極大,并且在具備角度信息的情況下更為復(fù)雜。SMCA模塊動(dòng)態(tài)生成不同的權(quán)重半徑,使得較大的目標(biāo)能夠聚合足夠信息或抑制小目標(biāo)的背景雜波。同時(shí)該模塊生成反對(duì)角線非零的權(quán)重尺寸,使得權(quán)重圖并非單一地沿橫縱方向延展,更利于細(xì)化目標(biāo)朝向。在獲取到目標(biāo)中心以及分布尺寸后,SMCA生成的類高斯權(quán)重圖如(11)式所示。其中v∈R2是特征圖上任意一點(diǎn),c=[ch,cw]是中心點(diǎn)坐標(biāo),β為手動(dòng)調(diào)整的超參數(shù),以確保權(quán)重圖在訓(xùn)練開始時(shí)覆蓋較大的空間范圍,使網(wǎng)絡(luò)能接收到更多的梯度信息。

(11)

在得到動(dòng)態(tài)生成的空間權(quán)重圖G的情況下,利用其調(diào)制目標(biāo)查詢Oq和編碼器輸出特征E之間的交叉注意權(quán)重。

(12)

空間權(quán)重圖的對(duì)數(shù)與點(diǎn)積獲得的注意力得分之間逐元素相加,然后對(duì)所有空間位置進(jìn)行softmax歸一化。解碼器中的交叉注意模塊會(huì)在潛在的目標(biāo)中心附近增加權(quán)重,限制了注意力搜索空間,從而提高了收斂速度。

(13)

區(qū)別于由所有注意力頭共享的空間權(quán)重,多頭調(diào)制的權(quán)重能有效突出不同的特征信息。

2.4 預(yù)測(cè)頭及優(yōu)化目標(biāo)

對(duì)于解碼器輸出的T個(gè)查詢向量,分別輸入到多個(gè)并列的預(yù)測(cè)頭中,生成檢測(cè)結(jié)果。包括底部中心點(diǎn)坐標(biāo)o∈R2×T,底部中心點(diǎn)高度h∈R1×T,檢測(cè)框三維尺寸d∈R3×T,檢測(cè)框角度r∈R2×T以及分類結(jié)果T∈RC×T,其中檢測(cè)框角度由該角的正弦和余弦值編碼而成。

遵循DETR中集合預(yù)測(cè)的檢測(cè)算法,首先由各個(gè)查詢生成的底部中心點(diǎn)、三維尺寸和角度生成預(yù)測(cè)框,并賦予對(duì)應(yīng)的類別。通過匈牙利算法計(jì)算真實(shí)框與預(yù)測(cè)的二分匹配,其中匹配成本由分類損失、中心點(diǎn)回歸損失和IoU損失的加權(quán)和構(gòu)成

(14)

式中:Lcls是二分類交叉熵?fù)p失;Lreg是預(yù)測(cè)框的鳥瞰投影中心點(diǎn)與真實(shí)框中心之間歸一化后的的L1損失;LIoU是預(yù)測(cè)框和真實(shí)框之間的IoU3D損失,λ1,λ2,λ3是各損失項(xiàng)的加權(quán)系數(shù)。

(15)

對(duì)于匹配成功的正樣本對(duì),通過L1損失來監(jiān)督檢測(cè)框中心點(diǎn)的回歸,并計(jì)算IoU3D損失[16]。2個(gè)3D 檢測(cè)框的IoU可以表示為(16)式

(16)

式中:a表示檢測(cè)框在鳥瞰圖上的投影;h是檢測(cè)框高度;overlap是交集區(qū)域。相比于圖像檢測(cè)中軸對(duì)齊的預(yù)測(cè)框回歸任務(wù),帶有旋轉(zhuǎn)角度的3D檢測(cè)框最主要的區(qū)別是在計(jì)算交集部分時(shí)較為復(fù)雜。其損失計(jì)算與IoU2D類似,可以被定義為

LIoU=1-LIoU3D

(17)

3 實(shí)驗(yàn)評(píng)估

本文主要采用KITTI 3D Object數(shù)據(jù)集進(jìn)行有效性驗(yàn)證。將官方給出的訓(xùn)練樣本集劃分為3 712個(gè)訓(xùn)練樣本和3 769個(gè)驗(yàn)證樣本。實(shí)驗(yàn)中所有模型分別在訓(xùn)練集和驗(yàn)證集上進(jìn)行訓(xùn)練和分析比較。

3.1 與相關(guān)工作的對(duì)比

在KITTI[17]驗(yàn)證集中,將本文算法與其他算法進(jìn)行對(duì)比,并計(jì)算了在汽車類別中3種難度下的平均檢測(cè)精度,平均精度的計(jì)算方式采用Recall 11 Position。比較結(jié)果如表1所示。

由表中結(jié)果可見本文所提出的檢測(cè)算法在性能上已經(jīng)達(dá)到先進(jìn)水平,特別是在中等難度下取得了81.12%的平均精度。上述結(jié)果可以證明,將Transformer用于體素化的點(diǎn)云檢測(cè)是完全可行的。此外,本算法在推理過程中速度為16.9 frame/s,達(dá)到了較快的處理速度。而與本算法性能相近的PV-RCNN推理速度僅為8.9 frame/s,這主要?dú)w功于本算法中完全基于體素的特征提取,避免了體素和原始點(diǎn)云進(jìn)行交互時(shí)產(chǎn)生的巨大計(jì)算開銷。

3.2 消融實(shí)驗(yàn)

本節(jié)對(duì)基于Transformer的3D目標(biāo)檢測(cè)器頭部網(wǎng)絡(luò)中的主要組成部分進(jìn)行了消融實(shí)驗(yàn),以驗(yàn)證每個(gè)部分對(duì)檢測(cè)效果的貢獻(xiàn)。消融實(shí)驗(yàn)的結(jié)果如表2所示。

表2 基于Transformer的3D目標(biāo)檢測(cè)器頭部網(wǎng)絡(luò)模塊消融實(shí)驗(yàn)

1) 方法C是淺層解碼器堆疊下的完整的基于Transformer的3D目標(biāo)檢測(cè)算法,通過空間調(diào)制交叉注意力加速訓(xùn)練過程,并通過關(guān)鍵點(diǎn)熱圖對(duì)目標(biāo)查詢進(jìn)行初始化,以達(dá)到降低網(wǎng)絡(luò)深度、提高推理速度的目的。

2) 方法A相比于方法C刪除了用于加速訓(xùn)練的空間調(diào)制交叉注意力模塊,2種方法的收斂曲線對(duì)比如圖4所示。在訓(xùn)練次數(shù)同為80輪時(shí),方法C的檢測(cè)精度已經(jīng)趨于平緩,基本收斂完畢。相比之下,未加入空間調(diào)制交叉注意力模塊的方法A,此時(shí)的檢測(cè)精度為75.9%,且波動(dòng)幅度相對(duì)較大。訓(xùn)練過程截止到150輪時(shí),方法A基本完成收斂,此時(shí)2個(gè)模型的精度差別可以認(rèn)為是隨機(jī)性誤差。

圖4 方法A和方法C的收斂曲線對(duì)比圖

3) 方法B相比于方法C刪除了熱圖初始化目標(biāo)查詢模塊,此時(shí)解碼器的目標(biāo)查詢采用零初始化方法。其檢測(cè)精度相比于方法C下降了7.98%,說明僅依靠3層解碼器不足以將初始查詢擬合至目標(biāo)真實(shí)位置。采用熱圖初始化目標(biāo)查詢策略使得初始的查詢點(diǎn)靠近潛在的目標(biāo)位置,在淺層網(wǎng)絡(luò)下取得了遠(yuǎn)超無此策略模型的性能。

4) 方法D相比于方法C將解碼器層數(shù)提升至6層,其余模塊未做變動(dòng),檢測(cè)精度達(dá)到了81.50%,推理速度為12.7 frame/s。相比之下,計(jì)算成本的增加遠(yuǎn)遠(yuǎn)超過檢測(cè)精度的提升,這也進(jìn)一步證明了熱圖初始化查詢策略的有效性。

3.3 可視化結(jié)果

圖5是本文算法在驗(yàn)證集上的檢測(cè)結(jié)果可視化演示。其中藍(lán)色為目標(biāo)真實(shí)框,黃色為本算法產(chǎn)生的預(yù)測(cè)框。圖中的4個(gè)場(chǎng)景均包含有較多的車輛,第一個(gè)場(chǎng)景中由于最遠(yuǎn)處車輛距離較遠(yuǎn)且僅在車體尾部生成激光雷達(dá)點(diǎn)云,致使檢測(cè)器對(duì)該目標(biāo)尺寸產(chǎn)生誤判。其余3個(gè)場(chǎng)景中車輛數(shù)量眾多、停放角度復(fù)雜,而基于Transformer的3D目標(biāo)檢測(cè)算法依然能精確地定位并識(shí)別場(chǎng)景中的車輛。

圖5 基于Transformer的點(diǎn)云目標(biāo)檢測(cè)器可視化檢測(cè)結(jié)果

4 結(jié) 論

本文提出了一種基于Transformer的3D目標(biāo)檢測(cè)算法。在推理過程中首先使用三維體素編碼網(wǎng)絡(luò)進(jìn)行初步特征提取,而后壓縮為鳥瞰圖并采用二位骨干網(wǎng)絡(luò)輸出多尺度特征圖,這些特征圖在頸部網(wǎng)絡(luò)中進(jìn)行融合。在頭部網(wǎng)絡(luò)中,本算法采用了DETR中集合預(yù)測(cè)的檢測(cè)思想,并采用熱圖初始化目標(biāo)策略使得模型在淺層網(wǎng)絡(luò)下依然能從特征圖中有效匯集數(shù)據(jù)用于擬合回歸。同時(shí)設(shè)計(jì)了一種改進(jìn)的空間調(diào)制交叉注意模塊用于訓(xùn)練過程中的加速。本算法在KITTI驗(yàn)證集中進(jìn)行了對(duì)比和消融實(shí)驗(yàn),結(jié)果均表明基于Transformer的3D目標(biāo)檢測(cè)算法作為一種簡(jiǎn)單而有效的算法,能夠勝任三維目標(biāo)檢測(cè)及其他下游任務(wù)的應(yīng)用。