基于多級(jí)學(xué)習(xí)的長(zhǎng)尾分布下交通多目標(biāo)檢測(cè)*

吳 亮 梁 振 張燚鑫 王子磊

（1.安徽醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院 合肥 230000）

（2.合肥綜合性國(guó)家科學(xué)中心人工智能研究院 合肥 230000）

1 引言

目標(biāo)檢測(cè)作為車輛自動(dòng)駕駛的核心技術(shù)，也是計(jì)算機(jī)視覺的基礎(chǔ)任務(wù)，廣泛應(yīng)用于工業(yè)檢測(cè)［1］、智能駕駛［2］、醫(yī)學(xué)圖像診斷［3］等諸多領(lǐng)域，具有重要的現(xiàn)實(shí)意義。在實(shí)際的交通場(chǎng)景下，由于采集的數(shù)據(jù)通常呈現(xiàn)長(zhǎng)尾分布，訓(xùn)練時(shí)分類器各類別性能失衡，導(dǎo)致檢測(cè)精度下降問題。因此解決樣本不平衡帶來的性能損失問題是交通多目標(biāo)檢測(cè)算法的關(guān)鍵，也是目標(biāo)檢測(cè)領(lǐng)域的研究重點(diǎn)。

目前主流的數(shù)據(jù)集（例如Pascal VOC［4］和COCO［5］等）經(jīng)過人工篩選后，各類別的樣本數(shù)量相對(duì)均衡。交通場(chǎng)景下的數(shù)據(jù)通常呈現(xiàn)長(zhǎng)尾分布，各類別樣本數(shù)量失衡，導(dǎo)致檢測(cè)器出現(xiàn)精度損失。性能損失主要來自兩個(gè)方面：首先，訓(xùn)練集中沒有充足的尾部類別（樣本很少的類）樣本，難以讓模型在訓(xùn)練過程中充分學(xué)習(xí)尾部類別的特征［6］，引起尾部類的精度下降；其次，訓(xùn)練集中的頭部類別（具有許多樣本的類）的樣本占較多比例，模型的分類器會(huì)偏向于頭部類。

當(dāng)前長(zhǎng)尾學(xué)習(xí)的主流方法是數(shù)據(jù)重采樣和代價(jià)敏感學(xué)習(xí)。數(shù)據(jù)重采樣旨在通過對(duì)訓(xùn)練數(shù)據(jù)中尾部類的樣本進(jìn)行多種采樣，讓各類樣本數(shù)量接近。Wang 等［6］提出的動(dòng)態(tài)課程學(xué)習(xí)采用一種動(dòng)態(tài)采樣策略，在訓(xùn)練過程的后期根據(jù)動(dòng)態(tài)策略采用更多的尾部類樣本，讓模型學(xué)習(xí)數(shù)量相近的不同類別樣本。Kang 等［8］提出的LWS 通過多個(gè)不同的采樣策略訓(xùn)練表征模塊和分類器，以獲得泛化性更好的表征模塊和更加平衡的分類器。代價(jià)敏感學(xué)習(xí)策略則是通過提高損失函數(shù)中尾部類別損失的權(quán)重，平衡分類器頭部類和尾部類的性能。Tan等［9］發(fā)現(xiàn)尾部類的正負(fù)樣本的梯度不平衡現(xiàn)象，設(shè)計(jì)了基于梯度抑制的類別均損失（EQL）。在此基礎(chǔ)上，EQLv2［10］采用基于梯度統(tǒng)計(jì)的權(quán)重再引導(dǎo)機(jī)制，在訓(xùn)練過程中動(dòng)態(tài)調(diào)節(jié)每個(gè)類別的梯度，以緩解類別不平衡。通過這兩種方式都可以有效緩解頭部類對(duì)尾部類的抑制，但由于分類和檢測(cè)任務(wù)有著本質(zhì)區(qū)別，在直接應(yīng)用時(shí)會(huì)有難以兼容的問題，并且這類方法是以犧牲頭部類性能［11～12］為代價(jià)來改善尾部類性能，以實(shí)現(xiàn)提升模型性能。

為緩解頭部類和尾部類的直接競(jìng)爭(zhēng)關(guān)系，可以采用分組的方式，即根據(jù)各類別樣本數(shù)量將類別劃分為互不相交的若干組，通過不同分類器來進(jìn)行組內(nèi)的分類，以達(dá)到組內(nèi)各類別樣本數(shù)量的平衡，緩解頭部類對(duì)尾部類的抑制程度。這種分組的方式需要構(gòu)造多個(gè)分類器，單一的特征提取器輸出的分類特征不夠精細(xì)，不能滿足分類器的需要，所以額外針對(duì)不同組的樣本進(jìn)行精細(xì)化特征提取。此外，根據(jù)樣本數(shù)量將類別分組的方式會(huì)導(dǎo)致各組間的樣本不平衡，則可以通過Logit調(diào)整［13］進(jìn)行解決。

綜上所述，本文提出一種基于多頭注意力機(jī)制與類別均衡的長(zhǎng)尾檢測(cè)算法。首先，本文設(shè)計(jì)了一個(gè)類別均衡的多級(jí)分類器，通過對(duì)原始類別進(jìn)行分組，得到粗粒度與細(xì)粒度的二級(jí)類別標(biāo)簽。具體地，將訓(xùn)練樣本數(shù)相近的目標(biāo)類別放入同一組，形成組內(nèi)的細(xì)粒度類別，不同的組則構(gòu)成粗粒度類別。進(jìn)行不同粒度類別預(yù)測(cè)，完成平衡的學(xué)習(xí)過程。其次，構(gòu)建基于多頭注意力機(jī)制的特征分組重融合模塊。通過多頭自注意力機(jī)制提取候選框特征（Region of Interest Feature，RoI 特征）的細(xì)粒度信息，獲得精細(xì)化特征，以幫助分類器提升性能。最后，在多級(jí)分類器的基礎(chǔ)上進(jìn)行Logit 聯(lián)合調(diào)整，以抑制類別組間的不平衡程度。本文在兩個(gè)長(zhǎng)尾交通數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與其他長(zhǎng)尾學(xué)習(xí)方法相比，本文方法在mAP 性能指標(biāo)上有較為顯著的提升，說明了本文方法可以更好地應(yīng)用于實(shí)際交通場(chǎng)景的多目標(biāo)檢測(cè)任務(wù)。

2 基于多級(jí)學(xué)習(xí)的模型

本文改進(jìn)的模型結(jié)構(gòu)如圖1 所示，主要包括類別均衡的多級(jí)分類器（Muti-level Granularity Classifier，MGC）和基于多頭注意力機(jī)制的特征分組重融合模塊（Group-feature Re-fusion Module，GRM）。

圖1 基于多級(jí)學(xué)習(xí)的檢測(cè)模型結(jié)構(gòu)

2.1 多級(jí)分類器MGC

針對(duì)分類器各類別性能難以平衡的問題，本文采用多級(jí)分組的方式進(jìn)行解決。具體地，首先將分類過程解耦成多級(jí)分類方式，得到粗粒度類別PC和細(xì)粒度類別PF。通過粗粒度類別與坐標(biāo)的匹配計(jì)算，得到正負(fù)樣本，用于計(jì)算粗粒度類別損失、細(xì)粒度類別損失和坐標(biāo)回歸損失。粗粒度分組過程是根據(jù)訓(xùn)練的樣本個(gè)數(shù)將所有K個(gè)類別分為G組，通過式（1）將第j（j≤K）個(gè)類別分到第k組：

這里M(j)是訓(xùn)練集中類別j的樣本數(shù)量，和是第k組最小和最大樣本數(shù)的超參數(shù)。通過設(shè)置，以確保每一組之間類別沒有重疊，每個(gè)類別只能分配給一個(gè)組。G和根據(jù)數(shù)據(jù)特點(diǎn)進(jìn)行經(jīng)驗(yàn)設(shè)置，以確保組內(nèi)的類別包含相似的訓(xùn)練樣本總數(shù)。這種方式將類別劃分為若干不相交的組，有相似數(shù)量樣本的類別在組內(nèi)競(jìng)爭(zhēng)，有顯著不同樣本數(shù)量的類別在訓(xùn)練過程中相互隔離。

MGC結(jié)構(gòu)如圖1右下角，包含G個(gè)細(xì)粒度分類器、一個(gè)粗粒度分類器和Logit 聯(lián)合調(diào)整，每個(gè)分類器由全連接層、歸一化層和ReLU 激活層組成。通過GRM 模塊得到的精細(xì)化特征fk（k≤G）和提議特征c進(jìn)行融合，得到分類特征ek。ek作為細(xì)粒度分類器k的輸入，得到預(yù)測(cè)分組PFk，最后將G個(gè)分類器輸出的預(yù)測(cè)分組拼接，得到細(xì)粒度類別預(yù)測(cè)PF。另外，將提議特征c直接通過粗粒度分類器，得到粗粒度預(yù)測(cè)PC，同時(shí)通過位置回歸器得到回歸坐標(biāo)R。最后將PF與PC進(jìn)行Logit聯(lián)合調(diào)整后處理，得到類別分?jǐn)?shù)PF，PF就是最后的類別預(yù)測(cè)輸出。

2.2 分組特征重融合模塊GRM

本文構(gòu)建了基于多頭注意力機(jī)制的分組特征重融合模塊，提取不同組樣本的精細(xì)化特征，為多級(jí)分類器提供輸入。首先構(gòu)建一個(gè)基于通道注意力、空間注意力［14］和細(xì)化注意力機(jī)制的多頭注意力模 塊（Multi-head Self-attention Module，MSM）。MSM 是由1 個(gè)通道注意力模塊與1 個(gè)空間注意力模塊順序串聯(lián)，G個(gè)細(xì)化注意力模塊并行構(gòu)成，如圖2，下面分別介紹3個(gè)模塊。

圖2 MSM的結(jié)構(gòu)圖

1）通道注意力機(jī)制模塊可以抑制類別無關(guān)特征，選擇重要特征，結(jié)構(gòu)如圖3。具體是對(duì)特征進(jìn)行維度置換后，輸入兩層感知機(jī)中，最后在激活前進(jìn)行維度置換反轉(zhuǎn)，得到注意力權(quán)重特征wc，然后wc和x相乘得到x'。

圖3 通道注意力模塊結(jié)構(gòu)圖

2）空間注意力模塊可以增加對(duì)重點(diǎn)區(qū)域的關(guān)注度，提取關(guān)鍵特征，結(jié)構(gòu)如圖4。將由通道注意力模塊得到的特征x'作為輸入，首先做一個(gè)基于通道的全局最大池化和全局平均池化，再將結(jié)果拼接。最后通過卷積與激活得到注意力權(quán)重特征ws。

圖4 空間注意力模塊結(jié)構(gòu)圖

3）細(xì)化注意力模塊則將全局和局部信息進(jìn)行連接，通過信息互補(bǔ)來保留細(xì)粒度的語義特征，結(jié)構(gòu)如圖5。采用線性層作為信息共享的注意力單元，關(guān)注組內(nèi)類別特征的細(xì)微差異，共享局部與全局語義信息。具體地，特征x輸入全卷積層后，與注意力單元進(jìn)行交互，然后融合輸入卷積層后的x''，得到精細(xì)化特征fk。

圖5 細(xì)化注意力模塊結(jié)構(gòu)圖

如圖1 左下角所示，GRM 主要由上述的MSM模塊和特征分組重融合階段組成。具體地，通過第k個(gè)細(xì)化注意力模塊得到的精細(xì)化特征fk，分別與提議特征c進(jìn)行融合，得到細(xì)粒度分類特征。通過MSM 的G個(gè)細(xì)化注意力模塊得G個(gè)分組特征（分組數(shù)G與2.1 節(jié)MGC 的粗粒度組數(shù)相對(duì)應(yīng)）。圖6是算法中分類器各類別歸一化權(quán)重的幅值。在加入GRM 后，分類器各類別的權(quán)重比基準(zhǔn)模型的權(quán)重更加均衡，通過多頭注意力機(jī)制可以提取精細(xì)化特征，提升對(duì)尾部類別判別性［13］，以提高模型對(duì)不平衡數(shù)據(jù)的魯棒性。

圖6 分類器各類別權(quán)重的幅值

2.3 Logit聯(lián)合調(diào)整Logit-JA

在多級(jí)分類的基礎(chǔ)上，本文設(shè)計(jì)了一種基于先驗(yàn)的Logit 聯(lián)合調(diào)整方法（Logit Joint Adjustment，Logit-JA），以有效緩解組間的不平衡。本文根據(jù)兩級(jí)標(biāo)簽的頻率對(duì)模型輸出進(jìn)行Logit 聯(lián)合調(diào)整。長(zhǎng)尾問題在于樣本數(shù)目比較少的類別，在學(xué)習(xí)到的特征空間中各類別特征邊界不準(zhǔn)確［15］，所以泛化性能弱。所以，本文的Logit-JA 方法采用將先驗(yàn)知識(shí)πC和πF融入到模型預(yù)測(cè)輸出的方法。具體地，類別概率預(yù)測(cè)過程如式（2）：

PC和PF分別是粗粒度類別輸出和細(xì)粒度類別輸出。PC對(duì)粗粒度類別預(yù)測(cè)進(jìn)行后調(diào)整，PF是對(duì)細(xì)粒度類別預(yù)測(cè)的調(diào)整，也是推理階段采用的類別概率。πC和πF分別是統(tǒng)計(jì)各類別樣本數(shù)量的粗粒度類別標(biāo)簽和細(xì)粒度類別標(biāo)簽的頻率。τ是Logit 聯(lián)合調(diào)整的調(diào)節(jié)參數(shù)，一般情況下，τ默認(rèn)取1。

2.4 損失設(shè)置

本文模型輸出固定數(shù)量的預(yù)測(cè)目標(biāo)，所以采用的是集合預(yù)測(cè)損失［16～17］。通過匈牙利算法找到預(yù)測(cè)值和GT（Ground Truth）之間的最佳二分匹配，保證每個(gè)目標(biāo)都有惟一的匹配。其中為了衡量預(yù)測(cè)值（候選框Ri）和GT（gtj）之間的匹配程度，需要定義一個(gè)匹配度量函數(shù)，其定義為式（3）：

其中，Lcoarse是針對(duì)GT 粗粒度類別標(biāo)簽的損失，粗粒度類別預(yù)測(cè)采用的是經(jīng)過logit 調(diào)整后的概率向量，中的第二個(gè)下標(biāo)k表示概率向量

中對(duì)應(yīng)于第k個(gè)類別的概率分量；表示第j個(gè)真實(shí)標(biāo)注gtj對(duì)應(yīng)的粗類別標(biāo)簽，γ是損失函數(shù)中的超參數(shù)；LLocation表示用于位置回歸損失，可以采用目標(biāo)檢測(cè)任務(wù)中常用的回歸損失，如L1 損失和IoU損失等。λcls和λL是平衡系數(shù)。損失函數(shù)是在上述函數(shù)的基礎(chǔ)上增加細(xì)粒度分類損失，如式（5）：

其中，式（5）中g(shù)ti*表示Ri對(duì)應(yīng)的GT框，Lfine表示細(xì)粒度類別的分類損失，細(xì)粒度類別預(yù)測(cè)采用的是經(jīng)過logit 調(diào)整后的概率向量，中第二個(gè)下標(biāo)k表示概率向量中對(duì)應(yīng)于第k個(gè)類別的概率分量。λcls是平衡系數(shù)，和L1中的系數(shù)保持一致。最終損失由訓(xùn)練批次內(nèi)樣本的所有匹配對(duì)損失構(gòu)成。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)本文提出的交通多目標(biāo)檢測(cè)方法的有效性，實(shí)驗(yàn)采用了URTD（Urban Road Traffic Dataset）數(shù)據(jù)集和Cityscapes［18］數(shù)據(jù)集，進(jìn)行一系列驗(yàn)證實(shí)驗(yàn)和消融實(shí)驗(yàn)。

3.1 實(shí)驗(yàn)數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

1）Cityscapes 數(shù)據(jù)集由奔馳公司進(jìn)行收集和開源，包含50 個(gè)城市不同場(chǎng)景的5000 張精細(xì)標(biāo)注的圖像。本文對(duì)Cityscapes 其中的類別重新選擇，去除了背景的類別（如sky、road 和terrain 等），保留了10 個(gè)前景類別。URTD 數(shù)據(jù)集是通過對(duì)中國(guó)城市的交通場(chǎng)景進(jìn)行采集，拍攝時(shí)間以白天和晴天為主，一共3825 張圖片。數(shù)據(jù)集的訓(xùn)練集與測(cè)試集劃分情況如表1。

表1 數(shù)據(jù)集劃分信息

失衡率是衡量數(shù)據(jù)集的類別不平衡程度的指標(biāo)。將類別按照樣本數(shù)量降序排序（即：如果i1

表2 數(shù)據(jù)集頭部類和尾部類的平均樣本數(shù)

圖7 數(shù)據(jù)集各類別樣本數(shù)量比例

2）本次實(shí)驗(yàn)采用均值平均精度mAP（mean average precision @ intersection over union）作為評(píng)價(jià)指標(biāo)，分別是10 個(gè)IoU 閾值（在0.50 和0.95 之間，間隔為0.05）平均值，直接記為AP；單一的IoU閾值0.50，記為AP50；單一的IoU 閾值0.75，記為AP75。在兩個(gè)數(shù)據(jù)集中，均采用mAP 作為模型性能的主要評(píng)價(jià)指標(biāo)。mAP計(jì)算公式如式（7）：

其中，P 為預(yù)測(cè)精度，R 為召回率，APi為類別為i∈{1,2,3,…C}的AP 值。

3.2 實(shí)驗(yàn)環(huán)境和參數(shù)設(shè)置

為準(zhǔn)確提取原始圖像的細(xì)節(jié)特征，采用翻轉(zhuǎn)、尺度抖動(dòng)和色彩失真等不影響圖像細(xì)節(jié)的增強(qiáng)方式，在不影響特征提取的情況下產(chǎn)生多樣化數(shù)據(jù)。在損失中，λcls和λL分別設(shè)置為2、5。為穩(wěn)定訓(xùn)練，除了候選框初始化外，梯度在候選框使用時(shí)不會(huì)被反向傳播回去。分組過程中，粗粒度類別數(shù)G值在兩個(gè)數(shù)據(jù)集上都設(shè)置為3。

3.3 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文提出的各個(gè)模塊（MGC，GRM，Logit-JA）有效性，在3.3.1 節(jié)中進(jìn)行了各模塊（MGC，GRM，Logit-JA）消融實(shí)驗(yàn)。在3.3.2節(jié)中進(jìn)行了分類器結(jié)構(gòu)的探究，分析粗粒度-細(xì)粒度（Coarse-Fine）多級(jí)分類和分組分類方式之間的影響；在3.3.3 節(jié)中將本文方法與主流長(zhǎng)尾學(xué)習(xí)方法對(duì)比，驗(yàn)證本文方法的有效性。

3.3.1 各模塊消融實(shí)驗(yàn)和分析實(shí)驗(yàn)

本文在URTD 數(shù)據(jù)集進(jìn)行了各模塊消融實(shí)驗(yàn)，結(jié)果如表3。表3 中第一行是基準(zhǔn)模型的實(shí)驗(yàn)結(jié)果，接下來是單獨(dú)使用GRM 模塊、Logit-JA 模塊和MGC 模塊的結(jié)果，單獨(dú)采用各模塊均在一定程度上提升模型性能。GRM 通過多頭注意力機(jī)制，利于更好的表征學(xué)習(xí)，比基準(zhǔn)模型提升了0.6%。Logit-JA 是基于多級(jí)分類器進(jìn)行設(shè)計(jì)的模塊，單獨(dú)使用會(huì)使模型性能有0.5%提升。 MGC 的提升效果最好，相比于基準(zhǔn)模型提升2.0%。在模塊組合使用時(shí)，MGC 和Logit-JA 組合提升了3.3%；GRM 和MGC 組合提升了3.9%，比單獨(dú)適用MGC 性能提升了1.9%，說明特征分組的必要性，可以進(jìn)一步提升分類器性能。三個(gè)模塊組合使用提升5.0%，比單獨(dú)使用模塊或者兩兩組合時(shí)提升效果更明顯。圖8 是本文的三個(gè)模塊組合方法與基準(zhǔn)模型在URTD數(shù)據(jù)集上的各類性能?？梢钥吹?，本文方法有效提升了尾部類性能。

表3 URTD數(shù)據(jù)集上模塊組合結(jié)果

圖8 本文方法與基準(zhǔn)模型的各類別性能

3.3.2 不同分類器結(jié)構(gòu)

為探究分類器結(jié)構(gòu)對(duì)模型的性能的影響，本節(jié)實(shí)驗(yàn)設(shè)計(jì)了不同的分類器結(jié)構(gòu)。SC（Standard Classifier）是標(biāo)準(zhǔn)分類器，用于結(jié)果對(duì)比；DGC（Direct Group Classifier）是只對(duì)類別分組且不采用粗粒度-細(xì)粒度方式的分類器，用于驗(yàn)證類別分組的效果；BFC（Branch Full-connection Classifier）是只采用粗粒度-細(xì)粒度方式的分類器，用于驗(yàn)證粗粒度-細(xì)粒度的分類的效果。為比較分類器結(jié)構(gòu)的影響，其余模塊均保持一致，即都同時(shí)采用了GRM、Logit-JA。結(jié)果如表4，相對(duì)于只用了GRM 和Logit-JA的基準(zhǔn)模型，采用DGC 與BFC 的組合分別提升0.7%、1.6%，采用MGC 的組合提升了3.4%。實(shí)驗(yàn)結(jié)果說明了只采用分組分類的DGC 或者粗粒度-細(xì)粒度分類的方式的BFC雖然對(duì)模型性能有提升，同時(shí)采用粗粒度-細(xì)粒度和類別分組方法的MGC對(duì)模型性能有更顯著的提升。從表3 中可以得出，粗粒度-細(xì)粒度分類和分組分類的方式可以相互促進(jìn)性能。

表4 URTD數(shù)據(jù)集上采用不同分類器結(jié)果

3.3.3 與主流長(zhǎng)尾學(xué)習(xí)方法對(duì)比

本次實(shí)驗(yàn)在這兩個(gè)數(shù)據(jù)集上比較了主流的長(zhǎng)尾學(xué)習(xí)方法：基于Faster R-CNN［19］的LWS和EQLv2目標(biāo)檢測(cè)長(zhǎng)尾學(xué)習(xí)方法，以及嘗試在更強(qiáng)的基準(zhǔn)模型Sparse R-CNN［20］上采用本文的方法。表5和表6分別是不同目標(biāo)檢測(cè)學(xué)習(xí)方法在URTD 數(shù)據(jù)集和Cityscapes 數(shù) 據(jù) 集實(shí) 驗(yàn)結(jié) 果。EQLv2 在URTD 數(shù) 據(jù)集和Cityscapes 數(shù)據(jù)集上mAP 分別提升了0.9%和1.3%，LWS分別提升了0.1%和0.8%。可以看到，本文方法在性能更強(qiáng)的Sparse R-CNN 上也有顯著性提升。以Faster R-CNN 和Sparse R-CNN 基準(zhǔn)模型，本文方法在URTD數(shù)據(jù)集上的mAP分別提升了2.8%和4.8%；在Cityscapes數(shù)據(jù)集上的mAP分別提升了1.6%和1.8%。

表5 URTD數(shù)據(jù)集上對(duì)比實(shí)驗(yàn)結(jié)果

表6 Cityscapes數(shù)據(jù)集上對(duì)比實(shí)驗(yàn)結(jié)果

圖9是采用主流長(zhǎng)尾學(xué)習(xí)方法在URTD數(shù)據(jù)集上得到頭部類和尾部類的平均性能?；鶞?zhǔn)模型是Faster R-CNN，加入了LWS和EQLv2方法后雖然增強(qiáng)了尾部類性能，但造成頭部類性能不同程度的下降。本文方法能保持頭部類性能同時(shí)，提升尾部類性能。圖10 展示了本文方法和基準(zhǔn)模型在兩個(gè)數(shù)據(jù)集部分的檢測(cè)結(jié)果。在URTD 數(shù)據(jù)集中，本文方法能正確識(shí)別到基準(zhǔn)模型未能檢測(cè)的部分尾部類目標(biāo)（如行人和信號(hào)燈）。在Cityscapes 數(shù)據(jù)集中，基準(zhǔn)模型存在將尾部類目標(biāo)（如train 類別）錯(cuò)誤識(shí)別和漏檢的問題；本文算法能夠在這兩個(gè)長(zhǎng)尾數(shù)據(jù)集上一定程度上降低少尾部類目標(biāo)的漏檢率和誤檢率，提高定位和分類的精度。

圖9 長(zhǎng)尾學(xué)習(xí)方法的頭部類與尾部類的平均性能

圖10 在URTD和Cityscapes數(shù)據(jù)集上部分檢測(cè)結(jié)果

4 結(jié)語

針對(duì)在交通場(chǎng)景下目標(biāo)檢測(cè)任務(wù)遇到的類別不平衡問題，本文提出了一種基于多級(jí)學(xué)習(xí)的長(zhǎng)尾檢測(cè)方法。本文首先構(gòu)建了多級(jí)分組分類器，提升尾部類性能的同時(shí)，避免頭部類性能損失。然后設(shè)計(jì)了基于多頭注意力機(jī)制的分組特征重融合模塊，為多級(jí)分類器輸入更精細(xì)的特征。最后，本文基于多級(jí)分類器提出了Logit 聯(lián)合調(diào)整的方法，以緩解組間的不平衡。本文的改進(jìn)方法，避免現(xiàn)有方法需要犧牲頭部類性能的問題，有效地緩解了在交通場(chǎng)景下的類別不平衡。