摘 要:
針對(duì)小樣本激化的目標(biāo)檢測(cè)耦合問(wèn)題,以高價(jià)值空中目標(biāo)為研究對(duì)象,提出一種基于解耦的小樣本目標(biāo)檢測(cè)算法。首先,在區(qū)域候選網(wǎng)絡(luò)中引入梯度調(diào)整層,強(qiáng)化區(qū)域候選網(wǎng)絡(luò),緩和任務(wù)耦合問(wèn)題。其次,將目標(biāo)檢測(cè)頭拆解成分類(lèi)和回歸兩個(gè)分支,在前端添加無(wú)參平均注意力模塊,緩和特征耦合問(wèn)題。所提算法可以提高小樣本目標(biāo)檢測(cè)性能,增強(qiáng)對(duì)新類(lèi)的檢測(cè)能力。實(shí)驗(yàn)結(jié)果表明,所提算法在1、2、3、5、10樣本實(shí)驗(yàn)中均表現(xiàn)最佳,平均精度分別達(dá)到32.5%、35.6%、39.6%、41.2%和57.4%。相較于兩階段微調(diào)方法,所提算法檢測(cè)性能大幅度提高,能夠解決在小樣本激化的耦合矛盾下網(wǎng)絡(luò)檢測(cè)能力下降的問(wèn)題,提升對(duì)小樣本高價(jià)值空中目標(biāo)的檢測(cè)精度。
關(guān)鍵詞:
小樣本目標(biāo)檢測(cè); 空中目標(biāo); 耦合問(wèn)題; 深度學(xué)習(xí)
中圖分類(lèi)號(hào):
TP 391.4
文獻(xiàn)標(biāo)志碼: A""" DOI:10.12305/j.issn.1001-506X.2024.09.06
Research on few shot target detection method based on decoupling
CAI Wei, WANG Xin*, JIANG Xinhao, YANG Zhiyong, CHEN Dong
(School of Missile Engineering, Rocket Military Engineering University, Xi’an 710025, China)
Abstract:
Aiming at the coupling problem of target detection with few shot intensification, a few shot target detection algorithm based on decoupling is proposed focusing on high-value air targets as the research object. Firstly, a gradient adjustment layer is introduced into the regional candidate network to strengthen the regional candidate network and alleviate the task coupling problem. Secondly, the target detection head is disassembled into two branches, classification and regression, and a parameter-free average attention module is added at the front end to alleviate the feature coupling problem. The proposed algorithm improves the detection performance of few shot target detection and enhances the detection ability of new classes. The experimental results show that the proposed algorithm performs best in the 1, 2, 3, 5 and 10 shot experiments, with average accuracy of 32.5%, 35.6%, 39.6%, 41.2% and 57.4%, respectively. Compared with the two-stage fine-tuning method, the detection performance of the proposed algorithm is greatly improved, which solves the problem of the decline of network detection ability under the coupling contradiction of few shot intensification, and improves the detection accuracy of few shot high-value air targets.
Keywords:
few shot target detection; air target; coupling issue; deep learning
0 引 言
在軍事領(lǐng)域中,高價(jià)值空中目標(biāo)具有明顯的非合作性和小樣本特征,是決定高科技戰(zhàn)爭(zhēng)勝負(fù)的作戰(zhàn)利器。其自身作為空中偵察打擊威脅的“視覺(jué)中樞”,具有高突防、高精度的特點(diǎn),可對(duì)重點(diǎn)目標(biāo)實(shí)施“外科手術(shù)”式精確打擊,以較低成本破壞作戰(zhàn)體系。因此,實(shí)現(xiàn)小樣本條件下的高價(jià)值空中目標(biāo)的精確檢測(cè)對(duì)于防護(hù)重點(diǎn)設(shè)施、保護(hù)整體作戰(zhàn)體系具有重要的意義。
當(dāng)前的小樣本目標(biāo)檢測(cè)算法大體上分為6類(lèi),分別為基于度量學(xué)習(xí)的方法[1]、基于微調(diào)的方法[2]、基于元學(xué)習(xí)的方法[3]、基于數(shù)據(jù)增強(qiáng)的方法[4]、基于模型的方法[5]和基于集成的方法[6]。其中,基于度量的方法重點(diǎn)關(guān)注類(lèi)別的相似性,通過(guò)計(jì)算距離或者相似度對(duì)潛在的目標(biāo)區(qū)域進(jìn)行分類(lèi),如文獻(xiàn)[7]中將語(yǔ)義相似度引入分類(lèi)模型,提升小樣本的泛化能力,但由于基于度量的方法側(cè)重于分類(lèi)相似度,其定位信息依賴(lài)于區(qū)域候選網(wǎng)絡(luò)(region proposal network, RPN),制約了網(wǎng)絡(luò)模型的整體精度?;谠獙W(xué)習(xí)的方法則借鑒人類(lèi)杰出的學(xué)習(xí)特性,利用能夠快速適應(yīng)學(xué)習(xí)新任務(wù)的能力實(shí)現(xiàn)對(duì)少樣本新類(lèi)的目標(biāo)檢測(cè)訓(xùn)練。但相比于其他方法,元學(xué)習(xí)器設(shè)計(jì)復(fù)雜,訓(xùn)練容易出現(xiàn)不收斂的情況[8]。數(shù)據(jù)增強(qiáng)是目標(biāo)檢測(cè)提升網(wǎng)絡(luò)性能的重要手段之一,特別是在小樣本情況下,通過(guò)數(shù)據(jù)增強(qiáng)擴(kuò)充樣本數(shù)量,能夠有效提高模型的魯棒性,但單純地使用數(shù)據(jù)增強(qiáng),對(duì)檢測(cè)能力提升有限,難以從根本上解決樣本數(shù)量不足的問(wèn)題[8]?;谖⒄{(diào)的方法是利用基類(lèi)數(shù)據(jù)預(yù)訓(xùn)練網(wǎng)絡(luò)模型,通過(guò)少量新類(lèi)微調(diào)網(wǎng)絡(luò)參數(shù),實(shí)現(xiàn)小樣本條件下的目標(biāo)檢測(cè)。文獻(xiàn)[9]發(fā)現(xiàn)相比于元學(xué)習(xí)方法,基于微調(diào)的方法效果更好,在基類(lèi)和新類(lèi)上均達(dá)到較好的檢測(cè)性能,但基于微調(diào)的方法對(duì)超參敏感,類(lèi)無(wú)關(guān)參數(shù)的劃分不清晰?;谀P偷姆椒ㄔO(shè)計(jì)比較靈活,通過(guò)改進(jìn)模型結(jié)構(gòu)解決小樣本檢測(cè)存在的問(wèn)題,降低對(duì)樣本數(shù)量的依賴(lài),但模型訓(xùn)練比較困難,適用于處理專(zhuān)項(xiàng)問(wèn)題。與上述4種方法相比,基于集成的方法則集成了不同方法的優(yōu)點(diǎn),從不同角度實(shí)現(xiàn)模型檢測(cè)性能的提升,達(dá)到聯(lián)合制勝的效果。
近些年來(lái),隨著深度卷積網(wǎng)絡(luò)的發(fā)展,小樣本目標(biāo)檢測(cè)的模型結(jié)構(gòu)不斷優(yōu)化,解決了小樣本目標(biāo)檢測(cè)存在的許多問(wèn)題。Wu等[10]學(xué)習(xí)目標(biāo)通用原型,并通過(guò)通用原型的軟注意增強(qiáng)目標(biāo)特征。Li等[11]將余弦相似性引入支持特征和查詢(xún)特征的特征融合,形成新的聚合公式,增強(qiáng)特征信息。Hsieh等[12]對(duì)支持集分支進(jìn)行重加權(quán),增強(qiáng)支持圖像的定位能力。上述方法均提高了小樣本目標(biāo)檢測(cè)的精度,但都忽略了小樣本激化的目標(biāo)檢測(cè)耦合問(wèn)題,該問(wèn)題嚴(yán)重制約了小樣本目標(biāo)檢測(cè)性能。
具體來(lái)說(shuō),小樣本情況首先激化了RPN參數(shù)在預(yù)訓(xùn)練和微調(diào)兩個(gè)任務(wù)中的耦合性,這是因?yàn)轭A(yù)訓(xùn)練階段和微調(diào)階段任務(wù)不同,再加之新類(lèi)樣本數(shù)量較少,導(dǎo)致RPN在微調(diào)階段對(duì)新類(lèi)類(lèi)別混淆不分,將新類(lèi)誤認(rèn)為背景的概率上升,使其對(duì)新類(lèi)的檢測(cè)能力較差,造成RPN與檢測(cè)頭網(wǎng)絡(luò)在梯度損失反向傳遞的不平衡。其次,小樣本情況加劇了分類(lèi)和回歸輸入特征的沖突,在檢測(cè)頭網(wǎng)絡(luò)中分類(lèi)檢測(cè)器需要平移不變特征捕捉關(guān)鍵信息,回歸檢測(cè)器輸入的特征則需具有平移漸變性來(lái)準(zhǔn)確確定目標(biāo)所在范圍,而樣本數(shù)量的不足導(dǎo)致網(wǎng)絡(luò)訓(xùn)練不充分,加劇了分類(lèi)和定位的特征耦合矛盾。
為了應(yīng)對(duì)上述挑戰(zhàn),在基于微調(diào)方法的基礎(chǔ)上融入基于模型方法的思想,進(jìn)行方法集成,提出一種新的基于解耦的小樣本目標(biāo)檢測(cè)算法。本算法以?xún)呻A段微調(diào)方法[13](two-stage fine-tuning approach, TFA)為基本框架。首先,按照目標(biāo)類(lèi)別設(shè)立類(lèi)無(wú)關(guān)基類(lèi)和小樣本新類(lèi)兩個(gè)數(shù)據(jù)集,分別作為預(yù)訓(xùn)練和小樣本微調(diào)的輸入數(shù)據(jù)。其次,在預(yù)訓(xùn)練階段利用基類(lèi)樣本對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練。訓(xùn)練中,基類(lèi)圖片輸入網(wǎng)絡(luò)模型中,經(jīng)骨干網(wǎng)絡(luò)學(xué)習(xí)特征信息,而后生成候選框,將候選框和特征網(wǎng)絡(luò)輸出的原始特征圖輸入感興趣區(qū)域(region of interest, ROI)池化和ROI特征提取器,得到固定大小的區(qū)域特征圖,并將其輸入分類(lèi)頭和回歸頭中輸出最終檢測(cè)結(jié)果。訓(xùn)練結(jié)束后凍結(jié)除分類(lèi)和回歸檢測(cè)器以外的所有模塊。最后,在微調(diào)階段輸入新類(lèi)數(shù)據(jù)對(duì)分類(lèi)定位檢測(cè)器的未凍結(jié)參數(shù)進(jìn)行微調(diào),以適應(yīng)新類(lèi)的檢測(cè)要求。在TFA基礎(chǔ)上對(duì)RPN和目標(biāo)檢測(cè)頭網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了相應(yīng)改進(jìn),以解決RPN在預(yù)訓(xùn)練和微調(diào)階段中的任務(wù)耦合矛盾和分類(lèi)定位的特征耦合矛盾。首先,在網(wǎng)絡(luò)中引入梯度調(diào)整層(gradient adjustment layer, GAL),通過(guò)調(diào)整因子調(diào)節(jié)微調(diào)階段RPN的分類(lèi)損失,平衡RPN與檢測(cè)頭網(wǎng)絡(luò)的梯度分類(lèi)損失,同時(shí)改進(jìn)預(yù)選框篩選規(guī)則,并調(diào)整微調(diào)階段RPN的凍結(jié)狀態(tài),以提升RPN對(duì)新類(lèi)的檢測(cè)能力。其次,在檢測(cè)頭網(wǎng)絡(luò)前端加入無(wú)參平均注意力模塊(parameter-free average attention module, PFAAM),聚焦關(guān)鍵信息,緩和因小樣本加劇的特征耦合矛盾。同時(shí),提出雙分支網(wǎng)絡(luò)(dual branch network, DBN), 優(yōu)化原有檢測(cè)頭結(jié)構(gòu),搭建分類(lèi)和回歸兩個(gè)分支網(wǎng)絡(luò),進(jìn)一步緩和小樣本條件下加劇的分類(lèi)和回歸模塊特征沖突。本文主要貢獻(xiàn)如下:
(1) 針對(duì)RPN在預(yù)訓(xùn)練和微調(diào)加劇的任務(wù)耦合問(wèn)題,首先,引入GAL,通過(guò)調(diào)整因子解決耦合矛盾造成的RPN與檢測(cè)頭網(wǎng)絡(luò)梯度分類(lèi)損失不平衡問(wèn)題。其次,通過(guò)提升新類(lèi)樣本在RPN的通過(guò)率,使更多含新類(lèi)樣本的預(yù)選框通過(guò)RPN的篩選,并對(duì)微調(diào)階段的解凍模塊做出調(diào)整,解除RPN最后一層的凍結(jié)狀態(tài),提升耦合矛盾降低的RPN新類(lèi)檢測(cè)性能,提高對(duì)新類(lèi)的檢測(cè)能力。
(2) 針對(duì)分類(lèi)檢測(cè)頭和定位檢測(cè)頭因特征要求不同激化的特征耦合問(wèn)題,首先在網(wǎng)絡(luò)前端加入PFAAM,聚焦跨空間和跨通道特征信息,提升檢測(cè)頭網(wǎng)絡(luò)分類(lèi)和回歸檢測(cè)性能,其次對(duì)檢測(cè)頭網(wǎng)絡(luò)進(jìn)行優(yōu)化,將檢測(cè)頭網(wǎng)絡(luò)劃分為分類(lèi)和回歸兩個(gè)分支,在分類(lèi)分支和回歸分支中分別構(gòu)建提取平移不變性和平移漸變性特征信息的網(wǎng)絡(luò)結(jié)構(gòu),緩解了分類(lèi)回歸存在的特征耦合矛盾。
(3) 將所設(shè)計(jì)的算法在通用數(shù)據(jù)集 PASCAL VOC和自建的小樣本軍事類(lèi)空中目標(biāo)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證,均取得良好效果。
1 相關(guān)工作
基于深度學(xué)習(xí)的目標(biāo)檢測(cè):當(dāng)前目標(biāo)檢測(cè)算法主要分為兩類(lèi),雙階段算法和單階段算法,雙階段算法在檢測(cè)過(guò)程中先生成區(qū)域建議框,區(qū)分背景和前景,然后對(duì)每個(gè)建議框執(zhí)行分類(lèi)和定位回歸操作。2014年,Girshick等[14]首次提出雙階段算法區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(region convolutional neural network, R-CNN)模型。但由于其算法步驟繁瑣、計(jì)算速度較慢,研究人員在此基礎(chǔ)上提出快速R-CNN (Fast R-CNN)[15]和更快R-CNN (Faster R-CNN)[16],以提升精度,減少時(shí)間。目前,雙階段算法已被廣泛應(yīng)用于無(wú)人駕駛、軍用探測(cè)[17-20]、人臉識(shí)別、工業(yè)檢測(cè)等領(lǐng)域,并取得良好效果。相比于雙階段算法,單階段算法可直接對(duì)特征圖預(yù)測(cè)定位和分類(lèi),Redmin等[21]在 2016年首次提出YOLO (you only look once)算法,并經(jīng)歷YOLO系列[21-24]的版本更新,逐漸成為一步目標(biāo)檢測(cè)的重要框架。單次檢測(cè)器(single shot detector, SSD)算法[25]則借鑒兩階段算法的優(yōu)點(diǎn),將Faster R-CNN 中區(qū)域的設(shè)計(jì)思想融入單階段算法。反卷積SSD (deconvolutional SSD, DSSD)算法[26]在此基礎(chǔ)上引用Resnet-101[27]作為特征提取網(wǎng)絡(luò),提升檢測(cè)性能。相比于雙階段算法,單階段算法實(shí)現(xiàn)更加簡(jiǎn)單,訓(xùn)練速度更快,在但是因缺少RPN,整體在準(zhǔn)確性上遜于雙階段算法。
小樣本學(xué)習(xí):小樣本學(xué)習(xí)旨在利用少量的樣本學(xué)習(xí)新的知識(shí),其主要思想在于如何準(zhǔn)確地將知識(shí)從基類(lèi)訓(xùn)練模型遷移到新類(lèi),現(xiàn)有的小樣本學(xué)習(xí)方法可大致分為3類(lèi):第1種是基于優(yōu)化的方法,以模型不可知元學(xué)習(xí)[28](model-agnostic meta-learning, MAML)為例,通過(guò)學(xué)習(xí)好的初始化的規(guī)則,在較短的時(shí)間內(nèi)快速適應(yīng)新的任務(wù)。Jamal等[29]在 MAML 基礎(chǔ)上進(jìn)行發(fā)展,提出未知任務(wù)元學(xué)習(xí)(task agnostic meta-learning, TAML)法,解決元學(xué)習(xí)器偏移問(wèn)題。第2種是基于度量學(xué)習(xí)的方法,通過(guò)學(xué)習(xí)獲得類(lèi)別的泛化度量空間,以執(zhí)行之后的相似度度量操作。Karlinsky等[30]將多模態(tài)分布引入度量學(xué)習(xí),實(shí)現(xiàn)端對(duì)端同時(shí)訓(xùn)練主干網(wǎng)絡(luò)參數(shù)和嵌入空間分布。Wang等[31]利用詞表示的全局向量編碼將標(biāo)簽信息嵌入特征圖中,實(shí)現(xiàn)了數(shù)據(jù)的特征增強(qiáng)。第3種為基于參數(shù)生成的方法[32],與前面兩種方法不同,該方法通過(guò)預(yù)訓(xùn)練得到較好的網(wǎng)絡(luò)模型,在第2階段針對(duì)類(lèi)相關(guān)參數(shù)進(jìn)行微調(diào),實(shí)現(xiàn)對(duì)新任務(wù)的較好適應(yīng)。Sun等[33-34]將MAML方法融入模型微調(diào)中,實(shí)現(xiàn)算法改進(jìn),提升算法的泛化性能。
小樣本目標(biāo)檢測(cè):與小樣本目標(biāo)分類(lèi)相同,目前大多數(shù)小樣本目標(biāo)檢測(cè)也采用兩階段訓(xùn)練,即預(yù)訓(xùn)練階段和微調(diào)階段,但其與小樣本學(xué)習(xí)的不同之處在于小樣本目標(biāo)檢測(cè)不僅需要將樣本中的目標(biāo)識(shí)別出來(lái),還需從背景中定位目標(biāo)的具體位置,實(shí)現(xiàn)難度更大。通過(guò)特征重加權(quán)的小樣本目標(biāo)檢測(cè)(few-shot object detection via featur-e reweighting, FSRW)[35]是基于YOLO2模型建立的輕量化的小樣本目標(biāo)檢測(cè)網(wǎng)絡(luò),其在網(wǎng)絡(luò)中重新加權(quán)具有通道注意力的特征,提高重要度以提升檢測(cè)效能。野外場(chǎng)景小樣本目標(biāo)檢測(cè)和視點(diǎn)估計(jì)(few-shot object detection and viewpoint estimation for objects in the wild, FSDView)[36]方法在此基礎(chǔ)上提出一種新的特征聚合方法,將新類(lèi)與基類(lèi)信息緊密聯(lián)系以提升新類(lèi)檢測(cè)性能。Meta R-CNN[37]將元學(xué)習(xí)引入R-CNN,其沒(méi)有從整體的角度提取特征圖信息,而是關(guān)注每個(gè)ROI的特征。Fan等[38]在元學(xué)習(xí)網(wǎng)絡(luò)模型的基礎(chǔ)上設(shè)計(jì)一種聚合模型Attention RPN,從全局、局部和互相關(guān)3個(gè)角度來(lái)衡量支持集特征與查詢(xún)集特征的相似度,幫助檢測(cè)器更好地區(qū)分不同類(lèi)別。Wu等[39]提出用于小樣本目標(biāo)檢測(cè)的多尺度正樣本細(xì)化(multi-scale positive sample refinement, MPSR)模型,通過(guò)數(shù)據(jù)增強(qiáng)生成多尺度樣本,建立Faster R-CNN分支,緩解樣本不足的問(wèn)題。Khandelwal等[40]通過(guò)計(jì)算新類(lèi)和基類(lèi)的語(yǔ)義相似度,將回歸和分類(lèi)權(quán)重轉(zhuǎn)移至新類(lèi),提高小樣本目標(biāo)檢測(cè)的泛化能力和檢測(cè)效果。Sun等[9]將新類(lèi)和基類(lèi)混合組成微調(diào)數(shù)據(jù)集,以減少基類(lèi)和新類(lèi)特征差異。Zhang等[41]提出合作RPN(cooperating RPN, CoRPN)以解決樣本數(shù)據(jù)不足加劇的前景背景不平衡問(wèn)題,增加前景分類(lèi)器的數(shù)量,避免損失更多的預(yù)選框。
2 本文方法
文中提出的基于解耦的小樣本目標(biāo)檢測(cè)算法的整體架構(gòu)如圖1所示,在原有TFA的基礎(chǔ)上對(duì)RPN和檢測(cè)頭進(jìn)行了改進(jìn),設(shè)計(jì)了解耦RPN (decouple RPN, D-RPN)和檢測(cè)解耦頭(detect decoupling head, DDH)。空中目標(biāo)圖片輸入預(yù)訓(xùn)練后的網(wǎng)絡(luò)模型中,經(jīng)骨干網(wǎng)絡(luò)學(xué)習(xí)特征信息,而后在D-RPN生成候選框,將候選框和特征網(wǎng)絡(luò)輸出的原始特征圖輸入ROI池化和ROI特征提取器,得到固定大小的區(qū)域特征圖,輸入DDH中,得到目標(biāo)類(lèi)別與邊界框的預(yù)測(cè)輸出。
D-RPN在預(yù)訓(xùn)練階段和微調(diào)階段呈現(xiàn)不同的特性,在預(yù)訓(xùn)練階段輸入XFineture,輸出反向分類(lèi)梯度損失Δ;在微調(diào)階段引入調(diào)整因子λ,輸入XFineture,輸出的反向分類(lèi)梯度損失為λΔ。在DDH中,輸入特征圖經(jīng)PFAAM模塊聚焦特征信息后,進(jìn)入分類(lèi)分支和回歸分支分別提取相關(guān)特征,輸出的分類(lèi)和回歸特征結(jié)果輸入分類(lèi)和回歸檢測(cè)器中得到分類(lèi)和回歸的預(yù)測(cè)輸出。
2.1 問(wèn)題定義
小樣本目標(biāo)檢測(cè)訓(xùn)練數(shù)據(jù)集D分為兩個(gè)數(shù)據(jù)集Dbase和Dnovel,對(duì)應(yīng)基本類(lèi)別Cbase和新類(lèi)別Cnovel,Dbase∩Dnovel=。訓(xùn)練數(shù)據(jù)集D整體上由X和Y組成, X代表輸入圖像, Y代表輸入類(lèi)別和坐標(biāo),Y={(ci,bi)i=1,2,…,M},ci∈{Cbase,Cnovel},預(yù)選框bi={xi,yi,wi,hi},x和y為坐標(biāo)值, w和h分別為邊界框的寬度和高度,M代表輸入樣本每張圖片中目標(biāo)的個(gè)數(shù)。小樣本目標(biāo)檢測(cè)分為預(yù)訓(xùn)練和微調(diào)兩個(gè)階段,預(yù)訓(xùn)練階段利用帶標(biāo)注Dbase對(duì)基本模型進(jìn)行訓(xùn)練,通過(guò)Dbase樣本數(shù)量的優(yōu)勢(shì)使模型的類(lèi)無(wú)關(guān)參數(shù)得到充分訓(xùn)練。微調(diào)階段在預(yù)訓(xùn)練的基礎(chǔ)上通過(guò)新類(lèi)別Cnovel微調(diào),使網(wǎng)絡(luò)模型參數(shù)向Cnovel轉(zhuǎn)移。在微調(diào)階段,針對(duì)Kshot任務(wù)的Dnovel由每個(gè)類(lèi)別含有的K個(gè)帶注釋對(duì)象實(shí)例組成。
2.2 D-RPN
本節(jié)通過(guò)設(shè)計(jì)D-RPN解決因預(yù)訓(xùn)練和微調(diào)在RPN加劇的任務(wù)耦合帶來(lái)的問(wèn)題,RPN解耦部分由GAL和強(qiáng)化RPN (strengthen RPN, S-RPN)組成。
2.2.1 GAL
在預(yù)訓(xùn)練階段,RPN以大量基類(lèi)樣本Dbase作為訓(xùn)練數(shù)據(jù),而微調(diào)階段的輸入為少量的新類(lèi)數(shù)據(jù)Dnovel。在微調(diào)階段RPN的參數(shù)基于Cbase訓(xùn)練得出,這導(dǎo)致RPN對(duì)Cnovel的識(shí)別困難,引發(fā)RPN與檢測(cè)頭網(wǎng)絡(luò)分類(lèi)梯度損失不平衡問(wèn)題。為解決此問(wèn)題,在微調(diào)階段加入GAL,將GAL置于RPN分類(lèi)損失函數(shù)之前,梯度調(diào)整原理如圖2所示。
2.3.2 DBN
在原檢測(cè)頭網(wǎng)絡(luò)中,分類(lèi)頭和回歸頭前端具有共享的神經(jīng)網(wǎng)絡(luò),輸入的特征圖經(jīng)共享神經(jīng)網(wǎng)絡(luò)處理后,直接進(jìn)入回歸和分類(lèi)的全連接層中,進(jìn)行位置的回歸定位和類(lèi)別的劃分。但分類(lèi)和回歸的特征要求存在差異,分類(lèi)頭需要平移不變特征,定位頭需要平移漸變特征,兩者所需特征的沖突會(huì)造成檢測(cè)頭性能的下降,而注釋樣本數(shù)量的缺少會(huì)進(jìn)一步激化矛盾。
為解決此問(wèn)題,對(duì)原有的檢測(cè)頭網(wǎng)絡(luò)進(jìn)行優(yōu)化,取消共享神經(jīng)網(wǎng)絡(luò),將網(wǎng)絡(luò)劃分為分類(lèi)和回歸兩大分支,搭建相應(yīng)網(wǎng)絡(luò)結(jié)構(gòu),以符合分類(lèi)頭平移不變特征和回歸頭平移漸變特征的要求,解耦網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。
DBN承接PFAAM模塊,其中分類(lèi)分支在PFAAM模塊之后接入兩個(gè)全連接層(fully connected layer, FCL)和Relu函數(shù)組成的FCL-Relu(FR)模塊。利用FCL的優(yōu)點(diǎn),提取平移不變特征,將捕捉的目標(biāo)類(lèi)別的關(guān)鍵信息輸入分類(lèi)FCL,得到分類(lèi)分?jǐn)?shù)。分類(lèi)分?jǐn)?shù)輸入分類(lèi)損失函數(shù)中,得到目標(biāo)的分類(lèi)結(jié)果;回歸分支在PFAAM模塊后引入兩個(gè)由坐標(biāo)協(xié)同卷積,批歸一化層(batch normalization, BN)和函數(shù)Leaky Relu組成的坐標(biāo)協(xié)同卷積-BN-Leaky Relu(coordinate conv-BN-Leaky Relu, CBL)模塊,用以提取平移漸變特征,將捕捉空間位置的敏感信息輸入回歸FCL,得到回歸分?jǐn)?shù)。回歸分?jǐn)?shù)輸入定位損失函數(shù)中,得到目標(biāo)的位置結(jié)果。
相比于普通卷積,坐標(biāo)協(xié)同卷積額外增加兩個(gè)通道,分別用于表示橫坐標(biāo)(i坐標(biāo))和縱坐標(biāo)(j坐標(biāo)),這使得其在保留一般卷積層平移不變性的基礎(chǔ)上,具有一定的平移漸變性,即在卷積過(guò)程中可以感知特征圖的位置信息,有效提取特征的位置信息,解決了卷積過(guò)程中特征的坐標(biāo)映射問(wèn)題,坐標(biāo)協(xié)同卷積與普通卷積的對(duì)比如圖7所示。
圖7中左側(cè)為普通卷積,右側(cè)為坐標(biāo)協(xié)同卷積,h、w、c分別表示輸入特征圖的高度、寬度和通道數(shù),h′、w′、c′分別表示輸出特征圖的高度、寬度和通道數(shù)。對(duì)于普通卷積,由于本身存在的缺陷,無(wú)法學(xué)習(xí)笛卡爾空間和像素空間之間的平滑函數(shù)來(lái)處理特征圖的位置信息。而坐標(biāo)協(xié)同卷積在此基礎(chǔ)上,引入i坐標(biāo)和j坐標(biāo)的通道,使卷積層具有坐標(biāo)映射能力。具體而言,i坐標(biāo)的通道是一個(gè)h×w矩陣,其第1行填充為0,第2行填充為1,第3行填充為2;并以此類(lèi)推,j坐標(biāo)的通道類(lèi)似,不同之處在于其列填充值為常數(shù)。對(duì)i和j坐標(biāo)值進(jìn)行線性縮放,控制數(shù)值位于[-1,1]區(qū)間,以i和j坐標(biāo)通道實(shí)現(xiàn)對(duì)像素位置的有效提取。坐標(biāo)協(xié)同卷積層可插入回歸網(wǎng)絡(luò)中,提升回歸網(wǎng)絡(luò)目標(biāo)定位能力。
3 實(shí)驗(yàn)結(jié)果與分析
3.1 實(shí)驗(yàn)設(shè)置
本文的整體基本框架為Faster R-CNN網(wǎng)絡(luò),并以在ImageNet上預(yù)訓(xùn)練的ResNet-101作為檢測(cè)器主干網(wǎng)絡(luò),在基類(lèi)訓(xùn)練過(guò)程中采用隨機(jī)梯度下降(stochastic gradient descent,SGD)優(yōu)化器對(duì)檢測(cè)模型訓(xùn)練進(jìn)行控制,初始學(xué)習(xí)率設(shè)置為0.02,動(dòng)量因子為0.9,權(quán)重衰減系數(shù)為0.000 1,單位輸入樣本數(shù)和單位線程效均設(shè)置為2,輸入PASCAL VOC數(shù)據(jù)集進(jìn)行訓(xùn)練。針對(duì)小樣本任務(wù),將相應(yīng)模塊參數(shù)凍結(jié),未凍結(jié)模塊參數(shù)初始化,初始學(xué)習(xí)率設(shè)為0.001。
3.2 實(shí)驗(yàn)條件
本文所有的實(shí)驗(yàn)均在Windows10服務(wù)器進(jìn)行,中央處理器為Intel Xeon 6184,圖形處理器為quadro GV100,內(nèi)存32 G,采用pytorch1.7平臺(tái)作為基礎(chǔ)框架搭建神經(jīng)網(wǎng)絡(luò),使用python語(yǔ)言進(jìn)行編程。基類(lèi)數(shù)據(jù)集為PASCAL VOC[9],整個(gè)數(shù)據(jù)集包含20個(gè)類(lèi)別,主要應(yīng)用于人體動(dòng)作識(shí)別、語(yǔ)義分割、目標(biāo)檢測(cè)、圖像識(shí)別等任務(wù)。小樣本訓(xùn)練和測(cè)試數(shù)據(jù)集為本文所構(gòu)建的空中平臺(tái)軍事小樣本數(shù)據(jù)集。
3.3 軍事類(lèi)空中目標(biāo)小樣本數(shù)據(jù)集
所構(gòu)建的軍事類(lèi)空中目標(biāo)小樣本數(shù)據(jù)集包含F(xiàn)35、Su57、J20、MQ9、RQ4、B2這6類(lèi)空中軍事目標(biāo),按照小樣本目標(biāo)檢測(cè)的原則,針對(duì)1、2、3、5、10樣本訓(xùn)練的要求,訓(xùn)練集從每類(lèi)中對(duì)應(yīng)提供1、2、3、5、10張照片,并另從每類(lèi)中提供10張照片組成驗(yàn)證集,輔助模型訓(xùn)練。為有效測(cè)試模型有效性,從各類(lèi)中提供5張圖片,共計(jì)30張圖片組成模型的測(cè)試集。然后,利用圖像標(biāo)記軟件 LabelImg 對(duì)訓(xùn)練集、驗(yàn)證集和測(cè)試集中的樣本數(shù)據(jù)進(jìn)行標(biāo)記,數(shù)據(jù)集標(biāo)簽格式與 PASCAL VOC 數(shù)據(jù)標(biāo)簽格式一致。
3.4 評(píng)價(jià)指標(biāo)
本文利用平均查準(zhǔn)率AP來(lái)評(píng)價(jià)單個(gè)目標(biāo)的檢測(cè)準(zhǔn)確率,AP從召回率Recall和精確度Precision兩個(gè)角度來(lái)評(píng)估模型的檢測(cè)效果,其中Recall是指結(jié)果中真實(shí)正樣本占全部正樣本的比例,公式如下所示:
Recall=TPTP+FN(13)
式中:TP為真陽(yáng)性,正確的結(jié)果預(yù)測(cè)為正;FN為假陰性,正確的結(jié)果預(yù)測(cè)為負(fù)。而Precision是指結(jié)果中真實(shí)正樣本占預(yù)測(cè)正樣本的比例,公式如下所示:
Precision=TPTP+FP(14)
式中:FP為假陽(yáng)性,錯(cuò)誤的結(jié)果預(yù)測(cè)為正。AP綜合召回率和精確度的結(jié)果,按照文獻(xiàn)[24]的計(jì)算方式計(jì)算,其中地面實(shí)況邊界框的交并比(intersection over union, IoU)閾值、置信度閾值分別設(shè)置為 0.5、0.001。所得AP值可有效地評(píng)價(jià)模型對(duì)單個(gè)目標(biāo)類(lèi)別的檢測(cè)性能。mAP表示對(duì)多個(gè)類(lèi)別的AP值取平均數(shù),用于評(píng)價(jià)模型對(duì)所有類(lèi)別的綜合檢測(cè)性能,定義如下:
mAP=∑niAPn(15)
式中:n代表類(lèi)別總數(shù),0lt;i≤n。通常情況下,AP和mAP值越高,模型的檢測(cè)性能越好,反之亦然。
3.5 軍事類(lèi)空中目標(biāo)檢測(cè)結(jié)果分析
本文中用到的檢測(cè)指標(biāo)統(tǒng)一為mAP50,是指檢測(cè)框IoU閾值從0.5到0.95的mAP值。用TFA/FCL[7]、TFA/余弦(TFA/Cosine, TFA/COS)[7]、注意力RPN (attention RPN, Attention RPN)[32]和本文算法對(duì)本文所構(gòu)建的軍事類(lèi)空中目標(biāo)小樣本數(shù)據(jù)集進(jìn)行檢測(cè),其檢測(cè)性能對(duì)比結(jié)果如表1所示。從表1中可以看出,本文提出的基于解耦的算法檢測(cè)效果最佳,在1、2、3、5、10樣本任務(wù)中的檢測(cè)精度均處于首位,相比次優(yōu)的算法分別高出4.7、6.2、10.5、1.8、3.1個(gè)百分點(diǎn)。特別是在3樣本任務(wù)中漲點(diǎn)明顯,說(shuō)明本文設(shè)計(jì)解耦算法有效緩解了由于樣本不足加劇的耦合矛盾。
表2是以10樣本任務(wù)為例,利用TFA/FCL、TFA/COS、Attention RPN和本文所提出的算法對(duì)6類(lèi)目標(biāo)檢測(cè)的結(jié)果。從表2中可以看出, TFA/FCL最差結(jié)果為F35目標(biāo)的檢測(cè)值12.3,TFA/COS最差結(jié)果為B2目標(biāo)的檢測(cè)值7.8,Attention RPN最差結(jié)果為F35目標(biāo)的檢測(cè)值9.8。而本文算法最差結(jié)果為F35目標(biāo)的檢測(cè)值18.1,比其他算法的最差結(jié)果次優(yōu)值提升5.8個(gè)百分點(diǎn),最好結(jié)果為Su57目標(biāo)的檢測(cè)值74.4,比其他算法的最好結(jié)果次優(yōu)值提升1.9個(gè)百分點(diǎn)。在6類(lèi)目標(biāo)的檢測(cè)結(jié)果中,本文算法檢測(cè)在3類(lèi)目標(biāo)中居于最優(yōu),3類(lèi)目標(biāo)居于次優(yōu),整體效果分布最為均勻,并在mAP上保持領(lǐng)先。
圖8為本文算法與Attention RPN和TFA/FCL的3種網(wǎng)絡(luò)模型可視化輸出結(jié)果對(duì)比。
3.6 軍事類(lèi)空中目標(biāo)的消融實(shí)驗(yàn)分析
為了分析基于解耦算法各改進(jìn)模塊對(duì)檢測(cè)效果的影響,在軍事類(lèi)空中目標(biāo)小樣本數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表3所示?;€模型在1、2、3、5、10樣本任務(wù)中mAP分別為25.6、29.4、27.4、37.1和44.2。改進(jìn)RPN篩選原則后,各樣本任務(wù)的mAP都有不同程度的上升,特別在3樣本處,上升了7.9個(gè)百分點(diǎn),說(shuō)明改進(jìn)RPN篩選原則增大了新類(lèi)通過(guò)率,提高了RPN對(duì)新類(lèi)的檢測(cè)性能。在改進(jìn)篩選原則的基礎(chǔ)上調(diào)整解凍范圍后,shot任務(wù)平均上漲1.8個(gè)百分點(diǎn),在10樣本任務(wù)上升最快,為6.3個(gè)百分點(diǎn),驗(yàn)證了RPN解凍范圍的調(diào)整,提升了RPN參數(shù)對(duì)新類(lèi)的敏感程度,增強(qiáng)了RPN的新類(lèi)檢測(cè)能力。加入PFAAM模塊后,各樣本任務(wù)的mAP繼續(xù)上升,最大上升處為10樣本任務(wù),上升1.8個(gè)百分點(diǎn),證明加入PFAAM模塊通過(guò)聚合通道信息和位置感知信息有效提升了因特征沖突問(wèn)題降低的檢測(cè)頭檢測(cè)精度。優(yōu)化檢測(cè)頭為DBN網(wǎng)絡(luò)后,樣本任務(wù)上升最快處在10樣本,上升4.8個(gè)百分點(diǎn),檢測(cè)精度最終達(dá)到54.2。說(shuō)明DBN網(wǎng)絡(luò)有效緩解了加劇的分類(lèi)回歸特征沖突,提高了檢測(cè)頭檢測(cè)能力。
表4為網(wǎng)絡(luò)模型在改進(jìn)RPN篩選原則,調(diào)整解凍范圍,加入PFAAM模塊和DBN網(wǎng)絡(luò)后進(jìn)行GAL超參選擇的實(shí)驗(yàn)結(jié)果對(duì)比。由表4可知,在1、2、3、5、10樣本任務(wù)中,調(diào)整因子設(shè)為0.5時(shí),檢測(cè)精度最佳,分別上升2、1.4、1.2、0.5和3.2個(gè)百分點(diǎn),這表明通過(guò)GAL的調(diào)整因子調(diào)節(jié),解決了因加劇的任務(wù)耦合導(dǎo)致的RPN與檢測(cè)網(wǎng)絡(luò)之間的分類(lèi)梯度損失不平衡問(wèn)題,提升了整體的檢測(cè)性能,使最終網(wǎng)絡(luò)模型在1、2、3、5、10樣本任務(wù)的mAP分別達(dá)到32.5、35.5、39.6、41.2和57.4。
3.7 PASCAL VOC數(shù)據(jù)集目標(biāo)檢測(cè)結(jié)果分析
用TFA/FCL、TFA/COS、Attention RPN和本文算法在PASCAL VOC數(shù)據(jù)集上進(jìn)行小樣本目標(biāo)檢測(cè),將其中20類(lèi)目標(biāo)中的bird、bus、cow、motorbike、 sofa這5類(lèi)作為新類(lèi),其他15類(lèi)作為基類(lèi),其檢測(cè)性能對(duì)比結(jié)果如表5所示。從表5可以看出,本文所提出的算法在1、2、3、5、10樣本任務(wù)中均取得最好的檢測(cè)結(jié)果,相比于次優(yōu)算法分別提高0.3、6.2、6.4、2.4、3個(gè)百分點(diǎn),在2樣本和3樣本任務(wù)中提點(diǎn)明顯,證明所提方法在通用數(shù)據(jù)集下具有很好的效果,在小樣本檢測(cè)任務(wù)下?lián)碛泻芎玫聂敯粜院头夯芰?。圖9為本文算法與Attention RPN和TFA/FCL的3種網(wǎng)絡(luò)模型可視化輸出結(jié)果對(duì)比。
4 結(jié) 論
本文提出的基于解耦的小樣本目標(biāo)檢測(cè)算法通過(guò)引入GAL,強(qiáng)化RPN解決任務(wù)耦合引發(fā)的RPN與檢測(cè)頭網(wǎng)絡(luò)分類(lèi)梯度損失不平衡、RPN自身檢測(cè)性能較低的問(wèn)題。針對(duì)特征耦合矛盾,在檢測(cè)頭前端插入無(wú)參注意力機(jī)制,并搭建DBN,緩和分類(lèi)回歸因小樣本激化的特征沖突。實(shí)驗(yàn)表明,本算法在各樣本實(shí)驗(yàn)中均表現(xiàn)最佳,在軍事類(lèi)空中數(shù)據(jù)集和PASCAL VOC數(shù)據(jù)集中較TFA/FCL算法檢測(cè)精度平均提升8.5和4.5個(gè)百分點(diǎn),提高了小樣本條件下對(duì)高價(jià)值空中目標(biāo)的檢測(cè)精度,對(duì)于軍事偵察、重點(diǎn)目標(biāo)防護(hù)具有重要的意義。
參考文獻(xiàn)
[1] 杜蕓彥, 李鴻, 楊錦輝, 等. 基于負(fù)邊距損失的小樣本目標(biāo)檢測(cè)[J]. 計(jì)算機(jī)應(yīng)用, 2022, 42(11): 3617-3624.
DU Y Y, LI H, YANG J H, et al. Few shot target detection based on negative margin loss[J]. Computer Applications, 2022, 42(11): 3617-3624.
[2] KAUL P, XIE W D, ZISSERMAN A. Label, verify, correct: a simple few shot object detection method[C]∥Proc.of the IEEE Conference on Computer Vision and Pattern Recognition, 2022: 14237-14247.
[3] YIN L, PEREZ-RUA J M, LIANG K J. Sylph: a hypernetwork framework for incremental few-shot object detection[C]∥Proc.of the IEEE Conference on Computer Vision and Pattern Recognition, 2022: 9035-9045.
[4] ZHANG S, WANG L, MURRAY N, et al. Kernelized few-shot object detection with efficient integral aggregation[C]∥Proc.of the IEEE Conference on Computer Vision and Pattern Recognition, 2022: 19207-19216.
[5] CHEN T I, LIU Y C, SU H T, et al. Dual-awareness attention for few-shot object detection[J]. IEEE Trans.on Multimedia, 2023, 25(1), 291-301.
[6] FAN Z B, MA Y C, LI Z M, et al. Generalizedfew-shot object detection without forgetting[C]∥Proc.of the IEEE Conference on Computer Vision and Pattern Recognition, 2021: 4527-4536.
[7] 徐鵬幫, 桑基韜, 路冬媛. 類(lèi)別語(yǔ)義相似性監(jiān)督的小樣本圖像識(shí)別[J]. 中國(guó)圖象圖形學(xué)報(bào), 2021, 26(7): 1594-1603.
XU P B, SANG J T, LU D Y. Few shot image recognition for category semantic similarity monitoring[J]. Chinese Journal of Image Graphics, 2021, 26(7): 1594-1603.
[8] 張振偉, 郝建國(guó), 黃健, 等.小樣本圖像目標(biāo)檢測(cè)研究綜述[J]. 計(jì)算機(jī)工程與應(yīng)用, 2022, 58(5): 1-11.
ZHANG Z W, HAO J G, HUANG J, et al. Summary of research on target detection in small sample images[J]. Computer Engineering and Applications, 2022, 58(5): 1-11.
[9] SUN B, LI B H, CAI S C, et al. Few-shot object detection via contrastive proposal encoding[C]∥Proc.of the IEEE Conference on Computer Vision and Pattern Recognition, 2021: 7352-7362.
[10] WU A M, HAN Y H, ZHU L C, et al. Universal-prototype enhancing for few-shot object detection[C]∥Proc.of the International Conference on Computer Vision, 2021: 9567-9576.
[11] LI X, ZHANG L, CHEN Y P, et al. One-shot object detection without fine-tuning[EB/OL]. [2023-03-16]. http:∥arxiv.org/abs/2005.03819.
[12] HSIEH T I, LO Y C, CHEN H T, et al. One-shot object detection with co-attentionand co-excitation[EB/OL]. [2023-03-16]. http:∥arxiv.org/abs/1911.12529.
[13] WANG X, HUANG T E, DARRELL T, et al. Frustratingly simple few shot object detection[C]∥Proc.of the 37th International Conference on Machine Learning, 2020: 9919-9928.
[14] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]∥Proc.of the IEEE Conference on Computer Vision and Pattern Recognition, 2014: 580-587.
[15] GIRSHICK R. Fast R-CNN[C]∥Proc.of the IEEE International Conference on Computer Vision, 2015: 1440-1448.
[16] REN S, HE K, GIRSHICK R, et al. Faster RCNN: towards real-time object detection with region proposal networks[J]. IEEE Trans.on Pattern Analysis amp; Machine Intelligence, 2017, 39(6): 1137-1149.
[17] 范加利, 田少兵, 黃葵, 等. 基于Faster R-CNN的航母艦面多尺度目標(biāo)檢測(cè)算法[J]. 系統(tǒng)工程與電子技術(shù), 2022, 44(1): 40-46.
FAN J L, TIAN S B, HUANG K, et al. Multiscale target detection algorithm for aircraft carrier surface based on Fast R-CNN[J]. Systems Engineering and Electronics, 2022, 44(1): 40-46.
[18] 張大恒, 張英俊, 張闖. 基Faster R-CNN的電子海圖和雷達(dá)圖像的數(shù)據(jù)融合[J]. 系統(tǒng)工程與電子技術(shù), 2020, 42(6): 1267-1273.
ZHANG D H, ZHANG Y J, ZHANG C. Data fusion of electronic charts and radar images based on fast R-CNN[J]. Systems Engineering and Electronics, 2020, 42(6): 1267-1273.
[19] JIANG X H, CAI W, YANG Z Y, et al. A lightweight multiscale infrared aerocraft recognition algorithm[J]. Arabian Journal for Science and Engineering, 2022, 47(2): 2289-2303.
[20] JIANG X H, CAI W, DING Y, et al. Camouflaged object detection based on ternary cascade perception[J]. Remote Sensing, 2023, 15(5): 1188.
[21] REDMIN J, DIVALAS, GIRSICK R, et al.You can only watch it once: unified real time object detection[C]∥Proc.of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 777-7888.
[22] REDMON J, FARHADI A. YOLO9000: better, faster, stronger[C]∥Proc.of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 7263-7271.
[23] REDMON J, FARHADI A. YOLOv3: an incremental improve-ment[EB/OL]. [2023-03-16]. http:∥arxiv.org/abs/1804.02767.
[24] ALEXEY B, WANG C Y, HONG Y. Yolov4: optimal speed and accuracy of object detection[EB/OL]. [2023-03-16]. http:∥arxiv.org/abs/2004.10934.
[25] LIU W, ANGUELOV D, ERHAN D, et al. SSD: single shot multibox detector[C]∥Proc.of the European Conference on Computer Vision, 2016: 21-37.
[26] FU C Y, LIU W, RANGA A, et al. DSSD: deconvolutional single shot detector[EB/OL]. [2023-03-16]. http:∥arxiv.org/abs/1701.06659.
[27] XIE S N, GIRSHICK R, DOLLAR P, et al. Aggregated resi-dual transformations for deep neural networks[C]∥Proc.of the IEEE International Conference on Computer Vision and Pattern Recognition, 2017: 1492-1500.
[28] FINN C, ABBEEL P, LEVINE S. Model-agnostic meta-learning for fast adaptation of deep network[EB/OL]. [2023-03-16]. http:∥arxiv.org/abs/1703.03400.
[29] JAMAL M A, QI G J. Task agnostic meta-learning for few-shot learning[C]∥Proc.of the IEEE Conference on Computer Vision and Pattern Recognition, 2019: 11719-11727.
[30] KARLINSKY L, SHTOK J, HARARY S, et al. RepMet: representative based metric learning for classification and few-shot object detection[C]∥Proc.of the IEEE Conference on Computer Vision and Pattern Recognition, 2019: 5197-5206.
[31] WANG P, LIU L U, SHEN C H, et al. Multiple-attention networks for one learning[C]∥Proc.of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 2721-2729.
[32] TIAN Y L, WANG Y L, KRISHNAN D, et al. Rethinking few-shot image classification: agood embedding is all you need?[C]∥Proc.of the European Conference on Computer Vision, 2020: 266-282.
[33] SUN Q R, LIU Y Y, CHUA T S, et al. Metatransfer learning for few-shot learning[C]∥Proc.of the IEEE Conference on Computer Vision and Pattern Recognition, 2019: 403-412.
[34] LIU Y Y, SUN Q R, LIU A A, et al. LCC: learning to customize and combine neural networks for few-shot Learning[EB/OL]. [2023-03-16]. http:∥arxiv.org/abs/1904.08479.
[35] KANG B Y, LIU Z, WANG X, et al. Few shot object detection via feature reweighting[C]∥Proc.of the IEEE International Conference on Computer Vision, 2019: 8420-8429.
[36] XIAO Y, LETEPIT V, MARLET R. Few-shot object detection and viewpoint estimation for objectsin the wild[C]∥Proc.of the European Conference on Computer Vision, 2020: 192-210.
[37] YAN X P, CHEN Z L, XU A N, et al. Meta R-CNN: towards general solver for instancelevel low-shot learning[C]∥Proc.of the IEEE International Conference on Computer Vision, 2019: 9577-9586.
[38] FAN Q, ZHUO W, TANG C K, et al. Few shot object detection with attention RPN and multi-relation detector[C]∥Proc.of the IEEE Conference on Computer Vision and Pattern Recogni-tion, 2020: 4013-4022.
[39] WU J X, LIU S T, HUANG D, et al. Multi scale positive sample refinement for fewshot object detection[C]∥Proc.of the European Conference on Computer Vision, 2020: 456-472.
[40] KHANDELWAL S, GOYAL R, SIGAl L. Unified knowledge transfer for any shot object detection and segmentation[C]∥Proc.of the IEEE Conference on Computer Vision and Pattern Recognition, 2021: 5951-5961.
[41] ZHANG W L, WANG Y X, FORSYTH D A.Cooperating RPN’s improve few-shot object detection[EB/OL]. [2023-03-16]. http:∥arxiv.org/abs/2011.10142.
作者簡(jiǎn)介
蔡 偉(1974—),男,教授,博士研究生導(dǎo)師,博士,主要研究方向?yàn)槎ㄎ欢ㄏ蚺c光電防護(hù)。
王 鑫(1999—),男,碩士研究生,主要研究方向?yàn)橛?jì)算機(jī)視覺(jué)、小樣本目標(biāo)檢測(cè)。
蔣昕昊(1997—),男,博士研究生,主要研究方向?yàn)橛?jì)算機(jī)視覺(jué)、目標(biāo)檢測(cè)。
楊志勇(1983—),男,副教授,博士研究生導(dǎo)師,博士,主要研究方向?yàn)槎ㄎ欢ㄏ蚺c光電防護(hù)。
陳 棟(1993—),男,碩士研究生,主要研究方向?yàn)槎ㄎ欢ㄏ蚺c光電防護(hù)。