小樣本目標(biāo)檢測的研究現(xiàn)狀

潘興甲 張旭龍 董未名 姚寒星 徐常勝

摘要 近年來，隨著深度學(xué)習(xí)技術(shù)的進(jìn)步與推廣，目標(biāo)檢測領(lǐng)域得到快速發(fā)展.但目前基于深度學(xué)習(xí)的方法大多對大規(guī)模標(biāo)注數(shù)據(jù)有著極高的需求，而現(xiàn)實場景中大量標(biāo)注數(shù)據(jù)往往不可能.因此，基于少量標(biāo)注樣本的目標(biāo)檢測領(lǐng)域逐漸得到大家關(guān)注.本文系統(tǒng)地總結(jié)與分析了目前有關(guān)小樣本目標(biāo)檢測的方法，指出了目前方法的缺陷，并提出了一些可能的發(fā)展方向.

關(guān)鍵詞 小樣本學(xué)習(xí);深度學(xué)習(xí);目標(biāo)檢測

中圖分類號TP181

文獻(xiàn)標(biāo)志碼A

0 引言

目標(biāo)檢測是計算機(jī)視覺的基礎(chǔ)任務(wù)之一，主要任務(wù)是對圖像中的目標(biāo)進(jìn)行分類和定位.早在20世紀(jì)60年代，目標(biāo)檢測技術(shù)已經(jīng)被一些學(xué)者所關(guān)注，當(dāng)時的研究方法主要基于幾何學(xué)原理以及低層次的圖像特征，諸如紋理、色彩等.近年來隨著高性能并行計算技術(shù)的逐漸成熟以及大數(shù)據(jù)的積累，基于深度學(xué)習(xí)方法的目標(biāo)檢測技術(shù)開始涌現(xiàn)且迅速取代傳統(tǒng)方法，有很多成熟的算法已經(jīng)部署到實際場景中.目前較為成熟的方法大多借助于大規(guī)模的標(biāo)注數(shù)據(jù)，導(dǎo)致應(yīng)用場景單一、覆蓋任務(wù)單一等.在絕大部分的應(yīng)用場景中，收集滿足要求的標(biāo)注數(shù)據(jù)是一件十分耗費財力物力的工作，這極大限制了現(xiàn)有目標(biāo)檢測方法的落地應(yīng)用與推廣.基于此，應(yīng)用較少標(biāo)注數(shù)據(jù)的半監(jiān)督方法與利用不完全匹配的標(biāo)注數(shù)據(jù)的弱監(jiān)督方法逐漸得到學(xué)者們的關(guān)注.更進(jìn)一步，如何利用極少的標(biāo)注數(shù)據(jù)學(xué)習(xí)具有一定泛化能力的模型是更加迫切需要研究的問題.

人類具有只看過一次或極少次某物體便可以永久記得的能力，即使是只有幾歲的小孩子.基于深度學(xué)習(xí)的機(jī)器學(xué)習(xí)方法大多借鑒人類大腦的工作機(jī)制，尤其是卷積神經(jīng)網(wǎng)絡(luò).面對同樣的場景，小樣本學(xué)習(xí)即研究如何利用極少標(biāo)注樣本進(jìn)行有效的學(xué)習(xí).近年來，小樣本學(xué)習(xí)在圖像分類領(lǐng)域取得了一些不錯的成果，但小樣本目標(biāo)檢測領(lǐng)域則鮮有研究.目標(biāo)檢測主要包含分類與回歸兩個任務(wù)，基于小樣本的回歸任務(wù)是極具挑戰(zhàn)性的問題.本文首先系統(tǒng)地介紹小樣本學(xué)習(xí)的方法，之后介紹小樣本目標(biāo)檢測的研究進(jìn)展，最后對已有的方法進(jìn)行總結(jié)并提出了可能的研究方向.

1 小樣本目標(biāo)檢測概念

1.1 小樣本學(xué)習(xí)

深度學(xué)習(xí)目前廣泛應(yīng)用于圖像識別、自然語言處理、視頻分析等各個領(lǐng)域，并且取得了極大的成功，是典型的數(shù)據(jù)驅(qū)動類型技術(shù).但實際應(yīng)用場景中，由于標(biāo)注數(shù)據(jù)的匱乏，簡單而直接地應(yīng)用深度學(xué)習(xí)技術(shù)往往不能取得很好的效果.小樣本學(xué)習(xí)以此為出發(fā)點，利用少量標(biāo)注數(shù)據(jù)，通過學(xué)習(xí)不同子任務(wù)中的共性，提高模型泛化性能，進(jìn)而滿足實際需求.小樣本學(xué)習(xí)是元學(xué)習(xí)在監(jiān)督學(xué)習(xí)領(lǐng)域的特例.目前方法大致分為4種：基于度量學(xué)習(xí)的、基于元學(xué)習(xí)的、基于數(shù)據(jù)增強的以及基于多模態(tài)的方法.

1.2 小樣本目標(biāo)檢測

一般的目標(biāo)檢測方法通常借助大量標(biāo)注數(shù)據(jù)獲得具有一定泛化性能的模型并在新數(shù)據(jù)中得以應(yīng)用.例如被廣泛應(yīng)用的OpenImages[1]、ImageNet[2]、MSCOCO[3]等數(shù)據(jù)集.而小樣本目標(biāo)檢測面向的場景中通常包含大量的無標(biāo)注數(shù)據(jù)與極少的標(biāo)注數(shù)據(jù).如圖1所示，基于包含充足標(biāo)注數(shù)據(jù)的基類，模型試圖學(xué)習(xí)一定的泛化性能，并僅靠極少標(biāo)注數(shù)據(jù)在新類上進(jìn)行檢測.融合傳統(tǒng)的目標(biāo)檢測與小樣本學(xué)習(xí)方法，通過巧妙的訓(xùn)練方法設(shè)計、模型結(jié)構(gòu)設(shè)計與損失函數(shù)設(shè)計，引導(dǎo)模型在極少量標(biāo)注數(shù)據(jù)中學(xué)習(xí)具有一定泛化性能的檢測模型.

2 小樣本目標(biāo)檢測方法

2.1 小樣本學(xué)習(xí)介紹

小樣本學(xué)習(xí)是元學(xué)習(xí)在監(jiān)督領(lǐng)域的應(yīng)用.在元訓(xùn)練階段，通過組合不同的訓(xùn)練集構(gòu)成不同的元任務(wù)，模型得以學(xué)習(xí)獨立于任務(wù)的泛化能力.在元測試階段，面對全新的類別或者任務(wù)，不需要重新訓(xùn)練或者少量的快速訓(xùn)練即可完成識別任務(wù).形式化地說，在元訓(xùn)練階段，首先從訓(xùn)練集中隨機(jī)抽取C個類別，每個類別包含K個樣本，構(gòu)成模型的支撐集，即為一個元任務(wù).同時挑選少量圖片作為測試集.目的為使得模型從C×K個數(shù)據(jù)中學(xué)會識別C個類別，此任務(wù)即為C-way K-shot問題.圖2展示了5-way 1-shot的小樣本學(xué)習(xí)實例.小樣本學(xué)習(xí)中K值很?。ㄍǔ<10），當(dāng)K=1時，稱為單樣本學(xué)習(xí).小樣本學(xué)習(xí)按照解決方案大致可分為4類：基于度量學(xué)習(xí)的方法、基于元學(xué)習(xí)的方法、基于數(shù)據(jù)增強的方法以及基于多模態(tài)的方法.圖3所示展示了對應(yīng)4種方法的典型網(wǎng)絡(luò)結(jié)構(gòu).

1）基于度量學(xué)習(xí)的方法

此類方法從改善框架角度入手.由于模型中包含數(shù)以萬計的參數(shù)，直接按照普通的分類器基于交叉熵的方式去學(xué)習(xí)，最終結(jié)果不可避免地會遭遇過擬合問題.因此，基于度量學(xué)習(xí)的方法通過對樣本間距離進(jìn)行建模，借鑒傳統(tǒng)非參數(shù)化的方法，使得同類目標(biāo)距離相近、異類目標(biāo)趨遠(yuǎn).孿生網(wǎng)絡(luò)[4]包含權(quán)值共享的兩個分支，在模型的頂部輸出兩個樣本屬于同一類別的概率.在測試階段，模型輸出測試樣本與支撐集所有的樣本屬于同一類別的概率，取最高概率所屬類別為最終結(jié)果.相比于孿生網(wǎng)絡(luò)，匹配網(wǎng)絡(luò)[5]中支撐集和查詢圖像采用不同的特征提取器，分類結(jié)果由查詢圖像與支撐集所有樣本預(yù)測值的加權(quán)和得到.文獻(xiàn)[5]主要有兩處改進(jìn)：在建模過程中，提出了基于記憶與注意力機(jī)制的匹配網(wǎng)絡(luò)，加快學(xué)習(xí);在訓(xùn)練過程中，提出訓(xùn)練和測試需在同樣條件下進(jìn)行，即在訓(xùn)練階段保證網(wǎng)絡(luò)只能看到每一類的少量樣本.另外，文獻(xiàn)[5]采用LSTM（長短時記憶網(wǎng)絡(luò)）使得所有圖像得以交互，即完全上下文嵌入.為解決分類過程需比較查詢圖像與支撐集中所有樣本效率較低的問題，原型網(wǎng)絡(luò)[6]提出每個類別都存在一個原型表達(dá)，某類的原型表達(dá)是支撐集在嵌入空間中的均值.因此，分類問題退化為比較嵌入空間中測試樣本與各類原型的距離問題.更進(jìn)一步，之前的方法大多采用簡單且固定的距離度量方式，而Suang等[7]認(rèn)為距離度量本身也是一個值得學(xué)習(xí)的問題，因此提出對距離度量進(jìn)行建模的關(guān)系網(wǎng)絡(luò).網(wǎng)絡(luò)主要包含2個模塊，即編碼模塊與關(guān)系模塊.通過關(guān)系模塊在嵌入空間對距離度量進(jìn)行學(xué)習(xí)，進(jìn)而提升分類效果.最近的，Garcia等[8]和Kim等[9]通過圖神經(jīng)網(wǎng)絡(luò)進(jìn)行端到端地學(xué)習(xí)樣本在特征空間的關(guān)系，利用圖卷積操作更新樣本特征及樣本關(guān)系，取得了不錯的效果.

2）基于元學(xué)習(xí)的方法

Santoro等[10]提出記憶增強網(wǎng)絡(luò)解決小樣本學(xué)習(xí)任務(wù).該文借鑒神經(jīng)圖靈機(jī)可以快速編碼及檢索新信息的思路，首先證明記憶增強網(wǎng)絡(luò)可以迅速吸收新數(shù)據(jù)，并且利用少量數(shù)據(jù)即可做出精確的預(yù)測.另外，文獻(xiàn)[10]提出一種新的專注于存儲內(nèi)容的外部存儲索引的方法.具體的，文章基于LSTM等RNN（遞歸神經(jīng)網(wǎng)絡(luò)）序列模型，將數(shù)據(jù)看作序列進(jìn)行訓(xùn)練.測試時，輸入新類別樣本進(jìn)行驗證.Munkhdalai等[11]提出元網(wǎng)絡(luò)，學(xué)習(xí)不同元任務(wù)中的元知識并通過快速參數(shù)化調(diào)整模型的推理偏置進(jìn)而達(dá)到快速泛化的目的.模型包含兩個主要的學(xué)習(xí)模塊：元學(xué)習(xí)器旨在快速學(xué)習(xí)元任務(wù)之間的泛化信息，基學(xué)習(xí)器則是面向特定的任務(wù).生成的快速權(quán)重要同時集成到元學(xué)習(xí)器與基學(xué)習(xí)器中以調(diào)整學(xué)習(xí)器的歸納偏置.Jamal等[12]通過添加一個正則化項提出任務(wù)不可知的元學(xué)習(xí)器，使得模型在不同任務(wù)間的差距更小.Sun等[13]提出元遷移學(xué)習(xí)，主要包含兩個部分，首先對預(yù)訓(xùn)練的模型進(jìn)行調(diào)優(yōu)，只學(xué)習(xí)每一層的放縮和偏置，之后進(jìn)行困難任務(wù)挖掘.另外，一些研究者認(rèn)為基于梯度優(yōu)化的一系列優(yōu)化方法并不能勝任小樣本學(xué)習(xí)的任務(wù).Ravi等[14]通過研究認(rèn)為基于梯度的優(yōu)化算法失敗的原因在于：一是梯度優(yōu)化算法大多無法在幾步之內(nèi)完成優(yōu)化，特別是非凸問題，多種超參的選取降低了收斂速度;二是不同任務(wù)分別隨機(jī)初始化會影響最終的收斂結(jié)果.該文提出學(xué)習(xí)模型參數(shù)的更新規(guī)則，而非參數(shù).具體地，文中采用LSTM作為元學(xué)習(xí)器學(xué)習(xí)梯度下降的參數(shù)更新規(guī)則，目的是學(xué)會在新的類別上對分類器進(jìn)行參數(shù)初始化與更新.與之不同，F(xiàn)inn等[15]提出模型無關(guān)的元學(xué)習(xí)方法，直接優(yōu)化初始化，使得基于此初始化能采用小樣本數(shù)據(jù)進(jìn)行快速高效的收斂.該方法沒有對模型形式做任何假設(shè)，且十分高效.

3）基于數(shù)據(jù)增強的方法

在數(shù)據(jù)量不充足的情況下，進(jìn)行數(shù)據(jù)增強是最樸素直接的方法.Alfassy等[16]通過在特征空間對輸入特征對進(jìn)行不同方式組合（求交、求并、做減）以產(chǎn)生更加豐富的特征樣本.對抗生成網(wǎng)絡(luò)是很好的數(shù)據(jù)增強工具，但同樣需要大量的標(biāo)注樣本.Zhang等[17]利用預(yù)訓(xùn)練好的顯著性圖網(wǎng)絡(luò)提取樣本的前景與背景信息，之后分別經(jīng)過獨立的編碼器，在特征空間通過融合網(wǎng)絡(luò)進(jìn)行重組，生成包含更多新生概念的樣本.Chu等[18]考慮人在觀察圖像時隨著視覺軌跡的變化，視線關(guān)注的區(qū)域同時在變化.文中通過強化學(xué)習(xí)模型預(yù)測軌跡，分別提取對應(yīng)區(qū)域，再通過RNN序列模型聚合不同區(qū)域的特征得到分類結(jié)果，其本質(zhì)上是通過提取區(qū)域特征對圖像樣本進(jìn)行了數(shù)據(jù)擴(kuò)充.Chen等[19]首先提出不同程度的圖像變形雖然會使得圖像看上去不再真實，但對于分類問題仍然可以提供關(guān)鍵的語義信息.基于此，文獻(xiàn)[9]提出包含圖像變形子網(wǎng)絡(luò)的元學(xué)習(xí)器，該學(xué)習(xí)器類似于mixup[20]的功能，可用于擴(kuò)充原始少量樣本.

4）基于多模態(tài)的方法

在少量樣本情況下引入其他模態(tài)信息進(jìn)行融合同樣是直觀可行的.Schwartz等[21]提出對齊變分自編碼器，模型包含兩個分支，分別對圖像與語義信息進(jìn)行編碼，通過多模態(tài)信息互助提高重建特征效果.Schonfeld等[22]同樣引入類別的語言描述，借助多模態(tài)信息提高性能.Wang等[23]引入標(biāo)簽語義信息，通過嵌入損失迫使語義嵌入與視覺嵌入對齊，對于補充視覺特征的豐富性有很大幫助.Li等[24]引入標(biāo)簽語義信息，編碼后以無監(jiān)督的方式構(gòu)建類別層次結(jié)構(gòu)，這種層次分類的結(jié)構(gòu)對于模型在未見過類的分類表現(xiàn)上更好.

2.2 小樣本目標(biāo)檢測方法介紹

小樣本目標(biāo)檢測是小樣本學(xué)習(xí)方法在目標(biāo)檢測任務(wù)上的應(yīng)用，旨在通過極少的標(biāo)注樣本學(xué)習(xí)具有較好檢測性能的模型.小樣本目標(biāo)檢測應(yīng)用的數(shù)據(jù)通常包含具有豐富標(biāo)注數(shù)據(jù)的源數(shù)據(jù)和標(biāo)注數(shù)據(jù)極少的目標(biāo)數(shù)據(jù).小樣本目標(biāo)檢測方法目前主要基于經(jīng)典成熟的傳統(tǒng)目標(biāo)檢測方法如SSD[25]、YOLO[26]、 Faster-RCNN等[27]，借鑒小樣本學(xué)習(xí)的算法框架，構(gòu)建針對目標(biāo)檢測的小樣本解決方案.現(xiàn)有的小樣本目標(biāo)檢測方法主要可以分成3類：基于微調(diào)的方法、基于模型結(jié)構(gòu)的方法以及基于度量學(xué)習(xí)的方法.圖4展示了對應(yīng)3種小樣本目標(biāo)檢測方法的典型結(jié)構(gòu).

1）基于微調(diào)的方法

實際場景中對于特定的目標(biāo)檢測任務(wù)，獲取大規(guī)模的帶有完整標(biāo)注的數(shù)據(jù)集十分困難.在小樣本學(xué)習(xí)領(lǐng)域，基于微調(diào)的遷移學(xué)習(xí)方法取得了較好的效果[28-29].Chen等[30]提出了LSTD的模型，該模型整合SSD與Faster-RCNN，保留多尺度檢測與兩階段檢測框架.首先在包含大量標(biāo)注數(shù)據(jù)的源域數(shù)據(jù)集上學(xué)習(xí)源域模型，并用該模型參數(shù)初始化目標(biāo)域模型，之后在小規(guī)模數(shù)據(jù)上進(jìn)行微調(diào).簡單的微調(diào)可能會忽略源域和目標(biāo)域的重要目標(biāo)知識，降低可傳遞性，為此文章中提出背景抑制正則化與知識遷移正則化，使LSTD在遷移學(xué)習(xí)過程中能夠聚焦于前景目標(biāo)，減少背景干擾.Singh等[31]同樣采用微調(diào)的方法，借助LSTD模型通過在目標(biāo)域微調(diào)預(yù)訓(xùn)練的模型得到檢測結(jié)果.文獻(xiàn)[31]首先通過目標(biāo)檢測網(wǎng)絡(luò)對前景區(qū)域進(jìn)行提取，之后借助紋理特征等訓(xùn)練更為精準(zhǔn)的分類器.同樣，他們還采用文獻(xiàn)[30]提出的正則化技術(shù)，提高遷移學(xué)習(xí)過程中的泛化性能.

2）基于模型的方法

一些研究者試圖構(gòu)建新的目標(biāo)檢測模型來解決小樣本目標(biāo)檢測問題.Fan等[32]研究發(fā)現(xiàn)檢測未見過的類時，一般方法可能會完全錯過目標(biāo)或在背景上產(chǎn)生大量誤檢，認(rèn)為可能是由于候選框分類置信度偏低所致.文章在區(qū)域候選框網(wǎng)絡(luò)中引入注意力機(jī)制，融合查詢圖像與支撐集圖像的特征，向區(qū)域候選框網(wǎng)絡(luò)中引入支撐集數(shù)據(jù)信息，以指導(dǎo)網(wǎng)絡(luò)生成更多與查詢圖像相關(guān)的候選框并抑制無關(guān)的候選框.得到候選框后，在網(wǎng)絡(luò)頂層檢測器部分，模型中包含3條支路，每條支路均含有注意力模塊.3條支路從局部、全局、互相關(guān)3個方面學(xué)習(xí)分別來自查詢圖像與支撐集的候選框的關(guān)系.最終的檢測結(jié)果由3條支路共同作用得到.Dong等[33]提出通過模型互通交替優(yōu)化的思路解決小樣本目標(biāo)檢測的方法.該方法整合自主學(xué)習(xí)和多模型學(xué)習(xí)，提出多模型自主學(xué)習(xí)檢測器.首先基于少量簡單樣本訓(xùn)練得到模型，再由現(xiàn)有模型得到可信賴并且更難的樣本，再進(jìn)一步提升模型性能，如此循環(huán)往復(fù).具體地，他們采用R-FCN[34]作為檢測器，基于少量樣本得到初始模型，之后由初始模型為數(shù)據(jù)集產(chǎn)生偽標(biāo)簽，再借助更新后的數(shù)據(jù)集訓(xùn)練模型.隨著自主學(xué)習(xí)的逐步深入，模型生成的樣本逐漸變難，模型也變得更加魯棒.由于數(shù)據(jù)集中各類標(biāo)注數(shù)據(jù)極少，簡單的自主學(xué)習(xí)極易陷入局部最小值.文獻(xiàn)[33]考慮多模型檢測結(jié)果互補，將多模型學(xué)習(xí)整合到自主學(xué)習(xí)過程中，不同的模型通過設(shè)計正則項相互通信，進(jìn)一步提高了所選訓(xùn)練樣本的質(zhì)量.同時由于多個模型之間的知識互補，有效提高了模型的精度和召回率.

3）基于度量學(xué)習(xí)的方法

基于度量學(xué)習(xí)的小樣本學(xué)習(xí)方法在圖像識別任務(wù)中表現(xiàn)良好.一些研究者借鑒經(jīng)典度量學(xué)習(xí)的思路解決目標(biāo)檢測問題同樣取得了不錯的效果.Zhang等[35]提出單樣本條件目標(biāo)檢測框架，名為比較網(wǎng)絡(luò).首先使用孿生網(wǎng)絡(luò)分別提取查詢圖像和目標(biāo)圖像的特征作為邊際概率在特征空間的度量.之后，引入包含可學(xué)習(xí)度量模塊的兩階段檢測器用于比較查詢與目標(biāo)圖像特征進(jìn)而得到檢測結(jié)果.檢測器包含條件候選區(qū)域網(wǎng)絡(luò)和條件分類網(wǎng)絡(luò)，兩者均基于可學(xué)習(xí)度量模塊獲得條件概率估計.Karlinsky[36]提出一種新的針對距離度量學(xué)習(xí)的方法，可以同時學(xué)習(xí)軀干網(wǎng)絡(luò)參數(shù)、空間嵌入以及各類訓(xùn)練數(shù)據(jù)在該空間的多模態(tài)分布.基于此，他們提出一個子網(wǎng)絡(luò)結(jié)構(gòu)，并分別應(yīng)用到小樣本目標(biāo)檢測與小樣本圖像分類任務(wù)中，均取得了良好的效果.Kang等[37]研究發(fā)現(xiàn)在具有豐富標(biāo)注數(shù)據(jù)的基本類上訓(xùn)練目標(biāo)檢測模型時，模型可在網(wǎng)絡(luò)頂層學(xué)習(xí)特定于某些目標(biāo)屬性的中間特征.這些特征能夠隱式地組成只有極少數(shù)據(jù)的新類的高級表示.基于此，他們提出了能夠從基礎(chǔ)類別調(diào)整中間特征并相應(yīng)地檢測新類別目標(biāo)的模型.模型由基本檢測模型和元模型組成.基礎(chǔ)檢測模型在基本類上進(jìn)行訓(xùn)練用于提供基礎(chǔ)特征，元模型學(xué)習(xí)基礎(chǔ)特征用于輸入圖像的重要權(quán)重系數(shù)，進(jìn)而通過調(diào)整基礎(chǔ)特征重要程度幫助模型在小樣本上進(jìn)行檢測.

3 目前小樣本目標(biāo)檢測存在的問題

小樣本目標(biāo)檢測作為極具現(xiàn)實意義的研究領(lǐng)域逐漸受到學(xué)術(shù)界與工業(yè)界的關(guān)注.但該領(lǐng)域的工作仍然較少，具有極大的發(fā)展空間.目前小樣本目標(biāo)檢測主要存在以下幾方面的問題.首先目前已有的工作大部分借助傳統(tǒng)目標(biāo)檢測領(lǐng)域經(jīng)典成熟的方法，如SSD、Faster-RCNN，采用兩階段的方式完成檢測，使得模型部署后推理速度緩慢，大多不能滿足實時要求.其次，基于候選框的檢測方法雖然有效，但同時增加了模型結(jié)構(gòu)的復(fù)雜度，導(dǎo)致在模型部署階段對設(shè)備內(nèi)存有了更高的需求.再者，現(xiàn)有方法的泛化性能差強人意，雖滿足未見類別的設(shè)定，但是相近類別效果明顯更優(yōu)，隨著小樣本類別的增加，效果下降明顯.另外，現(xiàn)有的方法大多是小樣本學(xué)習(xí)與傳統(tǒng)目標(biāo)檢測的簡單融合，期待未來能有更加優(yōu)秀的解決方案.最后，該領(lǐng)域仍未出現(xiàn)權(quán)威且普適的評測手段及評測標(biāo)準(zhǔn).公平統(tǒng)一的驗證結(jié)果有助于研究工作的比對與進(jìn)步.

4 總結(jié)

通過分析現(xiàn)有的小樣本目標(biāo)檢測方法，發(fā)現(xiàn)源知識到目標(biāo)知識的遷移泛化、目標(biāo)候選區(qū)域的提取、目標(biāo)的分類與定位是小樣本目標(biāo)檢測的關(guān)鍵.遷移學(xué)習(xí)中的正則化設(shè)置能夠有效防止模型陷入過擬合，更好地進(jìn)行知識遷移.借鑒注意力機(jī)制和采用多階段檢測方法，往往可以得到更準(zhǔn)確的候選區(qū)域結(jié)果.借鑒度量學(xué)習(xí)的方法，在小樣本目標(biāo)檢測中對于目標(biāo)的精確分類有很大幫助.在未來的小樣本目標(biāo)檢測研究中，可以嘗試更多的元學(xué)習(xí)的方法，提高模型在多重任務(wù)多重場景下的泛化能力.

參考文獻(xiàn)

References

[1]Kuznetsova A，Rom H，Alldrin N，et al.The open images dataset v4：unified image classification，object detection，and visual relationship detection at scale[J].arXiv Preprint，2018，arXiv：1811.00982

[2]Russakovsky O，Deng J，Su H，et al.ImageNet large scale visual recognition challenge[J].International Journal of Computer Vision，2015，115（3）：211-252

[3]Lin T Y，Maire M，Belongie S，et al.Microsoft coco：common objects in context[C]∥European Conference on Computer Vision，2014：740-755

[4]Koch G，Zemel R，Salakhutdinov R.Siamese neural networks for one-shot image recognition[C]∥Proceedings of the 32nd International Conference on Machine Learning，2015

[5]Vinyals O，Blundell C，Lillicrap T，et al.Matching networks for one shot learning[C]∥Advances in Neural Information Processing Systems，2016：3630-3638

[6]Snell J，Swersky K，Zemel R.Prototypical networks for few-shot learning[C]∥Advances in Neural Information Processing Systems，2017：4077-4087

[7]Sung F，Yang Y X，Zhang L，et al.Learning to compare：relation network for few-shot learning[C]∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition，2018：1199-1208

[8]Garcia V，Bruna J.Few-shot learning with graph neural networks[J].arXiv Preprint，2017，arXiv：1711.04043

[9]Kim J，Kim T，Kim S，et al.Edge-labeling graph neural network for few-shot learning[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019：11-20

[10]Santoro A，Bartunov S，Botvinick M，et al.One-shot learning with memory-augmented neural networks[J].arXiv Preprint，2016，arXiv：1605.06065

[11]Munkhdalai T，Yu H.Meta networks[C]∥Proceedings of the 34th International Conference on Machine Learning-Volume 70，2017：2554-2563

[12]Jamal M A，Qi G J.Task agnostic meta-learning for few-shot learning[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019：11719-11727

[13]Sun Q R，Liu Y Y，Chua T S，et al.Meta-transfer learning for few-shot learning[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019：403-412

[14]Ravi S，Larochelle H.Optimization as a model for few-shot learning[C]∥5th International Conference on Learning Representations，2017

[15]Finn C，Abbeel P，Levine S.Model-agnostic meta-learning for fast adaptation of deep networks[C]∥Proceedings of the 34th International Conference on Machine Learning（Volume 70），2017：1126-1135

[16]Alfassy A，Karlinsky L，Aides A，et al.LaSO：label-set operations networks for multi-label few-shot learning[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019：6548-6557

[17]Zhang H G，Zhang J，Koniusz P.Few-shot learning via saliency-guided hallucination of samples[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019：2770-2779

[18]Chu W H，Li Y J，Chang J C，et al.Spot and learn：a maximum-entropy patch sampler for few-shot image classification[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019：6251-6260

[19]Chen Z T，F(xiàn)u Y W，Wang Y X，et al.Image deformation meta-networks for one-shot learning[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019：8680-8689

[20]Zhang Z，He T，Zhang H，et al.Bag of freebies for training object detection neural networks[J].arXiv Preprint，2019，arXiv：1902.04103

[21]Schwartz E，Karlinsky L，F(xiàn)eris R，et al.Baby steps towards few-shot learning with multiple semantics[J].arXiv Preprint，2019，arXiv：1906.01905

[22]Schonfeld E，Ebrahimi S，Sinha S，et al.Generalized zero-and few-shot learning via aligned variational autoencoders[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019：8247-8255

[23]Wang X，Yu F，Wang R，et al.TAFE-net：task-aware feature embeddings for low shot learning[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019：1831-1840

[24]Li A X，Luo T G，Lu Z W，et al.Large-scale few-shot learning：knowledge transfer with class hierarchy[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019：7212-7220

[25]Liu W，Anguelov D，Erhan D，et al.SSD：single shot multibox detector[C]∥European Conference on Computer Vision，2016：21-37

[26]Redmon J，Divvala S，Girshick R，et al.You only look once：unified，real-time object detection[C]∥IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2016：779-788

[27]Ren S Q，He K M，Girshick R，et al.Faster R-CNN：towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149

[28]Donahue J，Jia Y Q，Vinyals O，et al.Decaf：a deep convolutional activation feature for generic visual recognition[C]∥International Conference on Machine learning，2014：647-655

[29]Razavian A S，Azizpour H，Sullivan J，et al.CNN features off-the-shelf：an astounding baseline for recognition[C]∥IEEE Conference on Computer Vision and Pattern Recognition Workshops，2014：806-813

[30]Chen H，Wang Y L，Wang G Y，et al.LSTD：a low-shot transfer detector for object detection[J].arXiv Preprint，2018，arXiv：1803.01529

[31]Singh P，Varadarajan S，Singh A N，et al.Multidomain document layout understanding using few shot object detection[J].arXiv Preprint，2018，arXiv：1808.07330

[32]Fan Q，Zhuo W，Tai Y W.Few-shot object detection with attention-RPN and multi-relation detector[J].arXiv Preprint，2019，arXiv：1908.01998

[33]Dong X Y，Zheng L，Ma F，et al.Few-example object detection with model communication[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2019，41（7）：1641-1654

[34]Dai J F，Li Y，He K M，et al.R-FCN：object detection via region-based fully convolutional networks[C]∥Advances in Neural Information Processing Systems，2016：379-387

[35]Zhang T F，Zhang Y，Sun X，et al.Comparison network for one-shot conditional object detection[J].arXiv Preprint，2019，arXiv：1904.02317

[36]Karlinsky L，Shtok J，Harary S，et al.RepMet：representative-based metric learning for classification and few-shot object detection[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019：5197-5206

[37]Kang B Y，Liu Z，Wang X，et al.Few-shot object detection via feature reweighting[J].arXiv Preprint，2018，arXiv：1812.01866

Abstract Research on object detection has developed rapidly in recent years with the progress of deep learning.However，the deep learning based object detection systems rely heavily on large scale labeled training data，which are rarely available in our realistic scene，so few-shot object detection get researchers great concern.In this paper，we present a survey of few-shot object detection，and introduce the mainstream approaches and their characteristics，merits as well as limits.Finally，we provide the possible direction for further few-shot object detection research.

Key words few-shot learning;deep learning;object detection