DL-MAML：一種新的蝴蝶物種自動識別模型

趙戈偉 許升全 謝娟英

1 （陜西師范大學(xué)計(jì)算機(jī)科學(xué)學(xué)院 西安 710119）

2 （陜西師范大學(xué)生命科學(xué)學(xué)院 西安 710119）

蝴蝶分類的依據(jù)是翅膀背和腹面的顏色、花紋和圖案.目前，全球大約有18 000 種蝴蝶.蝴蝶與植物密切相關(guān)，是環(huán)境指示昆蟲，對評估生態(tài)系統(tǒng)平衡具有重要意義.傳統(tǒng)蝴蝶物種識別依賴于昆蟲學(xué)家的知識和經(jīng)驗(yàn)，需要將野外采集的蝴蝶制作成標(biāo)本，費(fèi)時費(fèi)力.野外環(huán)境下的蝴蝶物種識別，不需要制作蝴蝶標(biāo)本，直接依據(jù)野外環(huán)境下拍攝的蝴蝶照片進(jìn)行蝴蝶種類識別，本質(zhì)上是目標(biāo)檢測任務(wù)，包括蝴蝶（目標(biāo)）位置檢測和分類，但比普通目標(biāo)檢測更具有挑戰(zhàn)性.因?yàn)槠胀ǖ哪繕?biāo)檢測，目標(biāo)往往屬于不同的大類，分類容易；而野外環(huán)境下的蝴蝶物種識別的分類任務(wù)是細(xì)粒度的分類，目標(biāo)同屬蝴蝶大類，遠(yuǎn)比普通目標(biāo)檢測問題中的目標(biāo)分類困難.然而，深度學(xué)習(xí)技術(shù)的飛速發(fā)展，為目標(biāo)檢測任務(wù)提供了新的理論和技術(shù)，并使野外環(huán)境下的蝴蝶物種識別成為可能[1-5].盡管如此，野外環(huán)境下的蝴蝶種類識別還面臨蝴蝶類別標(biāo)簽嚴(yán)重依賴于專家知識，數(shù)據(jù)集的獲得非常困難，現(xiàn)有數(shù)據(jù)集的蝴蝶種類和樣本數(shù)量有限，未涵蓋所有蝴蝶種類，使學(xué)習(xí)獲得的蝴蝶種類分類識別系統(tǒng)的泛化推廣非常受限，無法用于新的蝴蝶類別識別.

元學(xué)習(xí)（meta-learning）通過挖掘不同學(xué)習(xí)任務(wù)的學(xué)習(xí)方法論的共性，實(shí)現(xiàn)學(xué)習(xí)方法論的學(xué)習(xí)目的.因此，本文借助元學(xué)習(xí)的方法論學(xué)習(xí)優(yōu)勢，針對現(xiàn)有野外環(huán)境下蝴蝶數(shù)據(jù)集包含蝴蝶種類較少，未能涵蓋所有蝴蝶種類，致使蝴蝶分類識別系統(tǒng)的泛化性受限問題，提出基于元學(xué)習(xí)的蝴蝶種類識別，并改進(jìn)元學(xué)習(xí)的目標(biāo)函數(shù)，以期解決當(dāng)前蝴蝶種類識別研究面臨的泛化性挑戰(zhàn).另外，借助深度學(xué)習(xí)的極強(qiáng)特征學(xué)習(xí)能力，改進(jìn)元學(xué)習(xí)模型的結(jié)構(gòu)，以期得到可以任意推廣的野外環(huán)境下的蝴蝶識別系統(tǒng).

1 相關(guān)研究

現(xiàn)有蝴蝶自動識別研究至今已有10 多年歷史，最初只是基于蝴蝶標(biāo)本圖像的蝴蝶物種識別，隨著深度學(xué)習(xí)的出現(xiàn)和發(fā)展，出現(xiàn)了基于野外環(huán)境下蝴蝶圖像的蝴蝶物種識別研究[2-5].

基于標(biāo)本照片的蝴蝶識別研究起源于10 年前.2011 年陳淵等人[6]提出改進(jìn)支持向量機(jī)，對7 種蝴蝶標(biāo)本進(jìn)行自動識別.2012 年Wang 等人[7]使用基于內(nèi)容的圖像檢索方法，對蝴蝶標(biāo)本圖像進(jìn)行特征提取并進(jìn)行分類識別.2013 年Kaya 等人[8]提出基于極限學(xué)習(xí)機(jī)和Gabor 濾波器的新方法，用于蝴蝶物種識別.2014 年Kaya 等人[9]采用灰度共生矩陣和局部二進(jìn)制模式提取特征，用極限學(xué)習(xí)機(jī)識別蝴蝶標(biāo)本圖像，分別得到98.25% 和96.45% 的識別準(zhǔn)確率.2014年Kayci 等人[10]利用GLCM（grey-level co-occurrence matrix）提取蝴蝶翅膀表面紋理特征，用MLR（mixed logistic regression）對蝴蝶標(biāo)本圖像進(jìn)行分類，達(dá)到96.3%的分類準(zhǔn)確率.2015 年Ertu?rul 等人[11]通過結(jié)合極限學(xué)習(xí)機(jī)和Law 紋理能量測度技術(shù)來識別蝴蝶標(biāo)本圖像.2018 年Li 等人[12]采用多尺度曲率直方圖和圖像塊灰度共生矩陣提取特征，設(shè)計(jì)了一種加權(quán)K 近鄰分類器對蝴蝶進(jìn)行識別.2020 年Lin 等人[13]提出能提取蝴蝶細(xì)粒度特征的跳躍連接卷積神經(jīng)網(wǎng)絡(luò)，對包含56 種蝴蝶的24 836 張標(biāo)本進(jìn)行分類，準(zhǔn)確率達(dá)到93.36%.

基于生態(tài)照的蝴蝶自動識別研究，源于2018 年的第3 屆中國數(shù)據(jù)挖掘競賽暨國際首次蝴蝶識別大賽.謝娟英等人[1]為競賽提供了一個包含蝴蝶標(biāo)本照和生態(tài)照的數(shù)據(jù)集，其中生態(tài)照有1 425 張，共111 種；并利用Faster R-CNN 為競賽實(shí)現(xiàn)了一個baseline[2].2020 年Almryad 等人[14]創(chuàng)建了一個包含104 類野外環(huán)境中蝴蝶圖像的數(shù)據(jù)集，其中共有44 659 張圖像數(shù)據(jù)，但許多物種都只有很少量的圖像樣本，因此，他們選擇了其中的10 類蝴蝶，共17 769 張圖像用于實(shí)驗(yàn)，利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行蝴蝶種類識別.2020 年Xin 等人[15]提出了一個結(jié)合壓縮激勵模塊和空間注意力模塊的分類網(wǎng)絡(luò)對野外環(huán)境中的30 類蝴蝶圖像進(jìn)行分類.2021 年Xie 等人[4]針對蝴蝶生態(tài)照數(shù)據(jù)集類別分布不平衡問題，提出了一種新的數(shù)據(jù)集劃分方法和數(shù)據(jù)增強(qiáng)技術(shù)，采用RetinaNet 取得了當(dāng)時基于生態(tài)照的蝴蝶物種識別的最好結(jié)果.另外，謝娟英等人[3]通過加入注意力機(jī)制改進(jìn)經(jīng)典目標(biāo)檢測算法RetinaNet，對野外環(huán)境中的蝴蝶進(jìn)行識別，取得了很好的識別效果，并發(fā)現(xiàn)結(jié)構(gòu)差異是引起誤識的主要原因.2022 年，Xie 等人[5]提出了基于人類視覺機(jī)制的野外環(huán)境下蝴蝶識別系統(tǒng)KSRFB-Net，取得迄今為止最好的蝴蝶物種識別效果.

然而，現(xiàn)有蝴蝶物種自動識別研究，無論基于蝴蝶標(biāo)本還是基于野外環(huán)境下的蝴蝶圖像，涉及的蝴蝶種類均較少.盡管蝴蝶標(biāo)本的種類相對較全，但是基于標(biāo)本的蝴蝶自動識別研究涉及的種類也不多，這是由于蝴蝶分類是非常具有挑戰(zhàn)性的細(xì)粒度分類，每種蝴蝶標(biāo)本照片的數(shù)量非常有限，無法滿足機(jī)器學(xué)習(xí)，特別是深度學(xué)習(xí)需要的訓(xùn)練樣本，無法避免過擬合，從而無法實(shí)現(xiàn)蝴蝶多類別分類.野外環(huán)境下的蝴蝶物種自動識別還面臨數(shù)據(jù)收集和標(biāo)注極為困難的挑戰(zhàn)，研究涉及的蝴蝶種類更少，每類蝴蝶的樣本量也很有限，甚至有的種類僅一張照片.因此，蝴蝶物種自動識別是一個小樣本分類.由于野外環(huán)境下的蝴蝶自動識別不需要制作蝴蝶標(biāo)本，且與生物多樣性、生態(tài)系統(tǒng)平衡等密切相關(guān)，研究會更有意義，因此，本文關(guān)注野外環(huán)境下的蝴蝶物種自動識別.

傳統(tǒng)機(jī)器學(xué)習(xí)往往針對某一具體學(xué)習(xí)任務(wù)，通過訓(xùn)練數(shù)據(jù)學(xué)習(xí)分類模型，在樣本量較多的任務(wù)中很成功，但樣本量較小時，往往由于學(xué)習(xí)不足而使模型性能較差[16]，深度學(xué)習(xí)更是依賴于大量訓(xùn)練數(shù)據(jù)[17].小樣本學(xué)習(xí)（few-shot learning）作為機(jī)器學(xué)習(xí)的一個分支，通過少量樣本進(jìn)行學(xué)習(xí)[18].2015 年Koch 等人[19]提出了一種學(xué)習(xí)孿生神經(jīng)網(wǎng)絡(luò)的方法，采用獨(dú)特的結(jié)構(gòu)對輸入之間的相似性進(jìn)行度量，實(shí)現(xiàn)了少量樣本下的學(xué)習(xí).2016 年Vinyals 等人[20]采用基于深度神經(jīng)特征的度量學(xué)習(xí)，利用外部記憶增強(qiáng)神經(jīng)網(wǎng)絡(luò)，提出了網(wǎng)絡(luò)學(xué)習(xí)新框架，并定義了one-shot learning 問題.2017 年Ravi 等人[21]提出一個基于長短期記憶的學(xué)習(xí)機(jī)模型學(xué)習(xí)精確的優(yōu)化算法，在少樣本狀態(tài)下訓(xùn)練另一個神經(jīng)網(wǎng)絡(luò)分類器，驗(yàn)證了元學(xué)習(xí)模型在小樣本學(xué)習(xí)領(lǐng)域的優(yōu)越性能.2017 年Finn 等人[22]提出一種與模型無關(guān)的元學(xué)習(xí)算法，兼容任何經(jīng)過梯度下降訓(xùn)練的模型，適用于各種不同的學(xué)習(xí)問題，在小樣本分類基準(zhǔn)數(shù)據(jù)集表現(xiàn)出最先進(jìn)的性能.

鑒于元學(xué)習(xí)在小樣本分類中的優(yōu)越性能，針對現(xiàn)有野外環(huán)境下的蝴蝶種類識別面臨的樣本類別和樣本量少、樣本獲取和樣本類別標(biāo)注困難的挑戰(zhàn)，提出基于元學(xué)習(xí)的蝴蝶種類識別，以解決現(xiàn)有野外環(huán)境下的蝴蝶種類識別模型面臨的泛化推廣性能差的挑戰(zhàn).另外，為了解決野外環(huán)境下的蝴蝶種類識別面臨的蝴蝶分類特征學(xué)習(xí)困難問題，提出采用深度學(xué)習(xí)來提取蝴蝶分類特征，作為元學(xué)習(xí)的數(shù)據(jù)預(yù)處理步驟，并在元目標(biāo)函數(shù)引入正則化項(xiàng)避免過擬合，從而得到深度學(xué)習(xí)結(jié)合元學(xué)習(xí)的野外環(huán)境下蝴蝶種類識別系統(tǒng).大量實(shí)驗(yàn)測試表明，提出的模型對野外環(huán)境下的蝴蝶識別具有不錯的效果，成功解決了蝴蝶種類識別系統(tǒng)的泛化問題，為蝴蝶物種自動識別開辟了新途徑.

2 元學(xué)習(xí)

相比于傳統(tǒng)意義上的機(jī)器學(xué)習(xí)（包括深度學(xué)習(xí)），元學(xué)習(xí)是更高層次的學(xué)習(xí)，即學(xué)會學(xué)習(xí)，它不同于傳統(tǒng)機(jī)器學(xué)習(xí)，不再聚焦于某個具體的學(xué)習(xí)任務(wù)[23].元學(xué)習(xí)的學(xué)習(xí)對象由數(shù)據(jù)提升為任務(wù)，挖掘不同學(xué)習(xí)任務(wù)共有的方法論內(nèi)涵，實(shí)現(xiàn)學(xué)習(xí)不同任務(wù)的學(xué)習(xí)方法論，以期進(jìn)行方法論知識的遷移，減少超參調(diào)制，在少量數(shù)據(jù)條件下，獲得良好的學(xué)習(xí)效果，提高系統(tǒng)的性能[24].元學(xué)習(xí)方法可以在少量訓(xùn)練樣本的情況下，快速適應(yīng)一個新的分類任務(wù)，為小樣本分類提供了有效手段，為野外環(huán)境下的蝴蝶種類識別提供了新的解決方案.經(jīng)典機(jī)器學(xué)習(xí)需要大量的訓(xùn)練數(shù)據(jù)支撐[25]，在某個特定任務(wù)上訓(xùn)練模型，關(guān)注點(diǎn)是模型在當(dāng)前任務(wù)上的表現(xiàn).元學(xué)習(xí)關(guān)注模型對新任務(wù)的快速適應(yīng)能力，因此，元學(xué)習(xí)非常適合用來解決當(dāng)前野外環(huán)境下蝴蝶物種自動識別任務(wù)面臨的挑戰(zhàn).

2.1 元學(xué)習(xí)概念

元學(xué)習(xí)通常被解釋為學(xué)會學(xué)習(xí)的學(xué)習(xí)[26]，其目的是通過在多個任務(wù)上學(xué)習(xí)，掌握快速學(xué)習(xí)的能力，關(guān)注點(diǎn)不再是模型在某個任務(wù)上的表現(xiàn)，而是在多個任務(wù)上的學(xué)習(xí)能力.因此，很合適用來解決傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的泛化性能不足，及其對新類別適應(yīng)性較差的問題.元學(xué)習(xí)過程包含元訓(xùn)練（meta train）階段和元測試（meta test）階段.元學(xué)習(xí)的基本單元是任務(wù)，不再是面向某一任務(wù)的具體數(shù)據(jù).元學(xué)習(xí)的訓(xùn)練任務(wù)集合通常包含1 組或多組任務(wù)，每個任務(wù)又被分為support set 和query set.假設(shè)元訓(xùn)練集為Dmeta-train，元測試集為Dmeta-test，Dmeta-train和Dmeta-test的數(shù)據(jù)無類別交叉，即Dmeta-train∩Dmeta-test=?.元訓(xùn)練階段的任務(wù)采樣于Dmeta-train，元測試階段的任務(wù)采樣于Dmeta-test.元學(xué)習(xí)過程的數(shù)據(jù)劃分如圖1 所示.

圖1 元學(xué)習(xí)過程的數(shù)據(jù)劃分Fig.1 Data division of the meta-learning process

2.2 MAML 算法

MAML（model-agnostic meta-learning）[22]是一種基于初始參數(shù)的元學(xué)習(xí)方法，其基本思想是：通過學(xué)習(xí)相似任務(wù)的分布來尋找一個更好的初始參數(shù)，使得在良好的初始參數(shù)情況下，模型可以用較少的梯度更新，快速學(xué)習(xí)新任務(wù).因此，對于一個新任務(wù)，模型不需要從隨機(jī)初始化的權(quán)重開始，而是可以從最優(yōu)權(quán)重開始，僅需很少的步驟就可以達(dá)到收斂，且不需要太多數(shù)據(jù)來進(jìn)行訓(xùn)練.具體描述是：模型在一個新任務(wù)（task）上，使用基于梯度的學(xué)習(xí)規(guī)則進(jìn)行微調(diào)來學(xué)習(xí)一個模型，使這個基于梯度的學(xué)習(xí)規(guī)則能在從數(shù)據(jù)集D的分布P(T)抽取的新任務(wù)上快速收斂[22].

MAML 算法包括內(nèi)、外2 層循環(huán)，內(nèi)循環(huán)試圖學(xué)習(xí)每個任務(wù)的最優(yōu)參數(shù)，外循環(huán)計(jì)算每個任務(wù)相對于其最優(yōu)參數(shù)的損失，從而更新隨機(jī)初始化的模型參數(shù).即內(nèi)循環(huán)學(xué)習(xí)特定任務(wù)的參數(shù)，使用梯度下降最小化損失；外循環(huán)更新模型參數(shù)，減少幾個任務(wù)間的期望損失，將更新后的模型參數(shù)作為相關(guān)任務(wù)的更優(yōu)初始參數(shù).

MAML 算法的訓(xùn)練模型由參數(shù)化函數(shù)fθ表示，其中 θ為參數(shù).元訓(xùn)練期間，從Dmeta-train中采樣任務(wù)，使用的support set 中的K個樣本和相應(yīng)損失函數(shù)的反向傳播來訓(xùn)練模型，得到內(nèi)循環(huán)參數(shù)，這里中上標(biāo)1 表達(dá)該參數(shù)是內(nèi)循環(huán)參數(shù)，然后在來自的query set 新樣本上測試參數(shù)來自的query set 新數(shù)據(jù)的測試損失為元學(xué)習(xí)過程任務(wù)的訓(xùn)練誤差，依據(jù)該誤差，改進(jìn)外循環(huán)模型fθ.在訓(xùn)練階段，當(dāng)訓(xùn)練相同batch（batch size 設(shè)置為8）中的新任務(wù)(k≠i)時，模型的初始參數(shù)相同，也為 θ.MAML 內(nèi)循環(huán)更新的參數(shù)向量使用任務(wù)的support set 的1 個或多個梯度下降更新來計(jì)算.僅考慮在的support set 的一個梯度下降的計(jì)算公式如式（1）所示，超參數(shù) α為內(nèi)循環(huán)參數(shù)更新步長，即內(nèi)循環(huán)參數(shù)學(xué)習(xí)率.

對訓(xùn)練模型fθ的優(yōu)化在模型參數(shù) θ上進(jìn)行，使用更新的模型參數(shù)來計(jì)算目標(biāo).實(shí)際上，MAML 提出的方法旨在優(yōu)化模型參數(shù)，以便新任務(wù)上的1 個或少量梯度更新步驟，便產(chǎn)生最大有效的行為.跨任務(wù)的元優(yōu)化通過隨機(jī)梯度下降（stochastic gradient descent, SGD）實(shí)現(xiàn).因此，模型參數(shù) θ的更新公式如式（3）所示，其中 β是元步長，即MAML 外循環(huán)參數(shù)學(xué)習(xí)率.

2.3 改進(jìn)的MAML 算法

MAML 元學(xué)習(xí)算法能通過訓(xùn)練少量樣本實(shí)現(xiàn)在新任務(wù)上的快速學(xué)習(xí)，但是由于訓(xùn)練樣本量少，網(wǎng)絡(luò)在元訓(xùn)練過程中存在過擬合風(fēng)險(xiǎn)，使在元測試階段對新類識別率低.為了降低網(wǎng)絡(luò)在元訓(xùn)練過程中的過擬合，提升模型在元測試階段對新類別的識別能力，本文對MAML 算法的元目標(biāo)如2.2 節(jié)式（2）中添加L2 正則化項(xiàng)，得到新的元目標(biāo)，如式（4）所示.其中 λ為超參數(shù)，取值范圍為λ ∈[0,1].

根據(jù)式（4）的元目標(biāo)更新模型參數(shù) θ，則 θ的更新公式如式（5）所示:

3 DL-MAML 算法

MAML 算法將圖像直接輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然而，圖像經(jīng)過深層卷積后的特征具有更高級的語義[27]，更能體現(xiàn)圖像特征，因此，提出DL-MAML（deep learning advanced model-agnostic meta-learning）算法，增加獨(dú)立的特征提取模塊，并對MAML 結(jié)構(gòu)增加2 個卷積模塊，同時采用2.3 節(jié)改進(jìn)MAML 算法的元目標(biāo)和參數(shù)更新.

3.1 算法思想

MAML 算法對小樣本的學(xué)習(xí)效率、準(zhǔn)確率及收斂速度提升都相當(dāng)可觀[22]，其將圖像直接輸入網(wǎng)絡(luò)（4 個卷積模塊和1 個Linear 分類器）進(jìn)行訓(xùn)練來完成分類任務(wù)[22].然而，4 個卷積模塊和1 個Linear 分類器組成的網(wǎng)絡(luò)層數(shù)限制導(dǎo)致圖像特征提取能力有限.

基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像分類任務(wù)，大量卷積層本質(zhì)上是提取圖像的不同特征.經(jīng)過深層卷積后的特征具有更高級的語義，更能體現(xiàn)圖像的抽象特征[27].因此，提出DL-MAML 網(wǎng)絡(luò)模型，將深度卷積神經(jīng)網(wǎng)絡(luò)作為獨(dú)立的特征提取器來提取圖像特征，送入改進(jìn)的MAML 算法的元學(xué)習(xí)模塊進(jìn)行訓(xùn)練，在整個訓(xùn)練過程中，特征提取器的參數(shù)不更新.

DL-MAML 模型的貢獻(xiàn)在于：首先，對MAML 算法進(jìn)行改進(jìn)，不僅增加了模型層數(shù)，同時對MAML 算法的元目標(biāo)函數(shù)增加了L2 正則項(xiàng)，優(yōu)化元目標(biāo)模型參數(shù)，得到DL-MAML 模型的元學(xué)習(xí)模塊.其次，DLMAML 模型的元學(xué)習(xí)模塊之前，增加了特征提取模塊，使元學(xué)習(xí)模塊能更多地關(guān)注到圖像的有用特征，從而在模型初始化參數(shù)學(xué)習(xí)方面更有針對性.

DL-MAML 模型如圖2 所示，包括特征提取模塊和元學(xué)習(xí)模塊2 部分.其中，特征提取模塊的主要任務(wù)是提取圖像特征，網(wǎng)絡(luò)訓(xùn)練過程中，特征提取模塊的參數(shù)不更新，因此，特征提取模塊可看作是對輸入圖像的編碼.元學(xué)習(xí)模塊的參數(shù)在網(wǎng)絡(luò)訓(xùn)練過程中依據(jù)2.3 節(jié)所述的改進(jìn)MAML 算法，即式（5）不斷更新模型參數(shù)，網(wǎng)絡(luò)訓(xùn)練最終得到元學(xué)習(xí)模塊的初始化參數(shù) θ.

圖2 DL-MAML 模型Fig.2 DL-MAML model

3.2 元學(xué)習(xí)模塊

DL-MAML 模型的元學(xué)習(xí)模塊對MAML 算法進(jìn)行了2 點(diǎn)改進(jìn)：1）增加網(wǎng)絡(luò)層數(shù)，提高網(wǎng)絡(luò)的特征提取能力；2）元訓(xùn)練的元目標(biāo)函數(shù)中增加L2 正則化項(xiàng)，如式（4）所示，減少網(wǎng)絡(luò)對訓(xùn)練數(shù)據(jù)的過擬合.

Finn 等人[22]提出的MAML 算法網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3 所示，包含4 個卷積模塊和1 個Linear 分類器.每個卷積模塊由卷積層（卷積層參數(shù)kernel 為3×3，stride 為1，padding 為0，filters 為32）、非線性激活函數(shù)ReLU（rectified linear unit）、 批量歸一化（batch normalization，BN）[28]和最大池化層組成.前3 個卷積模塊中的最大池化層大小為2×2，最后1 個卷積模塊中最大池化層大小為2×1.MAML 算法采用式（3）更新網(wǎng)絡(luò)參數(shù).

圖3 MAML 網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of MAML

DL-MAML 模型的元學(xué)習(xí)模塊在MAML 網(wǎng)絡(luò)基礎(chǔ)上增加2 個卷積模塊，如圖4 所示，即MAML 前4個卷積模塊參數(shù)保持不變，增加2 個由卷積層、非線性激活函數(shù)ReLU、批量歸一化BN 組成的卷積模塊，進(jìn)一步增加元學(xué)習(xí)模塊的特征提取能力.該元學(xué)習(xí)模塊采用式（5）更新網(wǎng)絡(luò)參數(shù).元學(xué)習(xí)模塊增加的第1 個卷積模塊的卷積層參數(shù)kernel 為3×3，stride 為1，padding 為0，filters 為512；第2 個卷積模塊參數(shù)kernel為3×3，stride 為1，padding 為0，filters 為1024.

圖4 DL-MAML 的元學(xué)習(xí)模塊網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Network structure of meta-learning module of DLMAML

3.3 特征提取模塊

為了兼顧圖像的低級和高級抽象特征，選擇ResNet[29]網(wǎng)絡(luò)構(gòu)建獨(dú)立的特征提取模塊，與原始ResNet不同的是：作為特征提取器，本文使用的ResNet 去掉了最后的全連接層（full connection）.

ResNet 殘差模塊，一定程度上解決了網(wǎng)絡(luò)退化問題，使網(wǎng)絡(luò)能夠提取到圖像更高層次的抽象特征，能夠關(guān)注到輸入圖像在網(wǎng)絡(luò)不同層次的特征圖信息，從而得到一個融合的特征圖.本文選擇ResNet34 作為特征提取模塊，特征提取器中的殘差塊如圖5所示.

圖5 DL-MAML 特征提取器的ResNet 殘差塊Fig.5 ResNet residual block of DL-MAML’s feature extractor

3.4 損失函數(shù)

損失函數(shù)采用式（6）所示的交叉熵?fù)p失：

其中x(j),y(j)是采樣于的輸入輸出對.本文所涉及的所有損失計(jì)算均采用式（6）.

3.5 評價(jià)指標(biāo)

評價(jià)指標(biāo)以元測試階段采樣自Dmeta-test的任務(wù)來測試經(jīng)過訓(xùn)練的DL-MAML 模型的初始化參數(shù).設(shè)任務(wù)(j=1,2,…)采樣自Dmeta-test，DL-MAML 模型在的support set 上經(jīng)過少量更新后（本文實(shí)驗(yàn)設(shè)置更新次數(shù)為5），在的query set 上測試.

本文實(shí)驗(yàn)為蝴蝶自動識別，即蝴蝶種類分類，采用的評價(jià)指標(biāo)為式（7）所示的在元測試集Dmeta-test采樣的所有任務(wù)的平均分類準(zhǔn)確率Accuracy.

其中M是在元測試集Dmeta-test采樣的總?cè)蝿?wù)數(shù)，本文M=200，Accj是DL-MAML 對任務(wù)的query set 的預(yù)測準(zhǔn)確率，計(jì)算方式如式（8）所示：

4 實(shí)驗(yàn)及結(jié)果分析

本文采用開源深度學(xué)習(xí)框架PyTorch1.6.1 實(shí)現(xiàn)DL-MAML 模型，所有實(shí)驗(yàn)均使用單GPU 加速網(wǎng)絡(luò)的學(xué)習(xí)以及訓(xùn)練過程，顯卡型號為GeForce RTX 2080Ti.

4.1 數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)來自謝娟英等人[1-2]2018 年發(fā)表的蝴蝶生態(tài)照片數(shù)據(jù)集，含有生態(tài)照1 425 張，共111 類蝴蝶，其中17 種蝴蝶的生態(tài)照片只有1 張，多數(shù)種類的生態(tài)照片在20 張以內(nèi)，每類蝴蝶至少有1 張生態(tài)照，最多有121 張.去除僅含有1 張生態(tài)照的蝴蝶樣本，用于實(shí)驗(yàn)的數(shù)據(jù)共有1 408 張蝴蝶生態(tài)照片圖像，共94 類，數(shù)據(jù)分布如圖6 所示.

圖6 蝴蝶生態(tài)照樣本量分布Fig.6 Sample distribution of butterfly ecological photos

相比于常見的分類問題，該數(shù)據(jù)集包含類別多、樣本少，屬于小樣本分類，且各類別樣本的分布明顯不平衡.這些特點(diǎn)給分類算法帶來挑戰(zhàn)，然而本文的元學(xué)習(xí)實(shí)驗(yàn)不存在類別不平衡問題.另外，本文只關(guān)注蝴蝶種類識別，實(shí)驗(yàn)中裁掉蝴蝶生態(tài)照背景，得到不包含或者包含很少生態(tài)背景的蝴蝶生態(tài)照圖像.剪裁后的部分蝴蝶生態(tài)照如圖7 所示.

圖7 蝴蝶生態(tài)照部分樣本Fig.7 Several samples of butterfly ecological photos

元訓(xùn)練集和元測試集按照7:3的比例劃分94 類蝴蝶，元訓(xùn)練集共含65 類，元測試集包含29 類.元訓(xùn)練集和元測試集無類別重合.本文對樣本量不足10個的類別，采用隨機(jī)旋轉(zhuǎn)進(jìn)行數(shù)據(jù)增強(qiáng)，將樣本量擴(kuò)充為10 個.所有圖像經(jīng)過隨機(jī)裁剪并統(tǒng)一調(diào)整大小為224（高）×224（寬）×3（通道）的圖像.

4.2 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)設(shè)置參考Vinyals 等人[20]提出的實(shí)驗(yàn)方案.元訓(xùn)練階段，每個任務(wù)隨機(jī)從元訓(xùn)練集Dmeta-train選擇N個蝴蝶種類（本文N=5），從每個種類采樣2×K個實(shí)例，即每個任務(wù)包含2×N×K個實(shí)例，使用此N個種類中每個類的K個不同實(shí)例組成此任務(wù)的support set，則support set 包含N×K個實(shí)例，其余N×K個實(shí)例組成此任務(wù)的query set.元測試階段，每個任務(wù)隨機(jī)從元測試集Dmeta-test選擇N個蝴蝶種類，每個任務(wù)的support set 和query set 的設(shè)置方式與元訓(xùn)練階段相同.本文稱此種采樣數(shù)據(jù)的方式為N-wayK-shot.其中，5-way 1-shot 實(shí)驗(yàn)的元測試階段的數(shù)據(jù)集設(shè)置如圖8 所示，support set 從29 個用于測試的蝴蝶種類中隨機(jī)選擇了5 類，每類選擇1 個樣本.

圖8 5-way 1-shot 實(shí)驗(yàn)的元測試數(shù)據(jù)集設(shè)置Fig.8 Dataset setting of the 5-way 1-shot experiment in meta test

本文實(shí)驗(yàn)的N-wayK-shot 設(shè)置如表1 所示，共采用2 組：5-way 1-shot，5-way 5-shot.表1 所示的數(shù)據(jù)集劃分的第2，3 列表示在元訓(xùn)練與元測試階段，每個任務(wù)包含的樣本數(shù)量，即每個任務(wù)的support set +query set 的樣本量.

Table 1 Data Division Results of Different Experiments for Each Task表1 不同實(shí)驗(yàn)每個任務(wù)的數(shù)據(jù)劃分結(jié)果

4.3 正則項(xiàng)權(quán)重測試實(shí)驗(yàn)

本節(jié)通過實(shí)驗(yàn)測試，驗(yàn)證提出的DL-MAML 算法的元學(xué)習(xí)模塊的改進(jìn)元目標(biāo)函數(shù)的正則項(xiàng)權(quán)重λ設(shè)置的合理性.實(shí)驗(yàn)在本文改進(jìn)的元學(xué)習(xí)模塊（MAML+2 Modules+L2）進(jìn)行，分別將 λ設(shè)置為2，0.5，0.2，0.02 進(jìn)行5-way 1-shot 實(shí)驗(yàn)，此時λ/2分別為1，0.25，0.1，0.01.實(shí)驗(yàn)結(jié)果如表2 所示.

表2 顯示，當(dāng) λ=0.2 時，DL-MAML 的元學(xué)習(xí)模塊的性能表現(xiàn)最好，因此本文后續(xù)實(shí)驗(yàn)均設(shè)置 λ=0.2.

4.4 元學(xué)習(xí)模塊消融實(shí)驗(yàn)

本節(jié)通過消融實(shí)驗(yàn)驗(yàn)證DL-MAML 算法的元學(xué)習(xí)模塊的2 處改進(jìn)（對原始MAML 增加卷積模塊和改進(jìn)元目標(biāo)函數(shù)）的有效性，消融實(shí)驗(yàn)結(jié)果如表3所示.表3 中的MAML 為Finn 等人[22]使用的模型以及更新策略，也就是式（3）的更新策略；MAML+2 Modules 為增加2 個卷積模塊的模型使用的原始更新策略，即式（3）的更新策略；MAML+L2 為使用MAML 模型，采用式（5）的更新策略；MAML+2 Modules+L2 為增加2 個卷積模塊的模型使用式（5）的更新策略，即DL-MAML 模型的元學(xué)習(xí)模塊.

Table 3 Accuracies of Butterfly Classification in Ablation Experiments of Meta Learning Module表3 元學(xué)習(xí)模塊消融實(shí)驗(yàn)的蝴蝶分類準(zhǔn)確率%

實(shí)驗(yàn)超參數(shù)設(shè)置參考Finn 等人[22]的設(shè)置，實(shí)驗(yàn)進(jìn)行10 000 epoch，內(nèi)循環(huán)的學(xué)習(xí)率 α=0.01，外循環(huán)學(xué)習(xí)率 β=0.001，batch size 設(shè)置為8，訓(xùn)練階段每個任務(wù)內(nèi)部進(jìn)行5 次梯度更新，測試階段每個任務(wù)進(jìn)行5 次梯度更新，測試階段每個任務(wù)的分類準(zhǔn)確率為5 次梯度更新之后的平均準(zhǔn)確率.訓(xùn)練階段從元訓(xùn)練集Dmeta-train采樣80 000 個任務(wù)進(jìn)行訓(xùn)練，測試階段從元測試集Dmeta-test采樣200 個任務(wù)進(jìn)行測試.DL-MAML的元目標(biāo)函數(shù)的L2 正則化項(xiàng)參數(shù) λ=0.2.

由表3 可見，在5-way 1-shot 實(shí)驗(yàn)中，分別增加卷積模塊、改進(jìn)MAML 算法的元目標(biāo)函數(shù)、同時增加卷積模塊和改進(jìn)MAML 算法元目標(biāo)函數(shù)這3 種策略均顯著提高了模型對測試任務(wù)的分類準(zhǔn)確率.表3 還顯示，在5-way 5-shot 實(shí)驗(yàn)中，無論是增加2 個模塊，還是給元目標(biāo)函數(shù)增加正則化項(xiàng)，模型對測試任務(wù)的準(zhǔn)確率都有提升，且同時增加卷積塊和在元目標(biāo)函數(shù)中引入正則項(xiàng)所得模型的分類準(zhǔn)確率提升最多.另外，表3 還顯示，在5-way 1-shot 實(shí)驗(yàn)中增加卷積塊對模型性能的提升比改進(jìn)元目標(biāo)函數(shù)對模型性能的提升更強(qiáng)，但在5-way 5-shot 實(shí)驗(yàn)中則相反.這說明本文改進(jìn)的MAML 元目標(biāo)函數(shù)和參數(shù)更新方法在內(nèi)循環(huán)樣本更多時，帶來的更多參數(shù)微調(diào)能進(jìn)一步提升模型性能.由此可見，本文對MAML 的2 處改進(jìn)明顯提升了其性能.但是表3 還顯示，改進(jìn)模型在5-way 5-shot 實(shí)驗(yàn)的分類準(zhǔn)確率的提升不及在5-way 1-shot 實(shí)驗(yàn)的分類準(zhǔn)確率的提升明顯.原因是5-way 5-shot 采用了更多來自新類別的樣本進(jìn)行測試.

4.5 特征提取模塊消融實(shí)驗(yàn)

本節(jié)基于DL-MAML 模型的元學(xué)習(xí)模塊，采用消融實(shí)驗(yàn)驗(yàn)證DL-MAML 模型的特征提取模塊的性能.元學(xué)習(xí)模塊參數(shù)設(shè)置與實(shí)驗(yàn)超參數(shù)設(shè)置與4.4 節(jié)相同，圖像經(jīng)過特征提取模塊之前大小為224×224×3，圖像經(jīng)過特征提取模塊之后，圖像特征圖大小被調(diào)整為84（高）×84（寬）×3（通道）的圖像.

另外，將VGG 網(wǎng)絡(luò)作為特征提取器替換DLMAML 模型的特征提取器進(jìn)行實(shí)驗(yàn)比較，驗(yàn)證本文以ResNet 網(wǎng)絡(luò)作為特征提取器的正確性.實(shí)驗(yàn)結(jié)果如表4 所示，其中“DL-MAML特征提取”表示沒有特征提取模塊的改進(jìn)MAML，“VGG-MAML”表示用VGG 網(wǎng)絡(luò)替換DL-MAML 模型的特征提取模塊，“DL-MAML”表示本文模型.

Table 4 Classification Accuracies of Feature Extraction Module in Ablation Experiments表4 特征提取模塊消融實(shí)驗(yàn)的分類準(zhǔn)確率%

表4 顯示，包含特征提取模塊的VGG-MAML 和本文DL-MAML 模型對測試任務(wù)的分類準(zhǔn)確率都有提升，尤其是在5-way 1-shot 實(shí)驗(yàn)的分類準(zhǔn)確率提升顯著，在5-way 5-shot 實(shí)驗(yàn)的分類準(zhǔn)確率有提升但不及前者顯著.這說明DL-MAML 模型的特征提取模塊對DL-MAML 模型的性能提升有積極作用，但本文改進(jìn)的MAML 元目標(biāo)函數(shù)和對原始MAML 元學(xué)習(xí)模塊增加的卷積模塊的作用也不容忽視，特別是元目標(biāo)函數(shù)和參數(shù)更新方法的改進(jìn)對模型性能影響顯著，這在4.4 節(jié)的消融實(shí)驗(yàn)已經(jīng)得到驗(yàn)證.

4.6 與其他元學(xué)習(xí)模型的比較

本文4.4 節(jié)和4.5 節(jié)實(shí)驗(yàn)結(jié)果顯示，DL-MAML模型相比于MAML 算法在蝴蝶分類任務(wù)上表現(xiàn)較優(yōu).本節(jié)將比較DL-MAML 模型與其他小樣本分類方法的性能，對比實(shí)驗(yàn)結(jié)果如表5 所示.

Table 5 Accuracies of Different Meta-Learning Models for Classifying Butterfly Species in the Field Environments表5 不同元學(xué)習(xí)模型對野外環(huán)境下蝴蝶的分類準(zhǔn)確率%

表5 所有實(shí)驗(yàn)均采用本文數(shù)據(jù)集以及本文4.1節(jié)數(shù)據(jù)劃分方式進(jìn)行訓(xùn)練與測試.對于Vinyals 等人[20]提出的基于度量的元學(xué)習(xí)方法matching nets，實(shí)驗(yàn)超參數(shù)采用原文作者設(shè)置，使用余弦相似度度量；對于Ravi等人[21]提出的基于模型的元學(xué)習(xí)方法meta-learner LSTM，實(shí)驗(yàn)超參數(shù)采用原文作者設(shè)置；MAML 算法超參數(shù)使用4.4 節(jié)設(shè)置；本文模型DL-MAML 超參數(shù)使用4.4 節(jié)設(shè)置.

表5 實(shí)驗(yàn)結(jié)果顯示，DL-MAML 模型在元測試階段新任務(wù)上的蝴蝶分類準(zhǔn)確率優(yōu)于MAML 算法，特別是5-way 1-shot 實(shí)驗(yàn)的分類準(zhǔn)確率提升非常顯著，比MAML 模型高出17.38 個百分點(diǎn)；在5-way 5-shot 實(shí)驗(yàn)的性能提升雖然不及5-way 1-shot 實(shí)驗(yàn)，但分類準(zhǔn)確率也提升了1.52 個百分點(diǎn).因此可以說，DL-MAML 模型比MAML 算法可以得到更好的模型初始化參數(shù)以適應(yīng)新任務(wù)，更好地實(shí)現(xiàn)了在新任務(wù)上的快速學(xué)習(xí).

對比其他小樣本分類方法，DL-MAML 模型對野外環(huán)境下的蝴蝶物種識別也具有明顯優(yōu)勢.盡管matching nets 方法在5-way 1-shot 實(shí)驗(yàn)的性能優(yōu)于meta-learner LSTM 和MAML，但遠(yuǎn)不及DL-MAML.MAML 在5-way 5-shot 實(shí)驗(yàn)的分類準(zhǔn)確率優(yōu)于matching nets 和meta-learner LSTM 方法.

對比DL-MAML 與MAML 算法可見，DL-MAML的特征提取模塊結(jié)合了深度網(wǎng)絡(luò)的特征提取優(yōu)勢來彌補(bǔ)MAML 模型的特征提取不足；DL-MAML 模型的元學(xué)習(xí)模塊通過添加卷積模塊和增加正則項(xiàng)改進(jìn)了MAML 算法的元目標(biāo)函數(shù)和參數(shù)更新方法，在提升了MAML 算法表現(xiàn)的同時，避免了模型參數(shù)過擬合的風(fēng)險(xiǎn)，增強(qiáng)了模型快速適應(yīng)新類的優(yōu)點(diǎn)，有效解決了現(xiàn)有機(jī)器學(xué)習(xí)方法在野外環(huán)境下蝴蝶識別任務(wù)的泛化性問題.

4.7 原始圖像數(shù)據(jù)集的實(shí)驗(yàn)

本文4.3～4.6 節(jié)所有實(shí)驗(yàn)均采用剔除了背景的蝴蝶生態(tài)照圖像，但是盡管剔除了背景，圖像中依然包含部分背景.本節(jié)將在未剔除背景的原始蝴蝶圖像數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，以測試野外環(huán)境下的蝴蝶圖像背景對DL-MAML 算法性能的影響.實(shí)驗(yàn)結(jié)果如表6 所示，其中MAML(org) 和DL-MAML(org) 表示在未剔除背景的蝴蝶生態(tài)照片數(shù)據(jù)集的實(shí)驗(yàn).

Table 6 Butterfly Classification Accuracies of Different Types of Ecological Images表6 不同生態(tài)照的蝴蝶分類準(zhǔn)確率%

表6 顯示，MAML 和DL-MAML 算法在原始蝴蝶生態(tài)圖像的蝴蝶分類準(zhǔn)確率均比它們在剔除了背景但還含有部分背景的蝴蝶生態(tài)圖像的分類準(zhǔn)確率差10 多個百分點(diǎn).這說明，野外環(huán)境下的蝴蝶圖像背景對模型的分類性能有直接影響.另外，表6 實(shí)驗(yàn)結(jié)果還顯示，各模型在5-way 1-shot 實(shí)驗(yàn)的性能均遠(yuǎn)不如其在5-way 5-shot 實(shí)驗(yàn)的性能，說明在元學(xué)習(xí)獲得了學(xué)習(xí)方法論之后，針對具體任務(wù)的參數(shù)微調(diào)對模型性能的影響很大.

此外，表6 的實(shí)驗(yàn)結(jié)果還揭示，提出的DL-MAML算法使得圖像背景對模型性能的影響顯著降低，特別是在5-way 1-shot 實(shí)驗(yàn)，使用原始圖像的元學(xué)習(xí)模型DL-MAML(org)的蝴蝶分類準(zhǔn)確率比使用剪裁背景圖像的元學(xué)習(xí)模型MAML 的分類準(zhǔn)確率高4.16 個百分點(diǎn)；同時，在5-way 5-shot 實(shí)驗(yàn)，DL-MAML(org)模型的蝴蝶分類準(zhǔn)確率比MAML(org)模型高8.71 個百分點(diǎn).

5 結(jié)論與展望

本文提出了DL-MAML 模型，對MAML 模型進(jìn)行改進(jìn)，增加了深度特征提取模塊，同時對MAML 的元學(xué)習(xí)模塊增加了2 層特征學(xué)習(xí)模塊，并提出了L2正則項(xiàng)修正MAML 的元目標(biāo)函數(shù)和模型參數(shù)更新方法.將提出的DL-MAML 模型應(yīng)用于野外環(huán)境下的蝴蝶物種識別任務(wù).消融實(shí)驗(yàn)與其他小樣本分類模型的實(shí)驗(yàn)比較表明，DL-MAML 模型極大提升了MAML元學(xué)習(xí)模型的分類準(zhǔn)確率，從新的視角解決了野外環(huán)境下蝴蝶識別任務(wù)的泛化性問題，從更高的視角（即學(xué)會學(xué)習(xí)）實(shí)現(xiàn)了開放環(huán)境下的蝴蝶物種識別，使得面對新環(huán)境時，只需要簡單地訓(xùn)練就可以得到性能很好的野外環(huán)境下蝴蝶物種識別模型.

然而，本文研究重點(diǎn)關(guān)注野外環(huán)境下的蝴蝶物種識別任務(wù)，沒有關(guān)注野外環(huán)境下的蝴蝶位置檢測.如何使用元學(xué)習(xí)同時實(shí)現(xiàn)野外環(huán)境下的蝴蝶位置檢測和分類，即用元學(xué)習(xí)解決野外環(huán)境下的蝴蝶物種自動識別這一具有挑戰(zhàn)性的目標(biāo)檢測（蝴蝶位置發(fā)現(xiàn)和種類分類）問題是我們需要進(jìn)一步研究的問題.

作者貢獻(xiàn)聲明：趙戈偉負(fù)責(zé)完成實(shí)驗(yàn)并撰寫論文初稿；許升全提供數(shù)據(jù)，提出指導(dǎo)意見修改論文；謝娟英提出算法思路、實(shí)驗(yàn)方案，并負(fù)責(zé)撰寫和修改論文.