一種遷移學習和可變形卷積深度學習的蝴蝶檢測算法

李策 張棟 杜少毅 朱子重 賈盛澤 曲延云

蝴蝶種類的識別與鑒定在農(nóng)林業(yè)生產(chǎn)與保護、藝術(shù)生活等方面均具有重要意義.蝴蝶種類極其豐富多樣,《世界蝴蝶分類名錄》[1]記錄了世界蝴蝶17 科、47 亞科、1 690 屬、15 141 種,其中記載中國蝴蝶12 科、33 亞科、434 屬、2 153 種.自2016 年我國環(huán)境保護部啟動了蝴蝶多樣性觀測工作[2],全國蝴蝶觀測數(shù)據(jù)庫的數(shù)據(jù)量呈現(xiàn)海量增長.如何對生態(tài)蝴蝶及時且準確地檢測,這對昆蟲分類學專家是一個很大的挑戰(zhàn).因此,自然生態(tài)蝴蝶種類檢測問題已成為促進蝴蝶相關(guān)領(lǐng)域研究與應用的關(guān)鍵問題之一.

隨著機器學習發(fā)展與應用,為實現(xiàn)蝴蝶自動、快速、準確地檢測與識別創(chuàng)造了有利條件.2013 年Kang 等[3]提出了一種基于分支長度相似熵的形狀識別方法,使用BLS 熵譜(Branch length similarity,BLS)作為BP 神經(jīng)網(wǎng)絡的輸入特征訓練網(wǎng)絡來識別蝴蝶.2014 年Kaya 等[4]先后嘗試了Gabor 特征、顏色和紋理特征與極限學習機、人工神經(jīng)網(wǎng)絡以及Logistic 回歸等方法相結(jié)合,探討蝴蝶自動識別方法.2015 年李凡[5]提出基于蝴蝶形態(tài)與紋理分布規(guī)律的特征提取與優(yōu)化方法,采用改進的K 最近鄰[6](K-nearest neighbor,KNN)分類算法進行分類,研究并實現(xiàn)了50 種蝴蝶的自動分類方法.近年來,基于深度學習的蝴蝶目標檢測取得了良好的檢測結(jié)果,主要原因是卷積神經(jīng)網(wǎng)絡可直接從圖像像素級提取具有更加強大表征力的特征[7?8].2016 年Liu 等[9]使用基于全局對比區(qū)域的方法來計算病蟲害目標位置的顯著性特征圖,再由深度卷積補綴網(wǎng)絡(Deep convolution neural network,DCNN)對圖像特征進行分類,但此方法未考慮目標與背景相似等實例.2017 年周愛明等[10]使用CaffeNet 模型在蝴蝶標本圖像和180 幅生態(tài)蝴蝶圖像上,通過訓練不同的后驗概率支持向量機做分類器來實現(xiàn)蝴蝶分類.以上算法大多是對標本模式照進行識別,不能直接應用在生態(tài)蝴蝶的檢測問題上.2018 年謝娟英等[11]構(gòu)建基于Faster R-CNN[12]的蝴蝶自動檢測系統(tǒng),采用蝴蝶模式照圖像和生態(tài)照圖像對其模型進行訓練,然后在蝴蝶生態(tài)照片中實現(xiàn)對94類蝴蝶的自動檢測,并使用ZF[13]、VGG_CNN_M1024[14]、VGG16[15]三種預訓練網(wǎng)絡做算法自身對比實驗,并且均優(yōu)于對比算法YOLO-v2[16]、YOLO-v3[17]模型.

綜上所述,現(xiàn)有的生態(tài)蝴蝶檢測任務與相關(guān)算法目前仍存在以下三個問題:1)算法基本以蝴蝶標本模式照圖像進行識別研究,偏向于單純的分類任務,而在生態(tài)照圖像上的拓展能力較弱;2)所使用的數(shù)據(jù)集中包含的蝴蝶類別偏少,因此建立的識別模型泛化能力較低;3)對蝴蝶的分類一般到科級,而對亞科到種名的精細區(qū)分較為困難.

由于采集的蝴蝶生態(tài)照圖像常會受到光照和觀察點變化的影響,多種類蝴蝶目標檢測任務則成為了挑戰(zhàn)性的視覺檢測任務之一.在自然生態(tài)照蝴蝶檢測任務數(shù)據(jù)集[11]上更具挑戰(zhàn)性的因素有:1)待檢測的蝴蝶生態(tài)圖像分辨率迥異(最大7 630 像素～4 912 像素與最小800 像素～450 像素),且蝴蝶類別要求細分至種名;2)94 類蝴蝶多特征與多尺度,且形態(tài)變化較大;3)背景復雜:蝴蝶與背景相似性高;4)蝴蝶重疊、曝光不足進一步導致檢測難等.如圖1 所示為蝴蝶生態(tài)照示例.

針對上述問題和挑戰(zhàn),本文提出了一種基于遷移學習和可變形卷積深度神經(jīng)網(wǎng)絡的蝴蝶檢測算法(TDDNET),可對蝴蝶自然生態(tài)照中不同種名的94類蝴蝶實現(xiàn)較高精度檢測.

圖1 蝴蝶生態(tài)照示例圖[11]Fig.1 Examples of butterfly ecology[11]

1 本文所提算法

本文提出了一種基于遷移學習和可變形卷積深度神經(jīng)網(wǎng)絡的蝴蝶檢測算法(TDDNET).主要包括底層特征學習和模型遷移兩個階段,所提算法框架如圖2 所示,在第一階段構(gòu)建了二分類檢測網(wǎng)絡(DNET-base)強化特征學習能力;第二階段則由模型遷移方法優(yōu)化TDDNET 的檢測性能.其中,第一階段又分為兩個部分:1)通過可變形卷積模型重建ResNet-101[18]特征提取層;2)結(jié)合RPN[12]網(wǎng)絡構(gòu)建一個二分類檢測網(wǎng)絡(DNET-base),對蝴蝶目標和背景進行分離訓練,增強網(wǎng)絡對蝴蝶特征學習能力,使得網(wǎng)絡對蝴蝶的檢出率更高.而第二階段則可分為三個部分:1)以DNET-base 網(wǎng)絡模型為基礎(chǔ),保持特征提取網(wǎng)絡模塊的參數(shù)不變;2)重新構(gòu)建RoI[12]池化模塊,以RPN 網(wǎng)絡指導敏感位置區(qū)域可變形RoI 池化過程,獲得多尺度目標的評分特征圖和精準位置信息;3)通過Soft-max 和Soft-NMS[19]進行多分類優(yōu)化,最終形成TDDNET模型.

圖2 本文所提算法TDDNET 的原理框架示意圖Fig.2 Schematic diagram of TDDNETs principle framework proposed in this paper

在模型訓練過程中:先將蝴蝶數(shù)據(jù)歸為一類,通過訓練重構(gòu)的可變形卷積ResNet-101 使得DNETbase 模型對蝴蝶特征的提取能力最大化;而后將DNET-base 特征提取網(wǎng)絡和參數(shù)遷移至TDDNET模型,再重新訓練TDDNET 的多分類器.這種方法可使TDDNET 網(wǎng)絡的收斂性變得更快更穩(wěn)定.下面,將本文所提算法詳述如下.

1.1 可變形卷積

在蝴蝶的自然生態(tài)照中,蝴蝶多姿多樣,色彩斑斕,并且部分蝴蝶偽裝能力極強.因此通過大量數(shù)據(jù)與數(shù)據(jù)增強使常規(guī)卷積網(wǎng)絡完全“記憶”生態(tài)蝴蝶的多樣變化較為困難.因為常規(guī)卷積網(wǎng)絡在構(gòu)建模型變換時被限制于固定的幾何結(jié)構(gòu),這種局限性決定了卷積單元在輸入圖像上只能在固定位置上采樣,造成卷積層提取的特征表征能力較弱.在類似卷積的池化過程也只能在固定的比例下降低特征空間分辨率,致使特征丟失嚴重,進一步導致?lián)p失函數(shù)的擬合能力弱和網(wǎng)絡檢測精度較差.為解決上述問題,本文所提算法中采用Dai 等[20]提出的可變形卷積模型,重新構(gòu)建ResNet[18]網(wǎng)絡結(jié)構(gòu),以及RoI 興趣區(qū)域池化模型來提升網(wǎng)絡檢測性能.如圖3 所示,為常規(guī)卷積與可變形卷積采樣方式示例.

可變形的卷積模型引入了空間幾何形變的學習能力,從而更好地適應空間形變的目標特征提取與目標檢測任務.如圖3(b)～3(d)所示,在可變形卷積中將常規(guī)的網(wǎng)格拓展為擁有偏置量{?pn|n=1,···,N}的偏置矩陣Offset,其中N=|R|.對輸入圖像中的每一個在p0位置上的變形卷積如式(1)所示.

圖3 常規(guī)卷積和可變形卷積[22] 的采樣方式示例Fig.3 The instances of traditional and deformable convolution[22]

其中,?pn為偏置量,且是一個分數(shù),ω(?)為采樣點權(quán)重.然而,這樣的操作引入了一個新問題,即需要對不連續(xù)的位置變量求導.借鑒Jaderberg 等[21]的雙線性插值的思想來求解.偏置矩陣通過一個同輸入圖像一樣大小的卷積層學習而來,如圖4 所示,即獲得的偏置域的大小與輸入圖像的大小一致,其中通道維度2N對應N個二維的偏置矩陣.卷積核與現(xiàn)有的卷積一樣具有相同的空間解析度和擴展度(如在圖4 中3×3 的核擴展度為1).同樣,將得到的特征圖送入下一個卷積層時,采用一樣的可變形卷積模型提取特征.在訓練時,同時學習用于產(chǎn)生輸出特征的卷積內(nèi)核和偏置矩陣.

圖4 3×3 可變形卷積特征計算過程示例Fig.4 An example of deformable convolution feature calculation process(3×3)

因偏置矩陣使卷積的采樣位置可自由變換,偏置矩陣定義了R接受域的大小和擴張量,所以可變形卷積的偏置域指向的采樣點對目標趨向性較強,則輸出特征信息就較多.這種自適應確定蝴蝶形變尺度和蝴蝶位置的方法在檢測中是非常有效的.如圖5 所示,當可變形卷積效果堆疊時,其模型的復合變形對特征提取能力的提升影響也較大.

圖5 兩種卷積在網(wǎng)絡中的計算過程Fig.5 The computation of both convolutions in networks

1.2 可變形的位置敏感興趣區(qū)域池化

為了獲得自然生態(tài)圖像中蝴蝶的位置和分類,所提算法采用了位置敏感興趣區(qū)域[22](Position sensitive RoI pooling,PS RoI)池化來構(gòu)建TDDNE 的分類器.隨著網(wǎng)絡的加深,其平移旋轉(zhuǎn)不變性越強,這個性質(zhì)對于保證分類模型的魯棒性具有積極意義.然而,在檢測問題中,過度的平移旋轉(zhuǎn)不變性,又使得網(wǎng)絡對目標位置信息的感知能力削弱.因此,在蝴蝶檢測中考慮到特征提取和對小目標檢測邊框?qū)R問題,采取與可變形卷積一樣的結(jié)構(gòu)策略來構(gòu)建區(qū)域空間可變形的敏感位置RoI 池化過程.同時,取消特征聚集過程中的量化操作,使用雙線性插值的方法獲得浮點數(shù)的像素坐標,讓整個特征聚集過程轉(zhuǎn)換為一個連續(xù)量的操作,最后進行均值池化.如圖6 所示,為可變形的位置敏感RoI池化.

圖6 可變形的位置敏感RoI 池化示意Fig.6 Deformable pooling of position sensitive RoI

首先,利用卷積產(chǎn)生特征圖的偏置域,由于RoI 池化將RoI 區(qū)域分成k × k塊(k為可調(diào)參數(shù)),因此通過一個全卷積層可產(chǎn)生偏置量矩陣{?pij|0≤i,j

其中,?pij仍是一個分數(shù),nij是區(qū)域塊位置上的像素數(shù)且這個全卷積層是通過反向傳播學習得來.因為在可變形的PS RoI 池化后得到固定大小的k×k區(qū)域塊特征,直接用全連接層歸一化即可得到k×k個偏置域但是這些偏置域并不能直接使用,因為RoI 區(qū)域大小不一致,而且輸入特征圖的寬w和高h也不一致,故采用一個增益γ=0.1 加以矯正,與(w,h)點乘可得真值

1.3 構(gòu)建蝴蝶檢測網(wǎng)絡TDDNET 框架

階段1(DNET-base).考慮到數(shù)據(jù)集中蝴蝶種類數(shù)量分布不均等性和蝴蝶種類形態(tài)之間的相似性,本文先設計了一種基于可變形卷積模型的二分類檢測網(wǎng)絡(簡稱DNET-base),強化網(wǎng)絡對特征的學習能力.如圖8 中的第一階段參數(shù)與二分類過程所示,所建網(wǎng)絡包括兩個部分:

1)通過可變形卷積模型重建ResNet-101 特征提取過程,即把ResNet-101 的全連接層和均值池化層都移除,重新構(gòu)建ResNet-101 結(jié)構(gòu)剩余層Conv2(Res2c)、Conv3(Res3b3)、Conv4(Res4b 22)和Conv5(Res5a、Res5b、Res5c)的卷積層重構(gòu)為可變形的卷積網(wǎng)絡層.具體構(gòu)建方法如圖7 所示,通過對輸入特征圖進行全卷積獲得相同維度的偏置域?qū)覱ffset,在Offset 的偏置量指引作用下,對輸入特征進行可變形卷積操作獲得輸出特征.

圖7 構(gòu)建ResNet 單元為可變形ResNet 結(jié)構(gòu)Fig.7 Construct the ResNet unit as a deformable ResNet structure RoI

2)結(jié)合RPN 網(wǎng)絡構(gòu)建二分類檢測網(wǎng)絡,通過RPN 網(wǎng)絡與PS RoI 池化層后,可獲得分類得分圖和目標邊框.因為是二分類模型,即類別只有蝴蝶和背景.通過Soft-max 和Soft-NMS[19]在1 000×2的特征信息中獲得準確的蝴蝶類別和位置信息.即將數(shù)據(jù)集中的全部蝴蝶種類歸為一類“Butterfly”.然后,通過DNET-base 網(wǎng)絡對蝴蝶目標和背景進行分離訓練.這種方法可有效避免部分種類數(shù)據(jù)匱乏與種類數(shù)據(jù)量不均衡(數(shù)據(jù)集中部分蝴蝶種類只有1 個樣本,最多92 個樣本)造成的訓練困難問題,可有效強化“第一階段”網(wǎng)絡對蝴蝶特征的提取能力.

階段2(TDDNET).如圖8 所示,借鑒遷移學習的思想,針對性地訓練多分類器(94 類+1 背景),即對第一階段參數(shù)進行遷移,將其作為第二階段中提取特征的基層網(wǎng)絡參數(shù),將其獲得的聚集特征傳遞至第二階段的多分類模型中進行訓練,以此提高分類精確度.首先,基于DNET-base 構(gòu)建TDDNET 框架的特征提取網(wǎng)絡.然后,結(jié)合可變形卷積模型,構(gòu)建以RPN 網(wǎng)絡指導敏感位置區(qū)域可變形RoI 池化層部分,以此獲得多尺度目標的評分特征圖和精準位置信息,最后通過Soft-max 和Soft-NMS 進行多分類優(yōu)化,形成完整的TDDNET 模型.并且在所提算法中使用在線難示例挖掘(Online hard example mining,OHEM)算法[23]優(yōu)化訓練PS RoI 的卷積檢測算子,由此可獲得最小的訓練損失和較高的均值平均精度(Mean average precision,mAP).因為OHEM 取消了人為設置的參數(shù),同時放寬了正負樣本的約束,以零閾值作為負樣本下界,并取消正負樣本比例.其計算方法為OHEM對RPN 提供的候選區(qū)域計算損失并排序,挑選出損失最大的目標區(qū)域為難樣例再加入網(wǎng)絡訓練.在所提算法中使用Soft-NMS 方法提取目標邊框.非極大值抑制NMS 算法,可獲取目標的最佳坐標,并移除目標的重復邊界框,如式(3)所示.

圖8 本文所提算法的網(wǎng)絡模型與參數(shù)說明(TDDNET)Fig.8 Network model and parameter description of the algorithm proposed in this paper(TDDNET)

其中,si為評分,Nt為抑制閾值.由于NMS 采用置信度最高的檢測方法,因其相鄰目標檢測框置信度強制為0,所以對于區(qū)域重疊較大的目標(如圖1)會出現(xiàn)漏檢,從而導致算法的檢出率降低.Soft-NMS[19]中將NMS 算法進行改進,使得si ←sif(iou(M,bi)),由此可使用線性加權(quán)的方式改寫NMS 算法函數(shù),如式(4)所示.

其中,iou(M,bi)為最大評分的邊界框M與待處理邊界框bi的交并比.在TDDNET 框架中使用的損失函數(shù)與R-FCN 和Faster R-CNN 中的一樣,采用多目標檢測損失函數(shù),即同時考慮分類損失和位置損失.在可變形的PSRoI 池化后會得到k2個區(qū)域塊,對每一個區(qū)域塊都有c+1(為c類+1 背景)維的分類預測向量,由此產(chǎn)生分類得分特征圖,如式(5)和(6)所示.

其中,mi,j,c為k2(c+1)個得分特征圖之一,n為區(qū)域塊中的像素數(shù)量,(x0,y0)表示RoI 區(qū)域塊的左上角位置.?xbin(i,j),?ybin(i,j)為第(i,j)區(qū)域塊的偏置量,Θ 為TDDNET 的訓練參數(shù).所提算法中使用Soft-max 來響應分類,如式(7)所示.

由此,可通過交叉熵損失和Soft-L1[10,22]邊框回歸定義TDDNET 中的損失函數(shù),如式(8)所示.

其中,b(x,y,w,h)為預測位置,b?為Ground-Truth 目標位置標注值,c?為類別真值標簽,如果c?=0 表示為背景,Lcls(S,Sc?)=?lncls(S|Sc?)表示交叉熵損失函數(shù),Lreg表示Soft-L1 邊框回歸損失函數(shù).

2 實驗結(jié)果與分析

為了驗證所提算法的有效性,在2018 年第三屆中國數(shù)據(jù)挖掘競賽上提供的蝴蝶生態(tài)照數(shù)據(jù)集[11]上,與現(xiàn)階段一些主流目標檢測算法做對比實驗.對比算法分別為Faster R-CNN[12]、FPN[24]、RFCN[22]、SSD[25]、YOLO-v3[17],其中還對比了由可變形卷積模型重建的Faster R-CNN、R-FCN、FPN網(wǎng)絡模型的變體.通過定性和定量的實驗對比,驗證所提算法在生態(tài)照上的蝴蝶目標檢測效果較好.所提算法與對比實驗評測平臺信息為:1)CPU 為Intel Core i7 6700;2)采用英偉達GTX 1070 8 GB顯存GPU;3)使用Ubuntu 16.04 操作系統(tǒng),內(nèi)存16 GB;4)除了YOLO-v3 網(wǎng)絡實驗外,所提算法與對比實驗均依賴于MXNET 開發(fā)庫框架,其版本為0.12.0,OpenCV 版本為3.4.1.

2.1 數(shù)據(jù)集

所提算法與對比算法使用數(shù)據(jù)包括:標準數(shù)據(jù)集和拓展數(shù)據(jù)集.其中,標準數(shù)據(jù)集為2018 年第三屆中國數(shù)據(jù)挖掘競賽所提供的蝴蝶圖像數(shù)據(jù)集,其中蝴蝶生態(tài)照數(shù)據(jù)集721 張共94 類蝴蝶(測試集暫未公開),圖像分辨率最大為7 630×4 912 與最小為800×450,且生態(tài)蝴蝶標注為種名類別,如金裳鳳蝶(編號AAaa0001002),多姿麝鳳蝶(編號AAaa0003011).生態(tài)蝴蝶數(shù)據(jù)集中目標特征多樣、尺度變化較大,些許蝴蝶類的偽裝色與背景極為相似,以及部分圖像曝光不足等特點.數(shù)據(jù)集中有部分類別,如西番翠鳳蝶與克里翠鳳蝶、云豹蛺蝶與伊諾小豹蛺蝶,其在形態(tài)上基本一致,但在紋理和顏色特征[26]上存在一定差異,即一些細節(jié)紋理和顏色特征起到了主導作用,具有一定細粒度特性[27].

標準數(shù)據(jù)集中,每種蝴蝶至少1 個樣本,最多包含92 個樣本,呈現(xiàn)出典型的長尾分布;另外,蝴蝶標本模式照圖像數(shù)據(jù)集中與94 類一致的有480 張.每種蝴蝶至少1 個樣本,最多包含11 個樣本.94 類蝴蝶的整體數(shù)據(jù)分布如圖9 所示.

圖9 蝴蝶生態(tài)照圖像數(shù)據(jù)集樣本分布Fig.9 Sample distribution of butterfly image dataset

拓展數(shù)據(jù)集,根據(jù)標準數(shù)據(jù)集的統(tǒng)計信息(如圖9 所示)進行再次收集,將少于10 個樣本的蝴蝶種類進行數(shù)據(jù)擴充,共擴充789 張圖像均來自于網(wǎng)絡上的蝴蝶生態(tài)圖像.最后的數(shù)據(jù)集樣本分布如圖10所示.在實驗中做了簡單交叉驗證,即將數(shù)據(jù)按照各個類的數(shù)量進行對半劃分,確保每個類在測試集合和訓練集中都有近似相等的數(shù)據(jù)量,并做兩者的交替實驗,其檢測結(jié)果相差小于1%.因此,為了確保數(shù)據(jù)充分驅(qū)動模型,以及測試數(shù)據(jù)集公正性,在全部蝴蝶生態(tài)照圖像數(shù)據(jù)集中,按照種類樣本數(shù)量的20% 抽取相應圖像作為最終測試集,由此將蝴蝶生態(tài)照圖像數(shù)據(jù)集劃分為訓練集1 215 張,測試集286張.

在施工前就與業(yè)主、監(jiān)理協(xié)商好，建立一個統(tǒng)一的測量、驗收標準體系。在以后的施工、驗收、各種質(zhì)檢站活動中用同一個基準來測量驗收。以免引起不必要的麻煩。

最后,考慮到數(shù)據(jù)集中蝴蝶目標平移或旋轉(zhuǎn)不變性,對數(shù)據(jù)集進行增廣,包括水平翻轉(zhuǎn)、旋轉(zhuǎn)±30?,得到蝴蝶訓練數(shù)據(jù)集5 085 張(生態(tài)照1 215×3 張+模式照480×3 張),蝴蝶測試照854張.從不同角度采集數(shù)據(jù),對蝴蝶目標檢測性能有一定的促進作用.所以,旋轉(zhuǎn)角度可以隨意選擇,但角度選擇不宜過多,以免造成冗余訓練,拓展數(shù)據(jù)集分布情況如圖10 所示.

2.2 主觀結(jié)果分析

針對生態(tài)蝴蝶圖像一些特點,對所提算法與對比算法的改進變體在測試數(shù)據(jù)集上進行主觀檢測,如圖11 所示.在圖11 中實線箭頭為誤檢目標(分類錯誤)、虛箭頭為目標重疊框、菱形為漏檢目標.從圖11 可看出,對于大目標的圖像,本文算法和FPN* 均獲得了完整目標框,然而FPN* 檢出重疊目標,R-FCN* 和Faster R-CNN* 出現(xiàn)目標割裂,這說明蝴蝶形態(tài)(展翅正視與合翅側(cè)視)在對比算法存在一定的影響.在對重疊目標中R-FCN* 與Faster RCNN* 均出現(xiàn)誤檢目標框,因此在特征區(qū)分度上較弱于其他算法.在相似目標、弱特征目標以及密集小目標上對比算法均出現(xiàn)了誤檢、漏檢以及重疊檢測現(xiàn)象,本文所提算法僅出現(xiàn)了對部分小目標漏檢,整體表現(xiàn)優(yōu)于對比算法.在蝴蝶目標被遮擋和合翅正視情況下,本文算法可以獲得較為完整的目標邊界框,Faster RCNN* 出現(xiàn)了目標割裂和漏檢情況,其他算法檢測到的蝴蝶邊界框與標注邊界框重合度存在相對較大的差值,且在這兩種情況下檢測置信度都相對較低.因此,本文算法在大目標與重疊目標上對特征的細微區(qū)分表現(xiàn)較好,對背景相似目標與弱特征目標的檢測也較為穩(wěn)定,且少誤檢和漏檢.在圖11 中,所提算法檢測結(jié)果與預檢測目標(Ground-truth)較相符.

2.3 客觀結(jié)果分析

評價標準采用mAP0.5和mAP0.7,以及檢出率(Detection rate,DR)和精確度(Accuracy,ACC).其中,DR 與ACC 來自2018 年第三屆中國數(shù)據(jù)挖掘大賽的評價標準.檢出率DR 為所有覆蓋率的平均值,其中覆蓋率為交并比(Intersection over union,IoU)的值.精確度ACC 為分類正確的數(shù)量與生態(tài)蝴蝶總數(shù)量的比值.

所提算法自身對比實驗,包括四種情況:1)所提算法的完整模型驗證;2)所提算法中使用NMS算法的驗證;3)不采用遷移學習,即摒棄DNETbase 模型架構(gòu),直接訓練DDNET(NMS)模型架構(gòu)驗證,此模型也是我們在第三屆數(shù)據(jù)挖掘大賽上使用的模型;4)所提算法中采用無可變形卷積的ResNet-101 網(wǎng)絡驗證.如表1 所示,所提算法檢測效果表現(xiàn)較好.同時,對比了可變形卷積網(wǎng)絡在不同層時對所提算法的影響,如表2 所示.

圖10 蝴蝶生態(tài)照圖像拓展數(shù)據(jù)集樣本分布Fig.10 Sample distribution of butterfly image dataset

表1 針對所提算法網(wǎng)絡結(jié)構(gòu)自身差異對比Table 1 Contrast the differences of the network structure of the proposed algorithm

在表1 中的實驗數(shù)據(jù)說明,模型DDNET(NMS,無遷移)的檢測效果優(yōu)于TDDNET(無可變形卷積),即加入可變形卷積對網(wǎng)絡影響較大.從測試數(shù)據(jù)中也表現(xiàn)出Soft-NMS 的效果較優(yōu)于NMS模型,并且模型參數(shù)的遷移對網(wǎng)絡也有積極的影響.因此,可變形卷積網(wǎng)絡和模型遷移學習方法均有利于提高網(wǎng)絡的檢測性能.

表2 針對所提算法中在不同層使用可變形卷積模型的差異Table 2 Aiming at the difference of using deformable convolution network in different layers of the proposed algorithm

在表2 中實驗數(shù)據(jù)說明,可變形卷積層對網(wǎng)絡的檢測性能是非常有利的.然而隨著可變形卷積網(wǎng)絡層數(shù)的增加,網(wǎng)絡參數(shù)也是成倍地增長,網(wǎng)絡耗時也在遞增,需要按照實際問題需求設置可變形卷積網(wǎng)絡層.

所提算法與主流檢測算法對比實驗,如表3 所示,對比算法包括Faster R-CNN[12]、FPN[24]、RFCN[22]、SSD[25]、YOLO-v3[17],其中YOLO-v3 的預訓練網(wǎng)絡模型分別為ResNet50 和DarkNet.同時,也對比了由可變形卷積模型構(gòu)建的Faster RCNN、R-FCN、FPN 網(wǎng)絡模型的變體,用* 表示.在表3 中實驗數(shù)據(jù)說明,所提算法優(yōu)于對比算法.并且,Faster R-CNN、R-FCN、FPN 在經(jīng)過可變形卷積網(wǎng)絡重建后,相比原來算法檢測性能上都有一定改善.FPN* 與所提算法實驗結(jié)果數(shù)值上非常接近,然而,FPN* 算法計算復雜度高于本文算法,且耗時較長.從DR 值和ACC 的值上也說明,所提算法對蝴蝶特征的位置敏感性較好,分類準確性也較高.

表3 所提算法與其他目標檢測算法的實驗結(jié)果Table 3 Experimental results of the proposed algorithm and other target detection algorithms

2.4 實驗討論

卷積網(wǎng)絡對圖像特征提取,可理解卷積為濾波,是對特征信息的篩選與疊加,逐步讓目標的特征轉(zhuǎn)向語義特征,而構(gòu)建網(wǎng)絡讓這種多維特征語義化更加有效.然而,常規(guī)的卷積模型被固定結(jié)構(gòu)所限制,Yu 等[28]嘗試擴張卷積的感受野,可以對目標的輪廓信息保留較好.Zhou 等[29]對卷積核做了旋轉(zhuǎn)操作,讓網(wǎng)絡可以得到目標的角度信息.Jeon 等[30]通過星形蔓延方式改變固定的卷積核,讓離散的輸入空間變成一個連續(xù)的采樣空間,來提升網(wǎng)絡對特征提取能力.Jaderberg 等[21]則利用仿射變換的思想提出了空間變換網(wǎng)絡,可對各種形變的數(shù)據(jù)進行空間變換,以此提高分類準確率.可變形卷積模型可以理解為卷積包含了上述模型的基本變換.可變形卷積讓卷積過程變得更加靈活,對特征提取也變得更強更準確.因此,針對蝴蝶目標特征多樣性、形態(tài)多變性等特點,以及目標的細化分類與檢測難問題,在所提算法上有較大的改善,并且獲得了較好的檢測效果.

圖11 實驗主觀結(jié)果對比示例Fig.11 Contrastive examples of subjective results of experiments

本文骨干網(wǎng)絡模型選擇RCNN 網(wǎng)絡.因為目標檢測過程中有很多不確定的因素,如圖像中的目標形狀、姿態(tài)、數(shù)量以及成像時會有光照、遮擋等因素干擾、目標檢測算法主要集中在兩個方向:Twostage 算法(如RCNN[11?12,22,24,31]系列)和Onestage 算法(如YOLO[16?17]、SSD[25]等).兩者主要區(qū)別在于Twostage 算法需要先生成預選框,然后進行細粒度目標檢測.Onestage 算法會直接提取特征來預測目標分類和位置.因此,采用第一種方式的算法偏向于檢測精度,采用第二種方式的算法偏向于檢測速度.數(shù)據(jù)提供者要求每張圖像檢測時間在2 秒內(nèi),故本文算法的骨干網(wǎng)絡模型選擇RCNN網(wǎng)絡,并且所提算法實驗檢測效率約2 張/秒至3張/秒.

因為在相同的任務上,不同網(wǎng)絡模型對目標學習的偏向性不同,如檢出率、精確性等.如對生態(tài)照中的小目標蝴蝶群體,利用蝴蝶的群體習性,故可借鑒李策等[32]的目標語義關(guān)聯(lián)方法實現(xiàn)小目標檢測.也可使用多網(wǎng)絡協(xié)同檢測方式[33]或者網(wǎng)絡級聯(lián)優(yōu)化方式[34],通過融合檢測結(jié)果獲得較好的檢測效果.也可使用如Inception[35]、ResNext[36]等深度殘差網(wǎng)絡繼續(xù)改進算法模型,以及借鑒Mask R-CNN[31]中的RoI Align 模型等解決“邊框?qū)R問題”,以此提升目標檢測網(wǎng)絡的精確度.此外,生態(tài)蝴蝶照圖像中蝴蝶目標尺度變化也是非常大,可以借鑒Zhou等[37]和Bharat 等[38]的多尺度目標檢測算法來改進生態(tài)蝴蝶目標檢測.

3 結(jié)論

在分析了部分主流目標檢測算法的優(yōu)勢,以及在生態(tài)蝴蝶檢測問題上的局限性的基礎(chǔ)上,針對蝴蝶生態(tài)照圖像中的蝴蝶檢測問題,本文提出了一種基于遷移學習和可變性卷積深度神經(jīng)網(wǎng)絡的蝴蝶檢測算法.所提算法利用可變性卷積模型來增加特征網(wǎng)絡的基層卷積層對特征的萃取能力,結(jié)合RPN 網(wǎng)絡,構(gòu)建可變形的位置敏感區(qū)域池化模型進一步提升網(wǎng)絡的檢測精準性,并利用遷移學習的思想,在任務中有效地解決了數(shù)據(jù)樣本不平衡與匱乏的問題.在對比實驗中也取得了較好的檢測結(jié)果.在未來的工作中將借鑒深監(jiān)督學習思想,結(jié)合遷移學習知識與可變形卷積模型理論繼續(xù)改進目標檢測模型.