基于數(shù)據(jù)增強(qiáng)的高原鼠兔目標(biāo)檢測(cè)

陳海燕，甄霞軍，趙濤濤

基于數(shù)據(jù)增強(qiáng)的高原鼠兔目標(biāo)檢測(cè)

陳海燕，甄霞軍，趙濤濤

(蘭州理工大學(xué)計(jì)算機(jī)與通信學(xué)院，甘肅 蘭州 730050)

針對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)的高原鼠兔目標(biāo)檢測(cè)模型在實(shí)際應(yīng)用中缺乏訓(xùn)練數(shù)據(jù)的問(wèn)題，提出一種前景與背景融合的數(shù)據(jù)增強(qiáng)方法：首先對(duì)訓(xùn)練集數(shù)據(jù)進(jìn)行前景和背景的分離，對(duì)分離的前景作圖像隨機(jī)變換，對(duì)分離的背景用背景像素隨機(jī)覆蓋，得到前景集合和背景集合；從前景集合和背景集合中隨機(jī)選取前景和背景，進(jìn)行像素加融合；再?gòu)挠?xùn)練集中隨機(jī)選取樣本，將標(biāo)注邊界框區(qū)域采用剪切粘貼方法融合到訓(xùn)練圖像的隨機(jī)位置，得到增強(qiáng)數(shù)據(jù)集。采用兩階段的弱監(jiān)督遷移學(xué)習(xí)訓(xùn)練模型，第一階段在增強(qiáng)數(shù)據(jù)集上對(duì)模型預(yù)訓(xùn)練；第二階段在原始訓(xùn)練集上微調(diào)預(yù)訓(xùn)練模型，得到檢測(cè)模型。對(duì)自然場(chǎng)景下高原鼠兔目標(biāo)檢測(cè)的結(jié)果表明：在相同的試驗(yàn)條件下，基于前景與背景融合數(shù)據(jù)增強(qiáng)的目標(biāo)檢測(cè)模型的平均精度優(yōu)于未數(shù)據(jù)增強(qiáng)、Mosaic和CutOut數(shù)據(jù)增強(qiáng)的目標(biāo)檢測(cè)模型；基于前景、背景融合數(shù)據(jù)增強(qiáng)的目標(biāo)檢測(cè)模型的最優(yōu)平均精度為78.4%，高于Mosaic的72.60%、Cutout的75.86%和Random Erasing的77.4%。

高原鼠兔；樣本缺乏；數(shù)據(jù)增強(qiáng)；遷移學(xué)習(xí)；樣本平衡

高原鼠兔目標(biāo)檢測(cè)是對(duì)其進(jìn)行種群數(shù)量統(tǒng)計(jì)及研究種群動(dòng)態(tài)變化的基礎(chǔ)[1–2]。基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的目標(biāo)檢測(cè)模型需要大量的訓(xùn)練數(shù)據(jù)[3–10]，而自然場(chǎng)景下的高原鼠兔多分布于高原山地，采集高原鼠兔圖像困難，導(dǎo)致基于CNN的高原鼠兔目標(biāo)檢測(cè)模型缺乏訓(xùn)練數(shù)據(jù)[11]。

在圖像分類和目標(biāo)檢測(cè)領(lǐng)域，普遍認(rèn)為模型的性能與訓(xùn)練樣本數(shù)量的對(duì)數(shù)成正比[12]。而由于隱私和安全性等因素的影響，使樣本的獲取難度大，導(dǎo)致模型缺乏訓(xùn)練數(shù)據(jù)，引起過(guò)擬合[13]。針對(duì)缺乏訓(xùn)練數(shù)據(jù)導(dǎo)致的模型過(guò)擬合問(wèn)題，通常采用早停止(early stopping)、正則化(regularization)、選擇丟棄(dropout)和數(shù)據(jù)增強(qiáng)(data augmentation)等方法解決[14]。數(shù)據(jù)增強(qiáng)的目的是對(duì)訓(xùn)練數(shù)據(jù)集擴(kuò)充，從而降低模型的過(guò)擬合[15–16]。圖像變換是一種常用的數(shù)據(jù)增強(qiáng)方法，通常采用圖像的仿射、扭曲和隨機(jī)剪切等變換來(lái)擴(kuò)大數(shù)據(jù)集[15]。常見(jiàn)的基于圖像變換的數(shù)據(jù)增強(qiáng)方法主要有Cutout[17]、Random Erasing[18]、MixUp[19]、Mosaic[3]等。這些基于圖像變換的方法生成的圖像與原數(shù)據(jù)集圖像有相同的語(yǔ)義信息，對(duì)提高訓(xùn)練數(shù)據(jù)的多樣性和泛化能力有限[20]。SHIN等[21]在研究少樣本的船舶檢測(cè)時(shí)，使用前景提取和粘貼的方法生成新樣本，提高前景目標(biāo)的位置分布模式，在擴(kuò)大船舶數(shù)據(jù)集時(shí)提高數(shù)據(jù)集的多樣性，雖然在特定數(shù)據(jù)集中表現(xiàn)出較好的性能，但并未考慮數(shù)據(jù)集中前景和背景類別不平衡的問(wèn)題。當(dāng)數(shù)據(jù)集中前景和背景類別不平衡時(shí)會(huì)導(dǎo)致基于anchor機(jī)制的目標(biāo)檢測(cè)模型在訓(xùn)練中存在正負(fù)anchor不平衡的問(wèn)題。文獻(xiàn)[20]指出，通過(guò)改變前景目標(biāo)在圖像中的位置，可以豐富前景目標(biāo)的位置分布模式，提高數(shù)據(jù)集的多樣性。文獻(xiàn)[22]指出，增加圖像中小目標(biāo)的數(shù)量，可以增加與前景目標(biāo)相交的先驗(yàn)框數(shù)量，平衡訓(xùn)練中的正負(fù)樣本。

受到文獻(xiàn)[21]和文獻(xiàn)[22]中前景提取和粘貼增強(qiáng)方法的啟發(fā)，針對(duì)模型缺乏訓(xùn)練數(shù)據(jù)的問(wèn)題，筆者提出一種前景和背景融合的數(shù)據(jù)增強(qiáng)方法，記為FBFAP。在此方法的基礎(chǔ)上，結(jié)合兩階段的弱監(jiān)督遷移學(xué)習(xí)訓(xùn)練模型，第1階段在增強(qiáng)數(shù)據(jù)集上預(yù)訓(xùn)練模型，第2階段在原始數(shù)據(jù)集上微調(diào)預(yù)訓(xùn)練模型，得到檢測(cè)模型，然后用最終的目標(biāo)檢測(cè)模型對(duì)高原鼠兔進(jìn)行檢測(cè)。

1　FBFAP數(shù)據(jù)增強(qiáng)方法

研究[22]表明，在前景和背景融合中，隨著單張圖像上融合的前景數(shù)量增多，模型的精度反而會(huì)下降，融合前景數(shù)量為2時(shí)模型達(dá)到最優(yōu)。以此為依據(jù)，將融合的前景目標(biāo)數(shù)設(shè)置為2。

2　高原鼠兔檢測(cè)模型的建立及訓(xùn)練

以文獻(xiàn)[9]中的Faster R–CNN為基礎(chǔ)模型，結(jié)構(gòu)如圖1所示，采用兩階段的弱監(jiān)督遷移學(xué)習(xí)方法進(jìn)行訓(xùn)練。第1階段，在FBFAP增強(qiáng)的數(shù)據(jù)集上對(duì)模型預(yù)訓(xùn)練，優(yōu)化器為Adam，初始學(xué)習(xí)率為0.001，每5個(gè)epoch，學(xué)習(xí)率衰減為原來(lái)的0.1；beta1和beta2分別是0.9和0.999；訓(xùn)練30個(gè)epoch, BatchSize為4。第2階段，在原始數(shù)據(jù)集上微調(diào)預(yù)訓(xùn)練的模型，參數(shù)設(shè)置與第1階段一致。試驗(yàn)平臺(tái)為搭載NVIDIA Titan V 顯卡的圖形工作站，CUDA和CUDNN版本分別是10.1.168和7.6.1，操作系統(tǒng)為Ubuntu LTS 16.04。模型實(shí)現(xiàn)框架為Pytorch 1.1和Torchvision 0.3，使用Python 3.5.2編程。

為了評(píng)價(jià)FBFAP方法的性能，采用查準(zhǔn)率()召回率()平均精度(AP)作為評(píng)價(jià)指標(biāo)。

圖1　檢測(cè)模型結(jié)構(gòu)

3　高原鼠兔目標(biāo)檢測(cè)

3.1　數(shù)據(jù)采集

高原鼠兔數(shù)據(jù)為在青藏高原東北部(101?35ˊ36?～ 102?58ˊ15?E、33?58ˊ21?～34?48ˊ48?N)甘南草原采集的高原鼠兔圖像，總共1100張，其中900張作為訓(xùn)練集，200張作為測(cè)試集，分別記為D–train和D–test。數(shù)據(jù)集格式與Pascal VOC[23]數(shù)據(jù)集格式一致。為了便于研究，將訓(xùn)練集隨機(jī)分成大小為100、200和600的訓(xùn)練集，分別記為DI–train，DII–train，DIII–train。使用數(shù)據(jù)增強(qiáng)方法得到的數(shù)據(jù)集記為增強(qiáng)數(shù)據(jù)集。

3.2　原始數(shù)據(jù)集上的檢測(cè)結(jié)果

表1所示是在DI–train、DII–train、DIII–train和D–train訓(xùn)練集上訓(xùn)練的基于Faster R–CNN的目標(biāo)檢測(cè)模型的和AP值。可以發(fā)現(xiàn)，訓(xùn)練數(shù)據(jù)集越大，模型的性能越好，進(jìn)一步表明大數(shù)據(jù)集對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的必要性。由于DI–train和DII–train上的性能較差，因此在DI–train和DII–train上進(jìn)行研究更具代表性，最后實(shí)現(xiàn)對(duì)D–train增強(qiáng)。

表1　原始數(shù)據(jù)集上的查準(zhǔn)率與召回率和平均精度

3.3　對(duì)DI–train, DII–train和D–train數(shù)據(jù)增強(qiáng)后的檢測(cè)結(jié)果

使用FBFAP方法分別對(duì)DI–train和DII–train增強(qiáng)，并使用兩階段的弱監(jiān)督遷移學(xué)習(xí)訓(xùn)練基于Faster R–CNN的目標(biāo)檢測(cè)模型。表2所示為DI–train增強(qiáng)數(shù)據(jù)集大小對(duì)模型檢測(cè)性能的影響。結(jié)果表明：FBFAP方法能夠有效提高模型的和AP；DII–train增強(qiáng)數(shù)據(jù)集大小對(duì)模型檢測(cè)性能的影響類似，且在DI–train和DII–train的增強(qiáng)數(shù)據(jù)集是600時(shí)取得最優(yōu)AP，分別為66.74%和78.40%。

對(duì)D–train使用FBFAP數(shù)據(jù)增強(qiáng)，增強(qiáng)數(shù)據(jù)集大小為600，此時(shí)的值為49.62，值為93.81，AP值為83.34，可以發(fā)現(xiàn)FBFAP提高了模型的召回率和平均精度。

表2　DI–train增強(qiáng)數(shù)據(jù)的查準(zhǔn)率與召回率和平均精度

為了進(jìn)一步說(shuō)明FBFAP方法的有效性，使用 Mosaic、Cutout和Random Erasing方法分別對(duì)DI–train和DII–train增強(qiáng)，在相同的增強(qiáng)樣本數(shù)量和相同的試驗(yàn)條件下訓(xùn)練檢測(cè)模型，并將他們的檢測(cè)結(jié)果與本檢測(cè)結(jié)果相比較。

圖2為不同數(shù)據(jù)增強(qiáng)方法對(duì)高原鼠兔目標(biāo)檢測(cè)的示例，紅色矩形框表示目標(biāo)檢測(cè)的結(jié)果。可以看出，相對(duì)于未數(shù)據(jù)增強(qiáng)、Mosaic數(shù)據(jù)增強(qiáng)、Cutout數(shù)據(jù)增強(qiáng)、Random Erasing數(shù)據(jù)增強(qiáng)的目標(biāo)檢測(cè)方法，基于FBFAP的高原鼠兔目標(biāo)檢測(cè)方法更準(zhǔn)確。

[1] 陳海燕，陳剛琦．基于語(yǔ)義分割的高原鼠兔目標(biāo)檢測(cè)[J]．華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版)，2020，48(7)：7–12．

[2] 陳海燕，陳剛琦，張華清．基于SegNet模型的高原鼠兔的圖像分割[J]．湖南農(nóng)業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版)，2020，46(6)：749–752.

[3] BOCHKOVSKIY A，WANG C Y，LIAO H Y M . YOLOv4：optimal speed and accuracy of object detection [EB/OL].[2021–03–29].https://arxiv.org/pdf/2004.10934v1.pdf.

[4] GIRSHICK R，DONAHUE J，DARRELL T，et al．Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition Columbus．New York：IEEE，2014：580–587.

[5] HE K M，GKIOXARI G，DOLLáR P，et al．Mask R-CNN[C]//2017 IEEE International Conference on Computer Vision. New York：IEEE，2017：2980–2988.

[6] LIU W，ANGUELOV D，ERHAN D，et al．SSD：Single Shot MultiBox Detector[C]//Proceedings of the 14th European Conference on Computer Vision．Berlin：Springer，2016：21–37.

[7] SERMANET P，EIGEN D，ZHANG X et al．OverFeat：Integrated Recognition，Localization and Detection using Convolutional Networks [EB/OL]．[2021–03–29]．https:// arxiv.org/pdf/1312.6229.pdf.

[8] REDMON J，DIVVALA S，GIRSHICK R，et al．You only look once：unified，real-time object detection[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition．New York：IEEE，2016：779–788.

[9] REN S Q，HE K M，GIRSHICK R，et al．Faster R-CNN：towards real-time object detection with region proposal networks[J]．IEEE transactions on pattern analysis and machine intelligence，2017，39(6)：1137–1149.

[10] TIAN Z，SHEN C H，CHEN H，et al．FCOS：fully convolutional one-stage object detection[C]//2019 IEEE/ CVF International Conference on Computer Vision (ICCV)．New York：IEEE，2017：9626–9635.

[11] 張愛(ài)華，王帆，陳海燕.基于改進(jìn)CV模型的目標(biāo)多色彩圖像分割[J]．華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版)，2018，46(1)：63–66．

[12] SUN C，SHRIVASTAVA A，SINGH S，et al．Revisiting unreasonable effectiveness of data in deep learning era [C]//2017 IEEE International Conference on Computer Vision(ICCV)．New York：IEEE，2017：843–852.

[13] LU J，GONG P，YE J，et al．Learning from very few samples：a survey[EB/OL]．[2021–03–29]．https://arxiv. org/pdf/2009.02653.

[14] WU Q F，CHEN Y P，MENG J．DCGAN-based data augmentation for tomato leaf disease identification[J]. IEEE Access，2020，8：98716–98728.

[15] SHORTEN C，KHOSHGOFTAAR T M．A survey on image data augmentation for deep learning[J]．Journal of Big Data 2019，6：60.

[16] TAKAHASHI R，MATSUBARA T，UEHARA K．Data augmentation using random image cropping and patching for deep CNNs[J]．IEEE Transactions on Circuits and Systems for Video Technology，2020，30(9)：2917–2931.

[17] DEVRES T，TAYLOR G W．Improved regularization of convolutional neural networks with cutout[EB/OL]. [2021–03–29]．https://arxiv.org/pdf/1708.04552.

[18] ZHONG Z，ZHENG L，KANG G，et al．Random Erasing Data Augmentation [EB/OL]．[2021–03–29]．https://arxiv. org/pdf/1708.04896.

[19] ZHANG H Y，MOUSTAPHA C，YANN N D，et al. MixUp：beyond empirical risk minimization[EB/OL]. [2021–03–29]．https://arxiv.org/pdf/1710.09412.

[20] BANG S，BAEK F，PARK S，et al．Image augmentation to improve construction resource detection using genera- tive adversarial networks，cut-and-paste，and image transformation techniques[J]．Automation in Construction，2020，115：103198.

[21] SHIN H C，LEE K I，LEE C E．Data augmentation method of object detection for deep learning in maritime image[C]//2020 IEEE International Conference on Big Data and Smart Computing(BigComp)．New York：IEEE，2020：463–466.

[22] KISANTAL M，WOJNA Z，MURAWSKI J，et al. Augmentation for small object detection[EB/OL]. [2021–03–29]．https://arxiv.org/pdf/1902.07296.

[23] EVERINGHAM M，VAN GOOL L，WILLIAMS C K I，et al．The pascal visual object classes (voc) challenge[J]. International Journal of Computer Vision，2010，88(2)：303–338.

Target detection ofbased on the data augmentation

CHEN Haiyan，ZHEN Xiajun，ZHAO Taotao

(School of Computer and Communication, Lanzhou University of Technology, Lanzhou Gansu 730050, China)

Aiming at the problem that thetarget detection model based on convolutional neural network lacks training data in practical application, a data augmentation method is proposed by the fusion of foreground and background. Firstly, separate the foreground and the background of the training data, with image transforming the separated foreground randomly and covering the separated background by background pixels, to obtain the foreground set and the background set, respectively. The foreground and background are randomly selected from the foreground set and the background set, respectively and are fused based on pixel addition. Then randomly select a sample from the training set, and use the cut-and-paste method to fuse the labeled bounding box area of the selected sample to the training images' random positions to obtain an augmented data set. A two-stage weakly supervised transfer learning was used as the train the model. The first stage pre-trains the model dependent on the augmented data set. The second stage fine-tunes the pre-training model to obtain the detection model. Under the same experimental conditions, the experimental results of the target detection ofin natural scenes show that the average accuracy of the target detection model based on this method is better than that of the target detection model without data augmentation, Mosaic, and Cutout data augmentation. The optimal AP of the target detection model based on data augmentation method by the fusion of foreground and background is 78.4%, which is higher than 72.6% of Mosaic method, 75.86% of Cutout method, and 77.4% of Random Erasing method.

; lack of samples; data augmentation; transfer learning; sample balance

TP319

A

1007-1032(2022)04-0496-05

陳海燕，甄霞軍，趙濤濤．基于數(shù)據(jù)增強(qiáng)的高原鼠兔目標(biāo)檢測(cè)[J]．湖南農(nóng)業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版)，2022，48(4)：496–500．

CHEN H Y，ZHEN X J，ZHAO T T．Target detection ofbased on the data augmentation[J]．Journal of Hunan Agricultural University(Natural Sciences)，2022，48(4)：496–500．

http://xb.hunau.edu.cn

2021–05–07

2022–03–25

國(guó)家自然科學(xué)基金項(xiàng)目(62161019、62061024)

陳海燕(1978—)，女，甘肅隴西人，博士，副教授，主要從事圖像處理研究，chenhaiyan@sina.com

責(zé)任編輯：羅慧敏

英文編輯：吳志立