基于關(guān)鍵點(diǎn)的實(shí)驗(yàn)鼠視覺(jué)檢測(cè)研究①

王明陽(yáng)， 王江濤,b，*, 劉 琛

(a.淮北師范大學(xué)物理與電子信息學(xué)院;b.淮北師范大學(xué)信息學(xué)院；安徽 淮北 235000)

0 引 言

在生命科學(xué)、醫(yī)學(xué)等領(lǐng)域中實(shí)驗(yàn)鼠一直扮演著不可或缺的角色，比如在生物醫(yī)學(xué)研究中實(shí)驗(yàn)鼠主要用于藥物評(píng)價(jià)和毒性實(shí)驗(yàn)等。實(shí)驗(yàn)鼠是醫(yī)藥等科學(xué)研究必備的實(shí)驗(yàn)動(dòng)物，使用程度較高，使用范圍較廣，為避免人工記錄造成的實(shí)驗(yàn)誤差與人力的大量投入，通過(guò)計(jì)算機(jī)對(duì)實(shí)驗(yàn)鼠進(jìn)行檢測(cè)，分析視頻記錄，給實(shí)驗(yàn)者提供更精準(zhǔn)和詳細(xì)的實(shí)驗(yàn)鼠運(yùn)動(dòng)信息具有重要的應(yīng)用價(jià)值和廣闊的應(yīng)用前景[1]。實(shí)驗(yàn)鼠的研究可能需要在多個(gè)場(chǎng)景與多種環(huán)境下進(jìn)行，復(fù)雜的環(huán)境使得在檢測(cè)實(shí)驗(yàn)鼠時(shí)有諸多的難點(diǎn)，比如實(shí)驗(yàn)鼠的遮擋問(wèn)題或?qū)嶒?yàn)鼠的伸展性與多動(dòng)性等都會(huì)給實(shí)驗(yàn)鼠的目標(biāo)檢測(cè)帶來(lái)挑戰(zhàn)。

隨著深度學(xué)習(xí)的興起，目標(biāo)檢測(cè)領(lǐng)域?qū)崿F(xiàn)了突破性的發(fā)展，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法已成為該領(lǐng)域中非常重要的一類算法，主要分為兩類，一類是以RCNN[2]為代表的基于Region Proposal的目標(biāo)檢測(cè)算法[3]，包括 Fast-RCNN[4]，F(xiàn)aster-RCNN[5]，R-FCN[6]和Mask R-CNN[7]等，這類算法屬于Two-stage算法，實(shí)時(shí)性低但準(zhǔn)確率高；以YOLO[8]為代表的基于回歸的目標(biāo)檢測(cè)算法[9]，包括SSD[10]等，這類算法屬于One-stage算法，實(shí)時(shí)性高但準(zhǔn)確率較低，與傳統(tǒng)的目標(biāo)檢測(cè)算法相比，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法的準(zhǔn)確性和實(shí)時(shí)性都有了極大的提高。在基于anchor box的目標(biāo)檢測(cè)算法被廣泛使用的同時(shí)，一種新的目標(biāo)檢測(cè)算法逐漸出現(xiàn)在人們的視野中，基于關(guān)鍵點(diǎn)的目標(biāo)檢測(cè)算法以其獨(dú)特的思想越來(lái)越受到人們的關(guān)注，主要有CornerNet[11]、ExtremeNet[12]和CenterNet[13]等，基于關(guān)鍵點(diǎn)的目標(biāo)檢測(cè)算法不再需要anchor機(jī)制，是目標(biāo)檢測(cè)領(lǐng)域的一種新思想。

由于在應(yīng)對(duì)檢測(cè)實(shí)驗(yàn)鼠這種單目標(biāo)時(shí)，原網(wǎng)絡(luò)的訓(xùn)練時(shí)間長(zhǎng)，算法復(fù)雜度高，無(wú)法用于真正的實(shí)驗(yàn)環(huán)境中，而且在檢測(cè)實(shí)驗(yàn)鼠目標(biāo)時(shí)，因目標(biāo)本身較小，如果卷積層數(shù)過(guò)多會(huì)導(dǎo)致目標(biāo)容易丟失一部分特征信息，針對(duì)上述問(wèn)題，本文提出了改進(jìn)CenterNet的目標(biāo)檢測(cè)方法，該方法重新設(shè)計(jì)了主干網(wǎng)絡(luò)并且在網(wǎng)絡(luò)結(jié)構(gòu)中加入注意力機(jī)制，最后在實(shí)驗(yàn)鼠數(shù)據(jù)集上對(duì)改進(jìn)后的網(wǎng)絡(luò)進(jìn)行訓(xùn)練和驗(yàn)證。

1 CenterNet算法介紹

CenterNet算法是由Zhou X等人提出，網(wǎng)絡(luò)的中心思想是預(yù)測(cè)目標(biāo)的中心點(diǎn)，通過(guò)中心點(diǎn)再回歸目標(biāo)的其他屬性，例如尺寸、3D位置等。CenterNet的輸入圖像經(jīng)過(guò)Backbone Network(Hourglass Network or Resnet or DLA-34)生成Center heatmap、中心點(diǎn)偏置和目標(biāo)的寬高信息，目標(biāo)的寬高信息由每個(gè)峰值點(diǎn)周圍的圖像特征信息得到，再通過(guò)中心點(diǎn)偏置來(lái)修正中心點(diǎn)位置，不需要NMS(非極大值抑制)后處理。CenterNet的檢測(cè)性能可以在MS COCO數(shù)據(jù)集上達(dá)到45.1%的AP值。圖1網(wǎng)絡(luò)結(jié)構(gòu)中的Backbone Network以ResNet為例。

圖1 網(wǎng)絡(luò)總體框架

由圖1可知，網(wǎng)絡(luò)的輸入圖片的分辨率為384×384，經(jīng)過(guò)layer1的4層卷積層,再經(jīng)過(guò)layer2、layer3和layer4的帶有殘差塊的卷積層，得到分辨率為12×12的特征圖，這時(shí)再經(jīng)過(guò)Deconv layer進(jìn)行上采樣，得到分辨率為96×96的特征圖，最后經(jīng)過(guò)卷積層分別得到Center heatmap、中心點(diǎn)偏置和目標(biāo)的寬高信息。

2 輕量化CenterNet算法改進(jìn)

2.1 簡(jiǎn)化CenterNet網(wǎng)絡(luò)

圖1所示的網(wǎng)絡(luò)結(jié)構(gòu)與原網(wǎng)絡(luò)結(jié)構(gòu)中的其它主干網(wǎng)絡(luò)(Hourglass Network和DLA-34)相比，網(wǎng)絡(luò)層數(shù)相對(duì)較淺，網(wǎng)絡(luò)的參數(shù)量與計(jì)算的復(fù)雜度相對(duì)較低，但是在面對(duì)檢測(cè)實(shí)驗(yàn)鼠這樣一個(gè)單一且相對(duì)簡(jiǎn)單的目標(biāo)檢測(cè)任務(wù)時(shí)，此網(wǎng)絡(luò)還是較顯冗余，因此，本文在原網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上重構(gòu)主干網(wǎng)絡(luò)，減少網(wǎng)絡(luò)的計(jì)算復(fù)雜度，并且為了在淺層網(wǎng)絡(luò)下也能保證模型的準(zhǔn)確率，在網(wǎng)絡(luò)中添加SENet注意力模塊。

本文按照CenterNet的網(wǎng)絡(luò)框架重新組構(gòu)了主干網(wǎng)絡(luò)，如圖2所示，考慮到網(wǎng)絡(luò)深度對(duì)檢測(cè)效果的影響，理論上來(lái)說(shuō)，在一定范圍內(nèi)網(wǎng)絡(luò)層數(shù)越多，深度越深，準(zhǔn)確率就會(huì)越高，但網(wǎng)絡(luò)深度在達(dá)到一個(gè)閾值后，雖然準(zhǔn)確率還在增加，但增加的非常緩慢，而網(wǎng)絡(luò)的參數(shù)量卻一直在上升，并且要符合原網(wǎng)絡(luò)4倍下采樣的要求，因此，在綜合考慮并且實(shí)驗(yàn)驗(yàn)證下，本文所改進(jìn)的主干網(wǎng)絡(luò)選用9層卷積層和1層池化層，在此改進(jìn)結(jié)構(gòu)下，模型在保證準(zhǔn)確率的同時(shí)，最大限度的簡(jiǎn)化了模型的結(jié)構(gòu)。

圖1與圖2進(jìn)行相比，圖2中簡(jiǎn)化的網(wǎng)絡(luò)結(jié)構(gòu)舍棄了圖1中原網(wǎng)絡(luò)的殘差結(jié)構(gòu)和上采樣層，將網(wǎng)絡(luò)壓縮到9層卷積層和1層池化層，減少了網(wǎng)絡(luò)的參數(shù)量與計(jì)算量。

圖2 簡(jiǎn)化的CenterNet結(jié)構(gòu)

2.2 SENet注意力模塊

SENet(Squeeze-and-Excitation Networks)[14]是ImageNet2017的冠軍模型，SENet模型參數(shù)少，復(fù)雜度低，并且在一定程度上減少了模型的錯(cuò)誤率，模型結(jié)構(gòu)如圖3所示，SENet主要由Squeeze和Excitation兩部分組成，可以獲得更大的感受區(qū)域面積和不同重要性的特征通道。在網(wǎng)絡(luò)結(jié)構(gòu)中，使用SENet注意力模塊可以得到具有不同權(quán)值的特征通道，根據(jù)這些帶權(quán)值的特征通道可以抑制某些無(wú)效的特征信息，避免了特征圖信息以同等的重要性作為下一層的輸入，可以提高網(wǎng)絡(luò)模型學(xué)習(xí)的效率。

圖3 SENet結(jié)構(gòu)圖

2.3 改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)

改進(jìn)后網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，輸入圖片大小為384×384，網(wǎng)絡(luò)通過(guò)4倍下采樣得到Heatmap、中心點(diǎn)偏置(x和y)和目標(biāo)預(yù)測(cè)的寬與高，經(jīng)過(guò)SENet注意力模塊賦予通道的不同權(quán)值，并將此輸出作為下一層的輸入，更有利于網(wǎng)絡(luò)學(xué)習(xí)實(shí)驗(yàn)鼠的特征，提高網(wǎng)絡(luò)的準(zhǔn)確率。

圖4 改進(jìn)后的網(wǎng)絡(luò)架構(gòu)

由圖4可知，改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)有9層卷積層、1層池化層和SENet注意力模塊，通道注意力模塊放在maxpool層之后，卷積層之前，將注意力模型產(chǎn)生的具有不同權(quán)值的特征通道作為輸入再進(jìn)行卷積，進(jìn)一步提升對(duì)檢測(cè)有用的特征，并相應(yīng)抑制對(duì)當(dāng)前任務(wù)作用小的特征。

2.4 損失函數(shù)

損失函數(shù)由三部分組成，分別是中心點(diǎn)預(yù)測(cè)的損失函數(shù)、中心點(diǎn)偏置損失函數(shù)和目標(biāo)的寬高損失函數(shù)。

中心點(diǎn)預(yù)測(cè)的損失函數(shù)采用Focal Loss，公式(1)為Focal Loss損失函數(shù)的具體形式：

Lk=-

(1)

在上式中，α=2與β=4為設(shè)置的超參數(shù)，N為圖像中的關(guān)鍵點(diǎn)數(shù)量，其中Yxyc高斯核函數(shù)生成的熱點(diǎn)圖，此處的損失函數(shù)可以抑制訓(xùn)練過(guò)程中簡(jiǎn)單樣本的訓(xùn)練比重，增加困難樣本的訓(xùn)練比重，有利于網(wǎng)絡(luò)更好的學(xué)習(xí)。

中心點(diǎn)偏置損失采用L1損失函數(shù)，公式(2)為L(zhǎng)1損失函數(shù)的具體形式：

(2)

目標(biāo)大小的損失函數(shù)也使用L1損失函數(shù)，公式(3)為目標(biāo)大小的損失函數(shù)：

(3)

整體的損失函數(shù)為目標(biāo)中心點(diǎn)損失、中心點(diǎn)偏置損失和目標(biāo)大小損失的和，公式(4)為整體的損失函數(shù)形式：

L=Lk+λsizeLsize+λoffLoff

(4)

其中λsize=0.1，λoff=1。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

本次實(shí)驗(yàn)在Linux操作系統(tǒng)Ubuntu16.04 LTS上完成，在基于Pytorch框架上搭建網(wǎng)絡(luò)，其中Pytorch版本為0.4.1，開(kāi)發(fā)語(yǔ)言為Python 3.6，GPU型號(hào)為GTX1660Ti，顯存為6G，batch_size為32。

實(shí)驗(yàn)數(shù)據(jù)采用實(shí)驗(yàn)鼠數(shù)據(jù)集，為避免訓(xùn)練時(shí)網(wǎng)絡(luò)出現(xiàn)過(guò)擬合現(xiàn)象，本算法選用多種場(chǎng)景下實(shí)驗(yàn)鼠的多種狀態(tài)作為數(shù)據(jù)集，并且在訓(xùn)練時(shí)會(huì)隨機(jī)進(jìn)行翻轉(zhuǎn)或裁剪等操作，提高了訓(xùn)練樣本的數(shù)據(jù)量，同時(shí)提高了模型的魯棒性。

3.2 訓(xùn)練數(shù)據(jù)分析

訓(xùn)練時(shí)中心點(diǎn)的Heatmap由圖5表示，熱點(diǎn)圖由高斯核函數(shù)生成，取值范圍為[0,1]，其中1代表目標(biāo)的中心點(diǎn)，Heatmap是在下采樣之后生成的，原圖像分辨率為320×240，進(jìn)行訓(xùn)練的圖片分辨率為384×384，Heatmap的分辨率為96×96。

圖5 Heatmap示例圖

在網(wǎng)絡(luò)模型訓(xùn)練的過(guò)程中，學(xué)習(xí)率持續(xù)過(guò)大會(huì)導(dǎo)致模型無(wú)法收斂，達(dá)不到一個(gè)最佳效果，一般來(lái)說(shuō)，模型的學(xué)習(xí)率要先大后小，因此，在本實(shí)驗(yàn)中，根據(jù)訓(xùn)練的輪數(shù)進(jìn)行更換學(xué)習(xí)率，學(xué)習(xí)率的曲線如圖6所示：

圖6 學(xué)習(xí)率曲線

訓(xùn)練過(guò)程中記錄了各個(gè)損失函數(shù)的Loss值曲線，包括中心點(diǎn)損失、中心點(diǎn)偏置損失、目標(biāo)寬高損失以及整體損失，其中橫坐標(biāo)為訓(xùn)練的輪數(shù)，縱坐標(biāo)為具體損失函數(shù)數(shù)值，各種損失的Loss值曲線如圖7所示：

圖7 損失函數(shù)曲線

由圖7中的各損失函數(shù)的曲線可以看到在訓(xùn)練到70輪左右時(shí)，損失函數(shù)迅速減少，后面損失函數(shù)逐漸趨于穩(wěn)定。

3.3 實(shí)驗(yàn)效果

圖8為實(shí)驗(yàn)鼠圖片經(jīng)過(guò)改進(jìn)后并且完成訓(xùn)練的模型所產(chǎn)生的相關(guān)熱點(diǎn)圖與實(shí)驗(yàn)效果圖，具體如下圖所示：

圖8 相關(guān)熱點(diǎn)圖與效果圖

其中上圖中a圖的分辨率為320×240，b圖的分辨率為384×384，為網(wǎng)絡(luò)的輸入圖片分辨率，c圖為網(wǎng)絡(luò)產(chǎn)生的熱點(diǎn)圖，可以看到圖中的高亮部分即為預(yù)測(cè)出的實(shí)驗(yàn)鼠的中心點(diǎn)，d圖為網(wǎng)絡(luò)最終檢測(cè)效果圖。

圖9為原網(wǎng)絡(luò)與改進(jìn)后的網(wǎng)絡(luò)檢測(cè)實(shí)驗(yàn)鼠圖片的對(duì)比，下圖為對(duì)比效果圖，其中左圖為原網(wǎng)絡(luò)檢測(cè)結(jié)果，右圖為改進(jìn)后網(wǎng)絡(luò)的檢測(cè)結(jié)果，可以看出改進(jìn)后的網(wǎng)絡(luò)具有更好的檢測(cè)效果。

圖9 效果對(duì)比展示圖

3.4 測(cè)試結(jié)果

為表明重構(gòu)后網(wǎng)絡(luò)的可行性與有效性，本文也在SSD和YOLOV3網(wǎng)絡(luò)下訓(xùn)練了相同的實(shí)驗(yàn)鼠數(shù)據(jù)集，得到了不同的網(wǎng)絡(luò)模型，并在相同的測(cè)試集下進(jìn)行測(cè)試，下表為不同網(wǎng)絡(luò)下的模型權(quán)重文件大小與AP值的比較：

表1 不同模型在實(shí)驗(yàn)鼠數(shù)據(jù)集上的數(shù)據(jù)比較

從上表中網(wǎng)絡(luò)模型權(quán)重文件的大小來(lái)看，重構(gòu)后的網(wǎng)絡(luò)模型權(quán)重文件大小相比原網(wǎng)絡(luò)減少了近13倍，而且重構(gòu)出的網(wǎng)絡(luò)在實(shí)驗(yàn)鼠數(shù)據(jù)集上的AP值相比于SSD、YOLOV3和原網(wǎng)絡(luò)三者都要高，表明了本文中檢測(cè)實(shí)驗(yàn)鼠方法的可行性和有效性。

表2為SENet注意力模塊對(duì)重構(gòu)網(wǎng)絡(luò)的影響，主要通過(guò)模型權(quán)重文件的大小與在實(shí)驗(yàn)鼠測(cè)試集上的AP值進(jìn)行比較，具體數(shù)據(jù)如下表所示：

表2 SENet注意力模塊對(duì)模型的影響

由上表可知，因?yàn)镾ENet注意力模塊是一個(gè)輕量級(jí)的模塊，新增參數(shù)和計(jì)算量小，因此是否加入SENet注意力模塊對(duì)網(wǎng)絡(luò)模型權(quán)重文件的大小幾乎沒(méi)有什么影響，但SENet注意力模塊的加入使得AP值增加了2.4%，提高了模型的準(zhǔn)確率。

4 結(jié) 論

在研究CenterNet網(wǎng)絡(luò)基礎(chǔ)上，重新設(shè)計(jì)了主干網(wǎng)絡(luò)用來(lái)提取目標(biāo)特征信息，在減少主干網(wǎng)絡(luò)層數(shù)的前提下，為增加網(wǎng)絡(luò)模型的準(zhǔn)確率，添加SENet注意力模塊，通過(guò)實(shí)驗(yàn)驗(yàn)證，表明了該改進(jìn)網(wǎng)絡(luò)既減少了網(wǎng)絡(luò)的參數(shù)量和計(jì)算的復(fù)雜度，并且提升了模型的準(zhǔn)確率。