采用改進(jìn)稠密連接網(wǎng)絡(luò)的防風(fēng)藥材的道地性識(shí)別

李東明，湯 鵬，張麗娟，雷 雨，劉雙利

（1. 吉林農(nóng)業(yè)大學(xué)信息技術(shù)學(xué)院，長(zhǎng)春 130118；2. 長(zhǎng)春工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，長(zhǎng)春 130012；3. 吉林農(nóng)業(yè)大學(xué)中藥材學(xué)院，長(zhǎng)春 130118）

0 引 言

中醫(yī)藥經(jīng)長(zhǎng)期臨床實(shí)踐觀察比較，逐漸形成了道地藥材這一概念。這些道地藥材由于地域、溫度、水分、光照、土壤等優(yōu)勢(shì)，其藥效品質(zhì)突出。防風(fēng)藥材為傘形科植物防風(fēng)的干燥根，主治外感表證、風(fēng)疹瘙癢、風(fēng)濕痹痛等癥。防風(fēng)為東北地區(qū)的道地藥材，是大宗藥材之一。目前，對(duì)防風(fēng)藥材的產(chǎn)地及質(zhì)量的識(shí)別方法多為基于物理或化學(xué)特征的中藥材識(shí)別，《中華人民共和國(guó)藥典》以升麻素苷（CHO）及5-O-甲基維斯阿米醇苷（CHO）的含量測(cè)定為評(píng)價(jià)指標(biāo)，但是無(wú)法對(duì)防風(fēng)藥材的道地性及其質(zhì)量?jī)?yōu)劣進(jìn)行準(zhǔn)確衡量。

隨著人工智能技術(shù)的快速發(fā)展，圖像的智能分類(lèi)與識(shí)別成為該領(lǐng)域中最重要的應(yīng)用目標(biāo)之一。其中，基于圖像分析的植物識(shí)別分類(lèi)技術(shù)已成為國(guó)內(nèi)外植物信息學(xué)領(lǐng)域研究的熱點(diǎn)。目前，深度神經(jīng)網(wǎng)絡(luò)技術(shù)在識(shí)別防風(fēng)藥材產(chǎn)地或質(zhì)量仍處于空白階段，但深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）在圖像分類(lèi)上的研究已經(jīng)展開(kāi)。Krizhevsky等搭建的AlexNet網(wǎng)絡(luò)在對(duì)大型公開(kāi)集（ImageNet）進(jìn)行圖像分類(lèi)識(shí)別訓(xùn)練中獲得了不容忽視的好成績(jī)。在此基礎(chǔ)上學(xué)者們相繼提出VggNet、GoogLeNet、ResNet和DenseNet等經(jīng)典的深度卷積神經(jīng)網(wǎng)絡(luò)，并廣泛應(yīng)用在植物圖像分類(lèi)任務(wù)中。Reyes等利用180余萬(wàn)張圖像對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，并使用微調(diào)思想將學(xué)習(xí)到的識(shí)別能力從其他領(lǐng)域轉(zhuǎn)移到植物識(shí)別任務(wù)中來(lái)。Grinblat等利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)植物葉片紋理模式進(jìn)行識(shí)別，實(shí)現(xiàn)對(duì)3種不同豆科植物，即白豆、紅豆和大豆的識(shí)別和分類(lèi)。

Dyrmann等通過(guò)CNN對(duì)22種生長(zhǎng)初期的雜草和作物等1萬(wàn)余張?jiān)诠庹?、分辨率和土壤?lèi)型方面存在差異的植物彩色圖像進(jìn)行種類(lèi)識(shí)別，其準(zhǔn)確率為86.2%。Lee等嘗試使用卷積神經(jīng)網(wǎng)絡(luò)直接從輸入數(shù)據(jù)的原始表示中學(xué)習(xí)有價(jià)值的葉片特征信息，并基于反卷積網(wǎng)絡(luò)方法對(duì)所獲取到的特征信息進(jìn)行直觀性分析，結(jié)果表明葉片的紋理特征在對(duì)葉片進(jìn)行識(shí)別分類(lèi)方面更具決定性。由于各領(lǐng)域?qū)?shù)據(jù)集采集及創(chuàng)建的局限性會(huì)嚴(yán)重影響深度網(wǎng)絡(luò)模型的性能，所以為解決訓(xùn)練樣本不足的問(wèn)題，Nguyen、Ghazi、鄭一力等利用遷移學(xué)習(xí)思想，先將AlexNet、GoogLeNet、Inception V3等經(jīng)典模型在大規(guī)模圖像數(shù)據(jù)集（ImageNet）中進(jìn)行預(yù)訓(xùn)練，然后將得到的預(yù)訓(xùn)練模型應(yīng)用于目標(biāo)數(shù)據(jù)集上并進(jìn)行微調(diào)來(lái)達(dá)到更好的識(shí)別分類(lèi)效果。

大量科學(xué)試驗(yàn)證明卷積神經(jīng)網(wǎng)絡(luò)引進(jìn)注意力機(jī)制對(duì)提高網(wǎng)絡(luò)性能有著極大的促進(jìn)作用，所以近年來(lái)注意力機(jī)制得到快速的發(fā)展與壯大。Hu等提出了SE（Squeeze Excitation）機(jī)制，它學(xué)習(xí)特征圖中各個(gè)通道間的關(guān)聯(lián)得到通道注意力，使網(wǎng)絡(luò)對(duì)信息豐富的通道格外關(guān)注；CBAM（Convolutional Block Attention Module）機(jī)制則在SE機(jī)制基礎(chǔ)上進(jìn)行了進(jìn)一步地?cái)U(kuò)展，該機(jī)制將特征圖按通道進(jìn)行全局池化，獲得空間注意力；BAM（Bottleneck Attention Module）則采用并聯(lián)的方式將空間、通道兩種注意力進(jìn)行整合；Wang等提出的Non-Local模型通過(guò)全局像素點(diǎn)對(duì)局部像素點(diǎn)的計(jì)算響應(yīng)，即實(shí)現(xiàn)對(duì)特征圖的全局進(jìn)行更有效關(guān)注，并與三維神經(jīng)網(wǎng)絡(luò)有效集成，該模型在視頻分類(lèi)任務(wù)中有較好效果；Fu等提出的DANet則探索了特征圖中各空間和各通道間的關(guān)聯(lián)關(guān)系，分別生成全局通道注意力和空間注意力，該模型在語(yǔ)義分割任務(wù)中取得了較好的效果；Li等提出的SK（Selective Kernel）結(jié)構(gòu)采用SE模型和殘差網(wǎng)絡(luò)相結(jié)合的思想，能夠根據(jù)特征圖的不同尺度讓網(wǎng)絡(luò)動(dòng)態(tài)地選擇不同的感受野，提高了注意力機(jī)制的靈活度；Hou等提出的CA（Coordinate Attention）協(xié)調(diào)注意力機(jī)制是將位置信息嵌入到通道注意力模型中，對(duì)輸入的特征圖進(jìn)行自適應(yīng)特征細(xì)化，可進(jìn)一步提高網(wǎng)絡(luò)的性能。

結(jié)合相關(guān)研究分析，本文嘗試將深度學(xué)習(xí)技術(shù)引入中藥材產(chǎn)地識(shí)別領(lǐng)域，應(yīng)用于防風(fēng)藥材產(chǎn)地識(shí)別。防風(fēng)藥材的表型作為區(qū)分防風(fēng)藥材產(chǎn)地的首選器官，受生長(zhǎng)年限和人為因素影響，同一產(chǎn)地的防風(fēng)藥材外觀形態(tài)也極易發(fā)生改變。防風(fēng)藥材的顏色紋理特征在同一地區(qū)受外界特殊情況影響較小，外部性狀較為穩(wěn)定。但是同物種空間形態(tài)和顏色紋理特征較為復(fù)雜，區(qū)分度較低，對(duì)防風(fēng)產(chǎn)地識(shí)別屬于精細(xì)分類(lèi)范疇。本文在上述研究成果的基礎(chǔ)上，通過(guò)分析已有的ResNet和DenseNet卷積神經(jīng)網(wǎng)絡(luò)模型的圖像特征提取能力，提出了一種改進(jìn)稠密連接網(wǎng)絡(luò)用于防風(fēng)藥材產(chǎn)地識(shí)別的方法，以期為構(gòu)建可靠、精準(zhǔn)、快速的防風(fēng)產(chǎn)地識(shí)別系統(tǒng)提供理論基礎(chǔ)。

1 材料與方法

1.1 防風(fēng)藥材圖像數(shù)據(jù)集采集及預(yù)處理

防風(fēng)樣品來(lái)自吉林農(nóng)業(yè)大學(xué)中藥材學(xué)院中心實(shí)驗(yàn)室。該實(shí)驗(yàn)室提供了正品防風(fēng)（根據(jù)地域不同，包括關(guān)防風(fēng)、口防風(fēng)和西北防風(fēng)）的主要產(chǎn)區(qū)的防風(fēng)樣本，包括黑龍江、吉林、河北、甘肅、內(nèi)蒙古東北部5個(gè)產(chǎn)地1 500余個(gè)防風(fēng)樣品。將樣本展平至白色背景上，在室內(nèi)自然光下手機(jī)拍攝獲得每種產(chǎn)地防風(fēng)圖像約3 500張，共拍攝防風(fēng)藥材圖像18 543張，充分考慮到各類(lèi)防風(fēng)地域分布差異。通過(guò)對(duì)本數(shù)據(jù)集圖像進(jìn)行隨機(jī)裁剪、隨機(jī)旋轉(zhuǎn)、隨機(jī)翻轉(zhuǎn)等增廣處理，擴(kuò)充至55 628張防風(fēng)圖像，來(lái)增強(qiáng)數(shù)據(jù)樣本，數(shù)據(jù)集圖像信息如圖1所示。

圖1 防風(fēng)藥材數(shù)據(jù)集Fig.1 Saposhnikovia divaricata data set

1.2 訓(xùn)練集及驗(yàn)證集的劃分

為排除試驗(yàn)存在的偶然性，確保其穩(wěn)定性，各網(wǎng)絡(luò)模型訓(xùn)練均采用5折交叉驗(yàn)證的方法，將整個(gè)數(shù)據(jù)集的80%作為測(cè)試集，另外20%作為驗(yàn)證集。采用Python腳本程序?qū)⒄麄€(gè)數(shù)據(jù)集隨機(jī)近似均等化分為5部分，每部分逐一作為驗(yàn)證集，另外4部分的圖像樣本進(jìn)行對(duì)各網(wǎng)絡(luò)模型的訓(xùn)練，使網(wǎng)絡(luò)模型在訓(xùn)練過(guò)程中訓(xùn)練集與驗(yàn)證集的數(shù)量比始終為4:1，本文最終試驗(yàn)結(jié)果為5次試驗(yàn)的平均值。數(shù)據(jù)集劃分示例如表1所示。

表1 數(shù)據(jù)集劃分Table 1 Data set partition

2 改進(jìn)稠密連接網(wǎng)絡(luò)模型

2.1 稠密連接網(wǎng)絡(luò)

稠密連接網(wǎng)絡(luò)（DenseNet）的組成單元即為稠密模塊（Dense Block），稠密模塊結(jié)構(gòu)如圖2所示。每一個(gè)稠密模塊由五層網(wǎng)絡(luò)結(jié)構(gòu)組成，每層網(wǎng)絡(luò)均含卷積層（Convolution Layer, Conv）、激活函數(shù)層（Rectified Linear Units Layer, ReLU）和批量標(biāo)準(zhǔn)化層（Batch Normalization Layer, BN）。

圖2 稠密模塊Fig.2 Dense block

稠密模塊使用了一種更加密集的連接模式，它以一種層與層之間直接連接的方式迭代連接所有的輸出。因此，第層的輸出x為：

式中[...]表示連接操作,它通過(guò)對(duì)輸出的連接進(jìn)行特征重用，H的操作定義為：一個(gè)批量標(biāo)準(zhǔn)化層（BN）后接激活函數(shù)（ReLU）再加一個(gè)卷積層（Conv）、隨機(jī)失活層與池化層。BN層擁有正向及反向傳播結(jié)構(gòu),主要解決梯度消失與爆炸問(wèn)題。隨機(jī)失活層通過(guò)隨機(jī)關(guān)閉神經(jīng)元,有效緩解了網(wǎng)絡(luò)訓(xùn)練過(guò)程中信息冗余問(wèn)題。

由于各產(chǎn)地防風(fēng)藥材的表型在直觀上差別不大，需要對(duì)其外部紋理及相關(guān)色澤等方面進(jìn)行細(xì)粒度分類(lèi)。因?yàn)槌砻苓B接網(wǎng)絡(luò)可以擁有更深的網(wǎng)絡(luò)層次，且網(wǎng)絡(luò)模型參數(shù)數(shù)量相比較小，具有深層新特征信息挖掘能力強(qiáng)及特征的重復(fù)利用率高等優(yōu)點(diǎn)。因此，成為完成類(lèi)似于對(duì)防風(fēng)藥材產(chǎn)地識(shí)別這樣細(xì)粒度分類(lèi)任務(wù)的首選。但是，這也會(huì)增加稠密連接網(wǎng)絡(luò)的計(jì)算量，網(wǎng)絡(luò)對(duì)內(nèi)存或顯存消耗過(guò)多，這對(duì)處理設(shè)備提出了更高的要求。

2.2 深度殘差模塊

殘差網(wǎng)絡(luò)是He等提出的一種優(yōu)異的深度學(xué)習(xí)算法，這種算法擁有較稠密連接網(wǎng)絡(luò)更輕型的結(jié)構(gòu)，同時(shí)由于殘差網(wǎng)絡(luò)易于優(yōu)化的特點(diǎn)，也使得大量的學(xué)者對(duì)其進(jìn)行了深入的研究。

殘差塊（Residual Block）的輸入與線性輸出進(jìn)行特征信息融合，作為該殘差塊的整體輸出，并通過(guò)BN層（Batch Normalized）進(jìn)行歸一化操作。因此，殘差模塊可有效減少在網(wǎng)絡(luò)訓(xùn)練過(guò)程中出現(xiàn)的梯度彌散、過(guò)擬合等現(xiàn)象。

殘差模塊如圖3所示，輸入特征信息分別經(jīng)過(guò)圖中主干的3個(gè)卷積層的運(yùn)算輸出為(,,,)，其中第一個(gè)1×1的卷積層和第三個(gè)1×1的卷積層分別起到降維和升維的作用，以達(dá)到節(jié)約參數(shù)的目的。、、表示在殘差模塊各層所學(xué)習(xí)的權(quán)重參數(shù)，W表示經(jīng)過(guò)殘差模塊輸出的維度方陣，并與(,,,)融合，成為下個(gè)殘差模塊的輸入。

根據(jù)W的模是否為1來(lái)判斷殘差模塊的輸入和輸出維度相同與否，如果W的模不為1即為不相同，則可利用W將殘差模塊的輸入和輸出調(diào)整到相同維度。當(dāng)與相等時(shí)表示恒等映射；當(dāng)與不相等時(shí)，則表示殘差模塊需學(xué)習(xí)兩者之間不同的信息。

圖3 殘差模塊Fig.3 Residual block

2.3 注意力機(jī)制

注意力機(jī)制已經(jīng)被廣泛應(yīng)用到深度學(xué)習(xí)領(lǐng)域之中，并對(duì)提升網(wǎng)絡(luò)模型在分類(lèi)、檢測(cè)和預(yù)測(cè)等任務(wù)方面的準(zhǔn)確率有著突出貢獻(xiàn)。廣泛應(yīng)用在卷積神經(jīng)網(wǎng)絡(luò)中的注意力機(jī)制主要分為：通道注意力機(jī)制和空間注意力機(jī)制。

雖然通道注意力機(jī)制對(duì)于提升網(wǎng)絡(luò)模型性能具有顯著效果，但它們通常會(huì)忽略位置信息，空間注意力機(jī)制在對(duì)通道信息進(jìn)行學(xué)習(xí)時(shí)也存在一定局限性。因此本網(wǎng)絡(luò)模型引入?yún)f(xié)調(diào)注意力（，CA）模型。CA模型是將位置信息嵌入到信道注意中，對(duì)輸入的特征圖進(jìn)行自適應(yīng)特征細(xì)化，CA模型的結(jié)構(gòu)如圖4所示。

圖4 協(xié)調(diào)注意力機(jī)制模型Fig.4 Coordination attention mechanism model

經(jīng)上述變換網(wǎng)絡(luò)可學(xué)習(xí)到優(yōu)良的全局感受野，編碼精確的位置信息。為更好的利用以上學(xué)習(xí)到的特征信息，通過(guò)上述的變換進(jìn)行連接融合。再利用一個(gè)卷積核尺寸為1×1的變換函數(shù)，對(duì)其進(jìn)行再一次變換操作，即：

式中表示sigmoid激活函數(shù)，然后對(duì)g和g進(jìn)行拓展，作為注意力權(quán)重，CA模型的最終輸出為：

使殘差模塊結(jié)構(gòu)可以在增加網(wǎng)絡(luò)深度的基礎(chǔ)上，進(jìn)一步提高對(duì)特征信息利用的準(zhǔn)確性與高效性。

根據(jù)防風(fēng)藥材數(shù)據(jù)集圖像背景復(fù)雜且不單一的特點(diǎn)，對(duì)其進(jìn)行分類(lèi)訓(xùn)練時(shí)，加深了網(wǎng)絡(luò)對(duì)其空間位置特征信息和通道特征信息的依賴(lài)。本文按照協(xié)調(diào)注意力機(jī)制原理，將CA模型嵌入到含有跳躍連接的殘差模塊中，歸因于在特征集合相加操作前對(duì)分支上殘差的特征進(jìn)行了特征重標(biāo)定，以實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)模型的優(yōu)化，若對(duì)特征集合相加操作后主支上的特征進(jìn)行重標(biāo)定，由于在主干上存在0～1的加權(quán)操作，在網(wǎng)絡(luò)較深情況下，進(jìn)行反向傳播優(yōu)化時(shí)在靠近輸入層容易出現(xiàn)梯度消散的情況，導(dǎo)致網(wǎng)絡(luò)模型性能難以獲得提升。因此，CA模型分別以水平、垂直兩個(gè)空間方向?qū)Ω魍ǖ捞卣鬟M(jìn)行編碼,并將獲得的空間位置信息嵌入到通道注意力機(jī)制中,對(duì)輸入的特征圖進(jìn)行自適應(yīng)特征細(xì)化，來(lái)適應(yīng)數(shù)據(jù)集各類(lèi)別之間其表型差別性小的細(xì)粒度圖像分類(lèi)任務(wù)。將CA模型引入殘差模塊中應(yīng)用在防風(fēng)藥材產(chǎn)地識(shí)別上，使新網(wǎng)絡(luò)在訓(xùn)練過(guò)程中既能學(xué)習(xí)到目標(biāo)圖像的通道信息又能獲取到目標(biāo)圖像的精確位置信息，有效提高網(wǎng)絡(luò)模型的性能。改進(jìn)殘差塊模型結(jié)構(gòu)如圖5所示。

圖5 改進(jìn)殘差塊模型Fig.5 Improved residual block model

在圖5中，Conv和BN為一個(gè)卷積處理層，具體過(guò)程為：一個(gè)卷積核尺寸為1×1的卷積處理層，對(duì)傳入的特征信息進(jìn)行降維，減少運(yùn)算量，后接一個(gè)卷積核尺寸為3×3的卷積運(yùn)算層，來(lái)進(jìn)行常規(guī)訓(xùn)練；然后，將輸出的特征圖合并，輸入到CA模型，原因在于CA模型內(nèi)具有大量的非線性?xún)?yōu)化操作，可以更好地?cái)M合空間、通道間復(fù)雜的相關(guān)性，并極大地減少了參數(shù)量和計(jì)算量；接著，通過(guò)一個(gè)Sigmoid層獲得0～1之間歸一化的權(quán)重，通過(guò)一個(gè)加權(quán)操作將歸一化后的權(quán)重加權(quán)到每個(gè)特殊的通道上，使其可以有效增加特征圖的通道信息以及空間位置信息；再將輸出的注意力特征與原始的輸入特征通過(guò)短連接相加，使網(wǎng)絡(luò)性能獲得進(jìn)一步的提升；最后，在接入一個(gè)卷積核尺寸為1×1的卷積處理層，來(lái)還原輸入特征信息的維度，這樣可保持網(wǎng)絡(luò)識(shí)別目標(biāo)的精度和減少計(jì)算量。

2.4 改進(jìn)稠密連接網(wǎng)絡(luò)的結(jié)構(gòu)

研究發(fā)現(xiàn)，深度殘差模塊采用殘差旁支通路方式善于對(duì)特征信息重復(fù)利用，但殘差神經(jīng)網(wǎng)絡(luò)只使用淺層卷積提取特征，缺少深層語(yǔ)義信息表達(dá)。稠密模塊采用密集連接通路方式，使其可以探索深層新特征，但存在冗余。

經(jīng)借鑒DCNet網(wǎng)絡(luò)的重要思想，本文將改進(jìn)的殘差模塊引進(jìn)到稠密網(wǎng)絡(luò)。本文結(jié)合殘差塊的特征重用特點(diǎn)和稠密塊對(duì)新特征探索的特點(diǎn)，來(lái)提高網(wǎng)絡(luò)的高效性，有效地解決隨著殘差塊疊加，網(wǎng)絡(luò)存在梯度彌散的一系列問(wèn)題，并減少網(wǎng)絡(luò)參數(shù)的運(yùn)算量。同時(shí)，還結(jié)合遷移學(xué)習(xí)思想，對(duì)全連接層進(jìn)行重構(gòu)，以提高模型非線性表達(dá)能力，提高網(wǎng)絡(luò)的整體性能。

本文提出的改進(jìn)稠密連接網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。在圖6中，該網(wǎng)絡(luò)模型包含卷積層、改進(jìn)殘差層、稠密連接層、池化層和重構(gòu)層5個(gè)部分。

圖6 改進(jìn)稠密連接網(wǎng)絡(luò)模型Fig.6 Improved densely connected network model

1）卷積層：該部分由一個(gè)具有64個(gè)卷積核大小尺寸為7×7的卷積層構(gòu)成，卷積的步長(zhǎng)為2，填充像素為3，對(duì)RGB圖像進(jìn)行卷積處理，提取圖像的淺層特征信息。

2）改進(jìn)殘差層：在提取特征之后，所獲得的特征信息需要先后經(jīng)過(guò)7個(gè)改進(jìn)的殘差模塊進(jìn)行處理，經(jīng)過(guò)該層首先經(jīng)過(guò)兩個(gè)擁有64個(gè)卷積核大小為1×1和3×3的卷積層,起到對(duì)特征信息進(jìn)行降維的作用；然后，將卷積后生成的特征圖輸入到CA模型，即將傳入的特征信息，采用大小為(,1)，(1,)的兩種池化核分別以水平、垂直兩個(gè)空間方向?qū)Ω魍ǖ谰酆咸卣?。并將上面的特征進(jìn)行連接操作，使用1×1卷積變換函數(shù)對(duì)其進(jìn)行變換操作，并沿著空間維度將水平和垂直方向進(jìn)行編碼的中間特征映射，分解為兩個(gè)單獨(dú)的張量；接著，應(yīng)用另外兩個(gè)1×1的卷積變換分別將兩個(gè)單獨(dú)的張量變換成具有相同通道數(shù)的張量并進(jìn)行連接操作，再經(jīng)過(guò)Sigmoid激活函數(shù)將融合之后的通道特征進(jìn)行自適應(yīng)加權(quán),再將CA模型輸出的深層特征信息與特征提取部分輸出的淺層特征信息結(jié)合；最后，使用具有64個(gè)卷積核大小為1×1的卷積層進(jìn)行特征融合并恢復(fù)到原本維度。

3）稠密連接層：為提升網(wǎng)絡(luò)對(duì)特征信息學(xué)習(xí)和描述的性能，在網(wǎng)絡(luò)的深層保留兩組稠密模塊，每組稠密塊由6組1×1和3×3卷積構(gòu)成。兩組稠密塊之間由過(guò)渡層（Transition layer）鏈接，過(guò)渡層由歸一化、卷積核大小為1×1的卷積層和池化層構(gòu)成。第1組稠密塊的輸入是CA模型所獲得的特征信息經(jīng)過(guò)歸一化、ReLU激活函數(shù)和卷積核大小為3×3的卷積層等一系列操作，所獲取的局部特征信息的串聯(lián)。這樣可以有效緩解在特征提取過(guò)程中所造成的空間維度信息丟失的問(wèn)題，且由于稠密模塊設(shè)計(jì)較為狹窄，大大地降低了網(wǎng)絡(luò)的參數(shù)冗余度。

4）池化層：經(jīng)過(guò)稠密層所獲得的特征信息，輸入到池化層進(jìn)行歸一化和ReLU激活函數(shù)層后進(jìn)行自適應(yīng)平局池化，使池化后的每個(gè)通道的大小為1×1。

5）重構(gòu)層：為了提高對(duì)防風(fēng)藥材產(chǎn)地識(shí)別精度和網(wǎng)絡(luò)模型的泛化能力，本文引入遷移思想，在ImageNet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練得到初始化深度模型，并在防風(fēng)數(shù)據(jù)集上進(jìn)行遷移訓(xùn)練。在遷移中，對(duì)最后全連接層進(jìn)行重構(gòu)，提高網(wǎng)絡(luò)模型非線性表達(dá)能力。具體做法：首先，將原全連接層輸入的特征信息傳送到具有256個(gè)輸出的線性層，隨后分別經(jīng)過(guò)ReLU函數(shù)和Dropout層，后進(jìn)入256×5線性層，輸出為5通道的softmax層，來(lái)適應(yīng)網(wǎng)絡(luò)模型對(duì)各種防風(fēng)藥材產(chǎn)地的精確識(shí)別；最后，通過(guò)分類(lèi)器Logsoftmax來(lái)對(duì)輸入的特征信息進(jìn)行識(shí)別判斷。本文通過(guò)“凍結(jié)”網(wǎng)絡(luò)中初始層的權(quán)重，使網(wǎng)絡(luò)具有抽取圖像特征的能力，防止過(guò)擬合情況的發(fā)生，實(shí)現(xiàn)不同產(chǎn)地防風(fēng)圖像自動(dòng)識(shí)別。

3 試驗(yàn)及結(jié)果分析

3.1 試驗(yàn)和環(huán)境參數(shù)設(shè)置

試驗(yàn)配置環(huán)境為GPU并行計(jì)算工作站，處理器為Xeon（R）CPU E5-2680v4、顯卡為GeForce GTX 1080Ti、采用Ubuntu 16.04LTS操作系統(tǒng)、軟件配置安裝Anaconda3-5.2.0-Linux版本，并基于Python 3.6.5編程語(yǔ)言搭建Pytorch的深度學(xué)習(xí)框架。

3.2 試驗(yàn)結(jié)果與分析

本文提出的新網(wǎng)絡(luò)模型訓(xùn)練時(shí)采用的具體試驗(yàn)參數(shù)信息如表2所示。為驗(yàn)證新網(wǎng)絡(luò)模型的有效性，本文以網(wǎng)絡(luò)模型參數(shù)、模型損失以及識(shí)別出藥材產(chǎn)地準(zhǔn)確率作為評(píng)價(jià)指標(biāo)。分別選擇Vgg16、GoogLeNet、ResNet101和DenseNet121四種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)并按照對(duì)應(yīng)原論文中原型框架和參數(shù)設(shè)置方式對(duì)防風(fēng)藥材數(shù)據(jù)集進(jìn)行對(duì)比試驗(yàn)，結(jié)果如表3所示。

經(jīng)對(duì)比試驗(yàn)結(jié)果表明，新網(wǎng)絡(luò)模型在本數(shù)據(jù)集上識(shí)別平均準(zhǔn)確率達(dá)到97.23%，平均損失僅為0.15，收斂速度也遠(yuǎn)快于其他網(wǎng)絡(luò)模型。因此，本研究提出的新網(wǎng)絡(luò)的性能與其他網(wǎng)絡(luò)模型對(duì)比有較大幅度的提升。各網(wǎng)絡(luò)模型識(shí)別分類(lèi)準(zhǔn)確率及損失曲線如圖7所示。

表2 新模型訓(xùn)練參數(shù)Table 2 New model training parameters

表3 不同卷積神經(jīng)網(wǎng)絡(luò)模型試驗(yàn)結(jié)果對(duì)比Table 3 Comparison of experimental results of different CNN models

圖7 各模型對(duì)數(shù)據(jù)集的識(shí)別結(jié)果Fig.7 Recognition results of each model on the data set

3.2.1 殘差層對(duì)模型性能的影響

試驗(yàn)過(guò)程中對(duì)比網(wǎng)絡(luò)模型均參照論文中原型框架和參數(shù)設(shè)置方式，單次訓(xùn)練樣本數(shù)量為32，輸入圖片尺度采用256×256像素。根據(jù)試驗(yàn)對(duì)比發(fā)現(xiàn)，DenseNet比ResNet的模型參數(shù)少4×10，但是DenseNet對(duì)GPU的占用率高達(dá)89.2%，且收斂速度慢。

其原因在于在相同深度的這兩個(gè)網(wǎng)絡(luò)DenseNet擁有比ResNet更輕的結(jié)構(gòu)，稠密塊（Dense Block）中每?jī)蓪泳W(wǎng)絡(luò)之間都為直接連接，能夠?qū)μ卣餍畔⑦M(jìn)行直接輸入與輸出，因此對(duì)于一個(gè)擁有層網(wǎng)絡(luò)結(jié)構(gòu)的模塊，則該模塊的直接連接數(shù)僅有(+1)/2個(gè)。故每次卷積輸入與輸出的通道個(gè)數(shù)要比ResNet少很多，使 BN層和全連接層的運(yùn)算參數(shù)量也相應(yīng)地減少；但DenseNet比ResNet的特征圖信息更加復(fù)雜，導(dǎo)致卷積過(guò)程的計(jì)算量增大，內(nèi)存的訪問(wèn)次數(shù)也隨之增加，且內(nèi)存的訪問(wèn)相對(duì)費(fèi)時(shí)，使得GPU占用率過(guò)高，訓(xùn)練速度緩慢。

因此，結(jié)合DenseNet和ResNet的運(yùn)算特點(diǎn)，本文通過(guò)引進(jìn)殘差模塊與稠密模塊相結(jié)合的新網(wǎng)絡(luò)相比于其他傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，既減少網(wǎng)絡(luò)對(duì)內(nèi)存的訪問(wèn)次數(shù)及運(yùn)算量，弱化網(wǎng)絡(luò)對(duì)資源的依賴(lài)程度。又加強(qiáng)了特征傳播，鼓勵(lì)特征重用，并大大減少了參數(shù)的數(shù)量，改進(jìn)了整個(gè)網(wǎng)絡(luò)的信息流和梯度，這使得它們易于訓(xùn)練，很大程度上能夠克服訓(xùn)練的過(guò)擬合。新模型的參數(shù)規(guī)模僅為8.3×10，GPU的占用率大幅度下降，收斂速度也遠(yuǎn)快于其他對(duì)比網(wǎng)絡(luò)。

3.2.2 注意力機(jī)制對(duì)網(wǎng)絡(luò)模型性能的影響

將本研究提出的新網(wǎng)絡(luò)中的CA模型替換為不同注意力模型進(jìn)行防風(fēng)產(chǎn)地識(shí)別試驗(yàn)并進(jìn)行對(duì)比：1）現(xiàn)有經(jīng)典的通道注意力SE（Squeeze-Excitation）模型，新網(wǎng)絡(luò)中的注意力模型換成SE模型（簡(jiǎn)稱(chēng)為Model（SE））；2）CBAM（Convolutional Block Attention Module）模型則是在通道注意力機(jī)制基礎(chǔ)上進(jìn)一步串聯(lián)空間注意力機(jī)制而擴(kuò)展所得到的，將新網(wǎng)絡(luò)中的注意力模型換成CBAM模型（簡(jiǎn)稱(chēng)為Model（CBAM））；3）BAM(Bottleneck Attention Module)模型則是采用并聯(lián)的方式將空間注意力和通道注意力整合得到的，將新網(wǎng)絡(luò)中的注意力模型換成BAM模型（簡(jiǎn)稱(chēng)為Model（BAM））；4）CA（Coord Attention）模型則是將位置信息嵌入到了通道注意力中所得到的輕量級(jí)網(wǎng)絡(luò)，新網(wǎng)絡(luò)原模型（簡(jiǎn)稱(chēng)為Model（CA））；5）將新網(wǎng)絡(luò)中的注意力模型去掉（簡(jiǎn)稱(chēng)為Model（NO）），各網(wǎng)絡(luò)模型對(duì)防風(fēng)藥材的產(chǎn)地識(shí)別結(jié)果如表4所示。

表4 不同注意力機(jī)制模型識(shí)別結(jié)果對(duì)比Table 4 Recognition results comparison of different attention mechanism models

為了證明本文提出的加入CA模型的有效性，進(jìn)行了一系列的關(guān)于注意力機(jī)制的試驗(yàn)，與廣泛應(yīng)用的注意力模型SE、CBAM和BAM進(jìn)行對(duì)比，其結(jié)果列于表4中。由試驗(yàn)結(jié)果可以看出，Model(NO)網(wǎng)絡(luò)對(duì)防風(fēng)藥材產(chǎn)地識(shí)別的平均準(zhǔn)確率達(dá)到 93.84%。而 Model(SE) 、Model(CBAM)、 Model(BAM)和Model(CA) 網(wǎng)絡(luò)對(duì)防風(fēng)藥材產(chǎn)地識(shí)別的平均準(zhǔn)確率分別達(dá)到94.71%、95.94%、95.07%和97.23%。由此表明加入以上注意力機(jī)制的新網(wǎng)絡(luò)對(duì)防風(fēng)藥材產(chǎn)地識(shí)別的準(zhǔn)確率都有不同程度的提高，分別提高了0.87個(gè)百分點(diǎn)、2.1個(gè)百分點(diǎn)、1.23個(gè)百分點(diǎn)和3.39個(gè)百分點(diǎn)。這證明了注意力機(jī)制的引入對(duì)提高網(wǎng)絡(luò)模型準(zhǔn)確率的有效性，其中，CA模型對(duì)網(wǎng)絡(luò)模型準(zhǔn)確率的提升效果最佳。由于只有SE模型是基于通道注意力機(jī)制，而文中其他注意力模型都是通道注意力機(jī)制與位置特征信息的有機(jī)結(jié)合。由SE與CBAM、BAM、CA注意力對(duì)比試驗(yàn)結(jié)果可知，空間特征信息似乎對(duì)網(wǎng)絡(luò)有較大貢獻(xiàn)。

原因在于，CA機(jī)制與傳統(tǒng)通道注意力機(jī)制的工作方式大相徑庭，CA模型是通過(guò)將全局池化變換為兩個(gè)一維特征編碼的操作，并采用大小不同的兩種池化核分別以水平、垂直兩個(gè)空間方向?qū)Ω魍ǖ谰酆咸卣?。通過(guò)這種方式，網(wǎng)絡(luò)可以從不同方向?qū)W習(xí)到遠(yuǎn)程信息的交互性信息并獲取樣本目標(biāo)空間特征信息。

將得到的特征圖分別編碼為具有全局感受野和精確位置信息的注意力圖，可以將其應(yīng)用于輸入的特征圖作為輸入的完善信息，以增強(qiáng)對(duì)待識(shí)別目標(biāo)的表示。所以當(dāng)使用原網(wǎng)絡(luò)中的CA模型時(shí)，網(wǎng)絡(luò)獲得的識(shí)別效果最佳。

針對(duì)與CA模型同為空間和通道特征信息結(jié)合且試驗(yàn)效果較好的CBAM模型進(jìn)行結(jié)構(gòu)對(duì)比分析，發(fā)現(xiàn)CA模型相對(duì)于CBAM模型所提出的位置信息編碼方式的優(yōu)點(diǎn)是雙重的，首先CBAM模型中的空間注意機(jī)制將通道維壓縮為1，從而導(dǎo)致信息丟失。但是CA模型使用適當(dāng)?shù)目s小比率來(lái)減小瓶頸中的通道尺寸，從而避免過(guò)多的信息丟失。其次，CBAM模型利用內(nèi)核大小的卷積層7×7編碼局部空間信息，而CA模型集中于通過(guò)使用兩個(gè)互補(bǔ)的一維全局池化操作對(duì)全局信息進(jìn)行編碼。這使網(wǎng)絡(luò)能夠集中精力捕捉視覺(jué)任務(wù)必不可少的空間位置之間的長(zhǎng)期依賴(lài)關(guān)系。

如圖8所示，在最后一個(gè)構(gòu)建塊中對(duì)嵌入CA模型方法前后的新網(wǎng)絡(luò)所生成的熱力特征圖進(jìn)行可視化。使用Grad-CAM作為可視化工具。很明顯，CA模型可以更準(zhǔn)確地定位到感興趣且有價(jià)值的區(qū)域

圖8 嵌入CA模型前后新網(wǎng)絡(luò)熱力特征圖的可視化結(jié)果Fig.8 Visualization results of the thermal feature maps of the new network before and after the CA model is embedded

3.2.3 數(shù)據(jù)擴(kuò)充對(duì)網(wǎng)絡(luò)模型性能的影響

為更好提高新網(wǎng)絡(luò)模型的識(shí)別性能，本文分別通過(guò)以下3種方式對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充：1）隨機(jī)裁剪尺寸為256×256像素；2）隨機(jī)翻轉(zhuǎn)；3）通過(guò)多種角度進(jìn)行隨機(jī)旋轉(zhuǎn)。以新網(wǎng)絡(luò)為試驗(yàn)?zāi)Ｐ停谄渌麉?shù)相同的條件下，分別對(duì)擴(kuò)充前數(shù)據(jù)集（18 543張）和擴(kuò)充后數(shù)據(jù)集（55 628張）進(jìn)行對(duì)比試驗(yàn)。準(zhǔn)確率曲線如圖9所示。

圖9 數(shù)據(jù)擴(kuò)增前后準(zhǔn)確度曲線Fig.9 Accuracy curve before and after data amplification

通過(guò)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理操作提高了數(shù)據(jù)樣本圖像的多樣性，并可以抑制網(wǎng)絡(luò)訓(xùn)練過(guò)程中過(guò)擬合現(xiàn)象的發(fā)生。新網(wǎng)絡(luò)模型對(duì)擴(kuò)充前后數(shù)據(jù)集進(jìn)行對(duì)比訓(xùn)練試驗(yàn)，但試驗(yàn)結(jié)果顯示其對(duì)模型準(zhǔn)確度提升效果并不明顯，其試驗(yàn)結(jié)果分別是96.34%、97.23%，兩者識(shí)別準(zhǔn)確率相差不到1個(gè)百分點(diǎn)。說(shuō)明在應(yīng)用遷移學(xué)習(xí)模式背景下，進(jìn)行防風(fēng)藥材數(shù)據(jù)集的擴(kuò)充對(duì)于提升網(wǎng)絡(luò)模型識(shí)別分類(lèi)性能的影響較小，原因是預(yù)訓(xùn)練模型在大型圖像數(shù)據(jù)集上已經(jīng)獲得了較多的知識(shí)信息儲(chǔ)備，進(jìn)而弱化了數(shù)據(jù)擴(kuò)充的作用。

試驗(yàn)初期準(zhǔn)確率波動(dòng)性大的主要原因在于：為了減少數(shù)據(jù)預(yù)處理所占用存儲(chǔ)空間，所以試驗(yàn)將部分?jǐn)?shù)據(jù)預(yù)處理操作采用了在線動(dòng)態(tài)的方式來(lái)進(jìn)行。在試驗(yàn)過(guò)程中，從數(shù)據(jù)集中隨機(jī)獲取部分樣本圖像進(jìn)行歸一化、中心裁剪等相關(guān)預(yù)處理，并重新排列初始數(shù)據(jù)集的默認(rèn)圖像順序，也伴隨偶然性。但伴隨訓(xùn)練的深入，網(wǎng)絡(luò)模型逐漸健碩，數(shù)據(jù)集回歸原始樣本圖像分布，所以準(zhǔn)確率波動(dòng)幅度逐漸減小，網(wǎng)絡(luò)模型的泛化性隨之提升。

4 結(jié) 論

1）本文構(gòu)建了一個(gè)防風(fēng)藥材產(chǎn)地圖像識(shí)別數(shù)據(jù)集，該數(shù)據(jù)集可以作為基準(zhǔn)數(shù)據(jù)集對(duì)當(dāng)前主流機(jī)器學(xué)習(xí)方法進(jìn)行驗(yàn)證。通過(guò)分析已有的ResNet和DenseNet卷積神經(jīng)網(wǎng)絡(luò)模型，本文提出一種改進(jìn)稠密連接網(wǎng)絡(luò)模型。

2）新網(wǎng)絡(luò)模型構(gòu)建過(guò)程為：首先對(duì)殘差模塊進(jìn)行改進(jìn)，即在殘差模塊中引入了協(xié)調(diào)注意力機(jī)制（Coordinate Attention），來(lái)適應(yīng)各產(chǎn)地防風(fēng)之間表型差別性小的細(xì)粒度圖像分類(lèi)任務(wù)，并提高分類(lèi)識(shí)別的準(zhǔn)確率。再將改進(jìn)的殘差模塊與稠密模塊進(jìn)行具有針對(duì)性的結(jié)合，這樣可提高網(wǎng)絡(luò)探索新特征的靈活性和利用特征的高效性，減少網(wǎng)絡(luò)參數(shù)的運(yùn)算量，增強(qiáng)網(wǎng)絡(luò)模型的泛化性。

3）通過(guò)對(duì)比試驗(yàn)，各網(wǎng)絡(luò)模型在新防風(fēng)藥材數(shù)據(jù)集上的結(jié)果表明：經(jīng)典的傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)Vgg16、GoogLeNet、ResNet101和DenseNet121對(duì)防風(fēng)藥材產(chǎn)地識(shí)別的準(zhǔn)確率分別為：86.74%、88.56%、91.28%和93.46%。而改進(jìn)后的新網(wǎng)絡(luò)對(duì)防風(fēng)藥材產(chǎn)地識(shí)別的平均準(zhǔn)確率可達(dá)97.23%，本文提出的新網(wǎng)絡(luò)對(duì)比以上經(jīng)典的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)對(duì)防風(fēng)藥材產(chǎn)地識(shí)別的平均準(zhǔn)確率有較大程度的提高。并且本文提出的新網(wǎng)絡(luò)在訓(xùn)練過(guò)程中僅需要約48輪便可達(dá)到收斂的狀態(tài)；但以上其他神經(jīng)網(wǎng)絡(luò)再對(duì)比試驗(yàn)中需要上百輪才可以達(dá)到收斂狀態(tài)。綜上本文提出的新網(wǎng)絡(luò)模型參數(shù)僅為8.3×10，識(shí)別準(zhǔn)確率遠(yuǎn)高于其他對(duì)比網(wǎng)絡(luò)；也極大地提高了收斂速度；證明新模型對(duì)防風(fēng)藥材產(chǎn)地精確高效識(shí)別的有效性。

將深度學(xué)習(xí)應(yīng)用于中藥材領(lǐng)域后，可以使中醫(yī)藥在臨床醫(yī)療上取得更快、更健康的發(fā)展，為中藥材的道地性識(shí)別問(wèn)題在理論與實(shí)踐中得到更好的解決。