基于Xception 與遷移學(xué)習(xí)的中藥飲片圖像識別研究

張琦，區(qū)錦鋒，周華英

（1.廣東藥科大學(xué) 醫(yī)藥信息工程學(xué)院，廣東 廣州 510006；2.廣東省中醫(yī)藥精準(zhǔn)醫(yī)學(xué)大數(shù)據(jù)工程中心，廣東 廣州 510006）

0 引言

傳統(tǒng)中藥包括中藥材、中藥飲片和成品中成藥三大部分。其中，中藥飲片是指在中醫(yī)藥理論指導(dǎo)下，根據(jù)辨證論治和調(diào)劑、制劑的需要，對中藥材進(jìn)行特殊加工炮制后的制成品[1]。近年來，中藥飲片產(chǎn)業(yè)取得了長足的發(fā)展，在國內(nèi)外得到越來越多的認(rèn)可。由于我國中藥材品種繁多、來源復(fù)雜，很多中藥飲片外形相似，容易混淆，一般用肉眼難以鑒別真假。傳統(tǒng)的人工鑒別方法主觀性強(qiáng)、誤判率高，而基于計算機(jī)視覺的中藥飲片識別分類具有快速、準(zhǔn)確等特點(diǎn)，使飲片篩選智能化[2]。

使用計算機(jī)視覺對中藥飲片圖像進(jìn)行智能識別，經(jīng)歷了機(jī)器學(xué)習(xí)與深度學(xué)習(xí)兩個階段。機(jī)器學(xué)習(xí)算法主要依靠提取中藥飲片圖像特征進(jìn)行分析識別，包括大小、顏色、形態(tài)與紋理等[3-6]。這種方法容易產(chǎn)生過擬合現(xiàn)象，雖然在訓(xùn)練集上識別結(jié)果的準(zhǔn)確率很高，但是在測試集上效果不甚理想[7]。而深度學(xué)習(xí)擁有強(qiáng)大的泛化性，可以針對機(jī)器學(xué)習(xí)的不足，提高中藥飲片圖像識別的準(zhǔn)確率。文獻(xiàn)[8]利用GoogLeNet 深度學(xué)習(xí)模型對8 886 張中藥飲片圖像進(jìn)行訓(xùn)練，平均識別率達(dá)到92%，優(yōu)于HOG 特征的機(jī)器學(xué)習(xí)算法。文獻(xiàn)[9]利用AlexNet、VGGNet 和ResNet 三種逐通道卷積（Depthwise Convolution）神經(jīng)網(wǎng)絡(luò)算法，基于遷移學(xué)習(xí)對7 種不同的中藥飲片進(jìn)行分類，其中ResNet 效果最佳，正確率高達(dá)98.17%。

1 基本理論

1.1 遷移學(xué)習(xí)

傳統(tǒng)機(jī)器學(xué)習(xí)在訓(xùn)練時需要標(biāo)注大量數(shù)據(jù)，非常耗時耗力，如果沒有標(biāo)注數(shù)據(jù)則模型性能較差。而遷移學(xué)習(xí)[10]（Transfer Learning）則是將已訓(xùn)練好的模型應(yīng)用到新的不同數(shù)據(jù)集上，從而達(dá)到模型或數(shù)據(jù)可以復(fù)用的目的。通過使用其他相關(guān)任務(wù)訓(xùn)練模型的參數(shù)，即使只有一個小的數(shù)據(jù)集，也可能達(dá)到很好的性能[11]。本文利用在ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練的Xception 網(wǎng)絡(luò)，將其權(quán)重參數(shù)遷移到本文的中藥飲片識別模型中來。

1.2 深度可分離卷積

深度可分離卷積在常規(guī)卷積的基礎(chǔ)上做了改進(jìn)，深度可分離卷積包含逐通道卷積和逐點(diǎn)卷積（Pointwise Convolution）兩個過程[12]，可以降低模型復(fù)雜度、減小模型大小、提高模型的計算效率等。由于普通的卷積操作需要對所有輸入通道進(jìn)行卷積計算，導(dǎo)致模型參數(shù)數(shù)量和計算量都變得更大；而深度可分離卷積通過更精細(xì)的卷積操作來捕獲局部特征和空間信息，避免了不必要的冗余參數(shù)。因此，在保持模型規(guī)模相對較小的情況下，可以提高模型在各種任務(wù)上的表現(xiàn)。深度可分離卷積將卷積操作主要分為兩個步驟，分別是逐通道卷積和逐點(diǎn)卷積。

1.2.1 逐通道卷積

逐通道卷積的目的是在每個通道上分別提取特征，使得網(wǎng)絡(luò)可以學(xué)習(xí)通道之間的不同特征表示。通過這種方式，逐通道卷積在減少參數(shù)量和計算量的同時，能夠保持較高的特征表達(dá)能力。

逐通道卷積是深度可分離卷積操作中的重要組成部分之一，它使用尺寸大小為D×D的卷積核K對輸入特征圖F中的每個通道進(jìn)行卷積運(yùn)算，從而得到輸出特征圖G中的每個通道和位置(x,y)的特征表示，逐通道卷積的計算公式如下：

式中：x'和y'為輸入特征圖F的位置；m為輸入通道的索引；K(x-x',y-y',m,i)為卷積核在位置(x,y)上對輸入通道m(xù)和輸出通道i的權(quán)重；sum 為對所有的輸入通道m(xù)和卷積核位置(x-x',y-y',m,i)的加權(quán)和。

式（1）表示在每個輸出通道i和位置(x,y)上，將輸入特征圖F的每個通道m(xù)的值與對應(yīng)位置的卷積核K(x-x',y-y',m,i)進(jìn)行元素級乘法，并將所有通道m(xù)的乘積相加，得到輸出特征圖G的對應(yīng)位置(x,y) 的值。

1.2.2 逐點(diǎn)卷積

逐點(diǎn)卷積的作用是在保持特征圖尺寸不變的同時，通過對每個通道進(jìn)行加權(quán)和的操作，實現(xiàn)通道之間的信息融合和特征變換。逐點(diǎn)卷積通常用于調(diào)整通道數(shù)、改變特征圖的表示維度，或者進(jìn)行特征圖之間的非線性變換。

假設(shè)輸入特征圖為Hin，輸出特征圖為Hout，卷積核為W，逐點(diǎn)卷積是深度可分離卷積中的另一個過程，它在特征提取和融合的過程中扮演著至關(guān)重要的角色。通常使用大小為1×1 的卷積核對輸入張量中的每個通道上的特征進(jìn)行卷積運(yùn)算。由于卷積核的大小非常小，因此它在計算時可以非常高效地對每個元素進(jìn)行卷積計算，并得到相應(yīng)的輸出特征圖。對于輸出特征圖Hout的每個通道j和位置(x,y)，逐點(diǎn)卷積的計算公式如下：

式中：i為輸入通道的索引；W(i,j)為卷積核在輸入通道i和輸出通道j之間的權(quán)重；sum 表示對所有的輸入通道i的加權(quán)和。

式（2）表示在每個輸出通道j和位置(x,y)上將輸入特征圖Hin的每個通道i的值與對應(yīng)位置的卷積核W(i,j)進(jìn)行元素級乘法，并將所有通道i的乘積相加，得到輸出特征圖Hout的對應(yīng)位置(x,y)的值。

需要注意的是，逐點(diǎn)卷積不改變特征圖的空間分辨率，只對每個通道進(jìn)行獨(dú)立的線性變換。深度可分離卷積操作的數(shù)字表達(dá)式如下：

式中：yi,j,k為輸出張量中第i行、第j列、第k個通道的元素；Cin為輸入張量的通道數(shù)；Kh和Kw分別為卷積核的高度和寬度；wr,s,p,k為卷積核中第r行、第s列、第p個通道與第k個通道的權(quán)重；Xi+r,j+s,p為輸入張量中第i+r行、第j+s列、第p個通道的元素。

深度可分離卷積的流程圖如圖1所示。在逐通道卷積階段，為了對輸入張量的每個通道進(jìn)行卷積運(yùn)算，通常會使用一個僅包含一個通道的卷積核，以便從每個通道中提取出不同的特征信息，并將它們合并成一個深度張量。這樣就可以利用卷積核的滑動窗口特性，對輸入張量中每個通道的每個位置進(jìn)行卷積計算，從而獲得一個具有更多特征信息的深度張量。而在逐點(diǎn)卷積階段，為了進(jìn)一步提取和融合這些特征信息，使用1×1 的卷積核對深度張量中的每個元素進(jìn)行卷積運(yùn)算，這樣就能夠?qū)Σ煌恢玫奶卣餍畔⑦M(jìn)行加權(quán)融合，并得到一個輸出張量。通過這種方式，可以利用卷積運(yùn)算高效的特征提取能力實現(xiàn)對輸入張量中復(fù)雜特征的快速提取與融合。

圖1 深度可分離卷積的流程圖

1.3 Xception 模型結(jié)構(gòu)

Xception[13]全稱為Extreme Inception，是谷歌公司提出的對Iception V3 的一種改進(jìn)模型，該模型結(jié)合了深度可分離卷積（Depthwise Separable Convolution）和ResNet結(jié)構(gòu)里面殘差連接的思想，深度可分離卷積可以實現(xiàn)對特征張量的跨通道相關(guān)性和空間相關(guān)性的完全解耦。相比于普通卷積，深度可分離卷積的參數(shù)數(shù)量和運(yùn)算成本都降低了，但是深度可分離卷積的復(fù)雜性更高，使得模型的層數(shù)更深。殘差結(jié)構(gòu)則是保證在層數(shù)更深的前提下，能大幅度地保留原來的特征，保護(hù)信息的完整性，減少在卷積的過程中特征張量的信息丟失、損耗的問題，使得模型學(xué)習(xí)隨著深度的增加效果也逐漸增加。

Xception 結(jié)構(gòu)如圖2 所示，圖中的SeparableConv 代表可分離卷積結(jié)構(gòu)，ReLU 代表神經(jīng)網(wǎng)絡(luò)激活函數(shù)，Conv代表普通卷積結(jié)構(gòu)，Stride 代表卷積滑動步長。殘差連接的卷積層為下采樣卷積層，相比于池化層，下采樣卷積控制了步進(jìn)大小，信息融合更好，能更好地保留特征張量原來的信息。模型分為輸入層、中間層和輸出層三個結(jié)構(gòu)，其中包含了34 個可分離卷積，中間層每一層結(jié)合了3次結(jié)構(gòu)，特征張量在中間層需要重復(fù)循環(huán)8次該結(jié)構(gòu)，最后到輸出層再進(jìn)行卷積操作。

圖2 Xception 結(jié)構(gòu)圖

2 實驗方案設(shè)計

2.1 數(shù)據(jù)集

由于目前并未有公開的中藥飲片圖像大規(guī)模數(shù)據(jù)集，因此本文以香港浸會大學(xué)所建的中藥材圖像數(shù)據(jù)庫為基準(zhǔn)，從中選取60 種常見中藥飲片作為實驗數(shù)據(jù)集，部分飲片圖像如圖3 所示。

圖3 部分中藥飲片圖像

選用的中藥飲片均在正規(guī)機(jī)構(gòu)購買，為了提高模型測試的魯棒性，利用單反相機(jī)對單個中藥飲片的雙面圖像進(jìn)行拍攝采集，得到11 125 張圖像，每種飲片圖像數(shù)量在200～250張之間。另外，通過網(wǎng)絡(luò)爬取獲得1 963張圖像，共計13 088 張。由于網(wǎng)絡(luò)抓取的圖像可能會存在背景干擾、圖片水印以及圖像不清晰等問題。因此，采用以手工拍攝為主與網(wǎng)絡(luò)爬取相結(jié)合的方式，不僅能保證中藥飲片的準(zhǔn)確性，而且有助于提高模型的性能效果。

2.2 數(shù)據(jù)預(yù)處理

由于數(shù)據(jù)集格式參差不齊，包含了單個飲片的部分圖片和多個同種飲片聚堆的圖片，為了提高模型測試的穩(wěn)定性，首先提取每個飲片獨(dú)立為一張圖像，尺寸大小為299×299，并對圖像中像素點(diǎn)進(jìn)行歸一化，使像素值介于0 和1 之間，實驗將會按照7∶2∶1 的比例劃分訓(xùn)練集、驗證集以及測試集，其中9 163 張圖像為訓(xùn)練集，2 617 張圖像為驗證集，1 308 張圖像為測試集。將每種飲片用不同的數(shù)字進(jìn)行標(biāo)記，實驗訓(xùn)練將對應(yīng)的標(biāo)簽轉(zhuǎn)化為對應(yīng)的獨(dú)熱編碼方便訓(xùn)練。

2.3 實驗平臺

實驗硬件為聯(lián)想臺式計算機(jī)，CPU 為Intel Xeon Platinum 8260C，GPU 為NVIDIA GeForce RTX 3090，顯存24 GB，內(nèi)存86 GB。采用的是Windows 10 操作系統(tǒng)，Python 版本為3.9，TensorFlow 版本為2.8.0，并采用GPU 加速訓(xùn)練，CUDA 的版本為11.2。

2.4 模型構(gòu)建

本實驗基于Xception 模型網(wǎng)絡(luò)，遷移在ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練過的權(quán)重參數(shù)到本次中藥飲片圖像實驗中，但對其中的權(quán)重進(jìn)行微調(diào)。微調(diào)是指將其靠近輸出的幾層解凍，并將這幾層與分類器聯(lián)合訓(xùn)練，讓模型更加適用于當(dāng)前要解決的問題。Xcepiton 結(jié)構(gòu)分為14 個模塊，除了第一個模塊外，其余模塊至少包含兩次或兩次以上的分離卷積結(jié)構(gòu)，本實驗將凍結(jié)第1 個模塊，通過訓(xùn)練次數(shù)不斷迭代來更新其他13 個模塊和模型拼接的全連接層結(jié)構(gòu)參數(shù)，使得訓(xùn)練模型能更好地擬合數(shù)據(jù)。

實驗采用SGD 優(yōu)化器，初始學(xué)習(xí)率設(shè)置為0.01，動量值為0.9，并且利用Nesterov 動量更好地調(diào)整學(xué)習(xí)率的梯度方向。批量大小Batchsize 設(shè)置為41，訓(xùn)練次數(shù)Epochs 為100，分類器則選用Softmax，運(yùn)用交叉熵Categorical Crossentropy 作為損失函數(shù)，將拆分后的訓(xùn)練集和驗證集輸入到模型進(jìn)行迭代訓(xùn)練和驗證，最后得出60 種中藥飲片識別模型。

3 實驗結(jié)果與分析

3.1 網(wǎng)絡(luò)特征提取可視化

輸入60 種中藥飲片圖像到網(wǎng)絡(luò)模型中，得到飲片圖像的顏色、形狀與紋理特征，使得每種飲片具有自己的辨別特征。通過可視化方法可以將每次卷積后的特征圖顯示出來，如圖4 所示為部分中藥飲片的第1、2、3及最后一層卷積、激活后的可視化特征圖。

圖4 部分飲片的可視化特征圖

3.2 模型的準(zhǔn)確率與損失率

對于識別本實驗中的60 種中藥飲片圖像，圖5 展示了訓(xùn)練集與驗證集的分類準(zhǔn)確率與損失率，其中訓(xùn)練集的準(zhǔn)確率為100%，而在驗證集上的準(zhǔn)確率稍低，為97.42%，損失值為0.155。從圖5 中可以看出，在整個訓(xùn)練過程中，訓(xùn)練集隨著訓(xùn)練次數(shù)的增加，它的準(zhǔn)確率在快速上升，而損失率則穩(wěn)步下降，大約經(jīng)過了20次訓(xùn)練后基本趨于穩(wěn)定。因此，可以得出本文構(gòu)建的飲片識別模型能夠很好地擬合驗證集。最后再通過輸入測試集來驗證模型的準(zhǔn)確率，達(dá)到97.26%。實驗數(shù)據(jù)表明使用遷移學(xué)習(xí)可以使模型快速地收斂，參數(shù)擬合數(shù)據(jù)集的速度更快，即使模型在較少的訓(xùn)練次數(shù)中也能達(dá)到較高的準(zhǔn)確率。

圖5 訓(xùn)練集與驗證集的準(zhǔn)確率與損失率

3.3 混淆矩陣

為了進(jìn)一步評估模型的分類性能，實驗選用混淆矩陣這一評價指標(biāo)對本文模型進(jìn)行評估，它可以直觀反映模型對不同種類樣本分類性能的好環(huán)。本模型對于60種中藥飲片進(jìn)行分類，其中40 種飲片達(dá)到100%的識別率，但有20 種飲片發(fā)生識別錯誤，圖6 所示為其混淆矩陣。圖中x軸為預(yù)測的飲片類別，y軸為實際的飲片類別，每一列中的數(shù)值表示真實數(shù)據(jù)被預(yù)測為該類的數(shù)目。因此，混淆矩陣中標(biāo)識出來的數(shù)字越大，則說明模型預(yù)測的飲片種類準(zhǔn)確性越高。從圖6 中得出，出現(xiàn)分類錯誤的中藥飲片樣本數(shù)量均在3 個以內(nèi)，只有白術(shù)和當(dāng)歸的錯誤數(shù)量較多，分別為6 個和5 個。這可能是由于白術(shù)與當(dāng)歸的數(shù)據(jù)集中的飲片形態(tài)數(shù)量過多，外形與其他飲片過于相似，導(dǎo)致難以正確識別。

圖6 識別錯誤的中藥飲片的混淆矩陣

4 結(jié)語

針對中藥飲片數(shù)據(jù)集規(guī)模較小，本文提出采用遷移學(xué)習(xí)的方法，基于Xception 網(wǎng)絡(luò)，通過賦予模型預(yù)訓(xùn)練參數(shù)并微調(diào)模型的方式進(jìn)行訓(xùn)練。實驗結(jié)果表明，模型對中藥飲片圖像分類效果較好，達(dá)到了97.26%的準(zhǔn)確率，相比文獻(xiàn)[8]中使用GoogLeNet 模型的方法，準(zhǔn)確率提升了4%。雖然數(shù)據(jù)量有限，但所選飲片種類中多個飲片形態(tài)相似，外形難以區(qū)分，本文模型依然可以準(zhǔn)確區(qū)分出這些易混淆的中藥飲片，證明了Xception 模型對于中藥飲片圖像識別具有一定的優(yōu)勢。

注：本文通訊作者為周華英。