基于計(jì)算機(jī)視覺的中藥飲片分類技術(shù)綜述與案例研究

張誼，萬華，涂淑琴

（華南農(nóng)業(yè)大學(xué) 數(shù)學(xué)與信息學(xué)院，廣州 510642）

0 引言

中藥飲片包括了原形藥材和經(jīng)過切制、炮制后的飲片［1］，可直接用于中醫(yī)臨床用藥。由于藥材本質(zhì)的真?zhèn)?、炮制方式的不同及?chǔ)存情況對飲片藥效起著關(guān)鍵作用，飲片鑒定成為了傳統(tǒng)中醫(yī)用藥安全及促進(jìn)中藥飲片產(chǎn)業(yè)化發(fā)展的當(dāng)務(wù)之急。傳統(tǒng)人工鑒別的方式采用我國著名的中藥學(xué)家謝宗萬提出的“辨狀論質(zhì)”方法［2］，依靠人的經(jīng)驗(yàn)根據(jù)中藥飲片的形、色、氣、味等特征判斷飲片的優(yōu)劣。該方法雖然有一定的直觀性、實(shí)用性，但個(gè)人主觀性以及專業(yè)能力等方面的影響會(huì)造成判斷結(jié)果的差異。

在信息技術(shù)高速發(fā)展的今天，中醫(yī)藥信息化建設(shè)是使中醫(yī)藥走向現(xiàn)代化的必然選擇。中醫(yī)藥信息化是集中整合中醫(yī)藥信息資源、改善中醫(yī)藥服務(wù)質(zhì)量、促進(jìn)信息交流和知識共享的重要手段。相較于傳統(tǒng)的人工鑒定手段，圖像處理技術(shù)能夠更好地提取中藥飲片圖像和結(jié)構(gòu)化數(shù)據(jù)的各種特征，再結(jié)合分類識別模型對中草藥進(jìn)行區(qū)分，有效克服人為鑒別的主觀性影響，為中醫(yī)藥研究提供篩選參照?；诖思夹g(shù)背景，深度學(xué)習(xí)有望在飲片識別、質(zhì)量評級等方面，發(fā)揮其優(yōu)越的性能，提高識別精度，降低人力成本。

本文對近年來中藥領(lǐng)域計(jì)算機(jī)視覺的應(yīng)用現(xiàn)狀進(jìn)行綜述，為藥物分析研究者在篩選飲片上提供計(jì)算機(jī)視覺識別參考。

1 計(jì)算機(jī)視覺在中藥圖像識別的應(yīng)用

計(jì)算機(jī)視覺是模擬人類視覺系統(tǒng)［3-4］，對視覺信息進(jìn)行捕獲，在人為不干預(yù)或少干預(yù)的情況下對圖像內(nèi)容進(jìn)行解讀。在計(jì)算機(jī)視覺領(lǐng)域中，常見的數(shù)字圖像處理技術(shù)有圖像增強(qiáng)技術(shù)［5］、圖像壓縮變換［6］、邊緣銳化［7］、圖像分割［8］、特征提取技術(shù)［9］、圖像識別［10］等，常用的識別算法主要分為傳統(tǒng)識別算法、深度學(xué)習(xí)算法兩大類，如圖1 所示。

對于傳統(tǒng)中草藥識別算法，文獻(xiàn)［9-12］采用底層特征提取方法，結(jié)合淺層機(jī)器學(xué)習(xí)分類器對藥用植物進(jìn)行分類。對于深度學(xué)習(xí)算法，張萬義等［13］針對黃河三角洲地區(qū)特有的17 種中草藥利用深度學(xué)習(xí)算法分類，使訓(xùn)練集分離出來的驗(yàn)證集的平均識別準(zhǔn)確率達(dá)到了96%。

2 中藥飲片圖像的預(yù)處理

由于圖像的質(zhì)量對識別算法有直接影響，在開始使用算法進(jìn)行圖像識別之前，良好的數(shù)據(jù)預(yù)處理能夠提高識別準(zhǔn)確度。常用的圖像預(yù)處理操作如圖2 所示。

圖像歸一化在中草藥識別中主要用于對葉片類藥用植物位置及朝向進(jìn)行歸一。由于葉片具有良好的對稱性，常通過極小轉(zhuǎn)動(dòng)慣量的方法確定對稱軸，進(jìn)而利用沿對稱軸旋轉(zhuǎn)葉片以實(shí)現(xiàn)葉片朝向歸一化［14］。

圖像增強(qiáng)在中藥飲片識別領(lǐng)域中常用的處理手段為空間域的平滑、銳化，以達(dá)到噪點(diǎn)調(diào)整的目的。周法律等［15］利用平滑空間濾波器進(jìn)行平滑處理，去除圖像中比較尖銳的噪聲點(diǎn)，提高飲片在圖像中可檢測性。

圖像灰度化通過將彩色圖像的RGB（Red Green Blue）三通道轉(zhuǎn)化為單通道，從而提高整個(gè)應(yīng)用系統(tǒng)的處理速度，減少所需處理的數(shù)據(jù)量。周法律等［15］利用加權(quán)平均法將輸入的彩色圖像灰度化轉(zhuǎn)變成黑白圖像，利用灰度門限法將高于某一灰度值的背景與葉片圖像分割開。

圖像分割是指通過圖像處理技術(shù)把圖像中飲片主體與周圍背景分離開來，以對飲片區(qū)域進(jìn)行分析處理。謝樹瑩等［16］和張寧等［17］將中藥圖像傳遞給基于分水嶺算法以達(dá)到去除背景的目的。張寶文等［18］運(yùn)用閾值分割法經(jīng)過反復(fù)“分割-均值-迭代”的方法對石楠葉片圖像進(jìn)行分割，利用亮度值將石楠葉片主體與背景分開，如圖3 所示。

圖像增廣通過對飲片圖像進(jìn)行幾何變換、調(diào)整亮度等方式對訓(xùn)練圖像做一系列隨機(jī)改變，來產(chǎn)生相似但又不同的訓(xùn)練樣本，從而擴(kuò)大訓(xùn)練數(shù)據(jù)集的規(guī)模。孫俊等［19］將14 種植物葉片圖片經(jīng)過幾何變換得到新的圖片以將原數(shù)據(jù)集擴(kuò)充至56 626張，增強(qiáng)模型泛化能力。

形態(tài)學(xué)變換技術(shù)包括膨脹、腐蝕等方法，常用于飲片形狀特征的邊界提取。梁麗金等［20］對飲片顯微圖像進(jìn)行脫帽變換、形態(tài)學(xué)開閉運(yùn)算、填充等操作得到防風(fēng)的二值圖。

有效的圖像預(yù)處理手段有助于特征提取及圖像分類，表1 為常見的飲片圖像預(yù)處理方法及作用歸納。

除了表1 所示的方法外，霍夫曼編碼、Golom 編碼等壓縮方法也是常用的數(shù)字圖像處理手段，但是該方法在飲片圖像預(yù)處理應(yīng)用較少。由于中藥飲片近似品等的區(qū)分以紋理、形狀細(xì)微特征作為飲片性狀鑒別標(biāo)準(zhǔn)，對飲片圖像進(jìn)行壓縮處理過度不利于特征提取，以及分類識別。

表1 常用的中藥飲片圖像預(yù)處理方法Tab.1 Common image preprocessing methods of Chinese herbal slices

3 中藥飲片圖像的底層特征

圖像的三大底層特征包括紋理、顏色以及形狀。由于中藥材物種豐富，即使是屬于同一品種的藥材，由于生長地區(qū)、氣候的差異，同樣導(dǎo)致質(zhì)量優(yōu)劣有別。此外，采收時(shí)間或加工方法不同會(huì)導(dǎo)致中藥飲片的色澤、紋理、大小等性狀有所不同，這些差異為圖像分類提供了重要的依據(jù)，常見底層特征提取方法如圖4 所示。

3.1 紋理

中藥飲片紋理結(jié)構(gòu)具有高度的復(fù)雜性，紋理特征是中藥飲片形狀鑒別的重要因素。例如，因產(chǎn)地不同導(dǎo)致差異的川黃柏與關(guān)黃柏［26］，川黃柏內(nèi)表皮具有細(xì)密的縱棱紋，關(guān)黃柏內(nèi)表皮較平滑；同科不同植物根莖的知母與玉竹［27］，知母外表皮有少量殘存的黃棕色葉基纖維和凹陷或突起的點(diǎn)狀根痕，玉竹切面有角質(zhì)樣或顯顆粒性。

賈偉等［28］使用Tamura 方法［29］提取白芍等12 種飲片在粗糙度、對比度、方向度、線性度、規(guī)整度和粗略度6 個(gè)分量的紋理特征。

常見的紋理特征提取手段還有灰度共生矩陣法。陶歐等［30-31］選取羌活等12 味藥材利用灰度共生矩陣提取了11 個(gè)紋理特征參數(shù)。

針對相似紋理的不同藥材，王雪琰等［32］和Kan等［33］提出結(jié)合紋理和顏色形狀特征的方式對藥用植物進(jìn)行特征提取。

由于飲片本身紋理特征的復(fù)雜多樣性單從糙度、對比度、方向度等幾個(gè)微觀維度衡量飲片紋理仍然具有局限性，還需要多種紋理特征參數(shù)結(jié)合從而更好描述飲片紋理細(xì)節(jié)。目前，缺乏統(tǒng)一的數(shù)學(xué)模型衡量多種紋理參數(shù)特征融合效果的優(yōu)劣程度。紋理提取方法在對復(fù)雜環(huán)境的感知能力與適應(yīng)性仍處于研究空白階段。

3.2 顏色

中藥飲片由于本身科屬、產(chǎn)地、炮制方式等因素，色澤會(huì)有差異。例如，寧夏枸杞色澤紅潤，而新疆枸杞新鮮時(shí)紅潤，曬干后變暗；陳皮隨著存放時(shí)間增加，受氧化反應(yīng)的影響導(dǎo)致表面顏色會(huì)變得暗沉。常用顏色直方圖法、顏色參量統(tǒng)計(jì)特征法等手段提取飲片圖像顏色特征。

顏色直方圖描述的是不同色彩在整幅圖像中所占的比例，適于描述那些難以進(jìn)行自動(dòng)分割的圖像。如式（1）所示：

其中：k為圖像特征值；nk表示特征值k的像素總數(shù)；L為特征個(gè)數(shù)；N為圖像總像素?cái)?shù)。

程銘恩等［26］利用OpenCV 通過顏色直方圖提取彩色飲片顏色特征，使用支持向量機(jī)（Support Vector Machine，SVM）分類器對自行采集的大黃等五種飲片的彩色圖像進(jìn)行辨色處理，達(dá)到100%的準(zhǔn)確率。

顏色參量統(tǒng)計(jì)特征法是對彩色圖像的顏色參量進(jìn)行統(tǒng)計(jì)、分析和處理，常用RGB、HSI（Hue Saturation Intensity）等模型。HSI 模型在RGB 模型的基礎(chǔ)上加入飽和度（Saturation）、亮度（Intensity）兩個(gè)特征參量，將RGB 模型轉(zhuǎn)化成HSI 模型，如式（2）～（4）所示：

夏永泉等［34］利用HSI 模型對藥用植物葉片病斑彩色圖像的色調(diào)、飽和度分量進(jìn)行閾值分割，通過去除綠色像素以獲取病斑區(qū)域。

常用于中藥飲片顏色特征提取的模型還有HSV（Hue Saturation Value）模型［22］等。楊濤等［25］通過麥冬病斑圖像在RGB 與HSV 顏色空間各顏色分量的一階矩、二階矩、三階矩提取病斑顏色特征，從而實(shí)現(xiàn)飲片顏色客觀量化。

顏色直方圖可以有效描述彩色圖像的全局顏色分布情況，但是容易受背景環(huán)境干擾。RGB 模型跟顏色直方圖有所類似，僅能對色調(diào)方面進(jìn)行分析。通過引入飽和度、亮度、明度等特征可以衍生為HSI、HSV 模型等。目前，利用OpenCV可以實(shí)現(xiàn)特定顏色的識別和選取，通過RGB 顏色空間轉(zhuǎn)換可以轉(zhuǎn)換成HSI、HSV 等空間便于顏色特征提取。例如，西洋參與人參的顏色極其相似，單從顏色方面作為提取飲片圖像特征指標(biāo)，容易導(dǎo)致對于飲片圖像的識別泛化效果差，系統(tǒng)魯棒性不高等問題。

3.3 形狀

由于藥用植物本身有性狀區(qū)別，形狀成為了中藥飲片分類的重要標(biāo)準(zhǔn)。不少學(xué)者利用飲片邊緣形狀以及大小進(jìn)行植物識別。常見的形狀特征提取方法有：幾何特征計(jì)算法、不變矩陣特征法等。

1）幾何特征法是對飲片的面積、周長、偏心率、圓形度、矩形度等特征的計(jì)算。該方法普遍應(yīng)用于葉類藥用植物特征提取。金夢然等［35］利用tpsDig2 軟件對10 種薔薇科植物葉片輪廓及主葉脈標(biāo)記，計(jì)算特征參數(shù)，通過K最近鄰（KNearest Neighbor，KNN）分類算法。Kolivand等［36］通過邊緣檢測、葉片邊界去除、曲線提取、色調(diào)歸一化圖像生成和圖像融合5 個(gè)步驟完成了物種識別。

2）不變矩陣特征計(jì)算法是對飲片圖像區(qū)域特征的描述，矩不變量對飲片圖像的放縮、旋轉(zhuǎn)、平移具有不變性。金力等［37］利用Hu 不變矩結(jié)合幾何特征法提取12 種藥用植物葉片的10 個(gè)形狀特征，使用灰度共生矩陣法提取5 個(gè)紋理特征，通過SVM 分類器分類，平均識別率達(dá)到93.3%。

葉類中草藥的邊緣主要分為鋸齒狀、波狀、全緣、牙齒狀等，例如，茜草葉片邊緣呈細(xì)鋸齒狀，連錢草為凸波緣。常用的邊緣直方圖、邊緣方向直方圖提取植物外部輪廓。Anami等［38］從900 幅藥用植物圖像中利用邊緣直方圖和邊緣方向直方圖獲得邊緣特征。

形狀特征提取雖然對葉類飲片有比較好的描述效果，但該方法在根莖類飲片應(yīng)用仍存在較大的挑戰(zhàn)。由于根莖類飲片的切制方法多樣，如斜切、橫切、縱切等，不同的切制方法邊緣特征提取效果不同，一定程度上的影響識別結(jié)果。結(jié)合紋理、顏色、形狀的多特征融合手段可以更全面地描繪飲片特征，以達(dá)到更好的分類效果。

4 中藥圖像的分類模型

中藥識別算法主要有基于機(jī)器學(xué)習(xí)、模式識別的傳統(tǒng)算法和基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的深度學(xué)習(xí)算法，其發(fā)展歷史如表2 所示。

表2 中草藥識別常用算法舉例Tab.2 Examples of common algorithms for Chinese herbal medicine recognition algorithms

4.1 傳統(tǒng)算法

傳統(tǒng)算法指的是基于淺層機(jī)器學(xué)習(xí)模型，利用神經(jīng)元構(gòu)建的淺層神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)由輸入層、隱藏層和輸出層構(gòu)成。目前在中藥領(lǐng)域的淺層機(jī)器學(xué)習(xí)模型主要有誤差反向傳播（error Back Propagation，BP）算法［21，49-53］、SVM［39-40］、KNN［47］等算法。

4.1.1 SVM

SVM 分類器在20 世紀(jì)90 年代在圖像識別、文本分類等場景中有很好的應(yīng)用。SVM 具有算法簡單、訓(xùn)練短時(shí)等優(yōu)點(diǎn)，但是存在對于核函數(shù)的高維映射解釋力不強(qiáng)以及對缺失數(shù)據(jù)敏感等問題。

陸楷煜等［41］利用融合糾錯(cuò)輸出編碼（Error Correcting Output Codes，ECOC）的支持向量機(jī)（SVM）識別模型對UCI（University of California，Irvine）數(shù)據(jù)集32 種640 張植物葉片圖像進(jìn)行訓(xùn)練、分類，識別率達(dá)92%，識別效果較好。

Mahajan等［42］提出了一種利用自適應(yīng)助推技術(shù)結(jié)合支持向量機(jī)（SVM）從相應(yīng)葉片圖像中提取形態(tài)特征的植物物種識別模型。

4.1.2 KNN

與其他算法不同，KNN 沒有參數(shù)訓(xùn)練過程，簡單、易于理解。KNN 對每個(gè)待測試樣本都要計(jì)算它到事先加載在內(nèi)存中的已知樣本的距離，導(dǎo)致計(jì)算復(fù)雜度高、內(nèi)存消耗大。

王雷宏等［47］基于灰度共生矩陣提取胡頹子屬植物的紋理特征，構(gòu)建KNN 分類模型準(zhǔn)確率達(dá)到了93.75%。謝文涌等［48］將人工培養(yǎng)6 個(gè)品系的金線蓮葉片圖像經(jīng)過紋理、顏色特征融合，構(gòu)建以邏輯回歸、KNN、隨機(jī)森林和梯度提升決策樹為基分類器的Stacking 分類模型。

4.2 深度學(xué)習(xí)算法

深度學(xué)習(xí)算法主要分為卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)，在計(jì)算機(jī)視覺領(lǐng)域應(yīng)用最多的是卷積神經(jīng)網(wǎng)絡(luò)［64］。卷積神經(jīng)網(wǎng)絡(luò)在原來多層神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，加入了更加有效的特征學(xué)習(xí)部分，具體操作就是在原來的全連接的層前面加入了部分連接的卷積層與池化層。目前在中藥識別領(lǐng)域應(yīng)用的深度學(xué)習(xí)算法主要有GoogleNet［58-61］、VGGNet［55-56，58-60］、ResNet［22，41，55］、AlexNet［21，49，54-57］等。

4.2.1 AlexNet

產(chǎn)供集團(tuán)目前也正為研究堆開發(fā)新型燃料。產(chǎn)供集團(tuán)總裁納塔利婭·尼基佩洛娃9月25日在一次會(huì)議上表示，對于產(chǎn)供集團(tuán)，研究堆燃料市場的重要性不亞于商業(yè)反應(yīng)堆燃料市場。產(chǎn)供集團(tuán)在研究堆燃料領(lǐng)域與國外伙伴開展了大規(guī)模合作，根據(jù)客戶的特定需求提供燃料。

AlexNet 于2012 年提出，具有8 層網(wǎng)絡(luò)結(jié)構(gòu)，大約有6 000 萬個(gè)參數(shù)。AlexNet 使用層疊的卷積層來提取圖像的特征，同時(shí)使用dropout 進(jìn)行訓(xùn)練。該算法利用ReLU（）取代Sigmoid 作為激活函數(shù)，有效提高收斂速度；但是帶來了死神經(jīng)元的問題，在小于0 的地方會(huì)出現(xiàn)神經(jīng)單元死亡，并且不能復(fù)活的情況。其網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。

黃方亮等［21］在百度圖片爬取5 類中草藥共計(jì)3 000 張圖片，經(jīng)過圖像增廣將數(shù)據(jù)集量增加到12 000，在AlexNet 下準(zhǔn)確率為87.5%。王艷等［49］對長白山野外實(shí)習(xí)采摘的15 種中草藥經(jīng)過AlexNet 算法分類識別，平均識別精度為99.38%。

4.2.2 VGGNet

VGGNet［55-56，58-60］采用堆疊3 個(gè)3×3 卷積核的方式來替代1 個(gè)7×7 的卷積核，以保持和7×7 卷積核一樣的感受野。隨著卷積核尺寸的減小，參數(shù)量大幅減少，因此收斂速度更快，過擬合的風(fēng)險(xiǎn)也降低了。VGGNet 在2014 年的ILSVRC（ImageNet Large Scale Visual Recognition Challenge）比賽中，贏得了定位任務(wù)的冠軍，在分類任務(wù)中排名第二。VGGNet的網(wǎng)絡(luò)結(jié)構(gòu)如圖6 所示。

左羽等［54］將經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)VGGNet 16 與全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）相結(jié)合，把VGGNet 16中兩個(gè)通道數(shù)為4 096 的全連接層改為卷積層，構(gòu)造一個(gè)新的VGGNet 16 模型為植物圖像分類模型，在植物圖像分類上的準(zhǔn)確率達(dá)到97.23%。樊湘鵬等［55］對VGGNet 16 結(jié)構(gòu)改進(jìn)和優(yōu)化，在病害葉片檢測平均準(zhǔn)確率為98.02%，單幅圖像平均檢測耗時(shí)為0.327 s。陳雁等［56］在VGGNet 下對何首烏等60 種中藥飲片進(jìn)行分類，分類準(zhǔn)確率優(yōu)于AlexNet。

4.2.3 GoogleNet

AlexNet、VGGNet 等算法主要通過增加網(wǎng)絡(luò)的深度以達(dá)到更好的分類效果，但網(wǎng)絡(luò)層數(shù)增加的同時(shí)也帶來了梯度消失、overfit、梯度爆炸等問題。GoogleNet 于2014 年面世，該分類算法使用1×1 卷積核進(jìn)行降維以及映射處理，引入了Inception 結(jié)構(gòu)（圖7）以融合不同尺度特征信息。

GoogleNet 的網(wǎng)絡(luò)架構(gòu)的主要特點(diǎn)就是提升了對網(wǎng)絡(luò)內(nèi)部計(jì)算資源的利用。相較于AlexNet 和VGGNet，GoogleNet 添加兩個(gè)輔助分類器幫助訓(xùn)練，從而提高低層網(wǎng)絡(luò)的分類能力、阻止網(wǎng)絡(luò)中間部分梯度消失。同年，GoogleNet 獲得ImageNet 競賽的分類任務(wù)冠軍。

4.2.4 ResNet

ResNet［22，41，55］利用Shortcut Connection 結(jié)構(gòu)（見圖8）來跳過網(wǎng)絡(luò)的某些層，以3.57%的Top5 錯(cuò)誤率贏得了2015 年ILSVRC 比賽的冠軍。當(dāng)增加網(wǎng)絡(luò)深度時(shí)，VGGNet 精度會(huì)達(dá)到飽和，然后很快下降。為了解決這個(gè)問題，ResNet 引入了快捷連接，網(wǎng)絡(luò)的輸出不是y=F(x)，而是殘差塊的輸出y=F(x) +x或y=F(x) +ωx（當(dāng)F(x)的維度與x不同時(shí)，需要將x調(diào)整到相同的維度），從而將網(wǎng)絡(luò)學(xué)習(xí)過程由直接構(gòu)造原始輸入的函數(shù)轉(zhuǎn)變成構(gòu)造相較于原始輸入的擾動(dòng)特征函數(shù)，降低了學(xué)習(xí)的難度，反向傳播時(shí)梯度也可以快速回傳，解決了深層次網(wǎng)絡(luò)退化問題。

劉捷［61］利用植物數(shù)據(jù)集訓(xùn)練VGGNet、GoogleNet、ResNet以及ResNet-inception 網(wǎng)絡(luò)模型，分別得到79.8%、90.4%、89.7%、92.8%的準(zhǔn)確率。

4.2.5 DenseNet

鑒于ResNet 模型訓(xùn)練生成的網(wǎng)絡(luò)中存在有的層貢獻(xiàn)很少的局限性，Huang等［67］于2017 年提出了DenseNet（見圖9），該模型脫離了傳統(tǒng)的網(wǎng)絡(luò)層數(shù)加深、網(wǎng)絡(luò)結(jié)構(gòu)加寬機(jī)制，使用了跨層連接及以前饋方式，每個(gè)層都會(huì)接受其前面所有層作為其額外的輸入。相較于ResNet，DenseNet 旁路加強(qiáng)了特征的重用且具有更少的參數(shù)量，有效緩解了梯度消失（gradient vanishing）、模型退化（model degradation）的問題，更易于訓(xùn)練。

吳云志等［62］將87 867 張植物病害圖像分別在DenseNet169、ResNet50 和MobileNet 下實(shí)驗(yàn)，發(fā)現(xiàn)在DenseNet169 下識別效果最好，得到測試集識別準(zhǔn)確率為98.23%。

除了以上介紹常用于中藥飲片分類的算法外，還有SqueezeNet［68］、ShuffleNet［69-70］、MobileNet［71-73］、ESPNet（Efficient Spatial Pyramid Network）［74-75］、FBNet（Facebook Berkeley Nets）［76-78］、EfficientNet［79-80］、SkipNet［81］等輕量級CNN如表3 所示，其主要特點(diǎn)是在保持精度的前提下，從體積及速度兩方面對網(wǎng)絡(luò)進(jìn)行輕量化。雖然現(xiàn)階段神經(jīng)網(wǎng)絡(luò)在GPU 上運(yùn)行速度已經(jīng)可以達(dá)到實(shí)時(shí)性要求，但是移植到手機(jī)端或者其他設(shè)備上還存在運(yùn)行速度的問題，測試速度過慢會(huì)導(dǎo)致用戶時(shí)間上等待的負(fù)擔(dān)。在移動(dòng)設(shè)備上推理速度上的提升尤為重要，而輕量級CNN 研究在此方面具有良好的優(yōu)勢。

表3 常用的輕量級CNNTab.3 Common lightweight CNN

5 案例研究

5.1 數(shù)據(jù)集情況

實(shí)驗(yàn)數(shù)據(jù)集包括12 類飲片（圖10，括號中的數(shù)字為該飲片對應(yīng)的標(biāo)簽序號），參照2020 版《中國藥典》一部對中藥飲片圖像進(jìn)行篩選，篩選后得到共9 156 張圖片，其中，3 702 張圖片來自網(wǎng)絡(luò)，手工拍攝5 454張，拍攝工具是華為榮耀50se。針對形態(tài)相似的花類、根莖類飲片做圖像分類，數(shù)據(jù)集具體分布情況如圖11 所示。利用留出法（Holdout cross validation）按照固定比例將數(shù)據(jù)集靜態(tài)劃分為訓(xùn)練集、驗(yàn)證集、測試集，三者比例為6∶2∶2。

5.2 特征提取

對于傳統(tǒng)分類方法，利用HOG 提取飲片圖像特征。深度學(xué)習(xí)模型由于卷積核有提取特征的功能，故不另做傳統(tǒng)特征提取。

5.3 實(shí)驗(yàn)結(jié)果

對自建數(shù)據(jù)集進(jìn)行分類測試，利用以下指標(biāo)對模型進(jìn)行性能評估：準(zhǔn)確率（Accuracy）、召回率（Recall）、精確度（Precision）、特異性（Specificity）以及混淆矩陣。表4 為飲片圖像在各分類網(wǎng)絡(luò)下利用宏平均法的實(shí)驗(yàn)結(jié)果。

Accuracy、Recall、Precision、Specificity的計(jì)算公式分別如式（5）～（8）所示：

其中：TP（True Positive）為真實(shí)是正確類，預(yù)測成正確類的樣本數(shù)量；FP（False Positive）為真實(shí)是錯(cuò)誤類，預(yù)測成正確類的樣本數(shù)量；TN（True Negative）為真實(shí)為錯(cuò)誤類，預(yù)測成錯(cuò)誤類的樣本數(shù)量；FN（False Negative）為真實(shí)是正確類，預(yù)測成錯(cuò)誤類的樣本數(shù)量。

在本次案例分析實(shí)驗(yàn)中由于所挑選的根莖類中藥飲片性狀特征較為相似，常常容易被誤判，ShuffleNet v2 相較于其他算法表現(xiàn)出更好的分類效果。如圖12 所示，紅芪在不同分類模型下預(yù)測示例中，只有ShuffleNet v2 正確識別出了紅芪。如表4 所示，ShuffleNet v2 表現(xiàn)最佳，Precision為91.4%，Recall為90.0%，Accuracy為98.6%，比同為輕量級網(wǎng)絡(luò)的MobileNet v2在Accuracy上高2.2 個(gè)百分點(diǎn)。

圖13 為ShuffleNet v2 下飲片圖像的混淆矩陣，橫軸表示中藥飲片圖像的真實(shí)標(biāo)簽值，縱軸表示每類中藥飲片圖像的預(yù)測標(biāo)簽值，標(biāo)簽序號對應(yīng)的飲片圖像如圖10 所示，對角線上的數(shù)值代表每一類圖像中被正確分類的數(shù)量，顏色越深代表該中藥飲片類別預(yù)測準(zhǔn)確的數(shù)量越多。如混淆矩陣所示，ShuffleNet v2 對于本身區(qū)分特征不夠明顯或者由于拍攝角度沒拍出其鮮明特征的相似飲片圖像，仍出現(xiàn)誤判狀況。對于本身區(qū)分特征不夠明顯或者由于拍攝角度沒拍出其鮮明特征的相似飲片圖像，仍出現(xiàn)誤判狀況。例如，在該算法下金邊玫瑰由于相較于其他品種具有花托上有金色窄邊的鮮明特點(diǎn)，準(zhǔn)確率較高，但是主要依賴大小以及葉柄小葉數(shù)量區(qū)分的重瓣玫瑰與月季在各網(wǎng)絡(luò)中常被誤判。

5.4 實(shí)驗(yàn)分析

如表4 所示，基于卷積神經(jīng)網(wǎng)絡(luò)的分類算法比傳統(tǒng)淺層機(jī)器學(xué)習(xí)算法在圖像分類上存在較大優(yōu)勢。由于飲片圖像涉及多種特征，單一利用HOG 提取圖片邊和角等特征有較大局限性，利用傳統(tǒng)淺層機(jī)器學(xué)習(xí)方法分類需要嘗試多種不同的提取特征方法，工作量較大。利用深度學(xué)習(xí)方法通過卷積核可以有效提取圖片特征，工作量較小且可以達(dá)到良好的識別效果。ResNet 參照VGGNet 使用3×3 卷積核，并在此基礎(chǔ)上加入Shortcut 結(jié)構(gòu)，使得ResNet 在更深的網(wǎng)絡(luò)得以有效訓(xùn)練，在計(jì)算效率跟準(zhǔn)確率上相較于VGGNet 有明顯的提高。ResNeXt 提出aggregrated transformations，利用平行堆疊相同拓?fù)浣Y(jié)構(gòu)的blocks 代替原來 ResNet 的三層卷積的block，通過分組卷積機(jī)制減少超參數(shù)，降低復(fù)雜度，還提高了性能。ResNet 與ReNeXt 分類效果較好，適用于藥企等單位進(jìn)行精細(xì)化飲片篩選，減少員工工作量，但是存在內(nèi)存需求量大且測試時(shí)間較長等問題。

表4 各算法分類結(jié)果Tab.4 Classification results of different algorithms

隨著輕量級CNN 的快速發(fā)展，SqueezeNet、ShuffleNet 等輕量級網(wǎng)絡(luò)逐漸活躍在大眾視野中。MobileNet v2 在沿用MobileNet v1 的Width Multiplier 的基礎(chǔ)上，借鑒ResNet 引入殘差結(jié)構(gòu)，通過先升維再降維的方式，減少3×3 模塊的計(jì)算量，提高殘差模塊的計(jì)算效率。本文實(shí)驗(yàn)中MobileNet v2的Recall為74.2%，而模型大小為8.73 MB，遠(yuǎn)比VGGNet-16、ResNet 小。ShuffleNet v2 提出channel split 操作，在加速網(wǎng)絡(luò)的同時(shí)進(jìn)行了特征重用，在本文實(shí)驗(yàn)中Recall為90.0%，Precision為91.4%，均比MobileNet v2高，模型大小接近MobileNet v2 的一半。MobileNet 與ShuffleNet 測試速度快、內(nèi)存需求量小且運(yùn)算量小，適用于基于移動(dòng)設(shè)備輔助廣大群眾日常對藥食同源的飲片進(jìn)行選擇。

除了以上網(wǎng)絡(luò)外，還有VGGNet 的演變RepVGG、ResNet的發(fā)展ResNeSt 以及近期比較火熱的Transformer 等網(wǎng)絡(luò)，在中藥飲片識別上仍存在較大發(fā)展空間。RepVGG 借鑒ResNet 殘差結(jié)構(gòu)的特點(diǎn)，在VGG 網(wǎng)絡(luò)的Block 中加入了Identity 和殘差分支，可用于飲片圖像分類時(shí)處理深層網(wǎng)路中的梯度消失問題，使得網(wǎng)絡(luò)更加易于收斂。ViT（Vision Transformer）基于自注意力機(jī)制，相較于CNN，ViT 更善于把握整體，具有在區(qū)分飲片形狀細(xì)微特征的優(yōu)勢。葉類飲片曬干易碎，可借助ViT 在葉片邊緣形狀鑒別上的優(yōu)勢區(qū)分。將不同網(wǎng)絡(luò)的優(yōu)勢相結(jié)合以提高不同狀況中藥飲片識別的性能具有較大發(fā)展?jié)摿Α?/p>

6 目前存在的問題與展望

雖然目前計(jì)算機(jī)視覺在中藥飲片分類研究領(lǐng)域取得了一些突破，但在實(shí)際應(yīng)用上還是有很大的發(fā)展空間。本文通過對目前計(jì)算機(jī)視覺在中藥領(lǐng)域存在的應(yīng)用范圍、分類算法改造、數(shù)據(jù)集的建立等方面進(jìn)行歸納和總結(jié)，希望能為領(lǐng)域內(nèi)研究人員提供新的探究方向與思路。

1）在應(yīng)用領(lǐng)域方面，目前研究多是對中藥飲片類型的判定，采用計(jì)算機(jī)視覺方法應(yīng)用中藥飲片質(zhì)量等級鑒定、真?zhèn)闻袆e、霉變情況、道地藥材篩選等的研究仍然處于空白階段。尤其是基于細(xì)粒度識別對同種飲片人工栽培品，野生品的區(qū)分，具有較大的市場推廣潛力。在飲片識別領(lǐng)域普遍為單目標(biāo)分類，缺乏對多目標(biāo)識別的研究。多目標(biāo)識別可應(yīng)用于在復(fù)方中對飲片的識別，幫助大眾了解認(rèn)識中藥飲片以及常見配伍。

2）在數(shù)據(jù)集方面，目前在中藥領(lǐng)域研究多針對鮮活植物數(shù)據(jù)集，缺乏中藥飲片圖像的標(biāo)準(zhǔn)數(shù)據(jù)集。相較于鮮活植物，飲片在炮制方式、存儲(chǔ)狀況方面具有更大的研究挑戰(zhàn)性。

3）不同研究者使用的飲片數(shù)據(jù)庫各不相同，難以比較不同算法的性能優(yōu)劣和魯棒性。不同背景、光源下的圖像數(shù)據(jù)集的缺乏，直接導(dǎo)致識別模型泛化能力差，識別精度易受復(fù)雜背景干擾。本案例中數(shù)據(jù)集所采用圖片多為主體明顯的圖片，后期需要補(bǔ)充復(fù)雜背景、不同光源下主體不明顯的飲片圖像。

4）大部分中藥材都需要經(jīng)過切片、曬制或烘焙等流程，經(jīng)過這些流程，顏色、形狀等特征的特異性被減弱，分類難度被提高。飲片單一特征提取分類效果較差，單特征具有可變性、不確定性，直接影響識別的穩(wěn)健度。HOG 目前在行人檢測領(lǐng)域有很好的效果，但是在本次案例研究中，HOG+SVM在識別月季以及不同品種的玫瑰上表現(xiàn)較差，由于其主要針對紋理特征忽略了顏色特征的作用。因此，需要結(jié)合多種底層特征或者結(jié)合深度學(xué)習(xí)方法提取飲片本體特征以提升分類效果。

5）飲片識別算法大多數(shù)是探索性的，沒有一個(gè)統(tǒng)一的評價(jià)標(biāo)準(zhǔn)，所以難以實(shí)現(xiàn)飲片種類系統(tǒng)之間的定量比較。在算法改造上，目前研究顯示深度學(xué)習(xí)相較于傳統(tǒng)算法的性能有了較大提升，但算法的魯棒性和可解釋性方面需要更深入的研究。在本次實(shí)驗(yàn)中，各分類網(wǎng)絡(luò)對于本身區(qū)分特征不夠明顯或者由于拍攝角度沒拍出其鮮明特征的相似飲片圖像常出現(xiàn)誤判，仍需要進(jìn)行更多分類網(wǎng)絡(luò)改進(jìn)等方面的研究。

7 結(jié)語

本文針對計(jì)算機(jī)視覺在中藥飲片領(lǐng)域的應(yīng)用，介紹了圖像分類技術(shù)在中藥飲片方面的相關(guān)原理和知識，并對圖像預(yù)處理、特征提取、分類網(wǎng)絡(luò)等方法以及研究現(xiàn)狀進(jìn)行深入探討。這些方法對基于計(jì)算機(jī)視覺的飲片分類研究具有很好的指導(dǎo)價(jià)值。

中藥飲片篩選是中醫(yī)臨床用藥必不可少的部分，基于計(jì)算機(jī)視覺技術(shù)可以輔助企業(yè)飲片篩選智能化，幫助大眾認(rèn)識中藥。雖然傳統(tǒng)分類算法方法在外觀特征區(qū)別較大的中藥飲片有很好的表現(xiàn)，但是面對性狀相似飲片，深度學(xué)習(xí)方法的分類效果明顯高于傳統(tǒng)分類算法。在中藥飲片圖像分類領(lǐng)域中，目前面臨著飲片圖像標(biāo)準(zhǔn)數(shù)據(jù)集缺乏、沒有統(tǒng)一的評價(jià)標(biāo)準(zhǔn)等問題。面對性狀相似飲片區(qū)分的挑戰(zhàn)，在網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)方面的研究具有很大的發(fā)展空間。