小樣本民族藥植物圖像識(shí)別綜述

葉青 馮振乾 朱彥陳 方樺

摘? 要：深度學(xué)習(xí)模型在圖像識(shí)別領(lǐng)域的快速發(fā)展，使得它依賴大規(guī)模數(shù)據(jù)的特性愈發(fā)明顯。而民族藥由于生長(zhǎng)環(huán)境、生長(zhǎng)周期等因素影響使得民族藥圖像數(shù)據(jù)采集困難，樣本量過少。如何在樣本量過少的情況下使用深度學(xué)習(xí)模型對(duì)民族藥植物圖像進(jìn)行識(shí)別是目前亟須解決的重點(diǎn)難題。文章著眼于深度學(xué)習(xí)模型，詳細(xì)討論了幾種民族藥植物圖像識(shí)別領(lǐng)域的小樣本學(xué)習(xí)方法，包括基于數(shù)據(jù)增強(qiáng)的方法、基于遷移學(xué)習(xí)的方法和基于注意力機(jī)制的方法，同時(shí)根據(jù)所研究的藏藥數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)和對(duì)比分析，總結(jié)闡述了現(xiàn)有方法在解決小樣本民族藥植物圖像識(shí)別時(shí)的性能優(yōu)劣。最后對(duì)小樣本民族藥植物圖像識(shí)別領(lǐng)域存在的問題進(jìn)行總結(jié)，并對(duì)未來發(fā)展方向進(jìn)行展望。

關(guān)鍵詞：深度學(xué)習(xí)；小樣本圖像識(shí)別；數(shù)據(jù)增強(qiáng)；遷移學(xué)習(xí)；注意力機(jī)制

中圖分類號(hào)：TP391.4；TP18? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）04-0081-06

A Survey on Image Recognition of Small-Sample Ethnomedicine Plants

YE Qing1， FENG Zhenqian1， ZHU Yanchen1， FANG Hua2

（1.Jiangxi University of Chinese Medicine， Nanchang? 330004， China;

2.Educational Technology and Instructional Resource Center of Nanchang University， Nanchang? 330031， China）

Abstract： The rapid development of deep learning models in the field of image recognition makes it more and more obvious that they rely on large-scale data. However， due to factors such as the growth environment and growth cycle of ethnomedicine， it is hard to collect image data of ethnomedicine， and the sample size is too tiny. How to use the deep learning model to recognize the images of ethnomedicine plants when the sample size is too tiny is a key problem that needs to be resolved urgently. Focusing on deep learning models， this paper discusses in detail several small-sample learning methods in the field of ethnomedicine plants image recognition， including methods based on data augmentation， methods based on transfer learning， and methods based on attention mechanisms. At the same time， according to the studied Tibetan medicine data set， it performs experiments and comparative analysis to summarize and expound the performance of the existing methods in solving the image recognition of small-sample of ethnomedicine plants. Finally， the existing problems in the field of image recognition of small-sample ethnomedicine plants are summarized and the future development direction is proposed.

Keywords： deep learning; small-sample image recognition; data augmentation; transfer learning; attention mechanism

0? 引? 言

民族藥是我國傳統(tǒng)中醫(yī)藥重要的組成部分，是少數(shù)民族經(jīng)過長(zhǎng)期實(shí)踐、逐漸摸索出來的一種農(nóng)業(yè)與日常生活相結(jié)合的中國特色傳統(tǒng)醫(yī)藥學(xué)，為少數(shù)民族的衛(wèi)生健康保障做出了巨大貢獻(xiàn)，民族藥在治療某些疾病方面具有顯著優(yōu)勢(shì)，如徐季軒[1]在關(guān)于缺血性心臟病的研究中提到蒙藥阿古特-其其格能夠治療ISO誘導(dǎo)的心肌結(jié)構(gòu)紊亂。在新冠疫情的防治過程中，民族藥發(fā)揮了獨(dú)特的顯著優(yōu)勢(shì)[2]，大大提高了病人的治愈率[3]。然而，市場(chǎng)上民族藥的質(zhì)量良莠不齊，人們由于專業(yè)知識(shí)、客觀因素的限制，對(duì)于民族藥的辨識(shí)能力不足，誤用民族藥可能會(huì)產(chǎn)生不良后果。因此，對(duì)于民族藥的有效識(shí)別的研究迫在眉睫。

在國內(nèi)外現(xiàn)有的研究資料中，大多為民族藥功效及用法研究，對(duì)于民族藥植物圖像的研究相對(duì)較少。本文整理現(xiàn)有的民族藥植物圖像識(shí)別技術(shù)并提出目前這一領(lǐng)域主要面對(duì)的難題是樣本量過少引起的過擬合問題。為了更好理解小樣本民族藥植物圖像識(shí)別的研究現(xiàn)狀，本文從深度學(xué)習(xí)入手，總結(jié)梳理了民族藥植物圖像識(shí)別的小樣本學(xué)習(xí)常用技術(shù)，以期望能為接下來民族藥植物圖像識(shí)別研究提供新的思路。

1? 民族藥植物圖像識(shí)別

1.1? 民族藥植物圖像識(shí)別

民族藥植物圖像識(shí)別是指采用計(jì)算機(jī)視覺相關(guān)技術(shù)，將民族藥植物圖像進(jìn)行識(shí)別分類。按照識(shí)別過程的不同，主要分為傳統(tǒng)識(shí)別算法和深度學(xué)習(xí)識(shí)別算法兩大類。

傳統(tǒng)識(shí)別算法的一般步驟為：圖像預(yù)處理、特征提取和特征分類，其中最主要的部分為特征提取和特征分類。傳統(tǒng)的民族藥圖像識(shí)別算法中將特征提取與特征分類分開進(jìn)行，研究人員在特征提取階段手工設(shè)計(jì)特征提取分類器，主要提取民族藥的形狀紋理和顏色特征，然后對(duì)提取的底層特征使用機(jī)器學(xué)習(xí)算法進(jìn)行特征分類。如曾輝[4]在對(duì)麻黃、木通等民族藥識(shí)別時(shí)，通過提取顏色特征和紋理特征，輔以改進(jìn)的K近鄰法進(jìn)行識(shí)別分類。王耐[5]通過使用HSV顏色特征、幾何不變矩和灰度共生矩進(jìn)行特征融合，融合后的特征以BP神經(jīng)網(wǎng)絡(luò)作為分類器較好地完成了牛膝和川牛膝的分類。然而傳統(tǒng)的民族藥圖像識(shí)別算法在特征提取中針對(duì)簡(jiǎn)單特征效果較好，稍微復(fù)雜的特征效果差強(qiáng)人意，使用手工設(shè)計(jì)特征提取主觀性較大[6]，不具有普適性。因此，現(xiàn)階段研究人員更加關(guān)注深度學(xué)習(xí)識(shí)別算法的研究。

深度學(xué)習(xí)識(shí)別算法使用特征提取網(wǎng)絡(luò)自動(dòng)提取圖像特征，通過一層一層的特征組合、抽象，形成高級(jí)語義特征，減少了特征提取時(shí)人為因素的干擾，客觀性較強(qiáng)，準(zhǔn)確率更高。深度學(xué)習(xí)民族藥植物圖像識(shí)別的一般步驟為：圖像預(yù)處理、神經(jīng)網(wǎng)絡(luò)訓(xùn)練、保存模型和測(cè)試集測(cè)試。深度學(xué)習(xí)在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中將特征提取與特征分類融為一體，減少了特征選擇和特征處理的過程，更具有客觀性。然而深度學(xué)習(xí)仍存在一些不足，如深度學(xué)習(xí)的模型訓(xùn)練需要大量的樣本數(shù)據(jù)，在民族藥植物圖像識(shí)別研究中，難以獲取足量的訓(xùn)練數(shù)據(jù)，導(dǎo)致模型過擬合。因此，樣本量過少是目前民族藥植物圖像識(shí)別亟須解決的難題。

1.2? 民族藥植物圖像識(shí)別小樣本問題

民族藥植物圖像識(shí)別研究中存在許多難題，包括多基原[7]、復(fù)雜背景[8]、樣本量過少[9]和樣本不均衡[10]等問題，其中最主要的難題是樣本量過少的問題。民族藥由于生長(zhǎng)周期短，生長(zhǎng)環(huán)境惡劣，分布地域狹窄且少有人罕至，導(dǎo)致民族藥植物圖像采集困難，樣本量比較少，對(duì)少量民族藥植物圖像進(jìn)行機(jī)器學(xué)習(xí)的問題稱為小樣本問題。小樣本問題在圖像識(shí)別中又被稱為小樣本學(xué)習(xí)[11]，主要分為三類：零樣本學(xué)習(xí)[12]、單樣本學(xué)習(xí)[13]和少樣本學(xué)習(xí)[14]。民族藥植物圖像數(shù)據(jù)集中包含有許多不同屬的植物圖像，每個(gè)屬中又包含不同的種類，每個(gè)種類的植物圖像不到20張，在進(jìn)行模型訓(xùn)練時(shí)，極易因樣本量過少產(chǎn)生過擬合。因此，民族藥植物圖像識(shí)別是一個(gè)典型的小樣本問題。

1.3? 民族藥植物圖像識(shí)別小樣本學(xué)習(xí)方法

在現(xiàn)實(shí)場(chǎng)景中由于各種因素的限制無法進(jìn)行大規(guī)模數(shù)據(jù)的獲取，針對(duì)這一問題產(chǎn)生的小樣本學(xué)習(xí)引發(fā)研究者的關(guān)注，許多研究人員提出各種技術(shù)來緩解小樣本帶來的困擾。在自然語言處理領(lǐng)域，趙凱琳[15]將解決小樣本問題的方法分為模型微調(diào)、數(shù)據(jù)增強(qiáng)和遷移學(xué)習(xí)三種。在圖像識(shí)別領(lǐng)域，葛軼洲[16]提出數(shù)據(jù)增強(qiáng)、遷移學(xué)習(xí)和元學(xué)習(xí)的少量標(biāo)注圖像樣本學(xué)習(xí)方法。

根據(jù)現(xiàn)主流的深度學(xué)習(xí)框架下民族藥植物圖像識(shí)別小樣本問題的研究，大致可以分為三種方法：基于數(shù)據(jù)增強(qiáng)的方法、基于遷移學(xué)習(xí)的方法和基于注意力機(jī)制的方法。在基于數(shù)據(jù)增強(qiáng)的方法中，分為圖像基本處理技術(shù)、生成對(duì)抗網(wǎng)絡(luò)和自動(dòng)編碼器的數(shù)據(jù)增強(qiáng)方法。在基于遷移學(xué)習(xí)的方法中，根據(jù)遷移的方式分為參數(shù)遷移、實(shí)例遷移和度量學(xué)習(xí)3種。本文在第2節(jié)中對(duì)上述三類方法的主要思想進(jìn)行具體闡述，并通過一些代表性案例來說明上述技術(shù)在民族藥植物圖像識(shí)別上的應(yīng)用。

2? 基于深度學(xué)習(xí)的方法

2.1? 基于數(shù)據(jù)增強(qiáng)的方法

數(shù)據(jù)增強(qiáng)又稱為數(shù)據(jù)增廣。數(shù)據(jù)增強(qiáng)是一種比較常見數(shù)據(jù)擴(kuò)充方法?；跀?shù)據(jù)增強(qiáng)的方法是根據(jù)現(xiàn)有的數(shù)據(jù)集，在不另外收集更多樣本數(shù)據(jù)的條件下，使用一定的操作產(chǎn)生更多的樣本數(shù)據(jù)。數(shù)據(jù)增強(qiáng)不僅能夠使樣本數(shù)據(jù)量增加，而且能夠?qū)颖緮?shù)據(jù)的特征進(jìn)行“增強(qiáng)”。增強(qiáng)后的樣本數(shù)據(jù)能夠很好地緩解原始數(shù)據(jù)集中訓(xùn)練樣本不足的問題。

數(shù)據(jù)增強(qiáng)技術(shù)大致上可以分為三類，第一種是圖像基本處理技術(shù)的數(shù)據(jù)增強(qiáng)，第二種是基于生成對(duì)抗網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)，第三種是基于自編碼器的數(shù)據(jù)增強(qiáng)。

2.1.1? 圖像基本處理技術(shù)的數(shù)據(jù)增強(qiáng)

圖像基本處理技術(shù)的數(shù)據(jù)增強(qiáng)方法通過簡(jiǎn)單的空間變換和顏色變換，將原始圖像的像素信息映射到新的圖像中。深度學(xué)習(xí)方法常常會(huì)在圖像預(yù)處理階段使用此種方法對(duì)原始數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充。常見的圖像基本處理技術(shù)有：平移、鏡像、縮放、旋轉(zhuǎn)、裁剪和灰度化等。例如，黃方亮[17]在小樣本中草藥圖像數(shù)據(jù)集上進(jìn)行水平鏡像、旋轉(zhuǎn)添加噪聲等操作，能夠較好地滿足卷積神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)的需求。吳沖[18]使用深度學(xué)習(xí)模型，通過對(duì)川貝母，山楂和半夏飲片圖像裁剪，擴(kuò)大了數(shù)據(jù)集的規(guī)模，然后對(duì)圖像進(jìn)行歸一化，提高了特征的提取精度，有效地避免了模型過擬合。

除了上述圖像基本處理技術(shù)之外，還有形態(tài)學(xué)變換技術(shù)[19]、圖像增強(qiáng)[20]和圖像分割[21]等數(shù)據(jù)增強(qiáng)方法，但這些方法在民族藥植物圖像識(shí)別中使用較少。由于民族藥植物圖像的復(fù)雜性，形態(tài)學(xué)變換技術(shù)和圖像增強(qiáng)對(duì)民族藥植物圖像的處理效果較差。圖像分割作為圖像處理技術(shù)中的一種重要手段，已有許多研究者對(duì)圖像分割的方式進(jìn)行改進(jìn)。常見的圖像分割算法對(duì)某一種植物葉片分割效果較好，如張寶文[22]對(duì)石楠葉片進(jìn)行圖像分割，成功將葉片與背景分離。對(duì)于相對(duì)復(fù)雜的民族藥植物圖像，已有的圖像分割算法未能將藏藥紫斑百合藥材主體與背景分離。

2.1.2? 基于生成對(duì)抗網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)方法

生成對(duì)抗網(wǎng)絡(luò)是現(xiàn)階段深度學(xué)習(xí)進(jìn)行數(shù)據(jù)增強(qiáng)的主要方式之一。生成對(duì)抗網(wǎng)絡(luò)提出的初衷是生成一些原本不存在于真實(shí)世界的數(shù)據(jù)。生成對(duì)抗網(wǎng)絡(luò)應(yīng)用在數(shù)據(jù)增強(qiáng)任務(wù)上的思想是通過生成新的訓(xùn)練數(shù)據(jù)來擴(kuò)充模型的訓(xùn)練樣本，利用樣本空間的擴(kuò)充來實(shí)現(xiàn)圖像分類準(zhǔn)確率的提升。生成對(duì)抗網(wǎng)絡(luò)由生成器和鑒別器兩部分構(gòu)成，生成器負(fù)責(zé)生成一些新的數(shù)據(jù)去欺騙鑒別器，鑒別器的目的是判別真實(shí)數(shù)據(jù)和生成數(shù)據(jù)，通過不斷地進(jìn)行對(duì)抗訓(xùn)練，最終達(dá)到一種納什均衡的狀態(tài)，實(shí)現(xiàn)數(shù)據(jù)的增強(qiáng)。

李彥暉[23]在藥品鑒定中使生成對(duì)抗網(wǎng)絡(luò)擴(kuò)充拉曼光譜數(shù)據(jù)集，有效的生成高質(zhì)量的數(shù)據(jù)，滿足深度學(xué)習(xí)模型對(duì)數(shù)據(jù)的需求。張澎[24]利用深度卷積生成對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)了植物圖像數(shù)據(jù)的擴(kuò)充，使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)擴(kuò)充后的樣本圖像提取特征，證明了生成對(duì)抗網(wǎng)絡(luò)能夠有效地解決植物圖像因數(shù)據(jù)不足出現(xiàn)的過擬合問題。蔡高勇[25]使用深度卷積生成對(duì)抗網(wǎng)絡(luò)對(duì)小樣本柑橘的病斑數(shù)據(jù)集進(jìn)行樣本擴(kuò)充，發(fā)現(xiàn)擴(kuò)充后圖像在樣本的相似性，多樣性，清晰度等方面明顯優(yōu)于圖像基本處理技術(shù)的擴(kuò)充。

本文使用生成對(duì)抗網(wǎng)絡(luò)對(duì)中藥月季花數(shù)據(jù)集進(jìn)行擴(kuò)充，如圖1所示，為6 000輪訓(xùn)練后的結(jié)果，對(duì)于相對(duì)簡(jiǎn)單的圖像可以生成對(duì)應(yīng)的偽圖像，對(duì)于相對(duì)復(fù)雜的生成效果較差。生成對(duì)抗網(wǎng)絡(luò)生成偽圖像，其圖像質(zhì)量與時(shí)間成本正相關(guān)。因此，在本文第3節(jié)紅景天識(shí)別實(shí)驗(yàn)時(shí)不做考慮。

2.1.3? 基于自編碼器的數(shù)據(jù)增強(qiáng)方法

自編碼器可以在數(shù)據(jù)執(zhí)行特征空間中對(duì)樣本進(jìn)行擴(kuò)充。自編碼器是一種三層的前饋神經(jīng)網(wǎng)絡(luò)。自編碼器與神經(jīng)網(wǎng)絡(luò)不同的地方在于：自編碼器加入了編碼和解碼兩部分，其中編碼的部分由輸入層和隱含層構(gòu)成，解碼的部分由隱含層和輸出層構(gòu)成，輸入的工作原理是，編碼器將圖像映射成低維向量表示，網(wǎng)絡(luò)的解碼器，可以將這些向量重建回原始圖像大小。這種編碼表示可用于特征空間的擴(kuò)展。

楊倩文[26]證明了過擬合問題可以等價(jià)于不適定問題，通過引入正則化的思想，提出了正則化自動(dòng)編碼器算法，令數(shù)據(jù)的均值、方差等逐漸逼近數(shù)據(jù)分布的真實(shí)期望值，有效地避免了小樣本模型的過擬合。王雪[27]通過構(gòu)建了一種堆棧自動(dòng)編碼器及其優(yōu)化結(jié)構(gòu)，有效地提高了植物葉片的分類精度，很好地解決了模型過擬合的問題。

2.2? 基于遷移學(xué)習(xí)的方法

遷移學(xué)習(xí)的提出為植物圖像識(shí)別提供了新的思路和方法，它在很大程度上緩解了植物圖像識(shí)別中的小樣本問題。在傳統(tǒng)的機(jī)器學(xué)習(xí)中，需要滿足兩種基本假設(shè)：

（1）訓(xùn)練樣本與測(cè)試樣本需要滿足獨(dú)立同分布。

（2）需要有足夠多的樣本數(shù)據(jù)來訓(xùn)練一個(gè)好的模型。由于民族藥植物圖像數(shù)據(jù)集中，沒有充足的訓(xùn)練樣本去學(xué)習(xí)深度學(xué)習(xí)模型，容易使模型陷入過擬合。遷移學(xué)習(xí)的提出很好地解決了這個(gè)問題。遷移學(xué)習(xí)的主要思想是根據(jù)目標(biāo)域與源域的相關(guān)性，利用源域中學(xué)習(xí)到的知識(shí)幫助目標(biāo)域完成學(xué)習(xí)任務(wù)。

根據(jù)遷移學(xué)習(xí)方式的不同，本文將遷移學(xué)習(xí)分為基于參數(shù)遷移的方式、基于實(shí)例遷移的方式和基于度量學(xué)習(xí)的方式三種。

2.2.1? 基于參數(shù)遷移的方式

基于參數(shù)遷移的方法的主要思想是假設(shè)源域與目標(biāo)域的某些參數(shù)是可以共享的，通過對(duì)共享的參數(shù)進(jìn)行遷移解決目標(biāo)任務(wù)。參數(shù)遷移主要分為兩種：一種是微調(diào)，一種是特征遷移。具體內(nèi)容是：

（1）微調(diào)。在大型公有數(shù)據(jù)集中預(yù)訓(xùn)練深度學(xué)習(xí)模型，模型的前幾層參數(shù)保持不變，對(duì)部分層的參數(shù)重新訓(xùn)練，使新得到的模型能夠適合目標(biāo)數(shù)據(jù)集。胡繼禮[28]對(duì)中藥飲片使用深度遷移理論，在Inception-v3上使用微調(diào)操作，證明了微調(diào)后的網(wǎng)絡(luò)識(shí)別效果明顯提高，且最佳模型在部分效果優(yōu)于人工組。

（2）特征遷移。將預(yù)訓(xùn)練得到的模型最后一層去掉作為特征提取器，去提取目標(biāo)數(shù)據(jù)集中的特征，通過提取的特征訓(xùn)練分類器進(jìn)行分類。

劉嘉政[29]在對(duì)常見花卉種類識(shí)別研究中將原來的Inception-v3模型去除最后的分類器，只是將原有的自動(dòng)特征提取能力遷移過來，通過加上新的分類器有效地實(shí)現(xiàn)了準(zhǔn)確率的提高。鄭一力[30]等通過將預(yù)訓(xùn)練得到的模型去掉最后的全連接層，作為特征提取器遷移到植物葉片圖像數(shù)據(jù)集上進(jìn)行特征提取，然后將提取到的特征向量放入分類器中進(jìn)行識(shí)別。結(jié)果表明模型可以快速收斂且識(shí)別效果較好

2.2.2? 基于實(shí)例遷移的方式

在進(jìn)行遷移學(xué)習(xí)時(shí)，源域中的數(shù)據(jù)與目標(biāo)域中的數(shù)據(jù)會(huì)有不同，通過某種相似度匹配原則，選取源域中與目標(biāo)域數(shù)據(jù)相似度較高的數(shù)據(jù)作為輔助數(shù)據(jù)，將輔助數(shù)據(jù)遷移至目標(biāo)域中幫助模型訓(xùn)練，從而解決數(shù)據(jù)量不足的問題。在進(jìn)行訓(xùn)練時(shí)，會(huì)不斷更新輔助數(shù)據(jù)的訓(xùn)練權(quán)重，輔助數(shù)據(jù)的相似性越高，越有利于目標(biāo)域數(shù)據(jù)的訓(xùn)練，權(quán)重也會(huì)提升，反之，權(quán)重會(huì)被降低。

蘇婷婷[31]提出一種改進(jìn)的TrAdaBoost模型用于農(nóng)作物病害圖像的識(shí)別，使用基于K近鄰分類算法優(yōu)化源域中的數(shù)據(jù)形成輔助數(shù)據(jù)，采用TrAdaBoost的思想調(diào)整輔助數(shù)據(jù)和目標(biāo)域數(shù)據(jù)的權(quán)重，使得農(nóng)作物病害圖像的識(shí)別效果更優(yōu)。陳雷[32]提出一種改進(jìn)的實(shí)例遷移方法，對(duì)比傳統(tǒng)的SVM和TrAdaBoost兩種方法在準(zhǔn)確率上有了明顯的提升，證明了在小規(guī)模中藥病害數(shù)據(jù)集上的適用性。

2.2.3? 基于度量學(xué)習(xí)的方式

利用神經(jīng)網(wǎng)絡(luò)建立度量空間，將樣本圖像在像素層面上的差異作為距離差映射到度量空間中，使得相同類別的樣本在度量空間相接近，不同類別的樣本在度量空間彼此遠(yuǎn)離，從而實(shí)現(xiàn)正確分類。遷移學(xué)習(xí)的關(guān)鍵之處在于找到目標(biāo)問題的相似性，從相似性出發(fā)，將源域?qū)W到的知識(shí)遷移到目標(biāo)域中，因此，度量學(xué)習(xí)可以認(rèn)為是遷移學(xué)習(xí)的一種方式。王彬[33]使用雙路并行模型在神經(jīng)網(wǎng)絡(luò)上搭建度量學(xué)習(xí)分類框架，通過對(duì)提取的特征進(jìn)行訓(xùn)練形成度量空間，在度量空間中對(duì)中藥銀杏等葉片進(jìn)行識(shí)別，有效地解決了小樣本分類問題。

2.3? 基于注意力機(jī)制的方式

注意力機(jī)制是受人類視覺機(jī)制的啟發(fā)，利用人類大腦在有限的時(shí)間內(nèi)從大量的信息中篩選出有價(jià)值的信息的機(jī)制，使神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)更加關(guān)注圖像中利于判斷的部分信息，并忽略不相關(guān)的冗余信息。卷積神經(jīng)網(wǎng)絡(luò)上的注意力機(jī)制主要關(guān)注通道注意力和空間注意力，通過兩者或兩者相結(jié)合的方式，實(shí)現(xiàn)不同的注意力模塊，這些注意力模塊不會(huì)改變輸出尺寸，并且可以靈活的插入到卷積神經(jīng)網(wǎng)絡(luò)的各個(gè)部分，但這種方式往往會(huì)增加訓(xùn)練參數(shù)，從而導(dǎo)致計(jì)算成本的增加。王一丁[34]在中藥材粉末顯微特征識(shí)別研究中采用通道注意力和空間注意力相結(jié)合的方式，實(shí)驗(yàn)證明注意力機(jī)制能夠很好地實(shí)現(xiàn)中藥材多種類小樣本的分類識(shí)別。李雅婷[35]根據(jù)通道注意力和空間注意力提出一種弱監(jiān)督學(xué)習(xí)的方式，與雙線性注意力池化進(jìn)行結(jié)合，在小樣本草原藥用植物的識(shí)別上實(shí)現(xiàn)了96.8%的準(zhǔn)確率，有效地解決了小樣本帶來了過擬合問題。常見的注意力機(jī)制如表1所示。

2.4? 民族藥植物圖像識(shí)別的小樣本學(xué)習(xí)優(yōu)缺點(diǎn)對(duì)比

民族藥植物圖像識(shí)別小樣本學(xué)習(xí)的本質(zhì)是民族藥圖像數(shù)據(jù)過少，在進(jìn)行模型訓(xùn)練時(shí)對(duì)圖像特征的表征能力表達(dá)不足，對(duì)特征空間的刻畫能力不足，從而導(dǎo)致模型在進(jìn)行訓(xùn)練時(shí)特征的組合數(shù)量不足而產(chǎn)生過擬合。即使研究人員提出的方案在一定程度上緩解了小樣本問題帶來的過擬合，但與實(shí)際生活中人類進(jìn)行植物圖像識(shí)別的準(zhǔn)確率還有一定的差距。民族藥植物圖像識(shí)別的小樣本學(xué)習(xí)方法與一般的小樣本學(xué)習(xí)方法具有一定的相似性，然而又因?yàn)槊褡逅幹参飯D片的特殊性又有所差別。

數(shù)據(jù)增強(qiáng)中的圖像基本處理技術(shù)的方法在一定程度上緩解了樣本數(shù)據(jù)量不足的缺陷，但是擴(kuò)充后的樣本仍存在與原樣本相似度過大的問題，容易導(dǎo)致過擬合?；谏蓪?duì)抗網(wǎng)絡(luò)和基于自編碼器的提出是從特征層面上來解決了樣本相似度過大的問題。生成對(duì)抗網(wǎng)絡(luò)采用對(duì)抗思想來學(xué)習(xí)接近真實(shí)數(shù)據(jù)分布的生成數(shù)據(jù)，但是，在訓(xùn)練時(shí)并沒有一種較好地達(dá)到納什均衡的方法。自編碼器的核心是圖像的壓縮與解壓，在進(jìn)行解壓后的圖像與原圖像還是會(huì)有一定的關(guān)鍵信息損失。

基于遷移學(xué)習(xí)的方法是通過預(yù)先學(xué)習(xí)到的知識(shí)輔助完成目標(biāo)任務(wù)。一般而言，源域與目標(biāo)域中的樣本相似度越高，遷移的效果就會(huì)越好?；趨?shù)遷移的方式是植物圖像識(shí)別中應(yīng)用最廣泛的，參數(shù)遷移操作簡(jiǎn)單，效果較好，因此備受研究人員的青睞，實(shí)驗(yàn)也證明了參數(shù)遷移的有效性。基于實(shí)例遷移的方式的前提是源域中的部分?jǐn)?shù)據(jù)與目標(biāo)域類似，在進(jìn)行相似性度量原則的選擇時(shí)也依賴研究人員的經(jīng)驗(yàn)?；诙攘繉W(xué)習(xí)的方式依賴于數(shù)據(jù)與源數(shù)據(jù)的相關(guān)性，只有相關(guān)性較強(qiáng)的數(shù)據(jù)才能進(jìn)行很好的度量。以上三種遷移學(xué)習(xí)的方法都比較依賴源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)的相關(guān)性。

注意力機(jī)制的方法是通過關(guān)注圖像重點(diǎn)區(qū)域?qū)崿F(xiàn)少量樣本的識(shí)別，研究人員提出了不同的方法，這些方法可以作為一種模塊嵌套入神經(jīng)網(wǎng)絡(luò)，然而嵌入位置的不同可能帶來提升效果的不同，需要研究人員不斷的嘗試如何達(dá)到最優(yōu)。

3? 案例研究

本章節(jié)將上述梳理的民族藥植物圖像識(shí)別小樣本解決方法，在民族藥植物圖像數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，驗(yàn)證上述方法在小樣本民族藥植物圖像識(shí)別上的效果，并通過幾種方法的組合尋求效果最佳的方案，為后續(xù)的民族藥植物圖像識(shí)別研究提供了緩解小樣本問題的方案。

3.1? 數(shù)據(jù)集情況

本次實(shí)驗(yàn)采用江西中醫(yī)藥大學(xué)民族藥資源數(shù)據(jù)庫和中國科學(xué)院植物研究所中的藏藥紅景天部分圖像數(shù)據(jù)。參考藏傳醫(yī)藥經(jīng)典叢書《晶珠本草》中對(duì)紅景天的植株描述對(duì)圖像進(jìn)行篩選，篩選后共得到1 598張圖片。其中，202張圖片來自江西中醫(yī)藥大學(xué)民族藥資源數(shù)據(jù)庫，中國科學(xué)院植物研究所保存圖片1 396張。根據(jù)模型訓(xùn)練的需要，將數(shù)據(jù)集劃分為訓(xùn)練集、測(cè)試集，兩者比例為8：2。

3.2? 實(shí)驗(yàn)說明

本次實(shí)驗(yàn)使用傳統(tǒng)圖像識(shí)別方法和深度學(xué)習(xí)方法分別對(duì)藏藥紅景天進(jìn)行識(shí)別。傳統(tǒng)圖像識(shí)別方法采用方向梯度直方圖（HOG）進(jìn)行特征提取，支持向量機(jī)（SVM）對(duì)提取的特征進(jìn)行分類。深度學(xué)習(xí)方法采用ResNet50對(duì)紅景天進(jìn)行識(shí)別。在本次實(shí)驗(yàn)中數(shù)據(jù)增強(qiáng)為隨機(jī)裁剪、旋轉(zhuǎn)和灰度化三種方式的組合。遷移學(xué)習(xí)為ResNet50在公共數(shù)據(jù)上預(yù)訓(xùn)練，然后遷移至藏藥紅景天數(shù)據(jù)集上進(jìn)行微調(diào)。通過對(duì)數(shù)據(jù)增強(qiáng)，遷移學(xué)習(xí)和注意力機(jī)制對(duì)比實(shí)驗(yàn)，實(shí)現(xiàn)藏藥紅景天的識(shí)別分類。

3.3? 實(shí)驗(yàn)結(jié)果

對(duì)于藏藥紅景天數(shù)據(jù)集進(jìn)行分類測(cè)試，利用圖像識(shí)別常用評(píng)價(jià)指標(biāo)準(zhǔn)確率（Accuracy）、召回率（Recall）、精確率（Precision）、特異性（Specificity）以及混淆矩陣對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)估。Precision表示預(yù)測(cè)結(jié)果為正的樣本中正確的比例；Recall表示原來樣本中，正樣本被正確識(shí)別的比例；Specificity表示樣本中的負(fù)樣本被預(yù)測(cè)正確的比例。

如表2所示，可以看出，實(shí)驗(yàn)組（7）SE-resnet50+augment+trans相較于其他實(shí)驗(yàn)組具有更好的分類效果，精準(zhǔn)率為89.5%，召回率為90.1%?？梢缘贸鼋Y(jié)論，在藏藥紅景天圖像識(shí)別上，多種技術(shù)組合識(shí)別效果明顯優(yōu)于某一種技術(shù)的應(yīng)用。

如圖2所示，為實(shí)驗(yàn)組（7）SE-resnet50+augment+trans的混淆矩陣，對(duì)于花朵形狀和葉片形狀相差比較大能夠很好地識(shí)別，對(duì)于葉片形狀比較相似也會(huì)存在誤判。例如，云南紅景天和德欽紅景天葉片比較相似，葉片都為長(zhǎng)圓狀卵形，因此在模型辨識(shí)時(shí)易誤判。四裂紅景天和云南紅景天葉片相差比較大，模型識(shí)別效果較好。

4? 結(jié)? 論

本文總結(jié)闡述了民族藥植物圖像識(shí)別領(lǐng)域存在的問題，并對(duì)民族藥植物圖像識(shí)別中傳統(tǒng)識(shí)別算法進(jìn)行簡(jiǎn)單概括，提出民族藥植物圖像識(shí)別的深度學(xué)習(xí)算法首要解決的問題是小樣本問題。著重介紹了基于深度學(xué)習(xí)的民族藥植物圖像識(shí)別小樣本學(xué)習(xí)的三種緩解方案，通過相關(guān)實(shí)驗(yàn)驗(yàn)證三種方案的有效性。

綜觀民族藥植物圖像識(shí)別領(lǐng)域，小樣本問題與深度學(xué)習(xí)需要大量樣本數(shù)據(jù)的矛盾最為突出，因此民族藥植物圖像識(shí)別的小樣本問題成為首要解決的問題，雖然相關(guān)研究取得了一定的進(jìn)展，但是還有許多問題需要解決和突破：

（1）數(shù)據(jù)增強(qiáng)中生成對(duì)抗網(wǎng)絡(luò)或者自編碼器用于生成民族藥圖像耗費(fèi)時(shí)間代價(jià)過大。通過生成特征圖像然后進(jìn)行識(shí)別算法效率不高。大多數(shù)算法研究?jī)H僅使用數(shù)據(jù)增強(qiáng)，并未著重考慮不同數(shù)據(jù)增強(qiáng)與算法融合時(shí)如何使整個(gè)過程達(dá)到最優(yōu)。

（2）模型在進(jìn)行遷移學(xué)習(xí)時(shí)對(duì)于部分層微調(diào)，然而需要微調(diào)幾層卷積未知，通過實(shí)驗(yàn)確定最優(yōu)耗費(fèi)成本較大。

（3）小樣本問題在圖像識(shí)別領(lǐng)域已有許多優(yōu)異的算法，不同的算法針對(duì)的識(shí)別數(shù)據(jù)類型不同，在民族藥的識(shí)別上這些優(yōu)異的算法不一定適用。

本文總結(jié)現(xiàn)有的民族藥植物圖像識(shí)別中小樣本問題的相關(guān)技術(shù)，結(jié)合民族藥識(shí)別領(lǐng)域和現(xiàn)有小樣本學(xué)習(xí)技術(shù)存在的不足，對(duì)未來的發(fā)展方向提出展望：

（1）民族藥植物圖像識(shí)別的應(yīng)用領(lǐng)域?，F(xiàn)在對(duì)于民族藥的識(shí)別的研究主要還是單一種屬民族藥的圖像識(shí)別分類，多種屬民族藥植株混合在一起進(jìn)行識(shí)別的研究還處于空白階段，特別是某一種民族藥的相近變種植株的識(shí)別，例如，藏藥紅景天種類多達(dá)70余種，現(xiàn)已知的藥用近20種，不同種屬的藥用功效也不同，因此，對(duì)不同種屬的準(zhǔn)確識(shí)別十分有必要。

（2）數(shù)據(jù)集的建立。無論是民族藥植物圖像識(shí)別中的小樣本問題還是其他問題，都缺乏一種權(quán)威公開數(shù)據(jù)集。不同的文獻(xiàn)研究使用的數(shù)據(jù)集不一，在民族藥的識(shí)別研究中無法進(jìn)行算法的橫向比較。因此，民族藥圖像識(shí)別還有很長(zhǎng)的一段路要走。

（3）神經(jīng)網(wǎng)絡(luò)可解釋性的研究。在民族藥植物圖像識(shí)別的小樣本問題相關(guān)研究中常使用神經(jīng)網(wǎng)絡(luò)算法，然而神經(jīng)網(wǎng)絡(luò)的可解釋性較差。對(duì)于神經(jīng)網(wǎng)絡(luò)的透明性的相關(guān)研究可以促進(jìn)研究者提出更加適用于小樣本問題的相關(guān)算法。

（4）增量學(xué)習(xí)的相關(guān)應(yīng)用。民族藥植物圖像識(shí)別關(guān)鍵在于如何解決小樣本問題，一般小樣本問題的解決思路是向原始樣本數(shù)據(jù)中添加新的樣本數(shù)據(jù)，現(xiàn)有算法并未考慮到后期向原始樣本數(shù)據(jù)集中添加新的樣本數(shù)據(jù)的情況，增量學(xué)習(xí)的發(fā)展可以使小樣本問題得到改善。然而后期添加的數(shù)據(jù)可能會(huì)存在數(shù)據(jù)錯(cuò)誤的情況。如何在增量學(xué)習(xí)中避免錯(cuò)誤數(shù)據(jù)的干擾是未來需要攻克的難題之一。

參考文獻(xiàn)：

[1] 徐季軒，馬曉靜，陳泓穎，等.我國主要少數(shù)民族醫(yī)藥防治缺血性心臟病研究概述 [J].中國實(shí)驗(yàn)方劑學(xué)雜志，2022，28（17）：235-247.

[2] 胡睿.多項(xiàng)臨床觀察研究數(shù)據(jù)顯示：民族藥在新冠肺炎治療上療效初顯 [N].醫(yī)藥經(jīng)濟(jì)報(bào)，2020-06-15（45）.

[3] 黃先菊，敖舟，佟海英，等.新型冠狀病毒肺炎的少數(shù)民族醫(yī)藥辨證治療方案現(xiàn)狀初析 [J].中南民族大學(xué)學(xué)報(bào)：自然科學(xué)版，2020，39（2）：139-144.

[4] 曾輝，沈紅巖，張寶文，等.圖像識(shí)別算法在中草藥鑒別中的應(yīng)用 [J].河北農(nóng)業(yè)科學(xué)，2018，22（2）：100-101.

[5] 王耐，盧文彪，凌秀華，等.牛膝和川牛膝藥材的特征提取與圖像識(shí)別 [J].中國藥房，2017，28（12）：1670-1673.

[6] 龔丁禧，曹長(zhǎng)榮.基于卷積神經(jīng)網(wǎng)絡(luò)的植物葉片分類 [J].計(jì)算機(jī)與現(xiàn)代化，2014（4）：12-15+19.

[7] 包芮之，萬德光，裴瑾，等.《中國藥典》中藥材基原和藥用部位的變化規(guī)律研究 [J].中草藥，2020，51（17）：4568-4575.

[8] 王艷，孫薇，周小平.基于深度學(xué)習(xí)的中草藥植物圖像識(shí)別方法研究 [J].中醫(yī)藥信息，2020，37（6）：21-25.

[9] 宋益盛，林志杰.基于遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)技術(shù)的物種識(shí)別 [J].現(xiàn)代計(jì)算機(jī)，2019（14）：57-63.

[10] 周婷，杜建強(qiáng)，朱彥陳，等.基于改進(jìn)ResNet的藏藥植物圖像分類算法研究 [J].電子技術(shù)與軟件工程，2022（3）：164-169.

[11] 宋闖，趙佳佳，王康，等.面向智能感知的小樣本學(xué)習(xí)研究綜述 [J].航空學(xué)報(bào)，2020，41（S1）：15-28.

[12] 王澤深，楊云，向鴻鑫，等.零樣本學(xué)習(xí)綜述 [J].計(jì)算機(jī)工程與應(yīng)用，2021，57（19）：1-17.

[13] 黃彥乾，遲冬祥，徐玲玲.面向小樣本學(xué)習(xí)的嵌入學(xué)習(xí)方法研究綜述 [J].計(jì)算機(jī)工程與應(yīng)用，2022，58（3）：34-49.

[14] 田霞.基于元學(xué)習(xí)的少樣本圖像分類方法研究 [D].成都：電子科技大學(xué)，2019.

[15] 趙凱琳，靳小龍，王元卓.小樣本學(xué)習(xí)研究綜述 [J].軟件學(xué)報(bào)，2021，32（2）：349-369.

[16] 葛軼洲，劉恒，王言，等.小樣本困境下的深度學(xué)習(xí)圖像識(shí)別綜述 [J].軟件學(xué)報(bào)，2022，33（1）：193-210.

[17] 黃方亮，俞磊，沈同平，等.基于AlexNet深度學(xué)習(xí)模型的中草藥植物圖像分類研究與實(shí)現(xiàn) [J].齊魯工業(yè)大學(xué)學(xué)報(bào)，2020，34（2）：44-49.

[18] 吳沖，譚超群，黃永亮，等.基于深度學(xué)習(xí)算法的川貝母、山楂及半夏飲片的智能鑒別 [J].中國實(shí)驗(yàn)方劑學(xué)雜志，2020，26（21）：195-201.

[19] 岳欣華，鄧彩霞，張兆茹.BP神經(jīng)網(wǎng)絡(luò)與形態(tài)學(xué)融合的邊緣檢測(cè)算法 [J].哈爾濱理工大學(xué)學(xué)報(bào)，2021，26（5）：83-90.

[20] 郭永坤，朱彥陳，劉莉萍，等.空頻域圖像增強(qiáng)方法研究綜述 [J].計(jì)算機(jī)工程與應(yīng)用，2022，58（11）：23-32.

[21] 黃鵬，鄭淇，梁超.圖像分割方法綜述 [J].武漢大學(xué)學(xué)報(bào)：理學(xué)版，2020，66（6）：519-531.

[22] 張寶文，陶佳，李亮.中草藥石楠葉片圖像識(shí)別的研究 [J].河北農(nóng)業(yè)科學(xué)，2018，22（1）：106-108.

[23] 李彥暉.拉曼光譜的深度卷積生成對(duì)抗網(wǎng)絡(luò)分類方法及應(yīng)用研究 [D].桂林：桂林電子科技大學(xué)，2020.

[24] 張澎，崔夢(mèng)天，謝琪，等.基于深度卷積生成對(duì)抗網(wǎng)絡(luò)的植物圖像識(shí)別方法的研究 [J].西南民族大學(xué)學(xué)報(bào)：自然科學(xué)版，2019，45（2）：185-191.

[25] 蔡高勇.基于深度卷積生成對(duì)抗網(wǎng)絡(luò)的小樣本植物病害識(shí)別問題研究 [D].重慶：重慶大學(xué)，2019.

[26] 楊倩文，孫富春.基于泛化空間正則自動(dòng)編碼器的遙感圖像識(shí)別 [J].清華大學(xué)學(xué)報(bào)：自然科學(xué)版，2018，58（2）：113-121.

[27] 王雪.基于堆棧自動(dòng)編碼器的植物葉片圖像分類研究 [D].南昌：南昌大學(xué)，2019.

[28] 胡繼禮，王永康，闞紅星.基于深度遷移學(xué)習(xí)的中藥飲片識(shí)別研究 [J].新鄉(xiāng)學(xué)院學(xué)報(bào)，2019，36（3）：62-67.

[29] 劉嘉政.基于深度遷移學(xué)習(xí)模型的花卉種類識(shí)別 [J].江蘇農(nóng)業(yè)科學(xué)，2019，47（20）：231-236.

[30] 鄭一力，張露.基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)植物葉片圖像識(shí)別方法 [J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2018，49（S1）：354-359.

[31] 蘇婷婷.基于遷移學(xué)習(xí)的農(nóng)作物葉部病害圖像識(shí)別的研究 [D].泰安：山東農(nóng)業(yè)大學(xué)，2020

[32] 陳雷，袁媛.基于深度遷移學(xué)習(xí)的農(nóng)業(yè)病害圖像識(shí)別 [J].數(shù)據(jù)與計(jì)算發(fā)展前沿，2020，2（2）：111-119.

[33] 王彬.基于度量學(xué)習(xí)的植物葉片小樣本學(xué)習(xí)分類方法研究 [D].北京：北京林業(yè)大學(xué)，2020.

[34] 王一丁，郝晨宇，李耀利，等.基于深度學(xué)習(xí)的小樣本中藥材粉末顯微圖像識(shí)別 [J].計(jì)算機(jī)應(yīng)用，2020，40（5）：1301-1308.

[35] 李雅婷.基于殘差網(wǎng)絡(luò)的植物分類識(shí)別方法研究與實(shí)現(xiàn) [D].呼和浩特：內(nèi)蒙古大學(xué)，2021.

[36] 劉琳琳，葉強(qiáng)，何靈敏.基于SENet多路網(wǎng)絡(luò)的乳腺癌轉(zhuǎn)移檢測(cè) [J].計(jì)算機(jī)工程與應(yīng)用，2021，57（16）：190-196.

[37] 姚毅.基于細(xì)粒度的中藥材粉末顯微圖像識(shí)別研究 [D].北京：北方工業(yè)大學(xué)，2022.

[38] 韓坤明.位置和通道注意力機(jī)制的圖像分割模型研究 [D].哈爾濱：哈爾濱工程大學(xué)，2021.

[39] 文莉莉，孫苗，鄔滿.基于注意力機(jī)制和Faster R-CNN深度學(xué)習(xí)的海洋目標(biāo)識(shí)別模型 [J].大連海洋大學(xué)學(xué)報(bào)，2021，36（5）：859-865.

[40] 毛志榮，都云程，肖詩斌，等.基于ECA-Net與多尺度結(jié)合的細(xì)粒度圖像分類方法 [J].計(jì)算機(jī)應(yīng)用研究，2021，38（11）：3484-3488.

作者簡(jiǎn)介：葉青（1968—），女，漢族，江西南昌人，教授，碩士，研究方向：數(shù)據(jù)挖掘，中醫(yī)藥信息學(xué)；馮振乾（1997—），男，漢族，河南新鄉(xiāng)人，碩士研究生在讀，研究方向：圖像處理；通訊作者：朱彥陳（1980—），男，漢族，江西南昌人，副教授，碩士，研究方向：圖像處理；方樺（1967—），男，漢族，江西南昌人，副教授，碩士，研究方向：計(jì)算機(jī)應(yīng)用。

收稿日期：2022-10-03

基金項(xiàng)目：國家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2019YFC1712301）；江西中醫(yī)藥大學(xué)校級(jí)科技創(chuàng)新團(tuán)隊(duì)發(fā)展計(jì)劃（CXTD22015）