基于深度學(xué)習(xí)的中草藥分類識(shí)別

張萬義，張千，潘繼波，張浩宇，孟宇翔，相玖紅

(1.東營市勝利醫(yī)院，山東 東營 257091；2.中國石油大學(xué)（華東）計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山東 青島 266580）

0 引言

中草藥作為中醫(yī)藥材，是中華民族在與疾病長期斗爭的過程中積累的寶貴財(cái)富。目前各地在救治新冠肺炎過程中，廣泛運(yùn)用中醫(yī)藥，顯著提高了治愈率和成功率。國務(wù)院印發(fā)的《中醫(yī)藥發(fā)展戰(zhàn)略規(guī)劃綱要》中指出，在繼承發(fā)揚(yáng)中醫(yī)藥優(yōu)勢特色的基礎(chǔ)上，充分利用現(xiàn)代科學(xué)技術(shù)，推動(dòng)中藥現(xiàn)代化和國際化，以滿足時(shí)代發(fā)展和民眾日益增長的醫(yī)療保健需求，是歷史賦予我們的責(zé)任。

目前線上對(duì)中草藥進(jìn)行分類和介紹的軟件還比較少，對(duì)于中草藥分類的研究比較少,現(xiàn)有的研究只是對(duì)少數(shù)的植物進(jìn)行分類。各個(gè)地域的中醫(yī)對(duì)于不同中草藥的需求也不一樣。近幾年來,深度學(xué)習(xí)技術(shù)發(fā)展迅速,在分類識(shí)別這方面已經(jīng)取得了非常好的效果,所以我們采用深度學(xué)習(xí)的方法對(duì)收集到的中草藥植物圖像進(jìn)行分類。針對(duì)黃河三角洲一帶的中醫(yī)大夫的需求，使用深度學(xué)習(xí)相關(guān)技術(shù)來制作一款實(shí)現(xiàn)線上智能識(shí)別的APP，為經(jīng)驗(yàn)尚淺的大夫們辨識(shí)中草藥提供方便，為中醫(yī)的發(fā)展起到一定的幫助，為中醫(yī)的線上發(fā)展提供新的思路。

1 中草藥信息庫的實(shí)現(xiàn)

目前,對(duì)于中草藥圖像并沒有一個(gè)非常全面的數(shù)據(jù)庫,所以我們首先收集并建立了包含數(shù)量較多的中草藥圖像數(shù)據(jù)集。本項(xiàng)目與山東省名中醫(yī)藥專家張萬義博士團(tuán)隊(duì)合作，由醫(yī)生團(tuán)隊(duì)提供中草藥圖像數(shù)據(jù)集。使用最近比較流行的python語言，在Django[3]框架上進(jìn)行具體實(shí)現(xiàn)。將近300種中草藥數(shù)據(jù)存放在MySql[7]數(shù)據(jù)庫中。將所需要的圖片文件放在Django項(xiàng)目之內(nèi)方便快速讀取，部分圖片直接放在前端工程中方便快速加載。將工程部署在騰訊云[8]服務(wù)器上，保證項(xiàng)目可以隨時(shí)無間斷地運(yùn)行。前端用CSS進(jìn)行布局，用JavaScript進(jìn)行函數(shù)編寫[5]，充分考慮用戶的體驗(yàn)，設(shè)計(jì)了合理并且能充分展示所要顯示的藥品信息的界面。

查詢功能主要分為三個(gè)模塊：按名稱關(guān)鍵字查詢、按首字母查詢和按照功效查詢。在mysql數(shù)據(jù)庫中，因?yàn)橹胁菟幍拿Q是可以唯一確定這種中草藥對(duì)應(yīng)的全部信息的，一條記錄對(duì)應(yīng)一種草藥名稱，所以數(shù)據(jù)庫中只設(shè)置一個(gè)數(shù)據(jù)表，取名為herbalplant。表中包含的字段包括hid（自動(dòng)生成的記錄編號(hào)，主碼）、name（中草藥名，候選碼），name_supply（別名）、family（科類）、genus（屬類）、character（形狀）、field（分布）、officinal_part（入藥部位）、value（藥用價(jià)值）、latin_name（拉丁語名，候選碼）、english_name（英文名）、effect（功效分類）。用戶在選擇查看一種中草藥的信息時(shí)，數(shù)據(jù)庫中的這些信息能夠全部反饋給用戶。關(guān)鍵字查詢利用了數(shù)據(jù)庫的模糊查詢機(jī)制，按首字母查詢利用了數(shù)據(jù)庫中的english_name字段，而按照功效查詢則利用了effect字段。

此功能模塊主要適用于已知中草藥的全稱或者全稱的一部分，然后獲得全稱中包含輸入內(nèi)容的中草藥。如圖1所示，這是打開小程序后的首頁，在上方的輸入框中輸入關(guān)鍵詞，比如“白”。如圖2所示,是搜索后的結(jié)果。因?yàn)槔玫氖菙?shù)據(jù)庫的模糊查詢機(jī)制，關(guān)鍵字必須在名稱中連續(xù)存在。

圖1 小程序首頁

圖2 關(guān)鍵字“白”查詢結(jié)果

2 中草藥識(shí)別

針對(duì)黃河三角洲特有的十七種中草藥進(jìn)行深度學(xué)習(xí)識(shí)別。用tensorflow[2]和keras[6]等工具對(duì)圖片進(jìn)行處理，借助大量的訓(xùn)練集對(duì)機(jī)器進(jìn)行訓(xùn)練，通過CNN算法讓機(jī)器掌握每一種中草藥的若干特征，從而讓機(jī)器能夠“認(rèn)識(shí)”每一種中草藥。在給出一張中草藥的照片后，機(jī)器能夠準(zhǔn)確識(shí)別出中草藥。

對(duì)其中17種中草藥識(shí)別的過程是通過從相冊(cè)選取或者拍照上傳一張中草藥的圖片，系統(tǒng)會(huì)告訴用戶這張圖片最可能對(duì)應(yīng)哪種中草藥，并且提供識(shí)別結(jié)果中的中草藥詳情頁的鏈接。需要識(shí)別的17種中草藥包括：百合、薄荷、車前、枸杞、益母草、桔梗、酸棗、薏苡、蒲公英、決明子、艾葉、黃精、黃芩、羅布麻、馬齒莧、茵陳、蛇床。

2.1 模型選取

因?yàn)楸敬窝芯繘]有現(xiàn)成的對(duì)應(yīng)這17種中草藥的優(yōu)質(zhì)數(shù)據(jù)集，從網(wǎng)上爬取的數(shù)據(jù)集首先需要人工剔除一些并不能展現(xiàn)對(duì)應(yīng)中草藥和重復(fù)了的圖片。即便這樣，由于爬取的原始圖片的分辨率參差不齊，很多圖片的分辨率較低也會(huì)成為限制，很難支撐太多的卷積層和池化層。而且常用的VGG-11、LeNet、AlexNet[4]等模型計(jì)算非常復(fù)雜，所以本次研究選取了通道數(shù)較少的VGG模型，并以其為基礎(chǔ)，配合使用Relu激活函數(shù)和Adam[1]優(yōu)化算法。

2.2 數(shù)據(jù)獲取和處理

使用爬蟲[9]在百度和必應(yīng)搜索引擎上爬取每種中草藥的圖片。因?yàn)榕廊〉膱D片集總體質(zhì)量不高，所以需要經(jīng)過人工篩選的過程，保證最終的原始數(shù)據(jù)集中的圖片都能正確反映對(duì)應(yīng)的中草藥。因?yàn)樗@取的圖片集的最小行/列分辨率為165，所以設(shè)計(jì)了三層卷積層+三層池化層的結(jié)構(gòu)。考慮到池化層的輸入應(yīng)該為偶數(shù)，經(jīng)過分析后得出處理后的數(shù)據(jù)集最大分辨率在這種結(jié)構(gòu)下為160×160。

將原始數(shù)據(jù)集拆分為訓(xùn)練集和測試集兩組，訓(xùn)練集用于深度學(xué)習(xí)訓(xùn)練階段，測試集用于檢測訓(xùn)練的效果。將原始圖片設(shè)置標(biāo)簽，因?yàn)槟壳白R(shí)別的中草藥一共十七種，所以打標(biāo)簽的時(shí)候，讓一種中草藥的訓(xùn)練集名字中的前兩個(gè)數(shù)字一樣，從而讓系統(tǒng)實(shí)現(xiàn)區(qū)分這十七種中草藥的訓(xùn)練集的效果。后來采用了python批量打標(biāo)簽的方法讓這個(gè)過程變得更為高效。驗(yàn)證集與之同理，模型取得驗(yàn)證集對(duì)應(yīng)的中草藥種類，跟預(yù)測的結(jié)果進(jìn)行比對(duì)，從而得到最終的準(zhǔn)確率。如圖3為對(duì)蒲公英的圖片集批量打標(biāo)簽后的蒲公英數(shù)據(jù)集，可以看到其中的所有圖片的標(biāo)簽中的前兩位數(shù)字都是08，表示蒲公英是識(shí)別模型中的08號(hào)中草藥。訓(xùn)練時(shí)用python中的正則表達(dá)式提取出標(biāo)簽中的前兩位數(shù)字，轉(zhuǎn)化為對(duì)應(yīng)的整數(shù)，然后跟識(shí)別完成后得到的索引值做對(duì)比，如果相同說明識(shí)別的結(jié)果是準(zhǔn)確的。

先統(tǒng)計(jì)每個(gè)文件中圖片的個(gè)數(shù)，然后將所有原始數(shù)據(jù)經(jīng)過灰度化并將大小調(diào)整為160×160，最后一層的輸出為20×20，再繼續(xù)增加層數(shù)的意義已經(jīng)不大了。灰度化后的蒲公英數(shù)據(jù)集如圖4所示，此時(shí)的數(shù)據(jù)集中圖片的大小全部變?yōu)?60×160。使用Keras在安裝了Tensorflow的環(huán)境下進(jìn)行訓(xùn)練。

圖3 蒲公英數(shù)據(jù)集

圖4 灰度化后的蒲公英數(shù)據(jù)集

2.3 結(jié)構(gòu)設(shè)計(jì)

將上述中草藥庫的功能設(shè)置在同一個(gè)微信小程序[10]之中，作為其“中草藥識(shí)別”功能模塊。訓(xùn)練好了的模型文件提前放到服務(wù)器上，然后前端對(duì)后端發(fā)送請(qǐng)求并上傳要識(shí)別的圖片后，將上傳的圖片文件轉(zhuǎn)化為二進(jìn)制格式，如圖5和圖6所示。然后將模型文件調(diào)入，根據(jù)生成的二進(jìn)制預(yù)測數(shù)組對(duì)上傳的圖片進(jìn)行預(yù)測，預(yù)測值越大，說明圖片顯示的是該值對(duì)應(yīng)的中草藥的概率就越大。將預(yù)測的編號(hào)傳到前端，前端將編號(hào)轉(zhuǎn)化為對(duì)應(yīng)的草藥顯示出來。

圖5 原始圖片

圖6 上圖轉(zhuǎn)化成二進(jìn)制的數(shù)組

2.4 結(jié)果分析

Batch（批尺寸）過小時(shí)，驗(yàn)證的準(zhǔn)確度較低；而batch值達(dá)到了20之后，繼續(xù)增加效果并不明顯。Epoch（訓(xùn)練輪數(shù)）的值較小時(shí)，驗(yàn)證的準(zhǔn)確度度較低；達(dá)到30輪后模型已經(jīng)“熟悉”了訓(xùn)練集，繼續(xù)增加輪數(shù)對(duì)準(zhǔn)確度的增長效果較小。之前使用過處理之后為126*126的訓(xùn)練集和測試集，可以明顯看出改用160*160的訓(xùn)練集和測試集后準(zhǔn)確度也有所提升，因?yàn)榉直媛瘦^大意味著較多的有用數(shù)據(jù)，有利于更好地提取一種中草藥的特征。合理設(shè)置這些參數(shù)，使對(duì)從訓(xùn)練集分離出來的驗(yàn)證集的平均識(shí)別率達(dá)到96%，圖7展示了其中一次的驗(yàn)證結(jié)果。由此可以看出batch、epoch和分辨率等參數(shù)對(duì)于識(shí)別率的重要意義。

圖7 對(duì)訓(xùn)練集中取出來的驗(yàn)證集的一次測試結(jié)果

2.5 識(shí)別結(jié)果選取

因?yàn)閿?shù)據(jù)集較少，在有些圖片中，識(shí)別的最佳答案和實(shí)際圖片呈現(xiàn)的內(nèi)容還是會(huì)出現(xiàn)一些偏差，所以采取最可能答案+備選答案的呈現(xiàn)模式。對(duì)一張圖片進(jìn)行識(shí)別后，會(huì)得到包含17個(gè)和為1的元素的numpy數(shù)組，選取兩個(gè)最大的值的位置，將這兩個(gè)位置對(duì)應(yīng)的中草藥作為前二可能的識(shí)別結(jié)果；第一個(gè)結(jié)果作為最佳答案，第二個(gè)結(jié)果作為備選答案。部分代碼（運(yùn)行在Pycharm中）如下所示：

賦值后m中為預(yù)測數(shù)組，num存放最可能的結(jié)果的編號(hào)，然后將該位置的值變?yōu)閿?shù)字終端最小值。然后再找到此時(shí)值最大的值的索引，即原數(shù)組中值第二大的值的索引，存放在num1種。此時(shí)原數(shù)組中兩個(gè)最大值的索引，將這兩個(gè)索引合成一個(gè)五位數(shù)，前端即可在該五位數(shù)中的第2、3位找到num（最可能結(jié)果的編號(hào)）的值，第4、5位找到num1（第二可能結(jié)果的編號(hào)），然后即可在前端完成轉(zhuǎn)化。

3 效果展示

圖8為初始界面，即進(jìn)入“黃河三角洲本草”小程序后點(diǎn)擊下方的“中草藥識(shí)別”進(jìn)入的界面。圖9為選擇完本地圖片或拍照后的效果，對(duì)應(yīng)的圖片已經(jīng)顯示在圖片框中。圖10和圖11為選擇好圖片后點(diǎn)擊“識(shí)別中草藥”得到的結(jié)果，（如果未選擇圖片，點(diǎn)擊識(shí)別按鈕后會(huì)提示未選擇圖片，從而不能進(jìn)入下一頁）圖中正確識(shí)別出了“益母草”，并且提供了另一個(gè)相對(duì)可能性大一些的答案“桔?！?。并且點(diǎn)擊這兩個(gè)按鈕可以分別進(jìn)入益母草和桔梗的詳情頁。

圖8 中草藥識(shí)別功能首頁

圖9 選擇好圖片后的界面

圖10 識(shí)別結(jié)果（上）

圖11 識(shí)別結(jié)果（下）

3.1 按功效查詢中草藥

如圖12所示，在分類頁面點(diǎn)擊“按功效查詢”，然后選擇想查詢的中草藥的功效分類，如“理氣藥”。如圖13所示，即得到數(shù)據(jù)庫中對(duì)應(yīng)該功效的全部中草藥，圖中所列的中草藥均屬于“理氣藥”。此功能一般用于查看某一種功效的中草藥有哪些。

圖12 按功效查詢頁

圖13 “理氣藥”查詢結(jié)果

3.2 查看中草藥詳細(xì)信息

如圖14示，在首頁或搜索頁面點(diǎn)擊某一項(xiàng)中草藥，就會(huì)顯示中草藥的詳細(xì)信息，包括簡介、功效作用、性狀三個(gè)部分，包含的內(nèi)容包括名稱、拼音、拉丁文、科、屬、產(chǎn)地、功效作用、性狀，這些內(nèi)容均是來源于MySQL數(shù)據(jù)庫中。

圖14 白刺簡介

4 結(jié)束語

總共對(duì)蒲公英、決明、車前、益母草、薄荷等17種中草藥進(jìn)行了識(shí)別，以VGGNet模型為基礎(chǔ)，提前對(duì)圖像進(jìn)行批量標(biāo)準(zhǔn)化操作，緩解網(wǎng)絡(luò)模型的過擬合操作。使用三層卷積層和三層池化層，激活函數(shù)選用relu函數(shù)來對(duì)數(shù)據(jù)進(jìn)行修正。使用Adam優(yōu)化器來解決梯度下降算法初始化。使訓(xùn)練集分離出來的驗(yàn)證集的平均識(shí)別準(zhǔn)確率達(dá)到了96%。將卷積神經(jīng)網(wǎng)絡(luò)的中草藥識(shí)別功能移植到微信小程序端，用戶通過上傳照片來實(shí)現(xiàn)對(duì)圖片中的中草藥植物的識(shí)別。后端對(duì)此圖片進(jìn)行匹配，將匹配到的結(jié)果送還前端，呈現(xiàn)給用戶最后的匹配結(jié)果。