基于深度學(xué)習(xí)的住院部口服藥分類模型的構(gòu)建

Construction of classification model for oral medication in inpatient departments based on deep learning

WANG Xiyu， LI Nanxin， XIANG Fan， LI Yang， TANG Liangyou， XIANG Junlian， ZHANG Junran

College of Electrical Engineering， Sichuan University， Sichuan 610065 China

Corresponding Author "XIANG "Junlian， E?mail： 1256556311@qq. com; ZHANG "Junran， E?mail： zhangjunran@126.com

Abstract "Objective：To construct an oral medication classification model for inpatient pharmacies based on deep learning.Methods：Actual scenes were simulated，95 types of pill picture were collected to construct dataset，and pictures "in dataset were "preprocessed.Classification model for pills was constructed based on MobileNet V2 network，and Squeeze-and?excitation networks were embeded in the model to enhance the network's feature channel dependencies.Method of transfer learning was applied，using the pill dataset built by researchers to train and test the model，and the performance of the model was tested through the classification accuracy and the parameter quantity of the model.Results：The constructed model in this study demonstrates outstanding performance in classifying oral pill images collected in natural environments.Trained and tested on a self?built dataset comprising 95 categories and a total of 728 images，the "accuracy "of model classification was 95.8%.This outperforms MobileNet V2，ShuffleNet V2，and ResNet50 "by "11.6%，14.3%，and "11.3%，respectively.The amount of model parameters was 2.55 M，which was approximately 1 out of 10 of ResNet50.Conclusions：The model constructed in this paper better balances the complexity and classification accuracy of the model，and provides a technical route and effect "verification for the automatic pill classification system involved in pharmacies and other scenarios.It has certain theoretical and practical application value for improving the level of nursing automation in specific situations such as pharmacy dispensing and ward drug distribution.

Keywords """pharmacy；"oral medication；"image processing；"classification model；"deep learning；"MobileNet V2 network

摘要""目的：基于深度學(xué)習(xí)法構(gòu)建針對(duì)住院部的口服藥分類模型。方法：模擬實(shí)際應(yīng)用場(chǎng)景，采集95類藥丸圖片構(gòu)建數(shù)據(jù)集，并對(duì)其進(jìn)行圖片預(yù)處理操作；以MobileNet V2網(wǎng)絡(luò)為基礎(chǔ)架構(gòu)建立藥丸分類模型，并在模型中嵌入注意力機(jī)制以增強(qiáng)網(wǎng)絡(luò)特征通道間的依賴關(guān)系；融合遷移學(xué)習(xí)的方法，利用自建藥丸數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練和測(cè)試，通過(guò)模型分類準(zhǔn)確率和模型參數(shù)量指標(biāo)檢測(cè)模型性能。結(jié)果：本研究構(gòu)建的模型在自然環(huán)境中采集的口服藥丸圖片分類方面表現(xiàn)卓越，通過(guò)使用包含95類藥丸、總計(jì)728張圖片的自建數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試，模型分類準(zhǔn)確率為95.8%，分別比MobileNet V2、ShuffleNet V2、ResNet50高11.6%、14.3%、11.3%。模型參數(shù)量為2.55 M，約為ResNet50的1/10。結(jié)論：本研究構(gòu)建的模型可以較好地平衡模型的復(fù)雜度和分類準(zhǔn)確率，為藥房等場(chǎng)景下涉及的藥丸自動(dòng)分類系統(tǒng)提供技術(shù)路線和效果驗(yàn)證，對(duì)于提升藥房發(fā)藥、病房分藥等具體情形的護(hù)理自動(dòng)化水平具有一定的理論和實(shí)際應(yīng)用價(jià)值。

關(guān)鍵詞""藥房；口服藥；圖像處理；分類模型；深度學(xué)習(xí)；MobileNet V2網(wǎng)絡(luò)

doi：10.12102/j.issn.1009-6493.2024.06.002

住院部藥房主要負(fù)責(zé)院內(nèi)的藥品管理與供應(yīng)，需承擔(dān)全院住院病人含口服藥丸在內(nèi)的藥品調(diào)配、核對(duì)和發(fā)放工作^[1]。目前大多數(shù)醫(yī)院住院藥房依舊采用傳統(tǒng)的擺藥模式，即由醫(yī)師執(zhí)行病人醫(yī)囑，藥房藥劑師打印醫(yī)囑單，然后調(diào)配藥劑師配藥，另1名藥劑師或住院部護(hù)理人員核對(duì)后發(fā)藥^[2]。整個(gè)過(guò)程會(huì)占用大量人力，效率較低。同時(shí)，由于口服藥丸種類繁多，許多片劑具有相似的外觀，去掉包裝后難以區(qū)分，增加了藥劑師和護(hù)理人員核對(duì)藥品的難度^[3]，因此，一般情況下的分藥、發(fā)藥過(guò)程往往僅核對(duì)藥品數(shù)量而無(wú)法準(zhǔn)確核對(duì)藥品種類，一旦發(fā)生用藥錯(cuò)誤事件，可能對(duì)病人造成不可逆轉(zhuǎn)的嚴(yán)重影響，甚至導(dǎo)致死亡。此外，配藥過(guò)程中如未及時(shí)消毒藥杯和藥匙，或調(diào)配藥劑師違反操作規(guī)程接觸到藥丸，還可能會(huì)使藥丸受到不同程度的污染。研發(fā)住院部藥丸分類系統(tǒng)，實(shí)現(xiàn)識(shí)藥、分藥自動(dòng)化以代替?zhèn)鹘y(tǒng)擺藥方式，能極大地降低藥房工作量，減少藥物污染和人為導(dǎo)致的用藥錯(cuò)誤問(wèn)題，提高用藥安全性，而建立一個(gè)能夠準(zhǔn)確識(shí)別和分類藥丸的算法模型又是構(gòu)建藥丸分類系統(tǒng)的關(guān)鍵。當(dāng)前計(jì)算機(jī)視覺(jué)技術(shù)發(fā)展日趨成熟，已廣泛應(yīng)用于人臉識(shí)別、車(chē)牌識(shí)別等領(lǐng)域，對(duì)于藥丸識(shí)別、分類任務(wù)而言，利用計(jì)算機(jī)視覺(jué)相關(guān)技術(shù)，相較于人工主觀經(jīng)驗(yàn)判斷，能夠更好地避免由于勞累、注意力不集中等原因而造成的分藥錯(cuò)誤。

1 "研究基礎(chǔ)

早期提出的利用計(jì)算機(jī)視覺(jué)技術(shù)實(shí)現(xiàn)藥丸分類通常是基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法，即采用圖像處理技術(shù)提取藥丸的視覺(jué)特征后利用支持向量機(jī)等分類方法對(duì)藥丸進(jìn)行分類。李帥^[4]通過(guò)傳統(tǒng)機(jī)器學(xué)習(xí)提取藥物特征，優(yōu)化基礎(chǔ)分類器對(duì)藥物進(jìn)行分類，實(shí)現(xiàn)了藥房自動(dòng)化的任務(wù)。Cordeiro等^[5]提出一種基于機(jī)器學(xué)習(xí)的藥丸圖像自動(dòng)分類系統(tǒng)，使用圖像處理技術(shù)提取藥丸圖片的形狀和顏色特征作為分類標(biāo)準(zhǔn)，然后以支持向量機(jī)和多層感知器為分類器進(jìn)行分類，最終取得良好效果。但以上方法依賴手工設(shè)計(jì)特征，識(shí)別效果受特征提取設(shè)計(jì)和分類器選擇影響，泛化能力差。將深度學(xué)習(xí)應(yīng)用于藥丸識(shí)別任務(wù)中，利用卷積網(wǎng)絡(luò)對(duì)二維圖像進(jìn)行特征提取并分類，無(wú)須手工設(shè)計(jì)特征，具有較強(qiáng)的泛化性。但由于目前缺乏大規(guī)模藥丸圖片數(shù)據(jù)集，將深度學(xué)習(xí)應(yīng)用于藥丸識(shí)別任務(wù)中的研究仍然較少，只有少量方法被提出，主要分2種形式，1種是對(duì)藥丸外包裝圖片進(jìn)行識(shí)別，如張震江等^[6]在藥品外包裝進(jìn)行識(shí)別分類的任務(wù)中，利用LeNet深度學(xué)習(xí)框架設(shè)計(jì)了卷積網(wǎng)絡(luò)模型，對(duì)56種藥品約47萬(wàn)張圖片進(jìn)行分類，準(zhǔn)確率達(dá)95.6%；施華宇等^[7]應(yīng)用深度學(xué)習(xí)技術(shù)研究了藥品包裝識(shí)別系統(tǒng)，完成對(duì)500種藥品的分類識(shí)別，訓(xùn)練時(shí)驗(yàn)證準(zhǔn)確率為96.4%。另1種是針對(duì)無(wú)外包裝藥丸的識(shí)別，如王振亞等^[8]提出了基于改進(jìn)EfficientNet網(wǎng)絡(luò)模型的藥片分類檢測(cè)方法，對(duì)9類藥片、共3 750張圖片進(jìn)行分類檢測(cè)，準(zhǔn)確率達(dá)98.93%；Swastika等^[9]提出一個(gè)基于多卷積的藥丸圖片識(shí)別模型，使用3個(gè)卷積網(wǎng)絡(luò)分別提取藥丸形狀、顏色和印記特征，集成網(wǎng)絡(luò)后進(jìn)行識(shí)別，該網(wǎng)絡(luò)在8種藥丸、24 000張圖片上訓(xùn)練，取得良好效果?？梢?jiàn)，利用計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)實(shí)現(xiàn)藥房藥丸自動(dòng)分類具有技術(shù)可行性，但已有實(shí)驗(yàn)仍然具有一定局限性，如藥房中需對(duì)多種無(wú)外包裝的藥丸分類，而已有研究中，無(wú)外包裝藥丸種類較少，每類樣本量較多；實(shí)驗(yàn)中訓(xùn)練使用的圖片大部分是在良好控制條件下拍攝，而在真實(shí)藥丸識(shí)別過(guò)程中通常會(huì)面臨較復(fù)雜的物理環(huán)境（如不同光照等），導(dǎo)致捕捉到的圖片質(zhì)量較差。故已有模型識(shí)別性能仍需提高。

本研究進(jìn)一步探索設(shè)計(jì)更加符合醫(yī)院實(shí)際需求的模型，提出基于改進(jìn)MobileNet V2^[10]模型進(jìn)行遷移學(xué)習(xí)的藥丸分類識(shí)別系統(tǒng)。MobileNet V2具有參數(shù)少、模型尺寸小的特點(diǎn)，便于后期嵌入送藥機(jī)器人等設(shè)備使用；在MobileNet V2中引入通道注意力機(jī)制壓縮與激勵(lì)（squeeze?and?excitation，SE），SE注意力機(jī)制在處理復(fù)雜環(huán)境拍攝下的藥丸圖片時(shí)有利于幫助網(wǎng)絡(luò)自適應(yīng)地調(diào)整每個(gè)通道的權(quán)重，從而增強(qiáng)模型對(duì)于不同光照和角度變化的魯棒性，提高分類效果；由于藥丸種類較多且采集困難，導(dǎo)致每類藥丸的數(shù)據(jù)樣本量較小，因此，融合遷移學(xué)習(xí)的方法，將大規(guī)模數(shù)據(jù)集學(xué)習(xí)到的邊緣、紋理、顏色等圖片的通用特征遷移到藥丸模型中用于藥丸圖片分類，有利于解決模型訓(xùn)練數(shù)據(jù)不充分的問(wèn)題，使模型獲得更好的分類性能。

2 "研究方法

2.1 數(shù)據(jù)采集

2.1.1 數(shù)據(jù)來(lái)源

采集德陽(yáng)市人民醫(yī)院住院部的無(wú)外包裝口服藥丸圖片構(gòu)建口服藥丸數(shù)據(jù)集，共采集728張圖片，涵蓋95種口服藥丸，每種藥丸4～25張圖片。為了確保數(shù)據(jù)的準(zhǔn)確性和可靠性，制定藥丸納入及排除標(biāo)準(zhǔn)。納入標(biāo)準(zhǔn)：剝離硬包裝的固體劑型（除顆粒劑、粉劑），包括普通片劑（片劑、薄膜衣片、糖衣片、浸膏片、分散片、劃痕片等）、硬膠囊和軟膠囊（膠丸）；每種藥丸須存在1處及以上外觀差別（如顏色、形狀、有無(wú)印記或其他差距）。排除標(biāo)準(zhǔn)：受損、污染或其他原因造成明顯缺陷。

2.1.2 拍攝方法

使用藥物分類模型在實(shí)際場(chǎng)景中進(jìn)行藥丸識(shí)別分類時(shí)往往會(huì)受到環(huán)境因素干擾，如光照強(qiáng)度、角度和顏色等，導(dǎo)致捕捉到的藥丸圖片出現(xiàn)陰影和模糊等問(wèn)題，從而影響模型準(zhǔn)確性。為提高模型在應(yīng)用場(chǎng)景（如住院部病房）中的判斷準(zhǔn)確率，研究組采用更加貼近實(shí)際場(chǎng)景的方法構(gòu)建數(shù)據(jù)集，具體方法為：隨機(jī)將藥丸擺放在不同顏色背景板中的參考界面內(nèi)，采用攝影器材從不同光照強(qiáng)度和距離拍攝藥丸圖片。鑒于藥丸隨機(jī)擺放過(guò)程中可能出現(xiàn)疊放、側(cè)放等問(wèn)題，采用多視圖、多角度的方法對(duì)藥丸圖片進(jìn)行采集，以獲取更全面的藥丸信息。構(gòu)建的數(shù)據(jù)集可以更好地模擬實(shí)際場(chǎng)景，從而使訓(xùn)練的模型具有更好的實(shí)用性。

2.1.3 圖片處理

2.1.3.1 圖片邊緣檢測(cè)

數(shù)據(jù)集中藥丸原始圖片尺寸不同且包含大量背景信息，背景可能成為影響識(shí)別準(zhǔn)確率的噪聲源。因此，訓(xùn)練網(wǎng)絡(luò)之前需對(duì)圖片進(jìn)行裁剪操作，去除部分背景。鑒于隨機(jī)裁剪或中心裁剪方式會(huì)導(dǎo)致藥丸信息丟失，故先利用邊緣檢測(cè)方法檢測(cè)圖片中藥丸輪廓，在確保不丟失藥丸像素的情況下利用圖片處理技術(shù)統(tǒng)一裁剪圖片。此方法在去除大量背景信息的同時(shí)可以最大化地保留有價(jià)值的藥丸信息，最終達(dá)到減少計(jì)算量、提高識(shí)別準(zhǔn)確率的目的。本研究采用Scharr算子檢測(cè)藥丸邊緣，Scharr算子是一種常用于邊緣檢測(cè)的方式，具體步驟為：1）將藥丸原圖轉(zhuǎn)化為灰度圖，對(duì)灰度圖進(jìn)行雙邊濾波以去除部分背景噪聲及紋理；2）利用Scharr算子對(duì)生成的新像素灰度值做微分運(yùn)算，選取適當(dāng)?shù)拈撝凳顾幫柽吘壧庍_(dá)到極值從而檢測(cè)到藥丸輪廓；3）獲得藥丸在圖片中的粗略位置，找到最大矩形包圍框；4）根據(jù)矩形框位置對(duì)原始圖片進(jìn)行裁剪（保留一些邊緣背景以保證能包含整個(gè)藥丸），最終得到藥丸圖片。

2.1.3.2 數(shù)據(jù)增廣

藥丸圖片數(shù)據(jù)集具有樣本量小、每類數(shù)據(jù)不平衡的特點(diǎn)，其中最大類別樣本數(shù)為25個(gè)。對(duì)圖片進(jìn)行擴(kuò)增可以幫助模型更好地學(xué)習(xí)數(shù)據(jù)特征，提高模型泛化能力，但數(shù)據(jù)擴(kuò)增會(huì)增加模型訓(xùn)練時(shí)間和計(jì)算資源消耗，因此需根據(jù)數(shù)據(jù)實(shí)際情況和任務(wù)要求確定數(shù)據(jù)擴(kuò)增的方式和程度。鑒于藥丸分類模型具有輕量化、模型參數(shù)小的特點(diǎn)，將每種藥丸樣本擴(kuò)增至25個(gè)即能滿足任務(wù)需求，且不會(huì)顯著增加模型計(jì)算量，有利于確保模型輕量化。

鑒于藥丸顏色、形狀對(duì)于圖片識(shí)別具有重要意義，故對(duì)圖片進(jìn)行旋轉(zhuǎn)、平移等操作。將裁剪后的藥丸圖片按0.06或0.08的比例平移；以0.9～1.1的隨機(jī)因子縮放圖片，以增強(qiáng)模型對(duì)藥丸尺寸變化的魯棒性。這種數(shù)據(jù)擴(kuò)增方式簡(jiǎn)單易行，且能有效擴(kuò)增數(shù)據(jù)樣本，更加適用于藥丸分類任務(wù)。

2.2 模型構(gòu)建

藥丸分類的算法結(jié)構(gòu)總框架見(jiàn)圖1。以MobileNet V2網(wǎng)絡(luò)為模型骨干網(wǎng)絡(luò)，模型中嵌入SE注意力機(jī)制，增強(qiáng)特征通道間的聯(lián)系。由于深度學(xué)習(xí)進(jìn)行圖片識(shí)別分類任務(wù)需要大量的數(shù)據(jù)，故本研究采用遷移學(xué)習(xí)的方法幫助模型在有限的數(shù)據(jù)集中訓(xùn)練。圖片數(shù)據(jù)送入網(wǎng)絡(luò)前利用邊緣檢測(cè)方法半自動(dòng)識(shí)別圖片中的藥丸（需要手動(dòng)調(diào)整參數(shù)），裁剪大部分藥丸以外的信息，使視覺(jué)特征提取器最大化提取有用特征。

2.3 關(guān)鍵技術(shù)

2.3.1 MobileNet V2

2.3.1.1 介紹

本研究藥丸圖片樣本較少，采用復(fù)雜網(wǎng)絡(luò)會(huì)導(dǎo)致過(guò)擬合，輕量級(jí)網(wǎng)絡(luò)更符合分類任務(wù)的需求；同時(shí)，本研究構(gòu)建的模型將嵌入機(jī)器人等移動(dòng)設(shè)備中應(yīng)用，故需構(gòu)建尺寸小、精度高的模型。MobileNet V2是在MobileNet V1^[11]基礎(chǔ)上進(jìn)行改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)，沿用MobileNet V1的深度可分離卷積，減少了模型參數(shù)量，適合藥丸分類任務(wù)，其網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)表1。

2.3.1.2 主要?jiǎng)?chuàng)新之處

1）倒殘差結(jié)構(gòu)：當(dāng)步長(zhǎng)為1時(shí)，采用殘差連接方式，避免網(wǎng)絡(luò)深度增加后出現(xiàn)梯度消失問(wèn)題。與ResNet網(wǎng)絡(luò)先降維、卷積再升維的結(jié)構(gòu)^[12]不同，MobileNet V2采用先升維、卷積再降維的模式，形成了一個(gè)倒殘差結(jié)構(gòu)，見(jiàn)圖2；2）線性瓶頸結(jié)構(gòu)：MobileNet V2的瓶頸結(jié)構(gòu)中，用線性激活函數(shù)代替最后1層點(diǎn)卷積的Relu激活函數(shù)。因瓶頸結(jié)構(gòu)中最后1層逐點(diǎn)卷積作用主要是降維，而在低維空間采用非線性的激活函數(shù)可能出現(xiàn)特征被破壞的情況，故采用線性激活函數(shù)更加利于信息的保留^[13]。

2.3.2 SE模塊

2.3.2.1 SE原理

提取圖片特征過(guò)程中加入注意力機(jī)制，能夠幫助網(wǎng)絡(luò)定位圖片的感興趣信息，忽略其他無(wú)關(guān)信息，提高網(wǎng)絡(luò)效率。SE是一個(gè)通道注意力機(jī)制，主要關(guān)注通道之間的關(guān)系，網(wǎng)絡(luò)中融合SE注意力，能夠自動(dòng)搜集每個(gè)特征通道的重要性，加強(qiáng)有用特征并抑制不重要的特征^[14]。SE模塊結(jié)構(gòu)見(jiàn)圖3，其主要分為壓縮（squeeze）、激勵(lì)（excitation）、縮放（scale）3個(gè)步驟實(shí)現(xiàn)。1）壓縮：通過(guò)全局平均池化壓縮特征圖空間特征，特征圖維度從h×w×c變?yōu)?×1×c，通道數(shù)保持不變，獲得每個(gè)通道的全局感受野；2）激勵(lì)：通過(guò)兩個(gè)全連接層和非線性激活函數(shù)建立通道間相關(guān)性，對(duì)壓縮后的特征圖進(jìn)行通道特征學(xué)習(xí)，得到通道注意力信息；3）縮放：特征圖通過(guò)Sigmoid激活函數(shù)獲得歸一化權(quán)重，然后與原始輸入h×w×c維度的特征圖逐通道相乘，最終得到具有通道注意力的特征圖。

2.3.2.2 嵌入SE模塊

MobileNet V2網(wǎng)絡(luò)特征提取并沒(méi)有考慮到通道間的依賴關(guān)系，故通過(guò)在模型中嵌入SE模塊建立藥丸圖片樣本通道間的聯(lián)系，具體做法為：經(jīng)網(wǎng)絡(luò)特征提取的藥丸特征圖共1 280個(gè)通道，將提取的藥丸特征圖送入SE模塊，對(duì)特征圖分別進(jìn)行壓縮、激勵(lì)、縮放操作，依據(jù)1 280個(gè)通道的特征信息不同重要程度獲得不同的權(quán)重信息，然后將獲得的權(quán)重與提取的特征逐通道相乘獲得最終藥丸信息特征。

2.4 遷移學(xué)習(xí)

2.4.1 遷移學(xué)習(xí)理論

深度學(xué)習(xí)模型的訓(xùn)練通常需要大量數(shù)據(jù)樣本訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)以獲得可靠的模型。而某些數(shù)據(jù)本身具有數(shù)量少、采集困難等特點(diǎn)。太小的數(shù)據(jù)量會(huì)導(dǎo)致訓(xùn)練模型泛化能力差，容易出現(xiàn)過(guò)擬合。遷移學(xué)習(xí)是指將一個(gè)領(lǐng)域訓(xùn)練好的模型通過(guò)適當(dāng)?shù)姆椒ㄕ{(diào)整到另一個(gè)新的領(lǐng)域中^[15]。在具有相關(guān)性的任務(wù)中，神經(jīng)網(wǎng)絡(luò)的淺層部分提取的特征具有相通性，而深層網(wǎng)絡(luò)提取的高級(jí)特征用于各自特定任務(wù)，利用遷移學(xué)習(xí)的方法，將已有大規(guī)模數(shù)據(jù)集訓(xùn)練得到的低級(jí)特征遷移到新的網(wǎng)絡(luò)中，再利用小數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，不僅可以減少由于數(shù)據(jù)量小而出現(xiàn)的過(guò)擬合問(wèn)題，還能縮短模型訓(xùn)練時(shí)間。

2.4.2 遷移學(xué)習(xí)策略

本研究利用ImageNet數(shù)據(jù)集訓(xùn)練好的MobileNet V2模型進(jìn)行遷移學(xué)習(xí)，方法見(jiàn)圖4，因模型中加入了SE模塊，無(wú)法直接使用訓(xùn)練好的MobileNet V2預(yù)訓(xùn)練模型，故僅選擇具有相同參數(shù)的部分進(jìn)行遷移，而模型輸出層的全連接層和包含SE模塊的部分不做處理。由于ImageNet數(shù)據(jù)集和藥丸圖片樣本集差異較大，為使模型更加適應(yīng)藥丸分類任務(wù)，在進(jìn)行權(quán)重遷移后未采用僅訓(xùn)練模型分類器的方式，而是利用藥丸數(shù)據(jù)集重新訓(xùn)練整個(gè)模型。本研究模型參數(shù)量級(jí)較小，重新訓(xùn)練網(wǎng)絡(luò)計(jì)算量仍能控制在一定數(shù)量級(jí)。

3 "結(jié)果與分析

3.1 數(shù)據(jù)劃分

本研究使用的口服藥丸圖片數(shù)據(jù)集由德陽(yáng)市人民醫(yī)院提供，涉及95類藥品，共728張圖片，其中80%作為訓(xùn)練數(shù)據(jù)集，用于模型訓(xùn)練和參數(shù)學(xué)習(xí)；20%作為測(cè)試數(shù)據(jù)集，用于測(cè)試模型準(zhǔn)確率、評(píng)估模型性能。

3.2 實(shí)驗(yàn)環(huán)境及相關(guān)參數(shù)

實(shí)驗(yàn)環(huán)境及相關(guān)參數(shù)見(jiàn)表2。實(shí)驗(yàn)采用Adam的優(yōu)化方法對(duì)模型進(jìn)行訓(xùn)練，超參數(shù)epoch設(shè)置為300，學(xué)習(xí)率設(shè)計(jì)為0.001。若訓(xùn)練精度在5個(gè)epoch內(nèi)沒(méi)有降低，則學(xué)習(xí)率下降10%，當(dāng)學(xué)習(xí)率到達(dá)0.000 001則不再下降。

3.3 評(píng)價(jià)標(biāo)準(zhǔn)

為評(píng)價(jià)提出的網(wǎng)絡(luò)模型對(duì)藥丸圖片的識(shí)別分類性能，對(duì)模型的分類準(zhǔn)確率和模型參數(shù)量進(jìn)行評(píng)估。Top?K Accuracy：即將類別數(shù)設(shè)置為所需分類的藥丸類別（本研究為95種），其中，Accuracy為準(zhǔn)確率，表示全體樣本中預(yù)測(cè)正確的樣本比例；Top?1代表預(yù)測(cè)可能性最大的類別為藥丸正確類別的準(zhǔn)確率，Top?5代表預(yù)測(cè)的前5個(gè)藥丸類別中有正確類別的準(zhǔn)確率。一般而言，Top?K Accuracy值越大說(shuō)明模型性能越好。Accuracy計(jì)算公式為ACC=（TP+TN）/（TP+FP+FN+TN），其中，TP為真陽(yáng)性，TN為真陰性，F(xiàn)P為假陽(yáng)性，F(xiàn)N為假陰性。模型參數(shù)量：即模型內(nèi)部總的參數(shù)量，用以衡量模型需要占取內(nèi)存大小，參數(shù)越大代表模型運(yùn)行需要消耗的內(nèi)存越大，一般而言，達(dá)到相同準(zhǔn)確率的情況下，模型參數(shù)越小越好。

3.4 對(duì)比實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本研究提出的方法對(duì)藥丸識(shí)別分類的效果，選取ResNet50、ShuffleNet V2和原始MobileNet V2網(wǎng)絡(luò)在本研究的自建藥丸數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。ResNet50網(wǎng)絡(luò)被廣泛應(yīng)用于工程領(lǐng)域，具有較好的特征提取能力，在很多任務(wù)中表現(xiàn)出色^[16]；ShuffleNet V2是一款輕量型模型^[17]，其參數(shù)量大幅低于一般CNN模型架構(gòu)，而本研究評(píng)估模型性能指標(biāo)為藥丸分類準(zhǔn)確率和模型參數(shù)量，故選取ResNet50、ShuffleNet V2進(jìn)行比較較為合適。仿真實(shí)驗(yàn)結(jié)果見(jiàn)表3，其中，Top?5準(zhǔn)確率顯示各個(gè)模型表現(xiàn)優(yōu)異，本研究算法達(dá)100.00%；Top?1準(zhǔn)確率顯示，ResNet50、MobileNet V2、ShuffleNet V2得到的測(cè)試集精度分別為84.5%、84.2%、81.5%，本研究算法準(zhǔn)確率達(dá)95.8%。

3.5 消融實(shí)驗(yàn)結(jié)果

為了證明融合遷移學(xué)習(xí)的方法和嵌入SE模塊對(duì)模型的性能提升均有貢獻(xiàn)，進(jìn)行消融實(shí)驗(yàn)。1）僅采用遷移學(xué)習(xí)的方法進(jìn)行實(shí)驗(yàn)。2）僅嵌入SE模塊進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)中，主要以模型在測(cè)試集中的Top?1準(zhǔn)確率為指標(biāo)，結(jié)果顯示，融合遷移學(xué)習(xí)的方法和嵌入SE模塊均能提高模型準(zhǔn)確率，改善模型性能，其中，遷移學(xué)習(xí)使模型準(zhǔn)確率得到大幅度提升，與原模型相比提高了10.3%；SE模塊次之，使模型準(zhǔn)確率提高了2.1%，而參數(shù)量?jī)H增加了0.20 M。見(jiàn)表4。

4 "討論

4.1 對(duì)比實(shí)驗(yàn)結(jié)果分析

從實(shí)驗(yàn)結(jié)果可知，ResNet50模型分類準(zhǔn)確率最高，但需要大量的內(nèi)存和計(jì)算資源，模型可移植性差；ShuffleNet V2模型參數(shù)量最小，但準(zhǔn)確率也最低；MobileNet V2雖然是一種輕量級(jí)網(wǎng)絡(luò)，但訓(xùn)練效果接近ResNet50。MobileNet V2網(wǎng)絡(luò)參數(shù)量約為ResNet50的1/10，比ShuffleNet V2略微增多，但準(zhǔn)確率增高較多。本研究算法在MobileNet V2基礎(chǔ)上進(jìn)行改進(jìn)，其分類準(zhǔn)確率較MobileNet V2提高了11.6%，明顯高于其他網(wǎng)絡(luò)。本研究算法分類準(zhǔn)確率較ResNet50高11.3%，而總參數(shù)量?jī)H為2.55 M，小于ResNet50。由此可見(jiàn)，在綜合考慮準(zhǔn)確率和參數(shù)量的情況下，本研究算法具有最佳表現(xiàn)，其對(duì)現(xiàn)實(shí)環(huán)境中采集的藥丸圖片也能良好辨別，更加便于投入實(shí)際應(yīng)用。

4.2 消融實(shí)驗(yàn)結(jié)果分析

遷移學(xué)習(xí)能帶來(lái)準(zhǔn)確率提升，原因可能為：1）訓(xùn)練模型時(shí)需考慮到拍攝環(huán)境因素對(duì)藥丸圖片特征的影響，本研究未納入足夠數(shù)據(jù)量以涵蓋環(huán)境引起的藥丸顏色、形狀、圖片模糊程度等變化因素，因此，模型分類準(zhǔn)確率上升至84%左右后即使訓(xùn)練輪次增加也難以再上升。由于MobileNet V2在ImageNet數(shù)據(jù)中預(yù)訓(xùn)練得到的特征表示包括顏色和形狀信息，此時(shí)將MobileNet V2預(yù)訓(xùn)練模型部分權(quán)重遷移至藥丸分類模型，相當(dāng)于在藥丸數(shù)據(jù)訓(xùn)練模型之前，模型已在大規(guī)模數(shù)據(jù)基礎(chǔ)上訓(xùn)練并且得到了對(duì)顏色、形狀變化具有一定魯棒性的特征表示，而當(dāng)再次使用現(xiàn)實(shí)環(huán)境拍攝的藥丸數(shù)據(jù)訓(xùn)練模型時(shí)，模型分類錯(cuò)誤情況大大減少，藥丸準(zhǔn)確率大幅度上升。2）藥丸數(shù)據(jù)集中每類樣本數(shù)據(jù)量較少，導(dǎo)致分類器過(guò)度適應(yīng)訓(xùn)練數(shù)據(jù)集及噪聲等，無(wú)法適應(yīng)新樣本，造成測(cè)試準(zhǔn)確率無(wú)法上升。而模型通過(guò)遷移學(xué)習(xí)得到大量淺層通用的特征表示，將這些特征應(yīng)用于藥丸分類中，有利于提高模型的泛化能力。

嵌入SE模塊能提升準(zhǔn)確率，原因可能為：1）藥丸顏色、紋理、形狀外觀特征是網(wǎng)絡(luò)分類的關(guān)鍵因素，受不同光照、拍攝角度、距離等環(huán)境因素影響，捕捉到的藥丸顏色、紋理、形狀存在差異，導(dǎo)致同類藥丸圖片差異增大、不同類別藥丸差異減小，從而造成分類錯(cuò)誤。從顏色特征角度考慮，紅（R）、綠（G）、藍(lán)（B）的3個(gè)通道分別對(duì)應(yīng)藥丸的顏色信息，每個(gè)顏色通道對(duì)不同光照條件的響應(yīng)程度不同，而SE能判斷哪些顏色通道對(duì)識(shí)別特定藥丸更重要，哪些通道受光照影響較小，如在某個(gè)光照條件下，藥丸的R通道更重要，且在光照影響下變化最小，那么SE會(huì)自適應(yīng)地加大R通道的權(quán)重抑制其他通道，從而減輕整體顏色差異對(duì)模型造成的影響，最終提高分類準(zhǔn)確率。同樣，SE會(huì)搜尋通道中具有區(qū)分度的形狀、紋理特征，更加關(guān)注對(duì)分類有利的特征，從而減小拍攝環(huán)境造成的影響。2）藥丸數(shù)據(jù)集具有種類多、每類樣本量少的特點(diǎn)，每類藥丸供網(wǎng)絡(luò)訓(xùn)練的特征信息有限，隨著分類增加，網(wǎng)絡(luò)分類難度增大，影響模型識(shí)別能力。而SE能在網(wǎng)絡(luò)中建立藥丸類別間以及類別中各樣本通道間的聯(lián)系，使網(wǎng)絡(luò)挖掘到更多深層次的特征信息，并去除圖片噪聲帶來(lái)的影響，一定程度上提高了訓(xùn)練效果。

可見(jiàn)，本研究涉及的改進(jìn)均能給模型性能改進(jìn)提供幫助。遷移學(xué)習(xí)和SE注意力機(jī)制較適合用于小樣本的藥丸分類任務(wù)，在有效提高藥丸分類準(zhǔn)確率的同時(shí)兼顧模型體積，方便在未來(lái)嵌入實(shí)際藥丸自動(dòng)分類系統(tǒng)中應(yīng)用。

5 "小結(jié)與展望

本研究從三級(jí)甲等醫(yī)院住院藥房的口服藥丸自動(dòng)分類系統(tǒng)實(shí)際需求出發(fā)，通過(guò)建立口服藥丸圖片數(shù)據(jù)集，結(jié)合深度學(xué)習(xí)模型和圖像處理等計(jì)算機(jī)視覺(jué)技術(shù)，提出一個(gè)基于改進(jìn)MobileNet V2 和遷移學(xué)習(xí)的口服藥丸識(shí)別分類模型。首先，從模型體積和分類準(zhǔn)確率綜合考慮，選取MobileNet V2作為骨干網(wǎng)絡(luò)，以盡量減少藥丸模型框架體積。其次，MobileNet V2中嵌入SE模塊，在增加微量開(kāi)銷的情況下可以使模型更加關(guān)注藥丸特征通道間的聯(lián)系，減少因環(huán)境造成的藥丸圖片顏色、形狀等差異而導(dǎo)致識(shí)別錯(cuò)誤的情況。最后，遷移學(xué)習(xí)方法將ImageNet數(shù)據(jù)中訓(xùn)練過(guò)的MobileNet V2部分權(quán)重遷移至藥丸模型，模型得到對(duì)顏色、形狀變化具有一定魯棒性的特征表示，使模型在樣本量有限的情況下可以應(yīng)對(duì)復(fù)雜拍攝環(huán)境的影響，并部分解決了由于樣本數(shù)據(jù)量有限導(dǎo)致的分類準(zhǔn)確率無(wú)法得到提升的問(wèn)題。另外，在數(shù)據(jù)預(yù)處理階段，鑒于采集到的藥丸在圖片中的位置不一問(wèn)題，通過(guò)邊緣檢測(cè)的方法對(duì)藥丸圖片進(jìn)行裁剪，有利于在不降低藥丸圖片像素的情況下去除大量背景信息，提高訓(xùn)練效率。最終本研究建立的模型參數(shù)總量為2.55 M，在95種口服藥丸圖片分類任務(wù)中，對(duì)現(xiàn)實(shí)情況中拍攝的多類藥丸圖片Top?1分類準(zhǔn)確率高達(dá)95.8%，滿足模型對(duì)樣本量有限且非受控條件下采集的數(shù)據(jù)保持高分類準(zhǔn)確率的需求，實(shí)現(xiàn)了藥丸圖片分類的低計(jì)算資源消耗與較高準(zhǔn)確率的雙重要求，為藥房、護(hù)理等醫(yī)院實(shí)際場(chǎng)景條件下涉及的藥丸自動(dòng)分類系統(tǒng)提供了技術(shù)路線和效果驗(yàn)證，對(duì)于提升我國(guó)藥房發(fā)藥、病房分藥等的自動(dòng)化水平具有一定的理論和實(shí)際應(yīng)用價(jià)值。從醫(yī)學(xué)臨床應(yīng)用角度來(lái)看，本研究的藥丸分類識(shí)別模型仍需要進(jìn)一步深入探究和完善：該模型的識(shí)別準(zhǔn)確率受多個(gè)因素影響，包括圖片質(zhì)量、藥丸類別數(shù)目和每類樣本量等。由于藥房中藥丸種類繁多，對(duì)每類藥丸進(jìn)行多張圖片采集需要耗費(fèi)大量時(shí)間，從而限制了數(shù)據(jù)集的規(guī)模和質(zhì)量，一定程度上影響了模型的訓(xùn)練效果。未來(lái)隨著藥丸種類和數(shù)量的增加，將進(jìn)一步驗(yàn)證本研究模型的性能，以使構(gòu)建的識(shí)別模型更加符合住院藥房實(shí)際需求。其次，該模型如需投入住院藥房中使用，為確保用藥安全，其準(zhǔn)確率仍需進(jìn)一步提高，而當(dāng)前存在的分類錯(cuò)誤通常發(fā)生在藥丸類間差距極小的情況下，針對(duì)易混淆的藥丸，單純的增加樣本數(shù)并不能有效提高分類準(zhǔn)確率，因此未來(lái)需著重將易混淆藥丸的特征進(jìn)行細(xì)化研究，使模型達(dá)到更高的準(zhǔn)確率，確保用藥安全性。最后，將研究模型應(yīng)用于實(shí)際臨床分類時(shí)，需要結(jié)合藥丸圖片和臨床處方等文本信息，以提高分類準(zhǔn)確率并實(shí)現(xiàn)個(gè)體化用藥建議。這樣設(shè)計(jì)的藥丸自動(dòng)分類系統(tǒng)更符合醫(yī)院流程，增強(qiáng)了模型的實(shí)際應(yīng)用價(jià)值。這將有利于提高藥房工作效率和醫(yī)療質(zhì)量，減輕護(hù)士及藥劑師工作壓力，從而更好地服務(wù)病人。

參考文獻(xiàn)：

[1] "陳繼涢，葉巖榮，嚴(yán)大鵬.我院住院藥房全自動(dòng)分包機(jī)拆零藥品安全管理[J].中國(guó)醫(yī)藥科學(xué)，2021，11（24）：18-21;33.

CHEN J Y，YE Y R，YAN D P.Safety management of dispensing drugs by automatic dispensing machine in inpatient pharmacy of our hospital[J].China Medicine and Pharmacy，2021，11（24）：18-21;33.

[2] "武娜，姚青霞，康曉娜.全程化藥學(xué)服務(wù)在醫(yī)院住院藥房的應(yīng)用現(xiàn)狀分析[J].中國(guó)衛(wèi)生產(chǎn)業(yè)，2020，17（9）：77-79.

WU N，YAO Q X，KANG X N.Analysis of application status of full-course pharmacy services in hospital pharmacy[J].China Health Industry，2020，17（9）：77-79.

[3] "趙潔清.住院藥房口服擺藥常見(jiàn)問(wèn)題及建議[J].中國(guó)當(dāng)代醫(yī)藥，2012，19（21）：195-196.

ZHAO J Q.Common problems and suggestions of oral dispensing in inpatient pharmacy[J].China Modern Medicine，2012，19（21）：195-196.

[4] "李帥.智慧藥房中藥品圖像分割與識(shí)別研究[D].西安：西安電子科技大學(xué)，2020.

LI S.Research on drug image segmentation and recognition in smart pharmacy[D].Xi'an：Xidian University，2020.

[5] "CORDEIRO L S，LIMA J S，ROCHA RIBEIRO A I，et al.Pill image classification using machine learning[G]//2019 8th Brazilian Conference on Intelligent Systems（BRACIS）.Salvador：IEEE，2019：556-561.

[6] "張震江，施華宇，辛海莉，等.深度學(xué)習(xí)技術(shù)輔助門(mén)診發(fā)藥實(shí)踐[J].中國(guó)數(shù)字醫(yī)學(xué)，2019，14（3）：56-58;107.

ZHANG Z J，SHI H Y，XIN H L，et al.Practice of deep learning technology to assist outpatient dispensing of drugs[J].China Digital Medicine，2019，14（3）：56-58;107.

[7] "施華宇，劉敏超，辛海莉，等.利用深度學(xué)習(xí)技術(shù)構(gòu)建藥品包裝識(shí)別系統(tǒng)方法研究[J].中國(guó)醫(yī)院，2019，23（10）：16-18.

SHI H Y，LIU M C，XIN H L，et al.Research on construction drug packaging identification system by deep learning[J].Chinese Hospitals，2019，23（10）：16-18.

[8] "王振亞，趙繼紅，王艷鵬，等.基于改進(jìn)EfficientNet網(wǎng)絡(luò)的藥片檢測(cè)分類的研究[J].現(xiàn)代計(jì)算機(jī)，2021，27（28）：27-32.

WANG Z Y，ZHAO J H，WANG Y P，et al.Tablet detection and classification based on improved EfficientNet network[J].Modern Computer，2021，27（28）：27-32.

[9] "SWASTIKA W，PRILIANTI K，STEFANUS A，et al.Preliminary study of multi convolution neural network-based model to identify pills image using classification rules[G]//2019 International Seminar on Intelligent Technology and Its Applications（ISITIA）.Surabaya：IEEE，2020：376-380.

[10] "SANDLER M，HOWARD A，ZHU M L，et al.MobileNetV2：inverted residuals and linear bottlenecks[G]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：4510-4520.

[11] "HOWARD A G，ZHU M L，CHEN B，et al.MobileNets：efficient convolutional neural networks for mobile vision applications[EB/OL].[2023-04-10].https：//arxiv.org/abs/1704.04861.pdf.

[12] "HE K M，ZHANG X Y，REN S Q，et al.Deep residual learning for image recognition[G]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas：IEEE，2016：770-778.

[13] "CHU J L， KRZY?AK A.Analysis of feature maps selection in supervised learning using convolutional neural networks[G]//Canadian Conference on Artificial Intelligence.Cham：Springer，2014：59-70.

[14] "HU J，SHEN L，SUN G.Squeeze-and-excitation networks[G]//Proceedings of the IEEE conference on computer vision and pattern recognition.Salt Lake City：IEEE，2018：7132-7141.

[15] "張凱，于航.基于深度學(xué)習(xí)的遙感圖像土地分類研究[J].計(jì)算機(jī)時(shí)代，2022（9）：108-110;114.

ZHANG K，YU H.Remote sensing image land classification using machine learning[J].Computer Era，2022（9）：108-110;114.

[16] "孫俊，朱偉棟，羅元秋，等.基于改進(jìn)MobileNet-V2的田間農(nóng)作物葉片病害識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào)，2021，37（22）：161-169.

SUN J，ZHU W D，LUO Y Q，et al.Recognizing the diseases of crop leaves in fields using improved Mobilenet-V2[J].Transactions of the Chinese Society of Agricultural Engineering，2021，37（22）：161-169.

[17] "MA N，ZHANG X，ZHENG H T，et al.ShuffleNet V2：practical guidelines for efficient cnn architecture design[G]//Proceedings of the European Conference on Computer vision（ECCV）.Munich：ECCV Association，2018：116-131.

（本文編輯"陳瓊）