一款基于CNN+OpenCV的智能送藥小車設(shè)計(jì)

張秉文 張?jiān)? 何西遠(yuǎn)

收稿日期：2023-05-26

基金項(xiàng)目：山東青年政治學(xué)院校級(jí)應(yīng)用型科研項(xiàng)目（2021yyx-yb05）

DOI：10.19850/j.cnki.2096-4706.2024.04.036

摘? 要：智慧醫(yī)療是我國(guó)醫(yī)療界備受關(guān)注的領(lǐng)域之一，智能送藥設(shè)備是其中重要組成部分。智能送藥設(shè)備可以避免人為原因?qū)е滤幤钒l(fā)送延誤，提高工作效率，保證工作質(zhì)量。在疫情期間，更是可以有效減少醫(yī)務(wù)人員感染的風(fēng)險(xiǎn)。文章設(shè)計(jì)了一款基于CNN+OpenCV的智能送藥設(shè)備，以樹(shù)莓派3B+作為主控芯片，使用五路灰度傳感器等硬件模塊，采用Dijkstra算法實(shí)現(xiàn)最短路徑、OpenCV進(jìn)行圖像處理、CNN實(shí)現(xiàn)數(shù)字識(shí)別，模擬了醫(yī)院病房送藥任務(wù)。經(jīng)過(guò)多次測(cè)試，設(shè)備均能高效地完成送藥任務(wù)。

關(guān)鍵詞：機(jī)器視覺(jué)；智能送藥；CNN；Dijkstra算法

中圖分類號(hào)：TP23；TP181? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2024）04-0175-05

Design of an Intelligent Medication Delivery Cart Based on CNN+OpenCV

ZHANG Bingwen， ZHANG Yue， HE Xiyuan

（School of Information Engineering， Shandong Youth University of Political Science， Ji'nan? 250103， China）

Abstract： Smart healthcare is one of the highly regarded fields in the medical industry in China， and intelligent medication delivery device is an important component within this domain. The device can prevent delays in medication delivery caused by human errors， improve work efficiency and ensure the work quality. During epidemic situation， it can effectively reduce the risk of infection for healthcare workers. This paper designs an intelligent medication delivery device based on CNN+OpenCV. It utilizes the Raspberry Pi 3B+ as the main control unit， uses five-channel grayscale sensors and other hardware modules. It adopts the Dijkstra's algorithm to achieve the shortest path， uses OpenCV for image processing， utilizes CNN to achieve numerical recognition， and simulates medication delivery tasks in hospital wards. Through multiple tests， the device has consistently and efficiently completed medication delivery tasks.

Keywords： machine vision; intelligent medication delivery; CNN; Dijkstra's Algorithm

0? 引? 言

在我國(guó)人口老齡化和慢性病高發(fā)的大背景下，智慧醫(yī)療日益受到醫(yī)學(xué)界的重視。其中，智能送藥系統(tǒng)作為智慧醫(yī)療的重要組成部分，它能夠提高醫(yī)院、藥店等機(jī)構(gòu)的工作效率，緩解醫(yī)務(wù)人員的工作壓力，同時(shí)也方便了患者的就醫(yī)和用藥。然而，在過(guò)去很長(zhǎng)一段時(shí)間里，人工送藥是最常用的藥品遞送方式。這種方式雖然簡(jiǎn)單可靠，但也存在一些局限性和缺點(diǎn)。首先，人工送藥存在感染暴露風(fēng)險(xiǎn)；其次，人工送藥很難保證時(shí)效性；再次，疫情高峰時(shí)，人工送藥方式也增加了醫(yī)務(wù)人員的工作壓力。針對(duì)以上情況，本文設(shè)計(jì)了一款智慧送藥設(shè)備，來(lái)進(jìn)行無(wú)接觸智能藥物配送[1]，減少醫(yī)務(wù)人員感染的風(fēng)險(xiǎn)，減輕醫(yī)務(wù)人員的工作壓力。

在智能送藥設(shè)備研發(fā)方面，付書添等[2]研發(fā)了一款基于OpenMV視覺(jué)系統(tǒng)的智能送藥小車，可以完成在有線路軌跡和數(shù)字病房號(hào)標(biāo)識(shí)的場(chǎng)景中藥物的配送任務(wù)。孟兆樂(lè)等[3]設(shè)計(jì)的智能送藥小車?yán)肏ausdorff算法和NCC模板匹配，實(shí)現(xiàn)了數(shù)字的識(shí)別功能。本文借鑒已有的智能送藥設(shè)備，研究如何在醫(yī)療環(huán)境中實(shí)現(xiàn)非接觸式藥品配送，設(shè)計(jì)出的智能送藥設(shè)備具有操作簡(jiǎn)便、功能完善、成本較低等特點(diǎn)，能夠更好地支持創(chuàng)新型藥品運(yùn)輸方式的實(shí)現(xiàn)，有益于智慧醫(yī)療系統(tǒng)的建設(shè)。

1? 系統(tǒng)總體設(shè)計(jì)

1.1? 設(shè)計(jì)思路

智能送藥設(shè)備由樹(shù)莓派3B+[4]主控芯片、循跡模塊、超聲波避障模塊、L298N電機(jī)驅(qū)動(dòng)模塊、供電模塊、數(shù)字識(shí)別模塊、最短路徑模塊以及前端展示模塊組成，其實(shí)物照片如圖1所示，設(shè)備的整體結(jié)構(gòu)如圖2所示。

圖1? 設(shè)備實(shí)物照片

圖2? 設(shè)備整體結(jié)構(gòu)圖

設(shè)備的操作流程為：醫(yī)生輸入需要送藥的病房號(hào)，設(shè)備利用最短路徑算法計(jì)算得出最佳的送藥順序。送藥過(guò)程中，設(shè)備利用循跡模塊返回的信號(hào)來(lái)判斷是否到達(dá)病房門口，如到達(dá)，則進(jìn)行數(shù)字識(shí)別，確認(rèn)病房號(hào)碼正確后完成送藥，然后進(jìn)行下一個(gè)病房的送藥，直至送完所有需要送藥的病房。在送藥過(guò)程中，前端地圖上會(huì)實(shí)時(shí)顯示設(shè)備的路徑，并提示藥品已送達(dá)的信息。此外，前端還會(huì)展示樹(shù)莓派和小車的狀態(tài)信息，反饋設(shè)備是否有故障，設(shè)備送藥的工作流程如圖3所示。

1.2? 地圖規(guī)劃

為了滿足模擬送藥的需要，對(duì)醫(yī)院場(chǎng)景進(jìn)行了特征化的地圖構(gòu)建，以減弱病房形狀不規(guī)則、非路徑障礙物等因素的影響，突出路徑與藥房之間的幾何關(guān)系[5]。這樣可以更準(zhǔn)確地計(jì)算最短路徑，并且提高設(shè)備送藥效率，醫(yī)院場(chǎng)景模擬如圖4所示。

1.3? 功能設(shè)計(jì)

智能送藥設(shè)備實(shí)現(xiàn)的功能有自主循跡、數(shù)字識(shí)別、計(jì)算最短路徑、前端展示以及避障功能，設(shè)備功能如圖5所示。

1.3.1? 自主循跡模塊

智能送藥設(shè)備的自主循跡功能利用5路灰度傳感器實(shí)現(xiàn)。在使用設(shè)備前會(huì)根據(jù)現(xiàn)有的地圖數(shù)據(jù)建立指令集，由于傳感器檢測(cè)到黑線會(huì)返回1，沒(méi)有檢測(cè)到黑線會(huì)返回0，通過(guò)傳感器可以判斷前方是否是十字路口或丁字路口，設(shè)備會(huì)在遇到十字路口或丁字路口時(shí)，按照指令集實(shí)現(xiàn)前行、左拐等操作。

圖3? 設(shè)備送藥的工作流程圖

圖4? 醫(yī)院場(chǎng)景模擬圖

1.3.2? 數(shù)字識(shí)別算法模塊

設(shè)備對(duì)病房門牌拍照后，首先將病房號(hào)圖像切割出來(lái)，其次，對(duì)所得到的病房號(hào)圖像進(jìn)行一系列預(yù)處理操作。再次，將預(yù)處理后的圖像轉(zhuǎn)換為MNIST數(shù)據(jù)格式。最后，通過(guò)CNN模型進(jìn)行數(shù)字識(shí)別，從而得到所需的病房號(hào)碼信息，數(shù)字識(shí)別算法流程如圖6所示。

圖6? 數(shù)字識(shí)別算法流程圖

1.3.3? 最短路徑算法模塊

在設(shè)備工作時(shí)，需要經(jīng)過(guò)很多房間來(lái)完成一次送藥任務(wù)。為此，本文設(shè)計(jì)了一種基于迪杰斯特拉算法[6]的路徑規(guī)劃方案，將病房看作節(jié)點(diǎn)，將醫(yī)院地圖作為無(wú)向圖，計(jì)算兩個(gè)病房之間的最短路徑，從而有效縮短送藥時(shí)間。同時(shí)，我們還重新構(gòu)建了鏈表來(lái)記錄每個(gè)最短路徑的具體值，用來(lái)計(jì)算單次多病房送藥的順序問(wèn)題。這樣，不僅可以解決單次多病房送藥任務(wù)的順序問(wèn)題，還能提高設(shè)備的送藥效率和節(jié)省大量時(shí)間。

1.3.4? 前端展示模塊

1.3.4.1? 實(shí)時(shí)路徑展示

該模塊可在網(wǎng)頁(yè)上展示完整的地圖。當(dāng)用戶提交病房號(hào)后，小車會(huì)從藥房到達(dá)該病房，并在網(wǎng)頁(yè)地圖上形成實(shí)時(shí)軌跡路線。通過(guò)這種方式，用戶可以清晰地跟蹤小車的位置和行駛路徑，更好地掌握送藥的進(jìn)度。

1.3.4.2? 狀態(tài)與故障信息展示

該模塊可實(shí)時(shí)展示樹(shù)莓派的狀態(tài)和運(yùn)行信息。如果小車的運(yùn)行正常，則頁(yè)面會(huì)展示“暫無(wú)故障”，但如果小車出現(xiàn)了一些問(wèn)題，例如電池電量不足或者控制系統(tǒng)失靈，在故障信息模塊中就會(huì)返回錯(cuò)誤信息。這將幫助我們及時(shí)發(fā)現(xiàn)設(shè)備故障并進(jìn)行處理，以保證設(shè)備的可靠性和安全性，前端展示如圖7所示。

1.3.5? 避障算法模塊

智能送藥設(shè)備使用了HC-SR04超聲波模塊，該模塊可提供2～400 cm的距離感測(cè)功能，測(cè)量精度可達(dá)到3 mm[7]。我們將其設(shè)置為當(dāng)設(shè)備前方出現(xiàn)障礙物并且距離設(shè)備僅有5 cm時(shí)，設(shè)備會(huì)立即停止，等待障礙物消失后才會(huì)繼續(xù)前進(jìn)。

2? 系統(tǒng)硬件設(shè)計(jì)

2.1? 主控芯片模塊

智能送藥設(shè)備使用3代B+型（3B+）樹(shù)莓派作為主控芯片。樹(shù)莓派3代B+型在樹(shù)莓派3代B型的基礎(chǔ)上進(jìn)行了多項(xiàng)重要升級(jí)。它將處理器主頻提升到了1.4 GHz，同時(shí)新增對(duì)5 GHz Wi-Fi頻段、Dual-band 802.11AC等方面的支持。

2.2? 五路灰度傳感器模塊

五路灰度傳感器是由多個(gè)灰度傳感器組成的設(shè)備，通常包含5個(gè)獨(dú)立的灰度傳感器。傳感器通過(guò)檢測(cè)物體表面在不同位置的反射率，每個(gè)灰度傳感器可以將這些反射率轉(zhuǎn)換為數(shù)字信號(hào)輸出。

2.3? 超聲波模塊

HC-SR04超聲波[8]模塊由超聲波發(fā)射器、接收器和控制電路組成。比起紅外傳感器，超聲波傳感器的搜索范圍更廣，因此我們?cè)谛≤嚽安坎捎昧顺暡▊鞲衅鳌?/p>

3? 系統(tǒng)實(shí)現(xiàn)

3.1? 圖像預(yù)處理模塊

當(dāng)設(shè)備拍攝到含有病房號(hào)的圖像時(shí)，會(huì)利用OpenCV庫(kù)[9]對(duì)圖像進(jìn)行預(yù)處理。預(yù)處理可分為兩個(gè)部分。

第一部分是要切割出病房號(hào)存在的區(qū)域。對(duì)原圖像進(jìn)行灰度化、高斯模糊濾波、Canny算法邊緣檢測(cè)和形態(tài)學(xué)處理等操作，以去除干擾線和小點(diǎn)，并獲取所有輪廓后篩選符合病房號(hào)比例要求的矩形區(qū)域。最后返回切割出的病房號(hào)圖像。

第二部分是對(duì)病房號(hào)圖像進(jìn)行預(yù)處理。首先將切割出的病房號(hào)圖像進(jìn)行灰度化和中值濾波以去除噪聲。其次，將濾波后的圖像與原始灰度圖像做差得到差分圖像并進(jìn)行二值化操作。最后利用高斯模糊操作平滑圖像，去除不必要的噪點(diǎn)，并進(jìn)行腐蝕處理以便于數(shù)字之間的分離。

3.2? CNN數(shù)字識(shí)別模塊

CNN是一種深度學(xué)習(xí)算法，經(jīng)常被廣泛應(yīng)用于圖像處理[10]和識(shí)別領(lǐng)域。相比其他算法，它具備提取圖像局部特征、抽象逐漸復(fù)雜等優(yōu)勢(shì)，因此能夠有效地解決數(shù)字旋轉(zhuǎn)、變形等問(wèn)題[11]。設(shè)備所采用的CNN網(wǎng)絡(luò)模型共有15層（包括輸入層），分為特征提取和多分類輸出兩個(gè)部分。在特征提取方面，使用了四個(gè)卷積層和兩個(gè)最大池化層來(lái)提取圖像中的局部特征。卷積層采用了兩個(gè)大小為5×5的濾波器和兩個(gè)大小為3×3的濾波器進(jìn)行卷積操作，并使用ReLU非線性激活函數(shù)增強(qiáng)表達(dá)能力。每一個(gè)卷積層后都加入了批標(biāo)準(zhǔn)化操作，有助于加速模型收斂和防止過(guò)擬合。在每?jī)蓚€(gè)卷積層之間還添加了一個(gè)最大池化層，以實(shí)現(xiàn)特征下采樣并保證特征不變性。在多分類輸出方面，使用了兩個(gè)全連接層，并在兩個(gè)全連接層之間添加Dropou層來(lái)避免過(guò)擬合。經(jīng)過(guò)特征提取后將結(jié)果通過(guò)Flatten層展平，輸入到全連接層，獲得各類別預(yù)測(cè)的概率結(jié)果。

4? 系統(tǒng)測(cè)試與結(jié)果分析

4.1? 模型評(píng)估

模型的訓(xùn)練損失值為0.027 9，準(zhǔn)確率為0.992 1。這表明模型在訓(xùn)練集上的表現(xiàn)比較優(yōu)秀，能夠較好地?cái)M合訓(xùn)練數(shù)據(jù)。驗(yàn)證損失值為0.029 1，驗(yàn)證準(zhǔn)確率為0.994 5。這表明模型在驗(yàn)證集上的表現(xiàn)也非常好，具有良好的泛化性能，能夠適應(yīng)新的數(shù)據(jù)，模型評(píng)估如圖8所示。

圖8? 模型評(píng)估圖

4.2? 實(shí)驗(yàn)測(cè)試

實(shí)驗(yàn)測(cè)試結(jié)果如表1所示。

表1? 實(shí)驗(yàn)測(cè)試結(jié)果

病房號(hào) 到達(dá)病房門前時(shí)間/s 識(shí)別時(shí)間/s 識(shí)別結(jié)果 送達(dá)時(shí)間/s

1001號(hào) 12 40 正確 52

1004號(hào) 16 39 正確 55

1006號(hào) 16 39 正確 55

具體內(nèi)容如下：

1）設(shè)備運(yùn)送藥品到1001號(hào)病房。要求到達(dá)病房門前的時(shí)間小于20 s，數(shù)字識(shí)別的時(shí)間小于42 s，識(shí)別的結(jié)果準(zhǔn)確，送到的時(shí)間小于58 s。

2）設(shè)備運(yùn)送藥品到1004號(hào)病房。要求到達(dá)病房門前的時(shí)間小于20 s，數(shù)字識(shí)別的時(shí)間小于42 s，識(shí)別的結(jié)果準(zhǔn)確，送到的時(shí)間小于58 s。

3）設(shè)備運(yùn)送藥品到1005號(hào)病房。要求到達(dá)病房門前的時(shí)間小于20 s，數(shù)字識(shí)別的時(shí)間小于42 s，識(shí)別的結(jié)果準(zhǔn)確，送到的時(shí)間小于58 s。

綜上，設(shè)備的測(cè)試結(jié)果符合基本要求。

5? 結(jié)? 論

本次設(shè)計(jì)的智能送藥設(shè)備擁有多項(xiàng)功能，包括利用傳感器進(jìn)行自主循跡、檢測(cè)數(shù)字區(qū)域、識(shí)別數(shù)字、計(jì)算送藥最短路徑以及在前端展示設(shè)備的路徑和信息。其中，利用CNN網(wǎng)絡(luò)訓(xùn)練的數(shù)字識(shí)別模型在訓(xùn)練集和驗(yàn)證集上表現(xiàn)優(yōu)異，具有出色的數(shù)字識(shí)別功能。Dijkstra算法被用來(lái)計(jì)算最短路徑，從而提高了設(shè)備的送藥效率并節(jié)省了大量時(shí)間。此外，設(shè)備配備的前端可視化功能，使用戶能夠?qū)崟r(shí)查看設(shè)備的位置和狀態(tài)，當(dāng)設(shè)備出現(xiàn)故障時(shí)可以及時(shí)處理。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，該設(shè)備成功地完成了模擬送藥任務(wù)，實(shí)現(xiàn)了預(yù)期功能。本設(shè)備的應(yīng)用能夠?qū)崿F(xiàn)病房藥物的自動(dòng)化、高效化配送、降低醫(yī)護(hù)人員的感染風(fēng)險(xiǎn)、減輕醫(yī)務(wù)人員負(fù)擔(dān)，對(duì)于構(gòu)建智慧醫(yī)療系統(tǒng)，具有重要的價(jià)值。

參考文獻(xiàn)：

[1] 張省，張樊宇.防疫物資“無(wú)接觸”機(jī)器人配送優(yōu)化研究 [J].計(jì)算機(jī)工程與應(yīng)用，2023，59（17）：295-307.

[2] 付書添，查雪紅，許超.基于OpenMV視覺(jué)系統(tǒng)的智能送藥小車 [J].工業(yè)控制計(jì)算機(jī)，2022，35（7）：6-9.

[3] 孟兆樂(lè)，蔣野，劉增林.基于機(jī)器學(xué)習(xí)的智能送藥小車設(shè)計(jì) [J].山西電子技術(shù)，2022（3）：30-33.

[4] 陳鵬，陳智利，李龐躍，等.樹(shù)莓派3B+導(dǎo)盲系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn) [J].西安工業(yè)大學(xué)學(xué)報(bào)，2020，40（3）：305-309.

[5] 葉添，林興亮，楊潞霞.基于視覺(jué)系統(tǒng)的智能送藥小車設(shè)計(jì) [J].山西電子技術(shù)，2023（1）：66-69.

[6] 王華.基于Dijkstra算法的物流配送最短路徑算法研究 [J].計(jì)算機(jī)與數(shù)字工程，2011，39（3）：48-50.

[7] 馮樹(shù)棟，楊延寧，杜永星，等.基于HC-SR04的多方位車距監(jiān)測(cè)系統(tǒng)設(shè)計(jì) [J].現(xiàn)代電子技術(shù)，2023，46（6）：44-48.

[8] 孟卓.基于HC-SR04的超聲波導(dǎo)盲系統(tǒng)設(shè)計(jì) [J].電子設(shè)計(jì)工程，2019，27（21）：136-139+145.

[9] 張領(lǐng)先，景嘉平，李淑菲，等.基于圖像自動(dòng)標(biāo)注與改進(jìn)YOLO v5的番茄病害識(shí)別系統(tǒng) [J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2023，54（11）：198-207.

[10] KRIZHEVSKTY A，SUTSKEVER I，HINTON G E. ImageNet Classification with Deep Convolutional Neural Networks [J].Communications of the ACM，2017，60（6）：84-90.

[11] 周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述 [J].計(jì)算機(jī)學(xué)報(bào)，2017，40（6）：1229-1251.

作者簡(jiǎn)介：張秉文（2002.01—），男，漢族，山東

濱州人，本科在讀，研究方向：大數(shù)據(jù)、數(shù)據(jù)挖掘；張?jiān)溃?988.05—），男，漢族，山東濟(jì)南人，講師，碩士研究生，研究方向：大數(shù)據(jù)、數(shù)據(jù)挖掘；何西遠(yuǎn)（2002.11—），男，漢族，山東濟(jì)寧人，本科在讀，研究方向：大數(shù)據(jù)、數(shù)據(jù)挖掘。