基于深度學(xué)習(xí)的藥品抓取機(jī)械臂系統(tǒng)

摘 要：隨著醫(yī)藥行業(yè)對(duì)自動(dòng)化和智能化的需求不斷增加， 傳統(tǒng)的藥品搬運(yùn)方式已經(jīng)不能滿足現(xiàn)代化管理的要求。為解決當(dāng)前藥品管理中存在的自動(dòng)化程度不足、效率低以及人為錯(cuò)誤頻發(fā)等問(wèn)題， 本文設(shè)計(jì)了一個(gè)能夠深度識(shí)別和抓取藥品的機(jī)械臂系統(tǒng)。將雙目攝像頭固定安裝在可以清晰看到機(jī)械臂和藥品的位置，利用YOLOv5獲取藥品的三維坐標(biāo)，采用逆運(yùn)動(dòng)學(xué)計(jì)算6個(gè)步進(jìn)電機(jī)的移動(dòng)角度，傳遞至機(jī)械臂，完成自動(dòng)抓取藥品，并將其放置到預(yù)設(shè)的固定位置。試驗(yàn)結(jié)果表明， 系統(tǒng)能夠高效、可靠地完成藥品的識(shí)別與轉(zhuǎn)移，為智能化藥品管理提供了新的解決方案。

關(guān)鍵詞：智能藥品管理；六軸機(jī)械臂；三維坐標(biāo)；逆運(yùn)動(dòng)學(xué)；自動(dòng)抓取

中圖分類號(hào)：TP 241" " " " " " " 文獻(xiàn)標(biāo)志碼：A

隨著醫(yī)藥行業(yè)對(duì)自動(dòng)化和智能化的需求不斷增加， 傳統(tǒng)的藥品搬運(yùn)方式不能滿足現(xiàn)代化管理的要求。在藥品管理領(lǐng)域中存在自動(dòng)化程度不足、效率低以及人為錯(cuò)誤頻發(fā)等問(wèn)題，這些問(wèn)題不僅降低了藥品的流通效率， 還可能導(dǎo)致醫(yī)療安全隱患， 給患者的健康帶來(lái)風(fēng)險(xiǎn)。因此，開(kāi)發(fā)一種高效、智能的藥品管理系統(tǒng)十分必要， 不僅能夠提升工作效率， 還能夠提高醫(yī)療服務(wù)的安全性和可靠性。

本文設(shè)計(jì)能夠深度識(shí)別和抓取藥品的機(jī)械臂系統(tǒng)， 提高藥品搬運(yùn)的自動(dòng)化水平。系統(tǒng)將雙目攝像頭固定安裝在能夠清晰觀察機(jī)械臂和藥品的位置，采用YOLOv5算法對(duì)藥品進(jìn)行深度學(xué)習(xí)與識(shí)別， 獲取藥品的三維坐標(biāo)。隨后， 采用逆運(yùn)動(dòng)學(xué)算法計(jì)算6個(gè)步進(jìn)電機(jī)的移動(dòng)角度， 保證機(jī)械臂能夠自動(dòng)抓取藥品并將其放置到預(yù)設(shè)位置。這個(gè)流程提高了藥品識(shí)別和轉(zhuǎn)移的效率， 為智能藥品管理提供解決方案。系統(tǒng)適應(yīng)性和靈活性高， 能夠應(yīng)用于不同的工作場(chǎng)景中。

1 相關(guān)技術(shù)概述

1.1 雙目視覺(jué)模塊介紹

奧比中光335雙目攝像頭是一款高性能視覺(jué)設(shè)備，適用于深度感知和計(jì)算機(jī)視覺(jué)設(shè)計(jì)。該攝像頭的分辨率為1 920 ppi×1 080 ppi， 能夠提供精準(zhǔn)的三維空間數(shù)據(jù)。其水平視場(chǎng)角為90°， 垂直視場(chǎng)角為60°， 能夠在各種環(huán)境中有效捕捉深度信息。

雙目視覺(jué)在物體識(shí)別和環(huán)境感知方面具有明顯優(yōu)勢(shì)，能夠獲取物體的深度信息，提高系統(tǒng)在復(fù)雜環(huán)境中的適應(yīng)能力，使機(jī)械臂準(zhǔn)確識(shí)別并定位目標(biāo)物體。該設(shè)備利用2臺(tái)攝像頭模擬人類的視覺(jué)系統(tǒng)，捕捉同一個(gè)場(chǎng)景的2個(gè)不同視角的圖像， 從而生成三維信息。

1.2 獲取深度值

本文利用Orbbec SDK建立數(shù)據(jù)流管道，并設(shè)置了深度傳感器的測(cè)量深度。在數(shù)據(jù)捕獲過(guò)程中，使用OpenCV庫(kù)對(duì)深度數(shù)據(jù)進(jìn)行處理，保證了數(shù)據(jù)處理的高效性和準(zhǔn)確性。

在深度數(shù)據(jù)的處理部分，本文采用時(shí)間濾波技術(shù)降低噪聲，并且提高深度圖像的穩(wěn)定性。TemporalFilter類利用加權(quán)平均當(dāng)前幀和前一幀的深度數(shù)據(jù)，實(shí)現(xiàn)了平滑效果。這個(gè)方法在動(dòng)態(tài)環(huán)境中更重要，可以有效降低快速運(yùn)動(dòng)或環(huán)境變化導(dǎo)致的深度測(cè)量誤差。

此外，深度數(shù)據(jù)經(jīng)過(guò)歸一化處理后，通過(guò)顏色映射技術(shù)轉(zhuǎn)化為可視化圖像。其中，距離攝像頭越近的區(qū)域顏色越深，提升了人機(jī)交互的直觀性。

1.3 YOLOv5算法

YOLOv5是一種單階段目標(biāo)檢測(cè)算法，其網(wǎng)絡(luò)結(jié)構(gòu)由輸入端、主干特征提取網(wǎng)絡(luò)、加強(qiáng)特征融合網(wǎng)絡(luò)和檢測(cè)層4個(gè)部分組成。該算法通過(guò)單次前向傳播實(shí)現(xiàn)目標(biāo)識(shí)別，適用于實(shí)時(shí)應(yīng)用場(chǎng)景。改進(jìn)YOLOv5的三維目標(biāo)檢測(cè)算法能夠識(shí)別藥品并確定其在機(jī)械臂基坐標(biāo)系中的三維坐標(biāo)，使系統(tǒng)能夠快速響應(yīng)， 準(zhǔn)確抓取目標(biāo)物體。YOLOv5算法提升了藥品識(shí)別的準(zhǔn)確性， 不僅可以提高工作效率， 還能減少人為錯(cuò)誤， 保障藥品管理的安全性和可靠性。

1.4 機(jī)器臂控制系統(tǒng)

系統(tǒng)采用Arduino IDE來(lái)控制6個(gè)步進(jìn)電機(jī)，驅(qū)動(dòng)機(jī)械臂進(jìn)行運(yùn)動(dòng)。步進(jìn)電機(jī)以其高精度特性，使機(jī)械臂能夠在各種工作條件下執(zhí)行復(fù)雜的抓取任務(wù)[1]。通過(guò)逆運(yùn)動(dòng)學(xué)算法，將藥品在機(jī)械臂坐標(biāo)系下的三維坐標(biāo)轉(zhuǎn)換為六軸運(yùn)動(dòng)的角度，實(shí)現(xiàn)自動(dòng)抓取藥品。

機(jī)械臂的控制基于串口通信和消息隊(duì)列技術(shù)，提供了高效、實(shí)時(shí)的機(jī)器人關(guān)節(jié)控制和數(shù)據(jù)交互能力。系統(tǒng)導(dǎo)入了必要的庫(kù)，包括串口通信庫(kù)和自定義的MsnhProto協(xié)議庫(kù)，為后續(xù)的數(shù)據(jù)傳輸和處理奠定了基礎(chǔ)。

在系統(tǒng)架構(gòu)方面，采用了多線程機(jī)制，通過(guò)RevThread類處理機(jī)器人的數(shù)據(jù)，通過(guò)SendThread類發(fā)送數(shù)據(jù)至機(jī)器人。這種設(shè)計(jì)保證了數(shù)據(jù)處理的實(shí)時(shí)性和高效性，有效防止了數(shù)據(jù)丟失或延遲現(xiàn)象的發(fā)生。

在數(shù)據(jù)處理環(huán)節(jié)， 系統(tǒng)將關(guān)節(jié)角度轉(zhuǎn)換為步進(jìn)電機(jī)脈沖， 并設(shè)定了特定的比例關(guān)系以實(shí)現(xiàn)精確控制。同時(shí)，系統(tǒng)利用消息隊(duì)列與MsnhRobotStudio進(jìn)行雙向通信， 接收控制指令并反饋機(jī)器人的狀態(tài)。

2 系統(tǒng)設(shè)計(jì)與完成

2.1 相機(jī)標(biāo)定

相機(jī)標(biāo)定旨在消除攝像頭的畸變，校正拍攝的圖像，從而獲取更精確的三維坐標(biāo)。世界坐標(biāo)系至像素坐標(biāo)系的轉(zhuǎn)換如圖1所示。在相機(jī)標(biāo)定過(guò)程中，會(huì)計(jì)算出相機(jī)的內(nèi)外參數(shù)矩陣，這些矩陣用于確定三維空間與圖像平面之間的轉(zhuǎn)換關(guān)系。

根據(jù)張正友棋盤格標(biāo)定法得到世界坐標(biāo)系與相機(jī)像素坐標(biāo)系的轉(zhuǎn)換關(guān)系， 即相機(jī)標(biāo)定的內(nèi)參矩陣和單應(yīng)矩陣，如公式（1）所示。

（1）

式中：s為成像縮小的比例因子；（uP，vP）為P在圖像像素坐標(biāo)系中的二維坐標(biāo)；fx、fy分別為x、y方向的焦距；cx、cy分別為圖像的主點(diǎn)坐標(biāo)；R3×3為一個(gè)3×3的旋轉(zhuǎn)矩陣，表示坐標(biāo)系之間的旋轉(zhuǎn)關(guān)系；T 3×3 為一個(gè)3×1的旋轉(zhuǎn)矩陣，表示坐標(biāo)系之間的平移關(guān)系；XPw、YPw和ZPw為P在世界坐標(biāo)系中的點(diǎn)的三維坐標(biāo)。

相機(jī)內(nèi)參矩陣和畸變系數(shù)如圖2所示。設(shè)相機(jī)參數(shù)fx=642.608、fy=629.081、cx=695.866以及cy=389.806。利用OpenCV庫(kù)獲取畸變系數(shù)：[（-0.046，-0.063，-0.003，0.024，0.036）]。

2.2 獲取相機(jī)坐標(biāo)系中的三維坐標(biāo)

本文構(gòu)建了一個(gè)基于PyQt5的系統(tǒng)，采用YOLOv5目標(biāo)檢測(cè)算法，旨在精確獲取藥品的三維坐標(biāo)，提高藥品檢測(cè)的準(zhǔn)確性和速度。系統(tǒng)的核心組件是MainWindow類，其繼承自QTabWidget， 并設(shè)計(jì)了多個(gè)標(biāo)簽頁(yè)，用于顯示三維坐標(biāo)界面，包括圖片檢測(cè)、視頻檢測(cè)。

在系統(tǒng)初始化階段，本文配置了深度傳感器，利用pyorbbecsdk庫(kù)中的Pipeline和Config類進(jìn)行流配置和啟動(dòng)。這個(gè)過(guò)程保證了系統(tǒng)能夠從深度幀中提取中心點(diǎn)的深度值，實(shí)時(shí)獲取藥品周圍的深度信息，為計(jì)算相機(jī)坐標(biāo)系中的三維坐標(biāo)提供必要的數(shù)據(jù)基礎(chǔ)。

相機(jī)標(biāo)定是獲取藥品在相機(jī)坐標(biāo)系中的三維坐標(biāo)的關(guān)鍵環(huán)節(jié)。本文導(dǎo)入了相機(jī)內(nèi)參矩陣和畸變系數(shù)，以保證圖像數(shù)據(jù)的準(zhǔn)確性。采用去畸變技術(shù)去除圖像中的畸變，提高了模型在實(shí)際應(yīng)用中的可靠性。此外， 使用加權(quán)平均處理前后幀深度數(shù)據(jù)，進(jìn)一步減少了傳感器噪聲對(duì)深度測(cè)量的影響[2-4]。在藥品目標(biāo)檢測(cè)方面， 系統(tǒng)利用YOLOv5模型對(duì)靜態(tài)圖像和視頻流進(jìn)行分析，實(shí)時(shí)識(shí)別藥品的位置。當(dāng)藥盒放置在攝像頭拍攝范圍內(nèi)時(shí)，界面上會(huì)顯示出藥品的三維坐標(biāo)，如圖3所示。

2.3 手眼標(biāo)定

獲取藥品在相機(jī)坐標(biāo)系中的三維坐標(biāo)后，為了使機(jī)械臂能夠準(zhǔn)確抓取，必須將該位置轉(zhuǎn)換為相對(duì)于機(jī)械臂的位置。系統(tǒng)采用矩陣進(jìn)行位置轉(zhuǎn)換，并應(yīng)用了眼在手外（Eye-To-Hand）的手眼標(biāo)定方法[5]（其結(jié)構(gòu)如圖4所示），將攝像頭固定在能夠清晰觀察機(jī)械臂和藥品的位置，移動(dòng)機(jī)械臂和標(biāo)定板進(jìn)行手眼標(biāo)定。

由圖4可知，第i次的位姿轉(zhuǎn)換矩陣如公式（2）所示。

= ?? （2）

同理，第i+1次的位姿轉(zhuǎn)換矩陣如公式（3）所示。

=?? （3）

機(jī)械臂抓取標(biāo)定板如圖5所示，由于機(jī)械臂末端吸塞吸取了標(biāo)定板至另一個(gè)位置，因此標(biāo)定板坐標(biāo)系相對(duì)相機(jī)坐標(biāo)系的位姿轉(zhuǎn)換矩陣不變，和相等。

標(biāo)定板坐標(biāo)系相對(duì)于相機(jī)坐標(biāo)系的位置關(guān)系計(jì)算過(guò)程如公式（4）所示，其包括平移和旋轉(zhuǎn)信息，能夠描述標(biāo)定板在相機(jī)視角下的定位。

=?? （4）

機(jī)械臂末端坐標(biāo)系相對(duì)于機(jī)械臂基坐標(biāo)系的位置關(guān)系計(jì)算過(guò)程如公式（5）所示，能夠描述機(jī)械臂末端在基坐標(biāo)系下的位姿。

=+? （5）

聯(lián)立公式（4）、公式（5）得到公式（6）。

??=?? （6）

由于機(jī)械臂基座相對(duì)相機(jī)位姿固定，因此=對(duì)公式（6）進(jìn)行移項(xiàng)，得到公式（7）。

??=?? （7）

令：

?=A

?=B=X

由公式（7）AX=XB，可以計(jì)算出A、B的值，并將它們代入該公式中，以求得位姿轉(zhuǎn)換矩陣X，進(jìn)一步轉(zhuǎn)化為公式（8）、公式（9） 。

=A? （8）

=B? （9）

通過(guò)公式（8）、公式（9），筆者得到了標(biāo)定板坐標(biāo)系在相機(jī)坐標(biāo)系中的位姿轉(zhuǎn)換矩陣A，以及機(jī)械臂末端坐標(biāo)系在基坐標(biāo)系中從第i次到第i+1次的位姿轉(zhuǎn)換矩陣B。為了進(jìn)一步提高手眼標(biāo)定的準(zhǔn)確性， 本文采用了文獻(xiàn)[6-8]中的Ada Delta算法對(duì)手眼標(biāo)定過(guò)程進(jìn)行優(yōu)化處理，最終得到基于機(jī)械臂基座標(biāo)系的三維坐標(biāo)（X'，Y'，Z'），見(jiàn)表1。

2.4 逆運(yùn)動(dòng)學(xué)

根據(jù)在機(jī)械臂基座標(biāo)系中獲取的三維坐標(biāo)，本文采用了逆運(yùn)動(dòng)學(xué)算法來(lái)計(jì)算機(jī)械臂從初始姿態(tài)運(yùn)動(dòng)到目標(biāo)末端位姿時(shí)，各關(guān)節(jié)所需轉(zhuǎn)動(dòng)的角度θi。在進(jìn)行逆運(yùn)動(dòng)學(xué)計(jì)算時(shí)，本文參考了表2[9]中列出的D-H參數(shù)。

如圖6所示為機(jī)械臂末端位置的示意圖。在初始狀態(tài)下，吸塞的初始位被置設(shè)為與X0Y0平面重合，關(guān)節(jié)軸一需要旋轉(zhuǎn)θ1或θ1+π才能夠使藥盒P與X0Y0平面重合。

由于機(jī)械臂的關(guān)節(jié)軸一允許雙向旋轉(zhuǎn)，因此同一個(gè)末端位置存在2種可能的旋轉(zhuǎn)方向，導(dǎo)致θ1有2個(gè)解。關(guān)節(jié)軸一旋轉(zhuǎn)θ1的計(jì)算過(guò)程如公式（10）所示。

（10）

式中：a為連桿的長(zhǎng)度。

以第一關(guān)節(jié)軸的坐標(biāo)系（如圖7所示）為參考，在逆運(yùn)動(dòng)學(xué)分析中，根據(jù)D-H參數(shù)表中的DH[2，1]項(xiàng)，來(lái)確立第二個(gè)關(guān)節(jié)的偏移量與第一個(gè)關(guān)節(jié)連桿長(zhǎng)度的位置關(guān)系，設(shè)A0點(diǎn)為（x0，0，z0），由此推導(dǎo)出方程，如公式（11）所示。

x02+z02=DH[2，1]2

（x-x0）2+（z-DH[0，2]-z0）2=DH[3，2]2 （11）

式中：x、z為末端執(zhí)行器在機(jī)械臂基坐標(biāo)系中的目標(biāo)坐標(biāo)。

計(jì)算公式（11）中的二元二次方程組，得到（x00，z00）、（x01，z01）、（x02，z02）和（x03，z03）4組解，去除其中的非實(shí)數(shù)解，得到關(guān)節(jié)軸二、關(guān)節(jié)軸三的旋轉(zhuǎn)角，如公式（12）、公式（13）所示。

θ2=atan（x0，z0） （12）

θ3=atan（z-DH[0，2]-z0x-x0）-atan2（z0，x0） （13）

計(jì)算公式（12）中的方程，得到關(guān)節(jié)角θ2、θ3的2組解。同理，當(dāng)θ1=atan2（y，x）+π時(shí)，得到關(guān)節(jié)角θ2、θ3的2組解，去除其中相同的解，得到θ1、θ2以及θ3。

機(jī)械臂前3個(gè)軸旋轉(zhuǎn)后， 已知吸塞位置與藥盒位置重合， 由于關(guān)節(jié)軸四、五和六在吸塞位置相交， 因此3個(gè)軸的旋轉(zhuǎn)不會(huì)改變吸塞位置。單獨(dú)對(duì)3個(gè)軸進(jìn)行姿態(tài)解算，可以得到關(guān)節(jié)角。設(shè)R1（θ1）、R2（θ2）、R3（θ3）、R4（θ4）、R5（θ5）以及R6（θ6）為各軸的變換矩陣[10]。將關(guān)節(jié)軸四、五和六的旋轉(zhuǎn)過(guò)程視作動(dòng)歐拉角ZYZ的旋轉(zhuǎn)模式， 其對(duì)應(yīng)的旋轉(zhuǎn)矩陣表示為R（θ4，θ5，θ6），如公式（14）所示。

（14）

將多個(gè)旋轉(zhuǎn)矩陣疊加，得到機(jī)械臂末端執(zhí)行器在全局坐標(biāo)系中的總旋轉(zhuǎn)矩陣RP，如公式（15）所示。

R（θ1）R（θ2）R（θ3）R（θ4=0）R（θ4，θ5，θ6）=RP （15）

聯(lián)立公式（14）、公式（15），得到θ4、θ5和θ6。

根據(jù)圖8所示的多組角度值，從中選取最優(yōu)的一組角度， 利用串口端傳送至Arduino控制板， 完成機(jī)械臂抓取動(dòng)作，并將其準(zhǔn)確放置到預(yù)設(shè)的位置。

3 結(jié)語(yǔ)

本文設(shè)計(jì)了基于雙目視覺(jué)的藥品抓取機(jī)械臂系統(tǒng)，系統(tǒng)采用YOLOv5算法和Arduino控制技術(shù)，能夠靈活處理不同形狀和尺寸的藥品[11]，藥品識(shí)別成功率為95%，抓取任務(wù)成功率為92%，放置任務(wù)成功率為90%。藥品管理的自動(dòng)化和智能化水平提高，系統(tǒng)適應(yīng)性良好， 效率和可靠性高，為實(shí)際應(yīng)用提供了有效解決方案。

試驗(yàn)結(jié)果表明，使用本文系統(tǒng)，出現(xiàn)人為錯(cuò)誤的概率降低， 藥品搬運(yùn)效率和醫(yī)療安全性更高。盡管系統(tǒng)在大多數(shù)情況下表現(xiàn)良好，但是在復(fù)雜背景中以及當(dāng)光照發(fā)生變化時(shí)識(shí)別準(zhǔn)確性會(huì)降低。未來(lái)將優(yōu)化算法，提高環(huán)境感知能力， 進(jìn)一步提升系統(tǒng)的魯棒性和準(zhǔn)確性。還將引入更多傳感器和智能決策機(jī)制，使系統(tǒng)能夠動(dòng)態(tài)適應(yīng)不同的工作環(huán)境，提升其在實(shí)際藥品管理中的應(yīng)用價(jià)值。綜上所述，本文為智能藥品管理系統(tǒng)的開(kāi)發(fā)和應(yīng)用奠定了基礎(chǔ)，拓展了發(fā)展方向。

參考文獻(xiàn)

[1]馬子鳳.基于閉環(huán)算法的七自由度系統(tǒng)冗余問(wèn)題優(yōu)化研究[J].機(jī)電產(chǎn)品開(kāi)發(fā)與創(chuàng)新，2025，38（1）：134-136.

[2]劉翰林，劉凌云，李超凡，等.基于YOLOv5s-CBC的鋼材表面缺陷檢測(cè)[J].組合機(jī)床與自動(dòng)化加工技術(shù)，2024（10）：155-159.

[3]李宗柱，宋紹劍，李修華.一種基于YOLOv5的農(nóng)業(yè)害蟲檢測(cè)方法[J].植物保護(hù)，2025，51（1）：111-122.

[4]盛雪清，李紹斌，屈金燕，等.基于改進(jìn)YOLOv5的三維目標(biāo)檢測(cè)算法[J].激光與光電子學(xué)進(jìn)展，2024，61（18）：147-157.

[5]程強(qiáng)，黃河，許靜靜，等.一種基于雙目視覺(jué)和Halcon的高效機(jī)器人手眼標(biāo)定方法[J].現(xiàn)代電子技術(shù)，2023，46（13）：35-42.缺陷檢測(cè)[J].組合機(jī)床與自動(dòng)化加工技術(shù)，2024（10）：155-159.

[6]陳琳，付鈺，王龍友，等.基于點(diǎn)云維度轉(zhuǎn)換的雙優(yōu)化層手眼標(biāo)定方法[J].組合機(jī)床與自動(dòng)化加工技術(shù)，2025（1）：185-189.

[7]賈銅，畢德學(xué)，宋韋辰，等.基于視覺(jué)引導(dǎo)的機(jī)器人抓取系統(tǒng)手眼標(biāo)定方法[J].食品與機(jī)械，2024，40（7）：63-67，110.

[8]岳有軍，李勇飛，趙輝，等.雙目視覺(jué)手眼標(biāo)定的精度優(yōu)化[J].組合機(jī)床與自動(dòng)化加工技術(shù)，2023（7）：162-165，170.

[9]周楊，楊旗，閆為佳.基于D-H參數(shù)的六軸機(jī)器人運(yùn)動(dòng)學(xué)分析與仿真[J].機(jī)械工程與自動(dòng)化，2024，（3）：56-58.

[10]王鑫，張捷，呂明.基于Unity3D的檔案抓取機(jī)械臂仿真系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].工業(yè)控制計(jì)算機(jī)，2024，37（8）：83-85.

[11]陳晗彬.基于雙目視覺(jué)定位的機(jī)械臂智能抓取控制研究[J].機(jī)電工程技術(shù)，2023，52（12）：115-119.