視覺系統(tǒng)追蹤流水線上移動藥品封裝輸出測試方法

謝邦晉

（閩江師范高等?？茖W(xué)校機(jī)電工程系 福建省福州市 350018）

針對從藥品生產(chǎn)線上大批量下線的散亂運(yùn)動藥片進(jìn)行標(biāo)準(zhǔn)化泡裝，需進(jìn)行對移動藥片的形狀殘缺與否的識別及實時移動的位置精確定位，實現(xiàn)達(dá)到高速精確分揀需求，因此開發(fā)一套性能優(yōu)良的視覺控制系統(tǒng)，為實現(xiàn)流水線上機(jī)械臂的快速精準(zhǔn)完成任務(wù)提供保障。

結(jié)合上述實際需求，首先設(shè)計適用于某種藥品分揀流水線上的快速抓放操作的機(jī)器視覺控制方案，然后通過對該控制系統(tǒng)的設(shè)計開展實驗調(diào)試，完善系統(tǒng)控制流程等研究工作，重點任務(wù)是搭建機(jī)器視覺控制系統(tǒng)的硬件平臺，并為后續(xù)的實際應(yīng)用開發(fā)奠定基礎(chǔ)。

1 并聯(lián)機(jī)器人視覺控制系統(tǒng)方案的設(shè)計

本研究中要求通過視覺系統(tǒng)實現(xiàn)對生產(chǎn)端下到傳送帶I 上排序散亂的藥片進(jìn)行形狀缺陷與否的識別，對無形狀缺陷的藥片進(jìn)行定位，通過數(shù)據(jù)信息控制系統(tǒng)引導(dǎo)機(jī)械臂快速完成藥片的抓放操作。由于藥片只是在二維平面上進(jìn)行定位識別，且抓放頻率要求較高，因此采用2D 視覺的智能攝像機(jī)，通過內(nèi)嵌的 CCD 傳感器采集高質(zhì)量現(xiàn)場圖像，內(nèi)嵌數(shù)字圖像處理（DSP）芯片，能脫離 PC 機(jī)對圖像進(jìn)行運(yùn)算處理，PLC 在接收到相機(jī)的圖像處理結(jié)果后，進(jìn)行動作信息輸出。

基于視覺的并聯(lián)機(jī)器人視覺藥片分揀包裝生產(chǎn)線總體結(jié)構(gòu)圖1所示，智能像機(jī)通過固定支架安裝于傳送帶I 上的藥品來料前端位置，利用像機(jī)采集傳送帶I 上實時移動的藥片圖像信息，通過系統(tǒng)的圖像匹配對采集的圖像進(jìn)行分析處理，計算出每個目標(biāo)藥片的位置及姿態(tài)，并將信息進(jìn)行規(guī)范化處理，傳輸給機(jī)械臂運(yùn)動控制系統(tǒng)。控制系統(tǒng)根據(jù)視覺系統(tǒng)提供的信息，結(jié)合機(jī)械臂的動作方式及傳送帶的運(yùn)行速度，計算移動藥片的抓取位置，最后通過控制機(jī)械臂各個驅(qū)動關(guān)節(jié)，使末端執(zhí)行吸盤快速完成生產(chǎn)線上傳送帶I 藥片的分選及傳送帶II 藥片的封裝操作。視覺控制系統(tǒng)框圖如圖2 所示。

圖1：并聯(lián)機(jī)器人視覺藥片分揀包裝生產(chǎn)線總體結(jié)構(gòu)

圖2：視覺控制系統(tǒng)框圖

2 實驗過程研究

本研究是以相機(jī)驅(qū)動機(jī)械手臂追蹤一個在傳送帶X-Y 二維水平面移動中的目標(biāo)藥片，先預(yù)測目標(biāo)藥片在下一時間點所在位置的方式，再追趕上目標(biāo)藥片并追尋目標(biāo)藥片前進(jìn)，基本做法是先獲取追蹤藥片的特征，當(dāng)移動藥片進(jìn)入 相機(jī)的視野范圍時，圖像信息處理系統(tǒng)會經(jīng)由特征比對拍攝到藥片，從中得到藥片移動的方向及速度，并預(yù)估在下一瞬間的行經(jīng)位置，以驅(qū)動機(jī)器手臂前往追蹤。

2.1 機(jī)器人視覺調(diào)試過程

2.1.1 視覺的架構(gòu)

本實驗通過智能相機(jī)，先識別藥片的形狀殘缺與否，采集處理完整藥片的坐標(biāo)位置，并將坐標(biāo)信息通過 PLC 傳送給機(jī)械臂，機(jī)械臂控制系統(tǒng)根據(jù)接收到的坐標(biāo)信息去抓取藥片，將其放置在指定位置。使用上位機(jī)軟件 X-Sight STUDIO 編程識別流水線上藥片的缺陷，以及 Modbus/TCP 通信協(xié)議的配置完成機(jī)器人與視覺系統(tǒng)的通訊。

2.1.2 上位機(jī)軟件的配置

硬件連接調(diào)試完成后，設(shè)置PC 端的 IP 地址，打開上位機(jī)軟件 X-Sight STUDIO，然后點擊連接按鈕，軟件會彈出搜索窗口，自動搜索連接在PC 上的相機(jī)。相機(jī)的 IP 為“192.168.8.2”，點擊確定連接相機(jī)。

與相機(jī)通訊成功后，通過軟件“運(yùn)行”和“顯示圖像”按鈕，顯示當(dāng)前相機(jī)的拍到的藥品圖像效果，通過手動調(diào)節(jié)相機(jī)的光圈和焦距同時配合上位機(jī)軟件 X-Sight STUDIO 中的系統(tǒng)、相機(jī)配置、曝光時間、增益的功能菜單來修改相機(jī)的配置，調(diào)節(jié)顯示拍攝圖像達(dá)到殘缺藥片與完整合格藥片的圖像鮮明比對最佳效果。

匹配相機(jī)之后，根據(jù)現(xiàn)場實際情況，選用對應(yīng)的工具，本文采用“圖案定位”工具來識別流水線上合格藥片，“圓環(huán)內(nèi)斑點計數(shù)”工具來識別存在流水線上缺陷的藥片。藥片圖像采集時在相機(jī)下方放置需要識別的藥片，在放置藥片的時候，盡量將藥片放正，如果所分揀的藥片是非圓形狀，應(yīng)使其兩條邊與相機(jī)坐標(biāo)系平行。

2.2 視覺腳本編程

由于流水線上需要分揀的藥片數(shù)量是不可控的，因此視覺相機(jī)采集到的目標(biāo)物坐標(biāo)集合就是一個動態(tài)數(shù)組。本文實驗是一次識別多個目標(biāo)藥片，計數(shù)工具的輸出結(jié)果都是一個動態(tài)數(shù)組，通過上位機(jī)采集軟件我們看到動態(tài)數(shù)組下有一個數(shù)組列表，就是前面標(biāo)著[0]/[1]/[2]……的一組數(shù)據(jù)，由于有這一組數(shù)據(jù)，所以叫它“數(shù)組”，又由于這個數(shù)組內(nèi)的元素（在這里就是坐標(biāo)信息）的數(shù)目是不確定的（找到的點的數(shù)量變化很正常），所以在此稱作“動態(tài)數(shù)組”。在進(jìn)行視覺腳本編程時應(yīng)將流水線可能出現(xiàn)的不用形狀藥片信息逐一考慮進(jìn)行腳本程序編譯，同時將坐標(biāo)信息收集到相應(yīng)數(shù)組中，進(jìn)行相應(yīng)的Modbus 配置，配置值參數(shù)通過Modbus-TCP 傳輸協(xié)議傳至PLC，由PLC 進(jìn)行相機(jī)實時拍攝到的藥片圖像坐標(biāo)轉(zhuǎn)換后傳輸?shù)綑C(jī)器人控制系統(tǒng)程序，機(jī)器人根據(jù)轉(zhuǎn)換后的坐標(biāo)信息進(jìn)行藥品分揀搬運(yùn)動作。

3 坐標(biāo)系轉(zhuǎn)換

以上步驟只對藥片利用智能相機(jī)進(jìn)行圖像信息采集處理，但是在做流水線上移動藥片動態(tài)追蹤實驗時，藥片在傳送帶I 上以恒定的速度移動，而相機(jī)視野范圍最大約為200mm×200mm，只能檢視到傳送帶I 前端的一小部份，所以需要將相機(jī)視野內(nèi)移動影像的重心坐標(biāo)，結(jié)合機(jī)械手臂現(xiàn)行位置坐標(biāo)作轉(zhuǎn)換，來推算出移動藥片現(xiàn)在位置及預(yù)測下一瞬間可能出現(xiàn)的位置，再驅(qū)使機(jī)械手臂前往追蹤。

先令傳送帶I 平臺的坐標(biāo)系為地面坐標(biāo)，其中 X-Y 坐標(biāo)軸分別為 Xw 、Yw ，而影像的 X-Y 坐標(biāo)軸分別設(shè)為 Xi 、Yi ，如圖3 為坐標(biāo)轉(zhuǎn)換示意圖。

圖3：坐標(biāo)轉(zhuǎn)換示意圖

由圖 3 圖像坐標(biāo)與傳送帶I 平臺坐標(biāo)轉(zhuǎn)換示意圖。由于硬件裝置的關(guān)系，兩者坐標(biāo)相差90°。在圖中，C 點為移動藥片的圖像坐標(biāo)，O 點為圖像中心點，該中心點相對于機(jī)械手臂為固定，因此只要將 C 點相對于 O 的坐標(biāo)值轉(zhuǎn)換成傳送帶平臺坐標(biāo)，就可以得知工作物件位于傳送帶平臺的坐標(biāo)（Xr, Yr）。令(Xm, Ym)代表 O 點為機(jī)械手臂位于工作平臺的坐標(biāo)則：

其中α、β 為兩者坐標(biāo)轉(zhuǎn)換的參數(shù)值，包含兩者相差90°之關(guān)系。

4 點對點路徑預(yù)測

先建立目標(biāo)藥片的比對特征，當(dāng)目標(biāo)藥片進(jìn)入相機(jī)視野范圍內(nèi)，從圖像的比對運(yùn)算中求出目標(biāo)藥片在兩個不同瞬間的平面位置坐標(biāo)，設(shè)第一瞬間點為(X1,Y1)，第二瞬間點為(X2,Y2)，以預(yù)測出下一時刻可能出現(xiàn)的位置，如圖4所示，A 為移動物的運(yùn)動路徑，B 為經(jīng)運(yùn)算推測出移動物的下一次移動路徑，C 則為手臂移動至預(yù)測攔截點所需的移動路徑，并驅(qū)動機(jī)械手臂前往所預(yù)測出的攔截點進(jìn)行追蹤，其運(yùn)算方程式如下：

圖4：對點預(yù)測軌跡示意圖

5 軟件測試

配置軟件界面中各參數(shù)，調(diào)試完備相機(jī)與機(jī)器人。將形狀殘缺與完整的兩種藥片放在傳送帶上相機(jī)的拍攝視野范圍內(nèi)，在不同匹配度下分別匹配數(shù)次，記錄每次匹配時間和匹配有效性。通過上位機(jī)仿真調(diào)試工具輸出監(jiān)控窗口觀測目標(biāo)匹配度為0.99 以下能保持100%匹配準(zhǔn)確度同時匹配時間為107.05ms，滿足系統(tǒng)要求。

精度測試數(shù)據(jù)在測試中尤為重要，本實驗通過四組測試數(shù)據(jù)驗證目標(biāo)物中心坐標(biāo)x、y 方向誤差范圍必須控制在0.05mm 內(nèi)，測試數(shù)據(jù)采集結(jié)果如表1 所示。

表1：測試數(shù)據(jù)采集結(jié)果

根據(jù)測試數(shù)據(jù)采集分析，視覺軟件的測量誤差在x 方向小于0.05mm，在y 方向為0，滿足系統(tǒng)要求。

6 總結(jié)

本文從視覺分揀系統(tǒng)搭建出發(fā)，使用模板匹配的計算機(jī)視覺定位技術(shù)，通過采集藥片的準(zhǔn)確坐標(biāo)位置，引導(dǎo)機(jī)械臂抓取工作場景中的藥片，期望通過引入計算機(jī)視覺定位與機(jī)器人通訊技術(shù)，提高藥品分揀包裝的效率和安全衛(wèi)生質(zhì)量。盡管取得了一定的實驗成果，但是缺乏對實際流水線上不同特征的藥片自動匹配方法的驗證，能否利用本研究的算法匹配藥廠分揀線節(jié)拍，這兩個問題都有待后續(xù)進(jìn)一步在生產(chǎn)實際中進(jìn)行優(yōu)化解決。