基于機器視覺的人工智能分揀系統(tǒng)研究與設計

陳旺　邱曉榮

關(guān)鍵詞：機器視覺；機械臂；智能分揀；Python

中圖分類號：TP393 文獻標識碼：A

文章編號：1009-3044（2023）10-0016-03

隨著人工智能制造技術(shù)的不斷成熟，AI機械臂在制造業(yè)生產(chǎn)中扮演著越來越重要的角色[1]。分揀機械臂已經(jīng)開始用于物流包裹分揀業(yè)務中，它能代替工人對流水線上的包裹進行分揀。傳統(tǒng)分揀機械臂采用示教或離線編程來規(guī)劃抓取方向和運動路徑，雖然能完成分揀作業(yè)，但對包裹的擺放位置和大小要求較嚴格，很容易導致機械臂抓取包裹失敗。而基于機器視覺的分揀機械臂支持示教再現(xiàn)、腳本控制、Blockly圖形化編程、激光雕刻、3D打印、視覺識別等功能，靈活應用于智能分揀、電路板焊接等自動化生產(chǎn)線，讓它既可以成為輕人工智能用戶中解決實際問題的利劍，也可以成為創(chuàng)客用戶想象力的承載平臺，具有靈活性高、分揀穩(wěn)定等優(yōu)勢，彌補了傳統(tǒng)分揀機械臂的不足。根據(jù)國內(nèi)的輕人工智能市場需求，研究基于機器視覺的物品分揀系統(tǒng)，具有一定的應用價值和現(xiàn)實意義。

1 人工智能分揀系統(tǒng)簡介

系統(tǒng)主要由四大模塊單元組成，分別為PLC系統(tǒng)傳送帶單元、MVS圖像采集單元、Python圖像處理單元和M1機器臂分揀單元。

1）PLC傳送帶單元：包括傳送帶、上料倉、伺服驅(qū)動器與電機，系統(tǒng)通過伺服驅(qū)動器控制電機的運行，電機負責驅(qū)動傳送帶。傳送帶單元主要用于傳輸待分揀物品，使得待分揀物品進入相機拍攝區(qū)域和機器臂分揀區(qū)域，增強系統(tǒng)定位動作與分揀動作的協(xié)調(diào)性，提高視覺分揀系統(tǒng)的分揀效率。

2）MVS圖像采集單元：包括人工智能相機和傳輸網(wǎng)線，該單元將采集到的物品圖像傳輸給圖像處理單元進行處理可進行灰度與RGB彩色兩種模式處理。

3）Python圖像處理單元：系統(tǒng)的核心單元之一，包括視覺處理Python算法。處理單元中的工控機接收到圖像采集單元所采集的物品圖像后，調(diào)用視覺處理算法對物品圖像進行處理分析，得到圖像中物品對應的種類信息和位置坐標信息，最后將該信息發(fā)送給機器臂分揀單元。

4）M1機械臂分揀單元：主要由關(guān)節(jié)坐標型機械臂、機械臂伺服控制器、真空氣泵、真空吸盤等硬件組成。機械臂分揀單元是基于視覺的物品分揀系統(tǒng)的執(zhí)行機構(gòu)，并根據(jù)分揀信息對傳送帶上的物品進行抓取與放置，分為三種運動方式（Move、MoveJ、Jump）其中Move的運動方式為點到點之間的直線運動，適合在同一高度的點位移動；而MoveJ的運動方式為點到直線，適合用于擁有同一個初始點位去往不同目的地的移動；最后Jump的運動方式是跳躍式移動，該模式十分靈活，可以擁有多種運動方式。最后視覺系統(tǒng)會根據(jù)物品的位置坐標信息確定分揀機械臂的抓取點[2]，根據(jù)物品的種類信息確定分揀機械臂的放置區(qū)域。在接收來自PLC處理后的信息后發(fā)送給視覺進行拍照，在視覺里面匹配特征模板，并且生成特征點用來抓取，而且將生成的這些數(shù)據(jù)以電信號的方式發(fā)送給M1機械臂分揀單元，在接收到指令后開始抓取相對應的物品，完成指令執(zhí)行。

2 系統(tǒng)軟件設計

基于機器視覺的物品分揀系統(tǒng)的軟件部分是在Python 及M1 Studio 開發(fā)環(huán)境下開發(fā)編寫的，其中視覺算法部分是在Python 環(huán)境下開發(fā)，在進行開發(fā)前需要進行文件包的換源，防止本地文件調(diào)用不成功，而后再把視覺算法移植到M1 Studio環(huán)境下進行部署應用開發(fā)，在PLC的編程使用的是西門子的博圖15.1，采用S71200的控制集成系統(tǒng)作為本視覺系統(tǒng)的控制單元。本文設計的視覺分揀系統(tǒng)軟件框架分為四個模塊，分別是語音人臉模塊、圖像識別模塊、PLC客戶端以及協(xié)作機械臂。

1）語音人臉模塊：該模塊會搭建一個語音客戶端，并使用百度云的語音識別服務，它可以識別使用者的身份信息，并且作為客戶端登錄PLC服務端，下發(fā)語音指令，該模塊中尤其需要注意的是調(diào)用百度云智能語音的三個key，否則很容易出現(xiàn)報錯。

2）圖像識別：該模塊是借助MVS相機進行圖像識別訓練，對所有的物料進行“記憶”，通過每樣100張在不同光源和環(huán)境的訓練下形成對應的精確訓練模型文件，用來提高該物品的識別精準度[6]。

3）PLC客戶端：該模塊作為“中介”存在，將由語音人臉發(fā)送過來的電信號處理后轉(zhuǎn)發(fā)給協(xié)作機械臂。

4）協(xié)作機械臂：該模塊作為執(zhí)行單元，在接收PLC客戶端處理后的信息后，驅(qū)動伺服傳送帶和空壓機運行相對應的運動路線，完成精確分揀物品的任務。

3系統(tǒng)硬件設計

1）人工智能相機及光學鏡頭

人工智能相機是圖像采集單元的核心組成部分之一，相機的成像質(zhì)量能夠直接影響到后續(xù)的圖像處理結(jié)果。根據(jù)相機內(nèi)置的圖像傳感器類型。人工智能相機型號的選擇要根據(jù)具體需求來確定，考慮的參數(shù)包括分辨率、數(shù)據(jù)傳輸速率等。相機分辨率表示相機成像平面上的像素總個數(shù)，分辨率越高，則相機捕獲的圖像質(zhì)量越高也越清晰，成像效果肯定也越好，但是相對應的圖像占有的存儲空間也越大，相機的數(shù)據(jù)傳輸速率要求也越高。

系統(tǒng)根據(jù)視覺分揀系統(tǒng)工作范圍和物品定位精度等項目要求，選擇使用?？低暤腗V-CE200-10GM 型人工智能相機，該相機基于千兆以太網(wǎng)通信協(xié)議傳輸圖像數(shù)據(jù)，具有2000 萬像素分辨率，每秒采集圖像為6 幀，可連續(xù)拍攝，同時可以進行灰度與RGB彩色轉(zhuǎn)換功能，是一款功能非常良好的相機。在視覺軟件DobotVisionStudio 4.1.2中編寫好對應程序以及參數(shù)后，就可以連接相機進行相關(guān)拍攝。該款相機的具體參數(shù)如表1所示。

2）分揀機械臂

根據(jù)人工智能機械臂的運動形式分為笛卡爾坐標型機械臂與直角關(guān)節(jié)坐標型。直角坐標型機械臂能在X 軸、Y 軸與Z 軸上平穩(wěn)移動不會發(fā)生跳動，且這三個軸上的運動是相互獨立的[3]。直角坐標型機械臂主要通過三個軸上的線性運動來完成作業(yè)，其具有控制操作簡單、穩(wěn)定性高、工作精度高等優(yōu)點，因此本課題選用的是直角坐標型模式。

相比笛卡爾坐標型，直角坐標型機械臂具有較低的構(gòu)造成本，適用于開發(fā)低成本項目，因此，本課題選擇使用的也是直角坐標型機械臂作為視覺分揀系統(tǒng)中的分揀機械臂，直角坐標型機械臂的模型圖如圖2 所示。

3）傳送帶

本系統(tǒng)使用的傳送帶為皮質(zhì)傳送帶，可進行正反轉(zhuǎn)。系統(tǒng)運行過程中傳送帶的速度和時間可以在PLC編程里面進行適當調(diào)節(jié)。傳送帶上配備了編碼器，可以檢測傳送帶的運行速度并把數(shù)據(jù)傳輸?shù)焦た貦C上。

4 機器視覺分揀系統(tǒng)的設計總方案

4.1 硬件平臺搭建

本文設計的分揀系統(tǒng)硬件由M1坐標型機械臂、人工智能相機MVS、KOWA 的LM25JCM-S 型光學鏡頭、工控機、達爾拓的低音真空泵、真空吸盤、PLC傳送帶、伺服驅(qū)動器等組成，其中，人工智能相機與光學鏡頭被安裝在直角坐標型機械臂本體以外的固定支架上，位于傳送帶上方，在傳送帶和相機之間可搭建條形光源作為外設光源。

而相機標定是為了獲得各個坐標系之間的現(xiàn)實關(guān)系與邏輯關(guān)系，從而將圖像中的某個點轉(zhuǎn)換到三維幾何空間的某個點，形成一個正確的標定轉(zhuǎn)換通道。在相機標定過程就是對世界坐標系、相機坐標系、圖像坐標系和像素坐標系進行坐標變換[4]，實現(xiàn)現(xiàn)實坐標系與M1機械臂之間的標定轉(zhuǎn)換。

1）像素坐標系

假設以圖像平面的左上角頂點為原點，（u0，v0）表示其坐標值。相機采集的圖像首先是形成標準電信號的形式，然后再通過A/D模數(shù)轉(zhuǎn)換器實現(xiàn)信號轉(zhuǎn)換。每幅圖像以MxN的數(shù)組形式作為存儲，像素在圖像中表現(xiàn)為M行N列的點，該點的幅值即為灰度值。

2）圖像坐標系

同理其中圖像平面與光軸的交點為坐標原點O/Z 軸和7軸分別平行于圖像平面的兩條垂直邊，用（x，y） 表示其坐標值，用來反映像素點空間位置信息，圖像坐標系是用物理單位（例如：毫米）表示像素在圖像中的位置。

在獲取到所有的點位之后就可以生成相對應的標定文件，用于實際的空間坐標與機械臂的邏輯坐標進行轉(zhuǎn)換，從而完成接下來M1機械臂的智能判定。

4.2系統(tǒng)工作流程

視覺分揀系統(tǒng)的工作流程如下：

首先通過登錄百度云智能語音創(chuàng)建并獲取上面的BaiduAPP_ID、BaiduAPI_KEY、SECRET_KEY 三種密鑰，而后開始進行語音人臉驗證、人臉身份信息識別通過后開始下發(fā)語音指令，M1機械臂收到指令將物料臺上面的物料抓取放到物料檢測區(qū)域給人工智能相機發(fā)送物料到達的信號，這時候相機開始捕獲傳送帶上的待分揀物品圖像并把物品圖像傳輸?shù)焦た貦CPLC，工控機通過視覺定位算法對物品進行分類與定位并生成特征點，等匹配到相對應的模板后，再將所得的物品信息傳輸?shù)椒謷C械臂模塊；分揀機械臂根據(jù)先前做好的標定轉(zhuǎn)換文件得到抓取點坐標去抓取物品，最后根據(jù)物品種類信息將該物品放置到對應的作業(yè)區(qū)域。

5系統(tǒng)分揀實驗與結(jié)果

待分揀的塑料物品在傳送帶上移動。物品先進入相機的圖像采集范圍，系統(tǒng)采集物品的圖像并把圖像傳輸?shù)饺斯ぶ悄芟到y(tǒng)。人工智能系統(tǒng)通過視覺算法對采集的物品圖像進行處理，得到物品對應的種類信息和機械臂待抓取點坐標信息。分揀機械臂根據(jù)待抓取點坐標信息對物品進行抓取，最后根據(jù)物品對應的種類信息，將其放置到對應的作業(yè)區(qū)域[5]。并將該物品的信息返回給語音人臉客戶端進行登記，分揀開始后可以分兩種運行模式，分別是手動停止與自動停止。

1）手動停止

在整個系統(tǒng)運行時，可以使用語音進行手動停止，也可以按壓系統(tǒng)平臺上的紅色急停鍵，當系統(tǒng)停止后，所有系統(tǒng)硬件都會停止動作，開啟安全鎖并等待下一步指令。

2）自動停止

該人工智能集成系統(tǒng)可進行單次運行和連續(xù)運行，單次運行命令下，所有的模塊只會執(zhí)行一次操作，而后回到初始化狀態(tài)等待下一步指令，連續(xù)運行下PLC的物料倉會和協(xié)作機械臂進行互聯(lián)，直到物料倉庫內(nèi)所有物料全部被提取完才會停止，但此時系統(tǒng)不會回到初始化狀態(tài)，只有當所執(zhí)行的命令里所有的物料抓取完畢才會回到初始化狀態(tài)。

6 結(jié)束語

本文基于機器視覺的人工智能分揀系統(tǒng)的結(jié)構(gòu)進行設計制作，其實驗樣機系統(tǒng)的功能已經(jīng)基本實現(xiàn)，其機械臂分揀能力較強，運動較為靈活，具有三種運動方式，在不同形態(tài)和不同環(huán)境中都可以準確抓取，拓展其在人工智能工業(yè)的應用功能，在傳統(tǒng)工業(yè)的技術(shù)基礎(chǔ)上結(jié)合現(xiàn)代人工智能技術(shù)讓該系統(tǒng)在現(xiàn)在的輕工業(yè)市場上潛力巨大，并且，根據(jù)國內(nèi)的市場需求，研究基于機器視覺的物品分揀系統(tǒng)，可以大大節(jié)省人力、物力等資源，基本滿足市場需求，具有一定的應用價值和現(xiàn)實意義。