基于越疆機械臂的谷物識別分揀系統(tǒng)

［摘 要］自黨的“十四五”規(guī)劃以來，堅持農(nóng)業(yè)農(nóng)村優(yōu)先發(fā)展，加快農(nóng)業(yè)農(nóng)村現(xiàn)代化，成為了全面建設(shè)社會主義現(xiàn)代化國家的重大任務(wù)。文章基于越疆機械臂，借助機器視覺，設(shè)計了谷物識別分揀系統(tǒng)，旨在提高農(nóng)業(yè)生產(chǎn)的效率和質(zhì)量。本系統(tǒng)通過相機對谷物進行實時拍攝，在Pycharm 中進行識別，機械臂根據(jù)識別結(jié)果對谷物進行分類擺放。模擬試驗結(jié)果表明，該系統(tǒng)能夠快速識別并準確分類擺放，可有效提高生產(chǎn)效率和農(nóng)業(yè)產(chǎn)值。

［關(guān)鍵詞］農(nóng)業(yè)農(nóng)村現(xiàn)代化；機械臂；機器視覺；Pycharm ；快速識別

［中圖分類號］TP249 ［文獻標志碼］A ［文章編號］2095–6487（2024）04–0043–03

農(nóng)業(yè)產(chǎn)業(yè)生產(chǎn)經(jīng)營過程中所表現(xiàn)出來的社會價值非常明顯，但根據(jù)目前現(xiàn)實情況，我國現(xiàn)代農(nóng)業(yè)發(fā)展仍需強化自動化農(nóng)業(yè)機械產(chǎn)品的研發(fā)和應(yīng)用。機械臂技術(shù)作為機器人技術(shù)的重要分支，在諸多領(lǐng)域都得到了較多的研究與應(yīng)用，包括在農(nóng)業(yè)領(lǐng)域中被日益重視，其對提高農(nóng)業(yè)生產(chǎn)的機械化與自動化具有顯著的作用。國內(nèi)企業(yè)在對機械臂的創(chuàng)新改進中加入了人工智能、智能識別等，使機械臂的智能化程度不斷提高。未來人工智能機械臂的使用將成為趨勢。本項目使用的機械臂是由越疆公司研發(fā)的多功能輕小型的智能機械臂，其最大的優(yōu)點在于智能化程度較高，可塑性較強且精度較高，能夠完成比較精密的工作，而且在完成大規(guī)模集成化的生產(chǎn)時有著獨特的優(yōu)勢。

機器視覺技術(shù)應(yīng)用于農(nóng)產(chǎn)品生產(chǎn)領(lǐng)域開始于20世紀70 年代的日本和歐洲國家，其主要采用機器視覺技術(shù)對農(nóng)產(chǎn)品進行檢測和分類，如對蘋果和西紅柿等果蔬的尺寸進行測量，對其表面損傷進行檢測及分級。由于機器視覺技術(shù)具有非接觸性、速度快和可重復獲取結(jié)果等一系列優(yōu)勢，因此本項目在分揀過程中從裝有谷物的包裝箱中提取有意義的識別性特征。國內(nèi)外研究資料顯示，針對農(nóng)產(chǎn)品的圖像分割可從紋理、顏色及形狀等方面進行處理，可采用其中一個特征或綜合多個特征進行分割。

近年來，機器人抓取技術(shù)在農(nóng)業(yè)生產(chǎn)中扮演著越來越重要的角色，但機械臂的智能化使用仍然存在瓶頸期。文章旨在通過越疆公司提供的智能機械臂和其他輔助設(shè)備，搭建一個通過機器視覺識別綠豆、紅豆、黃豆和黑豆，并使機械臂抓取分類擺放的系統(tǒng)，模擬物體上下料、搬運、分類、碼垛等使用場景。

1 系統(tǒng)概況

基于越疆機械臂的谷物識別分揀系統(tǒng)是由編程腳本控制、位置檢測和啟動技術(shù)于一體的完整的綜合的控制系統(tǒng)。該系統(tǒng)包括了軟件部分和機械部分。軟件部分運用Python 語言控制整個系統(tǒng)；機械部分包括兩臺智能機械臂、光電傳感器、迷你傳送帶、?？低曄鄼C，同時配備了機械抓手、吸盤等輔助配件。

該系統(tǒng)工作原理如下：所有設(shè)備初始化完成后，運用TCPdfbe08b58ff8e683c81ad24fd093df06/IP 協(xié)議，創(chuàng)建服務(wù)端與客戶端。分揀區(qū)共有紅豆、黃豆、綠豆和黑豆4 種豆類谷物包裝盒（以下統(tǒng)稱為“物料”），每種豆類各有4 盒，共計16 盒。按下啟動按鈕，上料機器人控制機械臂開始逐個抓取待分揀區(qū)中的物料，并將物料放置在迷你傳輸帶上，0.5 s 后上升歸位到指定位置。傳送帶運行，將物料傳送至光電傳感器處后停止，并向識別后臺（Pycharm）發(fā)送物料到達信號。識別后臺收到信號后啟動相機，對物料進行顏色識別。識別結(jié)果以字符串的形式由TCP 服務(wù)器發(fā)送給分揀機器人，分揀機器人控制機械臂運動至指定位置顏色區(qū)域?qū)ξ锪线M行放置歸類或者堆疊。完成分類后歸位到指定位置。如此循環(huán)，直至所有物料完成分揀。

其中，為盡可能提升上料效率，設(shè)置光電傳感器處有物料遮擋時僅再搬運一個物料；當無遮擋時，此時上一物料已被下料機器人進行分類碼垛，經(jīng)傳送帶運行后下一物料到達，同時上料機器人及時補充下一物料到固定傳送帶位置處，即可實現(xiàn)上料機器人的運行效率提升。

2 系統(tǒng)硬件基礎(chǔ)

本項目是在越疆公司提供的Dobot Studio 軟件平臺環(huán)境下實現(xiàn)對機械臂的控制。該平臺可完全滿足自動化控制需要，具有完善的指令控制系統(tǒng)，功能齊全的控制方式，豐富的可擴展編程模塊等。此外，性價比高也是谷物識別分揀系統(tǒng)系統(tǒng)采用其的重要原因。

本項目使用的DOBOT Magician 是越疆機器人自主研發(fā)的全球首款桌面級四軸智能機器人，具備3D打印、激光雕刻、寫字畫畫等多種功能，預留了13個拓展接口支持二次開發(fā)。使用DOBOT Magician 智能機器人，可展開機器人系統(tǒng)認識、機器人D-H 模型認識、機器人基本運動控制，通過軟件編程并結(jié)合硬件拓展開發(fā)更多的應(yīng)用場景。

本項目相機采用?？低曂瞥龅腗V-CS050-10GC 相機，該相機為500 萬像素網(wǎng)口面陣相機，搭載全新硬件平臺，優(yōu)化邏輯資源，大幅降低功耗。相機植入CCM 功能，圖像質(zhì)量優(yōu)異，同時配備了千兆網(wǎng)接口，在無中繼情況下，最大傳輸距離可達到100 m。

3 系統(tǒng)軟件基礎(chǔ)

3.1 計算機視覺

本項目對谷物識別采用了OpenCV 和ROI 獲取。當分揀機器人接收到光電傳感器信號時，利用Python打開相機，對處于傳送帶處的物料進行拍攝，獲取僅含有物料的區(qū)域，根據(jù)4 種谷物的顏色不同來區(qū)分4種谷物類型。

ROI（region of interest），感興趣區(qū)域。在圖像處理領(lǐng)域，感興趣區(qū)域是從圖像中選擇的一個圖像區(qū)域，這個區(qū)域是圖像分析所關(guān)注的重點。由于相機拍攝角度較廣，拍攝到的圖像結(jié)果中包含了除物料以外其他物體，對于通過顏色來區(qū)分谷物的方法來說，增加了識別結(jié)果錯誤的概率。由于每次物料在光電傳感器前停止的位置相同，因此只需對拍攝結(jié)果的特定區(qū)域進行截取，得到僅包含物料的圖像。

本項目根據(jù)4 種谷物顏色不同來進行區(qū)分4 種谷物。通過顏色閾值將RGB 圖像轉(zhuǎn)換為HSV 圖像。由于RGB 顏色空間利用3 個顏色分量的線性組合表示顏色且3 個分量都受亮度信息的影響，無法直觀的表示顏色。HSV 顏色空間是從RGB 立方體模型演化而來，是一種將RGB 顏色空間的點“倒”在圓錐體的表示方法，這種方法按照色調(diào)、飽和度和明度3個獨立的屬性建立顏色空間模型。在圓錐的頂點處V=0，H 和S 無定義，表示黑色。圓錐的頂面中心點處S=0，V=1，H 無定義，表示白色。從頂點到中心點即是亮度逐漸變亮的灰色，表示具有不同灰色的灰度。而從圓錐頂點向四處擴散即S 逐漸變大的過程，表示顏色的純度越高，色彩越鮮艷。而H 色調(diào)取值范圍0° ～360°，以紅色為0°基準點，按照逆時針的方式，綠色為120°，藍色為240°。

通過cv2.cvtColor 函數(shù)將RGB 圖像轉(zhuǎn)換為HSV圖像，使用cv2.inRange 函數(shù)分別設(shè)置紅色、黑色、黃色和綠色的閾值范圍，然后統(tǒng)計圖像中紅色、黑色、黃色和綠色像素的數(shù)量。使用np.argmax 函數(shù)找到最大值的索引。在實際應(yīng)用中存在綠豆識別錯為黃豆問題，對此，本項目進行了改進。根據(jù)黃豆和綠豆的形態(tài)不同，黃豆顆粒要比綠豆顆粒更圓潤飽滿，因此在處理黃豆與綠豆圖片時，先將圖片轉(zhuǎn)換為灰度圖像，然后使用高斯濾波器對圖像進行去噪處理，最后使用霍夫圓變換檢測圖像中的圓形。如果檢測到圓形，則返回"yellow" ；如果沒有檢測到圓形，則返回"green"。由此改進，極大地提高了谷物識別的正確率，使得該識別系統(tǒng)更加完善。

3.2 各應(yīng)用部分通信

傳送帶和光電傳感器與上料機器人為USB 串口通信，上料機器人可直接控制傳送帶的啟動和停止，也可以快速接收到光電傳感器傳來的信號。上料機器人、識別后臺和分揀機器人之間為TCP 通信，上料機器人作為客戶端向識別后臺服務(wù)端發(fā)送光電傳感器信號，再經(jīng)由服務(wù)端轉(zhuǎn)發(fā)給分揀機器人，讓分揀機器人抓取物料并歸置到相應(yīng)區(qū)域。

本項目采用TCP/IP 協(xié)議實現(xiàn)機器人程控和識別后臺的通信。系統(tǒng)測試中先采用兩個網(wǎng)絡(luò)調(diào)試助手模擬機器人程控軟件（Dobotstudio）與識別后臺通信。驗證其可行性后，配置機器人程控軟件與識別后臺通信。經(jīng)測試，本通信系統(tǒng)的通信鏈路信息傳輸速率及傳輸準確率高且鏈路延時低，具有高速率、低延時、高可靠性的特點。

4 系統(tǒng)測試及結(jié)果

在測試基于越疆機械臂的谷物識別分揀系統(tǒng)中，本項目預備了物料分為紅豆、綠豆、黃豆和黑豆4 類，有紅色、綠色、黃色、藍色4 個分類碼放區(qū)域。紅色區(qū)域放置紅豆，綠色區(qū)域放置綠豆，黃色區(qū)域放置黃豆，藍色區(qū)域放置黑豆。待分揀物料上下兩層，每層8 個。經(jīng)過分揀，4 種谷物全部分揀歸置到相應(yīng)區(qū)域，以每層2 個，共2 層的順序進行碼垛。

基于越疆機械臂的谷物識別分揀系統(tǒng)試驗測試結(jié)果見表1，該模擬系統(tǒng)上料、識別、分類、碼放結(jié)果準確率可達到100%，碼放后的物料均在規(guī)定的區(qū)域內(nèi)。該模擬系統(tǒng)準確率、總時長、擺放規(guī)范性均達到了項目預期，且系統(tǒng)運行過程中機械臂未出現(xiàn)超出運行量程的情況，證明了該系統(tǒng)的可行性。

5 結(jié)束語

基于越疆機械臂的谷物識別分揀系統(tǒng)具有高效的工作效率、準確的定位精度、超強的適應(yīng)能力，實現(xiàn)了機械化和自動化的有效結(jié)合。該系統(tǒng)運行穩(wěn)定，可靠性高，維修方便，具有廣泛的應(yīng)用前景。當前，在解決農(nóng)業(yè)生產(chǎn)的高智能自動化問題方面還存在一定的瓶頸，該項目最終目的就是要解決這一問題，彌補市場缺口，解放勞動力，依托機械臂和其他輔助配件的共同使用改進目前農(nóng)產(chǎn)品工廠的流水線生產(chǎn)，提高農(nóng)業(yè)生產(chǎn)的利潤和價值。

參考文獻

[1] 焦永紅，李俊. 農(nóng)業(yè)機械自動化控制技術(shù)分析[J]. 時代汽車，2023（23）：22-24.

[2] 董子揚. 基于機器視覺與并聯(lián)機械臂的獼猴桃采摘技術(shù)及裝置研究[D]. 咸陽：西北農(nóng)林科技大學，2023.

[3] 李超，陳佳，王瑞娟，等. 基于越疆魔術(shù)師機械臂的流水線設(shè)計與應(yīng)用[J]. 科學技術(shù)創(chuàng)新，2020（25）：96-98.

[4] 陳艷. 基于機器視覺的家禽機械手掏膛及可食用內(nèi)臟分揀技術(shù)研究[D]. 武漢：華中農(nóng)業(yè)大學，2020.

[5] 劉翠，劉光杰，王政軍，等. 基于HSV 的多特征融合目標跟蹤算法[J]. 計算機仿真，2023，40（1）：195-199，358.