基于樹莓派3B+與OpenCV的紅棗外觀品質(zhì)自動(dòng)分揀系統(tǒng)的研究

徐晶晶 周旭 孔耀

摘 ?要：以樹莓派3B+為控制器，利用Python語言結(jié)合OpenCV機(jī)器識(shí)別視覺庫對(duì)軟件程序進(jìn)行編寫，結(jié)合檢測(cè)系統(tǒng)、自動(dòng)分揀系統(tǒng)，針對(duì)當(dāng)前紅棗分揀速度慢、精度低、勞動(dòng)強(qiáng)度大等問題，從紅棗的大小、顏色、裂痕、病害等方面對(duì)紅棗進(jìn)行分析，設(shè)計(jì)了一種基于樹莓派3B+與OpenCV的紅棗外觀品質(zhì)自動(dòng)分揀系統(tǒng)，對(duì)腐爛、斑點(diǎn)和表皮缺損等問題的紅棗進(jìn)行篩選，具有速度快、精度高、高效率分揀等特點(diǎn)。

關(guān)鍵詞：紅棗品質(zhì)；視覺識(shí)別；樹莓派；OpenCV

中圖分類號(hào)：TP391.4 ? 文獻(xiàn)標(biāo)識(shí)碼：A ? 文章編號(hào)：2096-4706（2023）16-0138-05

Research on Automatic Sorting Device of Red Date Appearance Quality Based on Raspberry Pi 3B+ and OpenCV

XU Jingjing， ZHOU Xu， KONG Yao

（Shandong Huayu University of Technology， Dezhou ?253034， China）

Abstract： This paper takes Raspberry Pi 3B+ as the controller， uses Python language and combines with OpenCV machine recognition vision library to write software programs. It combines with detection system and automatic sorting system， aiming at the problems of slow speed， low precision and high labor intensity of current red date sorting， this paper analyzes the size， color， cracks and diseases of red dates， and designs an automatic sorting system based on Raspberry Pi 3B+ and OpenCV to screen red dates with pulp rot， black spots and skin defects， which has the characteristics of fast speed， high precision and high efficiency of sorting.

Keywords： quality of red date; visual recognition; Raspberry Pi; OpenCV

0 ?引 ?言

紅棗是中國(guó)特有的優(yōu)良的特色品種，在我國(guó)已有三千多年的種植歷史，它的食用、營(yíng)養(yǎng)、藥用和經(jīng)濟(jì)效益都很高。紅棗的品種有很多，不同品種的形狀、皮質(zhì)、大小各不相同，總體上紅棗皮薄易損傷，果形大小介于中等果與小果之間，而且小棗的分揀難度大、精度低，易形成二次污染。目前的小棗分揀方式主要是人工，其消耗時(shí)間長(zhǎng)，分揀效率低，不利于紅棗加工業(yè)的發(fā)展。為此，設(shè)計(jì)了一種紅棗自動(dòng)分揀系統(tǒng)，它是基于視覺識(shí)別紅棗的外觀，進(jìn)行質(zhì)量分揀，該設(shè)備分揀快速、效率高、精確度高、平穩(wěn)靠譜。

1 ?國(guó)內(nèi)外的研究和發(fā)展動(dòng)態(tài)

目前國(guó)內(nèi)紅棗分級(jí)方式主要有：人工分級(jí)、機(jī)械化分級(jí)等，相較于人工分級(jí)，機(jī)械化分級(jí)更為準(zhǔn)確。

自動(dòng)分揀系統(tǒng)在物料搬運(yùn)領(lǐng)域扮演著至關(guān)重要的角色，它可以幫助企業(yè)更有效地完成各種產(chǎn)品的配送，并且可以有效地提高物料的利用率。這種系統(tǒng)包含一系列的部件，如供件、輸送、控制、分類等，可以實(shí)現(xiàn)對(duì)物料的快速、準(zhǔn)確的分類與整合。

根據(jù)其結(jié)構(gòu)劃分，常見的自動(dòng)分揀機(jī)可以分為滑塊式、轉(zhuǎn)輪式、交叉帶式、翻板式、擺臂式、浮出式、托盤式和懸掛式等多種類型，這些分揀機(jī)可以有效地提高物品的分類效率，從而滿足不同的生產(chǎn)需求。近年來，AGV分揀系統(tǒng)的柔性化水平顯著提升，取得了巨大的進(jìn)步。早期，國(guó)外的分類方式大多依賴于CCD相機(jī)，通過無損檢測(cè)和計(jì)算機(jī)處理來精確識(shí)別各種水果。如今，機(jī)器視覺技術(shù)已經(jīng)成為全球范圍內(nèi)最受關(guān)注的農(nóng)產(chǎn)品內(nèi)部品質(zhì)檢測(cè)領(lǐng)域。

機(jī)器視覺能識(shí)別表面形態(tài)、顏色和紋理等特征，可以對(duì)紅棗進(jìn)行更為細(xì)致的全面分析，將成為主要分級(jí)方式。

2 ?紅棗外觀品質(zhì)分揀系統(tǒng)具體分析

2.1 ?背景分析

中國(guó)是棗的原產(chǎn)國(guó)，也是世界上最大的紅棗生產(chǎn)國(guó)與消費(fèi)國(guó)，近年來，我國(guó)紅棗產(chǎn)量快速增長(zhǎng)，近20年增長(zhǎng)4.6倍。2000年我國(guó)紅棗種植產(chǎn)量為131萬噸，2018年達(dá)到736萬噸，年均增速為10.1%。紅棗在中國(guó)傳統(tǒng)文化中具有重要地位，也是我國(guó)加入世貿(mào)組織后最具競(jìng)爭(zhēng)力的農(nóng)產(chǎn)品。

紅棗的品質(zhì)分類是一個(gè)至關(guān)重要的步驟，它間接影響棗農(nóng)的收入。目前，中國(guó)的紅棗分揀方式大致可分為手工揀選和機(jī)械篩選。手工揀選勞動(dòng)強(qiáng)度大、效率低、準(zhǔn)確性差、衛(wèi)生質(zhì)量差；而目前市場(chǎng)上的紅棗機(jī)械揀選則智能化程度較低，無法滿足棗農(nóng)的需求。由于精度低、分選速度緩慢，因此，提升紅棗的品質(zhì)分類水平，提升棗農(nóng)的收入水平，已經(jīng)成為當(dāng)務(wù)之急。

通過以上問題的研究發(fā)現(xiàn)，基于樹莓派和OpenCV的紅棗品質(zhì)智能化分選技術(shù)，具有極高的精確度、迅速性以及更加廣泛的市場(chǎng)應(yīng)用潛力，可以為消費(fèi)者帶來更多的便利。

2.2 ?研究意義

“助推紅棗產(chǎn)業(yè)振興，繪就千年小棗畫卷”。樂陵市位于山東德州，擁有悠久的紅棗種植歷史，并被列入“中國(guó)金絲小棗之鄉(xiāng)”。紅棗皮薄而肌豐，核小而肉厚，隨著現(xiàn)代農(nóng)業(yè)的發(fā)展，全國(guó)紅棗市場(chǎng)也發(fā)生了巨大變化。在2015年，樂陵市委、市政府把棗產(chǎn)業(yè)振興擺在突出位置，對(duì)生產(chǎn)方式進(jìn)行改進(jìn)。隨著新技術(shù)的不斷發(fā)展，“保不住棗樹、種不出好棗、賣不出好價(jià)”的局面已經(jīng)被徹底打破，為金絲小棗品牌帶來了全新的時(shí)代意義。

為此，對(duì)基于機(jī)器視覺的紅棗外觀品質(zhì)自動(dòng)分選系統(tǒng)進(jìn)行研究，將自己所學(xué)知識(shí)運(yùn)用到生活中，進(jìn)行實(shí)踐，希望為金絲小棗的發(fā)展貢獻(xiàn)一份力量，為我國(guó)紅棗行業(yè)的發(fā)展做出貢獻(xiàn)，助推工業(yè)發(fā)展。

3 ?研究?jī)?nèi)容

3.1 ?控制器的選擇

經(jīng)過對(duì)比，選擇采用樹莓派3B+（Raspberry Pi 3 Model B+）為主控板，樹莓派3B+是樹莓派3系列中的最新產(chǎn)品，擁有運(yùn)行在1.4 GHz的處理器，雙頻2.4 GHz和5 GHz無線Wi-Fi，藍(lán)牙4.2/BLE，更快的以太網(wǎng)和64位四核處理器。與常見的51單片機(jī)和STM32等微控制器相比，不僅可以完成相同的IO引腳控制，還可以完成更復(fù)雜的任務(wù)管理與調(diào)度，能夠支持更上層應(yīng)用的開發(fā)。樹莓派體積小，成本低，其強(qiáng)大的芯片性能更適合做運(yùn)算，可以實(shí)現(xiàn)一些圖像采集、處理、深度學(xué)習(xí)和識(shí)別等功能，樹莓派開發(fā)板如圖1所示。

紅棗外觀品質(zhì)自動(dòng)分揀系統(tǒng)采用Raspbian 4.9為軟件環(huán)境操作系統(tǒng)，樹莓派3B+為控制器，Python為編程語言，機(jī)器視覺庫OpenCV3圖像用戶界面庫PyQt5為開發(fā)工具，最終完成對(duì)紅棗的檢測(cè)、分揀。

3.2 ?工作流程

本研究的紅棗外觀品質(zhì)自動(dòng)分揀系統(tǒng)主要由上料機(jī)構(gòu)、檢測(cè)機(jī)構(gòu)和分揀機(jī)構(gòu)等組成。監(jiān)測(cè)機(jī)構(gòu)主要是通過圖像采集設(shè)備進(jìn)行處理，分揀機(jī)構(gòu)主要是通過圖片分析處理，對(duì)紅棗外觀品質(zhì)做出分級(jí)，利用氣缸篩選裝置對(duì)紅棗等級(jí)進(jìn)行篩選。工作流程圖如圖2所示。

當(dāng)紅棗通過上料系統(tǒng)到達(dá)圖像采集設(shè)備后，工業(yè)相機(jī)接收到信號(hào)后對(duì)紅棗圖像進(jìn)行拍攝，將圖像上傳至計(jì)算機(jī)，完成紅棗圖像的采集。隨后紅棗通過傳送帶送達(dá)分揀平臺(tái)，通過圖片處理與分析，對(duì)紅棗進(jìn)行顏色識(shí)別、品質(zhì)判斷，然后將紅棗相關(guān)信息傳送至計(jì)算機(jī)，隨后噴氣裝置啟動(dòng)，將表皮受損、腐爛和有斑點(diǎn)的紅棗篩選出來，無缺陷的紅棗將通過傳送帶在篩選平臺(tái)末端傳送出，完成紅棗的分級(jí)分揀。

本研究利用樹莓派3B+與OpenCV結(jié)合，提供了一種基于機(jī)器視覺的紅棗分揀系統(tǒng)，采用高清工業(yè)相機(jī)拍攝，實(shí)時(shí)采集傳送帶上的紅棗圖像，完成紅棗圖像的采集處理與分析，通過預(yù)先設(shè)定的分級(jí)標(biāo)準(zhǔn)對(duì)紅棗外觀品質(zhì)進(jìn)行分級(jí)，具有結(jié)構(gòu)簡(jiǎn)單、操作方便、易實(shí)現(xiàn)、分級(jí)精確的優(yōu)點(diǎn)，可高速度、高效率、低誤差準(zhǔn)確地完成對(duì)紅棗的分揀。

4 ?系統(tǒng)設(shè)計(jì)

4.1 ?裝置整體設(shè)計(jì)

本研究的紅棗外觀品質(zhì)自動(dòng)分揀裝置主要由紅棗上料裝置、紅棗圖像采集分析監(jiān)測(cè)裝置、紅棗分級(jí)分揀裝置等組成。紅棗外觀品質(zhì)自動(dòng)分揀系統(tǒng)整體架構(gòu)圖如圖3所示。

圖3 ?紅棗外觀品質(zhì)自動(dòng)分揀系統(tǒng)整體架構(gòu)圖

紅棗外觀品質(zhì)自動(dòng)分揀系統(tǒng)包括上料裝置、圖像采集裝置、紅棗分揀裝置。其中上料裝置采用單棗單排輸送，圖像采集系統(tǒng)主要利用工業(yè)精工相機(jī)對(duì)圖像進(jìn)行采集、處理與分析，紅棗分揀裝置與上料裝置通過圖片采集系統(tǒng)進(jìn)行連接，分揀平臺(tái)上裝有吹氣裝置，接收到圖片采集系統(tǒng)分析后發(fā)送的信號(hào)，將漿爛、黑斑和表皮缺損等有品質(zhì)缺陷的紅棗篩選出來，將合格的紅棗在傳送帶尾端傳出。本發(fā)明通過視覺識(shí)別技術(shù)實(shí)現(xiàn)圖像處理與分析，實(shí)現(xiàn)了軟硬件一體化，達(dá)到紅棗篩選的平穩(wěn)、高效和準(zhǔn)確。裝置整體實(shí)物圖如圖4所示。

4.2 ?上料裝置設(shè)計(jì)

上料裝置采用3D打印凹槽形傳送帶進(jìn)行設(shè)計(jì)。上料裝置包括上料皮帶、不銹鋼托輥滾筒、可調(diào)滑塊、導(dǎo)軌，上料皮帶環(huán)繞在不銹鋼托輥滾筒，通過減速電機(jī)控制行進(jìn)。上料部分采用3D打印凹槽支架，每間隔5 cm固定排列一個(gè)3D打印凹槽，根據(jù)紅棗橢圓形狀的不規(guī)則特征，為了防止紅棗掉落，采用波浪形凹槽的上料傳送帶，凹槽深2.5 cm，兩凹槽中心間距為5 cm，恰好可容納一顆紅棗；上料皮帶間的間距為5 cm，為了防止紅棗在上料時(shí)不慎滑落，裝置設(shè)置儲(chǔ)料斗底部與輸送帶緊貼，直接將滑落的紅棗順著輸送帶與斜壁的緊貼處送至儲(chǔ)料斗，等待下一次上料。外部裝有可調(diào)滑塊和導(dǎo)軌，二者配合使用，完成紅棗的上料。上料實(shí)物圖如圖5所示。

4.3 ?檢測(cè)裝置設(shè)計(jì)

根據(jù)對(duì)紅棗的檢測(cè)需求，采用顯微精工XG200S型工業(yè)相機(jī)進(jìn)行監(jiān)測(cè)，這是一款高速數(shù)字相機(jī)，相機(jī)分辨率高、圖像清晰、顏色高度仿真，具有高幀率、高成像等特點(diǎn)。可以根據(jù)不同場(chǎng)合的需求進(jìn)行高速和全速兩種模式的切換，廣泛應(yīng)用于人體特征采集、圖像采集、工業(yè)檢測(cè)、醫(yī)學(xué)監(jiān)測(cè)和視覺識(shí)別等領(lǐng)域。采用XW2812型工業(yè)相機(jī)鏡頭與相機(jī)結(jié)合使用，該鏡頭焦距為2.8～12.0 mm，可實(shí)現(xiàn)手動(dòng)光圈變焦，可進(jìn)行紅外感應(yīng)?？紤]到監(jiān)測(cè)時(shí)的光線問題，加設(shè)LED白光燈泡進(jìn)行補(bǔ)光，確保紅棗圖像采集完整、清晰。當(dāng)紅棗經(jīng)過相機(jī)時(shí)，傳感器接收信號(hào)，工業(yè)相機(jī)進(jìn)行拍攝，對(duì)紅棗圖片進(jìn)行采集，隨后，紅棗隨傳送帶繼續(xù)前進(jìn)，如圖6所示。

4.4 ?圖像處理

裝置采用OpenCV為主要的函數(shù)庫，OpenCV是一種有關(guān)視覺識(shí)別、可以進(jìn)行圖像分析與處理的函數(shù)庫。該函數(shù)庫可以采用C++等多種語言進(jìn)行編寫，可多系統(tǒng)運(yùn)行且運(yùn)行速度快，它包含了各個(gè)領(lǐng)域的500多個(gè)函數(shù)接口，可廣泛應(yīng)用于立體視覺、立體成像、工業(yè)檢測(cè)、圖像處理、監(jiān)控檢測(cè)等多個(gè)領(lǐng)域。由于其處理速度快、精度高，可以實(shí)現(xiàn)對(duì)相機(jī)拍攝圖像的精準(zhǔn)分析與處理，減少紅棗圖像處理分析的誤差。

當(dāng)紅棗通過傳送帶到達(dá)圖像采集設(shè)備時(shí)，圖像采集模塊將會(huì)通過工業(yè)相機(jī)實(shí)時(shí)采集傳送帶上的圖像，圖像經(jīng)預(yù)處理后發(fā)送至特征處理模塊，圖像采集模塊中還設(shè)有光源，保證了所獲圖像的質(zhì)量，在節(jié)約成本的同時(shí)提高了工作效率。特征處理模塊接收到經(jīng)預(yù)處理后的圖像，對(duì)采集到的圖像進(jìn)行處理，將圖像進(jìn)行特征處理，首先通過特征比對(duì)單元確定傳送帶上的紅棗目標(biāo)，然后通過顏色識(shí)別節(jié)點(diǎn)對(duì)圖像中的紅棗進(jìn)行識(shí)別，通過瑕疵檢測(cè)節(jié)點(diǎn)對(duì)圖像中的紅棗進(jìn)行檢測(cè)，最后通過紅棗損傷程度對(duì)紅棗進(jìn)行精確分級(jí)，該模塊不僅可以將傳送帶上的紅棗分揀出來，還可實(shí)現(xiàn)紅棗的精確分級(jí)。特征處理圖像如圖7所示。

4.5 ?分揀裝置設(shè)計(jì)

自動(dòng)分揀裝置的最后一道步驟是自動(dòng)分揀執(zhí)行系統(tǒng)利用相機(jī)對(duì)紅棗外觀質(zhì)量檢測(cè)到的結(jié)果進(jìn)行分析與相應(yīng)的分揀。分揀裝置實(shí)物圖如圖8所示。

分揀平臺(tái)通過750 W無刷減速電機(jī)進(jìn)行驅(qū)動(dòng)，平臺(tái)由底座、轉(zhuǎn)動(dòng)輥?zhàn)印魉推?、出料箱、齒輪電磁閥和氣缸組成，傳送皮帶纏繞在轉(zhuǎn)動(dòng)輥?zhàn)由希隽舷浞謩e篩出表皮受損、腐爛和有斑點(diǎn)的紅棗電磁閥改變氣缸的推出和收回。

當(dāng)紅棗傳送至分揀平臺(tái)后，計(jì)算機(jī)分析采集到的圖像后做出判斷，將紅棗相關(guān)信息傳送至計(jì)算機(jī)，隨后分揀裝置啟動(dòng)，噴氣篩選裝置設(shè)有4路分揀，分別設(shè)有4個(gè)出料箱與之對(duì)應(yīng)，4個(gè)小型氣缸分別對(duì)應(yīng)著出料口，與電磁閥相連接，電磁閥通過電磁閥的通斷改變氣缸的位置，控制氣缸推出和收回，將傳送帶上不同類型的紅棗推送至對(duì)應(yīng)的出料口，無缺陷紅棗隨傳送帶到達(dá)末端的出料箱，最終篩選出不同品質(zhì)的紅棗。

5 ?結(jié) ?論

隨著我國(guó)社會(huì)的不斷發(fā)展，科技逐漸步入人們的生活。生活中的許多設(shè)備更加自動(dòng)化，給人們的生活帶來了很大的便利。近幾年來，人們對(duì)養(yǎng)生越來越重視，紅棗及其相關(guān)產(chǎn)品走在市場(chǎng)前列，且我國(guó)是紅棗生產(chǎn)大國(guó)，紅棗絕大部分來源于農(nóng)村集體種植，質(zhì)量參差不齊，采摘和運(yùn)輸過程中也有不同程度的損傷，所以紅棗分揀是很重要的一步，是紅棗進(jìn)入流通區(qū)域的重要環(huán)節(jié)，是實(shí)現(xiàn)紅棗標(biāo)準(zhǔn)化的基礎(chǔ)，直接關(guān)系到紅棗的生產(chǎn)效益。

本文設(shè)計(jì)的紅棗外觀品質(zhì)的分選裝置集上料、監(jiān)測(cè)、分揀于一體，可通過對(duì)紅棗圖像的采集處理與分析完成紅棗品質(zhì)的分揀，可以更為便捷地代替人工，減少成本，提高效率。文中所研究的基于樹莓派和OpenCV的紅棗外觀品質(zhì)智能化分選技術(shù)，具有極高的精確度、迅速性，以及更加廣泛的市場(chǎng)應(yīng)用潛力，可以為消費(fèi)者帶來更多的便利?，F(xiàn)階段的紅棗產(chǎn)業(yè)也不應(yīng)局限于人工分揀，于此，在一些以紅棗產(chǎn)業(yè)為主的地區(qū)，紅棗外觀品質(zhì)的分選裝置將會(huì)被大量投入使用，并進(jìn)行下一步的創(chuàng)新。以期在分揀研究上做出貢獻(xiàn)，為我國(guó)紅棗行業(yè)的發(fā)展做出貢獻(xiàn)，助推我國(guó)工業(yè)發(fā)展。

參考文獻(xiàn)：

[1] 王鐵偉，趙瑤，孫宇馨，等.基于數(shù)據(jù)平衡深度學(xué)習(xí)的不同成熟度冬棗識(shí)別 [J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51（S1）：457-463+492.

[2] 白依凡，賀曉光，何建國(guó)，等.紅棗自動(dòng)分級(jí)機(jī)的研究進(jìn)展 [J].寧夏工程技術(shù)，2016，15（1）：88-92.

[3] 竇文卿，柴春祥，魯曉翔.無損檢測(cè)技術(shù)在水果品質(zhì)評(píng)價(jià)中應(yīng)用的研究進(jìn)展 [J].食品工業(yè)科技，2020，41（24）：354-359.

[4] 鄧立苗，杜宏偉，徐艷，等.基于機(jī)器視覺的馬鈴薯智能分選方法與實(shí)現(xiàn) [J].中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2015，36（5）：145-150.

[5] 田有文，吳偉，盧時(shí)鉛，等.深度學(xué)習(xí)在水果品質(zhì)檢測(cè)與分級(jí)分類中的應(yīng)用 [J].食品科學(xué)，2021，42（19）：260-270.

[6] 高輝，馬國(guó)峰，劉偉杰.基于機(jī)器視覺的蘋果缺陷快速檢測(cè)方法研究 [J].食品與機(jī)械，2020，36（10）：125-129+148.

[7] 趙小霞，李志強(qiáng).基于PLC和機(jī)器視覺的水果自動(dòng)分級(jí)系統(tǒng)研究 [J].農(nóng)機(jī)化研究，2021，43（8）：75-79.

[8] 劉艷麗，杜鴻運(yùn)，王世璞.紅棗高速在線分級(jí)檢測(cè)系統(tǒng)研發(fā) [J].中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2015（5）：142-144.

[9] 詹映.基于機(jī)器視覺南疆紅棗顏色分級(jí)方法研究 [D].阿拉爾：塔里木大學(xué)，2015.

作者簡(jiǎn)介：徐晶晶（2003.10—），女，漢族，山東

菏澤人，本科在讀，研究方向：機(jī)器人工程；周旭（1980.03—），男，漢族，河北唐山人，副教授，本科，研究方向：電氣自動(dòng)化；孔耀（2000.04—），男，漢族，山東棗莊人，本科在讀，研究方向：電氣工程及其自動(dòng)化。