基于機(jī)器視覺(jué)的番茄分選實(shí)驗(yàn)臺(tái)系統(tǒng)設(shè)計(jì)*

馬 博 ，李 丹 ，代丹丹 ，李川江 ，胡昊天

（1.新疆工程學(xué)院機(jī)電工程學(xué)院，新疆 烏魯木齊 830023；2.航天科技控股集團(tuán)股份有限公司，黑龍江 哈爾濱 150060）

0 引言

我國(guó)是番茄生產(chǎn)及加工大國(guó)，其中新疆具有光照充足、晝夜溫差大、土地含沙量高等天然優(yōu)勢(shì)，因此，新疆所種植出來(lái)的番茄質(zhì)量較高。優(yōu)質(zhì)的原料資源加上較低的加工成本使得新疆番茄產(chǎn)業(yè)發(fā)展前景非常可觀[1-2]。

目前，在新疆的番茄加工企業(yè)中對(duì)于原料分選主要依靠人工，分選后蟲(chóng)洞、霉斑、青背及黃暈殘留等問(wèn)題依然存在，人工分選不僅成本高且分選質(zhì)量難以得到保證。而機(jī)器視覺(jué)系統(tǒng)能有效克服由于工人的視覺(jué)疲勞、精神倦怠和工作素質(zhì)參差不齊等因素造成的工作效率低、不合格番茄殘留多等問(wèn)題。更重要的是，高效地識(shí)別各種不合格番茄后能有效地提高番茄加工質(zhì)量[3-5]。因此，本文設(shè)計(jì)一種能夠?qū)邢x(chóng)洞、霉斑、青背及黃暈等不合格番茄進(jìn)行識(shí)別的實(shí)驗(yàn)臺(tái)系統(tǒng)，通過(guò)機(jī)器視覺(jué)技術(shù)實(shí)現(xiàn)對(duì)不合格番茄進(jìn)行識(shí)別并剔除。

1 系統(tǒng)整體方案

實(shí)驗(yàn)臺(tái)主體為自動(dòng)分選單元，通過(guò)CCD 工業(yè)相機(jī)采集圖像，由上位機(jī)視覺(jué)軟件對(duì)目標(biāo)進(jìn)行識(shí)別，并通過(guò)下位機(jī)驅(qū)動(dòng)氣爪完成分選，番茄分選工作流程如圖1所示。

圖1 番茄分選工作流程

1）分選單元：輸送機(jī)構(gòu)采用雙平帶輸送，圖像采集區(qū)域設(shè)置CCD 相機(jī)（MV-EM120M 工業(yè)相機(jī)）、光源及SB03-1K 型紅外傳感器，氣爪完成分選動(dòng)作，分選單元模型如圖2所示。

圖2 分選單元模型

2）上位機(jī)：基于LabVIEW 編寫(xiě)視覺(jué)識(shí)別軟件，包括視覺(jué)框架、對(duì)番茄（蟲(chóng)洞、霉斑、青背及黃暈等不合格問(wèn)題）識(shí)別的圖像處理程序以及上下位機(jī)通信的串口通信程序。

3）下位機(jī)：S7-200 型PLC 控制器通過(guò)串口通信接口接收到上位機(jī)的分選識(shí)別信號(hào)，并由繼電器控制。當(dāng)不合格番茄到達(dá)了分選區(qū)域后，氣爪回路動(dòng)作完成分選任務(wù)。

2 上位機(jī)視覺(jué)識(shí)別軟件

圖像處理是機(jī)器視覺(jué)的核心，CCD 相機(jī)從圖像采集區(qū)域完成番茄圖像采集，采集到的灰度圖像經(jīng)由LabVIEW 程序處理，并輸出識(shí)別結(jié)果，合格則顯示“OK”通過(guò)，不合格則顯示“NG”抓取剔除。該過(guò)程依賴于視覺(jué)框架對(duì)圖像處理程序的調(diào)用。

2.1 視覺(jué)框架

視覺(jué)框架的主要功能包括對(duì)視覺(jué)識(shí)別程序的調(diào)用以及執(zhí)行用戶操作指令。視覺(jué)框架的前面板是軟件的主要交互界面，它被細(xì)分為識(shí)別結(jié)果顯示區(qū)域和參數(shù)設(shè)置區(qū)域。

識(shí)別結(jié)果顯示區(qū)域主要負(fù)責(zé)實(shí)時(shí)展示由CCD相機(jī)采集的番茄原始圖像以及經(jīng)過(guò)檢測(cè)后的圖像。在檢測(cè)后的圖像上，將顯示番茄的識(shí)別結(jié)果，包括合格（OK）或不合格（NG）。對(duì)于不合格（NG）的番茄，該區(qū)域還能夠?qū)θ毕葸M(jìn)行定位，并計(jì)算出缺陷面積大小。

參數(shù)設(shè)置區(qū)域則是為了確保軟件能夠準(zhǔn)確地檢測(cè)出番茄的各種缺陷。這個(gè)區(qū)域配備了一個(gè)調(diào)整檢測(cè)參數(shù)的面板，提供了多項(xiàng)功能選擇以及參數(shù)輸入，包括相機(jī)COM口、二值化上下、顆粒濾波類(lèi)型、顆粒濾波上下限等。通過(guò)這些功能的設(shè)置和調(diào)整，可以顯著提高檢測(cè)結(jié)果的質(zhì)量和可靠性。

此外，前面板還提供了常用的功能按鈕，包括打開(kāi)/關(guān)閉相機(jī)、采集圖像、連續(xù)采集、保存參數(shù)、載入?yún)?shù)、運(yùn)行一次、自動(dòng)運(yùn)行、一鍵運(yùn)行和停止等功能。這些功能按鈕方便用戶對(duì)軟件進(jìn)行控制，從而簡(jiǎn)化操作流程。

2.2 視覺(jué)識(shí)別程序

基于缺陷檢測(cè)的原理，本系統(tǒng)將不合格番茄上的蟲(chóng)洞、霉斑、青背及黃暈等問(wèn)題視作缺陷進(jìn)行檢測(cè)，有缺陷的番茄即為不合格，無(wú)缺陷的番茄則為合格。由此對(duì)圖像處理流程做出分析：采集到的原始圖像需要先預(yù)處理，得到灰度圖像后再進(jìn)行圖像處理，采用閾值分割法對(duì)背景和缺陷進(jìn)行圖像分割，分割得到二值圖像后再做形態(tài)學(xué)處理，提取缺陷特征，最后將缺陷特征掩模在原圖上顯示從而得到識(shí)別結(jié)果[6-7]。圖像處理流程如圖3所示。

圖3 圖像處理流程

1）預(yù)處理與圖像分割。為保證設(shè)備運(yùn)行速度，本文采用MV-EM120M 工業(yè)相機(jī)采集目標(biāo)的灰度圖像，得到的灰度圖像為f(x,y)，選擇灰度閾值為T(mén)，則圖像閾值分割方法可表示為：

其中，g(x,y)為分割后的圖像即二值圖像。這樣目標(biāo)和背景之間的邊界得以區(qū)分，再通過(guò)去除邊界移除背景便提取出了目標(biāo)的二值圖像。圖像分割程序如圖4所示。

圖4 圖像分割程序

2）形態(tài)學(xué)處理。如若目標(biāo)表面存在缺陷（蟲(chóng)洞、霉斑、青背及黃暈等），則會(huì)在目標(biāo)的二值圖像中形成孔洞，該孔洞即為需要提取的特征。設(shè)填充孔洞后的圖像為g1(x,y)，將其與g(x,y)運(yùn)行減運(yùn)算可表示為：

其中，g2(x,y)即為缺陷的二值圖像。此時(shí)，g2(x,y)二值圖像中目標(biāo)邊界和個(gè)別區(qū)域可能殘留少量噪聲顆粒，邊界殘留顆?？梢酝ㄟ^(guò)腐蝕運(yùn)算去除，腐蝕運(yùn)算過(guò)程可表示為：

其中，A為缺陷二值圖像，B是結(jié)構(gòu)元素，將結(jié)構(gòu)元素B（如圖5 所示）相對(duì)于集合A進(jìn)行平移，只要平移后結(jié)構(gòu)元素都包含在集合A中，則這些位移z的點(diǎn)的集合即為腐蝕結(jié)果[8]。

圖5 結(jié)構(gòu)元素

個(gè)別區(qū)域殘留的噪聲顆粒，其面積遠(yuǎn)小于缺陷特征，因此可以對(duì)顆粒面積設(shè)定合適的閾值，通過(guò)顆粒濾波進(jìn)行濾除。經(jīng)過(guò)腐蝕和顆粒濾波后便得到了缺陷特征的二值圖像。上述形態(tài)學(xué)處理程序如圖6所示。

圖6 形態(tài)學(xué)處理程序

3）特征提取與原圖掩模。將形態(tài)學(xué)處理后的缺陷特征二值圖取反后掩模在原圖上，即可在人機(jī)界面上觀測(cè)到識(shí)別結(jié)果，同時(shí)在識(shí)別結(jié)果輸出節(jié)點(diǎn)接入串口通信程序以便下位機(jī)接收信號(hào)。特征提取與掩模程序如圖7所示。

圖7 特征提取與掩模程序

將上述圖像處理過(guò)程封裝為一個(gè)子VI，從視覺(jué)框架中進(jìn)行調(diào)用，由此即完成了基于LabVIEW 的視覺(jué)識(shí)別軟件的搭建。

3 下位機(jī)PLC控制系統(tǒng)

PLC 控制器控制并驅(qū)動(dòng)傳送帶輸送待檢測(cè)番茄依次經(jīng)過(guò)CCD 相機(jī)的圖像采集區(qū)和氣爪的分選區(qū)。番茄經(jīng)過(guò)圖像采集區(qū)后，視覺(jué)識(shí)別軟件把番茄的識(shí)別結(jié)果以布爾值的形式通過(guò)串口發(fā)送至下位機(jī)PLC 控制器。在此過(guò)程中由繼電器完成電平轉(zhuǎn)換，該信號(hào)與分選區(qū)位置傳感器的反饋信號(hào)共同作為控制氣爪動(dòng)作的指令，即布爾值為False，且位置傳感器輸出反饋則氣爪抓取；反之，布爾值為T(mén)rue，氣爪不動(dòng)作，合格番茄通過(guò)[9-10]。下位機(jī)控制功能如下：

1）按下啟動(dòng)按鈕SB1，電動(dòng)機(jī)Y0 運(yùn)轉(zhuǎn)，驅(qū)動(dòng)傳送帶輸送番茄。按下停止按鈕SB2，輸送帶停止。

2）傳送帶工作時(shí)，當(dāng)番茄到達(dá)圖像采集區(qū)域，光電傳感器SQ1 觸發(fā)，CCD 相機(jī)采集圖像，視覺(jué)識(shí)別軟件向PLC控制器發(fā)送識(shí)別結(jié)果。

3）當(dāng)番茄到達(dá)分選區(qū)域時(shí)，光電傳感器SQ2 觸發(fā)，若上位機(jī)識(shí)別結(jié)果為False，傳送帶停止運(yùn)行，氣爪開(kāi)關(guān)SB3 觸發(fā)，氣爪Y1 抓取，待氣爪Y1 復(fù)位后傳送帶繼續(xù)運(yùn)行；若識(shí)別結(jié)果為T(mén)rue，傳送帶持續(xù)運(yùn)行。表1 為硬件對(duì)應(yīng)的I/O地址分配表。

表1 I/O 地址分配

4 實(shí)驗(yàn)分析與總結(jié)

對(duì)缺陷類(lèi)型、形狀、大小、位置不同的番茄進(jìn)行實(shí)驗(yàn)，識(shí)別結(jié)果如圖8所示。

圖8 中，左側(cè)為CCD 相機(jī)采集的原圖，右側(cè)為識(shí)別結(jié)果，兩組樣本的識(shí)別結(jié)果均顯示為NG 即不合格。從實(shí)驗(yàn)結(jié)果可以看出，本系統(tǒng)不僅能夠正確識(shí)別出不合格番茄，還能準(zhǔn)確定位缺陷位置，并計(jì)算出缺陷面積大小，這為下位機(jī)的分選決策提供了可靠依據(jù)，進(jìn)而保證了不合格番茄能被有效剔除。

圖8 實(shí)驗(yàn)測(cè)試結(jié)果

本實(shí)驗(yàn)臺(tái)系統(tǒng)實(shí)現(xiàn)了番茄合格與否的視覺(jué)識(shí)別及分選單元的分選過(guò)程。但在實(shí)際應(yīng)用時(shí)還需要進(jìn)行更為全面的考慮，例如：不同環(huán)境下的打光方案；多角度采集圖像；提高圖像采集速度與清晰度；大量實(shí)驗(yàn)數(shù)據(jù)優(yōu)化算法和參數(shù)；分選機(jī)構(gòu)的高效動(dòng)作等。