草莓采摘機(jī)器人圖像識(shí)別系統(tǒng)研究

侯貴洋，趙桂杰，王璐瑤

（1. 天津工業(yè)大學(xué)電子信息工程學(xué)院通信工程系，天津　300387；2. 天津工業(yè)大學(xué)大學(xué)電子信息工程學(xué)院電信系，天津　300387；3. 天津工業(yè)大學(xué)機(jī)械工程學(xué)院機(jī)電系，天津　300387）

0　引言

果蔬采摘是果蔬生產(chǎn)過(guò)程中最為耗時(shí)、耗力、實(shí)效性強(qiáng)的生產(chǎn)環(huán)節(jié)之一，所需投入的勞動(dòng)力約占整個(gè)生產(chǎn)種植過(guò)程的40%-50%。隨著社會(huì)發(fā)展，特別是工業(yè)化發(fā)展進(jìn)程使得農(nóng)業(yè)勞動(dòng)力逐漸減少，農(nóng)業(yè)勞動(dòng)力成本逐漸增加[1]。依靠人工勞作的生產(chǎn)形式已不能滿足現(xiàn)代農(nóng)業(yè)發(fā)展的需求。依靠機(jī)器人、智能化裝備開(kāi)展農(nóng)業(yè)生產(chǎn)成為現(xiàn)代農(nóng)業(yè)發(fā)展的迫切需要。針對(duì)人工采摘草莓帶來(lái)的問(wèn)題以及我國(guó)草莓種植面積的迅速推廣，為實(shí)現(xiàn)草莓采摘的智能化、機(jī)械化，我們?cè)O(shè)計(jì)了智能草莓采摘系統(tǒng)，而其中最為核心的一部分即為草莓的圖像識(shí)別系統(tǒng)。國(guó)內(nèi)外對(duì)果實(shí)圖像識(shí)別這方面進(jìn)行了大量的研究，但是仍然有很多問(wèn)題存在，比如果實(shí)的識(shí)別率、定位精度不高，考慮到這個(gè)問(wèn)題我們采用了顏色識(shí)別和特征識(shí)別相結(jié)合的方法，在特征識(shí)別時(shí)我們加入卷積神經(jīng)網(wǎng)絡(luò)來(lái)輔助Harr級(jí)聯(lián)分類器來(lái)識(shí)別草莓的特征點(diǎn)進(jìn)而找到草莓的位置，然后通過(guò)顏色識(shí)別判斷草莓的成熟度，判斷是否采摘[2]。

1　草莓二維坐標(biāo)位置識(shí)別

一般來(lái)說(shuō)機(jī)器視覺(jué)技術(shù)[3]分為圖像采集、圖像處理、特性提取以及判決和控制幾個(gè)部分，在識(shí)別草莓的過(guò)程中我們采用了顏色識(shí)別和特征識(shí)別相結(jié)合的方法，圖像通過(guò)攝像頭采集后分為兩條路徑，一條路徑為通過(guò)之前訓(xùn)練的Harr級(jí)聯(lián)數(shù)據(jù)去找出圖像的草莓，并記錄下每個(gè)草莓的質(zhì)心坐標(biāo)，也就是我們所說(shuō)的特征識(shí)別[3]。另一條路徑則為根據(jù)從攝像頭獲取的圖像，進(jìn)行圖像處理與分割之后轉(zhuǎn)換成hsv設(shè)定空間閾值，根據(jù)閾值構(gòu)建掩膜[4]然后進(jìn)行開(kāi)運(yùn)算、閉運(yùn)算，最后進(jìn)行自適應(yīng)閾值處理找到輪廓并標(biāo)記。兩種方法進(jìn)行比對(duì)得到最終的檢測(cè)結(jié)果，最終結(jié)果誤差很小，具有極高的正確率。下圖中左側(cè)為特征識(shí)別流程，右側(cè)為顏色識(shí)別流程，最終兩種識(shí)別結(jié)果進(jìn)行比對(duì)以得到最終的檢測(cè)結(jié)果。

圖1　草莓檢測(cè)與識(shí)別流程圖Fig.1　Flow chart of strawberry detection and recognition

1.1　特征識(shí)別

1.1.1訓(xùn)練級(jí)聯(lián)分類器

在正式進(jìn)行圖像識(shí)別草莓之前我們需要訓(xùn)練出屬于草莓果實(shí)特有特征的 Harr級(jí)聯(lián)數(shù)據(jù)，這些數(shù)據(jù)中包含草莓特有的特征向量，我們采用的是opencv自帶的opencv_traincascade.exe的訓(xùn)練程序用于訓(xùn)練出我們所需要的 Harr級(jí)聯(lián)數(shù)據(jù)。通過(guò)提供給訓(xùn)練器提供大量的正樣本（含有草莓的圖片）和大量的負(fù)樣本數(shù)據(jù)（不含有草莓的圖片）電腦通過(guò)訓(xùn)練程序自己訓(xùn)練找出草莓本身所特有的特征并就錄下來(lái)，成為若干個(gè)弱分類器，最終所有的弱分類器組成一個(gè)強(qiáng)分類器，具有很高的識(shí)別率[5]。

訓(xùn)練級(jí)聯(lián)分類器用了 10000個(gè)正樣本（包含草莓的圖片），30000個(gè)負(fù)樣本（不包含草莓的圖片)，每級(jí)分類器的錯(cuò)誤率小于30%時(shí)進(jìn)入下一級(jí)，一共訓(xùn)練了20級(jí)，最終錯(cuò)誤率為0.001%，訓(xùn)練出的級(jí)聯(lián)分類器通過(guò)驗(yàn)證集驗(yàn)證，草莓的識(shí)別與定位正確率達(dá)到 85%以上。這樣的正確率還遠(yuǎn)遠(yuǎn)達(dá)不到實(shí)際生產(chǎn)的要求，因此我們加入了卷積神經(jīng)網(wǎng)絡(luò)來(lái)輔助級(jí)聯(lián)分類器對(duì)目標(biāo)物草莓進(jìn)行判斷，加入卷積神經(jīng)網(wǎng)絡(luò)后我們草莓識(shí)別的正確率能達(dá)到 92%以上。此外卷積神經(jīng)網(wǎng)絡(luò)[6]還能在后續(xù)的采摘過(guò)程中進(jìn)行強(qiáng)化學(xué)習(xí)，從而進(jìn)一步的提高草莓識(shí)別率。

圖2　訓(xùn)練所用正樣本圖Fig.2　Positive sample diagram for training

圖3　訓(xùn)練所用負(fù)樣本圖Fig.3　Negative sample diagram for training

上圖中每幅圖片均為含有草莓的圖片，我們選用了10000個(gè)包含草莓的圖片用作正樣本。

上圖中每幅圖片均為不含草莓的照片，為了在識(shí)別草莓的過(guò)程中能夠盡量消除周圍環(huán)境以及不成熟草莓等因素的影響，我們選取的很多負(fù)樣本都和草莓周圍種植環(huán)境相似。

經(jīng)過(guò)上述一系列步驟，我們可以較好的對(duì)草莓進(jìn)行特征識(shí)別，效果如圖4所示。

1.2　顏色識(shí)別

1.2.1圖像分割

圖4　特征識(shí)別結(jié)果圖Fig.4　Diagram of feature recognition result

大部分草莓處于采摘期時(shí)，表面顏色與背景顏色存在較大差異，而同一品種果實(shí)表面顏色相近。體現(xiàn)在色彩空間中，果實(shí)表面顏色和背景顏色存在著不同的分布特性。根據(jù)這一特性，本研究應(yīng)用了一種基于色彩空間，適用于果實(shí)目標(biāo)提取的圖像分割算法?？焖俣行У陌阉麖谋尘爸刑崛〕鰜?lái)的方法是使用閾值分割方法[7]。本研究的對(duì)象為成熟草莓，在圖像上成熟草莓呈現(xiàn)紅色，背景大部分是綠色的枝葉，還有少部分是介于黃色和紅色之間的枯萎枝葉。利用兩者的顏色差異，采用簡(jiǎn)單的閾值，就可以把水果從背景中分離出來(lái)。

1.2.2轉(zhuǎn)換閾值、構(gòu)建掩膜

由于 RGB圖像無(wú)法用單一的參數(shù)對(duì)圖像進(jìn)行分割，RGB圖像轉(zhuǎn)換為灰度圖像再進(jìn)行分割，這樣做的代價(jià)就是大大的損失的圖像的色彩特征。但是如果將RGB圖像轉(zhuǎn)化到HSV空間，卻可以直接給綠色劃定一個(gè)定義區(qū)間了，即 H（色調(diào)）的區(qū)間。在HSV色彩空間內(nèi)進(jìn)行草木、樹(shù)木圖像的分割，通過(guò)設(shè)定綠色區(qū)間的 H（色調(diào)）的門限值，提取圖像中綠色的像素點(diǎn)，從而實(shí)現(xiàn)分割。HSV3分量之間的相關(guān)性遠(yuǎn)遠(yuǎn)小于RGB色彩空間中3分量的聯(lián)系。顏色作為綠色植物的重要特征可以作為草木、樹(shù)木圖像分割的重要依據(jù)。當(dāng)綠色植物所處的周圍環(huán)境的色調(diào)與植物色調(diào)差別較大時(shí)，通過(guò)把RGB模型轉(zhuǎn)換到 HSV模型，經(jīng)H分割，可以得到比較理想的分割圖像和算法，簡(jiǎn)單快捷[8]。所以我們選擇在HSV顏色空間下進(jìn)行處理。RGB模型轉(zhuǎn)化到 HSV模型的算法如下

圖5　攝像頭獲取的圖像Fig.5　Image obtained by the camera

上式中H代表色調(diào)，S代表飽和度，V代表明度。將RGB模型轉(zhuǎn)換到HSV模型后，轉(zhuǎn)換閾值構(gòu)建掩膜圖像如圖6所示

圖6　根據(jù)閾值構(gòu)建掩膜圖像Fig.6　Building mask image based on threshold

1.2.3去噪、自適應(yīng)閾值處理

分割后的圖像中仍有許多像素被誤判。這些被誤判像素可分為兩類:一是背景區(qū)域被誤判為目標(biāo);另一類是目標(biāo)由于光照等原因被誤判為背景。第一類誤判在視覺(jué)上表現(xiàn)為散點(diǎn)的噪聲，均散落于草莓區(qū)域以外。這些噪聲與分割后被判為草莓的像素分別形成多個(gè)單連通區(qū)，噪聲區(qū)域的面積相比于草莓部分的面積要小很多。解決這個(gè)問(wèn)題可以用中值濾波處理。第二類誤判在分割后的圖像上的目標(biāo)內(nèi)部表現(xiàn)為一些黑洞。對(duì)于這后者和前者中黑洞較小的情況，使用形態(tài)學(xué)閉運(yùn)算處理可以得到很好的改善“但當(dāng)黑洞是由原圖上一些明亮的光斑造成的話通常面積較大，形態(tài)學(xué)運(yùn)算難以產(chǎn)生效果。解決這個(gè)問(wèn)題的方法就是對(duì)閉運(yùn)算后的圖像進(jìn)行孔洞填充，如果還有散點(diǎn)，再濾波處理即可[9]。在這里我們采用高斯濾波，高斯濾波是一種線性平滑濾波，適用于消除高斯噪聲，廣泛應(yīng)用于圖像處理的減噪過(guò)程。通俗的講，高斯濾波就是對(duì)整幅圖像進(jìn)行加權(quán)平均的過(guò)程，每一個(gè)像素點(diǎn)的值，都由其本身和鄰域內(nèi)的其他像素值經(jīng)過(guò)加權(quán)平均后得到。高斯濾波的具體操作是：用一個(gè)模板(或稱卷積、掩模)掃描圖像中的每一個(gè)像素，用模板確定的鄰域內(nèi)像素的加權(quán)平均灰度值去替代模板中心像素點(diǎn)的值。

圖7　去噪處理后圖像Fig.7　Image after de-noising

圖8　自適應(yīng)閾值處理后圖像Fig. 8　Image after adaptive threshold processing

1.2.4尋找輪廓并標(biāo)記

質(zhì)心的確定：質(zhì)心是標(biāo)示目標(biāo)位置的重要參數(shù)，在二維圖像中質(zhì)心坐標(biāo)可以根據(jù)目標(biāo)區(qū)域點(diǎn)的坐標(biāo)來(lái)計(jì)算。對(duì)于目標(biāo)區(qū)域點(diǎn)的集合(,)x yη，其質(zhì)心坐標(biāo)(,)x y為

式中，N是目標(biāo)區(qū)域點(diǎn)的個(gè)數(shù)。在獲取質(zhì)心的時(shí)候要經(jīng)過(guò)篩選，比如形狀，大小等。

圖9　最終標(biāo)記圖像Fig.9　Final markup image

1.3　兩種識(shí)別結(jié)果進(jìn)行比較

通過(guò)兩條路徑的草莓識(shí)別得到的草莓質(zhì)心的坐標(biāo)，判斷兩個(gè)質(zhì)心的坐標(biāo)如果在規(guī)定誤差范圍內(nèi)則判斷該物體是要成熟的草莓需要采摘。如果在誤差范圍外則說(shuō)明兩個(gè)草莓挨得太近可能發(fā)生重疊或識(shí)別出現(xiàn)問(wèn)題。

2　上位機(jī)圖像識(shí)別系統(tǒng)

上圖中左側(cè)圖片為動(dòng)態(tài)圖片，隨著采摘平臺(tái)上攝像頭的移動(dòng)左側(cè)圖像也會(huì)不斷變化，在采摘的過(guò)程中隨著采摘結(jié)構(gòu)逐漸靠近果實(shí)，圖片中果實(shí)的形狀也會(huì)不斷變大，反之變小。右側(cè)圖片為靜態(tài)圖片，是攝像頭起始所獲取的圖像[10]。

圖的左下方顯示在 HSV色彩空間中設(shè)定的閾值，在圖中也可以正確顯示出待采摘目標(biāo)的個(gè)數(shù)。圖中的x和y代表像素點(diǎn)的值，一定程度上反映了待采摘草莓形狀的大小。上位機(jī)系統(tǒng)通過(guò)串口將控制信息（上移、下移、左移、右移、回原點(diǎn)、停止運(yùn)動(dòng)等）發(fā)送至下位機(jī)控制系統(tǒng)中[11]。

圖10　草莓輔助采摘監(jiān)視平臺(tái)圖Fig.10　Diagram of strawberry assisted picking monitoring platform