穴盤(pán)苗發(fā)芽率在線(xiàn)視覺(jué)檢測(cè)研究

張 帆，楊 勇，駱少明，黃 福，成克強(qiáng)

1. 廣東技術(shù)師范大學(xué) 機(jī)電學(xué)院，廣州 510665； 2. 工業(yè)和信息化部電子第五研究所，廣州 510610

植物工廠在未來(lái)城市農(nóng)業(yè)現(xiàn)代化建設(shè)中發(fā)揮著重要作用．我國(guó)是蔬菜栽培的農(nóng)業(yè)生產(chǎn)大國(guó)，但不是農(nóng)業(yè)生產(chǎn)強(qiáng)國(guó)，確保新鮮水果和蔬菜的安全高效供給面臨巨大的挑戰(zhàn)[1-2]．目前，我國(guó)蔬菜的栽植量巨大，60%以上蔬菜種植采用育苗移栽，傳統(tǒng)的移栽作業(yè)方式要求大量的手工作業(yè)，制約了蔬菜栽培的發(fā)展[3]．設(shè)施園藝智能化是當(dāng)前包括中國(guó)在內(nèi)的世界農(nóng)業(yè)智能化裝備的研發(fā)熱點(diǎn)和產(chǎn)業(yè)升級(jí)重點(diǎn)[4-6]，自動(dòng)化作業(yè)可以解放人的手工勞動(dòng)，在保持質(zhì)量穩(wěn)定的同時(shí)使作業(yè)速度成倍提高，但目前距離產(chǎn)業(yè)化應(yīng)用仍存在目標(biāo)檢測(cè)、 種苗識(shí)別等技術(shù)瓶頸需要突破[7].

發(fā)芽率是采購(gòu)種子時(shí)計(jì)算成本的重要依據(jù)，對(duì)研究農(nóng)作物適宜的環(huán)境條件亦有意義．由于穴盤(pán)播種普遍存在空穴問(wèn)題，為保證出苗率，一般在1個(gè)穴位里放多粒種子，甚至通過(guò)補(bǔ)種獲得整齊一致的穴盤(pán)苗[8]．補(bǔ)種雖然可以提高穴盤(pán)的使用效率，但浪費(fèi)種子，效率低，只適合人工操作，影響發(fā)芽率測(cè)算，也制約了移栽效率[9-10]．隨著計(jì)算機(jī)視覺(jué)和圖像處理技術(shù)的進(jìn)步，實(shí)施單粒精量播種有利于在線(xiàn)檢測(cè)種子的發(fā)芽率和提高移栽效率[11-12]．現(xiàn)代檢測(cè)技術(shù)已經(jīng)形成了自動(dòng)化操作，逐步替代了人工目測(cè)的傳統(tǒng)檢測(cè)方法，產(chǎn)品的檢測(cè)效率極大提高[13-14]．目前，機(jī)器視覺(jué)已應(yīng)用到農(nóng)業(yè)生產(chǎn)的多個(gè)檢測(cè)環(huán)節(jié)，如：種子的篩選和質(zhì)量檢驗(yàn)[15]、 蔬菜生長(zhǎng)狀況的監(jiān)測(cè)[16]、 蔬菜秧苗形態(tài)測(cè)量[17]、 蔬菜新鮮度分級(jí)[18]、 雜草的檢測(cè)[19]等．配置視覺(jué)的檢測(cè)系統(tǒng)可在線(xiàn)監(jiān)測(cè)穴盤(pán)苗的發(fā)芽生長(zhǎng)情況，不受空穴問(wèn)題影響.

本文設(shè)計(jì)的基于機(jī)器學(xué)習(xí)的發(fā)芽率在線(xiàn)視覺(jué)檢測(cè)系統(tǒng)，是基于機(jī)器學(xué)習(xí)的圖像特征提取方法和分類(lèi)方法[20-22]，實(shí)現(xiàn)對(duì)穴盤(pán)苗發(fā)芽階段的圖像檢測(cè)[23-25]； 基于多視圖定位原理，提出融合不同視角的檢測(cè)結(jié)果計(jì)算穴孔的可信度； 最后對(duì)系統(tǒng)進(jìn)行試驗(yàn)，驗(yàn)證了穴盤(pán)苗檢出率、 穴位檢出率和誤檢率等詳細(xì)指標(biāo).

1 系統(tǒng)簡(jiǎn)介

1.1 系統(tǒng)整體組成

穴盤(pán)苗發(fā)芽率在線(xiàn)視覺(jué)檢測(cè)系統(tǒng)如圖1所示，主要由傳送控制系統(tǒng)、 支撐架、 移栽機(jī)構(gòu)、 夾持手爪、 檢測(cè)相機(jī)、 穴盤(pán)和傳送帶組成．在育苗室，穴盤(pán)苗通過(guò)上料機(jī)推送至傳送帶后隨傳動(dòng)帶運(yùn)動(dòng)，檢測(cè)相機(jī)對(duì)穴盤(pán)苗進(jìn)行拍照，采集圖像并輸送至計(jì)算節(jié)點(diǎn)．計(jì)算節(jié)點(diǎn)對(duì)發(fā)芽種苗進(jìn)行圖像識(shí)別，計(jì)算出種子的發(fā)芽情況和生長(zhǎng)姿態(tài)以及所在的穴孔并保存記錄.

圖1 穴盤(pán)苗發(fā)芽率在線(xiàn)視覺(jué)檢測(cè)系統(tǒng)示意圖

1.2 設(shè)計(jì)要求和工作原理

植物工廠是設(shè)施園藝的高級(jí)形式，由于種子出苗率的問(wèn)題，在育苗階段要檢測(cè)發(fā)芽率、 生長(zhǎng)情況和種苗的位置信息，一般設(shè)施園藝生產(chǎn)中使用 “單機(jī)檢測(cè)”或“人工檢測(cè)”，這種方式存在性能瓶頸，制約了穴盤(pán)的輸送速度，無(wú)法滿(mǎn)足高速的需求．從規(guī)模效率的角度出發(fā)，在線(xiàn)視覺(jué)檢測(cè)具有高速、 非接觸式的優(yōu)點(diǎn)，滿(mǎn)足植物工廠大規(guī)模、 高速、 高精度檢測(cè)的需求.

穴盤(pán)苗發(fā)芽率在線(xiàn)視覺(jué)檢測(cè)系統(tǒng)工作原理是通過(guò)將多個(gè)視圖檢測(cè)結(jié)果融合達(dá)到提高檢測(cè)精度，同時(shí)估算種苗所在穴位的效果，主要包括多相機(jī)采集圖像、 網(wǎng)絡(luò)傳輸、 機(jī)器學(xué)習(xí)方法快速檢測(cè)和多視圖檢測(cè)結(jié)果融合算法等環(huán)節(jié).

2 穴盤(pán)苗視覺(jué)檢測(cè)

2.1 穴盤(pán)苗圖像

從油麥菜種子的穴盤(pán)苗圖像可觀測(cè)到發(fā)芽的情況，如圖2所示．圖片來(lái)自于頂部視角拍攝．穴盤(pán)是黑色塑料制品，共有72個(gè)穴孔，采取6×12排列，每個(gè)穴孔放有1棵種子在椰糠混合土栽培基質(zhì)中.

圖2 穴盤(pán)苗的頂視圖

客觀存在各個(gè)穴孔發(fā)芽情況不一致及空穴的現(xiàn)象．種子發(fā)芽除了本身發(fā)育完全的內(nèi)在條件外，還受到外部環(huán)境條件的影響，外部環(huán)境條件包括水分、 氧氣、 溫度、 光線(xiàn)等，對(duì)應(yīng)的種苗發(fā)芽的不同階段在圖像上也呈現(xiàn)不同的效果，過(guò)早可能葉片還沒(méi)有展開(kāi)，過(guò)晚有的種苗已經(jīng)長(zhǎng)出多片葉子．種苗發(fā)芽的方向和姿態(tài)、 發(fā)芽的進(jìn)度是系統(tǒng)檢測(cè)發(fā)芽率的重要影響因素.

2.2 圖像預(yù)處理

2.2.1 檢測(cè)種苗

種苗在顏色和形狀上與背景存在明顯的差異，用顏色特征可以區(qū)分種苗與背景，作為檢測(cè)種苗的依據(jù)，這種用顏色特征的方法具有較高的魯棒性．通常相機(jī)采集的彩色圖像為RGB模型，不能直接使用，要轉(zhuǎn)換為在植物葉片檢測(cè)中廣泛使用的HSV模型．本文先將獲得的彩色圖像進(jìn)行顏色模型轉(zhuǎn)換，然后將提取種苗所擁有的綠色并過(guò)濾掉綠色以外的顏色.

2.2.2 顏色模型轉(zhuǎn)換

對(duì)人而言，最直觀的顏色模型是HSV(Hue色相、 Saturation飽和度、 Value/Brightness亮度，也叫HSB)模型，HSV模型是由A. R. Smith在1978年創(chuàng)建的一種顏色空間，也稱(chēng)六角錐體模型．在自然界單色光有自己獨(dú)特的光譜特征，HSV模型中H表示色彩信息，即光譜顏色所在的位置，提取種苗的綠色要選擇對(duì)應(yīng)的H值； 飽和度S是一個(gè)比例值，表示所選顏色的純度和該顏色最大的純度之間的比率；V表示色彩的明亮程度，與光強(qiáng)度無(wú)直接關(guān)系．用H和S表示顏色距離，對(duì)于不同的彩色區(qū)域，混合H與S變量，根據(jù)劃定的閾值就可以進(jìn)行簡(jiǎn)單快速的顏色分割．在HSV色域中，色調(diào)H用角度表示，取值范圍為H∈[0°，360°]，從紅色開(kāi)始按逆時(shí)針?lè)较蛴?jì)算，紅色為0°，綠色為120°，藍(lán)色為240°； 飽和度S取值范圍為S∈[0.0，1.0]； 亮度V取值范圍為V∈[0.0，1.0].

彩色圖像從RGB模型轉(zhuǎn)換為HSV模型，計(jì)算方法如下：

首先，將圖像的RGB值做歸一化處理，即將每個(gè)通道的取值范圍由(0～255)映射到(0～1.0)，新的RGB模型計(jì)算，如公式(1)所示.

(1)

取新的R′G′B′模型的最大值Cmax和最小值Cmin，如公式(2)所示：

Cmax=max(R′，G′，B′)

Cmin=min(R′，G′，B′)

(2)

求最大值與最小值的差，如公式(3)所示.

Δ=Cmax-Cmin

(3)

公式(4)～(6)分別計(jì)算H，S和V的值.

(4)

(5)

V=Cmax

(6)

2.2.3 彩色圖像灰度化

種苗的顏色是綠色，與穴盤(pán)、 基質(zhì)以及其他設(shè)備的顏色有明顯的區(qū)別，因此利用HSV模型對(duì)綠色的連續(xù)表示，將綠色從背景顏色中提取出來(lái)，提取后的圖像只包含綠色和去除背景部分的黑色，將綠色替換成白色就可以獲得灰度圖，效果如圖3所示.

圖3 不同相機(jī)的檢測(cè)結(jié)果

2.3 穴盤(pán)苗視覺(jué)檢測(cè)

2.3.1 穴盤(pán)苗的圖像質(zhì)量和目標(biāo)檢測(cè)方法

由于種苗發(fā)芽生長(zhǎng)的姿態(tài)不同，機(jī)器要像人一樣快速準(zhǔn)確檢測(cè)種苗是一項(xiàng)具有挑戰(zhàn)性的工作．在基于特征的目標(biāo)檢測(cè)研究上，局部歸一化的方向梯度直方圖(Histograms of Oriented Gradient，HOG)相比于傳統(tǒng)的小波、 SIFT、 形狀上下文方法有更好的表現(xiàn)[24]．HOG特征檢測(cè)種苗的基本原理是利用圖像的梯度和邊緣方向的密度分布描述圖像中種苗的外觀和形狀，HOG特征檢測(cè)種苗的方法是提取紋理特征，不受顏色變化影響，對(duì)光照變化、 陰影等噪聲具有較好的魯棒性．HOG只能用于彩色圖像或灰度圖，無(wú)法用于二值圖.

提取HOG特征后就需要進(jìn)行分類(lèi)，使用核方法的SVM是目前廣泛使用的分類(lèi)器，在圖像分類(lèi)任務(wù)上有很好的性能表現(xiàn)．SVM是在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上發(fā)展起來(lái)的機(jī)器學(xué)習(xí)算法，以結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理為準(zhǔn)則，能夠有效解決過(guò)擬合、 落入局部極值和“維數(shù)災(zāi)難”等問(wèn)題，在解決小樣本、 非線(xiàn)性、 高維空間模式識(shí)別問(wèn)題中表現(xiàn)出良好的推廣性和較好的分類(lèi)準(zhǔn)確性.

2.3.2 多視圖融合定位

發(fā)芽種苗所在的穴位是一項(xiàng)重要的信息，可根據(jù)多視圖檢測(cè)結(jié)果分析得出．之所以采用多視圖，一方面是視覺(jué)檢測(cè)存在漏檢和誤檢； 另一方面則是由于種苗生長(zhǎng)方向的不確定性以及拍照角度的問(wèn)題，檢測(cè)結(jié)果誤判種苗落在其他穴孔上.

標(biāo)準(zhǔn)統(tǒng)一的工業(yè)產(chǎn)品使用單個(gè)攝像頭即可完成準(zhǔn)確的檢測(cè)，但應(yīng)用在種苗的穴位判斷上，單個(gè)相機(jī)的檢測(cè)結(jié)果不足以獲得好的漏檢率和誤判率，如圖3所示．通過(guò)頂視圖觀察，種苗的葉片在邊界上，根系則可能是在上部分穴位，也可能是在下部分穴位，即使圖像檢測(cè)成功，仍然不能判斷穴位； LT(左前)視圖和RT(右前)視圖觀察種苗葉片在下部分穴位，根據(jù)圖像檢測(cè)結(jié)果判斷穴位是誤判； LB(左后)視圖和RB(右后)視圖觀察種苗葉片在上部分穴位，根據(jù)圖像檢測(cè)結(jié)果判斷穴位是正確的．利用多個(gè)相機(jī)從不同視角采集圖像信息進(jìn)行融合后判斷，不僅減少漏檢，還可減小誤判幾率.

多視圖融合判斷穴位算法描述如下：

if detctor(TOP) at border：

ret1=0.6

ret2=check_location (LT | RT | LB | RB)

ret3=check_ neighbors (TOP)

location_dependability=ret1+ ret2+ ret3

else if detctor(TOP) at center：

ret1=high_location_dependability(TOP)

ret2=high_location_dependability(LT | RT | LB | RB)

location_dependability=ret1+ ret2

else：

if detctor (LT | RT | LB | RB) at border：

location_dependability=low_location_dependability(LT | RT | LB | RB)

else ifdetctor(LT | RT | LB | RB) at center：

location_dependability=high_location_dependability(LT | RT | LB | RB)

else：

NULL，NO Seedling

3 試驗(yàn)與結(jié)果分析

3.1 穴盤(pán)苗發(fā)芽檢測(cè)試驗(yàn)

3.1.1 試驗(yàn)方案

為測(cè)試多視圖融合下的發(fā)芽檢測(cè)效果，本文采用小樣本訓(xùn)練算法，然后分別對(duì)采集的5個(gè)視圖圖像進(jìn)行檢測(cè)，如圖4所示．試驗(yàn)的穴盤(pán)共有72個(gè)穴位，其中左下方的1個(gè)穴位空著作為標(biāo)記，有9個(gè)穴位的種子沒(méi)有發(fā)芽，因此最終有62個(gè)穴位的種子成功發(fā)芽．5個(gè)方向的檢測(cè)試驗(yàn)得到的成功率各不相同，LT視圖檢測(cè)到42個(gè)，RT視圖檢測(cè)到44個(gè)，TOP視圖檢測(cè)到40個(gè)，LB視圖檢測(cè)到39個(gè)，RB視圖檢測(cè)到33個(gè)，分別對(duì)應(yīng)圖4的LT，RT，TOP，LB和RB子圖.

圖4 種苗檢測(cè)結(jié)果

3.1.2 結(jié)果與分析

由試驗(yàn)結(jié)果可以得到，單個(gè)相機(jī)的檢測(cè)發(fā)芽率與實(shí)際發(fā)芽率存在較大偏差，存在漏檢問(wèn)題，所以穴盤(pán)苗的檢出率低．單個(gè)視圖檢測(cè)算法優(yōu)化只能減小漏檢，但不能消除漏檢，而且減少漏檢的同時(shí)會(huì)導(dǎo)致誤檢增多．本文探討多視圖信息融合的方法提升檢測(cè)效果，在無(wú)誤檢的前提下減少漏檢，因此進(jìn)一步做了穴盤(pán)苗定位試驗(yàn).

3.2 穴盤(pán)苗定位試驗(yàn)

3.2.1 試驗(yàn)方案

多視圖檢測(cè)結(jié)果畫(huà)矩形框，框的中心分別用不同的符號(hào)表示．符號(hào)“*”表示TOP視圖檢測(cè)結(jié)果框的中心，符號(hào)“o”表示LT和RT視圖檢測(cè)結(jié)果框的中心，符號(hào)“+”表示LB和RB視圖檢測(cè)結(jié)果框的中心，配上穴盤(pán)苗原圖作為對(duì)比，檢測(cè)結(jié)果疊加效果如圖5所示．種子沒(méi)有發(fā)芽的9個(gè)穴位分別是K1，I4，I5，G4，F(xiàn)3，E4，E6，C5和A4.

圖5 多視圖檢測(cè)結(jié)果疊加對(duì)比

3.2.2 結(jié)果與分析

表1 穴位有種苗的可信度

4 結(jié) 論

本文設(shè)計(jì)了一種基于機(jī)器學(xué)習(xí)的穴盤(pán)苗發(fā)芽率在線(xiàn)視覺(jué)檢測(cè)系統(tǒng)，通過(guò)多視圖融合可以顯著地提高穴位的檢出率．首先，使用顏色空間模型對(duì)輸入穴盤(pán)苗圖像進(jìn)行變換預(yù)處理，并歸一化到統(tǒng)一的尺寸； 然后，在預(yù)處理后的圖像上制作訓(xùn)練集和測(cè)試集，為了提高運(yùn)算速度，采用基于HOG特征和SVM分類(lèi)器的方法，提取HOG特征，送入支撐向量機(jī)進(jìn)行分類(lèi)； 最后，將單視圖檢測(cè)結(jié)果匯聚疊加，用多視圖融合方法計(jì)算每個(gè)穴位的可信度，根據(jù)可信度判定待移栽的穴位．試驗(yàn)結(jié)果表明，單視圖的檢出率較低，但通過(guò)多視圖融合的方法不僅提高了檢出率，而且有效減少了誤檢率和漏檢率，該算法能較好地完成穴盤(pán)苗的目標(biāo)檢測(cè)，準(zhǔn)確地定位發(fā)芽幼苗的穴位，同時(shí)多視圖檢測(cè)與傳統(tǒng)單視圖檢測(cè)需要停頓相比，在實(shí)時(shí)檢測(cè)的效率上有明顯的改進(jìn)，具有一定的應(yīng)用價(jià)值.