郭麗新
摘要:黃花菜要實(shí)現(xiàn)智能機(jī)械化的采摘,其機(jī)器視覺(jué)的研究必不可少。本文依據(jù)國(guó)內(nèi)采摘外機(jī)器人視覺(jué)系統(tǒng)的發(fā)展現(xiàn)狀并結(jié)合黃花菜自身的特征,對(duì)黃花菜機(jī)器人的機(jī)器視覺(jué)技術(shù)作出展望,使采摘視覺(jué)系統(tǒng)能夠滿足黃花菜機(jī)器人的作業(yè)要求,對(duì)黃花菜實(shí)現(xiàn)智能化、無(wú)人化采摘具有重要的現(xiàn)實(shí)意義。
關(guān)鍵詞:視覺(jué)系統(tǒng) 黃花菜機(jī)器人 識(shí)別 定位
1 采摘機(jī)器人的機(jī)器視覺(jué)發(fā)展現(xiàn)狀
澳大利亞Arefi通過(guò)使用RGB、HIS和YIQ顏色空間的組合方法識(shí)別成熟番茄果實(shí),最后通過(guò)形態(tài)學(xué)特征定位果實(shí);西班牙科學(xué)家依據(jù)柑橘外形研制出由采摘手、彩色視覺(jué)系統(tǒng)和超聲傳感器三部分組成的柑橘采摘機(jī)器人;美國(guó)的Whittaker認(rèn)為對(duì)于目標(biāo)與背景顏色相似的系統(tǒng)不能單純的使用顏色信息,還需要考慮顏色值在局部像素與整體當(dāng)中的內(nèi)在關(guān)系,同時(shí)所摘果實(shí)形狀的信息也不能忽略,所以提出Hough變換定位番茄果實(shí)的方法;中國(guó)農(nóng)業(yè)大學(xué)李偉團(tuán)隊(duì)利用近紅外光譜實(shí)現(xiàn)黃瓜果實(shí)識(shí)別,雙目視覺(jué)系統(tǒng)對(duì)目標(biāo)果實(shí)完成空間坐標(biāo)的獲取;張麗等利用計(jì)算機(jī)控制CCD攝像頭采集圖像,對(duì)采集的圖像進(jìn)行二值化、膨脹腐蝕等處理,從而將櫻桃的成熟度、枝葉等分離開來(lái);顧蘇杭等提出一種顯著性輪廓識(shí)別方法,通過(guò)K聚類將蘋果圖像分為背景和目標(biāo)區(qū)域,引入ASIFT 特征對(duì)劃分的目標(biāo)區(qū)域進(jìn)行空洞填充,最后進(jìn)行邊緣檢測(cè)、閾值分割、去噪、提取目標(biāo)輪廓從而實(shí)現(xiàn)蘋果果實(shí)的識(shí)別。
2 黃花菜機(jī)器人視覺(jué)系統(tǒng)的研究
由于黃花菜品質(zhì)好、味道美、富含各種各樣人體需求的營(yíng)養(yǎng),其胡蘿卜素含量甚至比番茄高幾倍,新鮮黃花菜由于富含卵磷脂,具有益腦和防衰作用,是體內(nèi)許多細(xì)胞,特別是腦細(xì)胞的組成部分,對(duì)保養(yǎng)增強(qiáng)和改善腦功能起著非常重要作用。隨著黃花菜藥用價(jià)值的發(fā)現(xiàn),食用人群增加,且黃花菜抗旱、耐貧瘠、容易成活,黃花菜的栽種范圍越來(lái)越大,是農(nóng)民的收入來(lái)源之一。預(yù)計(jì)2021年,我國(guó)黃花菜產(chǎn)量將達(dá)到15.7萬(wàn)噸,我國(guó)黃花菜消費(fèi)量將達(dá)到15.5萬(wàn)噸。為解決黃花菜種植規(guī)模的增加而導(dǎo)致的采摘問(wèn)題,需要開發(fā)黃花菜機(jī)器人。而黃花菜機(jī)器人實(shí)現(xiàn)采摘的第一步就是要能夠準(zhǔn)確識(shí)別采摘目標(biāo),其視覺(jué)系統(tǒng)的研究至關(guān)重要。
根據(jù)黃花菜自身形狀特性,對(duì)其視覺(jué)系統(tǒng)分析研究。黃花菜成熟時(shí)呈嫩黃色,與青色的未成熟黃花菜和綠色的枝葉顏色存在明顯的差異,所以可采用RGB模型來(lái)實(shí)現(xiàn)對(duì)黃花菜圖像的識(shí)別與處理。RGB模型是當(dāng)前計(jì)算機(jī)中應(yīng)用最普遍、最基礎(chǔ)的色彩空間模型,其中R的含義是紅色通道,G表示綠色通道,B代表藍(lán)色通道,該顏色空間最大的優(yōu)勢(shì)就在于在采集黃花菜圖像后不必進(jìn)行額外的顏色空間轉(zhuǎn)化處理,這樣大大節(jié)省了時(shí)間。由圖1可知,在圖像中處理的黃花菜多為嫩黃色和青色,為了使圖像的亮度明顯,采用加權(quán)平均法完成圖像灰度處理;采用中值濾波的方法,該方法根據(jù)窗口內(nèi)所有像素點(diǎn)進(jìn)行灰度值排序,該技術(shù)屬非線性處理,其目的是抑制圖像中的脈沖噪聲,所以選擇太大的窗口會(huì)影響圖像的邊緣信息。根據(jù)黃花菜外型呈細(xì)長(zhǎng)橢圓、彎曲、有柄形狀對(duì)圖像進(jìn)行處理,加入噪聲使圖像對(duì)比明顯易于進(jìn)行處理,最后選用處理速度快,分割效果好和凸顯目標(biāo)的基于灰度直方圖的Ostu自適應(yīng)閾值分割算法對(duì)黃花菜圖像進(jìn)行分割處理。
上述圖像處理只是把黃花菜從圖像中分割出來(lái),對(duì)于其特征量并沒(méi)有進(jìn)行提取。目前,大多數(shù)圖像識(shí)別算法完成識(shí)別都是依據(jù)目標(biāo)物的特征值,對(duì)于未提取目標(biāo)物的特征值并不適用。因此,可以根據(jù)黃花菜的特點(diǎn)采用具有深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)算法建立識(shí)別系統(tǒng)。首先,在構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)時(shí)輸入黃花菜的特性添加多層隱層以達(dá)到預(yù)期的處理效果,使網(wǎng)絡(luò)具有深度學(xué)習(xí)特性;并且要引用較小的卷積核使各層之間緊密連接同時(shí)兼顧了算法的拓展性。具有深度自學(xué)習(xí)機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)相比,在自然環(huán)境下獲取的圖像中識(shí)別成熟的黃花菜準(zhǔn)確率要高。
完成了黃花菜機(jī)器人視覺(jué)系統(tǒng)中的圖像處理以及對(duì)目標(biāo)果實(shí)的提取,最關(guān)鍵的一步還需要完成對(duì)目標(biāo)果實(shí)的定位。使用雙目相機(jī)一方面實(shí)現(xiàn)了對(duì)黃花菜圖像的采集,另一方面還要實(shí)現(xiàn)黃花菜的空間定位,就需要找出所采圖像中二維空間與三維空間之間的對(duì)應(yīng)關(guān)系。我們以被動(dòng)方式來(lái)采集圖像信息,采用多圖重構(gòu)三維的方法進(jìn)行場(chǎng)景的復(fù)原和目標(biāo)的定位。該方法中的普通立體視覺(jué)猶如人類的雙眼,指的是通過(guò)兩個(gè)相機(jī)同時(shí)采集圖像,因?yàn)樗鼈儞碛幸粯拥膸缀谓Y(jié)構(gòu),就可以避免外界一些不必要的干擾,更加適用于自然環(huán)境中采集圖像,實(shí)現(xiàn)對(duì)目標(biāo)果實(shí)的定位。
3 總結(jié)
根據(jù)黃花菜的顏色以及外形進(jìn)行定性分析并對(duì)采集到的圖像進(jìn)行預(yù)處理,并且通過(guò)卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí),能夠?qū)D片中出現(xiàn)的成熟的黃花菜位置進(jìn)行識(shí)別。對(duì)黃花菜機(jī)器人當(dāng)中的視覺(jué)系統(tǒng)進(jìn)行研究,使黃花菜采摘的智能化、機(jī)械化成為可能。但對(duì)黃花菜果實(shí)的識(shí)別和定位算法所存在的問(wèn)題,未來(lái)還應(yīng)該針對(duì)以下幾個(gè)問(wèn)題展開研究:
由于栽種的黃花菜品種不同,所以需要對(duì)黃花菜的形狀與栽培模式進(jìn)行分類,建立符合某一類別特征的黃花菜識(shí)別與定位算法,使該算法對(duì)這一類黃花菜的識(shí)別與定位的準(zhǔn)確性具有良好的適應(yīng)性,這樣可以達(dá)到算法準(zhǔn)確性和普適性提高的目的。
另一方面,加大樣本的采集,因?yàn)樯窠?jīng)網(wǎng)絡(luò)訓(xùn)練的樣本量越多,所建立的識(shí)別系統(tǒng)也就越精準(zhǔn)。對(duì)于圖像中存在多個(gè)目標(biāo)物的識(shí)別,尤其是在遮擋的問(wèn)題上,隨著深度學(xué)習(xí)理論的不斷發(fā)展與改進(jìn),圖像數(shù)據(jù)的處理可模擬人腦的邏輯思維來(lái)完成,算法的智能化可進(jìn)一步得到提升。
視覺(jué)系統(tǒng)是黃花菜機(jī)器人采摘實(shí)現(xiàn)的重要組成部分,其性能好壞決定了黃花菜機(jī)器人采摘的效率、速度和質(zhì)量,同時(shí)也是黃花菜機(jī)器人成功研制的關(guān)鍵一步。因此,提高黃花菜機(jī)器人視覺(jué)系統(tǒng)的工作性能對(duì)于推進(jìn)黃花菜機(jī)器人的發(fā)展具有重要的意義。
參考文獻(xiàn)
[1]項(xiàng)榮,應(yīng)義斌,蔣煥煜.田間環(huán)境下果蔬采摘快速識(shí)別與定位方法研究進(jìn)展[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2013,44(11):208-223.
[2]孟祥利.近色背景下溫室青椒目標(biāo)視覺(jué)識(shí)別技術(shù)研究[D].江蘇大學(xué),2018.
[3]金保華,殷長(zhǎng)魁,張衛(wèi)正,等.基于機(jī)器視覺(jué)的蘋果園果實(shí)識(shí)別研究綜述[J].輕工學(xué)報(bào),2019,34(02):71-81.
[4]程祥云,宋欣.果蔬采摘機(jī)器人視覺(jué)系統(tǒng)研究綜述[J].浙江農(nóng)業(yè)科學(xué),2019,60(03):490-493.
[5]李立新,高德武,王笑峰,孫雪文,勇力波,李日新.黃花菜的特征特性及栽培技術(shù)[J].現(xiàn)代農(nóng)業(yè)科技,2019(01):83-87.
[6]李慧瑤.黃花菜的多種價(jià)值及傳統(tǒng)加工工藝的綜述[J].農(nóng)家參謀,2018(21):48-92.
[7]張小俊,劉歡歡,趙少魁,等.機(jī)器人智能化研究的關(guān)鍵技術(shù)與發(fā)展展望[J].機(jī)械設(shè)計(jì),2016,33(08):1-7.
項(xiàng)目
北方民族大學(xué)研究生創(chuàng)新項(xiàng)目,項(xiàng)目編號(hào):YCX19095。