朱 莉,陳茗溪,徐勝勇,楊 勇,趙海濤,王怡田
(1.湖北工業(yè)大學(xué) 太陽(yáng)能高效利用湖北省協(xié)同創(chuàng)新中心,武漢 430068;2.華中農(nóng)業(yè)大學(xué) 工學(xué)院,武漢 430070)
?
基于多層約束立體視覺(jué)的采棉機(jī)器人視覺(jué)系統(tǒng)研究
朱莉1,陳茗溪2,徐勝勇2,楊勇2,趙海濤2,王怡田2
(1.湖北工業(yè)大學(xué) 太陽(yáng)能高效利用湖北省協(xié)同創(chuàng)新中心,武漢430068;2.華中農(nóng)業(yè)大學(xué) 工學(xué)院,武漢430070)
摘要:大田成熟棉花的識(shí)別和定位是采棉機(jī)器人作業(yè)的基本前提。為此,提出一種采棉機(jī)器人視覺(jué)系統(tǒng)解決方案。首先根據(jù)棉纖維顏色特點(diǎn),將彩色棉田圖像分離為RGB 3個(gè)通道,分別進(jìn)行預(yù)處理和閾值分割,最后合并為彩色圖像,繼而檢測(cè)大面積區(qū)域的輪廓并計(jì)算其質(zhì)心點(diǎn);在輪廓附近區(qū)域?qū)︻A(yù)處理過(guò)的棉田圖像進(jìn)行FAST角點(diǎn)檢測(cè),使用SUFT特征描述并進(jìn)行四層約束立體匹配,結(jié)合隱式定標(biāo)參數(shù)可計(jì)算出特征點(diǎn)的空間坐標(biāo);最后,建立了一種考慮鏡頭縮放影響的輪廓面積/最小外接圓面積比值的成熟度估計(jì)模型。實(shí)驗(yàn)結(jié)果表面:本方法可在準(zhǔn)確識(shí)別和定位大田棉花的同時(shí)判斷棉花的成熟度。
關(guān)鍵詞:大田棉花;棉纖維檢測(cè);立體視覺(jué);成熟度分級(jí)
0引言
我國(guó)是世界上最大的棉花生產(chǎn)國(guó)、消費(fèi)國(guó)和進(jìn)口國(guó),但至今棉花收獲仍主要依靠人工。勞動(dòng)力的緊缺導(dǎo)致采棉成本的激增,也限制了棉花的種植規(guī)模?;谟?jì)算機(jī)視覺(jué)的采棉機(jī)器人結(jié)合了人工采摘與機(jī)械式采摘的優(yōu)點(diǎn),可以有效解決棉花采摘的效率與品質(zhì)之間的問(wèn)題[1]。準(zhǔn)確地識(shí)別與定位作業(yè)目標(biāo)是機(jī)器人自動(dòng)化采摘作業(yè)的關(guān)鍵。
采棉機(jī)器人要實(shí)現(xiàn)自動(dòng)采摘,第1步需要從大田中檢測(cè)出棉花。當(dāng)前的棉花檢測(cè)方法大多基于顏色特征進(jìn)行。自然光照下成熟期的棉花顏色與背景枝葉存在顯著差別,色彩差異是區(qū)分成熟棉花與背景的重要依據(jù)[2]。Guo等將棉花與雜物的彩色圖像劃分為3個(gè)通道,通過(guò)數(shù)據(jù)統(tǒng)計(jì)分析找到相應(yīng)的閾值來(lái)實(shí)現(xiàn)棉花與雜物的分割與識(shí)別[3]。劉坤等利用R-B色差作為棉花圖像的彩色模型,采用形態(tài)學(xué)濾波圖像并利用邊界跟蹤方法獲取棉桃基本輪廓[4]。文獻(xiàn)[5]提出在YCbCr顏色空間下采用粒子群和K均值混合聚類算法檢測(cè)棉花。劉坤等提出基于 HSV 彩色空間中的S分量進(jìn)行圖像分割,并進(jìn)行了基于小波變換的優(yōu)化,提高了棉花識(shí)別的精度和速度[6]。
我國(guó)廣泛種植的細(xì)絨棉最佳采收期是吐絮后的5~7天,采摘過(guò)早或過(guò)晚都會(huì)導(dǎo)致產(chǎn)量和品質(zhì)的下降。機(jī)器人視覺(jué)系統(tǒng)需要判斷棉花的成熟度,以保證作業(yè)效率和采棉品質(zhì)[7]。目前,對(duì)棉花成熟度分級(jí)主要依據(jù)二維圖像的顏色和形狀特征進(jìn)行。如王勇等利用成熟期棉桃表面顏色特征,利用色差信息建立識(shí)別模型將成熟棉桃從背景中識(shí)別出[8]。韋皆頂?shù)然贖SV模型依據(jù)面積特征對(duì)圖像信息未缺失的棉花圖像分割,并依據(jù)成熟棉花棉瓣的分散性和單朵棉花面積較大等特性判別棉花成熟度[9]。時(shí)顥等對(duì)OHTA顏色空間的棉花圖像進(jìn)行分割并提取形狀特征,繼而使用粒子群優(yōu)化算法(PSO)優(yōu)化支持向量機(jī)(SVM)進(jìn)行棉桃成熟度判斷[7]。
作業(yè)目標(biāo)的空間定位是機(jī)器人作業(yè)的另一個(gè)關(guān)鍵環(huán)節(jié)。一種方法是采用視覺(jué)定位和物理測(cè)距結(jié)合的方式獲取目標(biāo)深度信息[10]。如王玲使用紅外測(cè)距裝置和圖像處理技術(shù)結(jié)合棉花的農(nóng)學(xué)生長(zhǎng)特性測(cè)量單朵棉花的距離[11]。更快速而低成本的方法是使用立體視覺(jué)技術(shù):魏澤鼎等構(gòu)建了以CMOS圖像傳感器為基礎(chǔ)的雙目圖像采集系統(tǒng),根據(jù)RAM中的行列數(shù)據(jù)求解果實(shí)的質(zhì)心平面坐標(biāo)并根據(jù)雙目立體視差法完成棉花果實(shí)的空間定位[12];瞿端陽(yáng)等組建了雙目立體視覺(jué)系統(tǒng)計(jì)算棉株的深度信息并進(jìn)行校正,定位誤差均值為20.58 mm[13]。
因?yàn)槊尢锃h(huán)境的復(fù)雜性,成熟棉花的快速、準(zhǔn)確的識(shí)別和定位仍是采棉機(jī)器人視覺(jué)系統(tǒng)中的難題。普通的立體視覺(jué)方法平均定位誤差超過(guò)20mm[13],不能滿足機(jī)器人的性能需求。為此,本文研究了一種成熟棉花識(shí)別與定位技術(shù),用于檢測(cè)棉田中的棉纖維區(qū)域并計(jì)算區(qū)域質(zhì)心作為備選采收點(diǎn),再運(yùn)用優(yōu)化的立體視覺(jué)方法獲取采收點(diǎn)的空間坐標(biāo)。同時(shí),考慮鏡頭縮放的影響建立了基于面積特征的棉花成熟度判定模型,為負(fù)壓式采棉機(jī)器人的視覺(jué)系統(tǒng)研制提供了范例。
1棉花檢測(cè)與二維定位
成熟棉花顏色大體為奶白色,棉花成熟時(shí),棉田背景顏色大體為灰色或者深綠色,兩者差異很大,可以依據(jù)顏色差異特征將棉花從棉田背景中識(shí)別出來(lái)。若直接將彩色棉田冠層圖像轉(zhuǎn)換為灰度圖像進(jìn)行閾值分割,受大田光照形成的陰影影響,將導(dǎo)致大量的錯(cuò)誤分割。
在RGB顏色空間中,RGB 3個(gè)顏色分量近似相等時(shí)構(gòu)成白色。因此,將彩色圖像分離為RGB 3個(gè)通道之后分別進(jìn)行處理,再進(jìn)行融合可有效分離背景和前景。先對(duì)3個(gè)通道圖像進(jìn)行中值濾波濾除隨機(jī)噪聲,并進(jìn)行OTSU閾值分割得到包含棉花的大量區(qū)域。采用數(shù)學(xué)形態(tài)學(xué)開、閉運(yùn)算結(jié)合的方式去除小塊的噪聲區(qū)域,最后合并3個(gè)顏色通道并提取其中的輪廓, 將周長(zhǎng)較小的輪廓濾除,得到表征棉花的區(qū)域,進(jìn)而計(jì)算輪廓的質(zhì)心像素坐標(biāo),作為機(jī)器人作業(yè)的備選采收點(diǎn)。圖1為大田棉花檢測(cè)與二維定位的程序流程圖。
圖1 棉花檢測(cè)與二維定位的程序流程圖
2立體視覺(jué)三維定位
2.1隱式相機(jī)定標(biāo)
攝像機(jī)標(biāo)定用于獲取攝像機(jī)內(nèi)外參數(shù),是由二維圖像恢復(fù)三維空間信息的關(guān)鍵步驟之一。隱式相機(jī)標(biāo)定參數(shù)是一個(gè)3×4的參數(shù)矩陣,表征了空間點(diǎn)對(duì)圖像點(diǎn)的投影關(guān)系。一次完整的定標(biāo)操作包括4個(gè)步驟:定標(biāo)準(zhǔn)備、定標(biāo)圖像采集、控制點(diǎn)信息獲取和定標(biāo)參數(shù)計(jì)算。圖2所示為實(shí)驗(yàn)平臺(tái),可使用電動(dòng)平移臺(tái)帶動(dòng)圓形平面定標(biāo)板做精確的、距離已知的平移,拍攝不同距離上的定標(biāo)板圖像。在定標(biāo)板圖像中檢測(cè)橢圓的圓心作為控制點(diǎn)的像素坐標(biāo);根據(jù)定標(biāo)板制作時(shí)的定標(biāo)圖案空間距離規(guī)則,在建立的世界坐標(biāo)系中賦值世界坐標(biāo)。建立考慮鏡頭畸變誤差的相機(jī)模型,則有
(1)
其中,式(1)是齊次坐標(biāo)形式的方程,(u,v)是控制點(diǎn)的圖像坐標(biāo), (X,Y,Z)是控制點(diǎn)對(duì)應(yīng)的空間坐標(biāo),M是待求的隱式定標(biāo)參數(shù)矩陣,(δu,δv)是同時(shí)考慮徑向和切向誤差的鏡頭畸變誤差。
將控制點(diǎn)的圖像坐標(biāo)和世界坐標(biāo)代入式(1),使用線性最小二乘計(jì)算初始定標(biāo)矩陣;再根據(jù)反投影誤差,在畸變方程中計(jì)算初始鏡頭畸變系數(shù);最后建立全局極大似然估計(jì)的目標(biāo)函數(shù),使用L-M算法估計(jì)最終的3×4隱式定標(biāo)參數(shù)矩陣。
圖2 雙目相機(jī)標(biāo)定實(shí)驗(yàn)平臺(tái)
2.2自適應(yīng)半徑FAST特征點(diǎn)檢測(cè)與描述
c∈(0,1)
(2)
其中,xi為特征點(diǎn)向量,xj為特征點(diǎn)的鄰域向量,c為參數(shù)閥值,DOG為L(zhǎng)aplacian of Gaussian算子。 計(jì)算角點(diǎn)的SURF(Speeded Up Robust Features)描述子,用于后續(xù)的特征匹配。
2.3立體匹配與三維坐標(biāo)計(jì)算
立體匹配算法通過(guò)建立合理的能量代價(jià)函數(shù),增加一些約束、采用最優(yōu)化理論的方法最小化能量代價(jià)函數(shù)來(lái)估計(jì)像素點(diǎn)視差值。在待匹配的兩個(gè)特征點(diǎn)集中,使用歐式距離度量的閾值Dth,當(dāng)兩個(gè)目標(biāo)描述子A和B的距離滿足dA-B∈[0,Dth]時(shí)匹配成功,進(jìn)行了初次遴選;對(duì)于Dth_max>dA-B>Dth待定的特征點(diǎn),將距離特征點(diǎn)的最近距離和次最近距離的比值RA/B作為參考量,則有
(3)
同時(shí),設(shè)定閥值Rth_r,當(dāng)RA/B≤Rth_r時(shí)A與B匹配成功,完成二次遴選。隨后采用隨機(jī)抽樣一致性算法剔除誤匹配點(diǎn),再利用極線約束進(jìn)一步提高匹配點(diǎn)對(duì)的精確度。對(duì)于64維SURF描述子向量,為加快匹配搜索速度,采用最優(yōu)區(qū)間搜索(BBF)算法。完整的算法流程圖如圖3所示。
圖3 立體視覺(jué)算法程序流程圖
圖像上的一對(duì)匹配點(diǎn)p1和p2由空間點(diǎn)P(x,y,z)投影而成,空間點(diǎn)3個(gè)未知坐標(biāo)構(gòu)成了4個(gè)方程組成的超定方程組。在實(shí)現(xiàn)左右兩幅圖像上特征點(diǎn)正確匹配和相機(jī)內(nèi)外參數(shù)矩陣以標(biāo)定的基礎(chǔ)上,解這個(gè)超定方程組即可獲得特征點(diǎn)的三維信息。
3棉花成熟度判定
成熟度高的棉花的棉纖維膨脹、棉莢已經(jīng)完全裂開甚至脫落,棉纖維被棉莢遮擋的面積較??;而未成熟的棉花正好相反,棉纖維大部分被棉莢包圍。因此,根據(jù)該特征判斷棉花的成熟度。當(dāng)棉花傾角較小時(shí),成熟棉花的輪廓接近于一個(gè)圓形,所以其輪廓的擬合橢圓參數(shù)中的擬合度可以表征棉花的傾角大小。部分文獻(xiàn)中使用棉花輪廓的面積來(lái)衡量棉花的成熟程度,由于沒(méi)有考慮到棉花距離相機(jī)的距離,因而是不準(zhǔn)確的。
不同成熟度的棉花,棉莢遮擋棉纖維的程度不同。此時(shí),將待檢棉花區(qū)域的面積記作Sc;待檢棉花區(qū)域輪廓的外接圓視作包圍棉花的棉莢,其面積記作Sp。棉花傾角較大時(shí),外接圓面積與棉纖維區(qū)域棉莢的比值越大,棉花成熟度越高,此時(shí)判別規(guī)為
(4)
其中,Kp/c是成熟度系數(shù),fc是待檢棉纖維區(qū)域輪廓的橢圓擬合度,F(xiàn)T是實(shí)驗(yàn)測(cè)定的擬合度閥值。
式(4)過(guò)于簡(jiǎn)略,必須考慮棉花距離相機(jī)平面的距離帶來(lái)的縮放影響。在立體視覺(jué)方法獲取的視差圖中,與棉花區(qū)域質(zhì)心距離最近的像素點(diǎn)灰度值為Pcen,該灰度值表征了該點(diǎn)與相機(jī)距離的遠(yuǎn)近。最終棉花成熟度判定規(guī)則為
(5)
4實(shí)驗(yàn)與結(jié)果分析
4.1棉花識(shí)別與二維定位實(shí)驗(yàn)
圖4為棉田圖像分割的結(jié)果。圖4左圖是彩色的棉田圖像灰度化之后直接進(jìn)行OSTU閥值分割的結(jié)果,效果較差,檢測(cè)出了大量的非目標(biāo)區(qū)域,導(dǎo)致多檢測(cè)出一個(gè)非目標(biāo)質(zhì)心;圖4中圖是GrabCut算法[14]的檢測(cè)結(jié)果,準(zhǔn)確檢測(cè)出目標(biāo),同時(shí)噪聲區(qū)域最少;圖4右圖是本文的算法結(jié)果,檢測(cè)出完整的棉花,噪聲區(qū)域水平處于前兩者之間。GrabCut算法不是自動(dòng)的圖像分割技術(shù),需要人工選定矩形框,且時(shí)間運(yùn)行時(shí)間較長(zhǎng)。本文的算法在保證檢測(cè)精度的同時(shí),具有運(yùn)行速度上的優(yōu)勢(shì)。
表1比較了本文方法提取的和人工提取的棉花質(zhì)心坐標(biāo)(在WINDOWS畫圖軟件中進(jìn)行),表中的單位均為像素。由表1可知:該方法具有較好的采摘精度,可以滿足采棉機(jī)器人的作業(yè)要求。
圖4 棉田圖像分割效果比較
編號(hào)計(jì)算坐標(biāo)實(shí)際坐標(biāo)誤差1(263,480)(270,491)11.42(107,384)(117,413)21.53(230,291)(240,308)19.7
4.2立體視覺(jué)實(shí)驗(yàn)
雙目立體視覺(jué)系統(tǒng)需要1對(duì)相機(jī),使用兩個(gè)同型號(hào)的CCD相機(jī)安裝在固定底座上,兩個(gè)光軸平行,調(diào)節(jié)攝像頭和焦距使得兩個(gè)攝像頭的視場(chǎng)范圍有較大的重疊。拍攝了一組定標(biāo)板圖像和1對(duì)棉花圖像,圖像分辨率為2 592×1 944。
圖5展示了立體視覺(jué)實(shí)驗(yàn)結(jié)果。
圖5 特征檢測(cè)與立體匹配
圖5左圖為FAST特征檢測(cè)和SURF描述的匹配結(jié)果,共檢測(cè)出591個(gè)特征點(diǎn),目標(biāo)圖像檢測(cè)到556個(gè)特征點(diǎn)與之匹配,用時(shí)2.3s,匹配區(qū)域?yàn)榘咨驁D內(nèi)。棉花圖像中各像素點(diǎn)相對(duì)于攝像機(jī)的距離可以用深度圖來(lái)表示。使用常規(guī)的立體視覺(jué)方法[13]得到的深度圖如圖5右上所示;本文方法獲取的深度圖如圖5右下圖所示,效果有顯著的提升。
4.3棉花成熟度判定實(shí)驗(yàn)
選取了成熟度依次降低的4朵棉花,編號(hào)依次為1~4,如圖6左圖所示。使用本文的算法檢測(cè)棉花的輪廓并計(jì)算最小外接圓,結(jié)果如圖6右圖所示。源圖像中的4朵棉花均準(zhǔn)確地檢測(cè)出來(lái),且最小外接圓的計(jì)算也非常準(zhǔn)確。
圖6 棉花的外接圓計(jì)算
測(cè)試了成熟度識(shí)別方法的有效性,結(jié)果如表2所示,面積的單位為像素。若僅僅按照棉纖維區(qū)域的像素面積為基準(zhǔn),2號(hào)棉花成熟度最大,實(shí)際上1號(hào)棉花的成熟度最高。這種誤判是沒(méi)考慮距離相機(jī)遠(yuǎn)近不同導(dǎo)致的投影面積縮放影響。本例中,完全成熟的1號(hào)棉花的成熟度系數(shù)最大,遠(yuǎn)超過(guò)其他樣本;其他樣本的成熟度均未超過(guò)1,考慮到可能存在的測(cè)量誤差,可以將本文算法的成熟度判定系數(shù)設(shè)置為1或略大于1。
表2 棉花成熟度分級(jí)
5討論與結(jié)論
當(dāng)前,面向采棉機(jī)器人的視覺(jué)系統(tǒng)相關(guān)技術(shù)研究并不充分,嚴(yán)重制約了采棉機(jī)器人技術(shù)的發(fā)展和應(yīng)用。針對(duì)自然光照下的棉花三維信息獲取難度大、精度低的不足,本文提出了多層約束立體視覺(jué)方法,有效提升了采棉機(jī)器人視覺(jué)系統(tǒng)的定位精度、速度和易用性。同時(shí),對(duì)于離散空間分布、大小和姿態(tài)各異的不同品種棉花,建立了融合圖像和空間信息的棉花成熟度特征描述和分級(jí)模型,有效提升了采棉機(jī)器人采棉品質(zhì)和作業(yè)效率。
參考文獻(xiàn):
[1]韋皆頂,費(fèi)樹崛,汪木蘭,等.采棉機(jī)器人的研究現(xiàn)狀及關(guān)鍵技術(shù)[J].農(nóng)機(jī)化研究, 2007(7):14-18.
[2]劉金帥,賴惠成,賈振紅.基于YCbCr顏色空間和Fisher判別分析的棉花圖像分割研究[J].作物學(xué)報(bào),2011(7):1274-1279.
[3]Ying-Ying Guo, X-J W,Yu-Sheng Zhai.A novel method for identification of cotton contaminants based on machine vision[J].Optik,2014,125(6):1707-1710.
[4]劉坤,費(fèi)樹岷,汪木蘭.基于改進(jìn)隨機(jī)Hough變換的棉桃識(shí)別技術(shù)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2010,41(8):160-165.
[5]時(shí)顥,賴惠成,覃錫忠.粒子群與K均值混合聚類的棉花圖像分割算法[J].計(jì)算機(jī)工程與應(yīng)用,2013,49(21):226-229.
[6]劉坤,費(fèi)樹岷,汪木蘭.采棉機(jī)器人中棉花圖像輪廓提取[J].制造業(yè)自動(dòng)化,2012,34(7):5-7.
[7]時(shí)顥,賴惠成,汪烈軍,等.基于形狀特征的棉花成熟度判別方法[J].中國(guó)農(nóng)機(jī)化學(xué)報(bào),2014(4):77-81.
[8]王勇,沈明霞,姬長(zhǎng)英.采摘期成熟棉花不同部位顏色識(shí)別分析[J].農(nóng)業(yè)工程學(xué)報(bào),2007,23(4):183-185.
[9]韋皆頂,費(fèi)樹岷,汪木蘭,等.基于HSV彩色模型的自然場(chǎng)景下棉花圖像分割策略研究[J].棉花學(xué)報(bào),2008(1):34-38.
[10]王玲,劉思瑤,盧偉,等.面向采摘機(jī)器人的棉花激光定位算法[J].農(nóng)業(yè)工程學(xué)報(bào),2014(14):42-48.
[11]王玲,鄒小昱,劉思瑤,等.棉花采摘機(jī)器人紅外測(cè)距技術(shù)研究[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2014(7):61-66.
[12]魏澤鼎,賈俊國(guó),王占永.基于視覺(jué)傳感器的棉花果實(shí)定位方法[J].農(nóng)機(jī)化研究,2012,34(6):66-68,112.
[13]瞿端陽(yáng),王維新,馬本學(xué),等.基于機(jī)器視覺(jué)技術(shù)的棉株識(shí)別定位[J].中國(guó)棉花,2013,40(2):16-19.
[14]C Rother,V K,A Blake.GrabCut: Interactive foreground extraction using iterated graph cuts[J].ACM Transaction on Graphics,2004,23(3):309-314.
Visual System of Cotton-harvesting Robot Based on Multilayer Restraint Stereo Vision
Zhu Li1,Chen Mingxi2,Xu Shengyong2,Yang Yong2,Zhao Haitao2,Wang Yitian2
(1.Hubei Collaborative Innovation Center for High-efficiency Utillization of Salar Energy, Hubei University of Technology, Wuhan 430068, China;2.College of Engineering, Huazhong Agricultural University, Wuhan 430070,China)
Abstract:The mature cotton identification and positioning in the field are the basic premise for cotton-harvesting robot. A robot vision system solution was suggested by this manuscript. Firstly, cotton field image was separated into RGB channels according to the characteristics of cotton fiber.The divided image was pre-processed and threshold-operated respectively and three channels were merged into a color image. The contours in the image were determined and the centroid was calculated. In the neighboring area of the contour, the feature points were detected using FAST corner detection algorithm and described with SURF feature description, then four constraints feature matching was adopted. Combining with the implicit calibration parameters, the 3D coordinates value was calculated.A cotton maturity estimation model was established using the impact of the contour area / minimum area ratio of the circumscribed circle considering the influence of a zoom lens. Experimental results showed the proposed method may be identified and located the cotton in the field accurately and the maturity of cotton was confirmed at the same time.
Key words:cotton in the field; cotton fiber detection; stereo vision; maturity grading
文章編號(hào):1003-188X(2016)07-0229-05
中圖分類號(hào):S225;TP391.41
文獻(xiàn)標(biāo)識(shí)碼:A
作者簡(jiǎn)介:朱莉(1982-),女,武漢人,講師,博士,(E-mail) julianabiding@126.com。通訊作者:徐勝勇(1980-),男,湖北蘄春人,講師,博士,(E-mail)xsy@mail.hzau.edu.cn。
基金項(xiàng)目:湖北省自然科學(xué)基金面上項(xiàng)目(2014CFB589);中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)(2014QC004);太陽(yáng)能高效利用湖北省協(xié)同創(chuàng)新中心開放基金資助項(xiàng)目 (HBSKFMS2014032)
收稿日期:2015-05-18