雙目視覺技術(shù)在農(nóng)業(yè)監(jiān)測中的應(yīng)用現(xiàn)狀及展望

鞠執(zhí)一，鄧干然，李旭榮，李 玲，何馮光，李國杰

（1.華中農(nóng)業(yè)大學(xué)工學(xué)院，湖北 武漢 430070；2.中國熱帶農(nóng)業(yè)科學(xué)院農(nóng)業(yè)機(jī)械研究所，廣東 湛江 524091；3.農(nóng)業(yè)農(nóng)村部熱帶作物農(nóng)業(yè)裝備重點(diǎn)實(shí)驗(yàn)室，廣東 湛江 524091）

0 引言

隨著我國農(nóng)業(yè)技術(shù)水平的發(fā)展，農(nóng)業(yè)生產(chǎn)正在向信息化和智能化方向發(fā)展[1]。為了實(shí)現(xiàn)智慧農(nóng)業(yè)，應(yīng)對農(nóng)產(chǎn)品進(jìn)行實(shí)時(shí)監(jiān)控，這就需要把農(nóng)產(chǎn)品從復(fù)雜的生產(chǎn)環(huán)境中識別出來。雙目視覺作為一種可以模擬人類視覺的視覺系統(tǒng)，可以拍攝景深圖像（RGB-D 圖像），其生成的文件不僅可以得到目標(biāo)物的色彩圖像（RGB 圖像），而且可以得到目標(biāo)物空間位置的立體圖像（D 圖像），從而為后續(xù)的生產(chǎn)活動(dòng)提供精準(zhǔn)的數(shù)據(jù)。因此，雙目視覺技術(shù)已經(jīng)越來越多的在農(nóng)業(yè)生產(chǎn)當(dāng)中使用[2]。

較傳統(tǒng)的人工識別手段，雙目視覺技術(shù)使用成本低，可持續(xù)工作時(shí)間長。科研人員可以根據(jù)不同的使用場景，配套不同的機(jī)構(gòu)，從而實(shí)現(xiàn)不同的功能[3]。

1 國內(nèi)外研究現(xiàn)狀

目前，根據(jù)不同的農(nóng)產(chǎn)品的實(shí)際使用需求，國內(nèi)外對雙目視覺技術(shù)進(jìn)行了很多研究。這些研究成果可以幫助生產(chǎn)者及時(shí)獲取農(nóng)產(chǎn)品的生產(chǎn)信息，減少農(nóng)業(yè)生產(chǎn)中的勞動(dòng)力使用，增加農(nóng)產(chǎn)品的產(chǎn)量。

1.1 成熟果蔬識別與定位

在傳統(tǒng)的農(nóng)業(yè)生產(chǎn)當(dāng)中，尤其在農(nóng)產(chǎn)品日常管理階段（如施肥、噴灑農(nóng)藥等）和收獲階段需要大量的勞動(dòng)力。由于人工作業(yè)的局限性，易造成田間信息采集的延后，從而延誤了對農(nóng)產(chǎn)品的管理或已成熟農(nóng)產(chǎn)品的采摘，導(dǎo)致減產(chǎn)，最終影響經(jīng)濟(jì)收益。針對這些問題，國內(nèi)外的科研工作者利用雙目視覺技術(shù)提出了很多解決方案。經(jīng)過近些年的研究，通過雙目系統(tǒng)可以隨時(shí)獲取農(nóng)業(yè)生產(chǎn)中的視覺信息，為生產(chǎn)活動(dòng)提供及時(shí)的數(shù)據(jù)反饋，從而讓管理人員可以及時(shí)作出反應(yīng)。其工作流程圖如圖1 所示。

李元強(qiáng)等[4]利用雙目視覺技術(shù)設(shè)計(jì)了一種葡萄識別與定位系統(tǒng)，其特點(diǎn)是可以消除不同光照強(qiáng)度和葡萄果穗重疊對識別定位精確度的影響，并利用雙目相機(jī)視差獲得深度圖進(jìn)行葡萄定位，試驗(yàn)表明，在識別范圍在80～150 cm 時(shí)，其定位誤差小于1%；識別范圍在150～300 cm 時(shí)，其定位誤差不超過2%，準(zhǔn)確率可達(dá)85.4%。

陳燕等[5]利用雙目視覺技術(shù)設(shè)計(jì)的荔枝采摘機(jī)器人，其特點(diǎn)是通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)提高荔枝的識別與定位精度。其在預(yù)定位距離為3 m 時(shí)，最大誤差為36.6 mm，最大誤差率為0.84%，并且處理速度可以達(dá)到22 幀/s。在識別精度與識別速度上都能滿足實(shí)際生產(chǎn)中荔枝視覺預(yù)定位要求，提高機(jī)器人的采摘效率。

LEHNERT 等[6]設(shè)計(jì)了一種基于雙目視覺的甜辣椒采摘系統(tǒng)，使用Kinect 雙目視覺技術(shù)采集甜椒的信息之后，通過最小二乘法和超橢球擬合優(yōu)化處理圖形，識別出成熟甜椒。其最大特點(diǎn)是在僅得到部分甜椒空間數(shù)據(jù)的情況下，通過超橢球擬合優(yōu)化算法可以補(bǔ)全甜椒的空間數(shù)據(jù)，如圖2 所示紅色部分為識別出的甜辣椒，藍(lán)色部分為算法補(bǔ)全的甜辣椒空間數(shù)據(jù)，在視角有30°干擾時(shí)，識別率可達(dá)80%。

圖2 超橢圓模型擬合結(jié)果

1.2 農(nóng)作物長勢監(jiān)測

農(nóng)作物的生長過程中幾何形態(tài)的變化數(shù)據(jù)可以直接反應(yīng)其生長情況，同時(shí)也對農(nóng)作物的產(chǎn)量和品質(zhì)預(yù)測有非常重要的指導(dǎo)意義。傳統(tǒng)的人工測量效率低下，甚至可能對農(nóng)作物的正常生長造成影響。為了克服這些缺點(diǎn)，科研工作者開始將雙目視覺技術(shù)應(yīng)用到農(nóng)作物的生長監(jiān)測當(dāng)中[7-8]。

陳冉[9]根據(jù)雙目視覺技術(shù)設(shè)計(jì)了一款綠葉植物的幾何形態(tài)監(jiān)測軟件，可以對綠色植物的葉片進(jìn)行多方位監(jiān)測，并建立三維模型，用來獲取葉片的角度、面積等信息，用來分析植物生長情況，方便管理。與傳統(tǒng)方法相比該軟件不會(huì)干擾植株的正常生長，并且可以得到連續(xù)的數(shù)據(jù)。與傳統(tǒng)的投影面積法相比其建模最大誤差較小，最大誤差為10%。

殷悅等[10]根據(jù)雙目視覺技術(shù)設(shè)計(jì)了一款擬南芥三維重建系統(tǒng)，通過圖像預(yù)處理后使用SURF 特征檢測算法和SIFT 特征匹配算法對擬南芥進(jìn)行建模，其原理圖如圖3 所示，可利于后期擬南芥功能研究和植保機(jī)械研究等。其單次建模時(shí)間為30 s，最大誤差為5%。

圖3 擬南芥圖像采集雙目立體視覺系統(tǒng)原理框圖

FAN Y 等[11]設(shè)計(jì)了一種使用雙目視覺系統(tǒng)的樹木監(jiān)測系統(tǒng)，可以通過得到的樹木高度和樹徑數(shù)據(jù)分析樹木長勢。其特點(diǎn)是使用手機(jī)端進(jìn)行測量控制和使用量增強(qiáng)現(xiàn)實(shí)技術(shù)（Augmented Reality），不僅大大增加了監(jiān)測時(shí)的便攜性，而且可以讓觀察者直觀地判斷觀察的準(zhǔn)確性。其樹高測量誤差為1.08%，樹徑測量誤差為1.78%。

1.3 牲畜長勢和行為監(jiān)測

近些年來，我國的畜牧養(yǎng)殖行業(yè)有了飛速的發(fā)展，為了提高養(yǎng)殖的管理水平，籠養(yǎng)和圈養(yǎng)的動(dòng)物越來越多。但是對其健康和體態(tài)的監(jiān)測，還是主要通過人工場地巡視，如果不能及時(shí)發(fā)現(xiàn)患病或死亡的牲畜，可能造成其他健康的牲畜感染，影響正常的生產(chǎn)活動(dòng)。因此，科研工作者將雙目視覺系統(tǒng)用于牲畜的日常監(jiān)測。

肖林芳[12]根據(jù)雙目識別技術(shù)設(shè)計(jì)了一種監(jiān)測蛋雞飲水和覓食行為的系統(tǒng)，用來反饋蛋雞的健康狀況，其工作原理如圖4 所示。在蛋雞圖像采集之后，系統(tǒng)對蛋雞的身體和頭部分別識別，可以對多只蛋雞在同一籠的情況下，對每一只蛋雞分別統(tǒng)計(jì)其飲水和覓食情況。其采樣率可達(dá)到25 fps，識別率為93%。

圖4 籠養(yǎng)蛋雞行為感知示意圖

申云輝[13]設(shè)計(jì)了一種基于雙目視覺技術(shù)的羊體尺寸實(shí)時(shí)監(jiān)測系統(tǒng)，在圖像預(yù)處理之后，將羊體關(guān)鍵點(diǎn)的數(shù)據(jù)信息導(dǎo)入到Matlab 中處理，得到羊體尺寸，從而分析羊的生長發(fā)育狀況?？梢苑乐挂蛉斯y量造成的應(yīng)激反應(yīng)，與手工測量相比，最大相對誤差為2.5%。

NAKARMI 等[14]設(shè)計(jì)了一種基于雙目視覺技術(shù)和射頻雷達(dá)的圈養(yǎng)雞飼養(yǎng)監(jiān)測系統(tǒng)，將雙目鏡頭安裝在雞舍的頂部，并且在每只雞的腿部安裝有20 根微型天線的被動(dòng)射頻芯片，通過該系統(tǒng)自動(dòng)跟蹤記錄每只雞的生長狀況和活動(dòng)軌跡，記錄準(zhǔn)確率為95%。

1.4 田間昆蟲監(jiān)測

隨著農(nóng)業(yè)生產(chǎn)的不斷發(fā)展，研究昆蟲這種對農(nóng)業(yè)活動(dòng)有重要影響的物種的重要性愈發(fā)明顯。例如對昆蟲授粉行為的研究可以提高農(nóng)產(chǎn)品的產(chǎn)量，對昆蟲物理或化學(xué)特性的研究可以減少昆蟲對農(nóng)產(chǎn)品的危害[15]。傳統(tǒng)的昆蟲行為研究方法主要依靠人工，效率低下，而且不能獲得精確的運(yùn)動(dòng)軌跡和運(yùn)動(dòng)參數(shù)。因此科研人員開始使用雙目視覺對昆蟲進(jìn)行相關(guān)研究。

王文周[16]根據(jù)雙目識別技術(shù)設(shè)計(jì)了一種水稻害蟲的定向施藥機(jī)器人，樣機(jī)如圖5 所示。在雙目視覺視同識別和定位水稻害蟲之后，將害蟲空間坐標(biāo)傳遞給施藥機(jī)構(gòu)，實(shí)現(xiàn)精確給藥，顯著減少農(nóng)藥的使用，提高產(chǎn)品的安全性。該機(jī)器人施藥精度角度誤差為±1°，距離誤差最大不超過20 mm。

圖5 噴藥機(jī)器人樣機(jī)

李天寶等[17]使用Hirox RH-2000 雙目攝像機(jī)構(gòu)建了一套顯微攝像系統(tǒng)。該系統(tǒng)擁有160 倍放大鏡頭，可以在一次拍攝中對昆蟲進(jìn)行360°拍攝。針對昆蟲不同部位需要的放大倍數(shù)不同的問題，該系統(tǒng)可以將不同倍數(shù)下的立體照片進(jìn)行拼接合成一個(gè)完整的立體圖像。但是該系統(tǒng)對于鞘翅目昆蟲進(jìn)行拍攝時(shí)會(huì)受到該類昆蟲引起的反光干擾。

GUO Y[18]利用雙目視覺技術(shù)設(shè)計(jì)了一種捕捉菜粉蝶運(yùn)動(dòng)軌跡獲取技術(shù)，可以對快速飛行菜粉蝶進(jìn)行追蹤，精確獲得菜粉蝶的運(yùn)動(dòng)軌跡與運(yùn)動(dòng)參數(shù)，統(tǒng)計(jì)其數(shù)量；并根據(jù)上述數(shù)據(jù)，適量地使用農(nóng)藥，達(dá)到減輕蟲害的效果。該技術(shù)識別速度可達(dá)60 幀/s，對菜粉蝶最大的識別速度為0.68 m/s，可識別的最大加速度為12 m/s2，最大相對誤差為3.44%。

1.5 農(nóng)產(chǎn)品分級

為便于運(yùn)輸、加工和售賣，果蔬等往往需要經(jīng)過分級，按照不同的品質(zhì)進(jìn)行處理。傳統(tǒng)的人工分揀方式往往僅憑工人的經(jīng)驗(yàn)，缺少統(tǒng)一的標(biāo)準(zhǔn)。為了能增加果蔬識別的效率和準(zhǔn)確性，科研工作者將雙目視覺技術(shù)使用在果蔬分級當(dāng)中。

孔霄[19]使用雙目視覺技術(shù)設(shè)計(jì)了一種馬鈴薯快速無損分級技術(shù)，使用BM 算法在OpenCV 下獲取馬鈴薯表面信息和尺寸信息，采樣信息點(diǎn)達(dá)到3.4×105個(gè)，然后根據(jù)相應(yīng)行業(yè)標(biāo)準(zhǔn)對馬鈴薯進(jìn)行自動(dòng)分級。其分選模塊示意圖如圖6 所示。

圖6 分選模塊運(yùn)行示意圖

童旭[20]使用雙目視覺技術(shù)設(shè)計(jì)了一種水果表面缺陷檢測技術(shù)，利用優(yōu)化后的BP 神經(jīng)網(wǎng)絡(luò)對水果進(jìn)行表面質(zhì)量檢測，根據(jù)結(jié)果對水果進(jìn)行分級。與其他研究相比，該技術(shù)不僅研究了水果的表面缺陷，而且對缺陷的形狀等進(jìn)行了研究，可以提升分級精確度，減少人工分級中的不確定性，客觀性更強(qiáng)；使用的優(yōu)化BP 神經(jīng)網(wǎng)絡(luò)比普通BP 神經(jīng)網(wǎng)絡(luò)識別率提高14%，達(dá)到94%。

NISHI T 等[21]基于雙目視覺技術(shù)設(shè)計(jì)了一種果蔬分級系統(tǒng)，該系統(tǒng)為了提高運(yùn)算效率，降低了對硬件處理能力的要求：首先對圖片進(jìn)行壓縮，將圖片壓縮為50×50 像素，再進(jìn)行識別，識別率為98.1%。

1.6 無人設(shè)備路徑規(guī)劃

目前智能農(nóng)機(jī)的發(fā)展趨勢是無人化作業(yè)，在這種情況下無人農(nóng)機(jī)必須裝配實(shí)時(shí)的路徑規(guī)劃和障礙物檢測系統(tǒng)以保證無人農(nóng)機(jī)作業(yè)的安全性和效率。因此，國內(nèi)外科研人員利用雙目視覺技術(shù)進(jìn)行了大量的研究[22-23]。

張禮帥[24]根據(jù)雙目識別技術(shù)設(shè)計(jì)了一種履帶式無人噴藥機(jī)路徑規(guī)劃系統(tǒng)，可以實(shí)現(xiàn)無人噴藥機(jī)在果園中自主施藥作業(yè)，并且對行人和其他障礙物進(jìn)行規(guī)避，可以實(shí)現(xiàn)果園環(huán)境下行人和障礙物的檢測，為無人噴霧機(jī)的避障決策提供實(shí)時(shí)依據(jù)。其障礙物檢測流程如圖7 所示。該系統(tǒng)提高了無人機(jī)噴藥作業(yè)效率，減少了農(nóng)藥對工作人員的健康危害，檢測速度達(dá)到62.50 幀/s，在Z 方向上的相對誤差為1.64%，X 方向的相對誤差為1.83%。

圖7 雙目視覺障礙物檢測流程圖

程曦[25]利用雙目識別技術(shù)設(shè)計(jì)了一種植保無人機(jī)環(huán)境感知系統(tǒng)，使用立體匹配算法和邊緣特征加強(qiáng)算法，可以準(zhǔn)確識別并躲避電線桿等障礙物。其對探測范圍內(nèi)尺寸在100 mm 以上物體的探測誤差小于3%。

AGHI D[26]設(shè)計(jì)了一款基于雙目視覺技術(shù)的葡萄園導(dǎo)航系統(tǒng)，應(yīng)用D435i 并提供1 080 p 的高清畫面，使用高性能的處理器足以支持CNN 卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)光線對路徑規(guī)劃的影響。該系統(tǒng)內(nèi)置防碰撞系統(tǒng)，系統(tǒng)發(fā)現(xiàn)與障礙物距離過近時(shí)會(huì)緊急停止，在葡萄園中的運(yùn)行精度可達(dá)94%。

2 存在的問題

不同雙目視覺識別與定位技術(shù)都有其適合的使用環(huán)境，同時(shí)也受其所處環(huán)境的影響。即使是針對同種的應(yīng)用場景，也會(huì)受到諸多因素的影響。

2.1 光照

雙目視覺技術(shù)和其他視覺系統(tǒng)一樣，容易受到光源和光照強(qiáng)度影響。適當(dāng)?shù)墓庠纯梢允鼓繕?biāo)區(qū)域得到加強(qiáng)或減少背景的干擾，減少目標(biāo)區(qū)域和背景區(qū)域之間邊緣部位的干擾，讓目標(biāo)物更容易被提取出來[27]。

因此如果目標(biāo)物在自然條件下使用就需要系統(tǒng)根據(jù)使用時(shí)候的陽光條件進(jìn)行設(shè)置，如果目標(biāo)物在室內(nèi)環(huán)境條件下使用就可以選擇合適的光照條件。目標(biāo)物在不同光照條件和背景條件下又有著不同的識別特點(diǎn)，這就需要科研工作者進(jìn)行進(jìn)一步的研究[28]。

2.2 硬件性能不足

目前，雙目視覺技術(shù)的硬件選擇余地比較小。尤其是針對農(nóng)業(yè)生產(chǎn)環(huán)境的雙目攝像頭還沒有相關(guān)企業(yè)進(jìn)行生產(chǎn)。對知網(wǎng)已經(jīng)發(fā)布的有關(guān)農(nóng)業(yè)的雙目視覺系統(tǒng)統(tǒng)計(jì)發(fā)現(xiàn)，有90%的研究者要選用英特爾公司生產(chǎn)真實(shí)感系列攝像頭（Intel Realsence）和微軟公司的動(dòng)態(tài)連接系列攝像頭（Microsoft Kinect）。這兩個(gè)系列的攝像頭共同的缺點(diǎn)是其拍攝普通圖片的視場角均大于其拍攝立體圖片時(shí)候的視場角，這使得其部分圖像區(qū)域提供的信息無法準(zhǔn)確定位。

其中真實(shí)感系列攝像頭部分使用卷簾快門技術(shù)，該技術(shù)只適合在低幀率條件下使用。而動(dòng)態(tài)連接攝像頭主要是為室內(nèi)體感游戲研發(fā)，將其適配到農(nóng)業(yè)生產(chǎn)當(dāng)中需要研究者進(jìn)行單獨(dú)適配[29-30]。因此，適用于農(nóng)業(yè)的雙目視覺硬件有待開發(fā)。

2.3 軟件設(shè)計(jì)不足

目前雙目視覺識別算法在使用中仍有不足，例如容易受到復(fù)雜環(huán)境的影響，一種算法只能識別特定的目標(biāo)物，雙目識別算法的成功率和準(zhǔn)確度有待提升等問題。尤其是雙目視覺系統(tǒng)往往需要加裝其他機(jī)構(gòu)，如果識別過慢和定位精度不足，將無法為其他機(jī)構(gòu)提供可靠的數(shù)據(jù)，雙目識別技術(shù)的算法有待加強(qiáng)[31]。

3 發(fā)展趨勢

3.1 多目攝像

雙目攝像頭由于視角的限制，無法獲得足夠的圖像和空間信息。目前已有科研工作者開始研究三目甚至四目視覺系統(tǒng)。鄭偉峰等[32]設(shè)計(jì)了一種四目視覺定位方法，其視場角可達(dá)360°，信息獲取能力比一般的雙目相機(jī)高很多。該四目視覺系統(tǒng)任意2個(gè)攝像頭可構(gòu)成1 個(gè)雙目系統(tǒng)，對同一個(gè)點(diǎn)可以得到6 組測量數(shù)據(jù)，然后將其求均值得出最終結(jié)果，大大提高了測量的定位精確度。

3.2 其他硬件

因?yàn)殡p目視覺系統(tǒng)在某些情況下無法工作，一些科研工作者開展了與其他硬件同時(shí)使用或聯(lián)合使用的研究。馬芳武等[33]設(shè)計(jì)了一種基于激光雷達(dá)和雙目相機(jī)的障礙物識別方法，這兩種技術(shù)有各自的使用場景，聯(lián)合使用解決了雙目視覺技術(shù)在低光條件下定位精度不足和激光雷達(dá)在高光條件下定位精度不足的問題，大大增加了適用場景。

3.3 神經(jīng)網(wǎng)絡(luò)

雙目識別系統(tǒng)在使用之前需要人為對目標(biāo)物進(jìn)行標(biāo)定，設(shè)置識別參數(shù)。識別參數(shù)范圍過大，會(huì)使識別的范圍擴(kuò)大，將某些并不符合標(biāo)準(zhǔn)的目標(biāo)物識別出來。反之，識別參數(shù)范圍過小，會(huì)使識別的范圍縮小，將某些符合標(biāo)準(zhǔn)的識別物漏掉。因此，科研工作者開始進(jìn)行神經(jīng)網(wǎng)絡(luò)與雙目視覺系統(tǒng)聯(lián)合使用的研究。郭思琦[34]設(shè)計(jì)的基于神經(jīng)網(wǎng)絡(luò)和雙目視覺的蘋果識別與定位系統(tǒng)，使用卷積神經(jīng)網(wǎng)絡(luò)CNN后，在低遮擋的情況下匹配精確度達(dá)到97.8%,在部分遮擋的情況下匹配精確度達(dá)到96.8%。大大提高了對蘋果的識別率。

4 結(jié)語

我國農(nóng)業(yè)的發(fā)展正處于從傳統(tǒng)農(nóng)業(yè)向現(xiàn)代農(nóng)業(yè)發(fā)展的關(guān)鍵時(shí)期，而智慧農(nóng)業(yè)是現(xiàn)代農(nóng)業(yè)發(fā)展的重要方向。在農(nóng)業(yè)勞動(dòng)力的減少的趨勢下，加快農(nóng)業(yè)智能化發(fā)展是解決鄉(xiāng)村勞動(dòng)力不足，提高農(nóng)作物產(chǎn)量的重要手段之一。雙目視覺技術(shù)作為一種智能識別、定位和監(jiān)測技術(shù)，將越來越廣泛地應(yīng)用在智慧農(nóng)業(yè)生產(chǎn)之中。