基于機器視覺的聯(lián)合收獲機作業(yè)路徑規(guī)劃方法

王芳

摘 要： 研究了基于機器視覺的聯(lián)合收獲機作業(yè)路徑規(guī)劃方法，解決聯(lián)合收獲機作業(yè)環(huán)境中因障礙物過多影響作業(yè)效率的問題。利用雙目視覺相機采集聯(lián)合收獲機作業(yè)圖像，選取九點標(biāo)定法進行雙目視覺相機的手眼標(biāo)定。采用Canny 算法利用高斯濾波器平滑處理圖像，計算圖像的梯度方向與幅值，利用雙閾值連接聯(lián)合收獲機作業(yè)圖像邊緣，檢測聯(lián)合收獲機作業(yè)圖像邊緣，劃分收獲目標(biāo)與障礙物。依據(jù)人工勢場法原理，利用聯(lián)合收獲機作業(yè)的環(huán)境信息構(gòu)建一個勢場。合成勢場內(nèi)聯(lián)合收獲機受到的引力與斥力，依據(jù)聯(lián)合收獲機的移動速度及合力方向，輸出聯(lián)合收獲機的作業(yè)路徑規(guī)劃結(jié)果。試驗結(jié)果表明，該方法可以依據(jù)聯(lián)合收獲機的作業(yè)環(huán)境，規(guī)劃作業(yè)路徑，有效規(guī)避障礙物，適應(yīng)性好。

關(guān)鍵詞：機器視覺；聯(lián)合收獲機；作業(yè)路徑；規(guī)劃方法；邊緣檢測；人工勢場

中圖分類號：S126文獻標(biāo)識碼：A文章編號：2095-1795（2023）12-0044-05

DOI：10.19998/j.cnki.2095-1795.2023.12.008

0 引言

聯(lián)合收獲機是現(xiàn)代農(nóng)業(yè)中不可或缺的機械設(shè)備，對于提高農(nóng)作物產(chǎn)量和降低農(nóng)業(yè)生產(chǎn)成本具有重要作用[1]。目前聯(lián)合收獲機的使用仍然存在一些問題，其中最突出的是作業(yè)路徑規(guī)劃問題。傳統(tǒng)的作業(yè)路徑規(guī)劃方法主要依靠手動操作和經(jīng)驗判斷，不僅效率低下，而且容易出錯，特別是在復(fù)雜的農(nóng)田環(huán)境中[2-3]。機器視覺技術(shù)具有極高的自動化與智能化水平，應(yīng)用于電力、農(nóng)業(yè)等不同領(lǐng)域的作業(yè)路徑規(guī)劃中。機器視覺技術(shù)利用圖像處理算法，獲取精準的聯(lián)合收獲機作業(yè)環(huán)境地圖信息，具有提升路徑規(guī)劃精度的重要作用[4]。機器視覺技術(shù)具有較高的靈活性，可以滿足不同作業(yè)場景與不同作業(yè)環(huán)境的需求，有效提升路徑規(guī)劃的靈活性和適應(yīng)性[5]。研究基于機器視覺的聯(lián)合收獲機作業(yè)路徑規(guī)劃方法，對于提高農(nóng)業(yè)生產(chǎn)效率、降低農(nóng)業(yè)生產(chǎn)成本、提高農(nóng)產(chǎn)品質(zhì)量具有重要意義。

已有眾多研究人員針對農(nóng)業(yè)機械作業(yè)路徑規(guī)劃進行研究。穆元杰等[6] 針對履帶式作業(yè)裝備進行了自主導(dǎo)航路徑規(guī)劃，具有較強的自主性與實時性，減少了對外部導(dǎo)航系統(tǒng)的依賴，提高了作業(yè)的自主性和靈活性；但是方法存在運算過于復(fù)雜，對激光雷達等傳感器依賴性過強的缺陷，對設(shè)備作業(yè)環(huán)境的適應(yīng)能力較差。黃小毛等[7] 針對聯(lián)合直播機組的作業(yè)路徑規(guī)劃進行研究，具有較高的靈活性，在油菜田為凸多邊形等復(fù)雜地形時，仍可以適應(yīng)田塊的形狀與大??；方法適應(yīng)不同作業(yè)場景的路徑規(guī)劃，但是存在需要定時調(diào)試的缺陷，方法的實現(xiàn)涉及眾多高科技技術(shù)，需要投入較多的資金和人力資源。本研究針對以上方法在農(nóng)業(yè)機械作業(yè)路徑規(guī)劃中存在的問題，研究基于機器視覺的聯(lián)合收獲機作業(yè)路徑規(guī)劃方法；利用機器視覺技術(shù)的高效性與實時性，實時采集聯(lián)合收獲機作業(yè)圖像；依據(jù)聯(lián)合收獲機作業(yè)環(huán)境的變化，實時規(guī)劃作業(yè)路徑，提升聯(lián)合收獲機作業(yè)效率。

1 作業(yè)路徑規(guī)劃方法

1.1 作業(yè)圖像采集及標(biāo)定

利用雙目視覺相機采集聯(lián)合收獲機作業(yè)圖像。將雙目視覺相機搭載于聯(lián)合收獲機正上方，便于后續(xù)的相機標(biāo)定和聯(lián)合收獲機作業(yè)環(huán)境中的收獲目標(biāo)與障礙物的實際位置計算。依據(jù)雙目視覺相機采集的數(shù)據(jù)，獲取聯(lián)合收獲機作業(yè)環(huán)境中收獲目標(biāo)與障礙物的位置信息，作為作業(yè)路徑規(guī)劃的依據(jù)。

機器視覺技術(shù)通過采集的聯(lián)合收獲機作業(yè)圖像信息，利用圖像信息處理算法，推導(dǎo)獲取聯(lián)合收獲機所在空間中，收獲目標(biāo)與障礙物等物體的位置信息，進行收獲目標(biāo)與障礙物等物體的坐標(biāo)重建[8]。將機器視覺相機視為二維測量系統(tǒng)，設(shè)置聯(lián)合收獲機的坐標(biāo)系作為視覺坐標(biāo)系，不考慮雙目視覺相機的安裝誤差和鏡頭畸變，選取九點標(biāo)定法進行雙目視覺相機的手眼標(biāo)定。九點標(biāo)定法利用仿射變換方法，構(gòu)建聯(lián)合收獲機作業(yè)圖像的像素坐標(biāo)系和末端坐標(biāo)系，獲取聯(lián)合收獲機收獲目標(biāo)的成像模型[9]。

引力和斥力均為矢量，二者的方向分別為障礙物指向聯(lián)合收獲機及聯(lián)合收獲機指向收獲目標(biāo)。

利用機器視覺技術(shù)采集聯(lián)合收獲機作業(yè)的環(huán)境圖像，利用圖像邊緣檢測結(jié)果，獲取聯(lián)合收獲機作業(yè)收獲目標(biāo)與障礙物的位置關(guān)系。采用人工勢場方法對聯(lián)合收獲機作業(yè)路徑進行規(guī)劃，規(guī)劃流程如圖1 所示。

構(gòu)建的聯(lián)合收獲機人工勢場內(nèi)，聯(lián)合收獲機作為勢場內(nèi)的主動方。聯(lián)合收獲機的負梯度方向，表示聯(lián)合收獲機受到的抽象力方向。合成聯(lián)合收獲機受到的引力與斥力，依據(jù)聯(lián)合收獲機的移動速度及合力方向，輸出聯(lián)合收獲機作業(yè)路徑規(guī)劃結(jié)果。在抽象力作用下，聯(lián)合收獲機有效躲避障礙物，向收獲目標(biāo)的路徑移動。

2 實例分析

為驗證本方法對于聯(lián)合收獲機作業(yè)路徑規(guī)劃效果，以某公司生產(chǎn)的4DL-5A 型履帶式聯(lián)合收獲機作為測試對象，該收獲機能夠完成多種農(nóng)作物的聯(lián)合收獲作業(yè)，相關(guān)參數(shù)如表1 所示。

聯(lián)合收獲機進行收獲作業(yè)時，以采集的作業(yè)圖像為依據(jù)進行作業(yè)路徑規(guī)劃，因此，為保證作業(yè)路徑規(guī)劃效果，需對采集的田地作業(yè)圖像進行處理，保證圖像質(zhì)量。任意選擇一塊田地的作業(yè)圖像，通過所提方法對其進行處理，獲取處理前后的作業(yè)圖像結(jié)果，如圖2 所示。

由圖2 可知，本方法能夠有效完成收獲機作業(yè)圖像的處理，處理后的圖像能夠清晰判斷田地的作業(yè)邊緣情況，為作業(yè)路徑規(guī)劃提供可靠依據(jù)。

為驗證本方法的路徑規(guī)劃效果，對聯(lián)合收獲機進行作業(yè)路徑規(guī)劃，并獲取規(guī)劃路徑和實際路徑之間的誤差結(jié)果， 應(yīng)用標(biāo)準為<10 cm， 測試結(jié)果如圖3 所示。

由圖3 可知，通過本方法對聯(lián)合收獲機作業(yè)路徑進行規(guī)劃后，規(guī)劃結(jié)果和實際路徑結(jié)果之間的誤差較小，最大誤差值7.6 cm，滿足作業(yè)路徑規(guī)劃需求。為進一步驗證本方法，在存在障礙物的規(guī)則長方形、不規(guī)則凹凸兩種田地中，對收獲機作業(yè)路徑進行規(guī)劃，結(jié)果如圖4 所示。

由圖4 可知，在兩種不同的田地中，分別通過所提方法進行聯(lián)合收獲機作業(yè)路徑規(guī)劃后，均可在避開障礙物的前提下，完成作業(yè)路徑規(guī)劃，并且所規(guī)劃路徑能夠較好地覆蓋田地作業(yè)范圍。

為直觀分析文中所提方法的應(yīng)用性，采用作業(yè)覆蓋率ψcov 和有效作業(yè)路徑占比ξe 作為評價指標(biāo)，對該方法的路徑規(guī)劃結(jié)果進行分析，兩者取值均在0～100%，其值越大，表示路徑規(guī)劃質(zhì)量越佳。其中ψcov能夠衡量有效作業(yè)面積在整體作業(yè)面積中的比例，覆蓋率越高，表示路徑規(guī)劃結(jié)果越佳，土地的作業(yè)完成率越高。ξe 能夠衡量所規(guī)劃路徑的有效性，其值越高，表示所規(guī)劃的路徑越佳。ψcov 和ξe 的計算公式為

w——聯(lián)合收獲機的作業(yè)寬幅，m

在四邊形田地和橢圓形田地中，隨著作業(yè)面積逐漸增加，ψcov 和ξe 的測試結(jié)果，如表2 所示。

由表2 可知，在四邊形田地和橢圓形田地中，分別通過所提方法進行聯(lián)合收獲機作業(yè)路徑規(guī)劃，按照規(guī)劃結(jié)果進行作業(yè)，作業(yè)覆蓋率均在93.6% 以上，有效作業(yè)路徑占比均在92.4% 以上，路徑規(guī)劃質(zhì)量較好，可保證所規(guī)劃路徑的有效性，保證收割作業(yè)的覆蓋效果。

3 結(jié)束語

引入機器視覺方法進行聯(lián)合收獲機作業(yè)路徑規(guī)劃。利用機器視覺方法采集聯(lián)合收獲機作業(yè)圖像，提取圖像中包含的邊緣信息。依據(jù)所提取的邊緣信息，采用人工勢場方法進行聯(lián)合收獲機作業(yè)路徑規(guī)劃。通過試驗驗證了聯(lián)合收獲機作業(yè)路徑規(guī)劃的有效性，可以自動躲避障礙物目標(biāo)，適用于聯(lián)合收獲機實際作業(yè)。

參考文獻

訾濤．割草機器人路徑規(guī)劃的研究：基于機器視覺和人工勢場算法[J]．農(nóng)機化研究，2021，43（7）：202-206．

ZI Tao． Research on path planning of lawn cutting robot based on machinevision and artificial potential field algorithm[J]． Journal of AgriculturalMechanization Research，2021，43（7）：202-206．

張宗毅，戚山明，張萌．全國小麥聯(lián)合收割機跨區(qū)作業(yè)空間流動規(guī)律[J]．農(nóng)業(yè)工程學(xué)報，2021，37（23）：19-27．

ZHANG Zongyi， QI Shanming， ZHANG Meng． Spatial flow law ofcross-regional operation of wheat combine harvesters in China[J]．Transactions of the Chinese Society of Agricultural Engineering，2021，37（23）：19-27．

付景靜，王晨升，才福友，等．聯(lián)合收割機行走半軸頻域疲勞分析方法的對比研究[J]．機械強度，2022，44（1）：203-214．

FU Jingjing， WANG Chensheng， CAI Fuyou， et al． Comparativestudy on frequency domain fatigue analysis methods for half axle of combineharvester[J]．Journal of Mechanical Strength，2022，44（1）：203-214．

陳小亮，趙思夏，［4］ 宋昊，等．工況傳遞路徑分析的聯(lián)合收割機座椅振動研究[J]．河南科技大學(xué)學(xué)報（自然科學(xué)版），2022，43（3）：24-30．

CHEN Xiaoliang，ZHAO Sixia，SONG Hao，et al．Research on seatvibration of combine harvester based on operational transmission pathanalysis[J]． Journal of Henan University of Science and Technology（Natural Science Edition），2022，43（3）：24-30．

姜洪遠，楊光友，劉浪，等．基于SAE-DBN 的聯(lián)合收割機液壓系統(tǒng)運行狀態(tài)監(jiān)測[J]．液壓與氣動，2022，46（4）：59-70．

JIANG Hongyuan， YANG Guangyou， LIU Lang， et al． Conditionmonitoring in hydraulic system of combine harvester based on SAEDBN[J]．Chinese Hydraulics & Pneumatics，2022，46（4）：59-70．

穆元杰，尚明華，王富軍，等．履帶式作業(yè)裝備自主導(dǎo)航路徑規(guī)劃方法研究[J]．農(nóng)機化研究，2023，45（4）：48-51，56．

MU Yuanjie， SHANG Minghua， WANG Fujun， et al． Research onautonomous navigation path planning method for crawler operationequipment[J]．Journal of Agricultural Mechanization Research，2023，45（4）：48-51，56．

黃小毛，張壘，王紹帥，等．凸多邊形田塊下油菜聯(lián)合直播機組作業(yè)路徑規(guī)劃[J]．農(nóng)業(yè)機械學(xué)報，2022，53（1）：33-40，150．

HUANG Xiaomao， ZHANG Lei， WANG Shaoshuai， et al． Pathplanning of rapeseed combine seeder in field of convex boundary[J]． Transactions of the Chinese Society for Agricultural Machinery，2022，53（1）：33-40，150．

史亞貝． 基于振動信號分析的聯(lián)合收割機故障檢測系統(tǒng)研究[J]．農(nóng)機化研究，2023，45（5）：249-253．

SHI Yabei． Research on fault detection system for combine harvesterbased on vibration signal analysis[J]．Journal of Agricultural MechanizationResearch，2023，45（5）：249-253．

楊俊茹，荊本雨，李瑞川，等．聯(lián)合收割機收割分離液壓系統(tǒng)的性能監(jiān)控研究[J]．機床與液壓，2021，49（9）：83-88．

YANG Junru， JING Benyu， LI Ruichuan， et al． Research on performancemonitoring and control for harvesting and separating hydraulicsystem of combine harvester[J]．Machine Tool and Hydraulics，2021，49（9）：83-88．

竹瑞珩，李耀明，唐忠，等．履帶式聯(lián)合收獲機變速箱總成疲勞試驗臺的研制[J]．機械傳動，2022，46（10）：135-141．

ZHU Ruiheng， LI Yaoming， TANG Zhong， et al． Development offatigue test bench for gearbox assembly of crawler combine harvester[J]． Journal of Mechanical Transmission， 2022， 46（ 10） ： 135-141．

周陳林，汪小旵，何瑞銀，等．收割機作業(yè)路線和地塊條件匹配模型與分析[J]．江西農(nóng)業(yè)大學(xué)學(xué)報，2022，44（4）：1 023-1 033．

ZHOU Chenlin， WANG Xiaochan， HE Ruiyin， et al． Matchingmodel and analysis of harvester operation routes and plot conditions[J]．[J]． Acta Agriculturae Universitatis Jiangxiensis， 2022， 44（ 4） ：1 023-1 033．

羅承銘，熊陳文，黃小毛，等．四邊形田塊下油菜聯(lián)合收獲機全覆蓋作業(yè)路徑規(guī)劃算法[J]．農(nóng)業(yè)工程學(xué)報，2021，37（ 9）：140-148．

LUO Chengming，XIONG Chenwen，HUANG Xiaomao，et al．Coverageoperation path planning algorithms for the rape combine harvesterin quadrilateral fields[J]． Transactions of the Chinese Society of AgriculturalEngineering，2021，37（9）：140-148．