基于機器視覺的釀酒葡萄葉幕厚度估算方法研究

摘要 釀酒葡萄葉幕厚度是園區(qū)管理、整形修剪、變量噴藥等作業(yè)的重要參考依據(jù)，但是監(jiān)測葉幕厚度存在作業(yè)量大、效率低、勞動強度高等問題。以賀蘭山東麓釀酒葡萄葉幕為目標，基于機器視覺技術研究葉幕厚度的快速估算方法并進行驗證。采集葡萄葉幕雙目圖像及參數(shù)，基于HSV顏色空間和形態(tài)學處理方法提取左目圖像葉幕部分，將提取的圖像與右目圖像進行校正，采用BM算法對校正后的圖像進行立體匹配，計算葉幕范圍內所有像素點的三維坐標，依據(jù)z值平均值和園區(qū)參數(shù)計算葉幕厚度估算值。經(jīng)測試，提出的葉幕厚度估算方法計算結果與實際測量值基本一致，滿足釀酒葡萄園實際管理應用監(jiān)測需求，可為研發(fā)葉幕厚度快速測量設備、推進園區(qū)管理精細化提供一定的理論基礎。

關鍵詞 釀酒葡萄；機器視覺；葉幕厚度；立體匹配

中圖分類號 S126 文獻標識碼 A 文章編號 0517-6611（2024）15-0232-04

doi：10.3969/j.issn.0517-6611.2024.15.049

開放科學（資源服務）標識碼（OSID）：

Research on the Estimation Method of Canopy Thickness of Grapevine Based on Machine Vision

MA Cong， CHEN Xue-dong

（Institute of Agricultural Economy and Information Technology， Ningxia Academy of Agriculture and Forestry Sciences， Yinchuan， Ningxia 750002）

Abstract The canopy thickness of grapevine is an important reference for vineyards management， shaping and pruning， variable spraying and other operations. However， monitoring the canopy thickness of grapevine has problems， such as high workload， low efficiency and high labor intensity. We focused on the canopy thickness of grapevine from the east Helan Mountain area， and used machine vision technology to study and validate a rapid estimation method for canopy thickness. We collected binocular images and parameters of canopy， extracted the canopy part of the left image based on HSV color space and morphological processing methods， corrected the extracted image with the right eye image， used BM algorithm to perform stereo matching on the corrected image， calculated the three-dimensional coordinates of all pixel points within the leaf canopy range， and calculated the estimated canopy thickness of grapevine based on the average z value and fixed parameters. After testing， the calculation results of the thickness estimation method proposed were basically consistent with the actual measurement values. It could provide a certain theoretical basis for the development of thickness measurement equipment and promoting the refinement of park management.

Key words Grapevine;Machine vision;Canopy thickness;Stereo matching

因地理條件和環(huán)境氣候非常適合種植釀酒葡萄，寧夏賀蘭山東麓葡萄是國家地理標志農產(chǎn)品，生產(chǎn)的寧夏葡萄酒在消費市場上的知名度和需求量快速提升，是我國優(yōu)質的釀酒葡萄產(chǎn)業(yè)區(qū)之一。預計到2025年，新增釀酒葡萄種植基地3.39萬hm2，規(guī)模達到6.67萬hm2［1-3］。隨著釀酒葡萄種植面積規(guī)?；腿斯こ杀镜脑黾?，通過機械化、信息化的手段對釀酒葡萄生產(chǎn)環(huán)節(jié)進行監(jiān)測、分析、預警、作業(yè)，以降低勞動強度、提高生產(chǎn)效率，成為產(chǎn)業(yè)發(fā)展的重要方向。

釀酒葡萄的葉幕管理是葡萄園種植生產(chǎn)的重要內容。葉幕結構合理，則植株的光合效率高，有利于提升葡萄果實的品質和產(chǎn)量。不同的葉幕厚度會影響植株營養(yǎng)分配、釀酒葡萄的果實形成和生長，是葉幕管理的關鍵參數(shù)。葡萄葉幕過厚，會導致樹體郁閉，降低葉幕的通風性和透光性，也會抑制葡萄的生殖生長；葡萄葉幕過薄，則光合作用制造的能量不足，影響葡萄正常生長［4-5］。葉幕厚度是葡萄園管理、機械整形修剪［6-8］、變量施藥［9-10］等作業(yè)的重要參考依據(jù)，但是由于葡萄園區(qū)面積大、勞動力緊缺、測量耗時費力，較難實現(xiàn)葉幕厚度的實時測量和監(jiān)測。針對葉幕厚度估算的需求，需要研究能快速估算葡萄葉幕厚度的方法。采用機器視覺技術［11-12］開展了葉幕厚度估算方法研究，以期為釀酒葡萄葉幕信息化管理提供參考，為進一步完善葡萄園信息化應用奠定一定的理論基礎。

1 葉幕厚度估算方法

1.1 技術路線

釀酒葡萄葉幕厚度估算主要技術路線如下：標定雙目相機后獲取相機內部和外部參數(shù)，采用標定后的雙目相機采集釀酒葡萄葉幕圖像，將雙目圖像分割后提取左目圖像目標區(qū)域，對提取后的圖像與左圖進行極線校正以保證2幅圖像上對應的點具有相同的行號，校正后的雙目圖像通過BM（blocking matching）算法［13-15］進行立體匹配，得到像素點的視差值，根據(jù)視差深度換算公式計算目標區(qū)域各點的空間三維坐標，結合葡萄園實際測量參數(shù)，獲得葉幕參數(shù)估計值。

1.2 數(shù)據(jù)采集

1.2.1 相機標定。

數(shù)據(jù)采集設備是高幀率雙目相機，基本配置為：40 mm基線，3.6 mm無畸變鏡頭，USB 3.0連接電腦控制拍照。相機標定采用機器視覺系統(tǒng)常用的張正友標定法，具有標定方法簡單、操作靈活、標定結果可靠等優(yōu)點。雙目相機標定結果見表1。

1.2.2 數(shù)據(jù)采集。

數(shù)據(jù)采集地點位于寧夏賀蘭山東麓釀酒葡萄種植基地，采集葉幕數(shù)據(jù)的釀酒葡萄品種是西拉。釀酒葡萄采用籬架式種植，行間距3.2 m，株距0.8 m，每行立柱之間有多層雙行鐵絲固定枝蔓，兩行鐵絲之間的距離為0.17 m，葉幕高度約0.8 m。

該研究首先構建了田間圖像采集機器視覺數(shù)據(jù)采集系統(tǒng)，主要包括雙目相機、采集支架、環(huán)境監(jiān)測傳感器、測距卡尺、圖像采集軟件和數(shù)據(jù)處理系統(tǒng)等。根據(jù)實際監(jiān)測需求，采集了不同時間段、多個角度、不同光照條件下的葡萄葉幕雙目圖像，數(shù)據(jù)采集時相機隨機處于葉幕不同距離位置，圖像采集范圍為相機有效視野范圍內葡萄葉片覆蓋區(qū)域，實地測量相機平面到葡萄葉幕最厚位置的距離、相機平面到立柱固定鐵絲內側距離、內側鐵絲到葉幕最厚位置的距離。采集到的圖像左目圖像為彩色圖像，右目圖像為灰度圖，數(shù)據(jù)處理均以左目圖像為基準。

1.3 葉幕厚度估算

1.3.1 目標區(qū)域提取。

葉幕圖像包括了背景圖像與目標圖像，背景圖像包含了地面、通風帶及天空等干擾因素。為提高圖像處理效率、準確獲取目標信息，通過圖像處理將目標與背景分割，最大限度降低采集環(huán)境對目標識別的影響。分析采集的葉幕圖像可知，自然光照條件下順光和逆光拍攝的葡萄葉幕圖像顏色沒有太大區(qū)別，葉幕區(qū)域基本都是綠色。在光照強度較大的條件下逆光拍攝時，部分葉片由于反光趨近于白色，但是這部分為一小部分葉片，不影響葉幕整體區(qū)域整體識別結果。葉幕顏色與背景區(qū)域顏色差異較大，采用顏色模型進行目標區(qū)域提取能有效地分離出目標區(qū)域，也可以降低圖像數(shù)據(jù)處理的計算量。

該研究采用HSV（hue，saturation，value）顏色模型提取葉幕圖像目標，為保證最大限度完整地分割出葉幕區(qū)域，將顏色分割閾值范圍擴大，包括青綠色、黃綠色、深綠色等范圍內所有目標?；居嬎懔鞒倘缦拢鹤x入雙目圖像，分割出左目圖像與右目圖像；將左目圖像轉換為HSV模型，建立與左圖大小一致的空白圖像，分別設置H、S、V閾值；遍歷左目圖像所有像素點，提取閾值范圍內圖像點復制到建立的空白圖像對應位置，閾值范圍外的圖像點均設置為黑色；將提取區(qū)域進行形態(tài)學處理，設置連通域閾值，存在大于閾值的連通域圖像被判斷為存在目標區(qū)域；針對存在目標區(qū)域的圖像，腐蝕去除圖像小的噪聲；對目標區(qū)域圖像進行膨脹操作，最大化的保留原圖信息，避免因光線不均和拍攝角度變化導致出現(xiàn)葉幕區(qū)域提取不完整、碎片化現(xiàn)象；以處理后的區(qū)域圖為蒙版，提取校葉幕左圖原圖中對應區(qū)域，即葉幕區(qū)域。

1.3.2 雙目圖像校正。

理論條件下，雙目相機的2個鏡頭光心是完全相互平行的，采集到的左目圖像與右目圖像中對應點具有一致的行號。但是在應用中，由于震動、裝配工藝、環(huán)境變化等因素，實際采集到的雙目圖像很難達到上述標準，2幅圖像上的對應點不在同一條直線上。因此，在進行2張圖像中對應點匹配查找時，需要在整幅圖像中進行遍歷搜索，數(shù)據(jù)計算量大、運行消耗時間長，不利于機器視覺系統(tǒng)的實時計算。為了提高對應點的查找效率，需要對雙目圖像進行數(shù)學校正，使2幅圖像中對應點具有相同的行號，極大地提高對應點匹配速度和準確性。采用極線約束Bouguet校正算法［16-17］對目標區(qū)域提取圖和右目圖像進行校正，基本計算流程如下：讀取雙目相機標定出內部參數(shù)和外部參數(shù)；計算左目和右目相機的旋轉矩陣和投影矩陣；將原圖像和校正后圖像上的點進行映射；分析圖像校正結果。

1.3.3 立體匹配。

針對葡萄圖像的面積大、紋理不明顯的特點和深度計算精度需求，采用局部立體匹配算法中的塊匹配BM（block matching）算法進行葉幕圖像的匹配計算?；居嬎懔鞒倘鐖D1所示：①讀入雙目圖像，將彩色圖像轉換為灰度圖；②根據(jù)匹配計算速度和精度需求，設置匹配窗口大小和視差范圍；③分別計算匹配窗口內雙目圖像中的所有像素點灰度值；④以SAD（sum of absolute differences）函數(shù)計算窗口內像素點的相似性，SAD的計算公式見公式（1）［18］；⑤判斷SAD值是否最小，是最小值則表明找到最佳匹配點，不是最小值則匹配窗口按照極線方向在右目圖像中移動，重復步驟③～⑤，直到找到最佳匹配點為止。

SAD（x，y，d）=x∈S|Ir（x，y）-Il（x+d，y）|（1）

式中：S為BM算法匹配窗口；Ir（x，y）為右目圖像像素點灰度值；d為左右目圖像像素點視差值；Il（x+d，y）為左目圖像像素點灰度值。

1.3.4 葉幕厚度估算。

通過立體匹配計算獲得了雙目圖像所有像素點對應的視差值，根據(jù)視差值、相機內部參數(shù)、相機外部參數(shù)，計算得到圖像內所有像素點的空間三維坐標值，計算公式見公式（2）。

z=f×bd（2）

式中：z為深度距離；f為雙目相機焦距；b為雙目相機基線值；d為雙目圖像中對應點的視差值。

三維坐標值中的z值是空間點到雙目相機平面的距離，即深度。為快速估算厚度，認為籬架式釀酒葡萄冠層是以立柱固定鐵絲為中心左右對稱，即兩側葉幕厚度一致。因此，該研究以內側固定鐵絲作為計算起始點，相機距離鐵絲的距離減去深度值，是樹體單側葉幕厚度。釀酒葡萄葉幕厚度是單側厚度的兩倍值與雙側鐵絲之間距離之和。

2 葉幕厚度估算結果及分析

2.1 葡萄葉幕區(qū)域提取及校正

葡萄葉幕圖像的目標區(qū)域提取結果見圖2左圖。分析提取結果可知，采用的方法能快速、完整地將目標區(qū)域分割出來，保留了葉幕原始信息，去除了大多數(shù)的背景噪聲，圖像數(shù)據(jù)處理量減少，可以作為后續(xù)葉幕厚度計算的基礎。

葡萄葉幕圖像校正結果如圖2所示。分析校正結果可知，雙目圖像中對應的像素點均處于同一綠色線條上，表明雙目相機標定結果獲得的參數(shù)準確，采用的極線校正方法正確。

2.2 厚度估算結果及分析

計算出的葡萄葉幕圖像像素點的空間三維坐標點云分布如圖3所示。分析計算結果可知，深度值z值主要分布在1.35～1.55 m。進一步分析葉幕深度值保持一定的區(qū)間范圍原因，是因為葉幕厚度存在一定的差異性。雙目相機采集的葉幕范圍是寬約2 m，覆蓋了不同的葡萄樹體，雖然園區(qū)管理、生長環(huán)境和土壤條件基本一致，但是葡萄樹體生長狀態(tài)不同，葉幕厚度就不一致，并且不同高度的葉幕厚度也不同。因此，將所有點的深度值的平均值作為相機到葉幕最外側的深度值估算值。該研究計算出的深度平均值是1.48 m，相機距離內側鐵絲1.67 m，鐵絲之間距離0.17 m，因此計算出的葉幕厚度估算值為0.55 m，實際測量葡萄葉幕平均厚度是0.60 m。資料分析和實地調研顯示，葡萄葉幕厚度估算值的誤差能夠滿足實際應用需求，可作為生產(chǎn)管理的參考依據(jù)。

3 結論

該研究以寧夏賀蘭山東麓釀酒葡萄葉幕厚度為目標，基于機器視覺技術開展非接觸式葉幕厚度的快速估算方法研究。采用HSV顏色空間和形態(tài)學處理等方法完整地提取出葉幕圖像目標區(qū)域，采用極線約束方法校正提取圖與原圖右圖的結果準確、計算量小，采用局部立體匹配方BM算法計算葡萄葉幕雙目圖像視差值，在此基礎上計算葉幕范圍內所有像素點的三維坐標，結合z值平均值及葡萄園結構參數(shù)估算出釀酒葡萄葉幕厚度值，計算出的厚度值與實際測量值基本一致，滿足園區(qū)管理實際監(jiān)測需求。釀酒葡萄園種植面積大、用工量多、人工成本高，較難實現(xiàn)對葉幕參數(shù)的全程監(jiān)測管理，需研發(fā)自動測量參數(shù)的設備及系統(tǒng)平臺，進一步提升葡萄園區(qū)生產(chǎn)管理效率。該研究提出的基于機器視覺的釀酒葡萄葉幕厚度估算方法數(shù)據(jù)處理量小、運行效率高、測量結果準確，可作為研發(fā)葉幕厚度日常監(jiān)測、葉幕智能修剪、長勢分析等設備的基礎算法，具有一定的理論價值和實際應用價值。

參考文獻

［1］ 王晶，吳曉麗，潘靜，等.賀蘭山東麓葡萄產(chǎn)業(yè)發(fā)展現(xiàn)狀及品牌升級路徑［J］.中國果樹，2022（2）：93-98.

［2］ 王燕華.從地理視角看寧夏賀蘭山東麓葡萄種植區(qū)［J］.中學地理教學參考，2021（8）：95-96.

［3］ 馮學梅，梁玉文，李阿波，等.寧夏賀蘭山東麓釀酒葡萄產(chǎn)量控制對果實品質及葡萄酒質量的影響［J］.寧夏農林科技，2020，61（10）：6-9.

［4］ 薛春林，杜亞光，邊永亮，等.葡萄葉幕機械化修剪技術及裝置研究進展［J］.現(xiàn)代農業(yè)裝備，2021，42（4）：2-6，14.

［5］ 朱燕芳，郝燕，陳建軍，等.河西走廊葡萄葉幕厚度對果實品質的影響［J］.中外葡萄與葡萄酒，2022（6）：71-75.

［6］ 焦連成，曲運琴，賈強生，等.葉幕厚度與修剪次數(shù)對‘赤霞珠’葡萄果實產(chǎn)量和品質的影響［J］.河北果樹，2023（3）：9-11，14.

［7］ 薛春林，陳春皓，呂林碩，等.往復式葡萄葉幕修剪裝置設計與試驗［J］.農機化研究，2023，45（10）：99-106.

［8］ 李秀杰，逯志斐，姜建剛，等.不同機械修剪量對巨峰葡萄生長及果實品質的影響［J］.安徽農業(yè)科學，2017，45（24）：36-38.

［9］ 閆成功，徐麗明，袁全春，等.基于雙目視覺的葡萄園變量噴霧控制系統(tǒng)設計與試驗［J］.農業(yè)工程學報，2021，37（11）：13-22.

［10］ 翟長遠，趙春江，WANG N，等.果園風送噴霧精準控制方法研究進展［J］.農業(yè)工程學報，2018，34（10）：1-15.

［11］ 田鵬菲，王皞陽.機器視覺技術在我國農業(yè)領域內的應用分析［J］.江蘇農業(yè)科學，2023，51（14）：13-21.

［12］ 馬聰，陳學東.黃花菜采摘機器人視覺系統(tǒng)研究［J］.寧夏農林科技，2021，62（12）：60-64.

［13］ 李先祥，陳思琪，肖紅軍，等.基于SGBM算法與BM算法的三維重建分析［J］.自動化與信息工程，2019，40（5）：6-12.

［14］ 張歡，安利，張強，等.SGBM算法與BM算法分析研究［J］.測繪與空間地理信息，2016，39（10）：214-216.

［15］ 馬聰，周慧，陳學東.基于機器視覺的黃花菜圖像深度計算［J］.寧夏農林科技，2022，63（2）：48-52，65.

［16］ FUSIELLO A，TRUCCO E，VERRI A.A compact algorithm for rectification of stereo pairs［J］.Machine vision and applications，2000，12（1）：16-22.

［17］ 王浩，張鳳生，劉延杰.接觸線雙目視覺測量系統(tǒng)標定及立體校正方法研究［J］.制造業(yè)自動化，2019，41（3）：97-101.

［18］ 劉學君，常夢潔，孔祥旻，等.倉庫三維重建系統(tǒng)中改進雙目匹配SAD算法研究［J］.計算機應用與軟件，2023，40（7）：180-184，214.