基于立體視覺(jué)測(cè)量的棉花頂芽識(shí)別定位技術(shù)研究

李建亮，支辛蕾，曹清政，王瑩瑩

(北京振興計(jì)量測(cè)試研究所，北京 100074)

0 引言

棉花是我國(guó)經(jīng)濟(jì)作物的重要組成部分，也是我國(guó)紡織工業(yè)的主要原料[1]。棉花打頂是棉花生長(zhǎng)周期內(nèi)的一個(gè)重要環(huán)節(jié)，通過(guò)對(duì)棉花打頂，可使棉花頂芽的生長(zhǎng)優(yōu)勢(shì)得到抑制，改變養(yǎng)分輸送方向，促進(jìn)棉株結(jié)鈴結(jié)桃，從而提高棉花的質(zhì)量和產(chǎn)量[2]。目前棉花打頂作業(yè)主要有人工打頂、化學(xué)打頂和機(jī)械打頂方式[3]。隨著我國(guó)農(nóng)業(yè)土地政策的不斷完善，棉花種植逐漸向規(guī)?；N植趨勢(shì)發(fā)展[4]，為了減輕勞動(dòng)強(qiáng)度，提高棉花品質(zhì)，機(jī)械化打頂越來(lái)越成為棉花打頂?shù)闹饕绞絒5]。

目前的棉花打頂機(jī)大多是對(duì)全行棉花高度仿形進(jìn)行打頂，去除棉花頂芽的同時(shí)也會(huì)將棉花頂芽周?chē)膫?cè)枝和葉子損壞，降低了棉花的產(chǎn)量[6]?，F(xiàn)有測(cè)高傳感器精度參數(shù)指標(biāo)有限，打頂機(jī)還普遍存在過(guò)切率和漏切率高的問(wèn)題。因此必須提高棉花頂芽識(shí)別和定位準(zhǔn)確性，實(shí)現(xiàn)打頂機(jī)精準(zhǔn)打頂，才能推進(jìn)棉花打頂機(jī)在棉花打頂領(lǐng)域的推廣應(yīng)用[7]。本研究將立體視覺(jué)測(cè)量技術(shù)應(yīng)用在棉花打頂機(jī)上，結(jié)合深度學(xué)習(xí)識(shí)別算法和雙目視覺(jué)視差原理，得到單株棉花頂芽的空間位置坐標(biāo)，實(shí)時(shí)控制打頂執(zhí)行裝置完成棉花打頂作業(yè)，實(shí)現(xiàn)棉花的精準(zhǔn)打頂作業(yè)。

1 棉花頂芽識(shí)別定位系統(tǒng)整體架構(gòu)設(shè)計(jì)

棉花頂芽識(shí)別定位系統(tǒng)工作原理如圖1所示，通過(guò)雙目相機(jī)實(shí)時(shí)采集棉花圖像，并將采集的圖像數(shù)據(jù)傳送至工控機(jī)，通過(guò)工控機(jī)內(nèi)識(shí)別定位算法得出棉花頂芽的空間位置坐標(biāo)，并將位置信息反饋給打頂作業(yè)執(zhí)行器控制系統(tǒng)，控制執(zhí)行器完成棉花打頂作業(yè)。

圖1 棉花頂芽識(shí)別定位系統(tǒng)原理

棉花頂芽識(shí)別定位系統(tǒng)采用分層思想進(jìn)行模塊化設(shè)計(jì)，系統(tǒng)架構(gòu)如圖2所示。設(shè)備層中的雙目相機(jī)是識(shí)別定位系統(tǒng)的基礎(chǔ)，數(shù)據(jù)層中的相機(jī)參數(shù)配置文件提供相關(guān)數(shù)據(jù)給雙目相機(jī)校正標(biāo)定和空間位置測(cè)量使用，可見(jiàn)光雙目視頻數(shù)據(jù)提供給智能識(shí)別模塊和多目標(biāo)匹配模塊進(jìn)行識(shí)別定位算法計(jì)算，在結(jié)果層得出棉花頂芽的識(shí)別結(jié)果和空間三維坐標(biāo)，在輸出層將結(jié)果數(shù)據(jù)顯示并存儲(chǔ)，后續(xù)提供給執(zhí)行裝置控制系統(tǒng)使用。

圖2 棉花頂芽識(shí)別定位系統(tǒng)架構(gòu)

2 視覺(jué)系統(tǒng)設(shè)計(jì)

2.1 雙目相機(jī)

兩個(gè)雙目相機(jī)選用大華科技3000系列A3200CG50工業(yè)相機(jī)，相機(jī)參數(shù)和鏡頭參數(shù)分別如表1、表2所示。針對(duì)棉田具體的使用環(huán)境，對(duì)相機(jī)和鏡頭進(jìn)行一體化封裝和調(diào)試，保證了視覺(jué)系統(tǒng)的可靠性。視覺(jué)系統(tǒng)結(jié)構(gòu)如圖3所示。

表1 雙目相機(jī)參數(shù)

表2 鏡頭參數(shù)

圖3 視覺(jué)系統(tǒng)結(jié)構(gòu)

2.2 相機(jī)標(biāo)定

為了建立目標(biāo)的圖像像素坐標(biāo)與空間位置坐標(biāo)之間的關(guān)系，即圖像坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系，需要對(duì)相機(jī)進(jìn)行內(nèi)參標(biāo)定和外參標(biāo)定[8]，從而求解出相機(jī)的內(nèi)參數(shù)和外參數(shù)。相機(jī)的內(nèi)參數(shù)反映的是圖像坐標(biāo)系到相機(jī)坐標(biāo)系之間的投影關(guān)系，包括4個(gè)內(nèi)參數(shù)和5個(gè)畸變參數(shù)；相機(jī)的外參數(shù)反映的是相機(jī)坐標(biāo)系和世界坐標(biāo)系之間的旋轉(zhuǎn)和平移關(guān)系，包括外部參數(shù)旋轉(zhuǎn)矩陣R和平移矩陣T。本系統(tǒng)采用張氏標(biāo)定法對(duì)相機(jī)進(jìn)行標(biāo)定，具體步驟如下：

(1) 設(shè)計(jì)16×14正方形黑白棋盤(pán)格標(biāo)定圖紙，每一個(gè)小正方形格子大小為(50×50) mm，將其貼在平面物體的表面。

(2) 提取角點(diǎn)信息。用左、右相機(jī)同時(shí)采集各個(gè)不同角度的標(biāo)定模板圖像，并檢測(cè)每張棋盤(pán)格的特征點(diǎn)(即角點(diǎn))。由于棋盤(pán)標(biāo)定圖紙中所有角點(diǎn)的空間坐標(biāo)是已知的，其在棋盤(pán)格圖片中的像素坐標(biāo)也是已知的，因此可根據(jù)LM等優(yōu)化方法求解單應(yīng)性矩陣H。

(3) 分析左、右相機(jī)標(biāo)定的誤差。

(4) 將標(biāo)定實(shí)驗(yàn)時(shí)左、右相機(jī)在世界坐標(biāo)系下的實(shí)際位置關(guān)系和黑白棋盤(pán)格標(biāo)定板實(shí)際擺放位置進(jìn)行立體校準(zhǔn)。

雙目相機(jī)的標(biāo)定如圖4所示。由圖4可以看出，仿真重現(xiàn)位置關(guān)系和實(shí)際情況基本符合，雙目立體標(biāo)定基本正確。

圖4 雙目相機(jī)的標(biāo)定

3 棉花頂芽智能識(shí)別定位系統(tǒng)

3.1 棉花頂芽識(shí)別

棉花頂芽的形態(tài)各異，雙目相機(jī)的拍攝距離、角度及環(huán)境光照條件等對(duì)棉花頂芽的識(shí)別效果有很大影響。復(fù)雜的場(chǎng)景和工況對(duì)系統(tǒng)的準(zhǔn)確識(shí)別定位提出了更高的要求,因此系統(tǒng)采用深度學(xué)習(xí)算法——YOLOv3算法對(duì)棉花進(jìn)行智能識(shí)別[9]，通過(guò)前期采集大量棉花頂芽圖片作為數(shù)據(jù)集訓(xùn)練樣本，由人工在采集樣本上標(biāo)注棉花頂芽的位置，提取棉花的有效特征參數(shù)，將數(shù)據(jù)集通過(guò)設(shè)計(jì)的智能識(shí)別算法進(jìn)行學(xué)習(xí)訓(xùn)練后，實(shí)現(xiàn)對(duì)棉花頂芽的實(shí)時(shí)、準(zhǔn)確識(shí)別，提高了系統(tǒng)的實(shí)時(shí)性和準(zhǔn)確性[10]。

3.2 棉花頂芽位置測(cè)量

由雙目相機(jī)采集左、右兩幅圖像分別完成對(duì)棉花頂芽的識(shí)別后，需將兩幅圖像的識(shí)別結(jié)果進(jìn)行匹配，檢測(cè)到目標(biāo)為同一株棉花頂芽，然后才能對(duì)頂芽目標(biāo)進(jìn)行空間位置測(cè)量，以獲取該株棉花頂芽的空間位置坐標(biāo)。本系統(tǒng)采用尺度不變特征轉(zhuǎn)換(SIFT)算法進(jìn)行左、右相機(jī)識(shí)別圖像的匹配。SIFT是一種局部性特征描述方法，通過(guò)在不同的尺度空間內(nèi)查找目標(biāo)特征點(diǎn)，并計(jì)算特征點(diǎn)方向[11]，完成圖像匹配。

將左、右相機(jī)識(shí)別的圖像匹配后，利用雙目立體視覺(jué)的視差原理測(cè)量物體的空間位置三維坐標(biāo)，實(shí)現(xiàn)深度場(chǎng)的恢復(fù)。兩個(gè)相機(jī)的圖像平面和被測(cè)物體之間構(gòu)成一個(gè)三角形，已知相機(jī)間的位置關(guān)系，便可計(jì)算出雙目相機(jī)公共視場(chǎng)內(nèi)空間物體特征點(diǎn)的三維坐標(biāo)[12]。

3.3 系統(tǒng)軟件設(shè)計(jì)

基于深度學(xué)習(xí)的棉花頂芽智能識(shí)別定位系統(tǒng)軟件主要包括綜合控制模塊、數(shù)據(jù)采集模塊、數(shù)據(jù)編解碼模塊、智能識(shí)別模塊、雙目相機(jī)多目標(biāo)匹配模塊、空間位置測(cè)量模塊、監(jiān)控模塊和數(shù)據(jù)傳輸模塊。棉花頂芽識(shí)別定位系統(tǒng)軟件流程如圖5所示。

圖5 棉花頂芽識(shí)別定位系統(tǒng)軟件流程

4 現(xiàn)場(chǎng)試驗(yàn)

4.1 系統(tǒng)識(shí)別試驗(yàn)

在山東濱州機(jī)采棉基地對(duì)設(shè)計(jì)的棉花頂芽識(shí)別定位系統(tǒng)進(jìn)行現(xiàn)場(chǎng)試驗(yàn)。

首先對(duì)不同訓(xùn)練條件下產(chǎn)生的模型文件進(jìn)行了測(cè)試，即對(duì)12 603張圖片數(shù)據(jù)集生成的訓(xùn)練模型文件進(jìn)行測(cè)試及分析，包含背光、逆光、強(qiáng)光、弱光、頂芽不同生長(zhǎng)階段、頂芽存在遮擋等不同類(lèi)型的測(cè)試集，每張圖片中平均有約3個(gè)～5個(gè)棉花頂芽，其中12 202張圖片內(nèi)的所有棉花頂芽能被完全識(shí)別；257張圖片中的棉花頂芽目標(biāo)識(shí)別小于2個(gè)，識(shí)別率可達(dá)到96.81%；144張無(wú)效圖，即圖片中無(wú)棉花頂芽或部分圖像模糊。

然后，本系統(tǒng)在棉田對(duì)實(shí)際棉花頂芽進(jìn)行識(shí)別試驗(yàn)，分別在一天中不同時(shí)刻對(duì)棉花頂芽進(jìn)行識(shí)別，如圖6所示。不同時(shí)刻對(duì)棉花頂芽的識(shí)別率是不同的，經(jīng)測(cè)試計(jì)算最佳識(shí)別率可達(dá)到91.45%。產(chǎn)生識(shí)別率下降的原因可能是由于不同時(shí)刻太陽(yáng)光照強(qiáng)度不同導(dǎo)致?？梢钥闯鲈撝悄茏R(shí)別在棉花頂芽識(shí)別定位方面得到很好的應(yīng)用，并按此推斷后期對(duì)系統(tǒng)軟件算法進(jìn)行優(yōu)化和增加專(zhuān)用光照系統(tǒng)后，會(huì)有效提高系統(tǒng)的識(shí)別率。

圖6 不同環(huán)境下識(shí)別試驗(yàn)

4.2 視覺(jué)定位測(cè)量試驗(yàn)

在打頂試驗(yàn)前，首先用標(biāo)號(hào)簽對(duì)將要測(cè)試的棉株依次進(jìn)行標(biāo)號(hào)，用直尺手動(dòng)測(cè)量雙目相機(jī)距離棉花頂芽最上端的距離，按照序號(hào)記錄在表格中；然后將識(shí)別定位系統(tǒng)放置在棉花頂芽位置，打開(kāi)系統(tǒng)對(duì)棉花頂芽進(jìn)行識(shí)別，識(shí)別結(jié)果如圖7所示。系統(tǒng)界面會(huì)顯示視覺(jué)定位棉花頂芽的數(shù)據(jù)，將測(cè)試結(jié)果記錄在表格內(nèi)，如表3所示。由表3可以看出，采用立體視覺(jué)方法測(cè)量的棉花頂芽距離與實(shí)測(cè)距離非常接近，誤差在10%以?xún)?nèi)，可以滿(mǎn)足棉花打頂機(jī)的使用需求。

圖7 視覺(jué)定位測(cè)量試驗(yàn)結(jié)果

表3 視覺(jué)定位測(cè)試數(shù)據(jù)

5 結(jié)論

針對(duì)棉花打頂機(jī)中棉花頂芽識(shí)別定位精度低、時(shí)效性差的問(wèn)題，將立體視覺(jué)測(cè)量技術(shù)應(yīng)用于棉花機(jī)械打頂作業(yè)中，結(jié)合深度學(xué)習(xí)智能識(shí)別算法和雙目視覺(jué)測(cè)量原理，設(shè)計(jì)了一套棉花頂芽識(shí)別定位系統(tǒng)。系統(tǒng)能實(shí)現(xiàn)對(duì)棉花頂芽位置的快速準(zhǔn)確測(cè)量，并給出棉花頂芽的空間位置坐標(biāo)，驅(qū)動(dòng)打頂執(zhí)行器到打頂位置，實(shí)現(xiàn)對(duì)棉花頂芽的精準(zhǔn)打頂。通過(guò)棉田試驗(yàn)表明，本系統(tǒng)能實(shí)現(xiàn)對(duì)單株棉花頂芽的快速精準(zhǔn)打頂作業(yè)，為棉花打頂精細(xì)化作業(yè)提供了技術(shù)保障，對(duì)棉花品質(zhì)和產(chǎn)量的提高具有重要意義。