油茶果視覺定位系統(tǒng)設(shè)計(jì)①

熊仕琦,王長坤,熊璐康

(南昌航空大學(xué) 信息工程學(xué)院,南昌 330063)

油茶果是天然的油料,是中國特有的油料之一,多生長在中國的南方,常見于廣西、湖南、江西、浙江、河南等省區(qū),去年,僅江西省的油茶林面積就達(dá)到了1598 萬畝(其中高產(chǎn)油茶林598 萬畝),產(chǎn)業(yè)總產(chǎn)值383.5 億元,油茶品牌集群建設(shè)成效初顯.江西省已將油茶產(chǎn)業(yè)列為推進(jìn)農(nóng)業(yè)結(jié)構(gòu)調(diào)整的九大產(chǎn)業(yè)之一.各地如何圍繞“三千工程”發(fā)展目標(biāo),全力推動(dòng)油茶產(chǎn)業(yè)高質(zhì)量發(fā)展,實(shí)現(xiàn)千萬畝高產(chǎn)油茶林目標(biāo)[1].為響應(yīng)《中國制造2025》號(hào)召,油茶果的采摘也亟待智能化的采摘設(shè)備來解決勞動(dòng)力緊缺的問題,油茶果采摘作業(yè)一旦機(jī)械智能化,將大大提高油茶果的產(chǎn)量,隨著科技的進(jìn)步,采摘機(jī)器人各個(gè)部分的系統(tǒng)也日益完善,視覺識(shí)別系統(tǒng)能夠穩(wěn)定的進(jìn)行目標(biāo)識(shí)別.目前在日本、美國等一些發(fā)達(dá)國家,采摘機(jī)器人的技術(shù)已經(jīng)十分成熟,這對(duì)于農(nóng)林業(yè)的規(guī)模化、精準(zhǔn)化具有極大幫助.近年來很多國內(nèi)外學(xué)者對(duì)采摘機(jī)器人視覺系統(tǒng)進(jìn)行研究[2].

Ji 等在蘋果采摘視覺系統(tǒng)采用了SVM 分類器,對(duì)于套袋蘋果的識(shí)別率效果不錯(cuò),達(dá)到了89%,但是這種方法的識(shí)別效率并不高[3].

Rakun 等將蘋果的顏色與紋理兩個(gè)特征相結(jié)合來進(jìn)行識(shí)別,但對(duì)于復(fù)雜的周圍環(huán)境時(shí)的果實(shí)目標(biāo),無法提取紋理特征,難以識(shí)別目標(biāo)物[4].

相比于這些對(duì)果實(shí)目標(biāo)識(shí)別的常規(guī)方法,深度卷積神經(jīng)網(wǎng)絡(luò)展現(xiàn)出了其巨大的優(yōu)越性,本次研究提出利用雙目立體視覺系統(tǒng)獲取油茶果目標(biāo)圖像,并采集計(jì)算深度信息,采用one-stage 目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)復(fù)雜環(huán)境下油茶果果實(shí)的識(shí)別并與其他目標(biāo)檢測(cè)算法進(jìn)行實(shí)驗(yàn)比較,通過網(wǎng)絡(luò)規(guī)模的壓縮來加速檢測(cè)的速度,利用基于YOLOv3的油茶果識(shí)別方法定位圖像中的油茶果果實(shí)并返回其坐標(biāo),完成定位任務(wù).

1 數(shù)據(jù)收集

系統(tǒng)的設(shè)計(jì)思路是在卷積神經(jīng)網(wǎng)絡(luò)算法的基礎(chǔ)上,結(jié)合雙目立體視覺系統(tǒng)實(shí)現(xiàn)油茶果識(shí)別.在硬件選擇上,我們采用型號(hào)為CAM-AR0135-3T16的雙目相機(jī),且支持在Matlab 下的GUI 界面開發(fā),并通過USB 3.0在上位機(jī)實(shí)時(shí)顯示,如圖1所示.其具體參數(shù)見表1.

表1 雙目識(shí)別系統(tǒng)基礎(chǔ)參數(shù)

圖1 油茶果的雙目視覺識(shí)別系統(tǒng)模型

雙目立體視覺(成像原理如圖2)是采用兩組成像機(jī)器在不同位置攝取目標(biāo)物圖像,再根據(jù)不同位置攝取的目標(biāo)物偏差推算出目標(biāo)物的空間位置坐標(biāo)的一種機(jī)器視覺形式[5–7].在設(shè)計(jì)的視覺識(shí)別系統(tǒng)中,可以使用雙目立體視覺對(duì)攝取的圖像進(jìn)行分析處理得到目標(biāo)精確的三維空間的坐標(biāo).

圖2 雙目立體視覺成像原理

二維信息可以直接從圖像中獲取,而深度信息可由深度計(jì)算得出,如圖1所示,P點(diǎn)為空間某物體位置,f1和f2為雙目相機(jī)左右焦距.相機(jī)的空間轉(zhuǎn)換模型如式(1)和式(2)所示.

用旋轉(zhuǎn)平移矩陣來表示左右相機(jī)坐標(biāo)間的關(guān)系,具體如式(3)所示:

結(jié)合上式可以得到兩相機(jī)在坐標(biāo)系中投影點(diǎn)位置如式(4)所示:

由此可知空間某目標(biāo)點(diǎn)的位置如式(5)所示:

由于本次研究使用的雙目視覺設(shè)備左右兩相機(jī)高度相等,y1=y2.根據(jù)空間變換關(guān)系可得空間中任意一點(diǎn)的深度表達(dá)式,具體見式(6):

由此我們便可以從左右兩相機(jī)所采集到的油茶果圖像中獲取目標(biāo)的三維信息.

2 基于YOLOv3的油茶果目標(biāo)檢測(cè)算法

在YOLO 算法發(fā)表之前,大部分表現(xiàn)比較好的對(duì)象檢測(cè)(object detection)算法都是以 R-CNN為代表兩階段算法,這樣的算法存在一個(gè)很明顯的問題,那就是速度太慢,對(duì)實(shí)時(shí)性要求很高的場景適用性不高.YOLO 算法提出一步完成預(yù)測(cè),而且只在一個(gè)CNN 網(wǎng)絡(luò)模型中完成圖片中所有位置對(duì)象的box和類別預(yù)測(cè),推理速度大大提升,完全可以滿足實(shí)時(shí)對(duì)象檢測(cè).

YOLO是以Darknet-53為基礎(chǔ)的算法,它只需要進(jìn)行一次深度卷積網(wǎng)絡(luò)的計(jì)算過程,就可以實(shí)現(xiàn)端對(duì)端的目標(biāo)檢測(cè)功能[8,9].

2.1 YOLOv3 算法數(shù)學(xué)原理

YOLOv3 算法將圖像分成S×S的網(wǎng)格[10],設(shè)x,y為預(yù)測(cè)框的中心坐標(biāo),w,h為預(yù)測(cè)框?qū)捀咦鴺?biāo),confidence(置信度)指特定目標(biāo)落在待特定格子的真實(shí)性程度[11].

在對(duì)目標(biāo)圖像的檢測(cè)中,定義IOU為候選框與原標(biāo)記框的交疊率.對(duì)于YOLOv3 網(wǎng)絡(luò)的最終輸出維度為式(7)所示:

我們定義置信度的置信值計(jì)算如式(8)所示:

每個(gè)網(wǎng)格預(yù)測(cè)的類別信息為C=Pr(classi|Object),只預(yù)測(cè)一類概率,其計(jì)算公式為式(9):

3 系統(tǒng)設(shè)計(jì)

整個(gè)系統(tǒng)的流程圖如圖3.

圖3 油茶果識(shí)別系統(tǒng)流程圖

(1)目標(biāo)圖像采集模塊

使用可變基線USB 3.0 雙目相機(jī)采集目標(biāo)圖像,對(duì)相機(jī)參數(shù)進(jìn)行實(shí)驗(yàn)設(shè)定及調(diào)整,使其能夠?qū)崿F(xiàn)對(duì)目標(biāo)圖像的獲取.圖像要求無曝光情況或大量噪聲干擾[10].

通過雙目視覺系統(tǒng)的獲取的兩組坐標(biāo)信息,可以通過解算實(shí)現(xiàn)獲取目標(biāo)位置信息.通過多次的調(diào)試和對(duì)比分析,圖像攝取距離在2 m 以內(nèi),雙目相機(jī)基線距離設(shè)定為90.89 mm,相機(jī)具體參數(shù)如表2所示.

表2 相機(jī)標(biāo)定后的主要數(shù)據(jù)

(2)定位系統(tǒng)訓(xùn)練模塊

訓(xùn)練的一般步驟是先提取訓(xùn)練樣本的目標(biāo)特征值,生成一組最優(yōu)的網(wǎng)絡(luò)參數(shù)設(shè)置和權(quán)重,訓(xùn)練過程中不斷調(diào)整網(wǎng)絡(luò)參數(shù)設(shè)置和權(quán)重.

(3)定位系統(tǒng)測(cè)試模塊

定位系統(tǒng)測(cè)試模塊是驗(yàn)證訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)的識(shí)別能力.通過訓(xùn)練,改進(jìn)后的YOLOv3 神經(jīng)網(wǎng)絡(luò)初步具備對(duì)目標(biāo)的檢測(cè)能力.實(shí)際的訓(xùn)練的效果需要進(jìn)一步進(jìn)行測(cè)試,測(cè)試過程中可以手動(dòng)修正一些特殊的情況,如識(shí)別精度不足,個(gè)別無法識(shí)別的狀況,當(dāng)網(wǎng)絡(luò)的神經(jīng)感知度得到進(jìn)一步深化的時(shí)候,識(shí)別系統(tǒng)對(duì)目標(biāo)的識(shí)別準(zhǔn)確率將明顯提高.

(4)可視化界面設(shè)計(jì)

信息可視化是識(shí)別系統(tǒng)最直接的體現(xiàn),通過人機(jī)交互界面可以直觀的判斷系統(tǒng)識(shí)別的效率.我們可以根據(jù)需要,對(duì)一些關(guān)鍵參數(shù)實(shí)施可視化處理,如此對(duì)于整個(gè)系統(tǒng)的優(yōu)化以及判斷會(huì)更加直觀,也在一定程度上增強(qiáng)了系統(tǒng)的可靠性.

3.1 實(shí)驗(yàn)方案流程設(shè)計(jì)

(1)第1 步.實(shí)驗(yàn)樣本圖像采集.

本次研究從某油茶種植園采集油茶果圖片.于2019年8月3日、8月 4日,進(jìn)行了油茶果目標(biāo)的采集工作.共采集圖片質(zhì)量清晰,特征明顯的油茶果圖像 240 張,共計(jì)約油茶果 1 200 個(gè).

(2)第2 步.實(shí)驗(yàn)樣本圖像的預(yù)處理.

對(duì)于采集完的圖像,我們還需要對(duì)其進(jìn)行預(yù)處理,除了對(duì)已獲取的圖片進(jìn)行篩選,我們還需要對(duì)實(shí)驗(yàn)樣本圖像數(shù)據(jù)增強(qiáng).由于卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像變換保持不變性,這就是數(shù)據(jù)增強(qiáng)的前提[12–15].

數(shù)據(jù)增強(qiáng)可以成倍增加數(shù)據(jù)集數(shù)量可以達(dá)到更好的訓(xùn)練效果,防止過擬合減少不相關(guān)特征的影響[16].

對(duì)于獲得的油茶果圖片,進(jìn)行翻轉(zhuǎn)、銳度變換、裁剪等操作對(duì)已有數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)[17–19].我們選擇已有的240 張油茶果圖像,進(jìn)行隨機(jī)的圖片變換操作,將數(shù)據(jù)集擴(kuò)大到600 張,共計(jì)約油茶果3 000 個(gè),從中選擇300 張用于訓(xùn)練.且將測(cè)試樣本分類為疏松樣本、背景遮擋樣本、果實(shí)遮擋樣本3 個(gè)部分.

(3)第3 步.訓(xùn)練與測(cè)試樣本目標(biāo)標(biāo)注.

由于監(jiān)督學(xué)習(xí)可以獲得更完善的目標(biāo)特征信息,本文采用監(jiān)督學(xué)習(xí)的方式,先把目標(biāo)區(qū)域框出,加強(qiáng)目標(biāo)特征提取效率,提高識(shí)別率.標(biāo)注方法如下:

利用LabelImg 圖片標(biāo)注工具,LabelImg是基于Python的圖片標(biāo)注工具,支持自主標(biāo)注圖片,框出目標(biāo)位置和目標(biāo)類別,并自動(dòng)生成包含目標(biāo)位置信息的xml文件、所有圖片地址的txt 文檔和圖片本身.于此得到了一個(gè)完整的樣本VOC 數(shù)據(jù)集.圖4為包含目標(biāo)位置信息的xml 文件,圖5是LabelImg 圖片標(biāo)注工具.

圖4 包含目標(biāo)位置信息的xml 文件

圖5 LabelImg 圖片標(biāo)注工具

(4)第4 步.油茶果識(shí)別系統(tǒng)網(wǎng)絡(luò)訓(xùn)練.

對(duì)已標(biāo)注過的油茶果數(shù)據(jù)集,放入YOLOv3 網(wǎng)絡(luò)中進(jìn)行特征提取,建立油茶果識(shí)別模型,其訓(xùn)練流程如圖6所示.

圖6 油茶果識(shí)別系統(tǒng)網(wǎng)絡(luò)訓(xùn)練過程

大量油茶果圖片通過YOLOv3 網(wǎng)絡(luò)進(jìn)行提取特征和深度學(xué)習(xí),保留了其目標(biāo)特征的大量信息,已經(jīng)實(shí)現(xiàn)初步的識(shí)別效果.

(5)第5 步.油茶果識(shí)別系統(tǒng)檢測(cè).

訓(xùn)練出的油茶果模型的精密度得通過測(cè)試數(shù)據(jù)集進(jìn)行試驗(yàn),根據(jù)試驗(yàn)結(jié)果中油茶果目標(biāo)的識(shí)別率來判斷算法的優(yōu)越性.

圖7–圖9為YOLOv3 在不同環(huán)境下的識(shí)別效果圖,圖10是油茶果定位系統(tǒng)的可視化界面.

圖7 普通完整油茶果識(shí)別

圖9 果實(shí)重疊遮擋油茶果識(shí)別

圖10 油茶果定位系統(tǒng)可視化界面

4 定位系統(tǒng)實(shí)驗(yàn)結(jié)果分析

YOLOv3 算法在對(duì)油茶果圖片的檢測(cè)過程中表現(xiàn)穩(wěn)定,能夠?qū)y(cè)試樣本中各種情況下的油茶果目標(biāo)進(jìn)行精準(zhǔn)的識(shí)別并進(jìn)行三維定位,油茶果定位系統(tǒng)運(yùn)行順暢,魯棒性較強(qiáng).此外為了對(duì)比算法的效果,此次試驗(yàn)還對(duì)相同條件下的其他算法進(jìn)行比對(duì),對(duì)識(shí)別的準(zhǔn)確率和召回率進(jìn)行比較.

在試驗(yàn)對(duì)比中我們統(tǒng)計(jì)了R-CNN、FastRCNN和YOLO 以及YOLOv3 目標(biāo)檢測(cè)常用算法的準(zhǔn)確率、召回率和用時(shí),如表3.且針對(duì)不同環(huán)境情況進(jìn)行分類實(shí)驗(yàn),研究油茶果識(shí)別的視覺系統(tǒng)對(duì)不同情況下油茶果圖片識(shí)別率差異.其柱狀圖如圖11所示.

圖11 4 種算法準(zhǔn)確率柱形圖

由表3和圖8得出,YOLOv3 在3 種場景下的準(zhǔn)確率分別達(dá)到98.20%、93.65%和90.21%.YOLOv3算法比R-CNN、FastRCNN、YOLO的準(zhǔn)確率更好.在背景遮擋與果實(shí)重疊情況時(shí)YOLOv3 算法與其他算法差異更加明顯.證明YOLOv3 在復(fù)雜環(huán)境下具有更精確的識(shí)別能力.

圖8 背景遮擋油茶果識(shí)別

表3 4 種算法準(zhǔn)確率對(duì)比 (%)

4種算法的召回率如表4所示,其數(shù)據(jù)轉(zhuǎn)換成柱狀圖如圖12所示.

表4 4 種算法的召回率對(duì)比 (%)

圖12 4 種算法召回率柱形圖

由表4和圖12得出,YOLOv3 在上述情況下的召回率分別為96.86%、92.20%、87.65%.在復(fù)雜情況下的總召回率比 R-CNN、FastRCNN和YOLO 分別提高了6.51%、0.92%和3.20%.分析結(jié)果可知,YOLOv3算法總體的識(shí)別率更高,其提取的目標(biāo)特征更為完全,且在復(fù)雜環(huán)境下算法具高的魯棒性.P-R 曲線圖如圖13所示.

圖13 P-R 曲線圖

改進(jìn)的YOLOv3 算法與FastRCNN 兩種目標(biāo)檢測(cè)算法檢測(cè)300 張目標(biāo)圖片的用時(shí)分別為7.87 s和15.43 s.比較FastRCNN 與YOLOv3 這兩種識(shí)別率較好的算法,我們發(fā)現(xiàn)改進(jìn)的YOLOv3 算法速度上更快.

綜上分析,YOLOv3 算法比YOLO和R-CNN 算法有更好的識(shí)別精度.在同等條件下,YOLOv3 準(zhǔn)確率比YOLO和R-CNN 算法提高了3.91%和7.6%;而召回率則提高了4.29%和1.75%,在復(fù)雜背景條件下,準(zhǔn)確率提高明顯,并且在識(shí)別速度上遠(yuǎn)遠(yuǎn)高于其他算法.

5 結(jié)論與展望

通過實(shí)驗(yàn)發(fā)現(xiàn)了改進(jìn)的YOLOv3 算法在油茶果單種目標(biāo)識(shí)別方面尤其是在一些復(fù)雜環(huán)境下具有準(zhǔn)確度高、召回率高、識(shí)別速度快等優(yōu)點(diǎn).實(shí)驗(yàn)還探究了雙目立體視覺系統(tǒng)在油茶果目標(biāo)定位上的可行性,對(duì)于定位的準(zhǔn)確性上可能還會(huì)出現(xiàn)偏差.所以后續(xù)會(huì)在雙目視覺系統(tǒng)的基礎(chǔ)上,油茶果的定位僅僅是個(gè)開始,實(shí)現(xiàn)使用采摘機(jī)器人對(duì)成熟的油茶果采摘才是本課題研究的最終目的,將視覺識(shí)別系統(tǒng)與機(jī)器臂聯(lián)系起來也是研究的重點(diǎn),視覺系統(tǒng)可將捕捉到的圖像中的目標(biāo)果實(shí)進(jìn)行識(shí)別和定位,將識(shí)別到的每一處油茶果標(biāo)記,使標(biāo)記的圖像框位置并線性排列,進(jìn)行硬件組態(tài)和軟件設(shè)計(jì),控制機(jī)械臂的軌跡優(yōu)化運(yùn)動(dòng),可以實(shí)現(xiàn)對(duì)成熟油茶果的精準(zhǔn)采摘[20].