基于RealSense深度相機(jī)的多特征樹(shù)干快速識(shí)別方法

沈 躍 莊珍珍 劉 慧 姜建濱 歐鳴雄

(1.江蘇大學(xué)電氣信息工程學(xué)院，鎮(zhèn)江 212013；2.江蘇大學(xué)農(nóng)業(yè)工程學(xué)院，鎮(zhèn)江 212013)

0 引言

在農(nóng)業(yè)環(huán)境中，對(duì)果實(shí)植株進(jìn)行檢測(cè)、田間管理、農(nóng)用機(jī)器人定位和導(dǎo)航等田間工作[1-6]，需要獲取果樹(shù)的位置信息，因此圖像分割和圖像識(shí)別技術(shù)具有較高的實(shí)用價(jià)值。果園通常是半結(jié)構(gòu)化環(huán)境，同類(lèi)型的樹(shù)一般種植在直行和平行行中，行距幾乎相等，規(guī)整的布局為移動(dòng)機(jī)器人的定位和導(dǎo)航提供了理想的環(huán)境。但是，環(huán)境只是“半結(jié)構(gòu)化”的，這意味著果樹(shù)的位置存在較大誤差，而且果園中還存在一些非樹(shù)木對(duì)象，這些復(fù)雜的環(huán)境影響了樹(shù)干識(shí)別精度，因而影響了農(nóng)業(yè)機(jī)器人在果園中定位和導(dǎo)航，所以對(duì)樹(shù)干進(jìn)行實(shí)時(shí)且精確地識(shí)別顯得尤為重要。

近年來(lái)，國(guó)內(nèi)外一些學(xué)者針對(duì)樹(shù)木檢測(cè)進(jìn)行了大量的研究。BARGOTI等[7]利用激光雷達(dá)和圖像數(shù)據(jù)，提出了一種樹(shù)干檢測(cè)模型，用于識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)蘋(píng)果園中的單棵樹(shù)，對(duì)果園建立了一個(gè)包含果樹(shù)數(shù)目、果樹(shù)位置等準(zhǔn)確信息的果園模型，但該方法一次只能提取一棵樹(shù)干信息，檢測(cè)范圍較小。劉沛[8]利用標(biāo)準(zhǔn)果園中果樹(shù)之間間距基本一致的特點(diǎn)，將二維激光雷達(dá)數(shù)據(jù)中成等差數(shù)列的內(nèi)凹點(diǎn)作為樹(shù)干的位置點(diǎn)，然后通過(guò)最小二乘法對(duì)導(dǎo)航的直線路徑進(jìn)行擬合，但此方法對(duì)果園標(biāo)準(zhǔn)的結(jié)構(gòu)化要求較高。SHALAL等[9]通過(guò)將激光傳感器獲取的寬度數(shù)據(jù)融合相機(jī)獲取的顏色和邊緣數(shù)據(jù)來(lái)進(jìn)行樹(shù)干識(shí)別，并利用激光傳感器實(shí)時(shí)獲取準(zhǔn)確的定位信息。牛潤(rùn)新等[10]使用單線激光水平安裝獲取環(huán)境信息，提出基于距離的自適應(yīng)密度聚類(lèi)方法完成初步聚類(lèi)，并利用特征點(diǎn)對(duì)地面和雜草進(jìn)行干擾排除，從而獲取果樹(shù)的準(zhǔn)確位置信息。但激光雷達(dá)造價(jià)較為昂貴且在背景信息復(fù)雜的環(huán)境中不能很好地采集特征信息。相機(jī)可以提供比激光雷達(dá)更豐富的信息，而且輕便，使用平臺(tái)更廣，是一種低成本方案。

CHEN等[11]通過(guò)多攝像頭獲取果園圖像，并將基于顏色、紋理和輪廓的多特征融合技術(shù)應(yīng)用于柑橘樹(shù)干的識(shí)別，然后使用超聲波傳感器進(jìn)行定位。RGB-D相機(jī)能夠提供可用于深度距離測(cè)量、特征提取(例如顏色、邊緣、紋理)和目標(biāo)檢測(cè)的重要信息，且成本較低，故RGB-D相機(jī)在戶(hù)外農(nóng)業(yè)應(yīng)用中變得越來(lái)越普遍，例如樹(shù)木檢測(cè)[12]、地圖構(gòu)建[13]、移動(dòng)機(jī)器人定位和導(dǎo)航[14]。文獻(xiàn)[15]使用RGB-D相機(jī)融合深度和紋理特征的樹(shù)干分割算法對(duì)彩色圖像進(jìn)行分割，首先使用簡(jiǎn)單線性迭代聚類(lèi)(Simple linear iterative cluster,SLIC)算法生成超像素，然后通過(guò)色調(diào)和寬度特征對(duì)樹(shù)干進(jìn)行識(shí)別，能夠有效提高圖像的分割速度以及樹(shù)干的識(shí)別率，但在不同光照條件下樹(shù)干識(shí)別率還有待進(jìn)一步提升。本文考慮光照對(duì)樹(shù)干識(shí)別的影響，將彩色圖像轉(zhuǎn)換到不受光照影響的顏色分量下，并使用樹(shù)干的平行邊特征來(lái)取代樹(shù)干的色調(diào)特征以提高不同光照下樹(shù)干的識(shí)別率。提出基于RGB-D相機(jī)的多特征樹(shù)干快速識(shí)別方法，通過(guò)對(duì)HSV顏色空間的S分量進(jìn)行超像素分割，并將顏色特征和深度特征相近的相鄰超像素塊進(jìn)行合并，利用寬度特征和平行邊特征對(duì)樹(shù)干進(jìn)行識(shí)別，以有效區(qū)分樹(shù)干和非樹(shù)干物體。

1 樹(shù)干識(shí)別算法

1.1 圖像數(shù)據(jù)采集平臺(tái)

本文使用Intel公司的RealSense D435傳感器(圖1)，結(jié)合OpenCV庫(kù)獲取彩色圖像與深度數(shù)據(jù)。RealSense D435傳感器性?xún)r(jià)比高，體積小巧且無(wú)需搭載外接電源，通過(guò)自帶的USB接口與計(jì)算機(jī)相連，非常適合在移動(dòng)的設(shè)備上進(jìn)行數(shù)據(jù)傳輸。將RealSense D435傳感器安裝在移動(dòng)機(jī)器人正前方，于果樹(shù)行中間地帶行駛并連續(xù)拍攝前方樹(shù)木，如圖2所示。

圖1 RealSense D435傳感器實(shí)物圖Fig.1 Schematic of RealSense D435 sensor1.左紅外相機(jī) 2.紅外點(diǎn)陣投射器 3.右紅外相機(jī) 4.RGB相機(jī)

圖2 移動(dòng)機(jī)器人圖像采集平臺(tái)Fig.2 Mobile robot image acquisition platform

1.2 顏色空間選擇

自然環(huán)境下光照條件時(shí)刻發(fā)生變化，移動(dòng)機(jī)器人在行進(jìn)過(guò)程中，視覺(jué)傳感器采集到的果園圖像質(zhì)量會(huì)受到光線強(qiáng)度的干擾，因此出現(xiàn)樹(shù)干分割算法在不同光照條件下分割效果不理想的情況，且顏色空間的選取也會(huì)直接影響圖像分割質(zhì)量，故選擇合適的顏色空間對(duì)圖像的分割至關(guān)重要。在選擇顏色空間時(shí)要視具體情況而定，雖然有多種顏色空間用于彩色圖像處理，但選擇最佳的顏色空間仍是圖像分割的一個(gè)難題[16]。

HSV顏色空間模型的3個(gè)顏色分量分別表示為H(色調(diào)，hue)、S(飽和度，saturation)和V(亮度，value)。色調(diào)H主要用于顏色檢測(cè)，因?yàn)樗峁┯嘘P(guān)顏色的信息，而飽和度則集中在照明條件上。

從RGB到HSV顏色空間的轉(zhuǎn)換公式為

(1)

將原始圖像由RGB空間轉(zhuǎn)換到HSV顏色空間后，再將H、S和V分量的圖像分別分離出來(lái)，得到3個(gè)獨(dú)立的灰度圖像。如圖3所示，在H和V分量下樹(shù)干與背景沒(méi)有區(qū)分開(kāi)來(lái)；S分量下，光照產(chǎn)生的陰影得到了很大程度上的抑制，且樹(shù)干與背景區(qū)分度較大。故本文最終選擇HSV顏色空間中的S分量進(jìn)行超像素分割。

圖3 原始圖像及其HSV各分量結(jié)果Fig.3 Original image and its HSV component results

1.3 樹(shù)干快速分割算法

1.3.1原始SLIC超像素分割算法

SLIC算法由ACHANTA等[17]于2012年提出，該算法不僅可以分割彩色圖像，還可以分割灰度圖像和光譜圖像，其計(jì)算簡(jiǎn)單、運(yùn)算速度快，對(duì)圖像中的物體輪廓保持完整、超像素塊形狀良好，具有較高的綜合評(píng)價(jià)，比較符合人們期望的分割效果。

SLIC算法將彩色圖像用5維特征向量表示，該向量由CIELAB顏色空間和XY坐標(biāo)組成，然后再構(gòu)造5維特征向量的度量標(biāo)準(zhǔn)，并對(duì)圖像像素進(jìn)行局部聚類(lèi)。該算法的步驟為：

(2)距離度量標(biāo)準(zhǔn)。在每個(gè)新的聚類(lèi)中心2S×2S鄰域內(nèi)遍歷每個(gè)像素點(diǎn)，分別計(jì)算鄰域內(nèi)像素點(diǎn)和該聚類(lèi)中心的距離。由于每個(gè)像素點(diǎn)都會(huì)被多個(gè)聚類(lèi)中心搜索到，所以每個(gè)像素點(diǎn)都會(huì)有一個(gè)與周?chē)垲?lèi)中心的距離，并將該像素點(diǎn)分配給距離最近的聚類(lèi)中心。不斷地迭代這一過(guò)程直至收斂。距離計(jì)算式為

(2)

(3)

(4)

式中l(wèi)i、ai、bi——像素點(diǎn)i在Lab顏色空間下L、a、b分量的值

lj、aj、bj——像素點(diǎn)j在Lab顏色空間下L、a、b分量的值

xi、yi——像素點(diǎn)i在圖像中的坐標(biāo)值

xj、yj——像素點(diǎn)j在圖像中的坐標(biāo)值

dc——顏色距離ds——空間距離

D′——像素點(diǎn)與聚類(lèi)中心的距離

Nc——超像素內(nèi)最大顏色差

Ns——超像素內(nèi)最大空間距離

因?yàn)槊糠鶊D像中像素之間的色差不同，故Nc難以直接定義，在SLIC算法中設(shè)定Nc為l，l為調(diào)節(jié)超像素緊湊程度系數(shù)，l取值越大，超像素的形狀越規(guī)整。由于樹(shù)干輪廓是呈凹凸?fàn)畹模疚男鑼⑵漭喞暾崛〕鰜?lái)，故根據(jù)經(jīng)驗(yàn)l取為10。

(3)后續(xù)處理。將孤立的小尺寸超像素塊合并到周?chē)钕嗨频南噜彸袼貕K中。

1.3.2基于顏色直方圖和深度信息的超像素塊合并

由于SLIC算法在分割物體時(shí)通常會(huì)出現(xiàn)過(guò)分割，因此會(huì)增加整個(gè)算法的運(yùn)行時(shí)間。故本文使用一些描述符來(lái)表示這些區(qū)域，并定義合并規(guī)則。通過(guò)相鄰超像素塊之間的顏色直方圖與深度信息的關(guān)系來(lái)合并超像素塊，減少超像素塊的個(gè)數(shù)，降低后續(xù)工作的復(fù)雜度，從而提高算法的精確度。合并流程為：

(1)掃描每個(gè)分割好的超像素塊Qm，建立深度直方圖fH。

(5)

其中

式中d(m)——點(diǎn)m深度

z——采集到的有效深度

Z——Qm內(nèi)最大深度

f——變量值比較函數(shù)

η(m)——像素點(diǎn)有效性判斷函數(shù)

因?yàn)镽ealSense深度攝像頭采集的最小深度為0.11 m，所以z的最小值為0.11 m。

最后，歸一化深度直方圖。

(2)利用顏色直方圖計(jì)算相鄰超像素塊的相似度。顏色直方圖是表示超像素顏色特征統(tǒng)計(jì)數(shù)據(jù)的有效描述符。在超像素合并中，來(lái)自同一對(duì)象的相鄰超像素的顏色具有很高的相似性。本文中使用HSV中的S分量來(lái)計(jì)算顏色直方圖。將該灰度通道量化為64個(gè)級(jí)別，然后在64個(gè)特征空間中計(jì)算每個(gè)超像素塊的直方圖。用巴氏系數(shù)ρ(Qm,Rm)來(lái)衡量超像素塊Qm和Rm之間的相似性。

(6)

式中HQm——超像素塊Qm的歸一化顏色直方圖

HRm——超像素塊Rm的歸一化顏色直方圖

u——元素序號(hào)

如果2個(gè)超像素塊的顏色相似，那它們的顏色直方圖將非常相似，則超像素之間的巴氏系數(shù)越高，表示它們之間的相似度越高。

(3)計(jì)算2個(gè)相鄰超像素塊Qm和Rm之間顏色直方圖和深度信息的相似度sim(Qm,Rm)。計(jì)算式為

(7)

式中λ——顏色特征和深度特征的權(quán)重，取0～1

fHQm——超像素塊Qm的深度直方圖

fHRm——超像素塊Rm的深度直方圖

(4)將相似且相鄰的超像素塊進(jìn)行合并，然后重復(fù)步驟(1)至全部合并完成。

1.4 樹(shù)干寬度特征檢測(cè)

本文利用RealSense采集到的深度數(shù)據(jù)對(duì)圖像中物體寬度進(jìn)行檢測(cè)。其中，RealSense深度攝像頭視場(chǎng)角(Field of view，F(xiàn)OV)(水平×垂直×對(duì)角線)為91.2°×65.5°×100.6°，RGB攝像頭FOV(水平×垂直×對(duì)角線)為69.4°×42.5°×77°[18]，將彩色圖像與深度圖像配準(zhǔn)后，深度攝像頭FOV(水平×垂直)變?yōu)?3.4°×42.5°，由此可知深度圖像同一行像素相鄰像素點(diǎn)到相機(jī)所形成的夾角θ為

(8)

式中c0——深度圖像的列數(shù)

n0——當(dāng)前有效像素點(diǎn)與前一有效像素點(diǎn)之間無(wú)效像素點(diǎn)個(gè)數(shù)

在果園中，RealSense D435傳感器水平安裝在移動(dòng)機(jī)器人正前方。在掃描樹(shù)干時(shí)，可將樹(shù)干截面視為一個(gè)規(guī)則的圓形，掃描得到的樹(shù)干弧長(zhǎng)如圖4所示，由此可得樹(shù)干直徑w為

圖4 攝像頭掃描樹(shù)干示意圖Fig.4 Schematic of tree trunk scanned by camera

(9)

其中

式中rk——攝像頭到樹(shù)干的最小深度

α——掃描樹(shù)干截面的角度

n——弧線上像素點(diǎn)的數(shù)量

Ti——樹(shù)干截面上像素點(diǎn)的集合

dm——當(dāng)前有效像素點(diǎn)深度

通過(guò)計(jì)算深度圖像中間一行像素每個(gè)像素點(diǎn)的深度，并由相鄰像素點(diǎn)之間的深度差Δd判斷是否位于同一物體表面。如圖5所示，經(jīng)計(jì)算，樹(shù)干邊緣2個(gè)相鄰像素點(diǎn)之間的深度差為樹(shù)干表面像素的最大深度差Δdmax。實(shí)際測(cè)量時(shí)，由于樹(shù)干表面凹凸不平，RealSense深度攝像頭在光照條件下測(cè)量樹(shù)干的深度誤差為0.02 m，故設(shè)定當(dāng)深度差Δd<Δdmax+0.02時(shí)，判定前后2個(gè)像素點(diǎn)處于同一物體表面。

圖5 樹(shù)干橫截面示意圖Fig.5 Tree trunk cross-section diagram

(10)

(11)

1.5 樹(shù)干平行邊特征檢測(cè)

在實(shí)際應(yīng)用中，樹(shù)干的顏色特征和寬度特征多被用于樹(shù)干的識(shí)別，但在不同光照條件下顏色特征不能很好地利用。本文提出使用樹(shù)干邊緣近似平行這一特征來(lái)進(jìn)一步提高在不同光照條件下樹(shù)干的識(shí)別率。

將寬度滿(mǎn)足條件的物體看作是待處理物體，然后對(duì)待處理的物體進(jìn)行樹(shù)干平行邊檢測(cè)，以進(jìn)一步提高樹(shù)干識(shí)別的準(zhǔn)確度。首先在待處理物體上畫(huà)出物體寬度橫線，如圖6所示，對(duì)紅色橫線的左右兩側(cè)端點(diǎn)分別設(shè)置為w1和w2，并在w1和w2周?chē)O(shè)置適當(dāng)尺寸的感興趣區(qū)域窗口(ROI)，這樣會(huì)減少處理時(shí)間，并將圖像中其他部分未使用信息的噪聲影響降至最低。圖6中w1和w2周?chē)暮谏匦慰蚣礊镽OI窗口。

圖6 樹(shù)干平行邊檢測(cè)示意圖Fig.6 Schematic of trunk parallel edge detection

首先使用保邊均值濾波[19](Edge preserved mean filter，EPM)算法對(duì)ROI窗口進(jìn)行濾波以去除噪聲，該算法不僅濾波速度快，而且邊緣信息保護(hù)效果好；然后使用Canny邊緣檢測(cè)算法對(duì)濾波后的ROI窗口進(jìn)行邊緣檢測(cè)，該邊緣檢測(cè)算法不僅定位精度高，還抑制了虛假邊緣；最后再利用整體最小二乘直線擬合在ROI窗口中搜索到的可能的直邊。

因?yàn)闃?shù)干的邊緣不是絕對(duì)平行，而是近似平行，所以通過(guò)公式設(shè)置樹(shù)干邊緣線的角度范圍以及邊緣線之間的角度差來(lái)進(jìn)行樹(shù)干平行邊檢測(cè)。計(jì)算公式為

(12)

(13)

(14)

(15)

其中

式中ωj——加權(quán)系數(shù),采用經(jīng)驗(yàn)法確定

α1、α2——所檢測(cè)物體左、右側(cè)邊緣線角度

αmin、αmax——左右邊緣線允許的最小、最大角度

Δαmax——當(dāng)前檢測(cè)的物體左右兩條邊緣線之間所允許的最大角度差

RB——每個(gè)物體邊緣檢測(cè)的置信率

RB表示所檢測(cè)物體邊緣是樹(shù)干邊緣的置信率，由式(15)確定。樹(shù)干平行邊特征檢測(cè)能夠很好地區(qū)分樹(shù)干和非樹(shù)干物體，即使存在樹(shù)干的邊緣不是平行的，通過(guò)設(shè)置合適的閾值，也能夠在一定程度上降低樹(shù)干的誤識(shí)別率。

1.6 樹(shù)干快速識(shí)別算法流程

基于RealSense深度相機(jī)的多特征樹(shù)干快速識(shí)別方法步驟為：

(1)使用RealSense D435傳感器采集果園前方彩色圖像和深度圖像，并對(duì)彩色圖像和深度圖像進(jìn)行配準(zhǔn)。

(2)將彩色圖像由RGB空間轉(zhuǎn)換到HSV顏色空間，然后對(duì)HSV中的S分量進(jìn)行超像素分割，再根據(jù)S分量灰度圖像的顏色直方圖和深度圖像的深度信息對(duì)分割后的超像素塊進(jìn)行合并。

(3)在實(shí)現(xiàn)該算法之前，對(duì)果園中隨機(jī)選擇的多個(gè)樹(shù)干進(jìn)行了寬度測(cè)定，以確定初始樹(shù)干寬度分布。計(jì)算出樹(shù)干寬度分布的平均值μw和標(biāo)準(zhǔn)偏差σw，這些值在不同的果園中會(huì)有所不同。計(jì)算出的μw和σw用于確定正態(tài)分布的概率密度函數(shù)pdf(μw)，它表示均值附近概率的峰值。

(16)

(4)對(duì)深度圖像中間一行像素點(diǎn)的深度進(jìn)行檢測(cè)，計(jì)算每個(gè)掃描到的物體直徑w，并計(jì)算其概率密度函數(shù)pdf(w)，其表示物體寬度為樹(shù)干寬度的概率。將pdf(w)和pdf(μw)進(jìn)行比較，以確定物體寬度為樹(shù)干寬度的置信率Rw。選擇規(guī)則樹(shù)干Rw的最低值為T(mén)Lw，當(dāng)Rw>TLw時(shí)，則將該物體判斷為待處理物體。

(17)

(18)

(5)對(duì)樹(shù)干邊緣檢測(cè)的置信率RB的閾值TLB進(jìn)行估計(jì)，將計(jì)算所得的RB與TLB進(jìn)行比較。若RB>TLB時(shí)，則認(rèn)為該物體的兩條邊緣線是平行的，判斷待處理的物體為樹(shù)干，否則為非樹(shù)干。

基于RealSense深度相機(jī)的多特征樹(shù)干快速識(shí)別方法流程圖如圖7所示。

圖7 樹(shù)干識(shí)別算法流程圖Fig.7 Flow chart of trunk recognition algorithm

2 試驗(yàn)與結(jié)果分析

2.1 樹(shù)干特征提取

從果園中隨機(jī)抽取100個(gè)規(guī)則樹(shù)干，如圖8所示，用游標(biāo)卡尺測(cè)量樹(shù)干寬度，生成初始樹(shù)干寬度分布，計(jì)算初始樹(shù)干寬度分布的μw和σw，使用式(18)計(jì)算所有樹(shù)干的Rw。

圖8 樹(shù)干寬度測(cè)量Fig.8 Trunk width measurement

圖9顯示了選定的100個(gè)規(guī)則樹(shù)干寬度分布直方圖，μw和σw分別為69.82 mm和8.17 mm。

圖9 規(guī)則樹(shù)干寬度分布直方圖Fig.9 Histogram of regular tree trunk width distribution

圖10顯示了100個(gè)規(guī)則樹(shù)干的Rw直方圖分布，選擇規(guī)則樹(shù)干寬度置信率Rw的最低值為T(mén)Lw。

圖10 規(guī)則樹(shù)干Rw分布直方圖Fig.10 Histogram of regular tree trunk Rw distribution

2.2 樹(shù)干分割算法測(cè)試結(jié)果

選取20 m×24 m的果園(包含8行107棵果樹(shù))進(jìn)行試驗(yàn)測(cè)試，測(cè)試時(shí)移動(dòng)機(jī)器人共采集了26幅三維點(diǎn)云數(shù)據(jù)圖像，并對(duì)所開(kāi)發(fā)的樹(shù)干識(shí)別算法進(jìn)行評(píng)估。光照強(qiáng)度通常可以分為：強(qiáng)光照、正常光照和弱光照3種情況[20]，3種不同光照強(qiáng)度的圖像分別在果園環(huán)境的晴天(光照強(qiáng)度為42 000～75 000 lx)、多云(光照強(qiáng)度為16 000～35 000 lx)和陰天(光照強(qiáng)度為2 500～8 000 lx)條件下采集。針對(duì)強(qiáng)光照、正常光照和弱光照這3種情況，試驗(yàn)時(shí)間為2020年8月16日，晴天，北京時(shí)間11：00—13:00；正常光照：2020年10月10日，多云，北京時(shí)間15:30—17:00；弱光照：2020年10月26日，陰天，北京時(shí)間16:00—18:00。在試驗(yàn)期間樹(shù)干寬度的增長(zhǎng)非常小，可忽略不計(jì)。

如圖11所示，分別對(duì)強(qiáng)光照、正常光照和弱光照下果園環(huán)境進(jìn)行處理。選用移動(dòng)狀態(tài)下RealSense傳感器掃描的某一幀作為試驗(yàn)對(duì)象。考慮到RealSense深度攝像頭探測(cè)到的有效深度為10 m，通過(guò)設(shè)定閾值將遠(yuǎn)處的背景及樹(shù)干濾除，使用本文算法對(duì)前方進(jìn)行掃描自動(dòng)分割和識(shí)別。

圖11 不同光照條件下果園圖像Fig.11 Orchard images under different lighting conditions

圖12為通過(guò)SLIC算法對(duì)不同光照條件下原始彩色圖像進(jìn)行分割的效果圖，可以看出在果園復(fù)雜的環(huán)境下，超像素分割效果并不理想，強(qiáng)光照下樹(shù)干與背景部分的連接處存在許多過(guò)分割；正常光照下分割效果良好；弱光照下光線太暗，樹(shù)干與背景的顏色較為接近，出現(xiàn)誤分割、超像素塊不整齊等問(wèn)題。這些問(wèn)題對(duì)下一步超像素合并產(chǎn)生了一定干擾。

圖12 不同光照下原始彩色圖像SLIC分割效果圖Fig.12 SLIC segmentation renderings of original color images under different lighting conditions

本文中使用SLIC算法對(duì)不同光照條件下S分量進(jìn)行超像素分割，分割后的圖像如圖13所示，超像素塊大且整齊，樹(shù)干邊緣信息保留較為完整，有利于下一步超像素的合并。如圖14所示，超像素合并后，樹(shù)干區(qū)域被完整提取出來(lái)。但由于樹(shù)冠與背景區(qū)域比較復(fù)雜且兩者之間相連接部分出現(xiàn)一些過(guò)分割等問(wèn)題，在合并時(shí)相鄰超像素的顏色和深度信息有一些差異，所以并未合并成超大的像素塊。因?yàn)楹笃诙ㄎ恢恍栌玫綐?shù)干信息，所以這些對(duì)本文算法并無(wú)影響。

圖13 不同光照下S分量SLIC分割效果圖Fig.13 SLIC segmentation renderings of S component under different lighting conditions

圖14 超像素塊合并效果圖Fig.14 Superpixel blocks merging renderings

超像素合并后，確定滿(mǎn)足樹(shù)干寬度特征的物體所屬的超像素塊，并將該超像素塊看作是待處理物體，最后對(duì)該超像素塊進(jìn)行平行邊檢測(cè)，當(dāng)RB>TLB時(shí)，證明所檢測(cè)的超像素塊具有平行邊特征，并將該超像素塊提取出來(lái)。圖15為樹(shù)干區(qū)域提取結(jié)果圖，可以看出距離較近的果樹(shù)，其樹(shù)干區(qū)域被完整地提取出來(lái)，樹(shù)干識(shí)別效果較好；而距離較遠(yuǎn)(大于5 m)、光線太暗(光照強(qiáng)度小于4 000 lx)的果樹(shù)其識(shí)別率偏低。

圖15 樹(shù)干區(qū)域提取圖Fig.15 Tree trunk area extraction maps

2.3 樹(shù)干識(shí)別結(jié)果分析

2.3.1評(píng)價(jià)指標(biāo)

精確率(Precision,P)、召回率(Recall,R)和F1值是目標(biāo)識(shí)別中用來(lái)評(píng)價(jià)目標(biāo)識(shí)別準(zhǔn)確度的重要指標(biāo)。

2.3.2樹(shù)干識(shí)別效果分析

本文算法包括顏色空間轉(zhuǎn)換、SLIC超像素分割以及樹(shù)干識(shí)別這3個(gè)步驟，但研究發(fā)現(xiàn)不使用SLIC超像素分割算法也可以進(jìn)行樹(shù)干識(shí)別。將本文算法和文獻(xiàn)[15]算法(簡(jiǎn)稱(chēng)為算法B)、上述算法(簡(jiǎn)稱(chēng)為算法A)在不同光照條件下對(duì)樹(shù)干識(shí)別效果進(jìn)行比較，并計(jì)算相同情況下3種算法之間樹(shù)干識(shí)別的精確率、召回率、F1值和每幀圖像平均耗時(shí)(RGB-D相機(jī)采集圖像的幀率為30 f/s，以2.4 Hz頻率選取采集到的圖像并計(jì)算其耗時(shí))等指標(biāo)。其中，計(jì)算機(jī)主機(jī)配置CPU為Intel Core i7，主頻為4.9 GHz，內(nèi)存為16 GB，操作系統(tǒng)為Windows 10，程序編寫(xiě)運(yùn)行環(huán)境為Visual Studio 2019。

在強(qiáng)光照、正常光照和弱光照這3組試驗(yàn)中，對(duì)比結(jié)果如表1所示。為了驗(yàn)證本文方法的有效性和實(shí)用性，每組試驗(yàn)重復(fù)15次。在強(qiáng)光照條件下，本文的樹(shù)干識(shí)別算法精確率、召回率、F1值和每幀圖像平均耗時(shí)均優(yōu)于算法B，其中本文算法的精確率、召回率和F1值比算法B分別高2.17、4.67、3.49個(gè)百分點(diǎn)，每幀圖像平均耗時(shí)減少了0.32 s。正常光照下，本文算法的精確率、召回率、F1值和每幀圖像平均耗時(shí)均優(yōu)于算法B，其中本文算法的精確率、召回率和F1值比算法B分別高1.98、1.87、1.92個(gè)百分點(diǎn)，每幀圖像平均耗時(shí)減少了0.11 s。弱光照條件下，本文算法的精確率、召回率、F1值和每幀圖像平均耗時(shí)均優(yōu)于算法B，其中本文算法的精確率、召回率和F1值比算法B分別高1.08、1.87、1.51個(gè)百分點(diǎn)，每幀圖像平均耗時(shí)減少了0.08 s。算法B在強(qiáng)光照、正常光照和弱光照條件下，F(xiàn)1值分別為88.89%、89.43%和88.35%，每幀圖像平均耗時(shí)分別為0.86、0.77、0.84 s。本文的樹(shù)干識(shí)別算法F1值分別為92.38%、91.35%和89.86%，每幀圖像平均耗時(shí)分別為0.54、0.66、0.76 s。而算法A相較于其他2種算法樹(shù)干識(shí)別效果并不理想，雖每幀圖像平均耗時(shí)均小于其他2種算法，但在強(qiáng)光照、正常光照、弱光照情況下和另外2種算法相比，樹(shù)干識(shí)別準(zhǔn)確率較低，分別為81.86%、77.98%、72.73%，無(wú)法滿(mǎn)足果園環(huán)境下作業(yè)要求。算法A樹(shù)干識(shí)別率低的原因在于SLIC超像素分割算法能夠?qū)M(mǎn)足樹(shù)干寬度特征的物體與合并后的超像素塊進(jìn)行匹配，而缺少SLIC超像素分割算法則無(wú)法剔除一些滿(mǎn)足寬度特征的非樹(shù)干物體，從而影響檢測(cè)結(jié)果。

表1 不同光照條件及不同樹(shù)干識(shí)別算法性能Tab.1 Performance of different trunk recognition algorithms under different light conditions

本文算法在強(qiáng)光照、正常光照和弱光照情況下，樹(shù)干識(shí)別率均高于其他2種算法，且耗時(shí)較短，能夠較好地滿(mǎn)足果園環(huán)境下作業(yè)要求。

3 結(jié)論

(1)針對(duì)果園環(huán)境復(fù)雜且光照時(shí)刻發(fā)生變化等問(wèn)題，提出了一種基于RealSense深度相機(jī)的多特征樹(shù)干快速識(shí)別方法。首先對(duì)HSV顏色空間的S分量進(jìn)行SLIC超像素分割，并根據(jù)相鄰超像素塊間的顏色特征和深度特征對(duì)分割后的超像素塊進(jìn)行合并，有效降低了后續(xù)工作的復(fù)雜度，提高了算法的準(zhǔn)確率；然后利用樹(shù)干的寬度特征和平行邊特征對(duì)樹(shù)干進(jìn)行快速識(shí)別，有效提高了在不同光照下樹(shù)干的識(shí)別率。

(2)基于RealSense深度相機(jī)的多特征樹(shù)干快速識(shí)別方法耗時(shí)較短，準(zhǔn)確率較高。在強(qiáng)光照、正常光照和弱光照的試驗(yàn)中，樹(shù)干識(shí)別準(zhǔn)確率分別為92.38%、91.35%和89.86%，每幀圖像平均耗時(shí)分別為0.54、0.66、0.76 s。試驗(yàn)結(jié)果表明，本文方法在不同光照條件下保持了較高的識(shí)別率和快速性。

(3)基于RealSense深度相機(jī)的多特征樹(shù)干快速識(shí)別方法耗時(shí)較短，能夠有效解決不同光照下光照亮暗差異帶來(lái)的問(wèn)題，且更能凸顯出目標(biāo)樹(shù)干，樹(shù)干識(shí)別率高，能夠滿(mǎn)足果園環(huán)境下作業(yè)要求，為后期農(nóng)業(yè)機(jī)器人定位和導(dǎo)航提供參照物。