基于深度相機(jī)的山地果園運(yùn)輸車避障系統(tǒng)設(shè)計(jì)*

李震，顏少華，洪添勝，呂石磊

(1. 華南農(nóng)業(yè)大學(xué)電子工程學(xué)院，廣州市，510642； 2. 國(guó)家柑橘產(chǎn)業(yè)技術(shù)體系機(jī)械化研究室，廣州市，510642； 3. 廣東省山地果園機(jī)械創(chuàng)新工程技術(shù)研究中心，廣州市，510642； 4. 華南農(nóng)業(yè)大學(xué)工程學(xué)院，廣州市，510642)

0 引言

我國(guó)南方水果生產(chǎn)地主要集中在丘陵山地地區(qū)，坡度大，地形復(fù)雜，作業(yè)困難[1]。為了解放生產(chǎn)力，提高果園機(jī)械化水平，山地果園貨運(yùn)技術(shù)取得了較好的發(fā)展[2]，其中單軌運(yùn)輸車因其節(jié)能環(huán)保、方便搬運(yùn)、經(jīng)濟(jì)性好等特點(diǎn)，在果園中廣泛應(yīng)用[3-4]。但運(yùn)輸車在應(yīng)用中，經(jīng)常被前方突發(fā)障礙物阻擋，如果不能及時(shí)有效的避開，容易發(fā)生安全事故，影響運(yùn)輸效率[5-6]，因此，設(shè)計(jì)一個(gè)可靠性強(qiáng)、實(shí)時(shí)性高的避障系統(tǒng)，對(duì)于提高生產(chǎn)效率、加強(qiáng)運(yùn)輸安全具有重要意義。

目前主流農(nóng)用機(jī)械障礙物檢測(cè)技術(shù)主要有超聲波、機(jī)器視覺、激光雷達(dá)[7]。超聲波存在聲波干衍射現(xiàn)象，導(dǎo)致在一定范圍內(nèi)同一時(shí)間只能單探頭工作，加上其波束角大，極容易被樹葉雜草等障礙物反射誤觸，果園測(cè)量具有局限性[8]。機(jī)器視覺計(jì)算復(fù)雜度大，消耗運(yùn)算能力高，加上被動(dòng)式探測(cè)，光照過強(qiáng)會(huì)過度曝光，過暗精度，而運(yùn)輸車軌道部分處于果樹覆蓋下，部分處于露天下，光強(qiáng)變化大，不適用于單軌運(yùn)輸車避障[9-13]。激光雷達(dá)采用主動(dòng)式探測(cè)，抗光強(qiáng)，但不適合在晨霧現(xiàn)象多的山地果園中使用，而且安裝在震動(dòng)很大的運(yùn)輸車上極容易損壞機(jī)械掃描部件[14-16]。而基于TOF技術(shù)的深度相機(jī)創(chuàng)造性的結(jié)合了視覺技術(shù)獲取信息豐富與激光測(cè)距抗光干擾性強(qiáng)的優(yōu)點(diǎn)，采用近紅外激光主動(dòng)式探測(cè)，可一次性獲得RGB圖像和深度圖像，體積小，功耗低，價(jià)格相對(duì)低廉，被廣泛應(yīng)用于農(nóng)業(yè)導(dǎo)航和三維重建[17-20]。

本研究基于TOF技術(shù)的深度相機(jī)，設(shè)計(jì)了一套山地果園單軌運(yùn)輸機(jī)避障系統(tǒng)，旨在為果園自動(dòng)化運(yùn)輸提供一套高效準(zhǔn)確的避障系統(tǒng)。

1 系統(tǒng)結(jié)構(gòu)

1.1 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

避障系統(tǒng)以ARGUS-A5深度相機(jī)作為障礙物數(shù)據(jù)采集器，以樹莓派3B+作為上位機(jī)數(shù)據(jù)處理器。整個(gè)系統(tǒng)可以分為三個(gè)模塊，即：障礙物檢測(cè)模塊、運(yùn)輸車控制模塊、電源模塊。系統(tǒng)的整體結(jié)構(gòu)如圖1所示。

避障系統(tǒng)其工作原理為：深度相機(jī)檢測(cè)到運(yùn)輸車行使空間上的障礙物三維信息，障礙物信息由一個(gè)80像素×60像素矩陣表示，每個(gè)矩陣元素包含像素點(diǎn)的坐標(biāo)信息、灰度信息以及深度信息，像素矩陣經(jīng)過USB協(xié)議傳輸至樹莓派內(nèi)存中保存，目標(biāo)程序讀取設(shè)備數(shù)據(jù)后，經(jīng)過數(shù)據(jù)處理做出避障決策，然后通過串口把避障標(biāo)志位傳輸至下位機(jī)STM32控制芯片，STM32中控芯片讀取到?jīng)Q策標(biāo)志位后通過控制無刷電機(jī)控制器對(duì)運(yùn)輸車的無刷電機(jī)做出正反轉(zhuǎn)、停止的控制，實(shí)現(xiàn)避障啟停效果。

1.2 傳感器參數(shù)

ARGUS-A5是一款基于時(shí)間渡越法(TOF)的多點(diǎn)測(cè)距深度相機(jī)，其滿足刷新率高、中長(zhǎng)距離測(cè)距的需求，內(nèi)部集成了嵌入式數(shù)據(jù)修正算法，抗光干擾能力強(qiáng)，可以通過Micro USB 2.0接口輸出光照強(qiáng)度和深度數(shù)據(jù)。其主要參數(shù)如表1所示。

表1 深度傳感器參數(shù)表Tab. 1 Parameters of depth sensor

2 硬件設(shè)計(jì)

2.1 單片機(jī)主控電路

單片機(jī)主控電路主要由單片機(jī)最小系統(tǒng)以及光耦隔離電路組成。單片機(jī)最小系統(tǒng)包括電源電路、晶振電路、復(fù)位電路、下載電路等。其中，單片機(jī)采用基于ARM內(nèi)核的STM32F103VCT6芯片，其各引腳對(duì)應(yīng)關(guān)系及意義如表2所示。

按鍵模塊主要用來控制運(yùn)輸車的運(yùn)動(dòng)狀態(tài)以及模式選擇，運(yùn)動(dòng)狀態(tài)包括前進(jìn)、停止、后退，模式選擇包括手動(dòng)模式以及自主運(yùn)行模式；無線接收模塊接收到遙控器信號(hào)或者按鍵按下后，需要經(jīng)過光耦隔離電路連接最小系統(tǒng)。由于無線信號(hào)及按鍵信號(hào)輸入端為5 V，TLP127光耦的LED壓降為1.15 V，推薦正向電流為16 mA，所以R6=(5-1.15)/16=240 Ω。其電路圖如圖2所示。

表2 單片機(jī)各引腳連接圖Tab. 2 Corresponding connections of MCU pins

圖2 光耦電路Fig. 2 Optical coupler equipment

2.2 無線遙控模塊

無線遙控模塊主要用來遠(yuǎn)距離對(duì)運(yùn)輸車進(jìn)行控制，包括前進(jìn)、停止、后退。這里采用PT2262/2272模塊進(jìn)行無線遙控，其采用315 MHz的高頻發(fā)射電路，傳輸距離可達(dá)400 m，其工作中只需要將PT2262/2272的1～8號(hào)地址位狀態(tài)碼設(shè)置為一致，就可以實(shí)現(xiàn)發(fā)送端PT2262與接收端PT2272的四位數(shù)據(jù)端保持通信。其引腳圖如圖3所示。

圖3 無線遙控模塊電路Fig. 3 Wireless remote control module circuit

3 軟件設(shè)計(jì)

3.1 測(cè)距原理

深度相機(jī)采用TOF(Time of Flight)技術(shù)，能夠提供深度傳感數(shù)據(jù)。如圖4所示，其測(cè)量原理為相機(jī)將特定波長(zhǎng)的近紅外光經(jīng)過調(diào)制后發(fā)射出去，近紅外光遇到障礙物后反射，相機(jī)的TOF傳感器接收到反射的光信號(hào)后，捕捉到發(fā)送的光信號(hào)和接收到的光信號(hào)之間的相位差，MPU將相位的差異換算成光的飛行時(shí)間，已知光的飛行速度，這樣就可以計(jì)算出相機(jī)和目標(biāo)物體之間的距離。

(1)

式中:depth——深度相機(jī)與障礙物之間的距離；

c——光速，3×108m/s；

t——飛行時(shí)間。

圖4 TOF測(cè)距原理圖Fig. 4 Schematic diagram of TOF

3.2 測(cè)量模型

深度相機(jī)在獲取三維空間深度信息時(shí)可以看成針孔成像模型，如圖5所示，假設(shè)攝像頭為B平面，成像平面為U-V坐標(biāo)系，物體平面為X-Y-Z世界坐標(biāo)系，攝像頭水平視角為FOV-H，垂直視角為FOV-V，設(shè)測(cè)量點(diǎn)坐標(biāo)為Q(x，y，z)，成像點(diǎn)坐標(biāo)點(diǎn)為q(u，v)，成像平面的邊長(zhǎng)為L(zhǎng)，高為H，與相機(jī)之間的深度距離為D。

圖5 成像模型示意圖Fig. 5 Schematic diagram of imaging model

測(cè)量平面跟深度信息之間的坐標(biāo)關(guān)系

L=2D×tan(FOV-H)

(2)

H=2D×tan(FOV-V)

(3)

D=depth

(4)

假設(shè)相機(jī)光心C(cu,cv),在UV上的焦距為fu,fv,根據(jù)相似三角形

(5)

(6)

即已知p(u,v)的像素坐標(biāo)信息以及深度信息，就可以知道有效檢測(cè)平面大小以及其中的檢測(cè)點(diǎn)Q(x,y,z)相對(duì)光心C(相機(jī)安裝位置)的空間三維信息。

3.3 算法設(shè)計(jì)

要實(shí)現(xiàn)避障決策，首先需要確認(rèn)障礙物相對(duì)于運(yùn)輸車行駛空間的位置，其次要分析障礙物類型，以便做出相應(yīng)決策。

根據(jù)運(yùn)輸車安全制動(dòng)最小距離確定好測(cè)量深度閾值后，由式(2)和式(3)可以計(jì)算出相機(jī)在固定測(cè)量深度D上的最大測(cè)量平面。為了簡(jiǎn)化計(jì)算量，可以根據(jù)運(yùn)輸車通行通道的縱截面計(jì)算出關(guān)于避障需求對(duì)于測(cè)量平面的感興趣區(qū)域(Region of interest,ROI)，如圖6所示。對(duì)于處于感興趣區(qū)域的像素點(diǎn)探測(cè)到的障礙物信息，視為有效點(diǎn)信息，由有效點(diǎn)的坐標(biāo)可以根據(jù)式(5) 和式(6)計(jì)算出障礙物平面探測(cè)點(diǎn)相對(duì)于相機(jī)安裝位置的三維坐標(biāo)。

圖6 測(cè)量平面的ROIFig. 6 ROI of measurement plane1.測(cè)量平面 2.感興趣區(qū)域 3.有效像素點(diǎn)

單軌運(yùn)輸車運(yùn)行時(shí)，主要的障礙物有在軌道附近的石頭、袋裝肥料、就業(yè)時(shí)橫穿軌道的果農(nóng)、放養(yǎng)在果園內(nèi)的牲畜、以及軌道兩旁果樹的側(cè)枝等。對(duì)于比較小的石頭以及側(cè)枝，運(yùn)輸車識(shí)別后可以直接通過，不需要做出避障措施，對(duì)于果農(nóng)、較大的石塊、袋裝肥料等，處于運(yùn)輸車通行范圍內(nèi)的，運(yùn)輸車需要做出避障決策。系統(tǒng)通過計(jì)算測(cè)量平面的感興趣區(qū)域有效點(diǎn)數(shù)量為M個(gè)，就可以計(jì)算出障礙物最大截面面積S。對(duì)于面積大于預(yù)定閾值的，經(jīng)決策不為側(cè)枝樹葉的障礙物，應(yīng)采取避障措施，其計(jì)算公式如式(7)所示。

(7)

式中:S——障礙物有效面積；

M——感興趣區(qū)間有效像素點(diǎn)；

U×V——測(cè)量平面像素點(diǎn)數(shù)量；

L×H——測(cè)量平面面積。

對(duì)于障礙物的類型識(shí)別，本文基于幀間差分法(Temporal Different)思想設(shè)計(jì)了一種障礙物識(shí)別模型。由于運(yùn)輸車處于運(yùn)動(dòng)狀態(tài)，目標(biāo)在不同圖像中的成像位置不同，也就是像素坐標(biāo)不同。由于人、石頭等表面是相對(duì)平滑且連續(xù)的，所以單位時(shí)間內(nèi)圖像的像素點(diǎn)應(yīng)該處于連續(xù)狀態(tài)，而側(cè)枝樹葉等由于中間有空隙且凹凸不平，所以成像像素點(diǎn)應(yīng)該處于間隔分散狀態(tài)。由于相機(jī)的工作頻率相對(duì)很高，運(yùn)輸車速度較慢，為了消除霧霾、下雨、雪花等環(huán)境對(duì)測(cè)量的影響，該算法對(duì)時(shí)間上連續(xù)的20幀深度圖像進(jìn)行濾波處理，分別把前10幀和后10幀圖像中平均深度值處于設(shè)定閾值內(nèi)的像素點(diǎn)坐標(biāo)存儲(chǔ)成新的兩幀圖像數(shù)據(jù)，對(duì)兩幀圖像數(shù)據(jù)進(jìn)行差分運(yùn)算，判斷運(yùn)算結(jié)果的絕對(duì)值。當(dāng)絕對(duì)值超過一定閾值時(shí)，即可判斷為側(cè)枝樹葉，從而實(shí)現(xiàn)目標(biāo)的區(qū)分功能，如圖7所示。

圖7 障礙物識(shí)別模型Fig. 7 Obstacle recognition model

幀間深度差分法如圖7所示。記第n幀和第n-1幀圖像為Fn和Fn-1，兩幀圖像像素點(diǎn)的深度值記為Fn(u,v)和Fn-1(u,v),將兩幀圖像對(duì)應(yīng)像素點(diǎn)的深度值相減，取其絕對(duì)值，得到差分深度圖Dn。

Dn(u,v)=|Fn(u,v)-Fn-1(u,v)|

(8)

對(duì)Dn有效點(diǎn)深度進(jìn)行累加，得到Rn，設(shè)定閾值T，進(jìn)行閾值判斷，對(duì)于Rn>T，判定為非障礙物，直接通過；對(duì)于Rn≤T,判定為障礙物，進(jìn)行避障。

(9)

4 系統(tǒng)試驗(yàn)與分析

4.1 試驗(yàn)方法

為了測(cè)試系統(tǒng)的性能，對(duì)安裝了深度相機(jī)避障系統(tǒng)的單軌運(yùn)輸機(jī)進(jìn)行測(cè)試。試驗(yàn)場(chǎng)地為華南農(nóng)業(yè)大學(xué)工程學(xué)院，為盡可能模擬山地果園單軌運(yùn)輸機(jī)的應(yīng)用場(chǎng)景，架設(shè)了長(zhǎng)150 m，最大坡度為35°，最大拐彎半徑為2 m，離地高度平均0.45 m，軌道寬0.05 m的環(huán)形軌道。為分析系統(tǒng)的避障效果，分別在運(yùn)輸車行車空間上和非行車空間上的軌道兩旁架設(shè)人型、規(guī)則物體及仿真樹枝障礙物，將深度相機(jī)垂直安裝于運(yùn)輸車縱截面正中心，分別檢測(cè)避障系統(tǒng)的準(zhǔn)確性與靈敏性。準(zhǔn)確性由能否準(zhǔn)確檢測(cè)到障礙物以及能否區(qū)分干擾型障礙物來表現(xiàn)，靈敏性由運(yùn)輸車距離障礙物制動(dòng)距離表現(xiàn)。

強(qiáng)龍壓不過地頭蛇，茶園潑了化學(xué)水他工廠不賠能脫身。談到后來還不是松了口。不賠可以啊，你把那些潑出去的污水收回去。

4.2 結(jié)果及分析

4.2.1 準(zhǔn)確性測(cè)試

準(zhǔn)確性測(cè)試采用靜態(tài)檢測(cè)方法，基于單軌運(yùn)輸車制作了1∶1的車架，將避障系統(tǒng)安裝于車架上，用電腦打印輸出模擬樹莓派串口決策標(biāo)志位信號(hào)，分別以人、規(guī)則木板(0.4 m×0.4 m)、不同葉密度(葉片數(shù)300片/m2、400片/m2、600片/m2)的仿真樹枝置于運(yùn)輸車通行軌道上的有效深度范圍內(nèi)(圖8)，100次測(cè)量避障系統(tǒng)的避障結(jié)果如表3所示。

(a) 規(guī)則平面檢測(cè)

(b) 行人檢測(cè)

(c) 仿真樹枝檢測(cè)

表3 避障系統(tǒng)的準(zhǔn)確性測(cè)試Tab. 3 Accuracy test of obstacle avoidance system

由表3可知，避障系統(tǒng)對(duì)于人體以及規(guī)則物體的避障率為100%；對(duì)于單位平方米葉片數(shù)量為300的側(cè)枝視為非障礙物的概率為92%；但是對(duì)于密度過高，單位平方米葉片數(shù)量大于400的側(cè)枝識(shí)別率僅為67%；單位平方米葉片數(shù)量大于600的視為障礙物，發(fā)生避障誤判的概率為84%；所以對(duì)于軌道兩旁單位平方米葉片數(shù)量大于400的側(cè)枝，應(yīng)該指導(dǎo)農(nóng)戶修剪掉以減少避障系統(tǒng)誤判。

4.2.2 靈敏性測(cè)試

避障系統(tǒng)的靈敏性試驗(yàn)采用安裝在運(yùn)輸車上實(shí)地測(cè)試，試驗(yàn)軌道選取一段水平豎直軌道進(jìn)行，選取一塊方形障礙物(0.4 m×0.4 m)用三角形架支于運(yùn)輸通道上，使運(yùn)輸車置于距離障礙物5 m的距離，以0.4 m/s的速度向障礙物方向行駛(圖9)，測(cè)試避障系統(tǒng)對(duì)于障礙物的識(shí)別以及靈敏度。通過運(yùn)輸車停車后到障礙物的距離，計(jì)算出避障延時(shí)，計(jì)算公式如式(10)所示，試驗(yàn)進(jìn)行10次。試驗(yàn)結(jié)果如表4所示。

(10)

式中:td——避障延時(shí)；

DS——檢測(cè)深度閾值；

LB——停車后運(yùn)輸車與障礙物的距離；

V——運(yùn)輸車的行駛速度。

圖9 系統(tǒng)靈敏度測(cè)試Fig. 9 System sensitivity test

表4 障礙物避障距離試驗(yàn)結(jié)果Tab. 4 Obstacle avoidance distance test results

由表4可知，避障系統(tǒng)決策后運(yùn)輸車與障礙物最大距離為110 cm，最小距離為101 cm，平均距離為103.3 cm；最大延時(shí)0.475 s，最小延時(shí)0.25 s，平均延時(shí)0.42 s；在運(yùn)輸車的安全制動(dòng)距離120 cm(預(yù)定閾值)范圍內(nèi)，系統(tǒng)響應(yīng)速度靈敏。

5 結(jié)論

本文基于渡越時(shí)間法的深度相機(jī)設(shè)計(jì)了一套應(yīng)用于山地果園單軌運(yùn)輸車的避障系統(tǒng)，實(shí)現(xiàn)運(yùn)輸車遠(yuǎn)程運(yùn)輸中的障礙物實(shí)時(shí)檢測(cè)，提高運(yùn)輸安全性。

1) 準(zhǔn)確性試驗(yàn)表明該系統(tǒng)對(duì)于面積大于設(shè)定閾值的規(guī)則障礙物避障率為100%，對(duì)于單位平方米葉片數(shù)量為300的側(cè)枝類干擾型障礙物誤觸率為8%，對(duì)于單位平方分米葉片數(shù)量大于該值的軌道上側(cè)枝應(yīng)該予以修剪，為農(nóng)戶維護(hù)運(yùn)輸通道做出指導(dǎo)。

2) 靈敏性試驗(yàn)表明該避障系統(tǒng)最小制動(dòng)距離為101 cm，最大避障延時(shí)為0.475 s，具有響應(yīng)快速、安全性高的優(yōu)點(diǎn)。