基于雙目視覺的障礙物檢測方法研究

，，，勝南

(1.貴州電網(wǎng)有限責(zé)任公司, 貴陽 210046； 2.天津航天中為數(shù)據(jù)系統(tǒng)科技有限公司天津市智能遙感信息處理技術(shù)企業(yè)重點實驗室，天津 300301)

0 引言

隨著電子信息技術(shù)的不斷進(jìn)步，自主導(dǎo)航的多旋翼無人機(jī)以體積小、重量輕、操作靈活等優(yōu)點得到了迅速發(fā)展。近年來，多旋翼無人機(jī)的應(yīng)用范圍和場景逐漸增加，例如電力巡檢、高速巡檢、消防、航拍、植保等[1-3]。在實際應(yīng)用過程中，由于飛行環(huán)境未知，復(fù)雜的環(huán)境對多旋翼無人機(jī)的避障能力提出了更高的要求。而對于障礙物信息的檢測則是無人機(jī)進(jìn)行自主避障的前提，也是避障過程中極其關(guān)鍵的一部分[4-5]。目前國內(nèi)外有許多科研機(jī)構(gòu)將單目視覺模塊[6]或雙目視覺模塊[7]，掛載到多旋翼[8]、 機(jī)器人[9]上，利用光流法、多種傳感器融合算法等，對障礙物的檢測識別進(jìn)行了研究，并取得了一定成果[10]。文獻(xiàn)[11]研究了基于立體視覺的移動機(jī)器人實時障礙檢測，文中提出了一種基于區(qū)域分割的方法，為了提高立體視覺的精度和實時性，只對分割得到的區(qū)域邊界點進(jìn)行處理，結(jié)合立體匹配和逆投影變換，將障礙物的三維信息轉(zhuǎn)化為視差閾值的判斷。并在室內(nèi)利用自研機(jī)器人對算法進(jìn)行了驗證，結(jié)果表明算法取得了良好的效果。但是文末提出在室外環(huán)境應(yīng)用時，由于路面不平、障礙物檢測距離增大、干擾增多等因素，需要進(jìn)一步優(yōu)化算法。文獻(xiàn)[12]對無人機(jī)導(dǎo)航中的立體視覺技術(shù)進(jìn)行了研究。針對立體匹配算法速度和匹配精度不足的問題，提出基于色彩分割和自適應(yīng)窗口的快速匹配算法，但難以滿足實時性的要求。并初步研究了采用基于稠密視差圖區(qū)域生長的障礙物檢測方法，通過分析障礙物存在的距離和面積約束，將約束信息與視差圖相結(jié)合進(jìn)行障礙物檢測，計算出障礙物中心的相對空間位置坐標(biāo)、高度以及寬度，取得了不錯的檢測的效果。但對障礙物距離和面積采用了人工閾值設(shè)限，在未知環(huán)境下缺乏自適應(yīng)性。文獻(xiàn)[13]研究了基于立體視覺和光流的避障算法。一方面通過邊緣索引算法獲取雙目視覺的可靠的視差值，并根據(jù)視差線匯聚角度獲得空間的深度信息；一方面利用光流法得到障礙物相對于攝像頭的運動速度，最終將視覺與光流融合，從而得到障礙物更加準(zhǔn)確的位置信息。該算法的優(yōu)點是實時性較好，缺點是需要先設(shè)定一個經(jīng)驗閾值，比較閾值與光流大小判定是否為障礙物。文獻(xiàn)[14]通過超聲波探測障礙物距離，以及單目攝像頭采集圖像，圖像經(jīng)過處理得到邊緣信息，邊緣信息與超聲波得到的距離信息進(jìn)行融合，從而設(shè)計相應(yīng)的避障算法，由于超聲波只能返回與飛機(jī)最近的障礙物距離，最終將邊緣信息近似為多邊形障礙物，因此只能得到一個障礙物的距離以及邊緣。但是在實際飛行過程中，可能存在多個平行的障礙物，此時這種方法會有一定的局限性。文獻(xiàn)[15]重點研究了融合激光測距儀與視覺傳感器的信息，從而對障礙物進(jìn)行精確定位。利用加權(quán)最二乘擬合方法和尺度不變特征變換算法，從激光信息和視覺信息中提取直線和點特征，進(jìn)行信息融合。通過移動機(jī)器人進(jìn)行算法實驗，結(jié)果表明該方法可以進(jìn)行機(jī)器人的定位與地圖構(gòu)建，有更好的魯棒性。由于實驗要解決地圖實時更新中的數(shù)據(jù)關(guān)聯(lián)問題，給算法的實時性帶來一定的影響。綜上所述，利用雙目視覺檢測障礙物并通過視差計算出距離，是檢測障礙物的有效方法。雙目視覺檢測障礙物主要問題在于算法實時性以及障礙物在空間的三維坐標(biāo)不易獲得，給應(yīng)用帶來了檢測難度。

多旋翼無人機(jī)的續(xù)航時間較短，且飛行環(huán)境未知，為了用有效的時間執(zhí)行任務(wù)，需要減少在避障過程中所花費的時間。因此除了檢測障礙物的距離之外，如果能得到障礙物的方向，會大大縮短避障時間。本文首先對雙目攝像頭進(jìn)行標(biāo)定和校正，利用標(biāo)定后的雙目視覺攝像頭采集多旋翼無人機(jī)前方的圖像信息[16]；其次進(jìn)行圖像匹配，查找左右攝像頭視場中的相同特征，輸出視差圖，重投影得到深度信息；然后利用柱狀圖的方法檢測圖像中的障礙物方向及個數(shù)；最后進(jìn)行了實際的算法驗證。

1 障礙物檢測方法

1.1 笛卡爾坐標(biāo)系和球形坐標(biāo)系

由于障礙物與多旋翼無人機(jī)之間的位置關(guān)系，總是涉及到相對位姿，因此本文利用球形坐標(biāo)系來表示障礙物相對多旋翼無人機(jī)的位置關(guān)系。假設(shè)雙目視覺攝像頭安裝方向與機(jī)頭方向一致，則障礙物與攝像頭的相對位置關(guān)系可以理解為障礙物與多旋翼無人機(jī)的相對位置關(guān)系。三維的笛卡爾坐標(biāo)系為(X-Y-Z)，球形坐標(biāo)系為(ρ-φ-θ)，根據(jù)投影關(guān)系，三維笛卡爾坐標(biāo)系的空間任意一點P(x,y,z)與球形坐標(biāo)系P(ρ,φ,θ)的對應(yīng)關(guān)系可用圖1表示。

圖1 笛卡爾坐標(biāo)系與球形坐標(biāo)系

笛卡爾坐標(biāo)系與球形坐標(biāo)系的轉(zhuǎn)換關(guān)系：

(1)

(2)

(3)

球形坐標(biāo)系與笛卡爾坐標(biāo)系的轉(zhuǎn)換關(guān)系：

x=ρsinφcosθ

(4)

y=ρsinφsinθ

(5)

z=ρcosφ

(6)

式中：ρ表示點P與原點的距離，φ表示點P與z軸的夾角，θ表示點P在平面XOY的投影中x軸與y軸的夾角。

1.2 雙目視覺測量原理

1.2.1 攝像頭標(biāo)定

由于攝像頭存在透鏡畸變，利用標(biāo)定可以來矯正因使用透鏡給針孔模型帶來的主要偏差。攝像頭的標(biāo)定過程重要性還在于明確攝像機(jī)測量與真實三維世界測量的關(guān)系。攝像機(jī)標(biāo)定的過程既給出了攝像機(jī)的幾何模型，也給出了透鏡的畸變模型，從而計算出攝像機(jī)的內(nèi)外參數(shù)?？梢岳胦pencv的函數(shù)或者M(jìn)atlab工具箱來進(jìn)行標(biāo)定，標(biāo)定方法是把攝像頭對準(zhǔn)一個有獨立標(biāo)識點的物體，通常情況下選擇棋盤格作為標(biāo)識物，采集物體不同視角的圖像，利用這些圖像計算攝像頭的相對位置及攝像頭的內(nèi)參數(shù)。

在完成兩個攝像頭的單目定標(biāo)后，還需要進(jìn)行雙目定標(biāo)，來測量兩個攝像頭之間的相對位置。雙目的標(biāo)定方法與單目標(biāo)定方法相同，標(biāo)定完成后，兩個攝像頭的相對位置、焦距等參數(shù)即可確定，不應(yīng)該再次更改。若更改位置或改變焦距，需要重新進(jìn)行標(biāo)定。準(zhǔn)確的標(biāo)定攝像頭是完成雙目視覺測距的前提。

1.2.2 校正與匹配

完成攝像頭標(biāo)定后可以輸出無畸變圖像，接下來需要進(jìn)行校正，用數(shù)學(xué)方式調(diào)整攝像機(jī)間的角度和距離，輸出行對準(zhǔn)的校正圖像，使左右視圖嚴(yán)格對應(yīng)，保證對極線在同一平面。之后需要添加圖像裁剪步驟，使最終圖像保持大小一致。

攝像頭經(jīng)過標(biāo)定、立體校正等一系列處理后，之后需要進(jìn)行立體匹配，即匹配兩個不同的攝像頭視圖的3D點。匹配算法關(guān)鍵部分是建立有效的代價評估函數(shù)，然后通過對該函數(shù)做最小化處理來計算匹配像素點的視差。立體匹配算法的種類很多，分類方式也很多，根據(jù)最優(yōu)化理論的差異性規(guī)則來分類，可以分為局部算法、全局算法兩大類。局部立體匹配算法選擇圖像局部特征來完成視差值的估計，依據(jù)是能量最優(yōu)、匹配代價最小，優(yōu)點是運算量較小、實時性較高。全局立體匹配算法采用全局優(yōu)化理論進(jìn)行運算，依據(jù)是全局分析的能量評估體系，如基于動態(tài)規(guī)劃的立體匹配[17]、基于圖割法的立體匹配[18]等，優(yōu)點是包含平滑項，結(jié)果相對準(zhǔn)確，但是實時性較差。

1.2.3 測量原理

雙目攝像頭采集的圖像經(jīng)過濾波處理，灰度處理，得到灰度圖和視差圖。當(dāng)知道了攝像頭的相對幾何位置后(標(biāo)定和校正得到的參數(shù))，可以將視差圖通過三角測量的方法轉(zhuǎn)成距離，采用重投影的方法轉(zhuǎn)換為深度圖。通過深度圖，得到深度Z，代碼中用g_depth表示每個像素點的深度值。設(shè)定世界坐標(biāo)系與左攝像頭的坐標(biāo)系保持一致，圖2為雙目視覺測量原理圖[19]。

圖2 雙目視覺測量原理圖

(7)

(8)

(9)

(10)

測距精度在進(jìn)行無人機(jī)避障時是不能忽視的問題，一般而言，影響測距精度的因素有以下幾點[7]：1)雙目攝像頭與成像質(zhì)量相關(guān)的固有物理參數(shù)例如分辨率、焦距等，會導(dǎo)致匹配過程出現(xiàn)偏差；2)雙目攝像頭的基線長度與測量精度有密切關(guān)系，基線越長，測量范圍越大，但是測距精度也會降低；3)標(biāo)定過程會帶來誤差，反應(yīng)到立體匹配，影響測距精度；4)不同的匹配算法帶來的匹配精度與算法實時性也不同；5)外部環(huán)境如紋理、光照、背景等也會影響測距的結(jié)果。

1.3 柱狀圖檢測方法原理

將整幅圖像劃分為12等份的柱狀圖，逐一掃描像素點，深度小于閾值5米的像素點記錄下來。最后計算出每個柱狀圖里的小于閾值的像素點個數(shù)，以及平均深度值。用平均深度值作為一個柱狀圖的深度。用此柱狀圖里最小的深度值的像素點位置，近似為此柱狀圖的障礙物位置，并計算方向。這樣，檢測障礙物的深度和方向就轉(zhuǎn)化為檢測柱狀圖中每個柱形的最小深度和最小深度值的像素點所對應(yīng)的方向。上述過程對應(yīng)的流程如圖3所示。

圖3 檢測流程圖

1.4 計算相對位置

文中采用了柱狀圖的區(qū)域分割方法，圖4表示把一幅圖像等分為12份柱狀圖。一方面是為了得到障礙物的方向，另一方面為了減輕算法的計算量，提高算法的快速性和實時性。圖像R分割的結(jié)果滿足如下條件：

(11)

g_depth(p)=TRUE

(12)

式中，Ri是劃分成的柱狀區(qū)域，p為區(qū)域Ri中的像素點，g_depth(p)表示該像素點的深度值，若g_depth=0表示圖像中無障礙物，文中只計算障礙物的信息。

設(shè)π為多旋翼無人機(jī)在飛行過程中的某時刻拍攝的圖像，分辨率為320*240，經(jīng)過灰度處理，并劃分為12等分的柱狀圖，如圖4所示。設(shè)定雙目視覺攝像頭拍攝機(jī)頭前方圖像，即視場沿著y軸看(圖像是xoz平面)，那么空間三維點o到xoy平面的投影，與x軸的夾角即φ方位角。圖5中包括笛卡爾坐標(biāo)系、圖像坐標(biāo)系、球形坐標(biāo)系。攝像頭位于笛卡爾坐標(biāo)系原點位置，對應(yīng)圖像坐標(biāo)系的中心點。攝像頭的水平視場角hfov=60°，垂直視場角vfov=54°。從圖像左上角P點開始掃描，從左至右的順序(i從0增大到12)，逐行掃描，直至完成整幅圖像的掃描計算。

圖4 柱狀圖區(qū)域分割

以P點為例，圖6表示點在XOY平面的投影，

θp(max)=90°+30°

(13)

當(dāng)向右掃描時，

φp(min)=90°-54°

(14)

由圖4可知，像素點與點p位于同一行時，φ角相同；

圖5 笛卡爾坐標(biāo)系、球 圖6 XOY平面圖形坐標(biāo)系與圖像坐標(biāo)系

φw=φp(min)+27/160*j

(15)

θw=θp(max)-i*5°-5°/2

(16)

(17)

根據(jù)正余弦定理，上述公式，可變換為：

(18)

1.5 約束條件

假設(shè)雙目視覺的坐標(biāo)系是左攝像頭的坐標(biāo)系，并且本文的視場角是整合兩個攝像頭的視場角之后，達(dá)到的水平視場60°和垂直視場54°。

2 實驗結(jié)果與分析

2.1 系統(tǒng)搭建

本文采用軸距880的自研四旋翼無人機(jī)為實驗平臺，搭載DJI雙目視覺模塊，Intel電腦棒，對上述算法的有效性和實時性進(jìn)行了驗證。該多旋翼系統(tǒng)如圖8所示。DJI雙目視覺模塊采集的圖像分辨率為320*240(圖像高240像素，寬320像素)，視場范圍水平視場角60°，垂直視場角54°，在實驗前經(jīng)過了雙目定標(biāo)、校正等操作。障礙物檢測算法在Win10+VS2015環(huán)境下編寫，運行于Intel電腦棒。

為了提高算法的實時性，本文實驗驗證采用的感興趣區(qū)域(ROI)是像素高為110～130的部分圖像區(qū)域，此時的φ近似為90°，公式(18)則簡化為：

圖7 感興趣區(qū)域

圖8 多旋翼無人機(jī)系統(tǒng)

障礙物檢測實驗在室內(nèi)進(jìn)行，自然光光照，背景為白色墻壁，在雙目視覺模塊的前方放置一個障礙物，圖像中的物體為人工擺放的障礙物。距離雙目視覺模塊中心的距離為80 cm,障礙物前視圖大小寬18 cm，高29.5 cm，左邊緣距離雙目視覺中心距離為80 cm，右邊緣距離雙目視覺中心距離為78 cm,由此可以得到一個三角形，邊長為18 cm,78 cm,80 cm，根據(jù)三角幾何關(guān)系，可以計算出左邊緣和右邊緣距離雙目視覺中心的角度θ。

2.2 測試結(jié)果與分析

基于如圖8所示的系統(tǒng)進(jìn)行測試，采用柱狀圖檢測算法，結(jié)果如圖9所示，圖9(a)、(b)是檢測過程中拍攝的左視圖和右視圖的圖像；圖9(c)是視差圖，由于視差圖是取左右攝像頭兩幅圖像中間重疊區(qū)域的視差，因此會有黑邊產(chǎn)生；圖9(d)是根據(jù)視差圖所獲取的深度圖；圖9(e)為程序運行過程中顯示的實時障礙物檢測結(jié)果，其中圖像中心像素點深度距離為0.804688 m，雙目視覺利用柱狀圖方法檢測的障礙物分為3部分，分別是(ρ=0.804688,φ=1.5708,θ=1.7319)，(ρ=0.796875,φ=1.5708,θ=1.65135)，(ρ=0.804688,φ=1.5708,θ=1.5708)。DJI的雙目視覺模塊除了雙目視覺還增加了超聲波，超聲波測量的距離為0.818 m，可靠性為1，表示可以信任此測量值。

圖9 圖像及結(jié)果

將3次測量結(jié)果值平均，作為測量結(jié)果來分析，表1對比了關(guān)于障礙物距離的實際值、視覺測量值、超聲波關(guān)于距離的測量精度；表2對比了關(guān)于測量障礙物方向的精度。

表1 距離對比

表2 方向?qū)Ρ?/p>

通過對比發(fā)現(xiàn)，在室內(nèi)檢測的本次實驗中，關(guān)于距離超聲波的測量誤差為2.25%，視覺的測量誤差為0.26%；關(guān)于角度，視覺檢測的障礙物的角度與真實的障礙物的角度相差3.5%和0.17%?？紤]到真實測量值在測量時由于測量工具的精度、人工誤差等因素，誤差在可以接受的范圍內(nèi)。

在實際應(yīng)用中，雖然雙目視覺可以檢測出多個障礙物的距離和方向，但是一般會選擇距離最近的障礙物進(jìn)行實時躲避。圖像的采集處理頻率為20 Hz，該算法實時性可以滿足實際應(yīng)用的要求。此外，雙目視覺的明顯優(yōu)勢為可檢測障礙物的方向，這為多旋翼無人機(jī)的避障提供了參考。

3 結(jié)論

針對雙目視覺障礙檢測，本文提出了一種新型的柱狀圖障礙物檢測方法，可以檢測出障礙物的距離及方向，并對其進(jìn)行了實驗驗證。通過柱狀圖的區(qū)域分割，把障礙物的距離及方向限定在每個柱狀圖中，減少了算法的計算量。分割后的柱狀圖作為單獨的區(qū)域進(jìn)行處理，障礙物的檢測轉(zhuǎn)化為每個區(qū)域像素點的最小距離的判斷。本算法的優(yōu)點是實現(xiàn)簡單、實時性好、可以得到多個障礙物距離和方向、滿足實際工程應(yīng)用，且不需要利用環(huán)境的先驗知識，具有較強(qiáng)的實時性和自適應(yīng)性，為飛行器避障繞行策略提供了基礎(chǔ)。但是由于雙目視覺本身的限制條件如光照、紋理等，一般檢測距離超過6 m，精確度會下降，實際飛行避障過程中，可以搭配其他傳感器如毫米波雷達(dá)、超聲波等，進(jìn)行遠(yuǎn)距離檢測障礙物，視覺輔助實現(xiàn)繞行，這些仍需要進(jìn)一步研究解決。