地面管道無(wú)人機(jī)巡查起伏地形跟隨方法

雍歧衛(wèi),喻言家,陳 雁,李 赟,佐 悅

(1.中國(guó)人民解放軍后勤工程學(xué)院 軍事供油系, 重慶 401331； 2 中國(guó)人民解放軍沈陽(yáng)聯(lián)勤保障中心沈陽(yáng)油庫(kù), 沈陽(yáng) 110000)

地面管道無(wú)人機(jī)巡查起伏地形跟隨方法

雍歧衛(wèi)1,喻言家1,陳 雁1,李 赟2,佐 悅2

(1.中國(guó)人民解放軍后勤工程學(xué)院 軍事供油系, 重慶 401331； 2 中國(guó)人民解放軍沈陽(yáng)聯(lián)勤保障中心沈陽(yáng)油庫(kù), 沈陽(yáng) 110000)

在利用無(wú)人機(jī)對(duì)地面管道巡查時(shí)，一般較理想的作業(yè)飛行高度是100 m左右，無(wú)人機(jī)在飛行時(shí)會(huì)沿初設(shè)高度進(jìn)行定高飛行，如果在飛行途中遇到起伏地形，需要人為提前探查地形，調(diào)整飛行高度，這種方法會(huì)加大工作量，而且遇到GPS信號(hào)較弱區(qū)域容易產(chǎn)生較大誤差。另外，也可以采用自動(dòng)測(cè)距的方式來(lái)實(shí)現(xiàn)智能飛行，通過(guò)在無(wú)人機(jī)上搭載激光測(cè)距儀、聲納測(cè)距儀等設(shè)備進(jìn)行主動(dòng)測(cè)距，其優(yōu)點(diǎn)是精度高，但這種形式會(huì)增加無(wú)人機(jī)載荷及其成本。針對(duì)以上問(wèn)題，提出一種基于單目定焦攝像機(jī)圖像的視覺(jué)測(cè)距方法，根據(jù)小孔成像原理對(duì)管道圖像特征進(jìn)行提取分析，得到無(wú)人機(jī)距離管道的實(shí)際距離。該方法簡(jiǎn)單高效，有利于實(shí)現(xiàn)巡線工作自動(dòng)化。

地面管道，無(wú)人機(jī)巡查；視覺(jué)測(cè)距；地形跟隨；單目定焦

terrain following; single focus

在應(yīng)急作戰(zhàn)、搶險(xiǎn)救災(zāi)等緊急情況下，常采用裝配式管道直接鋪設(shè)在地面進(jìn)行長(zhǎng)距離輸送油料等介質(zhì)[1]。利用無(wú)人機(jī)巡線可以快速高效地發(fā)現(xiàn)地面管道遭受破壞、發(fā)生泄漏等事故。當(dāng)無(wú)人機(jī)在巡線途中遇到起伏地形時(shí)，隨著無(wú)人機(jī)離管道越來(lái)越近，管道在攝像機(jī)上的成像也會(huì)隨之增大，當(dāng)無(wú)人機(jī)離管道越來(lái)越遠(yuǎn)時(shí)，相應(yīng)的成像面就會(huì)變小[2]。相機(jī)成像的大小與離靜止物體的距離具有一定的比例關(guān)系，對(duì)于本文所研究的定焦攝像機(jī)，這種數(shù)學(xué)關(guān)系是相對(duì)固定的。

1 攝像機(jī)成像模型

為了更好地獲取無(wú)人機(jī)巡線圖像的真實(shí)三維信息，本文定義了4個(gè)坐標(biāo)系來(lái)描述從圖像的二維平面到三維世界的位置關(guān)系[3]：

1) 世界坐標(biāo)系(Xw,Yw,Zw)

這是一個(gè)滿足右手法則的三維坐標(biāo)系，用來(lái)描述真實(shí)空間和巡線無(wú)人機(jī)間的位置關(guān)系。

2) 攝像機(jī)坐標(biāo)系(Xc,Yc,Zc)

以無(wú)人機(jī)所搭載的攝像機(jī)鏡頭的光心作為坐標(biāo)原點(diǎn)，Zc軸與光軸重合，垂直于圖像成像平面，且取攝影方向?yàn)檎较?，Xc、Yc軸與成像平面坐標(biāo)系的x、y軸平行。

3) 圖像像素坐標(biāo)系(u,v)

數(shù)字圖像在計(jì)算機(jī)中是以成千上萬(wàn)的像素點(diǎn)呈矩陣排列的方式存在的，定義像素點(diǎn)的初始元素為坐標(biāo)原點(diǎn)，建立圖像像素直角坐標(biāo)系u-v。

4) 成像平面坐標(biāo)系(x,y)

成像平面是無(wú)人機(jī)所搭載的攝像機(jī)內(nèi)部成像面對(duì)應(yīng)的像平面坐標(biāo)系。

1.1 成像平面坐標(biāo)系與圖像像素坐標(biāo)系之間的位置關(guān)系

數(shù)字圖像在計(jì)算機(jī)中是以成千上萬(wàn)的像素點(diǎn)呈矩陣排列的方式存在的，假設(shè)數(shù)字圖像的像素點(diǎn)矩陣為M×N數(shù)組，對(duì)于圖像像素直角坐標(biāo)系u-v，每一個(gè)像素坐標(biāo)代表該像素點(diǎn)在圖像中的位置分布，并不是在成像平面的物理坐標(biāo)，所以需要建立成像平面坐標(biāo)系與圖像像素坐標(biāo)系之間的位置關(guān)系，可以根據(jù)圖片中的像素點(diǎn)位置確定攝像機(jī)成像平面的物理坐標(biāo)，如圖1所示。

如圖1所示，圖像像素坐標(biāo)用(u,v)表示，O0為坐標(biāo)原點(diǎn)(O0為拍攝圖片左上角第1個(gè)元素位置)，成像平面坐標(biāo)用(x,y)表示(單位為mm)，O1為坐標(biāo)原點(diǎn)(O1為鏡頭光軸與成像平面的交點(diǎn))。O1一般位于攝像機(jī)拍攝圖片的中心點(diǎn)，可能由于制造技術(shù)的原因，在生產(chǎn)校核時(shí)像素在x軸和y軸方向存在一定的偏離。設(shè)各像素點(diǎn)在x軸和y軸方向上的物理尺寸為dx、dy，則攝像機(jī)拍攝圖片的任意像素點(diǎn)坐標(biāo)與成像平面坐標(biāo)存在如下轉(zhuǎn)換關(guān)系：

(1)

用齊次坐標(biāo)與矩陣形式將式(1)表示為

(2)

其逆關(guān)系為：

(3)

1.2 攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的位置關(guān)系

無(wú)人機(jī)所搭載的單目定焦攝像機(jī)可以出現(xiàn)在環(huán)境空間的任一地方，所以需要建立一個(gè)世界坐標(biāo)系來(lái)描述無(wú)人機(jī)搭載的攝像機(jī)所在位置，用(Xw,Yw,Zw)表示。攝像機(jī)坐標(biāo)系(Xc,Yc,Zc)則是以無(wú)人機(jī)所搭載的攝像機(jī)鏡頭的光心作為坐標(biāo)原點(diǎn)，Zc軸與光軸重合，垂直于圖像成像平面，且取攝影方向?yàn)檎较颍琗c、Yc軸與成像平面坐標(biāo)系的x、y軸平行。 它們兩者的位置關(guān)系一般用旋轉(zhuǎn)矩陣R與平移向量t來(lái)表示：

(4)

式中：R為3×3正交單位矩陣；t為3×3平移向量，0=(0,0,0)T。

圖2為攝像機(jī)坐標(biāo)系、圖像坐標(biāo)系與世界坐標(biāo)系關(guān)系。

圖2 攝像機(jī)坐標(biāo)、圖像像素坐標(biāo)與世界坐標(biāo)關(guān)系

1.3 單目定焦攝像機(jī)成像模型

設(shè)單目定焦攝像機(jī)的焦距為f，根據(jù)針孔成像原理，空間任意一點(diǎn)P與光心的連線與成像平面的交點(diǎn)即為成像投影點(diǎn)，這種關(guān)系叫做中心攝影，關(guān)系式如下：

(5)

結(jié)合式(2)(4)(5)，可以推導(dǎo)出世界坐標(biāo)(Xw,Yw,Zw)與圖像像素坐標(biāo)(u,v)的關(guān)系，即由像素點(diǎn)可得實(shí)際三維坐標(biāo)：

(6)

1.4 基于定焦攝像機(jī)的測(cè)距方法

基于管道圖像識(shí)別的定焦攝像機(jī)測(cè)距方法，是通過(guò)巡線無(wú)人機(jī)飛行到不同的飛行高度，對(duì)所拍攝傳回的管道圖像進(jìn)行特征提取，檢測(cè)出管道在成像面形成畫(huà)面的空間長(zhǎng)度，利用單目定焦攝像機(jī)成像模型對(duì)空間幾何進(jìn)行自動(dòng)換算，計(jì)算出無(wú)人機(jī)的飛行高度[4]。由于飛行時(shí)攝像機(jī)拍攝角度不同，可能導(dǎo)致測(cè)算出來(lái)的距離有一定的偏差。本文所討論的測(cè)距方法簡(jiǎn)化了實(shí)際情況，假設(shè)世界坐標(biāo)系與攝像機(jī)坐標(biāo)系重合，拍攝時(shí)攝像機(jī)光軸與地面垂直，這樣針對(duì)不同高度的兩個(gè)位置拍攝的圖像進(jìn)行對(duì)比計(jì)算即可得到飛行高度信息。

因?yàn)閱文慷ń箶z像機(jī)對(duì)場(chǎng)景的適應(yīng)力有一定的局限，本文討論的只是基于機(jī)器視覺(jué)的巡線無(wú)人機(jī)飛行測(cè)高問(wèn)題。在實(shí)際測(cè)距過(guò)程中，無(wú)人機(jī)的飛行安全高度一般在100 m左右，在此飛行范圍內(nèi)攝像機(jī)采集的圖像可以清晰顯示，縮放比例變化較小，而且巡線無(wú)人機(jī)一般采取俯拍角度，拍攝時(shí)攝像機(jī)光軸與地面垂直，而對(duì)于光軸不垂直的情況不予討論。

測(cè)距主要步驟[5-6]：

1) 計(jì)算巡線無(wú)人機(jī)飛行安全高度為100 m時(shí)的管道成像大小變化范圍。一般測(cè)距攝像機(jī)參數(shù)需進(jìn)行實(shí)驗(yàn)標(biāo)定，假設(shè)攝像機(jī)標(biāo)定參數(shù)準(zhǔn)確。

2) 空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系是由攝像機(jī)成像的幾何模型決定的。這些幾何模型參數(shù)就是攝像機(jī)參數(shù)。攝像機(jī)參數(shù)可以通過(guò)傳統(tǒng)相機(jī)標(biāo)定法、主動(dòng)視覺(jué)相機(jī)標(biāo)定法、相機(jī)自標(biāo)定法等計(jì)算得出。一般相機(jī)出廠時(shí)，參數(shù)已經(jīng)標(biāo)定好，所以本文在討論時(shí)忽略鏡頭畸變等因素影響，設(shè)無(wú)人機(jī)飛行高度為H，管道直徑為R，成像管徑為r，攝像機(jī)焦距為i，根據(jù)小孔成像模型及相似三角形原理，可得管道成像管徑r的計(jì)算公式為

r=R×i/H

(7)

根據(jù)攝像機(jī)成像關(guān)系幾何模型(見(jiàn)圖3)，假定管道為最小口徑DN100管道、無(wú)人機(jī)飛行高度按100m、50m、鏡頭焦距35mm計(jì)算。管道成像效果估算如下：DN100管道在攝像機(jī)靶面上的成像尺寸為：r=R×35/100 000=100×35/100 000=0.035 mm。占圖像垂直方向上的比例為：(0.035 mm/3.96 mm)×100/%=0.9%。計(jì)算可知：通過(guò)調(diào)節(jié)攝像機(jī)焦距或無(wú)人機(jī)飛行高度可以改變管徑成像大小。

圖3 成像關(guān)系幾何模型

2 基于管道識(shí)別飛行高度檢測(cè)及判定

對(duì)于巡線無(wú)人機(jī)采集的巡線圖像，存入計(jì)算機(jī)后都以二維平面彩色圖像呈現(xiàn)出來(lái)，通過(guò)對(duì)圖像中的目標(biāo)管道進(jìn)行特征提取分析，包括其顏色、形狀、大小信息，可以得到真實(shí)環(huán)境的三維信息。對(duì)圖像的識(shí)別判斷是無(wú)人機(jī)自動(dòng)地形跟隨的基礎(chǔ)。飛行高度檢測(cè)流程如圖4所示。

圖4 飛行高度檢測(cè)流程

2.1 管道識(shí)別分割

得到采集的巡線圖像后，需要對(duì)管道特征進(jìn)行提取識(shí)別。將巡線圖像轉(zhuǎn)換到HSV顏色空間，從原圖中選取管道樣本區(qū)域，設(shè)定為感興趣區(qū)域ROI(region of interest)，計(jì)算區(qū)域樣本顏色平均值，然后根據(jù)原圖每個(gè)像素點(diǎn)和樣本顏色平均值的距離進(jìn)行聚類分割[6-7]。利用Canny算子對(duì)分割圖像進(jìn)行邊緣檢測(cè)，獲得分割圖像的區(qū)域輪廓，再進(jìn)行直線霍夫變換檢測(cè)圖像中的直線，并進(jìn)行直線擬合，提取出圖像中最長(zhǎng)直線段作為管道目標(biāo)[8-10]，標(biāo)定出圖像中的管道，見(jiàn)圖5。

圖5 管道識(shí)別分割

2.2 提取管徑成像寬度

對(duì)分割的二值圖像管道區(qū)域進(jìn)行區(qū)域檢測(cè)，利用Matlab圖像處理regionprops函數(shù)“MinorAxisLength”檢測(cè)像素意義下與分割區(qū)域具有相同標(biāo)準(zhǔn)二階中心矩的橢圓的短軸長(zhǎng)度，并將該長(zhǎng)度作為成像管徑寬度r。

2.3 飛行高度判定

將成像管徑寬度r代入式(7)換算得到飛行高度H，判斷是否處于50～100 m安全飛行高度之間，及時(shí)調(diào)整飛行高度，確保無(wú)人機(jī)安全飛行，并在巡線管理平臺(tái)顯示窗口顯示實(shí)時(shí)飛行高度。算法流程如圖6所示。

圖6 管道圖像識(shí)別測(cè)距飛行流程

3 結(jié)束語(yǔ)

目前，無(wú)人機(jī)市場(chǎng)屬于開(kāi)發(fā)階段，大部分研發(fā)項(xiàng)目停留在飛行控制、數(shù)據(jù)傳輸?shù)扔布用?，?duì)于無(wú)人機(jī)遙感數(shù)據(jù)后處理領(lǐng)域研究較少。本文結(jié)合油氣管道巡線特點(diǎn)，提出了一種基于單目定焦攝像機(jī)的無(wú)人機(jī)油氣管道巡線地形跟隨方法，相比無(wú)人機(jī)上搭載激光測(cè)距儀、聲納測(cè)距儀等進(jìn)行主動(dòng)測(cè)距的方式，該方法更為經(jīng)濟(jì)且降低了飛機(jī)載荷，提高了飛行智能化程度，為無(wú)人機(jī)安全飛行提供了一種有效思路。但本文對(duì)建立的算法模型進(jìn)行了簡(jiǎn)化，忽略了相機(jī)參數(shù)、飛行角度等因素的影響，距離實(shí)際應(yīng)用還有一定差距。

[1] 浦家寧.軍用輸油管線[M].北京:解放軍出版社，2001.[2] 賀振,李瓊硯,闞江明.基于立體視覺(jué)的攝像機(jī)標(biāo)定方法的研究[J].科技創(chuàng)新導(dǎo)報(bào),2012(15):16-17.

[3] 楊彥景.攝像機(jī)標(biāo)定與畸變圖像矯正算法的設(shè)計(jì)與實(shí)現(xiàn)[D].沈陽(yáng):東北大學(xué),2008.

[4] 馮志輝,劉恩海.用于激光測(cè)距的高精度時(shí)間數(shù)字轉(zhuǎn)換電路[J].光學(xué)精密工程，2010,18(12):2665-2671.

[5] 陳廣東,曹杰.小型無(wú)人機(jī)電視引導(dǎo)撞網(wǎng)回收中的電視圖像測(cè)距方法[J].南京航空航天大學(xué)學(xué)報(bào),2004,36(6):769-773.

[6] 楊旭,趙徑通,高升久.基于Harris算法的直線提取方法[J].電子技術(shù)與軟件工程,2016(4):81-82.

[7] 張振杰,郝向陽(yáng),劉松林,等.基于 Hough 一維變換的直線檢測(cè)算法[J].光學(xué)學(xué)報(bào),2016(4):158-165.

[8] 曹建秋,王華清,藍(lán)章禮.基于改進(jìn)YCrCb顏色空間的膚色分割[J].重慶交通大學(xué)學(xué)報(bào)(自然科學(xué)版),2010,29(3):488-492.

[9] 高偉,王志衡,趙訓(xùn)坡,等.基于HSI顏色空間的棉花雜質(zhì)高速實(shí)時(shí)檢測(cè)方法[J].自動(dòng)化學(xué)報(bào),2008,34(7):729-735.

[10]唐羊洋,葉華平,吳書(shū)金,等.基于波段與形狀特征的遙感影像建筑物分類提取[J].后勤工程學(xué)院學(xué)報(bào),2016,32(1):93-96.

(責(zé)任編輯 陳 艷)

Research on Unmanned Aerial Vehicle Pipeline Tracking Method in Undulating Terrain

YONG Qiwei1， YU Yanjia1， CHEN Yan1， LI Yun2， ZHUO Yue2

(1.The Military Supply Department, Logistical Engineering University of PLA, Chongqing 401331, China； 2.PLA Shenyang Logistics Center of Shenyang Oil Depot, Shengyang 110000, China)

In the use of unmanned ground pipeline inspection, general ideal operation flight height is about 100m, and the UAV will set the height along the initial fixed altitude in flight. If you encounter rugged terrain in flight, you need the advance exploration of topography and altitude adjustment. This method will increase the workload, but also meet the GPS signal weak areas prone to error; in addition, it can also be used in automatic measuring mode to realize the intelligent flight. And active ranging through the equipment in the UAV is equipped with a laser rangefinder, sonar range finder, which has the advantages of high precision, but this will increase the load and cost of UAV. This paper presents a monocular vision measuring method focusing camera based on image extracted according to the analysis of the principle of pinhole imaging characteristics of pipeline image and gets the actual distance of the UAV distance pipeline. The method is simple and efficient, and is conducive to realize the line automation.Key words: ground pipeline; unmanned aerial vehicle (UAV) inspection; visual range measurement;

2017-03-14 基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目(51475469)

雍歧衛(wèi)(1967—),男,四川南充人,碩士,教授,主要從事石油與天然氣工程研究，E-mail:270245904@qq.com；通訊作者 喻言家(1993—),男,湖南岳陽(yáng)人,碩士研究生,主要從事石油與天然氣工程研究，E-mail:270245904@qq.com。

雍歧衛(wèi),喻言家,陳雁,等.地面管道無(wú)人機(jī)巡查起伏地形跟隨方法[J].重慶理工大學(xué)學(xué)報(bào)(自然科學(xué))，2017(8):158-162.

format：YONG Qiwei，YU Yanjia，CHEN Yan,et al.Research on Unmanned Aerial Vehicle Pipeline Tracking Method in Undulating Terrain[J].Journal of Chongqing University of Technology(Natural Science)，2017(8):158-162.

10.3969/j.issn.1674-8425(z).2017.08.026

TE832

A

1674-8425(2017)08-0158-05