肖琴 楊棟 李均委 王鴻羽 余建琴 周平
摘要:該文主要闡述計(jì)算機(jī)視覺獲取場景的距離信息的用兩種方法,通過對單目視覺法及雙目視覺法的優(yōu)劣性分析比對,確定適用電網(wǎng)工程及輸電線路桿塔測距的技術(shù)路線,并對基于雙目視覺法的GRBD深度相機(jī)的距離檢測方法、基于活動(dòng)目標(biāo)跟蹤的桿塔數(shù)量統(tǒng)計(jì)方法,兩種技術(shù)的原理及在電網(wǎng)工程審計(jì)實(shí)務(wù)中的應(yīng)用進(jìn)行了科學(xué)分析研究,為探索運(yùn)用信息化手段提高審計(jì)工作質(zhì)效,實(shí)現(xiàn)數(shù)字化電網(wǎng)工程審計(jì)的新思路、新方法、新突破提供了理論支持及技術(shù)路線研究。
關(guān)鍵詞:計(jì)算機(jī)視覺;測距;工程審計(jì)
中圖分類號(hào):TP391? ? ? 文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):1009-3044(2019)25-0227-04
Abstract: This paper mainly expounds two methods, principle and application of computer vision to obtain distance information of scene, it provides theoretical support and technical research for the realization of digital power grid engineering audit.
Key words: computer vision; measuring distance; engineering audit
1 背景
采用計(jì)算機(jī)視覺獲取場景的距離信息主要用兩種方法,按照處理光照的方式可以分為主動(dòng)式和被動(dòng)式。主動(dòng)式方法是指控制光照的方式和光源的模式,拍攝光束在物體表面形成的圖像,然后依據(jù)幾何關(guān)系進(jìn)行計(jì)算的方法,它又可分為結(jié)構(gòu)光法和激光自動(dòng)聚焦法,通常采用激光或雷達(dá)來獲取目標(biāo)的距離及三維信息。但是激光測距不適用于測量高速的目標(biāo)。被動(dòng)式方法一般是指利用自然光或者均勻照明的方式,依據(jù)直接拍攝的物體圖像進(jìn)行測量的方法,主要分為單目視覺法、雙目視覺法等??紤]到在輸電線路巡線無人機(jī)的高速性,能夠適用于該場景下主要的測距方法有單目視覺法、雙目視覺法和基于GRBD深度相機(jī)的距離檢測方法。
電網(wǎng)工程審計(jì),主要審計(jì)電網(wǎng)建設(shè)過程中變電站、線路、桿塔、工程規(guī)模、線路長度是否規(guī)范合規(guī),工程量是否足額完成,工程內(nèi)容是否符合合同約定,因電網(wǎng)工程普遍存在點(diǎn)多線長面廣的特點(diǎn),傳統(tǒng)人工、放線、車測等方式效率低,人工成本大,且成果不高。通過采用計(jì)算機(jī)視覺獲取場景的距離信息方法研究及應(yīng)用實(shí)踐,為運(yùn)用信息化手段提高審計(jì)工作質(zhì)效進(jìn)行了有效探索,實(shí)現(xiàn)數(shù)字化電網(wǎng)工程審計(jì)的新思路、新方法、新突破。
2 單目視覺法及雙目視覺法原理及比較分析
2.1 單目視覺法
單目標(biāo)視覺指采用一個(gè)圖像采集設(shè)備對被測物體進(jìn)行二維圖像采集,利用所得像點(diǎn)的坐標(biāo)與被測物體的實(shí)際三維坐標(biāo)之間的轉(zhuǎn)換關(guān)系以及光學(xué)約束條件,進(jìn)行三維坐標(biāo)還原的方法單目視覺法可分為三類:基于對焦的方法,基于離焦的方法和基于變焦的方法。
2.1.1 基于對焦的方法
在保持目標(biāo)空間點(diǎn)與攝像機(jī)的距離(即物距)不變的情況下,改變成像平面的位置(即改變像距),在同一場景對同一目標(biāo)物連續(xù)拍攝多幅圖像,因焦距的改變,同一空間點(diǎn)在多幅圖像中的像只有一個(gè)是最清晰的,通過清晰度判別的方法,對物體成像的邊緣紋理等特征進(jìn)行分析,容易找到成像最清晰的圖片,結(jié)合相應(yīng)的光學(xué)參數(shù)就可以得到深度值等信息。
雖然基于對焦的方法能夠通過調(diào)節(jié)焦距的步長來控制深度的分辨率,但是需要處理大量的序列圖像,計(jì)算量較大,而且光學(xué)參數(shù)的調(diào)節(jié)過程比較煩瑣,當(dāng)場景紋理信息較少時(shí),深度難以區(qū)分,分辨率也有限。
2.1.2 基于離焦的方法
與基于對焦的方法類似,在保持物距不變的情況下,改變像距或孔徑,對同一場景至少拍攝兩幅模糊的圖像,再對應(yīng)兩組攝像機(jī)的參數(shù),根據(jù)深度與模糊半徑及攝像機(jī)參數(shù)之間的幾何關(guān)系,可計(jì)算得出深度信息。
2.1.3 基于變焦的方法
在保持空間目標(biāo)點(diǎn)和成像平面不動(dòng)時(shí),移動(dòng)鏡頭位置或改變其他的攝像機(jī)參數(shù),再改變攝像機(jī)的焦距值,使目標(biāo)點(diǎn)在不變的像平面上成一組清晰但大小不同的像,焦距發(fā)生變化時(shí),同一目標(biāo)物體對應(yīng)像的大小也發(fā)生變化,根據(jù)其像點(diǎn)位置在不同焦距下的變化大小可以計(jì)算出其目標(biāo)點(diǎn)對應(yīng)的深度值。
基于變焦的方法兼?zhèn)淞嘶趯购突陔x焦方法的優(yōu)點(diǎn),并在一定程度上克服了兩者的缺點(diǎn),它最少只需要獲取兩幅變焦圖像和焦距參數(shù),該方法的處理速度快,實(shí)時(shí)性好,但是這種中心區(qū)域深度恢復(fù)的方式效果較差,像點(diǎn)位移參數(shù)估計(jì)的精度直接影響深度計(jì)算的誤差。
2.2 雙目視覺法
雙目視覺是仿照人類利用雙眼感知距離的原理,對目標(biāo)物體進(jìn)行三維信息獲取的方法。它是被動(dòng)式測距方法中最重要的距離感知技術(shù),是其他計(jì)算機(jī)視覺方法所不能取代的,具有廣泛的適應(yīng)性。現(xiàn)已應(yīng)用于機(jī)器人導(dǎo)航微操作系統(tǒng)的參數(shù)監(jiān)測、三維測量以及虛擬現(xiàn)實(shí)等領(lǐng)域。
通過表1對比單目視覺和雙目視覺的優(yōu)劣,可以看出,雙目視覺方法更適合進(jìn)行輸電線路桿塔的距離測量。
3 雙目視覺法技術(shù)分析及在電網(wǎng)工程審計(jì)中的應(yīng)用
3.1 基于雙目視覺法輸電線路距離檢測方法
3.1.1 圖像的預(yù)處理
通過攝像機(jī)等圖像采集設(shè)備獲得的圖像,由于硬件設(shè)備本身的缺陷以及外界環(huán)境因素的干擾,往往包含一些隨機(jī)噪聲和畸變因素,降低了圖像的質(zhì)量,這給人或計(jì)算機(jī)視覺的分析和理解帶來了較大影響,嚴(yán)重的情況下會(huì)導(dǎo)致分析結(jié)果的錯(cuò)誤。為了遏制圖像質(zhì)量的降低,對獲取的圖像進(jìn)行預(yù)處理是十分必要的,以此來消除圖像噪聲,增強(qiáng)圖像細(xì)節(jié),進(jìn)而提高圖像的信噪比。圖像的預(yù)處理過程大致有如下幾步:圖像的灰度轉(zhuǎn)換、圖像增強(qiáng)、圖像濾波、邊緣檢測、圖像分割等。
3.1.2 雙目視覺的測距原理
雙目視覺發(fā)基于的是視差原理,眾所周知,幾乎所有具有是覺得生物都有兩只眼睛,他們在觀察物體是會(huì)產(chǎn)生遠(yuǎn)近或者深淺的感覺。雙目視覺正是建立在這個(gè)原理的基礎(chǔ)上,利用兩個(gè)攝像機(jī)來代替人的雙眼,通過獲取同一被測物體的兩幅圖像,求出目標(biāo)點(diǎn)在對應(yīng)兩幅圖像中的視覺差異,以此來還原被測物體的空間位置。圖5展示了視差測距的原理過程,為了描述和計(jì)算的簡便,將模型簡化為“平行立體視覺系統(tǒng)”。
3.1.3 雙目視覺距離測量系統(tǒng)的構(gòu)成
雙目視覺測量距離下的系統(tǒng)構(gòu)成如圖6所示:
整個(gè)系統(tǒng)包括硬件和軟件兩大部分,大致的實(shí)驗(yàn)流程為:首先利用兩個(gè)CCD攝像機(jī)分別拍攝被測目標(biāo)的物體,然后通過圖像采集卡接收攝像機(jī)送出的模擬視頻信號(hào)并轉(zhuǎn)變?yōu)閿?shù)字信號(hào)送入計(jì)算機(jī),這個(gè)傳輸過程可以通過數(shù)據(jù)線或者無線網(wǎng)絡(luò)進(jìn)行,同時(shí)記錄下兩個(gè)攝像機(jī)之間以及它們與被測目標(biāo)物之間的相對位置關(guān)系,然后在計(jì)算機(jī)內(nèi)通過軟件編程實(shí)現(xiàn)對獲取圖像的預(yù)處理和匹配,進(jìn)而依據(jù)雙攝像機(jī)與被測物體的幾何關(guān)系,然后對攝像機(jī)內(nèi)外參數(shù)進(jìn)行標(biāo)定,最終實(shí)現(xiàn)空間目標(biāo)物的距離測量。
3.1.4 雙目視覺距離測量系統(tǒng)流程
雙目視覺系統(tǒng)的距離測量流程步驟如下:
步驟1:獲取圖像,即是采用雙目相機(jī)對目標(biāo)進(jìn)行拍照,獲取目標(biāo)的圖像。
步驟2:攝像機(jī)標(biāo)定,計(jì)算機(jī)視覺研究的對象是基于攝像機(jī)(或相機(jī))所拍攝物體的圖像,這些圖像都是空間中的物體經(jīng)過透視變換所形成的,因此世界坐標(biāo)系下的點(diǎn)和圖像上對應(yīng)的成像點(diǎn)之間必然存在一種固定的映射關(guān)系成像幾何模型來反應(yīng)。攝像機(jī)的標(biāo)定就是為了得到這種關(guān)系,對該幾何模型的未知參數(shù)進(jìn)行求解的過程。這些參數(shù)的求取需要通過實(shí)驗(yàn)測量與計(jì)算。
步驟3:圖像預(yù)處理,指的是在對采集到的圖像進(jìn)行分析和理解之前,為改善圖像質(zhì)量,抑制畸變,或增強(qiáng)某些對后續(xù)處理具有重要意義的圖像特征的處理手段。雙目視覺同大多數(shù)視覺過程一樣,識(shí)別處理之前也要經(jīng)過圖像預(yù)處理階段,其本質(zhì)目的是服務(wù)和方便于后繼處理,好的處理方案可以有力地提升識(shí)別的精度和速度。
步驟4:圖像匹配,是指針對不同攝像機(jī)或者同一攝像機(jī)下在不同成像條件下對同一目標(biāo)物拍攝的兩幅或多幅的圖像通過一定的匹配算法識(shí)別出同名點(diǎn),或根據(jù)已知模式到待匹配圖像中尋找相對應(yīng)模式的過程。
步驟5:三維還原,即是對基于雙目視覺原理對匹配過后的圖像進(jìn)行三維還原,從而獲取目標(biāo)對象的三維信息。
步驟6:測距計(jì)算,最后依據(jù)三維幾何模型來進(jìn)行測距等計(jì)算。
3.2 基于GRBD深度相機(jī)的距離檢測方法
RGBD深度相機(jī)是一種能夠直接測量出所拍攝到物體距離信息的相機(jī),該相機(jī)通過安裝距離傳感器的方式進(jìn)行感知距離信息,并將距離信息保存在到圖片中,即是拍攝到的圖片包含了RGBD的信息。其中RGB色彩模式是工業(yè)界的一種顏色標(biāo)準(zhǔn),是通過對紅(R)、綠(G)、藍(lán)(B)三個(gè)顏色通道的變化以及它們相互之間的疊加來得到各式各樣的顏色的,RGB即是代表紅、綠、藍(lán)三個(gè)通道的顏色,這個(gè)標(biāo)準(zhǔn)幾乎包括了人類視力所能感知的所有顏色,是目前運(yùn)用最廣的顏色系統(tǒng)之一。D表示的是Depth Map,在3D計(jì)算機(jī)圖形中,Depth Map(深度圖)是包含與視點(diǎn)的場景對象的表面的距離有關(guān)的信息的圖像或圖像通道。其中,Depth Map 類似于灰度圖像,只是它的每個(gè)像素值是傳感器距離物體的實(shí)際距離。通常RGB圖像和Depth圖像是配準(zhǔn)的,因而像素點(diǎn)之間具有一對一的對應(yīng)關(guān)系,從而構(gòu)成了RGBD圖片。因而,可以直接通過在無人幾種裝設(shè)GRBD深度相機(jī)傳感器來獲取無人機(jī)與桿塔之間的距離信息。
3.3 基于活動(dòng)目標(biāo)跟蹤的桿塔數(shù)量統(tǒng)計(jì)方法
視覺目標(biāo)跟蹤是計(jì)算機(jī)視覺中的一個(gè)重要研究方向,有著廣泛的應(yīng)用,如:視頻監(jiān)控,人機(jī)交互,無人駕駛等。過去二三十年視覺目標(biāo)跟蹤技術(shù)取得了長足的進(jìn)步,特別是最近兩年利用深度學(xué)習(xí)的目標(biāo)跟蹤方法取得了令人滿意的效果,使目標(biāo)跟蹤技術(shù)獲得了突破性的進(jìn)展。目標(biāo)跟蹤是指在視頻中跟蹤某一個(gè)或多個(gè)特定感興趣對象的過程,不管物體如何運(yùn)動(dòng),甚至是遮擋都能準(zhǔn)確找出目標(biāo)。另外,目標(biāo)跟蹤還要求在給定視頻序列的條件下,預(yù)測后續(xù)幀中該目標(biāo)的大小與位置。
考慮到進(jìn)行無人機(jī)巡檢時(shí),拍攝的圖像或是視頻前后時(shí)間間隔很小,對于同一個(gè)桿塔而言,視頻中前后兩幀桿塔的位置會(huì)有很大程度的重疊,因而輸電線路桿塔的數(shù)量統(tǒng)計(jì)問題本質(zhì)上就是一個(gè)活動(dòng)目標(biāo)檢測問題,當(dāng)圖像先后兩幀桿塔的位置有很大重復(fù)時(shí)就不用計(jì)數(shù),但是視頻中出現(xiàn)新的沒有重復(fù)的桿塔時(shí)就計(jì)數(shù),從而實(shí)現(xiàn)桿塔數(shù)量的統(tǒng)計(jì)。
4 應(yīng)用效果分析
通過基于雙目視覺法輸電線路距離檢測方法、基于GRBD深度相機(jī)的距離檢測方法、基于活動(dòng)目標(biāo)跟蹤的桿塔數(shù)量統(tǒng)計(jì)方法的研究與應(yīng)用,實(shí)現(xiàn)信息化方法與高技術(shù)含量設(shè)備的有效結(jié)合,實(shí)現(xiàn)了桿塔間距離測定、長距離線路距離測定和長距離間基于活動(dòng)目標(biāo)測定的桿塔數(shù)量測定,為新形勢下電網(wǎng)工程審計(jì)提供了新的思路和方法,有效提高了現(xiàn)場工程量真實(shí)性、規(guī)范性、合規(guī)性審計(jì)的質(zhì)量與效能。
參考文獻(xiàn):
[1] 周華強(qiáng), 胡廣平. 基于計(jì)算機(jī)視覺的遠(yuǎn)距離動(dòng)態(tài)前景測距方法[J]. 科學(xué)技術(shù)與工程, 2013(35): 10722-10726.
[2] 基于差分能量水印和Hausdorff距離的圖像認(rèn)證與匹配算法研究[D]. 合肥: 合肥工業(yè)大學(xué), 2014.
[3] 基于距離測度學(xué)習(xí)的圖像分類方法研究[D]. 上海: 復(fù)旦大學(xué), 2010.
[4] 張寧. 基于關(guān)聯(lián)基準(zhǔn)的單目視覺遠(yuǎn)距離坐標(biāo)測量方法的研究[D]. 天津: 天津大學(xué), 2008.
【通聯(lián)編輯:謝媛媛】