基于傾斜攝影和實(shí)時(shí)視頻的輸電三維動(dòng)態(tài)管控平臺(tái)研究

蘇州大學(xué)機(jī)電工程學(xué)院 朱富云

輸電線路是電力系統(tǒng)的重要組成部分，其特點(diǎn)是點(diǎn)多、面廣、布設(shè)復(fù)雜，且容易受氣候、地理環(huán)境等外部因素的影響。伴隨著計(jì)算機(jī)信息的迅速發(fā)展，GIS在電力工業(yè)中的應(yīng)用也越來(lái)越廣泛。將三維可視化技術(shù)引入輸電網(wǎng)管理中，為各層次管理者提供方便快捷的一整套輸電網(wǎng)，已成為現(xiàn)代電力企業(yè)提高管理水平和工作效率的有效手段。

傳輸線是指距離地理空間較遠(yuǎn)、地理環(huán)境復(fù)雜的人造建筑物，同其它電力、通訊線形成交叉，也通過(guò)社區(qū)和其他特殊地區(qū)。輸電線桿塔的位置與其地理空間位置密切相關(guān)，分層在垂直方向上顯得尤為重要。近年來(lái)計(jì)算機(jī)圖形計(jì)算及計(jì)算機(jī)硬件技術(shù)得到了迅速發(fā)展，讓三維可視化技術(shù)日臻完善，利用這些技術(shù)可以真實(shí)地再現(xiàn)傳輸線走廊的全貌。地表模型和各種設(shè)備模型能為輸電線路的規(guī)劃、設(shè)計(jì)、檢修和決策提供最新的三維視覺信息。近年來(lái)三維重建技術(shù)逐漸發(fā)展成熟，其應(yīng)用范圍逐漸從影視游戲的室內(nèi)對(duì)象建模擴(kuò)展到對(duì)戶外場(chǎng)景進(jìn)行大規(guī)模三維重建?？梢暬S重建技術(shù)利用計(jì)算機(jī)視覺技術(shù)來(lái)重建物體的三維模型，就是把數(shù)碼相機(jī)用作圖像傳感器，對(duì)非接觸式三維測(cè)量，綜合利用圖像處理、視覺計(jì)算等技術(shù)，利用電腦程序獲得物體三維信息。

蘇黎世聯(lián)邦理工大學(xué)（ETH）、德國(guó)慕尼黑工業(yè)大學(xué)（TUM）等著名高校都進(jìn)行了完整的三維重建流程的研究，COLMAP、PMVS、GIPUMA等國(guó)外開源三維重建軟件也可進(jìn)行非實(shí)時(shí)重建計(jì)算。除了科研院所，Pix4D及Bently等商業(yè)公司也開發(fā)了相應(yīng)的三維重建軟件服務(wù)于測(cè)繪、建模等傳統(tǒng)領(lǐng)域。不過(guò)由于電力系統(tǒng)中電塔、電線具有細(xì)長(zhǎng)、特征不明顯的特點(diǎn)，目前的開源及商業(yè)軟件均不能得到很好的重建效果，在應(yīng)用到電力系統(tǒng)前需針對(duì)電塔、電線的特點(diǎn)對(duì)每一步的算法進(jìn)行特殊優(yōu)化。

1 傾斜攝影三維重構(gòu)技術(shù)

傾角照相測(cè)量技術(shù)是一種新的照相測(cè)量技術(shù)[1]，它是在同一飛行平臺(tái)上搭載多個(gè)傳感器的基礎(chǔ)上對(duì)傳統(tǒng)攝影測(cè)量技術(shù)的新發(fā)展，該系統(tǒng)還能采集垂直、橫向和前后三個(gè)角度的圖像，比較完整地獲取地面建筑的側(cè)面紋理信息。

該軟件與現(xiàn)有的具有協(xié)同并行處理能力的傾斜影像數(shù)據(jù)處理軟件相結(jié)合，可快速地實(shí)現(xiàn)大規(guī)模城市三維建模，大大提高三維模型的生產(chǎn)效率。傾角攝影測(cè)量技術(shù)以其多視角、高真實(shí)度、全要素等優(yōu)勢(shì)，被廣泛應(yīng)用于應(yīng)急救援、國(guó)土監(jiān)測(cè)、城市建設(shè)、稅收評(píng)估、資源開發(fā)等領(lǐng)域。傾角攝影測(cè)量技術(shù)的數(shù)據(jù)處理流程包括圖像預(yù)處理、多視點(diǎn)聯(lián)合調(diào)整、多視點(diǎn)密集匹配、高精度DSM自動(dòng)提取和三維建模等。

圖像預(yù)處理主要有畸變校正、勻光勻色等方法。受到攝像機(jī)系統(tǒng)安裝誤差和鏡頭畸變的影響，所拍攝的圖像存在主點(diǎn)偏移和圖像邊緣畸變等問(wèn)題，所以航飛前需在地面檢校場(chǎng)對(duì)相機(jī)進(jìn)行檢查，求解出相機(jī)的內(nèi)方位元素和畸變參數(shù)，并將求出的檢校參數(shù)與相應(yīng)的軟件相結(jié)合，完成圖像的畸變處理。多視圖聯(lián)合平差主要考慮了視角變化較大時(shí)的幾何形變和遮擋，采用POS系統(tǒng)提供的傾斜攝影瞬間多角度圖像的外方位元素作為初值，在構(gòu)造圖像金字塔時(shí)采用了由粗到細(xì)的金字塔匹配策略，在每一級(jí)圖像上自動(dòng)提取連接點(diǎn)，提取后進(jìn)行束網(wǎng)區(qū)域網(wǎng)平差，以達(dá)到較好的匹配效果。

圖像匹配是圖像處理中的一個(gè)核心問(wèn)題，圖像匹配還將涉及到攝影測(cè)量技術(shù)領(lǐng)域，圖像匹配的結(jié)果直接決定了空三質(zhì)量。常規(guī)方法通常采用單一匹配單元，這種方法容易產(chǎn)生“病態(tài)解”，導(dǎo)致匹配精度和可靠性降低。多視像具有覆蓋范圍廣、分辨率高、同一種地物將對(duì)應(yīng)多種視角的影像，利用這些冗余信息進(jìn)行匹配時(shí)，采用多視圖像密集匹配模型快速提取多視圖像上特征點(diǎn)坐標(biāo)，實(shí)現(xiàn)多視圖像特征點(diǎn)的自動(dòng)匹配，從而獲得地物的三維信息[2]。

經(jīng)多視圖像密集匹配后可獲得高精度、高分辨率的數(shù)字表面模型，數(shù)字化曲面模型能真實(shí)反映地表物體的起伏狀態(tài)，是空間基礎(chǔ)框架數(shù)據(jù)的重要組成部分。通過(guò)聯(lián)合區(qū)域網(wǎng)對(duì)多視圖像進(jìn)行平差后，能自動(dòng)求解每幅圖像的精確外方位元素，基于該方法選擇合適的多視圖圖像匹配單元進(jìn)行逐像素密集匹配，得到成像區(qū)域地物的超高密度點(diǎn)云，然后通過(guò)點(diǎn)云構(gòu)網(wǎng)實(shí)現(xiàn)高精度高分辨率自動(dòng)提取DSM。

相同的三維TIN模型在不同的層次上的細(xì)度也能被建立[3]。對(duì)于地面比較平坦的地區(qū)，可根據(jù)地形復(fù)雜程度自動(dòng)調(diào)整三角網(wǎng)的網(wǎng)格密度，其三角網(wǎng)通過(guò)優(yōu)化可降低數(shù)據(jù)冗余。三角網(wǎng)絡(luò)建立好后就形成了三維模型的TIN向量結(jié)構(gòu)。在傾斜攝影測(cè)量模型生成結(jié)果中，受到平臺(tái)、氣象條件和軟件算法等客觀因素的影響，常會(huì)出現(xiàn)多種畸變現(xiàn)象，主要有模腔、紋理變形、紋理不均勻、懸浮物漂浮等。為實(shí)現(xiàn)精細(xì)建?？刹捎孟鄳?yīng)的模型輔助編輯系統(tǒng)，采用空三加密和初始化的三維模型，在空三加密后的圖像上繪制地物目標(biāo)輪廓線；采用伸縮等方法生成三維模型實(shí)體，選擇變形校正較小的傾斜圖像提取紋理并進(jìn)行自動(dòng)映射，可對(duì)模型原缺陷明顯的目標(biāo)區(qū)域進(jìn)行修補(bǔ)[4]。

2 基于HLS的實(shí)時(shí)視頻傳輸

Http Live Streaming (HLS)是蘋果公司提出的一種基于HTTP的流媒體傳輸協(xié)議[5]。HLS有一個(gè)非常大的優(yōu)點(diǎn)：HTML5可直接打開播放，這意味著可通過(guò)微信等轉(zhuǎn)發(fā)分享一個(gè)實(shí)時(shí)鏈接，無(wú)需安裝任何獨(dú)立APP，擁有瀏覽器即可。在HLS結(jié)構(gòu)中Audio/Video inputs指視頻源，Server接收到視頻源后，Media encoder將源視頻轉(zhuǎn)碼成HLS支持的編碼格式和封裝格式，根據(jù)需求可輸出多個(gè)碼率分別送至Stream segmenter，在segmenter中被切分成指定大小或時(shí)間長(zhǎng)度的TS切片，并生成索引文件M3U8；Distribution是一個(gè)HTTP文件服務(wù)器，負(fù)責(zé)將流媒體文件推送出去或響應(yīng)客戶端的請(qǐng)求。客戶端只要訪問(wèn)一級(jí)M3U8文件路徑就能自動(dòng)播放HLS視頻流了。

M3U8文件其實(shí)就是以UTF-8編碼的M3U文件，該文件本身不能播放，只是用于存放待播放視頻流的基本信息。HLS有兩級(jí)索引，第一級(jí)索引存放的是不同碼率HLS源的M3U8地址，也就是二級(jí)索引文件的地址；第二級(jí)索引則記錄了同一碼率下TS切片序列的下載地址?？蛻舳双@取一級(jí)M3U8文件后，根據(jù)自己的帶寬去下載相應(yīng)碼率的二級(jí)索引文件，然后再按二級(jí)索引文件的切片順序下載并播放TS文件序列。

3 平臺(tái)功能應(yīng)用

本系統(tǒng)平臺(tái)基于計(jì)算機(jī)三維視覺重建核心技術(shù)，打造了從二維圖片還原三維模型的實(shí)景三維的全自動(dòng)重建服務(wù)。

相機(jī)姿態(tài)恢復(fù)，空三解算，生成帶導(dǎo)線的輸電線路通三維道密集點(diǎn)云成果：相機(jī)姿態(tài)恢復(fù)技術(shù)構(gòu)建出多視角精確的相機(jī)姿態(tài)并產(chǎn)生稀疏的三維點(diǎn)云，利用高可靠性粗差剔除技術(shù)，并結(jié)合基于圖片檢索方法快速、有效地找到匹配的圖片并進(jìn)行快速特征點(diǎn)匹配，圖像匹配精度達(dá)到1/3像素；結(jié)合最新的三維密集點(diǎn)云匹配方法得到精確的三維密集點(diǎn)云，并對(duì)相機(jī)局部姿態(tài)進(jìn)行優(yōu)化，從而產(chǎn)生亞像素級(jí)的密集點(diǎn)云匹配。

網(wǎng)格模型重建：基于相機(jī)點(diǎn)云可見性的三維TIN模型構(gòu)建技術(shù)能實(shí)現(xiàn)高效的像素級(jí)的密集點(diǎn)云匹配和傾斜影像三維紋理TIN模型的快速全自動(dòng)構(gòu)建，突破了基于Mutual Information和Census Transform匹配代價(jià)相結(jié)合的SGM密集匹配技術(shù)、基于Possion方程的三維TIN模型構(gòu)建技術(shù)和影像紋理自動(dòng)優(yōu)選映射技術(shù)，能夠?qū)崿F(xiàn)高效的像素級(jí)的密集點(diǎn)云匹配和傾斜影像三維紋理TIN模型的快速全自動(dòng)構(gòu)建；紋理映射：應(yīng)用影像紋理自動(dòng)優(yōu)選映射技術(shù)，結(jié)合圖像的三維網(wǎng)格模型的優(yōu)化算法實(shí)現(xiàn)高精度紋理映射。

生成線路通道實(shí)景三維模型成果：可將海量二維影像數(shù)據(jù)生成真三維實(shí)景模型，并可進(jìn)行通道三維模型展示和三維模型編輯（圖1）。針對(duì)輸電線路的三維點(diǎn)云數(shù)據(jù)，采用聚類算法可擬合出輸電線路中的電力導(dǎo)線（圖2）。擬合出輸電線路電力導(dǎo)線之后，則可將擬合的導(dǎo)線數(shù)據(jù)與輸電通道實(shí)景三維網(wǎng)格模型融合（圖3）。利用流媒體傳輸協(xié)議，可在三維點(diǎn)云模型基礎(chǔ)上查看攝像頭實(shí)時(shí)視頻流，以實(shí)時(shí)掌握輸電線路狀況（圖4）。

圖1 三維點(diǎn)云模型展示效果

圖2 輸電線路電力導(dǎo)線擬合

圖4 實(shí)時(shí)視頻流查看

綜上，本平臺(tái)系統(tǒng)構(gòu)建能夠準(zhǔn)確有效地實(shí)景再現(xiàn)輸電線路走廊內(nèi)地形、地貌、地物的管控分析平臺(tái)，實(shí)景再現(xiàn)了輸電線路周圍的地形地貌、輸電設(shè)備，實(shí)現(xiàn)輸電線路信息和地理信息完美結(jié)合。應(yīng)用流媒體傳輸協(xié)議實(shí)時(shí)傳輸通道監(jiān)控影像，在后端可視化平臺(tái)上以實(shí)景三維模型底圖上實(shí)現(xiàn)了無(wú)插件瀏覽器監(jiān)控視頻播放、實(shí)景三維模型和動(dòng)態(tài)視頻監(jiān)控?zé)o縫融合。