基于三維場(chǎng)景的視頻融合技術(shù)在電廠智能巡視系統(tǒng)中應(yīng)用的研究

王躍軍，易力

（1.神華國(guó)華壽光發(fā)電有限責(zé)任公司，山東 濰坊 262700；2.北京電科智擎科技有限公司，北京 100000）

傳統(tǒng)的電廠視頻巡視系統(tǒng)缺乏整合大量離散視頻信息的有效方法，無(wú)法將大量分散的監(jiān)控?cái)z像機(jī)有效的拼接成一起，也無(wú)法直觀與實(shí)際巡檢場(chǎng)景有效關(guān)聯(lián)起來(lái)，無(wú)法實(shí)時(shí)動(dòng)態(tài)查看監(jiān)控區(qū)域內(nèi)全景情況，缺乏宏觀視圖，不能很好地滿足電廠的巡檢需要，不能為巡檢工作和應(yīng)急響應(yīng)提供強(qiáng)有力的技術(shù)支持。而三維場(chǎng)景下的視頻融合技術(shù)將多個(gè)攝像機(jī)采集的相同場(chǎng)景下的多個(gè)視頻圖像與關(guān)聯(lián)的虛擬場(chǎng)景相結(jié)合，通過(guò)一定算法將三維靜態(tài)模型和拼接好的動(dòng)態(tài)視頻畫(huà)面重構(gòu)，生成新的動(dòng)靜結(jié)合的新模型。三維與視頻融合增加了虛擬場(chǎng)景與現(xiàn)實(shí)畫(huà)面的互動(dòng)，提高了虛擬模型的信息承載能力，搭建了現(xiàn)實(shí)與虛擬之間的橋梁，更方便電廠的工作，有效提高電廠的生產(chǎn)管理效率。

1 三維場(chǎng)景下的視頻融合技術(shù)應(yīng)用的主要功能需求

（1）通過(guò)對(duì)圓形煤場(chǎng)、汽機(jī)房、GIS室、翻車機(jī)室等各個(gè)重點(diǎn)巡檢區(qū)域進(jìn)行三維與視頻融合的應(yīng)用，將各個(gè)監(jiān)控點(diǎn)、各個(gè)視角的監(jiān)控視頻與真實(shí)三維場(chǎng)景進(jìn)行全景融合，建立視頻信息之間的相關(guān)性，提取真正有價(jià)值的信息，在三維場(chǎng)景中進(jìn)行實(shí)時(shí)視頻拼接融合，實(shí)現(xiàn)視頻監(jiān)控從“局部”到“全面”的提升。展示系統(tǒng)不僅可以在一個(gè)大屏幕上實(shí)現(xiàn)整個(gè)區(qū)域的三維場(chǎng)景，還可以在一個(gè)子屏幕上顯示局部細(xì)節(jié)。

（2）借助激光點(diǎn)云技術(shù)和三維建模技術(shù)對(duì)電廠內(nèi)部重點(diǎn)巡檢區(qū)域進(jìn)行三維全景重建（包括各種設(shè)備、管線等）。掃描區(qū)域內(nèi)激光點(diǎn)云輪廓清晰，各設(shè)備與管線等必須清晰、可見(jiàn)。具體包括：設(shè)備輪廓、銘牌、配件、儀表等細(xì)節(jié)，通過(guò)三維場(chǎng)景實(shí)時(shí)渲染以還原真實(shí)場(chǎng)景。

（3）采用先進(jìn)的視頻融合技術(shù)，對(duì)分布在重點(diǎn)監(jiān)控區(qū)域周圍的高點(diǎn)攝像機(jī)的視頻數(shù)據(jù)進(jìn)行拼接、記錄、校正和融合。在視頻全覆蓋的情況下，實(shí)現(xiàn)對(duì)重要區(qū)域和房間的全天候不間斷全景視頻監(jiān)控，實(shí)時(shí)捕捉監(jiān)控區(qū)域的全景視覺(jué)動(dòng)態(tài)。

（4）三維與視頻融合通過(guò)三維重建技術(shù)與實(shí)時(shí)視頻相結(jié)合，疊加設(shè)備運(yùn)行參數(shù)、測(cè)溫?cái)?shù)據(jù)、智能分析數(shù)據(jù)、環(huán)境聯(lián)合檢測(cè)等實(shí)時(shí)數(shù)據(jù)，以及溫度異常、環(huán)境異常等實(shí)時(shí)警報(bào)。

2 三維場(chǎng)景下的視頻融合技術(shù)應(yīng)用的基本框架

為滿足電廠巡檢工作的實(shí)際需要，將不同位置、不同視角的監(jiān)控視頻實(shí)時(shí)拼接融合，同時(shí)打造完全逼真的該區(qū)域下的三維模型，實(shí)現(xiàn)巡檢區(qū)域、設(shè)備狀態(tài)、人員進(jìn)出的全景巡檢監(jiān)控。管理員無(wú)需實(shí)地檢查就可以全面準(zhǔn)確地掌握監(jiān)控?cái)z像頭所在位置以及監(jiān)控區(qū)域，不必頻繁切換畫(huà)面就可以在控制中心直觀看到實(shí)時(shí)全景，從而有效應(yīng)對(duì)各類突發(fā)事件。系統(tǒng)的基本框架如圖1所示。

圖1 電廠全景巡視系統(tǒng)基本框架

圖1 中，右上角的照片是攝像頭的分鏡頭視頻，右下照片則是監(jiān)控中心展示的三維全景融合圖像。融合過(guò)程主要分為：第一步，基于三維視頻融合技術(shù)檢測(cè)并分離前景目標(biāo)，再通過(guò)攝像頭自動(dòng)標(biāo)定技術(shù)獲取目標(biāo)的空間坐標(biāo)，最后，基于對(duì)應(yīng)的時(shí)間序列進(jìn)行三維全景視頻拼接融合。

3 電廠全景巡視系統(tǒng)關(guān)鍵技術(shù)

3.1 前景目標(biāo)檢測(cè)

在三維視頻融合系統(tǒng)中，核心任務(wù)是重構(gòu)移動(dòng)目標(biāo)，將目標(biāo)無(wú)縫融入三維場(chǎng)景，從而做到全面逼真的畫(huà)面呈現(xiàn)。為完成這個(gè)任務(wù)需要進(jìn)行前景目標(biāo)檢測(cè)，檢測(cè)過(guò)程包括以下兩個(gè)方面：

（1）針對(duì)前景目標(biāo)進(jìn)行多級(jí)前景背景建模，這是提取前景目標(biāo)的關(guān)鍵環(huán)節(jié)，先提取目標(biāo)圖像的前景，讓前景更接近當(dāng)前圖像背景，對(duì)視頻當(dāng)前幀、當(dāng)前背景圖像加權(quán)平均，達(dá)到背景調(diào)節(jié)的目的。但是，實(shí)踐中，建模之后得到的背景往往因?yàn)楣庹兆兓纫蛩氐挠绊懚炼炔蛔?，加之目?biāo)移動(dòng)速度始終在變化或長(zhǎng)期靜止，可能導(dǎo)致關(guān)鍵目標(biāo)遺漏。因此，需要采用多級(jí)高斯混合模型，用于對(duì)不同速度（包括運(yùn)動(dòng)到靜止）的目標(biāo)進(jìn)行目標(biāo)進(jìn)行魯棒檢驗(yàn)，從而有些消除光照、物體移動(dòng)等因素的影響，同時(shí)解決物體長(zhǎng)期靜止導(dǎo)致的目標(biāo)遺漏問(wèn)題。

（2）運(yùn)動(dòng)目標(biāo)陰影、噪音抑制、缺失校正。陰影常被誤認(rèn)為目標(biāo)，造成目標(biāo)視頻圖像分割錯(cuò)誤。因此必須全面考慮陰影顏色、空間、紋理等特征，通過(guò)紋理校正、顏色形變補(bǔ)償?shù)姆绞揭种脐幱啊⒃肼?，基于?shù)學(xué)形態(tài)學(xué)快速濾波校正缺失部分圖像。

3.2 構(gòu)建植全景模型

傳統(tǒng)的三維建模技術(shù)難以有效確保模型大小、位置關(guān)系與實(shí)際場(chǎng)景相符，同時(shí)還存在建模速度慢、操作復(fù)雜、環(huán)境要求高等問(wèn)題，尤其對(duì)于電廠這類龐大復(fù)雜的場(chǎng)景，三維建模精度和效率要求很高。因此，需要利用激光掃描技術(shù)實(shí)現(xiàn)點(diǎn)云數(shù)據(jù)的精準(zhǔn)快速采集，為三維重建提供可靠的基礎(chǔ)數(shù)據(jù)。但是，由于三維掃描設(shè)備視角窄且固定，有效測(cè)量距離短，對(duì)掃描環(huán)境要求高，應(yīng)用仍局限于室內(nèi)幾何測(cè)量、短距離、小物體。即使是真實(shí)的電廠場(chǎng)景也很困難，目前還沒(méi)有對(duì)所有形狀的物體都適用的通用技術(shù)。

3.3 三維與視頻融合

三維與視頻融合的目的是在三維模型上實(shí)時(shí)還原二維視頻信息，通過(guò)三維視角對(duì)真實(shí)場(chǎng)景進(jìn)行全方位立體監(jiān)控。

（1）將實(shí)時(shí)視頻流信息，通過(guò)三維空間坐標(biāo)轉(zhuǎn)換投影至場(chǎng)景中，將攝像頭視域范圍內(nèi)流數(shù)據(jù)展現(xiàn)實(shí)時(shí)展示，并檢測(cè)場(chǎng)景的二維視頻和三維模型的特征點(diǎn)，選擇正確的算法實(shí)現(xiàn)基于特征點(diǎn)的圖像配準(zhǔn)，通過(guò)特征點(diǎn)描述符來(lái)衡量?jī)蓚€(gè)圖像中特征的相似性，通過(guò)對(duì)應(yīng)的特征描述圖像之間的對(duì)齊匹配關(guān)系?？梢砸攵喑叨绕ヅ渌惴?，以適應(yīng)圖像尺度的變化，提高配準(zhǔn)算法的準(zhǔn)確性。

（2）通過(guò)自動(dòng)或半自動(dòng)的特征匹配，反算從三維場(chǎng)景模型到二維視頻的投影變化矩陣和三維物理攝像頭的確切，將投影攝像機(jī)在三維場(chǎng)景中虛擬化，再將視頻動(dòng)態(tài)投影到場(chǎng)景表面，實(shí)現(xiàn)三維重建。

（3）通過(guò)分析視頻信息，檢測(cè)出前景目標(biāo)。根據(jù)攝像頭參數(shù)，可以將目標(biāo)的像素坐標(biāo)實(shí)時(shí)轉(zhuǎn)換為三維位置信息，用于動(dòng)態(tài)目標(biāo)的三維建模。在融合過(guò)程中，只需要將背景信息投影到場(chǎng)景的靜態(tài)三維模型上，將目標(biāo)前景物體投影到動(dòng)態(tài)重建的目標(biāo)三維模型上。

3.4 全景可視化展示

通過(guò)將攝像機(jī)虛擬到三維場(chǎng)景中可以任意設(shè)置視點(diǎn)，從當(dāng)前視點(diǎn)監(jiān)控關(guān)鍵區(qū)域全景動(dòng)態(tài)。

首先，系統(tǒng)支持自定義巡視軌跡，根據(jù)預(yù)設(shè)顯示角度和速度自動(dòng)巡視。巡視路線由多個(gè)路線控制點(diǎn)組成，通過(guò)設(shè)置路線控制點(diǎn)，可以創(chuàng)建直線、弧線、環(huán)線、圓線和復(fù)合路線等多種巡視路線，同時(shí)還可以設(shè)置巡視速度。

其次，全景視頻與平面地圖同步呈現(xiàn)，攝像頭位置、覆蓋區(qū)域等都能在地圖中標(biāo)記出來(lái)。根據(jù)目標(biāo)或自動(dòng)鏈接所有監(jiān)控該目標(biāo)的攝像機(jī)。

最后，可從存儲(chǔ)設(shè)備讀取歷史視頻數(shù)據(jù)，將歷史視頻數(shù)據(jù)可視化為三維模型，在全景場(chǎng)景中進(jìn)行正向或反向搜索，具有逐幀播放、逐幀倒帶、停止、快進(jìn)、倒帶和隨機(jī)位置播放功能，以提高系統(tǒng)回溯查詢效率。

4 結(jié)語(yǔ)

綜上所述，基于三維視頻融合技術(shù)的全景巡視系統(tǒng)的研發(fā)和應(yīng)用可滿足電廠日常監(jiān)控、應(yīng)急指揮、遠(yuǎn)程監(jiān)控、設(shè)備運(yùn)行狀態(tài)監(jiān)控等需求，改變以前分鏡頭的傳統(tǒng)視頻監(jiān)控模式，對(duì)電廠關(guān)鍵區(qū)域進(jìn)行全景三維監(jiān)控，為提高電廠運(yùn)行管理和應(yīng)急響應(yīng)能力提供可靠的技術(shù)支持。