史建林 郝培升
中國(guó)神華能源股份有限公司神朔鐵路分公司 陜西榆林 719316
全景圖像拼接監(jiān)控技術(shù),指的是借助多個(gè)攝像頭收集信息進(jìn)而根據(jù)收集到的信息來進(jìn)行監(jiān)控,防護(hù)以及備份的管理。比起傳統(tǒng)的監(jiān)控系統(tǒng),全景圖像拼接監(jiān)控系統(tǒng)主要是采取數(shù)位交互的方式來進(jìn)一步的實(shí)現(xiàn)多個(gè)圖像,全景攝取以及監(jiān)控的管理。簡(jiǎn)單來說,就是借助軟件技術(shù)來原先的上位機(jī)制來控制多個(gè)攝像頭進(jìn)而完成對(duì)應(yīng)的收集圖像的工作,同時(shí)還要對(duì)收集到的圖像進(jìn)行幾何,色差等的調(diào)整,之后再借助對(duì)應(yīng)的算法來對(duì)圖像進(jìn)行再次的優(yōu)化處理,最終將修改調(diào)整好的圖像參數(shù)傳輸?shù)焦た貦C(jī),接著將圖像的數(shù)據(jù)信息傳輸?shù)蕉嗦稩PC視頻的拼接處理器中,最終由處理器對(duì)圖像進(jìn)行處理,最終將處理完的圖像信息投放在大屏幕中,實(shí)現(xiàn)實(shí)景到屏幕中的轉(zhuǎn)換。在此過程中,需要軟件與硬件之間進(jìn)行融合,才能夠?qū)崿F(xiàn)全景圖像的實(shí)時(shí)拼接,最終便于進(jìn)行監(jiān)控與管理工作[1]。
在傳統(tǒng)的視頻監(jiān)控系統(tǒng)中,僅僅是能觀察到一些周邊的情況,而且觀察到的情況有一定的模糊性,并不能清晰的觀察到對(duì)應(yīng)物體的具體情況,視線較為狹窄,水平方向和垂直方向僅僅是在30-60°左右,如果選用傳統(tǒng)的視頻監(jiān)控系統(tǒng)來進(jìn)行工作,相關(guān)的視頻監(jiān)控管理人員需要對(duì)多個(gè)屏幕來進(jìn)行觀察分析,有些視頻中的圖像只是有一小部分的區(qū)別,因而增加了工作人員的工作負(fù)擔(dān),工作量繁重。而且最關(guān)鍵的是,視頻監(jiān)控的管理人員不能及時(shí)的觀察到對(duì)應(yīng)具體的事物變化情況,可能有些安全隱患的發(fā)生,但是無法及時(shí)的收集到信息因而無法做出及時(shí)的解決措施,進(jìn)而造成了一定的損失,不利于企業(yè)的發(fā)展。而多攝像頭全景圖像拼接的實(shí)時(shí)視頻監(jiān)控技術(shù),是將多個(gè)圖像中具有共同的重疊區(qū)域進(jìn)行消除,進(jìn)而將圖像拼接成具有寬視角和高分辯率的圖像,也就是形成了基于圖像三維全景的視頻監(jiān)控系統(tǒng),進(jìn)一步的減少了工作人員的工作量。同時(shí)還能夠?qū)崿F(xiàn)實(shí)時(shí)的監(jiān)控管理,進(jìn)而提高了工作過程中的安全性[2]。
全景視頻融合拼接技術(shù)的原理是利用當(dāng)前國(guó)內(nèi)領(lǐng)先水平的視頻融合專利技術(shù)和計(jì)算機(jī)視覺混合現(xiàn)實(shí)技術(shù)來機(jī)械能融合,從而能夠?qū)⒎植荚谥攸c(diǎn)監(jiān)控區(qū)域中的多路高點(diǎn)監(jiān)控?cái)z像機(jī)的視頻數(shù)據(jù),借助視頻圖像特征來進(jìn)行提取,同時(shí)結(jié)合攝像機(jī)參數(shù)、點(diǎn)位位置、角度等條件,基于CPU和GPU異構(gòu)并行架構(gòu),進(jìn)而實(shí)現(xiàn)大規(guī)模數(shù)據(jù)并發(fā)處理以及超高分辨率實(shí)時(shí)全景融合處理,其中包含的多路視頻GPU并行渲染和動(dòng)態(tài)拼縫融合等技術(shù)關(guān)鍵點(diǎn),對(duì)圖像數(shù)據(jù)進(jìn)行拼接、配準(zhǔn)、矯正及融合等處理。進(jìn)而實(shí)現(xiàn)在視頻全覆蓋情況下,能夠?qū)ο嚓P(guān)的重要區(qū)域和部位的全天候不間斷全景視頻監(jiān)控,便于相關(guān)的管理人員能夠可以掌握監(jiān)控區(qū)域整體場(chǎng)景內(nèi)的可視實(shí)時(shí)態(tài)勢(shì),進(jìn)一步的根據(jù)實(shí)時(shí)的視頻監(jiān)控信息來及時(shí)的進(jìn)行管理與控制。
全景視頻的技術(shù)中,可以借助平臺(tái)之間的對(duì)接,進(jìn)而能夠?qū)Χ鄠€(gè)系統(tǒng)進(jìn)行整合,從而將相關(guān)的數(shù)據(jù)資源進(jìn)行統(tǒng)一的規(guī)劃展示,并在管理指揮工作中不斷優(yōu)化,使得管理人員能夠及時(shí)的掌握監(jiān)控區(qū)域中的信息,從而制定出對(duì)應(yīng)的處理方案,進(jìn)一步的提高管理指揮人員的工作效率,降低管理的風(fēng)險(xiǎn),最終形成一套基于全景視頻的綜合管理指揮系統(tǒng),實(shí)現(xiàn)全景視頻的多業(yè)務(wù)動(dòng)態(tài)展示。
根據(jù)當(dāng)前傳統(tǒng)的視頻監(jiān)控系統(tǒng)中存在的視野盲區(qū),同時(shí)結(jié)合當(dāng)前的科學(xué)技術(shù),研究出了三維的全景攝像裝置,進(jìn)而解決了傳統(tǒng)視頻監(jiān)控?cái)z像中存在的視野盲區(qū),具體就是將在傳統(tǒng)視頻監(jiān)控?cái)z像中的監(jiān)控圖像鏡頭分隔的缺陷進(jìn)行了改進(jìn)與設(shè)計(jì),進(jìn)而能夠抵御整體的監(jiān)控視野區(qū)域中進(jìn)行全景的監(jiān)控管理,能夠?qū)崟r(shí)多方位多角度的監(jiān)控管理。再者是,傳統(tǒng)的視頻監(jiān)控?cái)z像機(jī)中所能監(jiān)控到的角度僅僅是某一個(gè)方向,能夠觀察到的范圍較小,而三維的全景攝像裝置能夠?qū)崿F(xiàn)攝像機(jī)的多角度無縫的結(jié)合,進(jìn)而避免了工作人員要對(duì)多個(gè)視頻的監(jiān)控圖像的觀察分析,節(jié)約了一定的時(shí)間,使得工作人員能夠快速準(zhǔn)確的觀察到視頻中的異常情況,從而根據(jù)具體的實(shí)是觀察來分析出原因進(jìn)行及時(shí)的管理[3]。
三維全景融合軟件系統(tǒng)中,主要是借助三維的建模,視頻的重構(gòu)技術(shù),對(duì)視頻監(jiān)控信息的收集以及三維全景攝像裝置的書數(shù)據(jù)來進(jìn)一步的建立出對(duì)應(yīng)的的三維全景模型,進(jìn)一步得實(shí)現(xiàn)由單一的視圖來顯示出對(duì)應(yīng)的全景額三維視圖,同時(shí)能夠?qū)δ骋粋€(gè)局部來進(jìn)行放大和縮小,以及能夠?qū)崿F(xiàn)遠(yuǎn)程的操控與管理。簡(jiǎn)單來說,第一是能夠?qū)崿F(xiàn)全景和局部視圖的有機(jī)結(jié)合,借助三維的球機(jī)協(xié)同追視系統(tǒng)來對(duì)全景融合監(jiān)控范圍中的目標(biāo)情況進(jìn)行準(zhǔn)確的指揮與查看。再者是在全景三維模型和全景視頻的基礎(chǔ)上,實(shí)現(xiàn)區(qū)域的自動(dòng)巡航,對(duì)關(guān)鍵區(qū)域的準(zhǔn)確定位與處理。
多屏合一的記住,主要是指在全景視頻的運(yùn)轉(zhuǎn)室中建立起對(duì)應(yīng)的拼接屏幕,在三維時(shí)空技術(shù)的基礎(chǔ)上,實(shí)現(xiàn)三維全景融合系統(tǒng),對(duì)應(yīng)的圖像數(shù)據(jù)以及TMIS數(shù)據(jù)信息的同步顯示,進(jìn)而視頻管理人員能夠根據(jù)顯示出的圖像數(shù)據(jù)信息,來進(jìn)一步的進(jìn)行指揮工作,及時(shí)的作出調(diào)整。
基礎(chǔ)的視頻監(jiān)控管理,就是指在一般的視頻攝像監(jiān)控的基礎(chǔ)上,嚴(yán)格按照規(guī)定的操作步驟來進(jìn)行監(jiān)控管理,注意監(jiān)控設(shè)備的運(yùn)行情況,不能隨意的中斷監(jiān)控,或者是隨意的刪除監(jiān)控信息。再者是管理人員如果發(fā)現(xiàn)了進(jìn)擊的情況來及時(shí)向上級(jí)匯報(bào)信息。再者是對(duì)每天的監(jiān)控信息進(jìn)行保存,從而為后期進(jìn)行核查提供信息。
全景視頻拼接顯示功能是利用處于國(guó)內(nèi)領(lǐng)先水平的視頻融合專利技術(shù)和計(jì)算機(jī)視覺混合現(xiàn)實(shí)技術(shù),將分布在重點(diǎn)監(jiān)控區(qū)域周圍建筑物等高點(diǎn)的監(jiān)控?cái)z像機(jī)的視頻數(shù)據(jù)進(jìn)行拼接、配準(zhǔn)、矯正及融合等處理。從而能夠在視頻全覆蓋情況下,實(shí)現(xiàn)對(duì)重要區(qū)域和部位的全天候不間斷全景視頻監(jiān)控。管理人員可以掌握監(jiān)控區(qū)域整體場(chǎng)景內(nèi)的可視實(shí)時(shí)態(tài)勢(shì),處理過程為解碼、拼接、顯、編碼、流媒體輸出。
全景多路低點(diǎn)視頻關(guān)聯(lián)顯示,是指事先將部署在場(chǎng)景內(nèi)的多路低點(diǎn)視頻與全景視頻建立關(guān)聯(lián)關(guān)系。在開啟時(shí),低點(diǎn)槍機(jī)的圖標(biāo)就會(huì)顯示在全景畫面中,通過點(diǎn)擊圖標(biāo),就可以在獨(dú)立窗口中調(diào)看對(duì)應(yīng)攝像機(jī)的實(shí)時(shí)視頻監(jiān)控。在操作的過程中,操作人員不需要記住每個(gè)攝像機(jī)的編號(hào)就可以快速準(zhǔn)確定位到目標(biāo)視頻,極大地減輕了操作負(fù)擔(dān)。
全景視頻槍球聯(lián)動(dòng)“一點(diǎn)即視”,是指事先將場(chǎng)景內(nèi)的球機(jī)進(jìn)行標(biāo)定,進(jìn)而建立起對(duì)應(yīng)的球機(jī)姿態(tài)、最佳焦距與全景畫面像素位置的對(duì)應(yīng)關(guān)系,之后由操作人員在全景視頻畫面中點(diǎn)擊或框選目標(biāo)區(qū)域,系統(tǒng)則驅(qū)動(dòng)球機(jī)對(duì)準(zhǔn)目標(biāo)區(qū)域并進(jìn)行變倍放大,進(jìn)一步的減輕了操作人員的工作負(fù)擔(dān)。
在設(shè)定路線自動(dòng)巡航中,首先是以場(chǎng)景的二維平面圖作為基礎(chǔ),再將攝像機(jī)點(diǎn)位標(biāo)繪在二維地圖中。因而,操作人員可以根據(jù)地圖手動(dòng)調(diào)取任意攝像機(jī)的視頻。同時(shí),操作人員也可以設(shè)置自動(dòng)巡航模式,也就是在二維平面圖或三維地圖中設(shè)定路徑節(jié)點(diǎn)后,系統(tǒng)路徑節(jié)點(diǎn)設(shè)定順序創(chuàng)建巡航路徑,并基于此巡航路徑將相關(guān)的視頻進(jìn)行關(guān)聯(lián)匹配。當(dāng)開啟漫游巡航功能后,系統(tǒng)從當(dāng)前所處的位置開始依次顯示視頻。在巡航過程中,畫面邊角處顯示鷹眼地圖,提示當(dāng)前視口攝像機(jī)位置和方位指向。
根據(jù)回放請(qǐng)求,來對(duì)任意時(shí)刻的全景視頻及選定的低點(diǎn)視頻進(jìn)行整體同步回放。該功能適用于大范圍區(qū)域內(nèi)事件發(fā)生全過程的回放,能夠直觀的、全景式的呈現(xiàn)歷史事件的發(fā)生始末,解決了傳統(tǒng)視頻監(jiān)控需要針對(duì)多個(gè)分鏡頭進(jìn)行逐一回放、且畫面支離破碎的問題。
通過“1+N”的管理模式(即:1臺(tái)管理客戶端+N臺(tái)解碼顯示客戶端),實(shí)現(xiàn)任意多路全景視頻的上屏顯示。管理客戶端能夠?qū)⒍鄠€(gè)區(qū)域的全景視頻及普通單路視頻進(jìn)行預(yù)覽,在顯示大屏數(shù)量滿足的解碼顯示客戶端的輸出要求的前提下,可直接拖拽多個(gè)區(qū)域的全景視頻及普通單路視頻到對(duì)應(yīng)監(jiān)控大屏的虛擬電視墻窗口,便于指揮中心指揮管控人員直觀、全面、便捷、完整的實(shí)時(shí)掌控大場(chǎng)景內(nèi)的整體態(tài)勢(shì)[4]。
(1)全景視頻攝像機(jī)點(diǎn)位安裝部署的原則。首先,全景視頻監(jiān)控在安裝時(shí),攝像機(jī)部署貨場(chǎng)區(qū)周邊的制高點(diǎn)位置,從而能夠?qū)崿F(xiàn)對(duì)整個(gè)貨場(chǎng)區(qū)100%視頻全覆蓋。再者,各個(gè)攝像機(jī)的監(jiān)控區(qū)域之間的視角重合度要大于15度左右,進(jìn)而便于視頻之間進(jìn)行全面的融合處理,而且為了保證視頻展示中視覺的一致性,要求攝像機(jī)布置的方位要呈現(xiàn)出扇骨狀分布,這樣才能夠保證視頻監(jiān)控中的一致性。
(2)攝像機(jī)的點(diǎn)位專項(xiàng)設(shè)計(jì)。
①伸縮鐵路中全景總覆蓋區(qū)域。由于神朔鐵路車站的整體監(jiān)控區(qū)域呈現(xiàn)細(xì)長(zhǎng)的形狀,根據(jù)調(diào)查研究,監(jiān)控范圍全長(zhǎng)2公里,寬約30米。經(jīng)過對(duì)神朔鐵路現(xiàn)場(chǎng)的仔細(xì)勘察,在孤山川車站設(shè)計(jì)三組全景點(diǎn)位,中間的全景點(diǎn)位在站房屋頂,東西兩組分別在距離站房500-600米的燈架上。
②(A)全景點(diǎn)位設(shè)計(jì)。西側(cè)燈架距離站房約560米,安裝3臺(tái)槍機(jī)用于全景拼接,1臺(tái)球機(jī)用于全景關(guān)聯(lián)操作。燈架高約25米,攝像機(jī)安裝在燈架升降架底部橫梁位置,通過抱箍方式固定,采用吊裝支架。3臺(tái)攝像機(jī)呈扇骨狀分布,每天攝像機(jī)水平視角約85°,垂直視角約47°。同時(shí)安裝1臺(tái)球機(jī),作為全景關(guān)聯(lián)操作使用,通過軟件對(duì)球機(jī)的PTZ控制,能夠在全景上精確定位,并自動(dòng)調(diào)整方向、變倍和焦距。球機(jī)采用吊裝支架,安裝于槍機(jī)附近2米范圍內(nèi),能夠覆蓋全景監(jiān)控范圍,且不遮擋全景畫面的位置。覆蓋股道西端咽喉區(qū)以及安裝位置半徑300米范圍區(qū)域。燈架底部會(huì)有半徑約10米盲區(qū)范圍。
③(B)全景點(diǎn)位設(shè)計(jì)。站房樓頂屋面中間位置,安裝3臺(tái)槍機(jī)用于全景拼接,1臺(tái)球機(jī)用于全景關(guān)聯(lián)操作。站房高約25米,利用排水溝側(cè)面水泥墻體,定做安裝攝像機(jī)支架,通過法蘭方式固定,攝像機(jī)裝在排水溝側(cè)墻頂部。3臺(tái)攝像機(jī)呈扇骨狀分布,每天攝像機(jī)水平視角約85°,垂直視角約47°。
④(C)全景點(diǎn)位設(shè)計(jì)。東側(cè)燈架距離站房約600米,安裝3臺(tái)槍機(jī)用于全景拼接,1臺(tái)球機(jī)用于全景關(guān)聯(lián)操作。燈架高約25米,攝像機(jī)安裝在燈架升降架底部橫梁位置,通過抱箍方式固定,采用吊裝支架。3臺(tái)攝像機(jī)呈扇骨狀分布,每天攝像機(jī)水平視角約85°,垂直視角約47°。同時(shí)安裝1臺(tái)球機(jī),作為全景關(guān)聯(lián)操作使用,通過軟件對(duì)球機(jī)的PTZ控制,能夠在全景上精確定位,并自動(dòng)調(diào)整方向、變倍和焦距。球機(jī)采用吊裝支架,安裝于槍機(jī)附近2米范圍內(nèi),能夠覆蓋全景監(jiān)控范圍,且不遮擋全景畫面的位置。覆蓋股道西端咽喉區(qū)以及安裝位置半徑300米范圍區(qū)域。燈架底部會(huì)有半徑約10米盲區(qū)范圍。
⑤(D)球機(jī)點(diǎn)位設(shè)計(jì)。東端咽喉區(qū)域距離站房較遠(yuǎn),需要額外增加1臺(tái)球機(jī)用于監(jiān)控此區(qū)域。作為全景C的低點(diǎn)位關(guān)聯(lián)攝像機(jī),可以從全景視頻中調(diào)用,彈窗查看。一般球機(jī)安裝于圍界立柱頂部,采用抱箍固定壁裝支架方式安裝,主要覆蓋東端咽喉區(qū)域,以及轉(zhuǎn)彎區(qū)域。
(3)全景視頻攝像機(jī)選型。在選擇全景視頻攝像機(jī)的型號(hào)是一般是選擇??礑S-2CD7A27EWD-IZS高清紅外一體化攝像機(jī),200萬星光級(jí)1/1.8”CMOS筒型網(wǎng)絡(luò)攝像機(jī)高清紅外一體攝像機(jī),電動(dòng)變焦,水平視角最大能夠達(dá)到90度。同時(shí),最好是攝像機(jī)的尾部是固定的。再者是??礑S-2DF8231IW-AW高清智能球形攝像機(jī),??低暰哂?00萬像素星光級(jí)紅外網(wǎng)絡(luò)高清高速智能球機(jī)31倍光學(xué)變焦網(wǎng)絡(luò)球機(jī),支持透霧功能,吊裝和壁裝支架。
(1)服務(wù)器端的部署。神朔鐵路各站區(qū)全景可視化運(yùn)行管理系統(tǒng),通過前端視頻采集,通過局域網(wǎng)絡(luò)傳輸?shù)綌?shù)據(jù)機(jī)房,數(shù)據(jù)機(jī)房集中部署1臺(tái)全景視頻拼接管理服務(wù)器,實(shí)時(shí)后臺(tái)算法處理多組前端攝像機(jī)的視頻碼流拼接,并分發(fā)、轉(zhuǎn)發(fā)給1臺(tái)視頻管理平臺(tái)服務(wù)器,由平臺(tái)管理服務(wù)器對(duì)視頻源進(jìn)行統(tǒng)一管理,并進(jìn)行錄像存儲(chǔ)。
(2)客戶端的部署。神朔鐵路各站區(qū)全景可視化運(yùn)行管理系統(tǒng),經(jīng)數(shù)據(jù)機(jī)房全景視頻拼接管理服務(wù)器拼接完成后并分發(fā)、轉(zhuǎn)發(fā)給視頻管理平臺(tái)服務(wù)器,通過局域網(wǎng)絡(luò)傳輸?shù)秸痉恐笓]中心值班席位,值班席位配置1臺(tái)全景客戶端工作站用于本地監(jiān)看,同時(shí)配置1臺(tái)全景解碼工作站,用于視頻無損輸出給3組1*3并行排列吊裝的46寸液晶拼接屏,方便日常值班領(lǐng)導(dǎo)和其他工作人員對(duì)車站運(yùn)行狀況的全局監(jiān)看和掌控。
(3)多路IPC視頻拼接處理器。簡(jiǎn)單來說,多路IPC視頻拼接處理器可以對(duì)所有的視頻信息來進(jìn)行調(diào)整和處理,包括了交換,傳送等等。同時(shí),攝像頭可以將收集到的圖像信息來借助多路IPC視頻拼接處理器來進(jìn)行專項(xiàng)的處理,進(jìn)而將處理過的信息來投放到對(duì)應(yīng)的監(jiān)控屏幕中,多路IPC視頻拼接處理器的主要功能是以特殊的硬件配置作為了支撐,從而能夠借助硬件配置中的FPGA來對(duì)攝像頭中收集到的圖像信息進(jìn)行處理[5]。
根據(jù)神朔鐵路的實(shí)際需求,在現(xiàn)代信息化技術(shù)為基礎(chǔ),遵循相關(guān)標(biāo)準(zhǔn)和規(guī)范,建設(shè)車站全景管理指揮平臺(tái)。借助車站全景管理指揮平臺(tái),實(shí)現(xiàn)車站值班員對(duì)運(yùn)輸生產(chǎn)過程的可視化,并對(duì)生產(chǎn)信息實(shí)時(shí)監(jiān)控與處理,提高運(yùn)輸生產(chǎn)的可控性。根據(jù)對(duì)站場(chǎng)咽喉位置的視頻觀察、動(dòng)態(tài)分析,形成有助于管理指揮的綜合系統(tǒng),提高車站的工作效率。
總的來說,多攝像頭全景圖像拼接的實(shí)時(shí)視頻監(jiān)控技術(shù)在監(jiān)控領(lǐng)域已經(jīng)得到了重視和重用,在本文中對(duì)多攝像頭全景圖像拼接的實(shí)時(shí)視頻監(jiān)控技術(shù)進(jìn)行了全面綜合的分析,并重點(diǎn)對(duì)多攝像頭全景圖像拼接的實(shí)時(shí)視頻監(jiān)控技術(shù)在神朔鐵路中的具體應(yīng)用進(jìn)行了分析與研究,建立了對(duì)應(yīng)的全景管理監(jiān)控指揮平臺(tái),最終進(jìn)一步的提升了監(jiān)控管理人員對(duì)生產(chǎn)過程中的可視化管理,提高了工作的效率。