基于三維視頻融合的礦山視頻監(jiān)控技術(shù)研究

苗作華 湯 陽(yáng) 任 磊 王夢(mèng)婷 謝 媛 戰(zhàn) 川 李宏亮

(1.武漢科技大學(xué)資源與環(huán)境工程學(xué)院,湖北 武漢 430081;2.冶金礦產(chǎn)資源高效利用與造塊湖北省重點(diǎn)實(shí)驗(yàn)室,湖北 武漢 430081;3.北京道亨軟件股份有限公司,北京 100012)

當(dāng)前智慧礦山建設(shè)正向著安全、高效、綠色的方向發(fā)展,對(duì)礦山信息的呈現(xiàn)從二維到三維進(jìn)行轉(zhuǎn)變[1]。視頻監(jiān)控是礦山生產(chǎn)監(jiān)管的重要手段之一,傳統(tǒng)的礦山視頻監(jiān)控技術(shù)往往采用平面列表的可視化方式,與三維地理信息結(jié)合不緊密,通常采用給視頻編號(hào)的方式記錄其攝像監(jiān)控設(shè)置的位置,只有熟悉現(xiàn)場(chǎng)的人員才能對(duì)監(jiān)控區(qū)域進(jìn)行快速定位,監(jiān)管效率低,阻礙了智慧礦山建設(shè)[2]。通過(guò)融合三維模型地理空間位置信息與實(shí)時(shí)監(jiān)控視頻,將對(duì)礦山風(fēng)險(xiǎn)預(yù)測(cè)、危機(jī)預(yù)警、安全監(jiān)管等方面起到重要的輔助作用。因此,可以使用三維可視化技術(shù)對(duì)傳統(tǒng)礦山視頻監(jiān)控技術(shù)進(jìn)行改進(jìn)。

近年來(lái),諸多學(xué)者對(duì)礦山三維可視化技術(shù)進(jìn)行了大量研究。周羽[3]結(jié)合地表建模及可疊加遙感技術(shù)對(duì)礦山進(jìn)行了全方位的立體建模,實(shí)現(xiàn)了地上地下一體化顯示;李昀等[4]基于WebGL 構(gòu)建了三維礦山巷道系統(tǒng)架構(gòu),實(shí)現(xiàn)了三維巷道可視化、二維三維一體顯示和路徑分析應(yīng)用功能;黃青青等[5]基于Unity 3D平臺(tái)實(shí)現(xiàn)了對(duì)大孤山露天鐵礦的三維可視化,真實(shí)地展示了大孤山露天鐵礦復(fù)雜的礦巖關(guān)系和時(shí)空關(guān)系,增強(qiáng)了三維立體直觀的表現(xiàn)效果。上述研究對(duì)礦山三維可視化技術(shù)進(jìn)行了完善,將礦山數(shù)據(jù)與三維地理信息相結(jié)合,進(jìn)行了可視化展示,增強(qiáng)了虛擬三維場(chǎng)景的真實(shí)性,為礦山的開發(fā)管理和日常調(diào)度提供了依據(jù),但是礦山生產(chǎn)變化快,時(shí)效性強(qiáng),空間位置信息不斷變化,上述研究利用已有的數(shù)據(jù)進(jìn)行三維可視化展示,缺乏時(shí)效性,往往只具有展示作用。將實(shí)時(shí)數(shù)據(jù)進(jìn)行三維可視化能幫助管理人員及時(shí)處理礦山生產(chǎn)的突發(fā)事件,有助于提升管理效率、保障生產(chǎn)安全。一些其他領(lǐng)域的學(xué)者嘗試將三維模型與實(shí)時(shí)的視頻信息進(jìn)行融合,產(chǎn)生了三維視頻融合技術(shù)[6]。HU[7]利用構(gòu)建紋理幾何體的方式,將視頻圖像作為紋理構(gòu)建幾何體,融合到三維模型上;DE 等[8]采用投影融合方式,將視頻圖像投影到三維模型表面。目前三維視頻融合技術(shù)處在發(fā)展階段,仍存在一些問(wèn)題需要進(jìn)一步解決,如三維模型與視頻紋理不契合,攝像機(jī)由于拍攝角度出現(xiàn)偏差導(dǎo)致視頻圖像失真、紋理產(chǎn)生畸變[9]。

針對(duì)以上研究存在的不足,本研究使用三維可視化技術(shù)對(duì)傳統(tǒng)的礦山視頻監(jiān)控技術(shù)進(jìn)行改進(jìn),提出一種基于三維視頻融合的礦山視頻監(jiān)控技術(shù),通過(guò)構(gòu)建紋理幾何體的方式,將實(shí)時(shí)監(jiān)控視頻與礦山三維模型進(jìn)行融合。構(gòu)建紋理幾何體的方式相較于投影融合方式的優(yōu)勢(shì)在于:當(dāng)視頻數(shù)量過(guò)多時(shí),采用投影融合方法會(huì)影響著色器執(zhí)行;當(dāng)接入多視頻時(shí),用構(gòu)建紋理幾何體的方式進(jìn)行三維視頻融合穩(wěn)定性更高。因此,本研究采用構(gòu)建視頻紋理幾何體的方式進(jìn)行三維視頻融合,三維場(chǎng)景漫游更穩(wěn)定,同時(shí)針對(duì)視頻紋理畸變的問(wèn)題,使用拉普拉斯網(wǎng)格形變算法對(duì)紋理畸變進(jìn)行校正,使三維視頻融合更貼近礦山真實(shí)的生產(chǎn)環(huán)境。

1 技術(shù)路線

本研究基于三維視頻融合思路提出的礦山視頻監(jiān)控技術(shù),其技術(shù)路線主要分為構(gòu)建礦山三維模型、獲取礦山實(shí)時(shí)監(jiān)控視頻、搭建三維場(chǎng)景3 個(gè)部分,如圖1所示。

圖1 三維視頻融合的技術(shù)路線Fig.1 Technical route of 3D video fusion

1.1 礦山三維模型構(gòu)建

礦山三維建模步驟為:① 利用無(wú)人機(jī)傾斜攝影技術(shù)收集礦山現(xiàn)場(chǎng)數(shù)據(jù)[10-12];② 使用context capture軟件針對(duì)視頻監(jiān)控區(qū)域進(jìn)行初步建模;③ 由于無(wú)人機(jī)傾斜攝影測(cè)量技術(shù)對(duì)于精細(xì)物體的建模效果不佳,故本研究通過(guò)3D Studio Max 軟件對(duì)三維模型進(jìn)行細(xì)部修正,優(yōu)化模型細(xì)節(jié),為視頻融合提供三維模型基礎(chǔ)。對(duì)模型缺損或存在懸浮物的部分進(jìn)行了修正、優(yōu)化,結(jié)果如圖2所示。

1.2 礦山實(shí)時(shí)監(jiān)控視頻獲取

本研究通過(guò)攝像機(jī)采集實(shí)時(shí)視頻圖像并與磁盤相互連接,實(shí)現(xiàn)視頻信息同步存儲(chǔ)。攝像機(jī)采集的原始視頻通過(guò)編碼器轉(zhuǎn)為網(wǎng)絡(luò)傳輸格式,發(fā)送到流媒體服務(wù)器?？蛻舳丝梢酝ㄟ^(guò)流媒體服務(wù)器提供的數(shù)據(jù)傳輸接口,經(jīng)過(guò)HLS 協(xié)議獲取視頻[13]。流媒體服務(wù)器的工作原理如圖3所示。

圖3 流媒體服務(wù)器工作原理Fig.3 Working principle of streaming media server

1.3 三維場(chǎng)景搭建

搭建三維場(chǎng)景的具體步驟為:導(dǎo)入構(gòu)建的礦山三維模型,調(diào)整模型的位置、角度、大小等參數(shù)以符合虛擬現(xiàn)實(shí)場(chǎng)景;導(dǎo)入礦山實(shí)時(shí)視頻數(shù)據(jù),以視頻作為紋理生成視頻幾何體,對(duì)其進(jìn)行裁切,保留視頻圖像清晰、光線佳、形變小的部分;最后將模型和視頻幾何體通過(guò)特征點(diǎn)提取、特征點(diǎn)匹配、紋理畸變校正等步驟實(shí)現(xiàn)三維視頻融合。

2 三維視頻融合

本研究通過(guò)構(gòu)建視頻紋理幾何體進(jìn)行三維視頻融合。具體實(shí)現(xiàn)步驟為:首先采集三維模型與視頻幾何體的特征點(diǎn),確定模型與視頻幾何體特征點(diǎn)的對(duì)應(yīng)關(guān)系;然后對(duì)視頻區(qū)域進(jìn)行三角網(wǎng)格劃分,為紋理校正做準(zhǔn)備;最后將模型與視頻幾何體進(jìn)行特征點(diǎn)匹配,同時(shí)通過(guò)拉普拉斯網(wǎng)格形變算法對(duì)視頻幾何體的頂點(diǎn)進(jìn)行調(diào)整[14-16],對(duì)三角網(wǎng)格進(jìn)行變形處理,從而校正畸變的紋理,實(shí)現(xiàn)三維模型與視頻的融合。為了提高三維視頻融合的渲染效率,攝像機(jī)安裝位置和鏡頭角度一旦確定之后不宜隨意更改,防止視頻幾何體拼接處出現(xiàn)錯(cuò)位、減少特征點(diǎn)提取和匹配的計(jì)算量,在提取特征點(diǎn)時(shí)可以抓取具有代表性的視頻畫面。

2.1 特征點(diǎn)提取和匹配

本研究用SIFT 算法采集模型與視頻幾何體上的特征點(diǎn),并使用人機(jī)交互方式修正部分點(diǎn)的位置,去除雜亂的點(diǎn)。利用上一步得到的特征點(diǎn),在視頻幾何體中添加特征點(diǎn)作為頂點(diǎn),使用Delaunay 三角剖分方法,對(duì)視頻幾何體進(jìn)行三角網(wǎng)格劃分,為后續(xù)紋理校正做準(zhǔn)備。為了使紋理校正時(shí)的紋理變化更均勻,在進(jìn)行三角網(wǎng)格劃分時(shí)可以采用手動(dòng)或自動(dòng)方式在視頻幾何體上添加一些非特征點(diǎn)。最后通過(guò)模型和視頻幾何體特征點(diǎn)之間的位置關(guān)系,進(jìn)行特征點(diǎn)匹配。

2.1.1 SIFT 算法特征點(diǎn)提取

SIFT(Scale-invariant Feature Transform)是一種能檢測(cè)圖像局部特征的算法。視頻具有動(dòng)態(tài)性,存在動(dòng)態(tài)變化的物體,并且不同時(shí)刻的現(xiàn)場(chǎng)光照強(qiáng)度和天氣狀況不同,會(huì)影響對(duì)視頻圖像的特征點(diǎn)提取。該算法具有較強(qiáng)的穩(wěn)定性,能在一定程度上適應(yīng)圖像旋轉(zhuǎn)、尺度和亮度的變化[17-18]。用SIFT 算法對(duì)相同區(qū)域的三維模型與視頻圖像進(jìn)行了特征點(diǎn)提取,結(jié)果如圖4所示。

圖4 SIFT 算法提取特征點(diǎn)Fig.4 Feature points extracted by SIFT Algorithm

采用SIFT 算法能夠快速提取特征點(diǎn),但進(jìn)行特征點(diǎn)匹配時(shí)要保證模型和視頻幾何體提取的特征點(diǎn)數(shù)量相同,所以還需要通過(guò)人機(jī)交互方式剔除雜亂的特征點(diǎn),調(diào)整部分區(qū)域特征點(diǎn)的位置,使三維模型與視頻幾何體的特征點(diǎn)相對(duì)應(yīng)。

2.1.2 Delaunay 三角剖分

Delaunay 三角剖分是將有限的點(diǎn)集合組成封閉線段平面圖。平面圖中的邊不包括點(diǎn)集的所有端點(diǎn),線段之間不交叉,在平面圖中所有的平面都是三角形平面,且每個(gè)三角形平面的合集都為凸包。在進(jìn)行視頻融合時(shí),為了使視頻融合效果更佳,視頻幾何體需經(jīng)過(guò)裁切,去除重疊部分或圖像質(zhì)量不佳部分,因此視頻幾何體會(huì)被裁切成任意凸多邊形或凹多邊形。幾何體在進(jìn)行三角剖分時(shí),要保證其輪廓形狀不發(fā)生改變,需要使用有約束條件的Delaunay 三角剖分方法,考慮約束線段即幾何體的輪廓線,采用遞歸割耳法,先將影響區(qū)域調(diào)整為簡(jiǎn)單多邊形,再遞歸尋找并割去多邊形的“耳”,最終將影響區(qū)域重新三角剖分[17]。將無(wú)約束和有約束的Delaunay 三角剖分方法對(duì)三角網(wǎng)格劃分結(jié)果進(jìn)行對(duì)比,結(jié)果如圖5所示。圖5(a)使用常規(guī)的Delaunay 三角剖分方法進(jìn)行三角網(wǎng)格劃分,三角網(wǎng)格構(gòu)成了多邊形ABFEC;圖5(b)使用有約束條件的Delaunay 三角剖分方法進(jìn)行三角網(wǎng)格劃分,三角網(wǎng)格構(gòu)成了多邊形ABFECD,剔除了三角形ADC部分。因此,用有約束條件的Delaunay 三角剖分方法能約束三角網(wǎng)格輪廓,該方法能實(shí)現(xiàn)對(duì)任意輪廓的視頻幾何體進(jìn)行三角網(wǎng)格劃分。

圖5 Delaunay 三角剖分Fig.5 Delaunay triangulation

2.1.3 特征點(diǎn)匹配

從三維模型上選取的特征點(diǎn)具有高程數(shù)據(jù),特征點(diǎn)之間存在高差。初始視頻幾何體為一平面,其特征點(diǎn)之間高差為零。本研究特征點(diǎn)匹配方法是將三維模型的特征點(diǎn)坐標(biāo)數(shù)值通過(guò)與視頻幾何體特征點(diǎn)之間的映射關(guān)系,賦給視頻幾何體的頂點(diǎn)[19]。如圖6所示,三維模型特征點(diǎn)A、B、C、D、E、F分別與視頻幾何體特征點(diǎn)G、H、J、I、K、L對(duì)應(yīng),將三維模型上特征點(diǎn)的坐標(biāo)賦給視頻幾何體的頂點(diǎn),視頻幾何體的位置和形狀發(fā)生變化,實(shí)現(xiàn)與三維模型的融合。

圖6 特征點(diǎn)匹配示意Fig.6 Schematic of feature point matching

2.2 紋理畸變校正

特征點(diǎn)匹配結(jié)果中容易出現(xiàn)視頻紋理畸變現(xiàn)象,其原因有:① 攝像機(jī)所拍攝的視頻圖像會(huì)因?yàn)橥敢曉懋a(chǎn)生距離視點(diǎn)近的物體大、距離視點(diǎn)遠(yuǎn)的物體小的現(xiàn)象,因此將視頻圖像作為紋理與模型融合時(shí)會(huì)出現(xiàn)紋理不匹配的情況;② 三維模型精度不夠高,模型紋理與現(xiàn)實(shí)場(chǎng)景有偏差,導(dǎo)致模型與視頻圖像不契合。本研究采用拉普拉斯網(wǎng)格形變算法,從視頻幾何體的紋理上進(jìn)行調(diào)整,使視頻紋理與三維模型更貼合。

2.2.1 拉普拉斯網(wǎng)格形變定義

傳統(tǒng)的三維曲面基于笛卡爾坐標(biāo)系,只能描述每個(gè)頂點(diǎn)的空間位置信息,而基于曲面微分的表達(dá)方式能夠描述包括尺寸和方向在內(nèi)的局部信息[14]。拉普拉斯坐標(biāo)能表示點(diǎn)與相鄰三角網(wǎng)格點(diǎn)之間的相對(duì)位置關(guān)系,因此包含了三維曲面的局部特征信息,在進(jìn)行特征點(diǎn)匹配時(shí),利用拉普拉斯網(wǎng)格形變算法能保持局部紋理細(xì)節(jié),減少紋理扭曲。在拉普拉斯網(wǎng)格形變算法中用M={V,E,F}表示n個(gè)頂點(diǎn)構(gòu)成的三角網(wǎng)格集,V表示頂點(diǎn)坐標(biāo)集,E代表邊集,F代表三角面片集。頂點(diǎn)i∈M,頂點(diǎn)坐標(biāo)表示為νi=(xi,yi,zi),為傳統(tǒng)的笛卡爾坐標(biāo)。頂點(diǎn)的拉普拉斯坐標(biāo)可定義為

式中,N(i)={j|(i,j)∈E}表示能與頂點(diǎn)i構(gòu)成邊的頂點(diǎn),點(diǎn)j是點(diǎn)i的相鄰點(diǎn);ωij為點(diǎn)j相對(duì)于點(diǎn)i的權(quán)值,本研究取ωij為均勻權(quán)值1/di;di為頂點(diǎn)i鄰接點(diǎn)個(gè)數(shù)。n×n階拉普拉斯矩陣Ls中的元素可表示為

2.2.2 網(wǎng)格形變計(jì)算

在進(jìn)行特征點(diǎn)匹配時(shí),要保證特征點(diǎn)與非特征點(diǎn)的相對(duì)關(guān)系不變,即保持局部特征不變,可以通過(guò)拉普拉斯變換來(lái)實(shí)現(xiàn)。在矩陣Ls和矩陣δ中分別添加特征點(diǎn)和輪廓點(diǎn),輪廓點(diǎn)用于確定網(wǎng)格形變的邊界。特征點(diǎn)和輪廓點(diǎn)可以統(tǒng)稱為錨點(diǎn)。添加錨點(diǎn)的拉普拉斯坐標(biāo)公式為

式中,a為錨點(diǎn)個(gè)數(shù);Ln×n為三角網(wǎng)集中所有頂點(diǎn)構(gòu)成的拉普拉斯矩陣;δn×3為三角網(wǎng)格中所有頂點(diǎn)的拉普拉斯坐標(biāo)矩陣;LAa×n為所有錨點(diǎn)的拉普拉斯矩陣;δAa×3為錨點(diǎn)的拉普拉斯坐標(biāo)矩陣;x為網(wǎng)格形變后頂點(diǎn)笛卡爾坐標(biāo)集合。

由于式(3)是超定方程組,有唯一最小二乘解,則x可以表示為

輪廓點(diǎn)保持固定不變;當(dāng)特征點(diǎn)匹配時(shí),特征點(diǎn)的笛卡爾坐標(biāo)改變;非特征點(diǎn)為了保持其拉普拉斯坐標(biāo)盡可能不變,其笛卡爾坐標(biāo)會(huì)隨著特征點(diǎn)的笛卡爾坐標(biāo)改變,由式(4)可得到匹配后所有頂點(diǎn)的笛卡爾坐標(biāo)V,從而對(duì)紋理畸變進(jìn)行校正。網(wǎng)格形變?cè)砣鐖D7所示。圖7 中黃點(diǎn)為輪廓點(diǎn),綠點(diǎn)為非特征點(diǎn),紅點(diǎn)為特征點(diǎn)。當(dāng)紅點(diǎn)移動(dòng)時(shí),非特征點(diǎn)隨特征點(diǎn)移動(dòng),使幾何體頂點(diǎn)發(fā)生變化,紋理也隨之改變。

圖7 拉普拉斯網(wǎng)格形變?cè)鞦ig.7 Principle of Laplace mesh deformation

為了驗(yàn)證將拉普拉斯形變算法應(yīng)用于視頻融合紋理畸變校正的可行性,本研究選擇礦山監(jiān)控視頻用于構(gòu)建視頻幾何體,并對(duì)其進(jìn)行拉普拉斯網(wǎng)格變形處理,過(guò)程如圖8所示。圖8(a)中的紋理為視頻監(jiān)控原始圖像,由于攝像機(jī)角度原因?qū)е碌缆吠怀鲞^(guò)大,與實(shí)際場(chǎng)景的道路特征不相符。圖8(b)將視頻幾何體進(jìn)行三角網(wǎng)格劃分,并對(duì)黃圈區(qū)域利用拉普拉斯網(wǎng)格形變算法進(jìn)行調(diào)整,紅點(diǎn)為特征點(diǎn),其周圍非特征點(diǎn)隨著特征點(diǎn)向右移動(dòng),使道路凸出部分收縮。圖8(c)為紋理變形后的視頻幾何體,道路凸角變大,道路凸出部分收縮。

圖8 視頻幾何體網(wǎng)格變形的過(guò)程Fig.8 Mesh deformation process of video geometry

3 試驗(yàn)與分析

3.1 試驗(yàn)數(shù)據(jù)與環(huán)境

本研究以武鋼資源集團(tuán)烏龍泉礦業(yè)有限公司某露天礦為例開展相關(guān)試驗(yàn),通過(guò)利用蒼穹數(shù)碼技術(shù)股份有限公司的KQGIS 軟件對(duì)采場(chǎng)區(qū)域數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換、配準(zhǔn)和編輯等預(yù)處理。試驗(yàn)硬件環(huán)境為:顯卡NVIDIA GeForce GTX1660 SUPER,運(yùn)行內(nèi)存16 GB,操作系統(tǒng)window10,瀏覽器Chrome。試驗(yàn)以基于WebGL 協(xié)議的CesiumJS 接口庫(kù)進(jìn)行開發(fā)。圖9(a)為融合前的三維場(chǎng)景,圖9(b)為引入多路視頻與三維模型進(jìn)行融合后的結(jié)果。

圖9 三維視頻融合效果Fig.9 3D video fusion effecs

3.2 試驗(yàn)結(jié)果與分析

3.2.1 穩(wěn)定性驗(yàn)證

文獻(xiàn)[20]用投影融合方法,基于WebGL 協(xié)議通過(guò)CesiumJS 接口進(jìn)行視頻融合。為了驗(yàn)證本研究方法頁(yè)面渲染的穩(wěn)定性,使用CesiumJS 接口構(gòu)建三維場(chǎng)景,記錄加載1～10 路視頻時(shí)頁(yè)面的幀率變化情況,同時(shí)保證視頻畫面大小、位置等變量相同,使用投影融合方法加載視頻,記錄其幀率變化。兩種方法的對(duì)比結(jié)果如圖10所示。

圖10 視頻融合頁(yè)面平均幀率對(duì)比Fig.10 Comparison of average frame rate of video fusion page

頁(yè)面幀率大于20 幀/s 時(shí),能實(shí)現(xiàn)三維場(chǎng)景的正常漫游,當(dāng)頁(yè)面幀率小于20 幀/s 時(shí),三維場(chǎng)景會(huì)出現(xiàn)明顯的延時(shí)卡頓現(xiàn)象,因此頁(yè)面幀率是否大于20幀/s 是檢驗(yàn)頁(yè)面渲染穩(wěn)定性優(yōu)劣的重要指標(biāo)。由圖10 可知:當(dāng)視頻數(shù)量大于5 時(shí),使用投影融合方法無(wú)法滿足三維場(chǎng)景的正常漫游要求,會(huì)出現(xiàn)卡頓現(xiàn)象;本研究方法在視頻數(shù)量達(dá)到10 時(shí),其融合幀率為22 幀/s,場(chǎng)景仍能實(shí)現(xiàn)流暢的渲染。進(jìn)一步分析可知:使用本研究方法加載1～10 路視頻,頁(yè)面渲染的幀率均高于使用投影融合方法加載視頻的頁(yè)面幀率。

綜上可知,投影融合方法在視頻數(shù)量少時(shí)可以進(jìn)行三維場(chǎng)景的正常渲染,視頻數(shù)量過(guò)多時(shí)則不能滿足常規(guī)的操作要求;本研究采用的三維視頻融合方法可穩(wěn)定地進(jìn)行三維場(chǎng)景漫游,對(duì)于三維場(chǎng)景中的視頻融合具有較強(qiáng)的適用性。

3.2.2 優(yōu)越性驗(yàn)證

傳統(tǒng)投影融合方法忽略了紋理的畸變,本研究視頻融合方法相較于傳統(tǒng)的視頻融合方法來(lái)說(shuō),能有效地進(jìn)行紋理畸變校正,使用拉普拉斯網(wǎng)格形變算法解決了因三維模型紋理與視頻圖像存在差異而產(chǎn)生的不匹配問(wèn)題,提高了三維視頻融合之后的視覺觀感效果。拉普拉斯網(wǎng)格形變算法常用于調(diào)整三維模型的頂點(diǎn),約束其局部特征,本研究使用拉普拉斯網(wǎng)格形變算法來(lái)調(diào)整視頻幾何體的頂點(diǎn),對(duì)局部紋理特征進(jìn)行調(diào)整,從而實(shí)現(xiàn)真實(shí)感更佳的三維視頻融合。傳統(tǒng)投影融合方法與本研究方法進(jìn)行三維視頻融合結(jié)果對(duì)比如圖11所示。

圖11 三維視頻融合紋理畸變校正Fig.11 Texture distortion correction of 3D video fusion

圖11(a)是使用投影融合方式進(jìn)行三維視頻融合的結(jié)果,圖中顯示三維模型與視頻圖像大致實(shí)現(xiàn)匹配,但在部分特征上視頻圖像的紋理與三維模型沒有實(shí)現(xiàn)融合。使用本研究方法進(jìn)行三維視頻融合結(jié)果如圖11所示,圖中對(duì)紋理畸變部分進(jìn)行了校正。以圖11 中框選的部分特征為例,圖11(a)中視頻圖像水坑區(qū)域紋理扭曲傾斜,導(dǎo)致視頻圖像中該特征區(qū)域與三維模型不貼合;圖11(b)對(duì)視頻幾何體水坑區(qū)域的紋理進(jìn)行了校正,通過(guò)拉普拉斯網(wǎng)格形變算法使視頻幾何體該部分的紋理與三維模型進(jìn)行了有效融合。

4 結(jié)論

(1)傳統(tǒng)的礦山視頻監(jiān)控存在視頻數(shù)量多、視頻圖像關(guān)聯(lián)性不強(qiáng)、缺乏三維空間位置信息等問(wèn)題,在很大程度上影響了智慧礦山建設(shè)。本研究提出的基于三維視頻融合的礦山視頻監(jiān)控技術(shù)利用三維可視化方式將視頻與三維模型相融合,解決了傳統(tǒng)視頻監(jiān)控缺少位置信息的問(wèn)題,使位置信息與視頻緊密聯(lián)動(dòng),有效提高了監(jiān)管效率。該方法較以往三維視頻融合方法相比,渲染穩(wěn)定性更高,使用拉普拉斯網(wǎng)格形變算法對(duì)視頻幾何體紋理畸變進(jìn)行校正,實(shí)現(xiàn)了融合度的大幅提高。

(2)本研究方法不足在于,實(shí)時(shí)視頻的動(dòng)態(tài)性降低了特征點(diǎn)的選取效率、影響了特征點(diǎn)的代表性。提高特征點(diǎn)的選取效率和精度,從而提升三維視頻融合效率,是未來(lái)的重點(diǎn)研究方向。

致 謝

感謝武鋼資源集團(tuán)烏龍泉礦業(yè)有限公司對(duì)本研究試驗(yàn)所需露天礦區(qū)域三維數(shù)據(jù)、圖像數(shù)據(jù)采集提供的幫助,感謝蒼穹數(shù)碼技術(shù)股份有限公司對(duì)本研究試驗(yàn)采場(chǎng)區(qū)域數(shù)據(jù)預(yù)處理給予的KQGIS 軟件支持。