基于Cult3D的大壩工程施工圖像智能配準(zhǔn)方法

李寧霄

(遼寧省河庫管理服務(wù)中心(遼寧省水文局)，沈陽 110003)

0 引 言

大壩工程施工在整體建設(shè)過程中尤為重要，為了保證施工圖像在建設(shè)規(guī)劃過程中大壩工程施工的科學(xué)性，需要將施工圖像進(jìn)行智能配準(zhǔn)。在同一施工場(chǎng)景下拍攝得到的不同角度的圖像,對(duì)其進(jìn)行幾何與光度方面的校正,稱為圖像配準(zhǔn)，配準(zhǔn)的準(zhǔn)確率直接關(guān)系著大壩工程施工的質(zhì)量。

傳統(tǒng)的圖像智能配準(zhǔn)方法中，主要是針對(duì)近距離拍攝的圖像有著較好的配準(zhǔn)精度[1-2]。但是對(duì)于大壩工程施工來說，得到的施工圖像一般為遠(yuǎn)距離探測(cè)技術(shù)所得到的遙感圖像。遙感圖像與普通圖像相比，每個(gè)像素點(diǎn)中所包含的信息量都較大，因此在同一場(chǎng)景下不同角度的遙感圖像每個(gè)像素點(diǎn)中所對(duì)應(yīng)的大壩工程施工信息都會(huì)有一定偏差，對(duì)于大壩工程施工遙感圖像的配準(zhǔn)過程來說，特征點(diǎn)的選擇與配準(zhǔn)是非常重要的。傳統(tǒng)的配準(zhǔn)方法中，對(duì)于近景圖像的配準(zhǔn)取得了較好的效果，但是對(duì)于大壩施工的遙感圖像來說，配準(zhǔn)性能有所降低。因此，本文提出一種基于Cult3D的圖像智能配準(zhǔn)方法，以應(yīng)用于大壩工程施工中。

1 基于Cult3D的大壩工程施工圖像智能配準(zhǔn)方法研究

1.1 基于Cult3D創(chuàng)建三維模型

在大壩工程施工的圖像配準(zhǔn)過程中，配準(zhǔn)平臺(tái)中的設(shè)計(jì)需要體現(xiàn)出以大壩工程為主體的圖像配準(zhǔn)思想，在建模過程中要方便施工參照。因此本文在模塊化基礎(chǔ)上，構(gòu)建基于Cult3D技術(shù)的三維模型配準(zhǔn)平臺(tái)[3]。該平臺(tái)需要包括大壩施工中的土工試驗(yàn)項(xiàng)目，在建模過程中使用者可以利用PC機(jī)的外部硬件交互操作，對(duì)基于遙感圖像的大壩施工三維模型進(jìn)行創(chuàng)建和調(diào)整。在建模過程中，主要使用Cult3D技術(shù)來完成模型的交互和拼接。Cult3D技術(shù)是目前使用頻率較高且性能較好的VR交互工具，其自身具有較好的交互性能，使用過程中能夠?yàn)榕錅?zhǔn)節(jié)省網(wǎng)絡(luò)帶寬，提高配準(zhǔn)效率[4]。在建模過程中，PC外設(shè)能夠相應(yīng)地控制場(chǎng)景漫游以及基于模塊結(jié)構(gòu)的實(shí)驗(yàn)項(xiàng)目，包括虛擬施工場(chǎng)地、工程項(xiàng)目展廳、施工過程中的材料飽和性、含水率測(cè)定、土壤密度、顆粒分析、三軸剪切等工程項(xiàng)目，在Cult3D技術(shù)的基礎(chǔ)上進(jìn)行開發(fā)，其建模開發(fā)流程見圖1。

圖1 Cult3D的建模開發(fā)流程

在建模開發(fā)的過程中，需要在與3D模型接口之前進(jìn)行相關(guān)的裝配，在導(dǎo)出需要的格式文件之前調(diào)整相對(duì)應(yīng)位置之后再進(jìn)行接口。在模型建立之后需要導(dǎo)入到程序中，對(duì)于工程中的光線等效果進(jìn)行設(shè)計(jì)，以使后期尋找特征點(diǎn)的過程中便于觀察。至此完成基于Cult3D三維模型的創(chuàng)建。

1.2 特征點(diǎn)的標(biāo)記與匹配

圖像的配準(zhǔn)主要目的是將相同場(chǎng)景下的不同角度圖像進(jìn)行融合與疊加。本文在基于Cult3D三維模型的基礎(chǔ)上，需要對(duì)特征點(diǎn)進(jìn)行標(biāo)記和匹配。對(duì)于工程遙感圖像來說，特征點(diǎn)一般為比較穩(wěn)定的角點(diǎn)或是局部極值點(diǎn)。對(duì)于大壩施工工程來說，想要完成施工場(chǎng)景的重現(xiàn)任務(wù)，就要保證標(biāo)記出來的特征點(diǎn)具有普適性，方便后期的匹配[5]。在標(biāo)記的過程中，特征點(diǎn)的標(biāo)記原則就是無論圖片如何變化，被標(biāo)記的特征點(diǎn)都要保證在幾何、光度方面具有不變性。幾何不變性主要包括圖像在相機(jī)運(yùn)動(dòng)下發(fā)生一系列變化的條件下，平移、旋轉(zhuǎn)和尺度都不會(huì)發(fā)生改變，光度則主要是指亮度[6]。計(jì)算出圖像中局部像素以及與其對(duì)應(yīng)的位置信息之間的關(guān)系，主要是基于局部特征自身在遙感圖像場(chǎng)景下的獨(dú)特性質(zhì)[7]。但是對(duì)于相機(jī)發(fā)生復(fù)雜運(yùn)動(dòng)的背景下，則會(huì)受到噪聲干擾。圖像光度方面，需要對(duì)待配準(zhǔn)的圖像進(jìn)行歸一化處理，這樣能夠保證提升光度變化方面圖像的魯棒性。在特征點(diǎn)標(biāo)記時(shí)，對(duì)遙感圖像像素的梯度、直方圖、顏色灰度等進(jìn)行統(tǒng)計(jì)和處理。標(biāo)記出的特征點(diǎn)需要有較高的獨(dú)特性，并兼顧本身和周圍的有效特征信息，保證匹配過程順利進(jìn)行。

匹配兩圖像之間的特征點(diǎn)，主要是依據(jù)兩個(gè)特征點(diǎn)之間的相似性。參考圖像以及待配準(zhǔn)圖像中各自拿出一個(gè)待匹配的特征點(diǎn)進(jìn)行相似性度量，可以利用綜合度量法實(shí)現(xiàn)，計(jì)算公式如下：

(1)

式中：(x,y)為圖像中特征點(diǎn)的坐標(biāo)；S為樣本協(xié)方差矩陣；T為兩點(diǎn)之間的真實(shí)距離。

計(jì)算得到特征點(diǎn)相似度之后，將其降序排列，完成初始匹配。此時(shí)的匹配結(jié)果比較粗糙，還需將其分類，把匹配錯(cuò)誤的特征點(diǎn)剔除，最終將隨機(jī)一致的采樣算法作為匹配正確的匹配樣本數(shù)據(jù)集。至此完成特征點(diǎn)的標(biāo)記與匹配。

1.3 圖像變換

對(duì)于大壩工程施工來說，得到的圖像都是遙感圖像[8-9]。獲取遙感圖像的相機(jī)一般搭載在無人機(jī)上，或直接利用衛(wèi)星獲取圖像。這些相機(jī)為了拍攝到工程不同角度的圖像來回進(jìn)行運(yùn)動(dòng)，運(yùn)動(dòng)方式?jīng)Q定了圖像之間會(huì)存在一定的變換關(guān)系。相機(jī)的運(yùn)動(dòng)可以概括為平移、旋轉(zhuǎn)、垂直，圖像的變換方式主要是取決于相機(jī)的運(yùn)動(dòng)方式。在圖像變換過程中，存在一定的變換模型矩陣可以對(duì)其進(jìn)行描述[9-10]：

(2)

式中：m0為相機(jī)經(jīng)過運(yùn)動(dòng)后，得到的縮小圖像與原有圖像的尺寸比例；m1為相機(jī)經(jīng)過運(yùn)動(dòng)后，得到的放大圖像與原有圖像的尺寸比例；m2為相機(jī)運(yùn)動(dòng)后，拍攝到的圖像與原有圖像相比，在水平方向上所產(chǎn)生的位移；m3、m4為發(fā)生旋轉(zhuǎn)的變換量；m5為拍攝到的圖像與原有圖像相比，在垂直方向上所產(chǎn)生的位移；m6、m7為圖像在產(chǎn)生水平和垂直位移量后，由于拍攝的角度和光度發(fā)生變化而產(chǎn)生的形變量；x、y為參考圖像上的某點(diǎn)坐標(biāo)；x′、y′為經(jīng)過變換后的點(diǎn)坐標(biāo)。

經(jīng)過上述矩陣的計(jì)算之后，可以由原圖片的坐標(biāo)得到變換之后的坐標(biāo)[11-13]。完成坐標(biāo)計(jì)算之后，需要對(duì)圖像上的圖形進(jìn)行變換。在圖像配準(zhǔn)中經(jīng)常使用的變換形式主要有以下幾種(圖2)：

圖2 圖像變換形式

在上述變換形式的總結(jié)下，結(jié)合圖像變換矩陣和精細(xì)篩選過的匹配特征點(diǎn)[14-15]，以此來增強(qiáng)匹配點(diǎn)的配準(zhǔn)精確度。至此完成基于Cult3D的大壩工程施工圖像智能配準(zhǔn)方法的研究。

2 實(shí) 驗(yàn)

2.1 實(shí)驗(yàn)工程環(huán)境以及參數(shù)指標(biāo)選擇

為了驗(yàn)證本文設(shè)計(jì)的基于Cult 3D的大壩工程施工圖像智能配準(zhǔn)方法的配準(zhǔn)精度，需要設(shè)計(jì)實(shí)驗(yàn)進(jìn)行驗(yàn)證。在實(shí)驗(yàn)室中，選擇8 G運(yùn)行內(nèi)存、2 GHz主機(jī)處理器的參數(shù)處理PC機(jī)，在這樣的實(shí)驗(yàn)硬件環(huán)境下，對(duì)圖像智能配準(zhǔn)方法的性能進(jìn)行評(píng)價(jià)。為了使評(píng)價(jià)結(jié)果更加直觀，需要設(shè)置評(píng)價(jià)指標(biāo)將結(jié)果進(jìn)行量化。本文選擇的相關(guān)評(píng)價(jià)指標(biāo)主要包括特征點(diǎn)的重復(fù)度、配準(zhǔn)精度、配準(zhǔn)效率。對(duì)于特征點(diǎn)的重復(fù)度來說，計(jì)算公式如下：

(3)

式中：Nr為兩圖標(biāo)記出的特征點(diǎn)相同的數(shù)量；N1為參考圖像中標(biāo)記出的特征點(diǎn)總數(shù)；N2為待配準(zhǔn)圖像中標(biāo)記出的特征點(diǎn)總數(shù)。

當(dāng)特征點(diǎn)位置發(fā)生偏差時(shí)，在配準(zhǔn)后續(xù)處理過程中的影響不容忽視，因此計(jì)算特征點(diǎn)的重復(fù)度能夠評(píng)價(jià)配準(zhǔn)方法中特征點(diǎn)提取過程的性能優(yōu)劣，特征點(diǎn)重復(fù)度越高說明性能越好。對(duì)于圖像配準(zhǔn)精度來說，計(jì)算公式如下：

(4)

式中：RM為最終配準(zhǔn)結(jié)果得到的正確匹配點(diǎn)的對(duì)數(shù)；WM為配準(zhǔn)過程中剔除的錯(cuò)誤匹配點(diǎn)的對(duì)數(shù)。

配準(zhǔn)效率主要依靠配準(zhǔn)時(shí)間進(jìn)行計(jì)算，配準(zhǔn)運(yùn)行時(shí)間短，就說明配準(zhǔn)的效率高。

本文實(shí)驗(yàn)中使用的圖像為遙感圖像，其像素大小統(tǒng)一為500×500，主要來源于無人機(jī)以及衛(wèi)星等設(shè)備，拍攝距離較遠(yuǎn)，使得各個(gè)像素點(diǎn)都包含了較多的信息量。為了保證本文實(shí)驗(yàn)結(jié)果的精確度，設(shè)置了4組實(shí)驗(yàn)進(jìn)行兩種配準(zhǔn)方法的對(duì)比。其中一組的參考圖像以及待配準(zhǔn)圖像見圖3。

圖3 參考圖像以及待配準(zhǔn)圖像示意圖

使用本文方法對(duì)特征點(diǎn)進(jìn)行提取，結(jié)果見圖4。

圖4 圖像特征點(diǎn)提取示意圖

圖4中的特征點(diǎn)提取示意圖分別對(duì)應(yīng)了參考圖像以及待配準(zhǔn)圖像。為了體現(xiàn)出本文方法的性能優(yōu)越性，同時(shí)使用傳統(tǒng)方法進(jìn)行配準(zhǔn)，并對(duì)結(jié)果進(jìn)行對(duì)比和分析。

2.2 特征點(diǎn)的重復(fù)度實(shí)驗(yàn)結(jié)果對(duì)比

在相同的實(shí)驗(yàn)條件下，經(jīng)過兩種方法對(duì)4組圖像進(jìn)行配準(zhǔn)，過程中得到的特征點(diǎn)重復(fù)度見表1。

表1 特征點(diǎn)重復(fù)度對(duì)比

在兩種方法的配準(zhǔn)過程中，傳統(tǒng)的配準(zhǔn)方法會(huì)從兩幅圖像中提取出較多的特征點(diǎn)，雖然特征點(diǎn)的基數(shù)變大，但正確配準(zhǔn)的數(shù)量并沒有增加，因此重復(fù)度較低，這就為后續(xù)的配準(zhǔn)過程帶來一定的干擾，導(dǎo)致誤差增大。本文設(shè)計(jì)的配準(zhǔn)方法中的特征點(diǎn)數(shù)量雖然較少，但是正確匹配率較高，相對(duì)于傳統(tǒng)方法來說，能夠提高配準(zhǔn)精度。

2.3 配準(zhǔn)精度與效率結(jié)果對(duì)比與分析

在實(shí)驗(yàn)過程中，得到兩種方法下的配準(zhǔn)結(jié)果，見圖5。

從圖5可以看出，本文的配準(zhǔn)結(jié)果中，匹配的點(diǎn)比較均勻，且?guī)缀醪淮嬖谄ヅ溴e(cuò)誤的特征點(diǎn)。但是傳統(tǒng)方法中，在相似的區(qū)域中會(huì)存在大量相似點(diǎn)，對(duì)匹配造成干擾。統(tǒng)計(jì)實(shí)驗(yàn)中4組配準(zhǔn)結(jié)果見表2。

傳統(tǒng)的配準(zhǔn)結(jié)果匹配點(diǎn)錯(cuò)誤的數(shù)量比較多，因此需要對(duì)結(jié)果進(jìn)行提純，得到配準(zhǔn)精度。從表2的結(jié)果可以看出，本文方法的正確匹配點(diǎn)數(shù)、配準(zhǔn)精度以及配準(zhǔn)耗時(shí)的結(jié)果都優(yōu)于傳統(tǒng)方法，說明本文設(shè)計(jì)的基于Cult3D的大壩工程施工圖像智能配準(zhǔn)方法的性能與傳統(tǒng)方法相比，有一定的提高。

3 結(jié) 語

本文主要針對(duì)大壩工程施工圖像的智能配準(zhǔn)方法進(jìn)行研究。針對(duì)傳統(tǒng)配準(zhǔn)方法應(yīng)用在遙感圖像中性能的弊端，提出一種基于Cult3D的大壩工程施工圖像智能配準(zhǔn)方法。首先創(chuàng)建基于Cult3D的三維模型，方便施工參照；設(shè)計(jì)Cult3D建模開發(fā)流程，完成模型的交互和拼接，明確圖像中特征點(diǎn)標(biāo)記要求并進(jìn)行匹配；最后對(duì)圖像進(jìn)行變換，完成配準(zhǔn)。實(shí)驗(yàn)結(jié)果表明，所設(shè)計(jì)的圖像智能配準(zhǔn)方法性能與原有方法相比有一定提高。