雙目立體視覺的波浪表面重建

梁海香

(哈爾濱工程大學(xué) 電子信息與通信工程學(xué)院，黑龍江 哈爾濱 150001)

0 引言

隨著我國綜合實(shí)力的顯著提高，軍事實(shí)力的日益雄厚，對海洋資源的保護(hù)和利用成為了一個重要的發(fā)展戰(zhàn)略。因此，對于船舶的性能要求也越來越高。船舶在行進(jìn)過程中產(chǎn)生的興波阻力[1]影響著船舶的速度、性能，從而給海洋資源的開發(fā)、利用等造成阻礙。因此，為了測定興波阻力，需要對波浪進(jìn)行觀測。

真實(shí)場景的重建和仿真一直是計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)方面的研究重點(diǎn)，在之前的幾十年里，幾乎所有的技術(shù)都研究的是具有朗伯反射的不透明物體[2]，并在這個領(lǐng)域取得了極大的進(jìn)展。國外首次將攝影測量技術(shù)用于波浪的測量是在20世紀(jì)30年代。1954年，利用光學(xué)鄰域的光反射原理，將波浪的斜率和波浪表面的反射亮度相對應(yīng)[3]。1960年，證明了可以用立體照相的方法測量海洋長波的波面等高圖。1994年，Zhang等[4]將顏色編碼技術(shù)用于波浪的觀測，讓水面反射的顏色與水面每一點(diǎn)的斜率相互對應(yīng)，之后進(jìn)行彩色圖像的顏色識別完成觀測。2005年，Ihrke等[5]使用熒光物質(zhì)對水體染色，通過熒光的強(qiáng)度計(jì)算水體厚度，構(gòu)造出流體表面。2006年，Benetazzo[6]將拍攝的圖像應(yīng)用圖像分析技術(shù)得到水面的高度場，再用雙目立體攝影技術(shù)，由相重疊的圖像獲得表面信息。2009年，Wang等[7]實(shí)現(xiàn)對水進(jìn)行染色，并對液體表面投影特殊圖案，使用雙目相機(jī)進(jìn)行拍攝，計(jì)算獲得深度圖，并根據(jù)張力和速度場的約束進(jìn)行優(yōu)化，重建水面。2011年，Sagawa等[8]向染色后的水面投影特殊的圖案，根據(jù)圖像的形狀變化來恢復(fù)變化的水面。2017年，Quan等[9]用基于物理粒子的方法來重建水面，該方法通過淺水方程構(gòu)造線性幾何表面和非線性幾何表面約束，來重構(gòu)水面形態(tài)。

綜上所述，之前的研究方法存在2方面的問題。第1方面，試驗(yàn)方法簡便，但實(shí)驗(yàn)結(jié)果一般，水面波浪的高度的結(jié)果誤差較大；第2方面，實(shí)驗(yàn)設(shè)備采用精密的儀器，代價昂貴。因此，本文將雙目立體視覺技術(shù)應(yīng)用于波浪高度的測量；之后通過三維坐標(biāo)重建波浪表面，再由最小二乘法擬合出三維表面，實(shí)驗(yàn)設(shè)備便宜，并且實(shí)驗(yàn)結(jié)果誤差相對較小。

1 波浪表面特征提取

1.1 雙目相機(jī)標(biāo)定

采用張正友[10]平面標(biāo)定法來進(jìn)行雙目相機(jī)的標(biāo)定。雙目標(biāo)定不僅要得出2個相機(jī)的內(nèi)部參數(shù)，還要通過標(biāo)定來獲得2個相機(jī)之間的相對位置，即右相機(jī)相對于左相機(jī)的旋轉(zhuǎn)矩陣R和三維平移向量T。相機(jī)C1，C2與世界坐標(biāo)系外部參數(shù)為旋轉(zhuǎn)矩陣R1，R2，平移向量T1，T2；空間中的一點(diǎn)P在世界坐標(biāo)系、相機(jī)C1，C2坐標(biāo)系下的坐標(biāo)分別為XW，XC1，XC2；則2個相機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系可用R，T表示。假設(shè)同一空間點(diǎn)，其世界坐標(biāo)與左右2個相機(jī)坐標(biāo)系下的坐標(biāo)變換關(guān)系分別為：

XC1=R1XW+T1，

XC2=R2XW+T2。

(1)

最后化解可得：

(2)

1.2 水面圖像采集

為了采集水面的圖像，搭建了一套水面采集系統(tǒng)。該實(shí)驗(yàn)系統(tǒng)包括雙目相機(jī)、筆記本電腦和千兆路由器。相機(jī)采用的型號是GigE接口工業(yè)網(wǎng)絡(luò)MV-VEM200SC；筆記本電腦用的是Thinkpad T440，能夠保證運(yùn)算速度；雙目相機(jī)與電腦經(jīng)由千兆路由器相連。

由于水面是透明的，特征提取較為困難，需要對水進(jìn)行處理?；谙嚓P(guān)文獻(xiàn)，為了增加水面的特征，利用投影儀向水面投影網(wǎng)格圖像。在搭建好試驗(yàn)環(huán)境后，即可采集圖像，如圖1和圖2所示。

圖1 平靜水面圖像

圖2 波浪水面圖像

1.3 波浪表面特征提取

在采集了水面圖像之后，需要提取特征，采用的是SIFT特征提取算法，該算法實(shí)現(xiàn)了特征的尺度無關(guān)性，對提取到的角點(diǎn)生成描述子，這些生成的描述子將被用于后續(xù)的立體匹配算法中，以達(dá)到提高匹配的正確率。

1.3.1 尺度空間的極值檢測

提取尺度無關(guān)的特征點(diǎn)可以通過搜尋所有可能的尺度，這就要用到尺度空間理論。高斯函數(shù)是得到尺度空間唯一可用的核函數(shù)，將圖像I(x，y)的尺度定義為一個函數(shù)L(x，y，σ)，它由高斯函數(shù)G(x，y，σ)的圖像I(x，y)卷積得到：

L(x，y，σ)=G(x，y，σ)*I(x，y)。

(3)

為了在尺度空間中搜尋到較為穩(wěn)定的關(guān)鍵點(diǎn)的位置，可以將高斯差分函數(shù)與原始圖像進(jìn)行卷積，然后在得到的空間D(x，y，σ)中尋找極值點(diǎn)，

D(x，y，σ)=(G(x，y，kσ)-G(x，y，σ))*I(x，y)=

L(x，y，kσ)-L(x，y，σ)。

(4)

式中，相鄰2個尺度由一個常數(shù)k分開。

1.3.2 計(jì)算高斯差分圖像

為了得出尺度無關(guān)的特征點(diǎn)，首先計(jì)算出相鄰尺度之間圖像的差分，得到差分之后的圖像，并在該圖像空間中求極值點(diǎn)，采用金字塔用以計(jì)算高斯差分圖像。金字塔分為很多層，在第1層中，將原始圖像用高斯函數(shù)進(jìn)行卷積，得到一系列依次平滑的圖像。

1.3.3 計(jì)算極值點(diǎn)

之前的操作已經(jīng)得出了高斯差分圖像，接下來要計(jì)算極值點(diǎn)。在計(jì)算極值點(diǎn)時，高斯差分圖像中的像素點(diǎn)，要和它所在圖像的8領(lǐng)域像素相比較，而且要和上一層和下一層圖像鄰近的9個像素點(diǎn)比較。

1.3.4 選取關(guān)鍵點(diǎn)

對于任意一個尺度上取得的極值點(diǎn)，用一個三維的2次函數(shù)求得該極值點(diǎn)在原圖像上的位置[11]，然后去掉對比度較低的極值點(diǎn)。首先在某極值點(diǎn)A對D(x，y，σ)進(jìn)行泰勒展開：

(5)

式中，X=(x，y，σ)T是到點(diǎn)A的偏移量。對式(5)求X的偏導(dǎo)數(shù)，并令其偏導(dǎo)為零，得出

(6)

(7)

1.3.5 關(guān)鍵點(diǎn)方向確定

SIFT特征具有的重要特性是旋轉(zhuǎn)不變性，實(shí)現(xiàn)旋轉(zhuǎn)不變性采用的是“相對”的概念。先為關(guān)鍵點(diǎn)設(shè)定一個方向，而定義的關(guān)鍵點(diǎn)描述子是與這個方向相對的，因此可以得到匹配時圖像的旋轉(zhuǎn)無關(guān)性。為了實(shí)現(xiàn)尺度無關(guān)，根據(jù)關(guān)鍵點(diǎn)所在的尺度選擇與該尺度最相近的高斯平滑圖像L。對于L上的每個L(x，y)，計(jì)算梯度和方向：

(8)

(9)

1.3.6 局部描述子

之前已經(jīng)計(jì)算得出了關(guān)鍵點(diǎn)的圖像所在位置、尺度和方向，接下來根據(jù)關(guān)鍵點(diǎn)附近的特征計(jì)算特征描述子。這個描述子還應(yīng)對仿射變換、光照變換等特性具有魯棒性。計(jì)算描述子之前，要確定特征點(diǎn)及其鄰域的像素點(diǎn)的范圍，該圖像區(qū)域有一個確定的半徑，其計(jì)算公式為：

(10)

式中，σoct是角點(diǎn)所在的尺度的標(biāo)準(zhǔn)偏差；d=4。

在之前確定的范圍內(nèi)計(jì)算出每一個像素點(diǎn)所對應(yīng)的梯度和方向，接著對這些梯度的幅值高斯加權(quán)后生成梯度直方圖，即

(1-dc)×(1-do)，

(11)

式中，xk表示像素點(diǎn)與角點(diǎn)的列間距；yk表示像素點(diǎn)與角點(diǎn)的行間距；σw表示高斯加權(quán)函數(shù)的標(biāo)準(zhǔn)差。

對采集到的平靜水面和波浪水面圖像分別進(jìn)行特征提取，提取的結(jié)果如圖3和圖4所示。

圖3 平靜水面特征提取結(jié)果

圖4 波浪水面特征提取結(jié)果

2 立體匹配與三維重建

2.1 立體匹配

提取特征點(diǎn)后，可進(jìn)行立體匹配。采用SIFT立體匹配算法[12]，原理是計(jì)算2幅圖像上的特征點(diǎn)描述子間的歐氏距離[13-14]，取最臨近與次臨近的比值位于一個閾值范圍內(nèi)的特征描述符所對應(yīng)的特征點(diǎn)作為匹配點(diǎn)對[14]，再利用霍夫變換對同一個物體中的特征進(jìn)行聚類，去掉錯誤的匹配點(diǎn)對[15-17]。特征點(diǎn)在匹配時可以使用最近鄰的方法，而最近鄰定義為特征向量的歐氏距離[18]。在進(jìn)行大庫的匹配時，采用Best-Bin-First(BBF)算法，大大提高了運(yùn)行速度，而且以很大的幾率找到最近鄰[19]。

2.2 三維重建

在得出立體匹配對的特征點(diǎn)的二維坐標(biāo)后，可以通過雙目相機(jī)的內(nèi)外參數(shù)求得特征點(diǎn)的三維坐標(biāo)，由三維坐標(biāo)可以構(gòu)建物體的三維模型[20]。雙目相機(jī)的參數(shù)包括左右攝像頭各自的內(nèi)部參數(shù)Al，Ar，以及2個攝像頭之間的外部參數(shù)，旋轉(zhuǎn)矩陣R和平移向量T；而在內(nèi)部參數(shù)中分別包括了左圖像上的中心坐標(biāo)(u0l，v0l)和右圖像上的中心坐標(biāo)(u0r，v0r)。

假設(shè)三維空間點(diǎn)P的世界坐標(biāo)為(XW，YW，ZW)，點(diǎn)P在2個相機(jī)的成像平面上的像點(diǎn)分別為p1，p2，其像素坐標(biāo)分別為(ul，vl)，(ur，vr)，由第2節(jié)計(jì)算機(jī)圖像坐標(biāo)系到世界坐標(biāo)系的轉(zhuǎn)換關(guān)系可以求得三維空間點(diǎn)P的空間坐標(biāo)，由于世界坐標(biāo)系的原點(diǎn)為左相機(jī)的光心，因此在轉(zhuǎn)換為世界坐標(biāo)的過程中只需內(nèi)部參數(shù)即可，2個相機(jī)的轉(zhuǎn)換關(guān)系的方程分別為：

(12)

相機(jī)標(biāo)定可以得到左右攝像頭的內(nèi)部參數(shù)，其表達(dá)式為：

(13)

將式(12)化簡后，利用最小二乘法計(jì)算出三維點(diǎn)q(XW，YW，ZW)在世界坐標(biāo)系下的空間坐標(biāo)，其計(jì)算公式為：

(14)

3 實(shí)驗(yàn)結(jié)果與分析

相機(jī)拍攝完水面圖像后，利用SIFT算法進(jìn)行特征提取和立體匹配，SIFT立體匹配后的結(jié)果如圖5和圖6所示。從結(jié)果圖顯示，SIFT算法可以正確匹配較多的特征點(diǎn)。

圖5 平靜水面立體匹配結(jié)果

圖6 波浪水面立體匹配結(jié)果

之后將匹配特征點(diǎn)像素坐標(biāo)和雙目相機(jī)內(nèi)外參數(shù)作為輸入，利用三維重建算法，可以得出水面特征點(diǎn)的三維坐標(biāo)，將平靜水面的三維坐標(biāo)與波浪水面的三維坐標(biāo)進(jìn)行對比，能夠得出精確的浪高數(shù)據(jù)，利用Matlab繪制浪高等高線圖，如圖7所示；將三維坐標(biāo)數(shù)據(jù)通過最小二乘法擬合為三維曲面，得到波浪表面的可視化模型，如圖8所示。

圖7 以平靜水面為基準(zhǔn)的波浪等高線圖

圖8 波浪水面重建的三維模型

從圖7可以看出，波浪的高度相對于平靜水面的變化是幾毫米的微小波動。此方法較為精確地測量出波浪高度和重建水面模型，實(shí)驗(yàn)設(shè)計(jì)簡單，結(jié)果相對較好。從圖8可以直觀看出波形結(jié)構(gòu)，與實(shí)際的波形結(jié)構(gòu)相同。測量平靜水面高度約52 mm，將水波紋的高度減去平靜水面的高度，可以更加直觀地看出相對于平靜水面的波浪的高度變化。

4 結(jié)束語

將雙目立體視覺用于三維重建的方法，以雙目相機(jī)拍攝的水面圖像作為輸入，利用SIFT算法進(jìn)行特征提取與立體匹配；由于視角、光照、系統(tǒng)誤差等采集的左右圖像存在著灰度差異以及仿射變化等[21]，同時水介質(zhì)的透光、反光等也加大了左右波浪圖像的差異[22]，造成水波浪圖像的匹配結(jié)果很不理想，給雙目測量應(yīng)用于波浪測量方向帶來困難。以雙目攝影波浪測量為背景，研究特征提取與匹配算法，并采用改進(jìn)的特征提取與匹配算法處理采集的波浪圖像，最終繪制等高線，得到波浪的波形、浪高信息。不過當(dāng)前的系統(tǒng)只能用于水域較小的環(huán)境，之后的研究方向?qū)⒅塾谟酶鼮橄冗M(jìn)的設(shè)備實(shí)現(xiàn)較為廣闊水面的觀測。