語義增強(qiáng)的多視立體視覺方法

韓 燮,王若藍(lán),趙 融

(1.中北大學(xué) 大數(shù)據(jù)學(xué)院,山西 太原 030051;2.山西省視覺信息處理及智能機(jī)器人工程研究中心,山西 太原 030051;3.機(jī)器視覺與虛擬現(xiàn)實山西省重點實驗室,山西 太原 030051)

0 引 言

計算機(jī)視覺領(lǐng)域的三維重建技術(shù)[1-2]已經(jīng)應(yīng)用于生活中的各個領(lǐng)域,如自動駕駛、文物修復(fù)、虛擬現(xiàn)實、智能家居等。多視立體視覺(Multi-Vision Stereo,MVS)[3]方法作為三維重建技術(shù)中的一種,使用人工設(shè)計的特征計算立體匹配的代價,聚合代價并進(jìn)行視差計算和優(yōu)化,得到像素的深度值,實現(xiàn)場景的三維重建,是計算機(jī)視覺領(lǐng)域中的經(jīng)典方法。

傳統(tǒng)的MVS方法主要分為四類,分別是基于點云擴(kuò)散的MVS方法[4-5]、曲面演化的MVS方法[6]、基于體素的MVS方法[7-8]和基于深度圖的MVS方法[9-10]。

基于點云的MVS方法是將初始的點云生成面片,并對面片迭代地傳播以進(jìn)行三維重建,難以并行化操作;曲面演化的MVS方法需要對待恢復(fù)場景的表面進(jìn)行猜測,并根據(jù)多視圖之間的光度一致性進(jìn)行迭代重建表面,易出現(xiàn)離散型錯誤;基于體素的MVS方法將場景空間表示為3D體素,通過標(biāo)記場景表面的體素以實現(xiàn)重建,占用內(nèi)存較大,不適用于大場景空間的重建任務(wù);基于深度圖的方法將三維重建分解為多個根據(jù)立體圖像對進(jìn)行單深度圖估計的小任務(wù),快速靈活并且占用內(nèi)存較小,適用于海量圖像的大場景重建任務(wù)。目前很多優(yōu)秀的MVS方法都是基于深度圖的MVS方法。

隨著深度學(xué)習(xí)技術(shù)在計算機(jī)視覺領(lǐng)域中的快速發(fā)展,將深度學(xué)習(xí)技術(shù)與多視立體視覺方法結(jié)合以提高重建效果也成為一種趨勢。深度學(xué)習(xí)技術(shù)中的卷積神經(jīng)網(wǎng)絡(luò)[11](Convolutional Neural Networks,CNN)能夠從圖像中抽取高層語義特征,通過學(xué)習(xí)并利用場景全局語義信息,獲得更穩(wěn)健的匹配和實現(xiàn)更完整的重建。卷積神經(jīng)網(wǎng)絡(luò)在許多基于深度學(xué)習(xí)技術(shù)的MVS方法中展現(xiàn)出了很大的優(yōu)勢。PVAMVSNet(Pyramid Multi-view Stereo Net with Self-adaptive View Aggregation)方法[12]提出了一種有效且高效的多視圖立體網(wǎng)絡(luò),使用基于2D全連接卷積神經(jīng)網(wǎng)絡(luò)的UNet網(wǎng)絡(luò)進(jìn)行特征提取,并在自適應(yīng)視圖聚合網(wǎng)絡(luò)的基礎(chǔ)上,配合多尺度圖像的輸入進(jìn)行準(zhǔn)確和完整的三維重建。TransMVSNet方法[13]對特征提取步驟進(jìn)行研究,提出了一個基于2D CNN的特征匹配轉(zhuǎn)換器,利用注意力聚合圖像內(nèi)和圖像之間的遠(yuǎn)程上下文信息,改善了三維重建的效果。CasMVSNet[14](Cascade Cost Volume for High-resolution Multi-view Stereo)在圖像的特征提取階段,使用特征金字塔網(wǎng)絡(luò)進(jìn)行圖像特征的提取,在提取圖像的高級特征的同時,融合了多種不同尺度下的信息,有利于深度值的準(zhǔn)確預(yù)測。目前,雖然基于深度學(xué)習(xí)的MVS方法利用卷積神經(jīng)網(wǎng)絡(luò)大大提高了重建效果,取得了巨大的成功,但仍有一定的問題。在卷積神經(jīng)網(wǎng)絡(luò)中,不同層次產(chǎn)生的特征圖的語義特征具有巨大差異。淺層的特征圖語義信息較少,但細(xì)節(jié)特征較多,目標(biāo)位置準(zhǔn)確;深層的特征圖語義信息豐富,但目標(biāo)位置模糊。上述基于深度學(xué)習(xí)的MVS方法使用卷積神經(jīng)網(wǎng)絡(luò)提取的包含高級語義特征但缺乏低級更精細(xì)表示的特征圖構(gòu)建成本體,忽視了深層特征圖的語義信息缺陷,導(dǎo)致在弱紋理區(qū)域的重建效果較差。

針對上述問題,該文提出使用基于卷積層的長短期記憶神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)代替普通的CNN提取圖像特征,這有助于在空間上層層抽取圖像的高級特征時,利用長短期記憶神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的記憶功能來增強(qiáng)高層特征圖中的低級語義信息,彌補(bǔ)了單純CNN提取的特征圖中低級特征缺失,提高了精細(xì)特征的表達(dá),提升了弱紋理區(qū)域的重建效果。

與此同時,許多基于深度學(xué)習(xí)的主流MVS方法也致力于研究如何讓匹配代價或者深度圖預(yù)測更加精確[15-18]。其中,2019年Luo等人[16]設(shè)計了匹配置信度模塊,先學(xué)習(xí)聚合提取的圖像特征的像素級對應(yīng)信息,再通過匹配置信度模塊對不同采樣平面匹配置信度進(jìn)行聚合,該模塊可以有效地抑制數(shù)據(jù)的噪聲部分。Fast-MVSNet方法[17]在局部區(qū)域中利用CNN編碼像素之間的深度相關(guān)性,產(chǎn)生密集的高分辨深度,并利用高斯牛頓層(Gaussian Newton)對深度進(jìn)行持續(xù)優(yōu)化。Luo等人又提出了AttMVS(Attention-Aware Deep Neural Network)方法[18],設(shè)計了一種新的注意增強(qiáng)匹配置信度模塊,在一般由圖像特征得到的像素級匹配置信度的基礎(chǔ)上加入了局部區(qū)域的上下文信息,逐層次聚合并正則化為概率體,增強(qiáng)了匹配置信度。在上述研究的基礎(chǔ)上,該文提出可見性網(wǎng)絡(luò)與紋理特征提取,通過提取紋理特征增加紋理信息,并將源圖像與參考圖像轉(zhuǎn)換為灰度圖,消除顏色對光照變化的敏感,然后使用CNN計算相似度之后歸一化,通過可見度值區(qū)別可見區(qū)域與不可見區(qū)域,并作用在特征提取網(wǎng)絡(luò)中,增強(qiáng)可見區(qū)域的特征,提高3D重建的魯棒性和完整性。

綜上所述,該文在VA-MVSNet方法的基礎(chǔ)上進(jìn)行改進(jìn),主要貢獻(xiàn)體現(xiàn)在以下三個方面：

(1)提出了一種使用ConvLSTM網(wǎng)絡(luò)的新型特征提取網(wǎng)絡(luò)。在對圖像進(jìn)行特征提取的同時,通過使用每層的特征圖來預(yù)測最終的特征圖,在深層的特征圖語義中豐富缺失的淺層的語義信息,進(jìn)行穩(wěn)健的全局語義信息聚合。

(2)提出了一種可見性網(wǎng)絡(luò),首先進(jìn)行灰度圖像的提取,排除光照變化的影響,其次突出可見區(qū)域的特征,并指導(dǎo)特征圖的生成,加深了可見區(qū)域在特征圖中的影響,有助于提高三維重建效果。

(3)對圖像進(jìn)行紋理特征的提取,增加紋理特征的影響,提升目標(biāo)場景的三維結(jié)構(gòu)的重建效果。

1 網(wǎng)絡(luò)架構(gòu)

文中方法的整體網(wǎng)絡(luò)架構(gòu)如圖1所示。假設(shè)圖像大小為(H×W×3),深度假設(shè)的范圍為D,方法的輸入由1個參考圖像和N-1個源圖像構(gòu)成。該方法在VA-MVSNet方法的基礎(chǔ)上主要通過ConvLSTM語義聚合網(wǎng)絡(luò)、可見性網(wǎng)絡(luò)和紋理特征提取模塊進(jìn)行語義特征的提取和增強(qiáng),之后通過可微單應(yīng)性變換扭曲到參考圖像的相機(jī)視錐內(nèi)建立3D特征體(H×W×D×C),之后使用VA-MVSNet方法的自適應(yīng)視圖聚合方法得到代價體,最后使用3D正則化網(wǎng)絡(luò)進(jìn)行深度圖的預(yù)測。

圖1 網(wǎng)絡(luò)架構(gòu)

該方法主要通過在特征提取階段利用語義增強(qiáng)的思想進(jìn)行改進(jìn),即特征提取時的ConvLSTM語義聚合網(wǎng)絡(luò)(第1.1節(jié))、可見性網(wǎng)絡(luò)(第1.2節(jié))、紋理特征提取模塊(第1.3節(jié)),以增強(qiáng)特征圖中的語義信息,提升三維結(jié)構(gòu)的重建效果。

1.1 ConvLSTM語義聚合網(wǎng)絡(luò)

在基于深度學(xué)習(xí)的多視圖立體重建方法中,特征提取網(wǎng)絡(luò)通常由深層卷積神經(jīng)網(wǎng)絡(luò)組成,以提取更抽象的高層語義特征。雖然這些特征更高級、更抽象,但缺少了低層語義信息所具備的優(yōu)勢,過分強(qiáng)調(diào)高層特征會影響到細(xì)節(jié)語義信息的提取和準(zhǔn)確位置的獲取,不利于提升整體三維重建效果。ConvLSTM是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò),可以記憶很久之前的信息,捕捉和學(xué)習(xí)長期依賴關(guān)系,并提取空間特征,非常適合于處理和預(yù)測具有長時間間隔和延遲的卷積神經(jīng)網(wǎng)絡(luò)之間的圖像[19]。

因此,該文提出了一個基于ConvLSTM的語義聚合網(wǎng)絡(luò)。該網(wǎng)絡(luò)利用ConvLSTM的記憶功能和空間相關(guān)性提取功能,將高層語義和低層語義聚合,生成特征圖。這樣生成的特征圖,除了具備更高層次的語義信息之外,還具備更低層次的語義信息,避免了普通多層卷積神經(jīng)網(wǎng)絡(luò)的缺點,從而提高了整體場景空間的重建效果。ConvLSTM的內(nèi)部運行過程如圖2所示。

圖2 ConvLSTM內(nèi)部運行圖

該方法利用ConvLSTM的優(yōu)勢通過疊加多個ConvLSTM層設(shè)計了基于ConvLSTM語義在每個時間步上產(chǎn)生的隱藏狀態(tài),可以在這些隱藏狀態(tài)上應(yīng)用一個卷積層來提取中級特征,然后將這些特征輸入到后續(xù)的層中進(jìn)行處理,進(jìn)而增加底層語義信息的權(quán)重,如圖3所示。

圖3 ConvLSTM語義聚合網(wǎng)絡(luò)圖

1.2 可見性網(wǎng)絡(luò)結(jié)構(gòu)

圖像內(nèi)容隨著不同視角的變化而有所不同。不同視角可能會產(chǎn)生遮擋,這可能會大大減少圖像中的有用信息,進(jìn)而影響良好的三維重建效果。此外,顏色對光照變化的敏感性也增加了三維重建的難度。為了克服這些問題,該文提出一種使用灰度圖像以及卷積神經(jīng)網(wǎng)絡(luò)來表達(dá)可見性的方法,這有助于增強(qiáng)可見區(qū)域的判別特征,并抑制不可見區(qū)域的影響,從而提高三維重建的效果,如圖4所示。

圖4 可見性網(wǎng)絡(luò)結(jié)構(gòu)

卷積層的輸出特征圖的通道數(shù)對模型的性能和效果有著重要的影響。首先,較大的輸出通道數(shù)可以增加卷積層的自由度,從而使得模型能夠?qū)W習(xí)到更多、更復(fù)雜的特征,這樣可以提高模型的判別性和泛化能力,使得模型更加適用于復(fù)雜的任務(wù)。其次,卷積核的輸出通道數(shù)也可以控制特征圖的維度和質(zhì)量。具體來說,較大的輸出通道數(shù)可以使得特征圖的維度更高,包含更多的特征信息,從而提高模型的表達(dá)能力,同時,增加輸出通道數(shù)還可以降低特征圖中的噪聲和冗余信息,使得特征圖的質(zhì)量更高,進(jìn)而提高模型的準(zhǔn)確率和魯棒性,與此同時,使用權(quán)值共享的方式,即對輸入數(shù)據(jù)中的不同位置使用相同的卷積核,從而可以使模型具有平移不變性,能夠識別輸入數(shù)據(jù)中的不同位置的相同特征。

圖5展示了一個3通道的數(shù)據(jù)經(jīng)過一個大小為3的卷積核作用的過程。

圖5 卷積計算過程

因此,該方法使用PIL庫內(nèi)的函數(shù)對RGB圖像進(jìn)行灰度的轉(zhuǎn)換之后,使用了5層卷積網(wǎng)絡(luò)進(jìn)行提取,通道數(shù)逐漸疊加,卷積核使用(3,1,1)的卷積核,然后經(jīng)過激活函數(shù)形成可見性度量值并與ConvLSTM語義聚合網(wǎng)絡(luò)提取的低級特征相乘,繼續(xù)進(jìn)行網(wǎng)絡(luò)中高級特征的提取。

1.3 紋理特征提取

在特征抽取過程中,該文采用經(jīng)典的局部二值化模型(Local Binary Pattern,LBP)抽取圖像中的紋理特征,以改善紋理區(qū)域的重構(gòu)結(jié)果,體現(xiàn)圖像中每個像素與局部區(qū)域內(nèi)像素之間的關(guān)系。LBP算法可以使用不同的鄰域半徑和鄰域像素數(shù)量來生成不同尺度的紋理特征。一般來說,LBP算法會計算每個像素的LBP值,并將其與周圍像素的LBP值進(jìn)行比較,從而得到該像素的紋理特征向量。在實際應(yīng)用中,可以使用LBP算法提取圖像的紋理特征,并將其作為分類器的輸入,從而實現(xiàn)圖像分類和識別等任務(wù)。

該方法使用圓形范圍半徑為1的LBP算子對輸入圖像進(jìn)行紋理特征的提取,并設(shè)置領(lǐng)域像素點的數(shù)量為8,LBP算子如圖6所示。

圖6 LBP(8,1)算子

該方法將彩色的三維圖像(H×W×3)轉(zhuǎn)成灰度圖像,并對灰度圖像進(jìn)行LBP算子運算,得到對應(yīng)的LBP特征圖,部分LBP特征圖如圖7所示,然后將LBP特征圖與輸入圖像在通道方向上進(jìn)行拼接,作為ConvLSTM語義聚合網(wǎng)絡(luò)的輸入(H×W×4)。

圖7 LBP特征圖示例

2 實驗結(jié)果與分析

該方法在DTU[20]數(shù)據(jù)集上訓(xùn)練,按照一般的做法,在訓(xùn)練時,將所輸入圖像的尺寸設(shè)定為W×H=640×512,并且設(shè)置輸入圖像的數(shù)量為5。深度假設(shè)的范圍是425 mm至935 mm,從這個范圍內(nèi)采樣假定的深度值,深度平面的數(shù)量是192,當(dāng)前的網(wǎng)絡(luò)是在PyTorch上實現(xiàn)的,并且利用Adam進(jìn)行16個epoch的端到端的訓(xùn)練,初始的學(xué)習(xí)速率是0.001,每個epoch衰減是0.9。批量長度設(shè)為4。對于測試,該方法在原始輸入圖像分辨率為1 600×1 184的DTU數(shù)據(jù)集上評估,使用7個圖像視圖,D=192進(jìn)行深度平面掃描,并使用MVSNet方法中使用的訓(xùn)練損失,如式1所示。對于Tanks and Temples數(shù)據(jù)集[21],輸入圖像的分辨率設(shè)置為1 920×1 056。

(1)

其中,D(p)表示預(yù)測深度圖,DGT(p)表示真值深度圖。

2.1 實驗環(huán)境

該方法的研究與實驗均在Linux環(huán)境下進(jìn)行,操作系統(tǒng)是Ubuntu 20.04,使用2塊NVIDIA RTX TITAN的GPU卡進(jìn)行實驗,具體信息如表1所示。

表1 實驗環(huán)境信息

2.2 數(shù)據(jù)集

DTU數(shù)據(jù)集是一個大規(guī)模的MVS數(shù)據(jù)集,包括49或64個視角,并且提供了真實點云和深度圖,可以將通過實驗得到的預(yù)測值與其進(jìn)行比較。每個視角由一幅圖像和對應(yīng)的相機(jī)參數(shù)組成,圖像的原始尺寸為1 600×1 200像素,包含8位RGB顏色。124個場景中包含80個測試場景。其中,59個場景包含49個攝像機(jī)位置,21個場景包含64個攝像機(jī)位置。

為了提升MVS方法在大規(guī)模場景重建中的泛化能力,Arno Knapitsch等人提供了Tanks and Temples數(shù)據(jù)集。該數(shù)據(jù)集基準(zhǔn)更大,更多樣化,包括完整的大型室外結(jié)構(gòu)以及復(fù)雜的室內(nèi)環(huán)境。這個數(shù)據(jù)集包括兩組不同的場景：中等和高級。中等組包括各種建筑,如雕像、大型車輛和房屋,鏡頭路徑從外向內(nèi)。該方法選擇中等組場景進(jìn)行泛化實驗。

2.3 評價指標(biāo)

點云的準(zhǔn)確度、完整度、F-Score等是評價三維重構(gòu)算法性能的重要指標(biāo)。在不同的算法或數(shù)據(jù)集下,點云準(zhǔn)確度和完整度的度量并不完全一致,F-Score的計算方法也不完全一樣。

(1)準(zhǔn)確度(Accuracy)。

假設(shè)G為真實點云集,R為預(yù)測點云集,對于一個預(yù)測點云r∈R,當(dāng)滿足式2的條件時,對預(yù)測點云中的任何點,將被視為與重構(gòu)點云中的點相匹配的很好：

(2)

其中,λ是與場景有關(guān)的被指派給該數(shù)據(jù)組的參數(shù)。將較大的場景設(shè)定為較大的數(shù)值。在DTU數(shù)據(jù)集,其準(zhǔn)確度并非以百分?jǐn)?shù)來度量,而以絕對平均數(shù)來度量。平均絕對值愈小,準(zhǔn)確度愈小時,則表示該方法的精度愈高,如式3所示。

(3)

(2)完整度(Completeness)。

完整度是指真實點云在重建后的點云中可以匹配的像素點百分比的度量。同準(zhǔn)確度一樣,對于一個真實點云r∈R,就會認(rèn)為對于重建后的點云,該點具有良好的匹配性,如式4所示。

(4)

其中,λ是由數(shù)據(jù)集分配的與場景相關(guān)的參數(shù)。對于比較大的場景設(shè)置為較大的值。距離的定義與倒角距離定義相同,在DTU數(shù)據(jù)集中,完整度是指真實點云與預(yù)測點云之間的相對距離,平均絕對距離越小,認(rèn)為其準(zhǔn)確度越優(yōu)秀,如式5所示。

(5)

(3)F-score。

F-score是衡量多視立體視覺方法性能的重要指標(biāo),是對準(zhǔn)確度與完整度的調(diào)和平均值。在DTU數(shù)據(jù)集中,F-score設(shè)置為完整度與準(zhǔn)確度兩者的平均數(shù),稱作平均值;在Tanks and Temples數(shù)據(jù)集中,F-score設(shè)置為真實點云G與預(yù)測點云R之間的差異百分比與預(yù)測點云R與實際點云G之間的差異百分比的調(diào)和平均值,值越高,表明該方法的性能越優(yōu)秀。

對于一個預(yù)測點云r∈R,它到真實點云的距離定義如式6所示,則設(shè)預(yù)測點云R與實際點云G之間的差異小于某一特定閾值d的比例為P(d),如式7所示。

(6)

(7)

同樣,對于一個真實點云g∈G,它到預(yù)測點云的距離定義如式8所示,則真實點云G與預(yù)測點云之間差異程度的指標(biāo)可以用式9所示。

(8)

(9)

則F-score的計算公式如式10所示。

(10)

2.4 結(jié)果分析

該方法在DTU數(shù)據(jù)集的定量結(jié)果如表2所示,定性結(jié)果如圖8、圖9所示。

表2 DTU數(shù)據(jù)集指標(biāo)結(jié)果對比

圖8 點云結(jié)果對比

圖9 局限性展示

由表2可知,該方法在完整度上面表現(xiàn)不錯,比VA-MVSNet方法提高了0.038,同時實現(xiàn)了具有競爭力的整體性能,但通過與一些經(jīng)典的方法以及先進(jìn)方法的比較,還有所差距,與基礎(chǔ)網(wǎng)絡(luò)性能以及所用方法有關(guān),還需進(jìn)一步改善與提高。

除了在重建的三維點云模型上的定量比較,圖8、圖9展示了文中方法與其他先進(jìn)方法的定性比較。

得益于集成了高層語義特征信息和低層語義特征信息以及多尺度特征信息的ConvLSTM語義聚合網(wǎng)絡(luò),該方法能夠為弱紋理區(qū)域估計更完整和更精細(xì)的空間表面。由圖8可看出,該方法在精細(xì)結(jié)構(gòu)處的重建效果更好,驗證了該方法的有效性,但是由圖9也可以看出,該方法也具有一定的局限性,重建的精準(zhǔn)度不足,重建場景模糊。

與此同時,該文使用在DTU數(shù)據(jù)集上訓(xùn)練好的參數(shù)模型在Tanks and Temples數(shù)據(jù)集的中級數(shù)據(jù)集上進(jìn)行泛化能力的驗證。由表3的數(shù)據(jù)對比可以看出,該方法在一些場景如Family,Francis,Light-house,Panther上的重建結(jié)果較好,具有一定的泛化能力,在其他場景泛化能力不足,可以分析得到其他方法如PVA-MVSNet方法結(jié)合多尺度信息進(jìn)行三維重建是有可取之處的。

表3 Tanks and Temples數(shù)據(jù)集指標(biāo)結(jié)果對比

除此之外,在本節(jié)中,進(jìn)行消融實驗來定量分析該方法中關(guān)鍵組件的優(yōu)勢和有效性。對于以下所有研究,均在DTU數(shù)據(jù)集上進(jìn)行實驗和評估,并使用準(zhǔn)確性和完整性衡量重建質(zhì)量。

本節(jié)比較了ConvLSTM語義聚合網(wǎng)絡(luò)、可見性網(wǎng)絡(luò)以及紋理特征提取的有效性。定量結(jié)果如表4所示。由表4可知,ConvLSTM語義聚合網(wǎng)絡(luò)、可見性網(wǎng)絡(luò)都可以顯著提高重建標(biāo)準(zhǔn)的結(jié)果,并且互補(bǔ),以取得最佳效果。

表4 不同組件的消融實驗在DTU數(shù)據(jù)集的結(jié)果

3 結(jié)束語

該文提出了一種具有語義增強(qiáng)功能的多視立體視覺方法。該方法通過使用ConvLSTM語義聚合網(wǎng)絡(luò)增強(qiáng)高層特征圖中的低層語義信息,增強(qiáng)了細(xì)節(jié)語義特征以及多尺度語義信息,利于弱紋理區(qū)域的重建,同時通過紋理特征提取模塊提取圖像的紋理特征,加深了紋理語義信息在高層特征圖的影響,提升了三維重建的整體效果,有效地提高了低紋理表面的性能,這兩個模塊是輕量級、有效和互補(bǔ)的。除此之外,提出了一種可見性網(wǎng)絡(luò),一定程度上排除了光照變化的影響,突出了可見區(qū)域的特征,加深了可見區(qū)域在特征圖中的影響,有助于提高三維重建效果。在DTU數(shù)據(jù)集和Tanks and Temples數(shù)據(jù)集上的實驗,證實了該方法的合理性和有效性。

后續(xù)的工作將考慮不同層次的語義特征與匹配成本體之間的關(guān)系,進(jìn)一步研究不同語義特征對于匹配代價的影響,以更準(zhǔn)確地進(jìn)行代價匹配。