改進(jìn)的神經(jīng)渲染方法在建筑施工場(chǎng)景中的應(yīng)用

張?jiān)诔?，?健

（陜西科技大學(xué)電子信息與人工智能學(xué)院，陜西 西安 710021）

0 引 言

通過快速且準(zhǔn)確地構(gòu)建模型來記錄真實(shí)世界中地形和建筑施工場(chǎng)景是目前計(jì)算機(jī)視覺領(lǐng)域中的熱點(diǎn)問題。建筑施工中的3D技術(shù)是借助計(jì)算機(jī)系統(tǒng)構(gòu)建出建筑施工的物理模型，使用神經(jīng)渲染技術(shù)對(duì)場(chǎng)景展示可以實(shí)現(xiàn)對(duì)建筑施工模型和計(jì)算機(jī)模型的交互。

傳統(tǒng)的3D建模技術(shù)中存在細(xì)膩度低和計(jì)算量大的問題，神經(jīng)渲染是一種深度圖像或視頻生成方法［1］，能顯式或隱式地控制場(chǎng)景屬性（如照明、幾何體、外觀等），更高效地完成對(duì)施工場(chǎng)景的數(shù)字化展示。早期的方法一般使用“拼圖”［2］的方法實(shí)現(xiàn)視覺的合成，但是合成的范圍十分有限。為了獲得更多角度的顏色值，Niemeyer 等人［3］通過一種占位方式來表示三維建模中的幾何構(gòu)造，并采用數(shù)值的方式找出模型中表面結(jié)構(gòu)與各條光線之間的交集，從而得到神經(jīng)網(wǎng)絡(luò)的輸入。Sitzmann 等人［4］在接下來的任務(wù)中，通過檢測(cè)每個(gè)坐標(biāo)在三維空間中所對(duì)應(yīng)的顏色和特征向量，并引入一個(gè)可微函數(shù)來判斷物體表面的情況，雖然這種方法是由循環(huán)神經(jīng)網(wǎng)絡(luò)所構(gòu)成的。但是，以上方法僅僅解決了空間上難度相當(dāng)小的三維空間幾何構(gòu)造，而且所繪制的結(jié)果也過于平滑。

針對(duì)上述問題，Mildenhall 等人［5］提出的神經(jīng)輻射場(chǎng)（NeRF）利用輸入圖像作為信息進(jìn)行監(jiān)督，為三維空間中的復(fù)雜幾何結(jié)構(gòu)擬合出準(zhǔn)確的隱式函數(shù)［6］，從而對(duì)場(chǎng)景中不同角度的視覺進(jìn)行合成。NeRF在神經(jīng)網(wǎng)絡(luò)的權(quán)值內(nèi)編碼表示場(chǎng)景，將3D 位置和觀看方向映射到神經(jīng)輻射場(chǎng)，改進(jìn)了之前的離散體素網(wǎng)格方法，能夠渲染具有復(fù)雜幾何結(jié)構(gòu)場(chǎng)景的新穎場(chǎng)景視圖。在室內(nèi)場(chǎng)景中，相較于早期的方法能呈現(xiàn)更多角度的合成效果，并且能夠解決更復(fù)雜的幾何結(jié)構(gòu)的渲染。

在室內(nèi)光線條件較好的環(huán)境中神經(jīng)輻射場(chǎng)渲染具有很好的效果，然而在室外光線復(fù)雜的環(huán)境中進(jìn)行渲染時(shí)，會(huì)存在光線難以捕捉等問題，因此神經(jīng)輻射場(chǎng)不能滿足室外施工環(huán)境的視覺合成應(yīng)用。針對(duì)以上問題，Martin-Brualla 等人［7］提出了NeRF-W 的方法，提出了一種外觀編碼器，將輸入圖像和輸入圖像的深度緩沖區(qū)作為輸入，該外觀編碼器能觀察輸入，并將輸入圖像中的光照和場(chǎng)景的幾何體關(guān)聯(lián)來學(xué)習(xí)更復(fù)雜的幾何外觀提高視覺合成效果。但此方法把場(chǎng)景視為一個(gè)整體。針對(duì)室外環(huán)境因背景范圍太大而導(dǎo)致視覺合成時(shí)出現(xiàn)偽影等問題，Zhang 等人［8］通過將場(chǎng)景分為背景和前景來進(jìn)行渲染，解決了范圍對(duì)視覺合成的影響，但此方法沒有很好考慮室外光照對(duì)視覺合成的影響。

針對(duì)在室外施工場(chǎng)景進(jìn)行視覺合成時(shí)，會(huì)因?yàn)槭彝鈭?chǎng)景的光照難以捕捉、施工場(chǎng)景的背景和前景差異太大，導(dǎo)致視覺合成效果不足等問題，本文使用一種預(yù)訓(xùn)練的外觀編碼器加入渲染網(wǎng)絡(luò)中，并在渲染時(shí)將場(chǎng)景分離為前景和背景。該方法能夠?qū)崿F(xiàn)復(fù)雜、多對(duì)象的場(chǎng)景表示，同時(shí)能夠解決室外光照和范圍的影響，實(shí)現(xiàn)室外施工場(chǎng)景的視覺合成。本文的主要工作如下：

1）通過輸入的室外施工場(chǎng)景圖像對(duì)整個(gè)場(chǎng)景進(jìn)行表示，實(shí)現(xiàn)從各個(gè)視角的神經(jīng)渲染。

2）在渲染網(wǎng)絡(luò)中加入預(yù)訓(xùn)練的外觀編碼器，降低室外光照影響，提高室外施工場(chǎng)景的視覺合成效果。

3）通過把施工場(chǎng)景的前景和背景分開渲染來減少施工場(chǎng)景范圍對(duì)神經(jīng)渲染的影響。

1 相關(guān)工作

1.1 場(chǎng)景表示

視圖合成任務(wù)是使用對(duì)象或場(chǎng)景的觀察圖像從新的角度渲染出逼真的圖像，圖形學(xué)和計(jì)算機(jī)視覺領(lǐng)域先前的工作通過使用計(jì)算機(jī)圖形的傳統(tǒng)3D 的表示，這些表示適合高效渲染。對(duì)于密集采樣的場(chǎng)景，利用光線渲染技術(shù)［9］采樣光線之間插值來高效地渲染新視圖。稀疏圖像采樣進(jìn)行渲染時(shí)通常會(huì)重建場(chǎng)景的顯式3D 表示。基于體素［10］的表示方式可以通過標(biāo)準(zhǔn)的深度學(xué)習(xí)體系結(jié)構(gòu)進(jìn)行處理，但即使在稀疏數(shù)據(jù)結(jié)構(gòu)上操作，體素的分辨率也相對(duì)較小?；邳c(diǎn)云［11］的表示方式內(nèi)存效率更高，但由于缺少連接信息，它們需要密集的后處理?；诰W(wǎng)格［12］的表示方式不執(zhí)行后處理，但通常需要可變形模板網(wǎng)格，將幾何體表示為三維面片的集合，從而產(chǎn)生自相交集?；谏窠?jīng)網(wǎng)絡(luò)編碼的隱式表示［13］方式具有連續(xù)性和高空間分辨率，可以隱式地描述幾何體紋理，并且不會(huì)離散化空間，因此具有更好的渲染效果。針對(duì)目前缺少對(duì)室外施工場(chǎng)景的表示，本文主要通過隱式表示方式對(duì)室外施工場(chǎng)景進(jìn)行建模，從而實(shí)現(xiàn)新穎視角的視覺合成。

1.2 場(chǎng)景重建

恢復(fù)圖像捕捉過程中丟失的三維信息是計(jì)算機(jī)視覺的長(zhǎng)期目標(biāo)之一［14］，傳統(tǒng)的場(chǎng)景重建方法首先使用運(yùn)動(dòng)中的大規(guī)模結(jié)構(gòu)生成稀疏重建，然后執(zhí)行多視圖立體（MVS）［15］或變分優(yōu)化來重建稠密場(chǎng)景模型。然而，該方法僅假設(shè)單一的外觀，或者簡(jiǎn)單地恢復(fù)場(chǎng)景的平均外觀。

最近，Hedman 等人［16］引入了一種神經(jīng)網(wǎng)絡(luò)，用于計(jì)算與視圖相關(guān)的紋理映射的混合權(quán)重，從而減少重建區(qū)域中的偽影。然而，神經(jīng)場(chǎng)景渲染能夠利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)潛在場(chǎng)景表示，允許生成新視圖，但僅限于簡(jiǎn)單的合成幾何體。本文在這些方法的基礎(chǔ)上，首先使用SFM［17］算法來得到相機(jī)參數(shù)，再利用MVS 來轉(zhuǎn)換數(shù)據(jù)格式得到需要的數(shù)據(jù)。在基于圖像的渲染中，通過使用代理幾何體將輸入像素扭曲到輸出中，生成新視角下的圖像。

1.3 基于圖像的繪制

給定視圖的密集采樣，可以通過光場(chǎng)采樣插值技術(shù)［9］重建不同視角下渲染出的新穎視圖。對(duì)于具有稀疏視圖采樣的神經(jīng)渲染，利用計(jì)算機(jī)視覺和圖形學(xué)的技術(shù)在觀察視圖中進(jìn)行傳統(tǒng)的幾何和外觀描述，從而合成不同視角下的新穎視圖。利用網(wǎng)格對(duì)環(huán)境進(jìn)行表達(dá)是一種新方法，其外觀可以是漫反射［18］或依賴于視圖的。該表示方式可以通過可微光柵化器［19］或路徑跟蹤器［20］直接進(jìn)行優(yōu)化，以使用梯度下降法重現(xiàn)一組圖像的輸入。由于局部極小值或場(chǎng)景條件較差，在優(yōu)化之前需要具有固定拓?fù)涞木W(wǎng)格進(jìn)行初始化，基于圖像重投影的網(wǎng)格優(yōu)化變得比較困難。所以該方法通常不適用于無約束的真實(shí)場(chǎng)景。

另一種合成新視圖的方式是利用體積表示一組輸入的RGB 圖像數(shù)據(jù)集。體積的描述方式能夠在空間中表示復(fù)雜的結(jié)構(gòu)，能很好地進(jìn)行梯度的優(yōu)化，并且相比于網(wǎng)格的方式，能降低干擾視覺的偽影影響。本文引入用于新穎視圖合成的體積渲染，回歸密度和顏色的三維體積，將潛在代碼解碼為三維體，然后通過體繪制獲得新圖像。早期Kutulakos等人［21］使用體積表示的方法為觀察到的圖像網(wǎng)格預(yù)測(cè)顏色。Mildenhall 等人［22］為了對(duì)網(wǎng)絡(luò)進(jìn)行更好的訓(xùn)練，使用了更多的大型場(chǎng)景，網(wǎng)絡(luò)對(duì)輸入的一組場(chǎng)景圖像進(jìn)行體積表示，然后使用alpha-compositing 或光線合成在測(cè)試時(shí)對(duì)新穎視圖進(jìn)行神經(jīng)渲染。雖然這種體積的表示方式對(duì)合成的效果有顯著的提高，但由于其離散采樣時(shí)間和空間復(fù)雜性低的本質(zhì)，在渲染高分辨率圖像時(shí)還需要在空間中進(jìn)行更精細(xì)的采樣。

2 本文方法

如圖1 所示，本文問題定義為利用所提出方法在室外施工環(huán)境的圖像集中對(duì)場(chǎng)景進(jìn)行隱式表示，然后通過神經(jīng)渲染得到各個(gè)視角的圖片，達(dá)到對(duì)施工工地的場(chǎng)景展示。

圖1 整體模型結(jié)構(gòu)

針對(duì)基礎(chǔ)的NeRF 工作加入外觀編碼器減少室外光照對(duì)于視覺合成的影響，在最后渲染合成視圖時(shí)，通過把施工場(chǎng)景中的靜態(tài)物體和遠(yuǎn)處的景物分開渲染來減少范圍的影響。通過加入上述2 部分工作，提高室外施工場(chǎng)景的視覺合成效果。

2.1 算法設(shè)計(jì)

給定靜態(tài)場(chǎng)景的多視圖圖像，本文依據(jù)NeRF 的方法重建代表形狀的不透明度場(chǎng)σ和代表視圖相關(guān)表面紋理的輻射場(chǎng)c，其中σ和c都隱式地表示為多層感知機(jī)（MLP）。不透明度場(chǎng)是根據(jù)3D 位置計(jì)算的，輻射場(chǎng)由三維位置和觀察方向參數(shù)化。因此：σ（x）表示不透明度為位置函數(shù)，其中，x∈R3；c（x，d）指的是作為位置和觀察方向的輻射度，其中，d∈R3。

理想情況下，對(duì)于不透明材料，σ會(huì)在地面真實(shí)表面位置達(dá)到頂峰值，同時(shí)c降低到表面光場(chǎng)［23］。對(duì)于給定的一組訓(xùn)練圖像，如公式（1）所示，對(duì)給定的n個(gè)訓(xùn)練圖像，通過最小化地面真值觀測(cè)圖像Ii和在相同視點(diǎn)利用σ和c渲染圖像(σ，c)之間插值的隨機(jī)梯度下降方法來優(yōu)化σ和c。

通過光線捕捉隱式體積σ和c來計(jì)算神經(jīng)渲染圖像(σ，c)的每個(gè)像素值，如公式（2）所示，在給定光線r=o+td，o∈R3，d∈R3，t∈R+，顏色通過計(jì)算積分得到：

當(dāng)在優(yōu)化復(fù)雜的神經(jīng)輻射場(chǎng)時(shí)，其分辨的收斂偏低，為了補(bǔ)償網(wǎng)絡(luò)的光譜偏差并合成更清晰的圖像，如公式（3）所示，使用位置編碼γ，將x和d映射到傅里葉特征中：

其中，k是一個(gè)超參數(shù)，用于指定傅里葉特征向量的維度。

2.2 外觀編碼器

如圖2 所示，為了減少光照影響，捕捉不同外觀下輸入視點(diǎn)Bi和輸出圖像I1之間的關(guān)系，需要進(jìn)行多模態(tài)圖像翻譯［24］。在這樣的表述中是學(xué)習(xí)潛在的外觀向量，該向量捕捉輸出域I1無法從輸入域Bi推斷的變化。通過Z=Ea（I1，Bi）計(jì)算潛在外觀向量，其中Ea是一個(gè)外觀編碼器，將輸出圖像I1和緩沖圖像Bi作為輸入，讓外觀編碼器Ea觀察輸入可以關(guān)聯(lián)I1中光場(chǎng)，在緩沖圖像中使用場(chǎng)景幾何體，減少室外光線對(duì)視覺合成的影響。

圖2 外觀編碼器效果圖

為了訓(xùn)練外觀編碼器Ea和渲染網(wǎng)絡(luò)R，首先需要找到場(chǎng)景中的最有效組合，但是這種組合仍然有缺點(diǎn)，它無法很好地模擬罕見的外觀。為了提高模型的表達(dá)能力，本文采用在代理任務(wù)上獨(dú)立地對(duì)外觀編碼器Ea進(jìn)行預(yù)訓(xùn)練來穩(wěn)定渲染網(wǎng)絡(luò)和外觀編碼器的聯(lián)合訓(xùn)練。該任務(wù)是使用輸入圖像之間合適的距離度量來優(yōu)化輸入圖像嵌入到外觀潛在向量的過程。如果2 個(gè)圖像的距離度量下降，那么它們的外觀嵌入也應(yīng)該在外觀潛在空間中接近，將輸入圖形嵌入外觀潛在空間這種分階段的訓(xùn)練方式可以使用更簡(jiǎn)單的模型來捕捉更復(fù)雜的外觀。

階段性培訓(xùn)方法的關(guān)鍵是外觀預(yù)訓(xùn)練階段，在該階段需要在代理任務(wù)上獨(dú)立地對(duì)外觀進(jìn)行預(yù)訓(xùn)練。然后，訓(xùn)練渲染網(wǎng)絡(luò)R，同時(shí)固定Ea的權(quán)重，使渲染網(wǎng)絡(luò)能夠找到輸出圖像與代理任務(wù)生成嵌入之間的相關(guān)性。這種分階段的方法簡(jiǎn)化并穩(wěn)定了神經(jīng)渲染的訓(xùn)練，去除了周期和跨周期一致性的損失與潛在向量重建的損失，使訓(xùn)練更簡(jiǎn)單，正則化項(xiàng)更少。

2.3 前景和背景渲染

由于公式（2）中的體積渲染公式是在歐幾里得深度上的積分，當(dāng)真實(shí)景物動(dòng)態(tài)范圍很小的時(shí)候，積分可以通過使用有限個(gè)樣本進(jìn)行數(shù)值逼近。然而對(duì)于室外施工環(huán)境而言，動(dòng)態(tài)深度范圍可能會(huì)很大，因?yàn)楸尘翱梢匀我膺h(yuǎn)離。在如此高的動(dòng)態(tài)深度范圍會(huì)導(dǎo)致神經(jīng)輻射場(chǎng)的體積場(chǎng)景表示中存在嚴(yán)重的分辨率問題，因?yàn)橐铣烧掌恼鎸?shí)感圖像，公式（2）中的積分需要在前景和背景區(qū)域都具有足夠的分辨率，這很難通過三維空間的歐幾里得參數(shù)化簡(jiǎn)單采樣來實(shí)現(xiàn)。

如圖3 所示，本文采用一個(gè)倒球面參數(shù)化來解決這個(gè)限制，更好地完成自由視圖的合成。將場(chǎng)景空間劃分為2 個(gè)體積，一個(gè)內(nèi)部單位球體和一個(gè)外部體積，外部體積由一個(gè)覆蓋內(nèi)部體積補(bǔ)體的倒球體表示。其中內(nèi)部體積包含前景和所有相機(jī)，而外部體積包含環(huán)境的其余部分。這2個(gè)部分由2個(gè)獨(dú)立的神經(jīng)輻射場(chǎng)建模，要渲染光線的顏色，將分別對(duì)其進(jìn)行光線投射，然后進(jìn)行最終合成。由于場(chǎng)景的這一部分有很好的邊界，所以不需要對(duì)內(nèi)部的神經(jīng)輻射場(chǎng)進(jìn)行重新參數(shù)化，對(duì)于外部神經(jīng)渲染，采用反向球體的參數(shù)化。外部體積中的3D 點(diǎn)（x，y，z）1，可以通過（x′，y′，z′，1/r）來重新表示，其中t∈（t′，∞）是沿著與（x，y，z）相同方向的單位向量，代表球體上的一個(gè)方向，而0<1/r<1是向著該方向的反向半徑，指向球外的點(diǎn)r?（x′，y′，z′）。

圖3 場(chǎng)景內(nèi)容不同參數(shù)化

與歐幾里得空間不同，在歐幾里得空間中，物體可以與原點(diǎn)保持無限距離，重新表示的四元組中的所有數(shù)字則是有限的。這不僅提高了數(shù)值的穩(wěn)定性，還遵循了更遠(yuǎn)的物體應(yīng)該獲得更少分辨率的事實(shí)。可以通過直接投影光線到有界體積來渲染相機(jī)光線的顏色，即經(jīng)過拆分把公式（2）中的積分劃分為2 個(gè)部分。其中光線r=o+td被拆分為2 個(gè)部分，當(dāng)t∈（o，t′）時(shí)認(rèn)為在球體之內(nèi)，t∈（t′，∞）則在球體之外。這樣可將公式（2）改寫為：

在歐幾里得空間中計(jì)算公式（5）和公式（6）中的第1 部分所以使用σin(o+td)、cin(o+td，d)，而公式（6）中的第2 部分值需要在倒球面空間中計(jì)算背景σout(x′，y′，z′，1/r)、cout(x′，y′，z′，1/r，d)，為了計(jì)算第2 部分中的r=o+td，需要先計(jì)算σout，讓射線在點(diǎn)a處相交，與中心垂直交點(diǎn)為b，點(diǎn)a通過解|o+tad| = 1 得到，點(diǎn)b通過解dT|o+tbd| = 0 得到，通過將向量a沿著向量b×d旋轉(zhuǎn)得到(x′，y′，z′)。計(jì)算得到σout后，只需從區(qū)間［0，1］抽取有限的數(shù)量的點(diǎn)來計(jì)算第2部分。

從物理層面看外部球體，通過一個(gè)虛擬的攝像機(jī)來觀看，該攝像機(jī)的圖像平面是場(chǎng)景原點(diǎn)處的單位球體，因此3D 點(diǎn)（x，y，z）投影到圖像平面上的（x′，y′，z′）用點(diǎn)的深度或視差。從這個(gè)角度看，僅適用于向前捕捉的NDC［25］參數(shù)化與本文的表示相關(guān)，因?yàn)樗褂锰摂M針孔相機(jī)，而不是球形投影面。從這個(gè)意義上說本文采用的反向球體與最近在視圖合成工作中提出的多球體圖像的概念相關(guān)［26］。

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)方案

本文為了展示捕捉室外施工環(huán)境下復(fù)雜場(chǎng)景的視覺合成結(jié)果，將在某工地采集的室外施工場(chǎng)景數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試。本文實(shí)驗(yàn)采用Pytorch 深度學(xué)習(xí)框架，在一臺(tái)顯存為16 GB 的Tesla V100 的GPU 主機(jī)上進(jìn)行分布式訓(xùn)練。

實(shí)驗(yàn)首先采集RGB 圖像，通過COLMAP 和MVS進(jìn)行處理得到需要的相機(jī)參數(shù)等數(shù)據(jù)，并且通過外觀編碼器的預(yù)訓(xùn)練得到向量Z，把得到轉(zhuǎn)換的數(shù)據(jù)和向量Z輸入渲染網(wǎng)絡(luò)中進(jìn)行渲染得到2 個(gè)部分σ和c，最后通過改進(jìn)的體繪制方法得到最終渲染圖像。

3.2 定量分析

在神經(jīng)渲染中對(duì)圖像質(zhì)量的高低進(jìn)行評(píng)價(jià)時(shí)可以使用實(shí)驗(yàn)得到的圖像峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity，SSIM）進(jìn)行判定。PSNR 和SSIM 的數(shù)值與合成的圖像質(zhì)量成正比。給定一個(gè)大小為m×n的干凈圖像I和噪聲圖像K，公式（7）為均方誤差定義。

通過比較圖像的結(jié)構(gòu)信息改變來判斷圖像的失真程度，結(jié)構(gòu)相似性如公式（9）所示。

其中，μ、xμy分別表示樣本x，y的均值、分別表示樣本x，y的協(xié)方差；σxy表示樣本x和y的協(xié)方差。

當(dāng)計(jì)算SSIM時(shí)，從圖片取一個(gè)N×N的窗口，通過滑動(dòng)窗口進(jìn)行計(jì)算再通過取平均值作為全局的SSIM。

在室外施工工地采集的7 個(gè)施工場(chǎng)景上進(jìn)行訓(xùn)練和測(cè)試，定量實(shí)驗(yàn)結(jié)果如表1所示。

表1 施工場(chǎng)景的平均PSNR和SSIM

通過實(shí)驗(yàn)結(jié)果得知本文改進(jìn)后方法的PSNR 和SSIM 在幾種方法中表現(xiàn)最好。由表1 可以得知改進(jìn)后的視覺合成算法在室外施工場(chǎng)景中PSNR 和SSIM相較于文獻(xiàn)［5］、文獻(xiàn)［7］和文獻(xiàn)［8］的方法至少提高了12.2%和10.9%。

3.3 定性分析

圖4 展示了本文方法的定性結(jié)果，總體上呈現(xiàn)了在對(duì)室外施工場(chǎng)景進(jìn)行視覺合成時(shí)本文所提出的方法能夠更好實(shí)現(xiàn)室外施工場(chǎng)地下的神經(jīng)渲染，并且針對(duì)于室外施工場(chǎng)景中由于背景范圍和施工場(chǎng)景中的物體較遠(yuǎn)的問題，本文通過使用前景和背景的分離渲染一定程度上減少了偽影的影響。而對(duì)室外光照難以捕捉的問題本文則通過引入一個(gè)預(yù)訓(xùn)練的外觀編碼器，把生成的向量加入渲染網(wǎng)絡(luò)，減少光照對(duì)于室外施工場(chǎng)景視覺合成的影響。

施工場(chǎng)景下的人員進(jìn)行新穎視角合成后，對(duì)其中一個(gè)視角進(jìn)行分析，通過對(duì)比文獻(xiàn)［5］、文獻(xiàn)［7］和文獻(xiàn)［8］，可以看出本文方法能夠提升新視角下的圖片渲染質(zhì)量。圖5 輸出圖像中的上框可以說明通過分離前景背景進(jìn)行渲染提高了遠(yuǎn)距離下的渲染質(zhì)量，而圖5 中的下框則說明加入外觀編碼器后一定程度上減少了光線的影響。

圖5 單個(gè)視角下的視圖對(duì)比

3.4 消融實(shí)驗(yàn)

為了進(jìn)一步說明本文提出的在網(wǎng)絡(luò)中加入和不加入預(yù)訓(xùn)練的外觀編碼器、是否把前景和背景分開渲染對(duì)新視角下渲染的圖片的質(zhì)量提升，對(duì)所采集的施工工地場(chǎng)景進(jìn)行消融實(shí)驗(yàn)。為了便于比較，把2 個(gè)模塊分開進(jìn)行消融實(shí)驗(yàn)，評(píng)價(jià)指標(biāo)依然采用峰值信噪比和結(jié)構(gòu)相似性進(jìn)行定性說明。表2 從一個(gè)場(chǎng)景中定性地顯示了加入外觀編碼器對(duì)渲染效果的提升。加入外觀編碼器和把前景背景分開渲染后PSNR 和SSIM 都上升了，提高了渲染的質(zhì)量。可以看出外觀編碼器對(duì)圖片渲染質(zhì)量的影響更大，進(jìn)一步說明室外施工場(chǎng)景下提高光線捕捉的重要性。

4 結(jié)束語(yǔ)

針對(duì)室外施工環(huán)境，本文提出了一種從RGB 圖像集渲染新視角的視覺合成方法?；谏窠?jīng)輻射場(chǎng)對(duì)施工場(chǎng)景進(jìn)行隱式表示，首先通過SFM 算法進(jìn)行稀疏重建得到相機(jī)參數(shù)，使用預(yù)訓(xùn)練的外觀編碼器輸出向量加入渲染網(wǎng)絡(luò)中降低室外光照對(duì)視覺的影響，在渲染網(wǎng)路中利用前景和背景分開訓(xùn)練的方法，解決室外施工環(huán)境中范圍太遠(yuǎn)的合成效果問題。實(shí)驗(yàn)表明本文提出的模型能在室外施工工地實(shí)現(xiàn)不同的視角的視覺合成且效果更佳。但本文針對(duì)的是靜態(tài)下的施工環(huán)境，今后的工作將針對(duì)施工工地中的施工人員進(jìn)行動(dòng)態(tài)的視覺合成研究。