基于神經(jīng)隱式場的模糊多視圖三維重建

摘 要：基于神經(jīng)隱式表面的重建方法因其能高保真地重建場景而受到廣泛關(guān)注。然而，這些研究主要集中在理想輸入的重建上，對于模糊輸入重建效果并不理想。為了解決以上問題，提出了Deblur-NeuS，一種基于神經(jīng)隱式場的模糊多視圖三維重建方法。通過引入模糊核預(yù)測模塊和隱式位移場來模擬模糊過程以重建模糊視圖和表面，并為模糊表面增加模糊點(diǎn)云監(jiān)督，優(yōu)化隱式表面的學(xué)習(xí)。在測試階段移除模糊核模塊與隱式位移場，即可直接提取更清晰的幾何表面。在模糊數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示，重建的表面質(zhì)量以及圖像渲染的質(zhì)量都得到了顯著提升。該方法增強(qiáng)了網(wǎng)絡(luò)對模糊輸入的魯棒性，能從運(yùn)動模糊圖像中恢復(fù)幾何表面細(xì)節(jié)。

關(guān)鍵詞：神經(jīng)隱式表面；模糊多視圖；三維重建

中圖分類號：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號：1001-3695（2025）02-039-0606-06

doi：10.19734/j.issn.1001-3695.2024.03.0166

Blurry multi-view 3D reconstruction based on neural implicit field

Xu Zihui，Wang Yiqun^’

（College of Computer Science，Chongqing University，Chongqing 400000，China）

Abstract：Neural implicit surface-based reconstruction methods are widely valued for their high-fidelity scene reconstruction capabilities.However，most of these studies have focused on reconstructing ideal input，yielding less effective results for blurry input.To address this issue，this paper proposed Deblur-NeuS，a method for blurry multi-view 3D reconstruction based on neural implicit fields.The method simulated the blurring process to reconstruct blurry views and surfaces by introducing a blur kernel prediction module and an implicit displacement field.Additionally，it added blurry point cloud supervision for the blurry surface，which optimized the learning of the implicit surfaces.During the testing phase，the blur kernel prediction module and the implicit displacement field were removed，which enabled the direct extraction of clear geometric surfaces.Experimental results on blurred datasets demonstrate significant improvements in the quality of reconstructed surfaces and the quality of image rendering.The method enhances the network’s robustness to blurred inputs and enables the recovery of geometric surface details from motion-blurred images.

Key words：neural implicit surfaces；blurry multi-view images；3D reconstruction

多視圖三維重建，即從二維圖像重建場景的三維幾何模型，一直是計算機(jī)視覺和計算機(jī)圖形學(xué)領(lǐng)域非常重要的研究方向^［1］，已廣泛應(yīng)用于自動駕駛、機(jī)器人和虛擬現(xiàn)實(shí)等多個領(lǐng)域。近年來，隨著深度學(xué)習(xí)的迅速發(fā)展，出現(xiàn)了一系列新的重建方法，主要分為兩類：一是基于深度卷積神經(jīng)網(wǎng)絡(luò)的多視圖立體匹配方法^［2］，如MVSNet等方法^［3～5］；二是以神經(jīng)輻射場^［6］為代表的基于物理模型的重建方法。

NeRF^［7］通過模擬光線在連續(xù)場景體積中的傳輸，利用觀測到的圖像信息來推斷三維結(jié)構(gòu)，其獨(dú)特的基于體渲染的方法能夠合成新視角的高質(zhì)量圖像，為三維重建領(lǐng)域帶來了革命性的影響。受到NeRF的啟發(fā)，后續(xù)研究使用體渲染的方式學(xué)習(xí)曲面的隱函數(shù)表示，如NeuS^［8］提出將符號距離函數(shù)（SDF）嵌入到體渲染公式中，使其更適合于曲面提取?；谏窠?jīng)隱式表面的方法，通過深度神經(jīng)網(wǎng)絡(luò)隱式地表示三維形狀，如將表面表示為占位函數(shù)^{［9，10］}或符號距離函數(shù)^{［11，12］}，不僅能夠有效捕捉復(fù)雜的幾何細(xì)節(jié)，還能靈活適應(yīng)視角變化，生成任意分辨率的對象形狀，在重建復(fù)雜結(jié)構(gòu)物體方面有卓越的表現(xiàn)。

然而，現(xiàn)有方法大多關(guān)注理想輸入的重建，但現(xiàn)實(shí)世界中獲得的圖像往往并不理想。例如，在3D打印領(lǐng)域，消費(fèi)者級別的手持設(shè)備在拍攝時常常產(chǎn)生模糊圖像，會降低打印模型的質(zhì)量；同樣，在無人駕駛汽車的視覺系統(tǒng)中，攝像頭可能會因?yàn)檐囕v的高速移動而捕捉到模糊的圖像，對車輛的導(dǎo)航和安全決策都會產(chǎn)生影響。這些模糊現(xiàn)象將顯著降低重建場景質(zhì)量，導(dǎo)致渲染新視圖中的偽影，且使三維模型表面過于光滑，細(xì)節(jié)缺失。為了解決上述問題，受Deblur-NeRF^［13］利用模糊核重建模糊視圖來提升新視圖合成質(zhì)量的啟發(fā)，提出了一種基于神經(jīng)隱式場的模糊多視圖三維重建方法，主要貢獻(xiàn)如下：

a）提出了一種有效的從模糊多視圖中重建清晰幾何表面的方法。通過模擬模糊過程來重建模糊視圖和表面，提升神經(jīng)隱式場對模糊輸入的魯棒性。

b）提出模糊核預(yù)測模塊為每條光線預(yù)測不同的稀疏模糊核來重建模糊視圖，聯(lián)合優(yōu)化神經(jīng)隱式表面等模塊，讓網(wǎng)絡(luò)恢復(fù)出清晰的隱式場景表示。

c）引入隱式位移場以獲取模糊表面的SDF表示，并提供顯式的三維監(jiān)督優(yōu)化隱式表面的學(xué)習(xí)，以消除輻射場和幾何表面間的偏差，提升復(fù)雜場景下重建表面的質(zhì)量。

1 相關(guān)工作

1.1 基于神經(jīng)隱式表面的三維重建

神經(jīng)網(wǎng)絡(luò)編碼的隱式表示最近引起了很多關(guān)注，隱式表示已成功應(yīng)用于形狀表示、新視圖合成和多視圖三維重建等領(lǐng)域?；谏窠?jīng)隱式表面的多視圖三維重建方法可以分為表面渲染和體渲染兩類。表面渲染方法如DVR^［14］和IDR^［11］，它們直接在物體表面確定亮度，并使用隱式梯度提供可微渲染公式。文獻(xiàn)［14］提出的DVR利用表面渲染對三維形狀的占用函數(shù)進(jìn)行建模，使用根搜索方法獲取表面的位置并預(yù)測二維圖像。Yariv等人^［11］提出的IDR對形狀的符號距離函數(shù)進(jìn)行建模，并使用球面跟蹤算法渲染2D圖像。

NeRF^［7］和文獻(xiàn)［15，16］通過體渲染方式對更復(fù)雜的場景進(jìn)行建模。Oechsle等人^［10］提出UNISURF，將占用函數(shù)嵌入到體渲染公式中，通過衰減策略來控制在訓(xùn)練期間在表面周圍采樣哪個區(qū)域，而無須顯式建模體積密度。Yariv等人^［17］提出的VolSDF和Wang等人^［8］提出的NeuS都是在體渲染過程中使用基于SDF的權(quán)重函數(shù)來使顏色和幾何形狀更接近。由于神經(jīng)網(wǎng)絡(luò)難以學(xué)習(xí)和渲染高頻紋理，Darmon等人^［18］在標(biāo)準(zhǔn)神經(jīng)渲染優(yōu)化中添加跨不同視圖的直接照片一致性項。Fu等人^［19］利用來自SfM的稀疏幾何和多視圖立體成像中的光度一致性來顯式地進(jìn)行多視圖幾何優(yōu)化。Wang等人^［20］提出HF-NeuS，通過將SDF分解并采用逐層優(yōu)化策略，有效提升了神經(jīng)渲染中高頻細(xì)節(jié)的重建質(zhì)量。Wang等人^［21］還介紹了一種新的三平面架構(gòu)的神經(jīng)隱式表達(dá)方法PET-NeuS，利用三平面架構(gòu)和自注意力卷積，增強(qiáng)了局部細(xì)節(jié)表達(dá)并降低了噪聲干擾。

1.2 模糊輸入的神經(jīng)輻射場

由于在神經(jīng)體渲染方式的成功，許多研究都引入了領(lǐng)域知識來改進(jìn)NeRF的模糊輸入情況。Deblur-NeRF^［13］通過引入稀疏模糊核（deformable sparse kernel，DSK）模塊對模糊過程進(jìn)行建模，聯(lián)合優(yōu)化NeRF和DSK模塊，使其能夠恢復(fù)清晰的NeRF，使網(wǎng)絡(luò)能夠?qū)W習(xí)構(gòu)建清晰的神經(jīng)輻射場。接著Peng等人^［22］提出PDRF，通過逐步去模糊精確建模并結(jié)合場景上下文優(yōu)化，同時采用高效的重要性采樣以加速場景優(yōu)化。Lee等人^［23］則提出了一種新型框架DP-NeRF，該框架基于成像過程的物理先驗(yàn)，利用剛性模糊核強(qiáng)化三維一致性，精細(xì)化顏色合成的誤差。Wang等人^［24］提出BAD-NeRF，模擬了運(yùn)動模糊圖像的成像過程，并聯(lián)合優(yōu)化了神經(jīng)輻射場參數(shù)與相機(jī)運(yùn)動軌跡，對嚴(yán)重運(yùn)動模糊和不精確相機(jī)姿態(tài)具有魯棒性。Li等人^［25］提出一種聯(lián)合去模糊和再模糊學(xué)習(xí)框架，用于訓(xùn)練對錯位的單幅圖像離焦去模糊。以上工作探尋了如何從模糊圖像中高效地重建高質(zhì)量的輻射場。

2 提出的方法

2.1 模型整體框架

本節(jié)詳細(xì)地介紹了一種從模糊多視圖中重建清晰幾何表面的方法——Deblur-NeuS。給定一組場景的模糊圖像和相應(yīng)的姿勢，目標(biāo)是從模糊圖像中恢復(fù)表面細(xì)節(jié)。在訓(xùn)練階段，根據(jù)圖像位姿得到批量輸入光線，通過對稀疏模糊核的位置偏移預(yù)測來對輸入光線進(jìn)行優(yōu)化變換。在優(yōu)化光線上采樣，將采樣點(diǎn)的位置編碼輸入到網(wǎng)絡(luò)中。根據(jù)隱式表面場以及輻射場的輸出計算得到采樣點(diǎn)對應(yīng)的體密度和RGB值，體渲染得到優(yōu)化光線對應(yīng)的顏色，最終加權(quán)來生成模糊的顏色。同時使用模糊點(diǎn)云來監(jiān)督表面場和位移場模擬的模糊表面。在驗(yàn)證階段，擯棄模糊核和隱式位移場，直接獲得清晰的表面重建結(jié)果。整個模型訓(xùn)練流程如圖1所示。

2.2 基于模糊核的SDF表面重建

在現(xiàn)實(shí)世界中，曝光是通過接收自然光在感光材料上產(chǎn)生光化學(xué)效應(yīng)，最終形成潛像的過程。如果在這一過程中，場景中的物體相對于其他物體發(fā)生了變化，就會導(dǎo)致入射光發(fā)生變化，并最終反映為主體的模糊。對這一過程進(jìn)行建模，模糊圖像中像素的顏色可以看作是運(yùn)動軌跡上像素顏色的疊加，使用模糊核來構(gòu)建運(yùn)動軌跡。模糊圖像可以通過將清晰圖像與稀疏模糊核進(jìn)行卷積而形成：

在卷積模型中，模糊結(jié)果是由相鄰像素組合而成的，而相鄰像素是以同一攝像機(jī)中心為源點(diǎn)的相鄰光線的渲染結(jié)果。然而，實(shí)際的模糊過程通常涉及混合從不同源點(diǎn)投射的光線，如圖2所示。這種變化在卷積模型中難以直接模擬，因?yàn)樗笙噜徬袼刂g存在更復(fù)雜的光線混合關(guān)系。于是對光線源點(diǎn)以及像素點(diǎn)位置都進(jìn)行變換，從而準(zhǔn)確地反映出光線在三維空間中的移動。這意味著在處理三維場景的光照問題時，可以更加精細(xì)地調(diào)整光線源點(diǎn)，從而得到更為真實(shí)和準(zhǔn)確的模糊效果。

2.3 基于位移函數(shù)的模糊點(diǎn)云監(jiān)督

由于在將體渲染與SDF隱式表示相結(jié)合時存在偏差^［19］，神經(jīng)隱式表面學(xué)習(xí)主要使用顏色損失來隱式優(yōu)化SDF網(wǎng)絡(luò)，這會導(dǎo)致訓(xùn)練優(yōu)化期間的幾何歧義，尤其是在處理結(jié)構(gòu)復(fù)雜的場景時，會導(dǎo)致重建質(zhì)量下降。為了解決幾何偏差問題，一個簡單的解決方案是對SDF網(wǎng)絡(luò)引入顯式的幾何監(jiān)督。對于模糊視圖，無法獲得清晰的點(diǎn)云來監(jiān)督SDF網(wǎng)絡(luò)，于是引入位移場來重建模糊表面，并使用模糊點(diǎn)云監(jiān)督SDF網(wǎng)絡(luò)，使網(wǎng)絡(luò)專注于表面的優(yōu)化。

首先引入位移場^［20］來模擬運(yùn)動模糊偏移。為了實(shí)現(xiàn)隱式表面的運(yùn)動模糊，將模糊表面建模為基線函數(shù)和位移函數(shù)沿基線函數(shù)法線的組合。基線函數(shù)f_b代表物體表面的隱函數(shù)，位移函數(shù)f_d是一個附加的隱函數(shù)，可以模擬表面點(diǎn)偏移的軌跡。假設(shè)f是訓(xùn)練階段期望獲得的模糊幾何表面的隱函數(shù)，位移函數(shù)f_d′將表面上的點(diǎn)x_b映射到沿法線n_b的表面點(diǎn)x，如圖6所示。反之亦然，將基面上的點(diǎn)x映射到沿法線n_b的表面點(diǎn)x_b，因此f_d′（x_b）=f_d（x）。由于隱函數(shù)的性質(zhì)，對于場景中所有的點(diǎn)，兩個函數(shù)之間的關(guān)系可以表示如下：

在通過隱式位移場獲得模糊表面的SDF表示后，利用稀疏的模糊點(diǎn)云來直接定位模糊表面的零水平集，從而增強(qiáng)幾何精度并專注于真實(shí)表面優(yōu)化。這種在訓(xùn)練期間的直接三維結(jié)構(gòu)監(jiān)督糾正了幾何偏差并提高了重建精度。對從Colmap稀疏重建中獲得的稀疏三維點(diǎn)云進(jìn)行處理，應(yīng)用半徑濾波器來排除異常值^［26］。假設(shè)這些稀疏點(diǎn)位于物體表面上，即這些稀疏點(diǎn)的SDF值為零：f（p）=0，p∈P，P代表從重建中獲得的稀疏點(diǎn)云。

為了使用于監(jiān)督模糊表面的損失函數(shù)隨視角的變化而變化，對于不同視圖，可見的稀疏點(diǎn)是不同的。在從視角渲染圖像時，使用模糊表面的隱函數(shù)來估計可見的SDF值?；谀：南∈椟c(diǎn)的SDF值為零的假設(shè)，提出了感知遮擋的SDF損失：

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

本文在公開的DTU^［27］和BlendedMVS^［28］數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，以驗(yàn)證方法的有效性。從DTU 數(shù)據(jù)集中選擇了8個具有挑戰(zhàn)性的場景，從BlendedMVS數(shù)據(jù)集中選擇了4個場景進(jìn)行比較。DTU是一個多視圖立體數(shù)據(jù)集，每個場景由49或64個視圖組成，分辨率為 1600×1200。BlendedMVS與DTU數(shù)據(jù)集類似，但有更豐富的背景內(nèi)容。每個場景包括20～1 000張輸入圖像，每張圖像的分辨率為768×576。這兩個數(shù)據(jù)集都提供了真實(shí)幾何曲面和攝像機(jī)姿態(tài)。每個場景中的圖像被分為測試集和訓(xùn)練集，測試集保留1/7，訓(xùn)練集中的2/3圖像被選中進(jìn)行模糊處理。模糊圖像由n×n線性平滑濾波器卷積生成。

3.2 實(shí)驗(yàn)細(xì)節(jié)

實(shí)驗(yàn)每批采樣512條光線，設(shè)置稀疏模糊核的點(diǎn)數(shù)量為N=5，并遵循NeuS中的分層采樣策略對每條光線的點(diǎn)進(jìn)行采樣。模型使用帶有默認(rèn)參數(shù)的Adam優(yōu)化器，將學(xué)習(xí)率設(shè)置為5×10^-4，衰減到8×10^-5。在單個NVIDIA RTX 3090Ti GPU上訓(xùn)練模型300 000次。網(wǎng)絡(luò)細(xì)節(jié)如下：模糊核預(yù)測模塊，網(wǎng)絡(luò)結(jié)構(gòu)為4層MLP（multilayer perceptron），每層有64個隱藏單元和ReLU激活函數(shù)。兩個SDF網(wǎng)絡(luò)由兩個8層MLP構(gòu)成，具有256個隱藏單元和中間的跳過連接。輻射場網(wǎng)絡(luò)由具有256個隱藏單元的4層MLP組成。

在對比過程中，統(tǒng)一采用25作為提取曲面的閾值，通過marching cube從預(yù)定義邊界框的SDF中提取網(wǎng)格，體積大小為512³。同時，實(shí)驗(yàn)中使用了各基線方法論文推薦的默認(rèn)參數(shù)設(shè)置和迭代次數(shù)，確保了比較的公正性，增強(qiáng)結(jié)果的信服力。

3.3 評價指標(biāo)

為了綜合評估本研究提出的模糊多視圖三維重建方法與其他方法間的性能差異，選用了以下評價指標(biāo)來衡量重建質(zhì)量以及從重建模型中渲染的新視角圖片的質(zhì)量。這些指標(biāo)包括倒角距離（Chamfer distance）、峰值信噪比（peak signal to noise ratio，PSNR）和結(jié)構(gòu)相似性指數(shù)（structural similarity index mea-sure，SSIM）。

倒角距離作為衡量點(diǎn)云相似性的關(guān)鍵指標(biāo)，通過計算點(diǎn)云間每個點(diǎn)到另一點(diǎn)云最近鄰距離的平均值及其逆過程來評估。該指標(biāo)對于評價三維模型的幾何細(xì)節(jié)與拓?fù)浣Y(jié)構(gòu)的準(zhǔn)確性極為關(guān)鍵，其值越低，表明重建模型與真實(shí)模型的一致性越高，重建效果越好。峰值信噪比（PSNR）通過均方誤差衡量重建圖像與真實(shí)圖像間的質(zhì)量差異。結(jié)構(gòu)相似性指數(shù)（SSIM）則進(jìn)一步綜合考慮圖像的亮度、對比度及結(jié)構(gòu)信息，更貼近人眼的視覺感知，是評估圖像視覺質(zhì)量的重要工具。圖像評價指標(biāo)的提升反映了重建圖像與參考圖像差異的減少，標(biāo)志著圖像質(zhì)量的優(yōu)化。

3.4 消融實(shí)驗(yàn)

為了驗(yàn)證所添加模塊對重建效果和性能的影響，Deblur-NeuS在模糊的DTU數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)，并選擇三個場景的平均值作為量化指標(biāo)。實(shí)驗(yàn)以NeuS為基線，逐步添加模塊，以驗(yàn)證每個模塊的效果。消融實(shí)驗(yàn)結(jié)果如表1所示，加入模糊核預(yù)測模塊后，Model-A渲染圖像的質(zhì)量得到了顯著提升，重建質(zhì)量也得到了增強(qiáng)。Model-B進(jìn)一步引入位移函數(shù)，可以看到對提高重建質(zhì)量起到了積極作用。此外，Model-C在移除模糊核預(yù)測模塊后的表現(xiàn)進(jìn)一步證實(shí)了該模塊在提升渲染和重建質(zhì)量方面的關(guān)鍵作用。Model-D添加了模糊的稀疏點(diǎn)云監(jiān)督Euclid Math OneLAp_SDF后，點(diǎn)云的性能相比基線方法有了顯著提升，這揭示了三維特征點(diǎn)對于隱式表面監(jiān)督的重要性。通過融合這些模塊的優(yōu)勢，完整模型在模糊多視圖重建任務(wù)中的性能得到了全面提升。

為了評估新增模塊對模型執(zhí)行效率的影響，對比了Deblur-NeuS和基線模型訓(xùn)練300 000次的平均訓(xùn)練時間，利用消費(fèi)者級別的顯卡作時間統(tǒng)計分別為27.6 h和14.2 h。雖然在模型中引入了模糊核預(yù)測模塊和隱式位移場增加了一定的計算開銷，但值得注意的是，這些模塊對提升模型的推理精度起到了至關(guān)重要的作用。此外，盡管存在額外的計算步驟，模型的推理時間與其他方法相比并沒有顯著差異，這表明本文的優(yōu)化策略有效平衡了計算效率和重建質(zhì)量。總體而言，這些模塊的引入在處理模糊圖像的三維重建時，顯著提升了結(jié)果的精確性和細(xì)節(jié)表現(xiàn)。

3.5 結(jié)果分析

為了證明本研究提出方法的有效性，將其與目前先進(jìn)的基線方法NeuS、VolSDF和HF-NeuS進(jìn)行了對比分析，這些方法在眾多評價指標(biāo)上展現(xiàn)了優(yōu)異的性能。本節(jié)不將UNISURF或IDR等早期方法納入比較范圍，這樣能夠?qū)Ｗ⒂谧钚碌募夹g(shù)進(jìn)展，并清晰地展現(xiàn)本研究模型相較于現(xiàn)有頂尖方法的改進(jìn)與優(yōu)勢。所以選取這三種方法作為主要的對比基準(zhǔn)，以此來證實(shí)該模型在處理模糊輸入時所展現(xiàn)出的卓越三維重建能力。

a）定性分析。圖7展示了在模糊的DTU和BlendedMVS數(shù)據(jù)集上進(jìn)行曲面重建的結(jié)果，圖中第一行是模糊BlendedMVS數(shù)據(jù)集中的場景，其余為模糊DTU數(shù)據(jù)集中的場景，其中第一列參考圖像為訓(xùn)練時作為監(jiān)督的模糊圖像。本節(jié)選擇了紋理豐富的場景進(jìn)行可視化來展示Deblur-NeuS的重建效果。通過圖7中的直觀對比，可以清晰地觀察到其他方法在重建過程中存在一定的局限性。具體來說，對比方法在處理復(fù)雜表面時，往往會產(chǎn)生過于平滑的重建結(jié)果，例如，機(jī)器人的頭盔出現(xiàn)了缺失，小鳥和佛像的表面過于平滑，而Deblur-NeuS能夠有效地重建出具有豐富細(xì)節(jié)的表面。在機(jī)器人場景中，準(zhǔn)確地恢復(fù)了樂高頭盔上的角。在鳥類模型的重建中，呈現(xiàn)出羽毛細(xì)膩的層次和紋理，連鳥喙和眼睛的細(xì)節(jié)也得到了精確的刻畫。此外，對于佛像模型，面部更為立體，還能夠捕捉到腹部的細(xì)微裂紋，這在其他方法的重建結(jié)果中是難以觀察到的。這些實(shí)例充分證明了Deblur-NeuS成功地保留了場景的細(xì)節(jié)信息。

圖8展示了圖像渲染的結(jié)果，（a）為清晰圖像，（b）為訓(xùn)練時用來監(jiān)督的模糊圖像，（c）為從清晰的輻射場中渲染出的視圖?？梢钥吹?，在去模糊圖像中，物體的邊緣更加清晰，沒有明顯偽影，鳥的翅膀和眼睛以及腹部的裂縫變得更加清晰，這驗(yàn)證了Deblur-NeuS可以學(xué)習(xí)到清晰的神經(jīng)輻射場。

b）定量分析。在表2中展示了在模糊DTU數(shù)據(jù)集中8個場景的定量結(jié)果，Deblur-NeuS在大多數(shù)場景中均取得了更低的倒角距離，更高的PSNR和SSIM，這表明Deblur-NeuS在表面重建質(zhì)量上顯著優(yōu)于對比方法。DTU數(shù)據(jù)集中的大多數(shù)場景都有光滑的表面，幾何表面高頻細(xì)節(jié)并不明顯。為了測試處理各種場景的能力，從BlendedMVS數(shù)據(jù)集的4個具有挑戰(zhàn)性的場景上進(jìn)行了測試。表3中的定性結(jié)果清晰地展示了Deblur-NeuS在這些復(fù)雜場景下的性能優(yōu)勢，與其他方法相比，成功提升了重建質(zhì)量與渲染質(zhì)量，與在模糊DTU數(shù)據(jù)集上表現(xiàn)一致。這進(jìn)一步證實(shí)了Deblur-NeuS在模糊多視圖三維重建任務(wù)中的適應(yīng)性和有效性，在不同數(shù)據(jù)集場景下的重建質(zhì)量都有明顯提升。

4 結(jié)束語

本文提出了一種用于模糊圖像三維重建的新方法，克服了模糊圖像中高頻信息缺失的缺點(diǎn)，可重建無偽影視圖和更準(zhǔn)確的幾何模型。該方法提出使用模糊核和隱式位移場來模擬模糊過程，重建模糊視圖和表面，聯(lián)合優(yōu)化各網(wǎng)絡(luò)模塊，提升網(wǎng)絡(luò)對模糊輸入的魯棒性，并使用模糊點(diǎn)云對模糊表面進(jìn)行監(jiān)督，使網(wǎng)絡(luò)專注于幾何表面的優(yōu)化，提升了復(fù)雜場景下的重建質(zhì)量。實(shí)驗(yàn)驗(yàn)證了Deblur-NeuS在運(yùn)動模糊等非理想視圖的三維重建中的有效性。未來，可以考慮嘗試優(yōu)化其他不理想輸入的三維重建效果。

參考文獻(xiàn)：

［1］Samavati T，Soryani M.Deep learning-based 3D reconstruction：a survey［J］.Artificial Intelligence Review，2023，56（9）：9175-9219.

［2］鄢化彪，徐方奇，黃綠娥，等.基于深度學(xué)習(xí)的多視圖立體重建方法綜述 ［J］.光學(xué)精密工程，2023，31（16）：2444-2464.（Yan Huabiao，Xu Fangqi，Huang Lu’e，et al.A review of multi-view stereo reconstruction methods based on deep learning［J］.Optics and Precision Engineering，2023，31（16）：2444-2464.）

［3］鄭米培，趙明富，邢鑌，等.基于自適應(yīng)聚合與深度優(yōu)化的三維重建算法 ［J］.計算機(jī)應(yīng)用研究，2023，40（5）：1595-1600.（Zheng Mipei，Zhao Mingfu，Xing Bin，et al.3D reconstruction algorithm based on adaptive aggregation and depth optimization［J］.Application Research of Computers，2023，40（5）：1595-1600.）

［4］劉會杰，柏正堯，程威，等.融合注意力機(jī)制和多層U-Net的多視圖立體重建 ［J］.中國圖象圖形學(xué)報，2022，27（2）：475-485.（Liu Huijie，Bo Zhengyao，Cheng Wei，et al.Multi-view stereo reconstruction by fusing attention mechanism and multi-layer U-Net［J］.Journal of Image and Graphics，2022，27（2）：475-485.）

［5］Yao Yao，Luo Zixin，Li Shiwei，et al.MVSNet：depth inference for unstructured multi-view stereo［C］//Proc of European Conference on Computer Vision.Cham：Springer，2018：767-783.

［6］馬漢聲，祝玉華，李智慧，等.神經(jīng)輻射場多視圖合成技術(shù)綜述 ［J］.計算機(jī)工程與應(yīng)用，2024，60（4）：21-38.（Ma Hansheng，Zhu Yuhua，Li Zhihui，et al.A review of neural radiation field multiview synthesis techniques［J］.Computer Engineering and Applications，2024，60（4）：21-38.

［7］Mildenhall B，Srinivasan P P，Tancik M，et al.NeRF：representing scenes as neural radiance fields for view synthesis［J］.Communications of the ACM，2021，65（1）：99-106.

［8］Wang Peng，Liu Lingjie，Liu Yuan，et al.NeuS：learning neural impli-cit surfaces by volume rendering for multi-view reconstruction［EB/OL］.（2021-06-20）.https：//doi.org/10.48550/arXiv.2106.10689.

［9］Mescheder L，Oechsle M，Niemeyer M，et al.Occupancy networks：learning 3D reconstruction in function space［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：4460-4470.

［10］Oechsle M，Peng S，Geiger A.UNISURF：unifying neural implicit surfaces and radiance fields for multi-view reconstruction［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：5589-5599.

［11］Yariv L，Kasten Y，Moran D，et al.Multiview neural surface reconstruction by disentangling geometry and appearance［J］.Advances in Neural Information Processing Systems，2020，33：2492-2502.

［12］Kellnhofer P，Jebe L C，Jones A，et al.Neural lumigraph rendering ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2021：4287-4297.

［13］Ma Li，Li Xiaoyu，Liao Jing，et al.Deblur-NeRF：neural radiance fields from blurry images［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2022：12861-12870.

［14］Niemeyer M，Mescheder L，Oechsle M，et al.Differentiable volumetric rendering：learning implicit 3D representations without 3D supervision［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：3504-3515.

［15］Zhang Kai，Riegler G，Snavely N，et al.NeRF+：analyzing and improving neural radiance fields ［EB/OL］.（2020-10-05）.https：//arxiv.org/abs/2010.07492.

［16］Barron J T，Mildenhall B，Tancik M，et al.Mip-NeRF：a multiscale representation for anti-aliasing neural radiance fields［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：5855-5864.

［17］Yariv L，Gu Jiatao，Kasten Y，et al.Volume rendering of neural impli-cit surfaces［J］.Advances in Neural Information Processing Systems，2021，34：4805-4815.

［18］Darmon F，Bascle B，Devaux J C，et al.Improving neural implicit surfaces geometry with patch warping［C］//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2022：6260-6269.

［19］Fu Qiancheng，Xu Qingshan，Ong Y S，et al.Geo-NeuS：geometry-consistent neural implicit surfaces learning for multi-view reconstruction［J］.Advances in Neural Information Processing Systems，2022，35：3403-3416.

［20］Wang Yiqun，Skorokhodov I，Wonka P.Improved surface reconstruction using high-frequency details［EB/OL］.（2022-09-22）.https：//arxiv.org/abs/2206.07850.

［21］Wang Yiqun，Skorokhodov I，Wonka P.Pet-NeuS：positional encoding tri-planes for neural surfaces［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2023：12598-12607.

［22］Peng Cheng，Chellappa R.PDRF：progressively deblurring radiance field for fast scene reconstruction from blurry images［C］//Proc of AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2023：2029-2037.

［23］Lee D，Lee M，Shin C，et al.DP-NeRF：deblurred neural radiance field with physical scene priors［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2023：12386-12396.

［24］Wang Peng，Zhao Lingzhe，Ma R，et al.Bad-NeRF：bundle adjusted deblur neural radiance fields［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2023：4170-4179.

［25］Li Yu，Ren Dongwei，Shu Xinya，et al.Learning single image defocus deblurring with misaligned training pairs［C］//Proc of AAAI Confe-rence on Artificial Intelligence.Palo Alto，CA：AAAI Press，2023：1495-1503.

［26］Zhou Qianyi，Park J，Koltun V.Open3D：a modern library for 3D data processing ［EB/OL］.（2018-01-30）.https：//doi.org/10.48550/arXiv.1801.09847.

［27］Jensen R，Dahl A，Vogiatzis G，et al.Large scale multi-view stereopsis evaluation ［C］ //Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2014：406-413.

［28］Yao Yao，Luo Zixin，Li Shiwei，et al.BlendedMVS：a large-scale dataset for generalized multi-view stereo networks［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2020：1790-1799.

［29］Schonberger J L，F(xiàn)rahm J-M.Structure-from-motion revisited［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：4104-4113.