小場景交互式稠密三維重建系統(tǒng)

楊淑云，劉永春

?

小場景交互式稠密三維重建系統(tǒng)

楊淑云1，劉永春2

(1. 中國地質(zhì)環(huán)境監(jiān)測院，北京 100081；2. 南京航空航天大學(xué)自動化學(xué)院，江蘇 南京 210016)

近年來，隨著GPU技術(shù)的深入發(fā)展和并行算法的日益成熟，使得實時三維重建成為可能。文中實現(xiàn)了一種針對小場景的交互式稠密三維重建系統(tǒng)，此系統(tǒng)借助先進的移動跟蹤技術(shù)，可以準確地估計相機的即時位置。提出了一種改進的多視深度生成算法，在GPU加速下能夠?qū)崟r計算場景的深度。改進算法中的亞像素級的半全局匹配代價累積提高了多視立體匹配的精度，并結(jié)合全局優(yōu)化的方法計算出了準確的場景深度信息。深度圖被轉(zhuǎn)換為距離場，使用全局優(yōu)化的直方圖壓縮融合算法和并行的原始對偶算法實現(xiàn)了深度的實時融合。實驗結(jié)果證明了重建系統(tǒng)的可行性和重建算法的正確性。

重建；實時；并行算法；深度圖；融合

人工智能技術(shù)在計算機領(lǐng)域異軍突起，與其相關(guān)的應(yīng)用層出不窮[1-2]，極大地推動了社會的發(fā)展和科技進步。三維重建作為計算機視覺中的一種傳統(tǒng)技術(shù)手段，也在深度學(xué)習(xí)的浪潮中受益。近年來，多種基于深度學(xué)習(xí)方法的三維重建技術(shù)被提出[3-5]。但由于深度學(xué)習(xí)方法的應(yīng)用通常需要大量的數(shù)據(jù)標注與復(fù)雜的迭代計算，導(dǎo)致自然場景的實時稠密重建較難實現(xiàn)。研究人員采用計算機視覺的技術(shù)手段進行三維重建的研究，推動了三維重建技術(shù)的發(fā)展。移動重建技術(shù)[6-7](structure from motion，SFM)的出現(xiàn)，成功地實現(xiàn)了從圖像序列中恢復(fù)場景的稀疏點云和相機的姿態(tài)，取得了令人可喜的實驗結(jié)果。還有很多系統(tǒng)[8-10]借助即時定位和繪圖技術(shù)(simultaneous localization and mapping，SLAM)，完成了實時的單相機跟蹤和場景重建。然而，這些系統(tǒng)只能重建出稀疏的三維點云。之后，研究人員采用主動式深度傳感器實現(xiàn)了場景的實時稠密重建[11-15]。雖然主動式的深度傳感器可以捕獲準確的場景深度信息，但是必須工作在有電源供應(yīng)的環(huán)境下，而在一些特定的、無電源供應(yīng)的場合無法使用。隨著GPU硬件技術(shù)的發(fā)展，陸續(xù)地出現(xiàn)了各種借助普通相機實現(xiàn)場景實時稠密重建的系統(tǒng)。GALLUP等[16]提出了多視點的實時平面掃描算法，實現(xiàn)了以相機視頻流為基礎(chǔ)的城市場景實時重建；NEWCOMBE和DAVISON[17]使用普通相機進行場景快速稠密重建，先從移動重建中生成一個基礎(chǔ)模型，其拓撲結(jié)構(gòu)在后續(xù)的生成深度階段無法再改變。這可能造成因初始模型中的重建錯誤導(dǎo)致最終重建結(jié)果錯誤的情況；GRABER等[18]提出了基于深度生成方法的系統(tǒng)來解決上述問題。在Graber的系統(tǒng)中，采用planesweep算法并結(jié)合歸一化互相關(guān)(normalized cross correlation, NCC)的相似度測量生成深度圖，但本文實驗采用該方法得到的深度值還不夠準確。PRADEEP等[19]建立了基于網(wǎng)絡(luò)攝像頭的實時稠密重建系統(tǒng)，其使用了基于零均值歸一化互相關(guān)(zero mean normalized cross correlation，ZNCC)的類似PatchMatch[20]的深度生成方法。

本文實現(xiàn)了實時交互的三維重建系統(tǒng)，通過移動相機可以實現(xiàn)場景的增量式稠密重建。提出了一種改進的深度生成方法，在初始匹配的基礎(chǔ)上增加了亞像素級的半全局匹配代價累積，提高了匹配精度，可適用于紋理不豐富場景下的立體匹配；同時采用全局優(yōu)化的方法實現(xiàn)了準確的深度估計。之后將計算出的深度圖轉(zhuǎn)換為距離場，利用基于直方圖壓縮的全局優(yōu)化算法[21]進行了深度融合。

1 實現(xiàn)方法

本文實現(xiàn)的重建系統(tǒng)主要由以下4個部分組成：相機的離線標定、相機姿態(tài)估計、深度生成和深度融合，系統(tǒng)結(jié)構(gòu)如圖1所示。重建系統(tǒng)的軟件開發(fā)是在并行跟蹤和繪圖(parallel tracking and mapping，PTAM)[10]框架上進行的。該框架包含跟蹤和繪圖2個線程。重建系統(tǒng)利用跟蹤線程實現(xiàn)相機的姿態(tài)估計，同時借助繪圖線程為整個系統(tǒng)初始化。為了實現(xiàn)場景的實時重建，在PTAM框架上增加了一個重建線程，采用GPU并行處理的方法完成實時的深度生成和深度融合。3個線程被異步執(zhí)行，從而確保系統(tǒng)平穩(wěn)有序地運行。

圖1 重建系統(tǒng)的組成結(jié)構(gòu)示意圖

1.1 相機的離線標定

本文使用文獻[22]提出的相機標定算法，該算法對標定模版的精度要求不高、易實現(xiàn)，同時具有較高的標定精度。算法的具體內(nèi)容和執(zhí)行步驟參考文獻[22]。

1.2 實時的相機姿態(tài)估計

三維重建是圖像二維點通過投影映射和三角化得到三維空間點的過程，即

然而，在實時重建系統(tǒng)的執(zhí)行過程中，無法預(yù)先獲知三維點。機器人視覺中的即時定位與繪圖[9]解決了在未知環(huán)境中的運動跟蹤問題。其可以被應(yīng)用在實時重建系統(tǒng)中，使用相機代替機器人視覺傳感器，從而獲取相機的即時姿態(tài)(外部參數(shù)矩陣)。追蹤與繪制(parallel tracking and mapping，PTAM)被證明可以從未知的場景中準確地估計出相機的姿態(tài)[10,18]。因此，本文在實時重建系統(tǒng)中，選擇PTAM進行相機的姿態(tài)估計，并且假設(shè)姿態(tài)估計結(jié)果在后續(xù)的重建中是足夠準確的。

1.3 生成深度圖

1.3.1 Planesweep算法[24]

在Planesweep算法中，目標三維空間被1個平面掃過，平面的運動方向與該平面垂直。不失一般性，假設(shè)平面是沿著場景的軸以不同的深度掃過，且平行于參考視點，如圖2所示。

圖2 Planesweep算法示意圖

Planesweep算法的思想可以描述為：從每個深度的平面中計算出對應(yīng)的單應(yīng)矩陣(圖2中的)，并將傳感視點單應(yīng)變換到該平面上。在恒定照明亮度的情況下，如果某一深度的平面恰好位于重建物體的表面，此時參考視點中的像素與被映射的傳感視點中的對應(yīng)像素?匹配。因此，可以計算對應(yīng)像素之間的匹配代價來確定參考視點中每個像素的深度值。在匹配相似度最大時的平面深度值即為該參考視點中對應(yīng)像素的深度值。當平面遍歷地掃描三維空間時，就可以得到參考視點完整的深度圖。

假設(shè)相機的內(nèi)部參數(shù)矩陣為，參考視點外參數(shù)矩陣為=[ |t]，傳感視點外參數(shù)矩陣為=[|t]，傳感視點被映射到π()(T,)T平面上，該平面定義在參考視點坐標系下，其中(0,0,1)T為沿著軸的單位向量，為相對于參考視點的距離(深度)。一般地，由平面導(dǎo)出的單位矩陣為

本文采用非參數(shù)局部轉(zhuǎn)換[26](non-parametric local transforms，NPLT)作為相似度測量的方法。與基于強度差異的NCC[18]和ZNCC[19]方法不同，NPLT以局部強度相對排序差異為標準的匹配方法，其對強度變化具有更強的魯棒性。對參考圖像和被映射的傳感圖像分別進行基于非參數(shù)局部轉(zhuǎn)換，對應(yīng)像素的非參數(shù)局部轉(zhuǎn)換如圖3所示。假設(shè)參考像素p與傳感像素p的像素值都為80，將鄰域像素值按照從左到右、從上到下分別與其進行比較。當鄰域像素值大于參考像素值時，結(jié)果置為1，否則為0。并將所有的鄰域像素比較結(jié)果串聯(lián)起來，得到二進制字符串10000101與10000100，分別記作(p)與(p)為此時的非參數(shù)局部轉(zhuǎn)換結(jié)果。

之后計算參考視點與傳感視點中對應(yīng)像素的漢明距離，即計算對應(yīng)像素2個字符串中不同位的數(shù)量，從而得到匹配代價

其中，C(x)為非參數(shù)局部轉(zhuǎn)換結(jié)果。

1.3.2 4方向的半全局匹配代價累積與全局優(yōu)化

為了得到更加準確的多視匹配，本文提出在初始匹配代價的基礎(chǔ)上進行4方向亞像素的累積，計算并得到最小累積匹配代價。從參考圖像的第一像素行(u, 0)或第一像素列(0,v)開始朝著最后一行(–1, 0)或最后一列(0,–1)的方向，對圖像中所有的像素執(zhí)行一次亞像素匹配代價的累積，之后反向地重復(fù)執(zhí)行一次(、分別為參考圖像的長度與寬度值)。因此，對于某個待匹配的像素，一共需要執(zhí)行上、下、左、右4個方向的匹配代價累積，如圖4所示。

圖4 亞像素的匹配代價累積

使用亞像素插值的策略，在同行或同列的2個相鄰像素中插入亞像素的匹配代價值，其中亞像素表示在2個相鄰像素中插入1個“中間像素”(如在像素與+1之間插入+0.5)。針對每個像素，方向上的累積匹配代價為

其中，(,)T為圖像像素坐標；x為亞窗口內(nèi)的亞像素坐標值；1為小值懲罰項，針對深度變化較小的鄰域像素；2為稍大值的懲罰項，針對深度變換更大的像素。所有的匹配代價值都由相應(yīng)的漢明距離計算得到。因此，4個方向總累積匹配代價為

之后，應(yīng)用競爭的方法(Winner-Takes-All)求出參考視點的初始深度值，即當累積匹配代價最小時平面的深度為此時相應(yīng)像素的深度值。對深度圖進行全局優(yōu)化處理，去除離群值，提高深度圖的質(zhì)量[27]。全局能量函數(shù)為

其中，為數(shù)據(jù)項權(quán)重；()為正則項權(quán)重。其數(shù)據(jù)項可以有效的去除噪聲，保證去噪后深度的準確性；正則項在平滑均勻區(qū)域的同時保證邊緣的不連續(xù)。由于深度的不連續(xù)通常發(fā)生在參考圖像的邊緣位置，因此可以從初始深度圖的梯度量級中計算正則項系數(shù)，即

使得邊緣的梯度量級高時降低正則化的強度，確保全局優(yōu)化的過程優(yōu)先保留邊緣。采用原始對偶算法[28]對式(6)求解，可得到最終的深度圖。

實驗對深度生成的方法進行了比較，與在Planesweep算法基礎(chǔ)上單獨地增加4方向半全局代價累積或全局優(yōu)化相比，3者共同結(jié)合后得到的深度圖質(zhì)量更高，圖5中的“圓錐體”圖集取自明德標準圖像數(shù)據(jù)庫[29]，每幅圖像對應(yīng)的外參數(shù)是通過PTAM軟件獲取。本文重建過程中的深度圖如圖6所示。

圖5 多種算法組合的深度生成結(jié)果比較

圖6 采用本文方法得到的真實場景深度圖

為了進一步論證半全局匹配代價累積在多視立體匹配中所發(fā)揮的關(guān)鍵作用，實驗對缺乏紋理的場景進行了深度生成，實驗結(jié)果如圖7所示。實驗所用的圖像集是通過對大腸器官內(nèi)壁模型進行拍攝得到，其缺乏紋理性。圖7(b)中的a，b，c，d 4個子圖分別表示添加了不同程度的半全局匹配代價累積后生成的深度圖，其可以清楚地看出，對于缺乏紋理的場景，當無匹配代價累積時，傳統(tǒng)的平面掃描算法無法實現(xiàn)正確地立體匹配，因此無法計算出深度圖，如圖7(b)中的a子圖所示；相反地，應(yīng)用本文提出的4個方向的匹配代價累積后，可以計算得到平滑且正確的場景深度，如圖7(b)中的d子圖所示。

1.4 深度圖融合

魯棒的深度融合算法在三維模型的重建中發(fā)揮著重要的作用。因為深度圖的生成往往會產(chǎn)生很多的離群值，直接使用普通的點云表面重建算法[30-32]往往會得到較差的重建質(zhì)量。本文采用了文獻[21]中提出的直方圖壓縮深度融合算法，將深度圖的融合視為一種全變分(total variation，TV)模型，通過最小化1變分能量函數(shù)來估計三維表面。

首先，將深度圖轉(zhuǎn)換為有符號的距離f(f:Ω為一個體素空間)，轉(zhuǎn)換方法的詳細論述可以參考文獻[33]。所有的距離場根據(jù)1變分模型進行融合。融合的目標是優(yōu)化出一個有符號的距離函數(shù)(the sign distance function，TSDF)逼近所有的距離場f。重建的表面則是的零水平集。1變分模型為

(a. 無匹配代價累積；b. 只累積左右方向；c. 只累積上下方向；d. 全部4個方向的累積)

其中，第1項為變分項，通過最小化的水平集長度得到平滑的表面區(qū)域；第2項為數(shù)據(jù)保真度項，通過魯棒的1范數(shù)測量到所有距離場f的距離，排除離群值和噪聲。根據(jù)式(8)進行深度融合的方法對內(nèi)存求量高，需要存儲每一個距離場f，且不適合GPU的加速。

為了使式(9)中的正則項和數(shù)據(jù)項都連續(xù)可微，引入輔助變量，即近似的能量函數(shù)為

整個直方圖壓縮融合算法的迭代優(yōu)化過程可表述為：

(4) 由固定的u1，通過逐點搜索計算輔助變量v+1，其過程如下：

(5) 滿足迭代條件，迭代結(jié)束。

2 實驗結(jié)果及分析

本文的實時重建系統(tǒng)采用微軟相機(Microsoft LifeCam Studio 1080p HD Webcam HD)進行場景圖像序列的采集，采集分辨率為640×360，幀率為30幀/秒，相機距離場景的垂直距離大約為25 cm。系統(tǒng)執(zhí)行的硬件環(huán)境為NVIDIA GTX TITAN Black GPU與eight-core Xeon CPU處理器。場景重建之前對相機進行離線標定，計算相機的內(nèi)參數(shù)。重建過程中，隨著相機移動式地捕獲場景的圖像序列，重建線程對其中每相鄰的5幀圖像進行多視立體匹配，生成對應(yīng)的第一幀參考圖像的深度圖；與此同時深度圖序列被實時地融合在一個自定義的體空間中；最后通過可GPU加速的光線投射(raycaster)進行可視化。場景的重建結(jié)果如圖8所示；系統(tǒng)的部分參數(shù)設(shè)置見 表1。

重建系統(tǒng)關(guān)鍵部分的執(zhí)行時間見表2，深度圖生成的時間消耗大約為47 ms，每次融合5幅深度圖。因此每次重建更新過程的耗時為大約680 ms，可以滿足交互式的用戶重建體驗，圖9展示了更多的重建結(jié)果。

圖8 場景的實時稠密重建結(jié)果

表1 重建系統(tǒng)的參數(shù)設(shè)置

表2 主要重建步驟的時間消耗

圖9 幾個桌面場景重建結(jié)果

圖10 數(shù)據(jù)項權(quán)重對重建結(jié)果的影響分析

3 結(jié)束語

本文建立了一個交互式小場景稠密三維重建系統(tǒng)。系統(tǒng)允許通過移動相機實現(xiàn)場景的增量式實時稠密三維重建。本文提出了一種改進的深度生成方法，方法中亞像素的半全局匹配代價累積和全局優(yōu)化確保了精確的深度生成。所建立的系統(tǒng)非常適合GPU加速的小場景實時稠密三維重建。

[1] 李白萍, 韓新怡, 吳冬梅. 基于卷積神經(jīng)網(wǎng)絡(luò)的實時人群密度估計[J]. 圖學(xué)學(xué)報, 2018, 39(4): 728-734.

[2] 王?，? 唐娟, 沈振輝. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的多任務(wù)細粒度車型識別[J]. 圖學(xué)學(xué)報, 2018, 39(3): 485-492.

[3] WU J J, ZHANG C K, ZHANG X M, et al. Learning shape priors for single-view 3D completion and reconstruction [C]//Proceedings of 2018 European Conference on Computer Vision. Heidelberg: Springer, 2018: 1-17.

[4] JACKSON A S, MANAFAS C, TZIMIROPOULOS G. 3D human body reconstruction from a single image via volumetric regression [C]//Proceedings of 2018 European Conference on Computer Vision Workshops. Heidelberg: Springer, 2018: 1-14.

[5] CARVALHO M, BERTRAND L S, PAULINE T P, et al. Deep depth form deforcus: How can defocus blur improve 3D estimation using dense neural network? [C]//Proceedings of 2018 European Conference on Computer Vision, 3DRW Workshop. Heidelberg: Springer, 2018: 1-18.

[6] DELLAERT F, SEITZ S M, THORPE C E, et al. Structure from motion without correspondence [C]// 2000 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2000: 557-564.

[7] POLLEFEYS M, NISTER J M, AKBARZADEH A, et al. Detailed real-time urban 3D reconstruction from video [J]. International Journal of Computer Vision, 2008, 78(2): 143-167.

[8] DAVISON A J. Real-time simultaneous localisation and mapping with a single camera [C]//Proceedings of the 9th IEEE International Conference on Computer Vision. Washington, DC: IEEE Computer Society Press, 2003: 1403-1410.

[9] WHYTE D H, BAILEY T. Simultaneous localisation and mapping (slam): Part I the essential algorithms [J]. IEEE Robotics and Automation Magazine, 2006, 13(2): 99-110.

[10] KLEIN G, MURRAY D W. Parallel tracking and mapping for small AR workspaces [C]//2007 6th IEEE and ACM International Symposium on Mixed and Augmented Reality. New York: IEEE Press, 2007: 225-234.

[11] HENRY P, KRAININ M, HERBST E, et al. RGB-D mapping: Using depth cameras for dense 3D modeling of indoor environments [C]//The 12th International Symposium Experimental Robotics. Heidelberg: Springer, 2010: 477-491.

[12] HORNUNG A, WURM K M, BENNEWITZ M, et al. OctoMap: An efficient probabilistic 3D mapping framework based on octrees [J]. Autonomous Robots, 2013, 34(3): 189-206.

[13] IZADI S, KIM D, HILLIGES O, et al. KinectFusion: Real-time 3D reconstruction and interaction using a moving depth camera [C]//Proceedings of the 24th Annual ACM Symposium on User Interface Software and Technology. New York: ACM Press, 2011: 559-568.

[14] NEWCOMBE R, IZADI S, HILLIGES O, et al. KinectFusion: Real-time dense surface mapping and tracking [C]//2011 10th IEEE International. Symposium on Mixed and Augmented Reality. New York: IEEE Press, 2011: 127-136.

[15] STUCKLER J, BEHNKE S. Robust real-time registration of RGB-D images using multi-resolution surfel representations [C]//Proceedings of the 7th German Conference on Robotics (ROBOTIK 2012). Munich: VDE Press, 2012: 1-4.

[16] GALLUP D, FRAHM J M, MORDOHAI P, et al. Real-time plane-sweeping stereo with multiple sweeping directions [C]//2007 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2007: 1-8.

[17] NEWCOMBE R A, DAVISON A J. Live dense reconstruction with a single moving camera [C]//2010 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2010: 1498-1505.

[18] GRABER G, POCK T, BISCHOF H. Online 3D reconstruction using convex optimization [C]//2011 IEEE International Conference on Computer Vision Workshops. New York: IEEE Press, 2011: 708-711.

[19] PRADEEP V, RHEMANN C, IZADI S, et al. MonoFusion: Real-time 3D reconstruction of small scenes with a single web camera [C]//2013 12th IEEE International Symposium on Mixed and Augmented Reality. New York: IEEE Press, 2013: 83-88.

[20] BLEYER M, RHEMANN C, ROTHER C. PatchMatch stereo-stereo matching with slanted support windows [EB/OL]. [2018-05-05]. http://www.brnva. org/bmvc/2011/proceedings/paper/4/index.html.

[21] ZACH C. Fast and high quality fusion of depth maps [EB/OL]. [2018-05-05]. http://inf.ethz.ch/personal/ pomarc/pubs/paper196.pdf.

[22] ZHANG Z Y. A flexible new technique for camera calibration [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[23] FISCHLER M A, BOLLES R C. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography [J]. Communications of the ACM, 1981, 24(6): 381-395.

[24] COLLINS R T. A space-sweep approach to true multi-image matching [C]//Proceedings of 1996 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 1996: 358-363.

[25] HARTLEY R, ZISSERMAN A. Multiple view geometry in computer vision [M]. New York: Cambridge University Press, 2003: 326-329.

[26] ZABIN R, WOODFILL J. Non-parametric local transforms for computing visual correspondence [C]// The 3rd European Conference on Computer Vision. Heidelberg: Springer, 1994: 151-158.

[27] NEWCOMBE R A, LOVEGROVE S J, DAVISON A J. DTAM: Dense tracking and mapping in real-time [C]// Proceedings of the 2011 International Conference on Computer Vision. Washington, DC: IEEE Computer Society Press, 2011: 2320-2327.

[28] CHAMBOLLE A, POCK T. A first-order primal dual algorithm for convex problems with applications to imaging [J]. Journal of Mathe-matical Imaging and Vision, 2011, 40(1): 120-145.

[29] Middlebury, Microsoft Research and NSF. The middlebury computer vision pages [EB/OL]. [2018-09-10]. http://vision.middlebury.edu/stereo/.

[30] HOPPE H, DEROSE T, DUCHAMP T, et al. Surface reconstruction from unorganized points [J]. ACM SIGGRAPH Computer Graphics, 1992, 26(2): 71-78.

[31] BOISSONNAT J D, CAZALS F. Smooth surface reconstruction via natural neighbour interpolation of distance functions [J]. Computational Geometry, 2002(22): 185-203.

[32] CARR J C, BEATSON R K, CHERRIE J B, et al. Reconstruction and representation of 3D objects with radial basis functions [C]//Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques. New York: ACM Press, 2001: 67-76.

[33] ZACH C, POCK T, BISCHOF H. A globally optimal algorithm for robust TV-L1 range image integration [C]//Proceedings of IEEE 11th International Conference on Computer Vision. New York: IEEE Press, 2007: 1-8.

Interactive Dense 3D Reconstruction System of Small Scenes

YANG Shu-yun1, LIU Yong-chun2

(1. China Institute of Geological Environment Monitoring, Beijing 100081, China; 2. College of Automation Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing Jiangsu 210016, China)

In recent years, it is possible to perform real-time 3D reconstruction with the development of the GPU technology and maturity of parallel algorithms. This paper presents an interactive dense 3D reconstruction system for small scenes, which can accurately estimate the real-time position of the camera by means of advanced mobile tracking technology. An improved multi-view depth generation algorithm is proposed, which can calculate scene depth in real-time under GPU acceleration. The cumulative cost of sub-pixel semi-global matching in the improved algorithm improves the accuracy of multi-view stereo matching, and combines the global optimization method to calculate the accurate scene depth information. Depth map is converted into distance field, and real-time depth fusion is realized by using globally optimized histogram compression fusion algorithm and parallel primal-dual algorithm. The experimental results prove the feasibility of the reconstruction system and the correctness of the reconstruction algorithm.

reconstruction; real-time; parallel algorithms; depth; fusion

TP 391

10.11996/JG.j.2095-302X.2019020364

A

2095-302X(2019)02-0364-09

2018-10-16；

2018-12-26

國家高技術(shù)研究發(fā)展計劃(863計劃)項目(2012AA011903)

楊淑云(1983-)，女，安徽全椒人，工程師，碩士。主要研究方向為圖像處理與圖像視覺。E-mail：yangsy@mail.cigem.gov.cn