基于RGB-D相機的多視角機械零件三維重建

信寄遙 陳成軍 李東年

摘? ?要：為了低成本且高效的實現(xiàn)對機械零件的三維重建和參數(shù)測量，研究了利用RGB-D相機從6個角度拍攝機械零件，獲得零件不同角度的深度圖像與彩色圖像，通過坐標(biāo)轉(zhuǎn)換將深度圖像轉(zhuǎn)換成點云數(shù)據(jù)。首先利用濾波算法去除點云噪聲，分割出機械零部件的點云數(shù)據(jù)，并利用PCA主成分分析法計算點云數(shù)據(jù)的法向量;使用最近點迭代算法（ICP）實現(xiàn)相鄰三視角點云數(shù)據(jù)的配準(zhǔn)，得到正背面的點云，將正背面點云進(jìn)行旋轉(zhuǎn)融合得到最終的目標(biāo)點云數(shù)據(jù);最后使用泊松重建算法得到完整閉合的零件三維模型。實驗結(jié)果表明本文的三維重建方法具有較好的魯棒性和準(zhǔn)確性，重建得到的三維模型細(xì)節(jié)清晰，點云誤差較小。

關(guān)鍵詞：三維重建;點云配準(zhǔn);模型重構(gòu);最近點迭代算法;Kinect

中圖分類號：TP391.4? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)識別碼：A

3D Reconstruction of Mechanical Parts Using Multi-view RGB-D Images

XIN Ji-yao，CHEN Cheng-jun?，LI Dong-nian

（School of Mechanical & Automotive Engineering，Qingdao University of Technology，Qingdao，Shandong 266520，china）

Abstract：In order to realize the 3D reconstruction and measurement of surface parameters of mechanical parts with low cost and high efficiency，the mechanical parts are taken from 6 angles by RGB-D camera，and the depth and color images of different angles of mechanical part are obtained，and the depth image is converted to point cloud data by coordinate transformation. firstly，the filtering algorithm is used to remove the point cloud noise，and segment the point cloud data of the mechanical components. And Principal Component Analysis （PCA） is ued to calculate the normal vector of the point cloud data. Secondly，by the Iterative Closest Points（ICP）method，the registration of the adjacent three-point point cloud data is realized. So the point cloud on the back side，is rotated and fused to obtain the final target point cloud data. Finally，the Poisson reconstruction algorithm is used to obtain the 3D model. The experimental results show that the proposed 3D reconstruction method has better robustness and accuracy，and the reconstructed 3D model has clear details and less point cloud error.

Key words：3D reconstruction;point cloud registration;model reconstruction;iterative closest points;kinect

三維重建技術(shù)是指通過計算機數(shù)字化手段，建立客觀世界中的三維實體數(shù)學(xué)模型的過程，在虛擬現(xiàn)實、計算機視覺等領(lǐng)域具有很多的應(yīng)用。三維重建技術(shù)通過計算機對采集到的物體點云數(shù)據(jù)進(jìn)行數(shù)字化建模，將物體的三維信息存儲到計算機中，通過獲取的物體三維信息可以對物體進(jìn)行精準(zhǔn)測量和建模，為進(jìn)行逆向工程或者三維建模提供數(shù)據(jù)支持[1]。利用激光掃描儀獲得目標(biāo)物體的數(shù)據(jù)進(jìn)行三維重建在古建筑、文物保護(hù)、工業(yè)零件測量等領(lǐng)域具有廣闊的應(yīng)用前景[2-6]。但是現(xiàn)今的激光掃描儀或者TOF相機在價格上非常昂貴，對于工業(yè)上單一零件的測量成本過高，所以低成本且精確的三維掃描技術(shù)就有了應(yīng)用的空間。

在三維重建方面，Nieβner[7]等實現(xiàn)了基于高效的存儲數(shù)據(jù)結(jié)構(gòu)的大規(guī)模且精細(xì)的實時三維重建系統(tǒng)，提高了三維重建技術(shù)在大規(guī)模環(huán)境中應(yīng)用的性能與質(zhì)量;Izadi[8]等實現(xiàn)了實時的三維重建系統(tǒng)Kinect Fusion，但是該方法不能適應(yīng)快速移動的應(yīng)用場景，且會產(chǎn)生較大的噪聲;Fan[9]等改進(jìn)了現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)生成三維數(shù)據(jù)的方法，提出了一個條件形狀采樣器，能夠從輸入圖像預(yù)測多個合理的三維點云;Tatarchenko[10]等改進(jìn)了編碼器-解碼器網(wǎng)絡(luò)構(gòu)建三維結(jié)構(gòu)的方法，建立了兩種分別執(zhí)行圖像分類和檢索的替代方法，實現(xiàn)了較好的結(jié)果。

選用的三維重建示例為減速器箱體的上殼體，箱體類零件一般是指具有一個以上孔系，內(nèi)部有一定型腔或空腔，在長寬高方向上有一定比例的零件。箱體類零件在機械、汽車、航空航天等行業(yè)受到了廣泛應(yīng)? 用，例如汽車的發(fā)動機缸體、汽車減速器的箱體;各類機床的主軸箱等。箱體類零件將機器或部件中的軸、套、齒輪等有關(guān)零件組成一個整體，使他們之間保持正確的相互位置，并且按照一定的傳動關(guān)系協(xié)調(diào)的傳遞運動或者動力。因此，箱體的加工質(zhì)量會直接影響整個機器或部件的精度、性能和壽命。

提出了一種低成本、高精度的機械零部件三維重建數(shù)字化方法。首先固定住RGB-D相機使其不能移動，按照一定角度（60°）旋轉(zhuǎn)箱體零件，通過RGB-D相機采集到的箱體零件在六個視角下的彩色和深度圖像，對采集到的圖像進(jìn)行預(yù)處理得到六個視角下的點云數(shù)據(jù)，然后通過兩次配準(zhǔn)和融合點云數(shù)據(jù)得到完整的零件點云。此外，對基于該三維重建方法得到的箱體點云進(jìn)行泊松重建處理，得到箱體零件的三維模型。

1? ?基于RGB-D相機的重建流程

實現(xiàn)多視角機械零部件三維重建主要在于將多個視角分別配準(zhǔn)為正面與背面點云然后進(jìn)行二次配準(zhǔn)，整體算法的流程圖如圖1所示。

利用RGB-D相機進(jìn)行三維重建時，首先要獲取機械零部件每個視角的深度圖像與彩色圖像，然后轉(zhuǎn)換得到六個視角的三維點云數(shù)據(jù);分別對三個視角的點云進(jìn)行ICP配準(zhǔn)得到正面以及背面點云，計算中心點進(jìn)行旋轉(zhuǎn)融合得到零件點云;最后用泊松重建算法得到零件的三維模型。

1.1? ?實驗設(shè)備與信息采集

使用的RGB-D設(shè)備為Microsoft Kinect V2 3D體感攝像機，以齒輪減速器箱體為實驗對象，研究機械零部件的多視圖三維重建。

如圖2、3所示，使用Kinect V2攝像機對減速器箱體進(jìn)行拍攝，距離約為70 cm，從6個角度對減速器箱體的點云數(shù)據(jù)采集完成后，按確定的順序手動旋轉(zhuǎn)放置減速器箱體的底座約60°，對減速器箱體的下一個角度進(jìn)行采集，直到完成6個角度的點云數(shù)據(jù)采集。每個視角分別獲取5幀的深度圖像（424像素*512像素）與彩色圖像（1080像素*1920像素），處理得到點云數(shù)據(jù)

1.2? ?點云數(shù)據(jù)的獲取

1.2.1? ?采集范圍的設(shè)置

在利用Kinect傳感器采集點云數(shù)據(jù)之前利用PCL增加條件設(shè)置（add Comparison）過濾掉非條件設(shè)定范圍的點云，防止環(huán)境點云產(chǎn)生過多的干擾。Kinect傳感器拍攝視角的坐標(biāo)軸如圖4所示。對于Z值范圍設(shè)置為：0.001 m

1.2.2? ?深度圖像轉(zhuǎn)換為三維點云

如圖4所示，深度圖像轉(zhuǎn)換為三維點云的過程就是圖像點m（u，v）映射到世界坐標(biāo)系點M（xw，yw，zw）的過程，轉(zhuǎn)換公式表達(dá)如下：

其中u、v為圖像坐標(biāo)系下的任意坐標(biāo)點。u0、v0分別為圖像中的中心坐標(biāo)。xw，yw，zw表示世界坐標(biāo)系下的三維坐標(biāo)點。zc表示相機坐標(biāo)的Z軸值，即目標(biāo)到相機的距離。R、T分別為外參矩陣的3*3旋轉(zhuǎn)矩陣和3*1平移矩陣。

由于世界坐標(biāo)原點和相機原點是重合的，即不需要旋轉(zhuǎn)和平移，因此

由于相機坐標(biāo)系和世界坐標(biāo)系原點重合，因此相機坐標(biāo)與世界坐標(biāo)下的同一物體具有相同的深度，即zc = zw，所以由以上變換矩陣可以得到圖像點 [u，v]T到世界坐標(biāo)點[xw，yw，zw]T的變換公式為：

由于Kinect傳感器自身噪聲和跳動的問題，導(dǎo)致同一視角采集到的深度圖像數(shù)據(jù)有不同程度的變化。在1 s內(nèi)拍攝5幀彩色與深度圖像進(jìn)行融合，可以有效地消除Kinect自身的噪聲和跳動問題，并且可以優(yōu)化點云數(shù)據(jù)的處理效果。本文處理融合后的深度圖像得到的點云數(shù)據(jù)每幅約39000個點。

1.3? ?濾波處理及法向量計算

1.3.1? ?地面點云的去除

Kinect傳感器在采集點云數(shù)據(jù)的時候會將設(shè)定范圍內(nèi)的地面連同減速器箱體及底座全部采集并生成點云，而在后續(xù)進(jìn)行點云配準(zhǔn)和融合的時候地面點云將會干擾法相計算以及配準(zhǔn)，所以需要將地面點云提前去除掉。選用一種簡單有效地方法去除地面點云，即假設(shè)Kinect為水平放置，如圖5所示。先采集一張未放置減速器箱體及底座的點云，該點云即為地面點云。通過遍歷點云中點的三維信息，處理得到地面點云中的Y值（即縱軸）最大值YMax1，即Y值小于YMax1的點即可判定為地面點云中的點，大于YMax1的點可以判定為減速器箱體及底座點云中的點。使用該種方法能夠快速有效的去除地面點云。

1.3.2? ?處理底座與地面的點云

將底座放置在設(shè)定的目標(biāo)區(qū)域內(nèi)，采集得到底座和地面同時存在的點云，如圖6所示，同上對地面點云的處理一樣，假定Kinect傳感器為水平放置，通過遍歷該點云中每個點的三維信息，處理得到該點云中所有點Y值的最大值YMax2。由此可得，Y值小于YMax2且大于YMax1的點為底座的點云，Y值大于YMax2的點為減速器箱體的點云。在后續(xù)對多個視角的點云進(jìn)行配準(zhǔn)時會使用到Y(jié)Max2的值。

1.3.3? ?離群點過濾

通過Kinect傳感器的測量誤差，獲得的點云數(shù)據(jù)集會產(chǎn)生稀疏的離群點，估計局部點云特征的運算很復(fù)雜，這些離群點會產(chǎn)生錯誤的數(shù)值，在后面進(jìn)行搞得點云配準(zhǔn)，本文采用條件濾波法：對每一個點的鄰域進(jìn)行一個統(tǒng)計分析，并修剪掉那些不符合一定標(biāo)準(zhǔn)的點。該方法基于在輸入數(shù)據(jù)中對點到臨近點的距離分布的計算，對每個點計算它到它的所有臨近點的平均距離。假設(shè)得到的結(jié)果是一個高斯分布，其形狀由均值和標(biāo)準(zhǔn)差決定，平均距離在標(biāo)準(zhǔn)范圍（由全局距離平均值和方差定義）之外的點，可被定義為離群點并可以從數(shù)據(jù)集中去除掉。

[2]? ? 張瑞菊，王晏民，李德仁. 快速處理大數(shù)據(jù)量三維激光掃描數(shù)據(jù)的技術(shù)研究[J]. 測繪科學(xué)，2006，31（5）：93-94.

[3]? ? 金濤，陳建良，童水光. 逆向工程技術(shù)研究進(jìn)展[J]. 中國機械工程，2002（16）：1430-1436.

[4]? ? 徐勝勇，盧昆，潘禮禮，等. 基于RGB-D相機的油菜分枝三維重構(gòu)與角果識別定位[J]. 農(nóng)業(yè)機械學(xué)報，2019，50（02）：28-34.

[5]? ? 翟瑞芳，張劍清. 基于激光掃描儀的點云模型的自動拼接[J]. 地理空間信息，2004，2（6）：37-39

[6]? ? 曾月鵬. 基于三維圖像的逆向工程重構(gòu)系統(tǒng)[J]. 現(xiàn)代電子技術(shù)，2018，41（20）：176-179.

[7]? ? NIEBNER M，ZOLLHOFER M，IZADI S，et al. Real-time 3D reconstruction at scale using voxel hashing[J]. ACM Transactions on Graphics，2013，32（6）：1-11.

[8]? ? IZADI S，KIM D，HILLIGES O，et al. Kinect fusion：real-time 3D reconstruction and interaction using a moving depth camera[C]//Proceedings of the 24th annual ACM symposium on User interface software and technology. ACM，2011：559-568.

[9]? ? FAN H，SU H，GUIBAS L J. A point set generation network for 3d object reconstruction from a single image[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017：605-613.

[10]? TATARCHENKO M，RICHTER S R，RANFTL R，et al. What do single-view 3D reconstruction networks learn[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019：3405-3414.

[11]? BESL P J，MCKAY N D. A method for registration of 3-D shapes[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，1992，14（2）：239-256.

[12]? BLAIS G，LEVINE，M.D. Registering multiview range data to create 3D computer objects[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1995，17（8）：820-824.

[13]? KAZHDAN M，BOLITHO M，HOPPE H. Poisson surface reconstruction[C]//Proceedings of the fourth Eurographics symposium on Geometry processing，2006.