結(jié)構(gòu)光投影三維面形測量及紋理貼圖方法

向卓龍，張啟燦，吳周杰

四川大學(xué)電子信息學(xué)院，四川 成都 610065

1 引 言

三維傳感技術(shù)已成為時(shí)下研究熱點(diǎn)，其中的光學(xué)三維傳感方法發(fā)展勢頭迅猛，并以非接觸、高精度、測量速度快等優(yōu)點(diǎn)獲得了業(yè)界學(xué)者們的青睞。目前，光學(xué)三維傳感技術(shù)已在機(jī)器視覺、工業(yè)檢測、文物保護(hù)、生物醫(yī)學(xué)、影視特技、虛擬現(xiàn)實(shí)等領(lǐng)域得到廣泛應(yīng)用[1-8]。

雙目立體視覺[9-11]屬于被動(dòng)三維傳感技術(shù)，其結(jié)構(gòu)簡單、操作便捷，不需要人為提供光照條件，僅用兩套成像系統(tǒng)獲取二維圖像完成三維面形的重建。然而，該技術(shù)在弱紋理區(qū)域容易產(chǎn)生匹配的多義性，導(dǎo)致相關(guān)操作難以進(jìn)行。為了解決這個(gè)問題，業(yè)內(nèi)提出了將主動(dòng)傳感與被動(dòng)傳感相結(jié)合的方法，即在雙目立體視覺的條件下，使用結(jié)構(gòu)光對(duì)被測物體進(jìn)行輔助照明[12-14]，增加雙目匹配時(shí)的對(duì)應(yīng)特征點(diǎn)。即使在弱紋理區(qū)域，利用結(jié)構(gòu)光的相位信息也可準(zhǔn)確實(shí)現(xiàn)雙目系統(tǒng)的匹配。

隨著應(yīng)用需求的發(fā)展，物體三維數(shù)據(jù)的數(shù)字化不再單單以獲得物體的高精度三維模型尺寸信息為最終目的。讓三維模型表面附著上場景真實(shí)的顏色和紋理信息，使重建三維模型具有更強(qiáng)烈的真實(shí)感，同樣也成為三維重建中不可或缺的一部分。因此，紋理映射技術(shù)應(yīng)運(yùn)而生，最早提出紋理映射概念的是Catmull[12]，他給出了以像素(u,v)表示的紋理空間和以坐標(biāo)參數(shù)(x,y,z)表示的三維空間之間的映射關(guān)系，隨后Blinn[13]對(duì)該方法進(jìn)行了改進(jìn)，使得紋理映射結(jié)果更加自然。Bier[14]提出了兩步映射法，通過引入中介曲面作為映射媒介，構(gòu)建起從三維模型到紋理圖像的映射關(guān)系。

早期傳統(tǒng)的紋理映射方法大多是通過計(jì)算機(jī)生成紋理信息渲染添加到三維模型中，與物體本身所呈現(xiàn)的紋理樣式差異較大，其三維模型與紋理圖像的映射關(guān)系也并非真實(shí)存在于物理世界之中。學(xué)者們隨后所研究的紋理貼圖方法，則是利用實(shí)際拍攝的彩色照片作為待映射紋理圖像，獲取真實(shí)物體的三維模型與其紋理圖像映射關(guān)系后，將紋理信息賦給三維點(diǎn)云，完成具有高真實(shí)感和還原度的三維重建。

在以實(shí)際拍攝圖片作為紋理信息進(jìn)行映射的研究中，所用方法大致可以分為兩類：一類是不采用額外成像設(shè)備，在三維重建的數(shù)據(jù)記錄過程中同時(shí)拍攝紋理圖像，通過圖像處理方式從所采集圖像中提取物體紋理信息，利用深度圖像與紋理圖像的精確對(duì)應(yīng)完成紋理映射；另一類是采用額外的紋理相機(jī)，該相機(jī)不參與三維重建過程，僅用于拍攝物體的紋理信息，通過確定紋理相機(jī)與重建系統(tǒng)的位姿關(guān)系來達(dá)到紋理映射的目的。第一類研究中由于不需要建立復(fù)雜的映射關(guān)系，因此其重點(diǎn)在于如何獲取紋理圖像。張宗華[15]等通過白光數(shù)字莫爾三維成像系統(tǒng)，利用傅里葉變換方法重建了物體的三維點(diǎn)云并從編碼條紋中提取出不含條紋的R、G、B 三分量信息，通過組合變換得到彩色紋理圖像。孫士杰[16]等通過彩色編碼的正弦相移光柵，通過改進(jìn)的“2+1”相移算法實(shí)現(xiàn)了物體的三維面形重建并得到了彩色紋理信息。Liu[17]利用一個(gè)單色相機(jī)，通過投影儀投影三幅不同頻率的正弦條紋和三幅均勻的R、G、B 灰度圖案，利用傅里葉變換方法恢復(fù)物體的三維面形，所采集到的三幅R、G、B 灰度圖像用于消除零頻項(xiàng)的影響并同時(shí)用來組合生成物體的彩色紋理。

第一類研究中，在獲得了物體的紋理信息后，即可簡單、精確地實(shí)現(xiàn)紋理映射，但其紋理圖像單一且分辨率受限。此外，彩色相機(jī)同時(shí)用于重建三維面形和獲取二維紋理信息，通常會(huì)因?yàn)轭伾當(dāng)_問題而影響三維重建的質(zhì)量。

第二類研究中，Zhang[18]等通過一個(gè)額外的彩色相機(jī)獲取物體的紋理信息，再用事先標(biāo)定好彩色相機(jī)與黑白相機(jī)之間的關(guān)系來完成紋理映射。隨后Ou[19]等為獲得自然光照下的物體紋理信息，利用近紅外相機(jī)標(biāo)定過程中已有的棋盤格信息直接確定三維點(diǎn)云與紋理圖像像素點(diǎn)間的映射關(guān)系。劉星明[20]等通過將紋理相機(jī)加入雙目結(jié)構(gòu)光系統(tǒng)中并保持它們之間的相對(duì)位姿關(guān)系不變，事先標(biāo)定好紋理相機(jī)與雙目系統(tǒng)的位姿關(guān)系，將不同視角下的點(diǎn)云以及紋理信息統(tǒng)一到同一坐標(biāo)系下，完成了多視角的點(diǎn)云拼接及紋理映射。杜瑞建[21]等在雙目結(jié)構(gòu)光基礎(chǔ)上增加一個(gè)長焦相機(jī)去獲取高分辨率圖像，通過二維特征匹配構(gòu)建紋理圖像雙目左圖的單應(yīng)性矩陣，以其為橋梁構(gòu)建起三維點(diǎn)云與紋理圖像的映射關(guān)系，得到了高分辨率的紋理映射結(jié)果。趙琳敬[22]通過標(biāo)定旋轉(zhuǎn)軸參數(shù)，得到相機(jī)旋轉(zhuǎn)角度與左右相機(jī)外參數(shù)變化關(guān)系，在旋轉(zhuǎn)角度已知的條件下，可以確定不同視角的紋理圖像與三維點(diǎn)云間的對(duì)應(yīng)關(guān)系。

為了增強(qiáng)紋理信息記錄和映射的工程實(shí)用性，本文針對(duì)如何獲取高精度三維面形重建數(shù)據(jù)、無彩色相機(jī)條件下紋理映射及額外增加彩色相機(jī)情況下的自由紋理映射等內(nèi)容展開研究，總結(jié)提出了三種不同場景下的紋理信息獲取和映射方法。在三維重建環(huán)節(jié)采用了雙目與條紋結(jié)構(gòu)光相結(jié)合的測量方案，保證了對(duì)待測物體的高精度三維面形測量。在紋理映射環(huán)節(jié)，依照不同的使用場景，設(shè)計(jì)了在無彩色相機(jī)條件下，利用固有的雙目系統(tǒng)去獲取灰度紋理及彩色紋理的方案；為了獲取豐富的多視角紋理，采用分辨率高、操作簡單的智能手機(jī)作為額外的紋理相機(jī)，提出了兩種紋理映射方案，僅只對(duì)紋理相機(jī)初始標(biāo)定一次，即可簡單、準(zhǔn)確地完成自由紋理映射目標(biāo)。

2 原 理

2.1 固定視角紋理映射原理

本節(jié)針對(duì)于無彩色成像設(shè)備條件下的紋理映射任務(wù)展開研究，在利用雙目結(jié)構(gòu)光(條紋)方案重建被測物體的三維(3D)點(diǎn)云數(shù)據(jù)時(shí)，可以直接利用雙目系統(tǒng)本身的兩個(gè)相機(jī)同時(shí)獲取被測物體的紋理信息。由于紋理信息以及點(diǎn)云重建的數(shù)據(jù)都來自同一個(gè)傳感器，且視角固定不變，不涉及復(fù)雜映射關(guān)系的建立，僅需將雙目端獲取的紋理圖像同樣進(jìn)行極線校正，即可保證3D 點(diǎn)云與紋理圖像像素點(diǎn)的一一對(duì)應(yīng)。因此，該方法的關(guān)鍵在于如何獲取物體在雙目成像端的紋理信息。

通過將雙目相機(jī)所拍攝到的相移條紋圖樣算術(shù)平均消去條紋強(qiáng)度周期分布，即可得到被測場景的灰度紋理信息，將其對(duì)應(yīng)的灰度賦值給3D 點(diǎn)云，即可完成灰度紋理貼圖。

在3D 點(diǎn)云和紋理數(shù)據(jù)獲取的視角固定情況下，也可以獲取到被測場景的彩色紋理信息，具體流程如圖1 所示。使用三頻相位展開方法，利用測量系統(tǒng)中的投影儀R、G、B 三通道分別投影三個(gè)周期數(shù)t分別為1、√、S(本實(shí)驗(yàn)中S=64)的四步相移條紋(共12 幅)到測量視場中，將三個(gè)頻率相移條紋圖樣各自算術(shù)平均消去條紋強(qiáng)度周期分布，獲得物體在R、G、B 單色光投影下的調(diào)制圖像，組合這三幅調(diào)制圖像并進(jìn)行顏色校正，即可得到彩色紋理圖像。誠然，如果雙目系統(tǒng)采用兩個(gè)彩色相機(jī)進(jìn)行測量，也可以直接投影三頻相移黑白條紋，通過求取相移條紋圖均值獲得對(duì)應(yīng)彩色紋理。

圖1 固定視角彩色紋理信息獲取流程Fig.1 Flow chart of the acquiring color texture information from fixed viewing angle

2.2 自由紋理映射原理

所謂自由紋理映射，是在保持焦距不變的條件下，紋理相機(jī)可以自由移動(dòng)，利用不同擺放姿態(tài)拍攝目標(biāo)的紋理圖片完成紋理貼圖。

要完成自由紋理映射，關(guān)鍵是在紋理相機(jī)位置發(fā)生改變時(shí)也要能準(zhǔn)確獲得其與雙目系統(tǒng)的外方位參數(shù)。本文提出在被測場景上增設(shè)標(biāo)記點(diǎn)，事先標(biāo)定得到紋理相機(jī)的內(nèi)部參數(shù)，當(dāng)紋理相機(jī)任意移動(dòng)拍圖時(shí)，將被測物體紋理和標(biāo)記點(diǎn)信息一起獲得，通過標(biāo)記點(diǎn)及時(shí)反映紋理相機(jī)的當(dāng)前位置姿態(tài)。利用標(biāo)記點(diǎn)在世界坐標(biāo)系、紋理相機(jī)圖像像素坐標(biāo)系和雙目左相機(jī)圖像像素坐標(biāo)系中的坐標(biāo)位置變換關(guān)系，完成自由移動(dòng)的紋理相機(jī)和雙目系統(tǒng)的坐標(biāo)位置轉(zhuǎn)換，再根據(jù)成像模型得到3D 點(diǎn)云與紋理像素的對(duì)應(yīng)關(guān)系，最終完成自由紋理的貼圖[23]，其原理如圖2 所示。

圖2 自由紋理映射原理示意圖Fig.2 Schematic diagram of the free texture mapping

以圖中紅圈所標(biāo)識(shí)的四個(gè)點(diǎn)作為空間位置已知的共面標(biāo)記點(diǎn)，通過這四個(gè)點(diǎn)已知的空間坐標(biāo)及它們?cè)谧笙鄼C(jī)和紋理相機(jī)像平面上的像素坐標(biāo)可以求出標(biāo)記點(diǎn)平面與左相機(jī)以及紋理相機(jī)像平面間的單應(yīng)性矩陣H1和H2，由已知的紋理相機(jī)和左相機(jī)的內(nèi)參即可求得該靶標(biāo)坐標(biāo)系與兩個(gè)坐標(biāo)系間的外參R1、t1和R2、t2。由此，以該靶標(biāo)平面坐標(biāo)系為橋梁，即可構(gòu)建其左相機(jī)與自由紋理相機(jī)間的位姿關(guān)系，該位姿關(guān)系和已知的紋理相機(jī)內(nèi)參數(shù)聯(lián)合構(gòu)建起3D 點(diǎn)云到紋理圖像的映射關(guān)系，將2D 點(diǎn)的RGB 值對(duì)應(yīng)賦值給3D 點(diǎn)云，即可完成自由紋理映射[23]。

2.3 無約束自由視角紋理映射原理

利用增設(shè)標(biāo)記點(diǎn)來確定雙目系統(tǒng)與紋理相機(jī)之間的位姿關(guān)系，實(shí)現(xiàn)自由紋理映射的方法，對(duì)物體本身的紋理特征沒有要求，但該方法依賴于輔助存在的標(biāo)記點(diǎn)，需要在視場中設(shè)置四個(gè)已知空間位置的標(biāo)記點(diǎn)，對(duì)某些測量場景來說不太方便、不適用。

針對(duì)紋理特征較為明顯、紋理信息比較豐富的被測場景，我們提出一種新的紋理映射方法，在不增設(shè)額外標(biāo)記點(diǎn)的條件下，通過自由紋理相機(jī)所拍到的彩色紋理圖像與雙目相機(jī)所拍到的灰度紋理圖像建立起3D 點(diǎn)云與紋理圖像之間的映射關(guān)系。該方法希望能擺脫自由紋理映射任務(wù)對(duì)標(biāo)記點(diǎn)的依賴，利用物體本征存在的特征信息完成自由紋理映射。

該方法具體過程是：首先采用特征檢測算法對(duì)雙目左相機(jī)捕獲的灰度紋理圖像與紋理相機(jī)記錄的彩色紋理圖像進(jìn)行特征檢測與提取，隨后將兩幅圖中所提取到的特征進(jìn)行匹配，并利用誤匹配點(diǎn)消除算法剔除無效匹配點(diǎn)，獲得正確的匹配點(diǎn)對(duì)。由于在三維重建過程中已經(jīng)得到了左相機(jī)每個(gè)像素所對(duì)應(yīng)的3D 點(diǎn)云數(shù)據(jù)，因此以左相機(jī)圖像上的像素點(diǎn)為媒介，可以建立起匹配點(diǎn)與3D 點(diǎn)云的對(duì)應(yīng)關(guān)系，也就得到了若干組空間點(diǎn)在左相機(jī)坐標(biāo)系下的坐標(biāo)位置以及它們?cè)诩y理圖像上的像素坐標(biāo)。本質(zhì)上，該過程是已知N組3D 到2D 的對(duì)應(yīng)點(diǎn)關(guān)系及相機(jī)內(nèi)參，求解世界坐標(biāo)系(左相坐標(biāo)系下)與紋理相機(jī)坐標(biāo)系之間的外方位參數(shù)關(guān)系問題，也即N點(diǎn)透視(perspective n-point,PnP)問題求解。

該方法原理如圖3 所示。首先利用雙目結(jié)構(gòu)光方案獲取物體在左相機(jī)坐標(biāo)系下的3D 點(diǎn)云，將左相機(jī)記錄的變形條紋圖像算術(shù)平均消去條紋強(qiáng)度周期分布得到灰度紋理分布，采用SURF 算法將其與自由紋理相機(jī)灰度化的紋理圖像進(jìn)行特征檢測及匹配，對(duì)匹配結(jié)果采用RANSAC 算法并輔以少量人工干預(yù)進(jìn)行誤匹配消除，獲得N組正確的匹配點(diǎn)(如圖中黃色線條所示)。由于在雙目結(jié)構(gòu)光重建過程中已建立起左相機(jī)圖像像素與3D 點(diǎn)云之間的對(duì)應(yīng)關(guān)系，因此，左相機(jī)圖像中的N個(gè)匹配點(diǎn)也可找到其在3D 點(diǎn)云中的N個(gè)對(duì)應(yīng)點(diǎn)，以左相機(jī)圖像為媒介，得到了左相機(jī)坐標(biāo)系下3D 點(diǎn)與紋理圖像2D 點(diǎn)的N組對(duì)應(yīng)(圖中綠色線條所示)。

圖3 無約束自由紋理映射方法原理示意圖Fig.3 Schematic diagram of the unconstrained free texture mapping method

通過EPnP 算法[24]求解左相機(jī)坐標(biāo)系與自由紋理相機(jī)坐標(biāo)系之間的外方位參數(shù)R、t，且紋理相機(jī)內(nèi)參Atc已由預(yù)先標(biāo)定獲得，根據(jù)相機(jī)成像模型，即可構(gòu)建起左相機(jī)坐標(biāo)系下點(diǎn)云與自由紋理圖像之間的映射關(guān)系。此時(shí)通過映射關(guān)系建立的3D 點(diǎn)云對(duì)應(yīng)2D紋理圖像坐標(biāo)為亞像素坐標(biāo)，為了得到更為準(zhǔn)確的紋理映射結(jié)果，對(duì)紋理圖像進(jìn)行雙線性插值操作得到紋理圖像亞像素的RGB 值并將其賦給對(duì)應(yīng)空間點(diǎn)，完成紋理貼圖。

3 實(shí)驗(yàn)結(jié)果

3.1 實(shí)驗(yàn)裝置介紹

圖4(a)中由兩臺(tái)Imageware 公司IDS UI-2250SE黑白相機(jī)和一臺(tái)可投影R、G、B 三色條紋的DLP Light Crafter 4500 投影儀(其分辨率為912 pixels×1140 pixels)，構(gòu)成的雙目結(jié)構(gòu)光三維測量系統(tǒng)，用于進(jìn)行固定視角下的紋理映射實(shí)驗(yàn)。IDS 相機(jī)分辨率為1600 pixels×1200 pixels，鏡 頭 為AVENIR CCTV LENS SE1212 精工鏡頭，焦距為12 mm。圖4(b)所示的系統(tǒng)用于進(jìn)行自由紋理映射實(shí)驗(yàn)，在圖4(a)的基礎(chǔ)上額外增加了一個(gè)手持可自由移動(dòng)的蘋果iPhone7 手機(jī)作為紋理相機(jī)，手機(jī)(紋理相機(jī)) 分辨率4032 pixels×3024 pixels，投影儀更換為只能投影黑白灰度條紋的福州巨維達(dá)PDC03 投影儀，其分辨率為1140 pixels×912 pixels。

圖4 實(shí)驗(yàn)裝置圖。(a) 固視紋理映射實(shí)驗(yàn)裝置；(b) 自由視角紋理映射實(shí)驗(yàn)裝置Fig.4 Experimental setup of (a) fixed-view texture mapping and (b) free-view texture mapping

3.2 固定視角紋理映射實(shí)驗(yàn)結(jié)果

對(duì)一個(gè)羊臉面具進(jìn)行了三維重建及固定視角下的灰度與彩色紋理映射實(shí)驗(yàn)，其實(shí)物如圖5 所示。

圖5 羊臉面具實(shí)物Fig.5 Sheep face mask to be measured

使用圖4(a)所示雙目結(jié)構(gòu)光三維重建系統(tǒng)投影儀的RGB 三通道分別投影三種頻率正弦條紋。將左相機(jī)采集到的三種頻率四步相移圖分別算術(shù)平均得到如圖6(a)～6(c)的結(jié)果，將該三個(gè)結(jié)果進(jìn)行組合，得到如圖6(d)的紋理信息，對(duì)其進(jìn)行白平衡校正，得到如圖6(e)的被測物體彩色紋理信息。

依據(jù)雙目結(jié)構(gòu)光三維重建原理恢復(fù)被測面具的3D 點(diǎn)云如圖7(a)所示，將圖6(e)所示經(jīng)過白平衡校正的紋理信息進(jìn)行貼圖后得到圖7(b)所示的帶彩色紋理信息物體3D 點(diǎn)云結(jié)果。

圖6 羊臉面具紋理。(a) 低頻(R 通道)灰度紋理；(b) 中頻(G 通道)灰度紋理；(c) 高頻(B 通道)灰度紋理；(d) 未校正的彩色紋理；(e) 校正后的彩色紋理Fig.6 Sheep face mask texture.(a) Low frequency (R channel) grayscale texture;(b) Intermediate frequency (G channel) grayscale texture;(c) High frequency (B channel) grayscale texture;(d) Uncorrected color texture;(e) Corrected color texture

圖7 羊臉面具的三維重建與紋理映射結(jié)果。(a) 羊臉3D 點(diǎn)云；(b) 校正彩色紋理貼圖結(jié)果Fig.7 3D reconstruction and texture mapping results of sheep face mask.(a) 3D point cloud of sheep face;(b) Corrected color texture mapping result

需要注意的是，該方法會(huì)存在因被測物體紋理顏色單一、且與高頻條紋顏色互補(bǔ)時(shí)，所獲取到的條紋圖質(zhì)量下降、影響相位質(zhì)量的問題。因此，使用該方法時(shí)應(yīng)根據(jù)被測物體主要紋理顏色分布，調(diào)節(jié)、交換三組相移條紋圖的投影顏色，保證最高頻率條紋投影顏色盡可能與物體主要紋理顏色最接近，以確保獲得可靠的相位質(zhì)量。

3.3 自由紋理映射實(shí)驗(yàn)結(jié)果

陶瓷貓臉模型重建3D 點(diǎn)云的兩個(gè)姿態(tài)結(jié)果如圖8 所示，紋理相機(jī)在不同角度下所拍攝的紋理圖片如圖9(a)～9(b)所示，其所對(duì)應(yīng)的兩個(gè)姿態(tài)下紋理映射結(jié)果分別如圖9(c)～9(d)和圖9(e)～9(f)所示。

圖8 不同視角下的陶瓷貓臉重建3D 點(diǎn)云Fig.8 Reconstructed 3D point clouds of a ceramic cat face from different perspectives

圖9 紋理相機(jī)在不同位置獲得陶瓷貓臉2D 紋理及其映射結(jié)果。(a)～(b) 紋理相機(jī)自由拍攝的2 幅紋理；(c)～(f) 分別對(duì)應(yīng)于(a)～(b)紋理不同視角下的映射結(jié)果Fig.9 2D textures of a ceramic cat face obtained from different positions by the texture camera and their mapping results.(a)～(b) Texture images freely captured by the texture camera;(c)～(f) Texture mapping results in different perspective views

從實(shí)驗(yàn)結(jié)果可以看出，從不同角度拍攝的紋理圖像都與3D 點(diǎn)云進(jìn)行了較好的映射，未出現(xiàn)紋理走樣、偽像等情況，且能有效表達(dá)由不同角度所帶來的紋理之間差異，如亮度不同及反光點(diǎn)的移位等都很好地體現(xiàn)在紋理映射結(jié)果上，實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法的可行性。

3.4 無約束自由紋理映射實(shí)驗(yàn)結(jié)果

被測物體分別為表面有豐富紋理信息的人臉面具和狐貍面具，其實(shí)物圖如圖10 所示。

圖10 待測物體實(shí)物圖。(a) 人臉面具；(b) 狐貍面具Fig.10 Object to be measured.(a) Human face mask;(b) Fox mask

通過前文所介紹的雙目結(jié)構(gòu)光三維測量方案對(duì)待測物體進(jìn)行三維面形重建，在重建獲得被測物體的3D 點(diǎn)云后，為驗(yàn)證所提方法能夠?qū)崿F(xiàn)自由紋理映射的目標(biāo)(即可將自由角度拍攝的紋理信息對(duì)應(yīng)映射到3D 點(diǎn)云表面)，分別用紋理相機(jī)在三個(gè)不同角度獲取了物體的紋理信息，下文將簡單稱其為“紋理1”、“紋理2”、“紋理3”，將它們與雙目系統(tǒng)所拍攝的灰度紋理圖像進(jìn)行特征匹配，通過EPnP 算法計(jì)算其與雙目系統(tǒng)的外方位參數(shù)關(guān)系。左右相機(jī)圖像均可用來參與以上過程，以所能獲取正確匹配點(diǎn)對(duì)的數(shù)量作為選擇標(biāo)準(zhǔn)，在數(shù)量相當(dāng)時(shí)，默認(rèn)選擇左相機(jī)圖像參與運(yùn)算過程。

人臉面具與雙目系統(tǒng)左相機(jī)的外方位參數(shù)如表1所示，紋理相機(jī)在三個(gè)不同角度所拍攝到的物體紋理圖如圖11 所示，三維重建及紋理映射結(jié)果如圖12 所示，圖12(a)、12(e)、12(i)分別為人臉面具點(diǎn)云的三視圖，圖12(b)、12(f)、12(j)、12(c)、12(g)、12(k)、12(d)、12(h)、12(l)分別為與圖11(a)～11(c)對(duì)應(yīng)紋理映射結(jié)果的三視圖。由映射結(jié)果可以看到，貼圖結(jié)果與所拍攝物體的紋理信息一致，由于物體面形遮擋而導(dǎo)致某些區(qū)域紋理信息的缺失，這些區(qū)域的3D 點(diǎn)云紋理信息將表現(xiàn)為光心與該區(qū)域點(diǎn)的連線與物體上可見區(qū)域交點(diǎn)的紋理信息。如圖11(c)所示的紋理3 中，由于面形遮擋導(dǎo)致的左眼區(qū)域附近未采集到物體的紋理信息，導(dǎo)致圖12(l)中紅色虛線框區(qū)域紋理信息出現(xiàn)錯(cuò)誤，該錯(cuò)誤信息可以在后期用其他視角的紋理信息進(jìn)行插補(bǔ)彌合。

表1 左相機(jī)與不同位置紋理相機(jī)的外方位參數(shù)Table 1 External orientation parameters of the left camera and the texture camera at different positions

圖11 紋理相機(jī)在三個(gè)不同角度所拍攝到的人臉面具紋理圖片F(xiàn)ig.11 Texture images of human face mask captured by texture camera at three different angles

圖12 人臉面具的三維重建與紋理映射結(jié)果。(a) 重建點(diǎn)云結(jié)果；(b)～(d) 紋理1～3 映射結(jié)果；(e)～(h) 對(duì)應(yīng)于(a)～(d)結(jié)果的左視圖；(i)～(l) 對(duì)應(yīng)于(a)～(d)結(jié)果的右視圖Fig.12 3D reconstruction and texture mapping results of human face mask.(a) Reconstructed point cloud results;(b)～(d) Mapping results of texture 1～3;(e)～(h) Left view corresponding to (a)～(d) results;(i)～(l) Right view corresponding to (a)～(d) results

該方法第二個(gè)實(shí)驗(yàn)中，紋理相機(jī)在三個(gè)不同角度所拍攝到的狐貍面具紋理圖片如圖13 所示。同理，在獲得狐貍面具與雙目系統(tǒng)左相機(jī)的外方位參數(shù)后，三維重建及紋理映射結(jié)果如圖14 所示，圖14(a)、14(e)、14(i)分別為狐貍面具點(diǎn)云的三視圖，圖14(b)、14(f)、14(j)、14(c)、14(g)、14(k)、14(d)、14(h)、14(l)分別為與圖13(a)～13(c)對(duì)應(yīng)紋理映射結(jié)果的三視圖，由映射結(jié)果可以看到，貼圖結(jié)果與所拍攝物體的紋理信息一致，貼圖結(jié)果準(zhǔn)確。

圖13 紋理相機(jī)在三個(gè)不同角度所拍攝到的狐貍面具紋理圖片F(xiàn)ig.13 Texture images of the fox mask captured by texture camera at three different angles

圖14 狐貍面具的三維重建與紋理映射結(jié)果。(a) 重建點(diǎn)云結(jié)果；(b)～(d) 紋理1～3 映射結(jié)果；(e)～(h) 對(duì)應(yīng)于(a)～(d)結(jié)果的左視圖；(i)～(l) 對(duì)應(yīng)于(a)～(d)結(jié)果的右視圖Fig.14 3D reconstruction and texture mapping results of the fox mask.(a) Reconstructed point cloud results;(b)～(d) Mapping result of texture 1～3;(e)～(h) Left view corresponding to (a)～(d) results;(i)～(l) Right view corresponding to (a)～(d) results

4 結(jié)論及展望建議

針對(duì)傳統(tǒng)三維重建只恢復(fù)了物體的3D 點(diǎn)云信息，忽略了物體所攜帶的紋理信息這一問題，為了讓物體重建的3D 點(diǎn)云信息更加具有真實(shí)感，對(duì)不同硬件條件、不同待測物體3D 點(diǎn)云的紋理映射方法進(jìn)行了研究。分別提出了不同場景和要求下的紋理映射實(shí)用方法：無額外紋理相機(jī)時(shí)的固定視角灰度或彩色紋理映射方案、對(duì)測量物體紋理特征信息無要求的自由紋理映射方案，以及針對(duì)具有較為豐富紋理特征信息被測物體的無約束自由紋理映射方案，實(shí)驗(yàn)驗(yàn)證了本文提出三種紋理貼圖方法的有效性。本文研究內(nèi)容有望在文物保護(hù)、影視娛樂等領(lǐng)域得到應(yīng)用。

本文所提出的通過增設(shè)標(biāo)記點(diǎn)實(shí)現(xiàn)自由紋理映射的方案中，在待測大場景中設(shè)置空間位置已知且精確的標(biāo)記點(diǎn)較為困難，如何在面臨大場景貼圖工作中對(duì)該方法進(jìn)行改進(jìn)需要進(jìn)一步研究；無約束自由紋理映射方案會(huì)因?yàn)槲矬w面形遮擋致使某些區(qū)域紋理信息的缺失或錯(cuò)誤，后續(xù)將通過多視角紋理獲取和融合等手段解決該部分紋理缺陷問題，實(shí)現(xiàn)3D 測量結(jié)果整個(gè)區(qū)域高質(zhì)量、完整的彩色紋理映射。兩種自由紋理映射方案分別適用于不同測量場景及被測物體，目前尚未設(shè)計(jì)出一種所有場景的自由紋理通用貼圖方案，后續(xù)將針對(duì)所提兩種方案的優(yōu)劣性，嘗試做深入研究。