基于點(diǎn)陣結(jié)構(gòu)光獲取物體點(diǎn)云的攝影測(cè)量方法

葉子偉 ，陳志

(寧波市測(cè)繪設(shè)計(jì)研究院，浙江 寧波 315042)

1 引 言

隨著近年來(lái)數(shù)字近景攝影測(cè)量、地面三維激光掃描、計(jì)算機(jī)技術(shù)的飛速發(fā)展，離散點(diǎn)數(shù)據(jù)采集的手段和方法越來(lái)越豐富和完善。地面三維激光掃描技術(shù)可以高精度、高密度、高速度地測(cè)量物體表面三維空間坐標(biāo)［1］。但是地面三維激光雷達(dá)儀器設(shè)備較昂貴，而且在數(shù)據(jù)獲取過(guò)程中往往會(huì)由于目標(biāo)遮擋、入射角、材質(zhì)等而造成數(shù)據(jù)空洞，對(duì)于較復(fù)雜的空洞還需要依賴攝影測(cè)量技術(shù)進(jìn)行修補(bǔ)。近景攝影測(cè)量技術(shù)能夠快速方便地獲取物體的真彩色影像，通過(guò)影像匹配能夠快速的生成目標(biāo)點(diǎn)云。但是對(duì)于一些缺乏紋理無(wú)明顯灰度變化的物體如金屬曲面、藝術(shù)雕像、重要文物等，往往會(huì)由于同名點(diǎn)對(duì)數(shù)量較少而造成目標(biāo)點(diǎn)云的密度較小，結(jié)構(gòu)光測(cè)量作為近景攝影測(cè)量的一個(gè)重要分支，能很好地解決這一難題。

結(jié)構(gòu)光測(cè)量是指利用人工光源透過(guò)某種投射模板到待測(cè)物體表面上，用單相機(jī)或多相機(jī)拍攝物體的照片，通過(guò)匹配投影模板特征來(lái)獲取物體表面輪廓的三維坐標(biāo)信息。利用結(jié)構(gòu)光獲取物體三維信息的研究始于上世紀(jì)70年代，隨著這一技術(shù)的發(fā)展出現(xiàn)了利用各種結(jié)構(gòu)光進(jìn)行視覺(jué)測(cè)量的技術(shù)，根據(jù)投射到物體表面上的結(jié)構(gòu)光的圖案形狀，結(jié)構(gòu)光可分為點(diǎn)陣、單線、多線、網(wǎng)格等。熊耀陽(yáng)等［2］通過(guò)結(jié)構(gòu)光對(duì)人體面部外形進(jìn)行測(cè)量和三維重建，李玉廣等［3］結(jié)合雙相機(jī)和結(jié)構(gòu)光對(duì)船艙進(jìn)行三維測(cè)量，陳錚等［4］將結(jié)構(gòu)光運(yùn)用于高溫鍛件測(cè)量。結(jié)構(gòu)光測(cè)量是主動(dòng)式三維測(cè)量的一個(gè)重要分支，具有測(cè)量快速、簡(jiǎn)單、精確、經(jīng)濟(jì)、非接觸性等諸多優(yōu)點(diǎn)。本文基于自主研發(fā)的點(diǎn)陣結(jié)構(gòu)光投射系統(tǒng)進(jìn)行攝影測(cè)量。

2 系統(tǒng)硬件構(gòu)成

本文設(shè)計(jì)的系統(tǒng)硬件主要由以下兩部分組成:

(1)數(shù)字?jǐn)z影測(cè)量系統(tǒng):包括兩部數(shù)碼相機(jī)、連接相機(jī)的固定桿、同步快門(mén)、電池及三腳架。

相機(jī)的選擇并非具有唯一性，綜合性能、尺寸、成像效果等多種因素，本文的左右相機(jī)均采用Canon EOS 100D 相機(jī)實(shí)現(xiàn)圖像立體測(cè)量。Canon EOS 100D的有效像素為1 800萬(wàn)，分辨率為5 184×3 456，機(jī)身重量370 g，顯示屏尺寸為3 英寸。同步控制器能使左右相機(jī)同時(shí)曝光拍攝物體影像。裝置如圖1所示。

圖1 立體相機(jī)

(2)結(jié)構(gòu)光投射系統(tǒng):包括一個(gè)點(diǎn)陣結(jié)構(gòu)光投射器、供電電源及一臺(tái)標(biāo)線儀。

點(diǎn)陣結(jié)構(gòu)光散射器由16 個(gè)激光頭組成，每個(gè)激光頭均能向物體表面投射若干個(gè)綠色激光點(diǎn)。標(biāo)線儀型號(hào)為Sincon SL－445P，能投射4 條垂直的紅線和4 條水平的紅線，用來(lái)增加更多的紋理。裝置如圖2所示。

圖2 結(jié)構(gòu)光投射系統(tǒng)及拍攝效果圖

3 獲取物體DSM 數(shù)據(jù)

3.1 基于多片空間后方交會(huì)的相機(jī)檢校

影響攝影測(cè)量成果精度的重要因素之一是相機(jī)的技術(shù)參數(shù)，因此相機(jī)技術(shù)參數(shù)的檢校是保證成果質(zhì)量能否滿足精度要求的關(guān)鍵問(wèn)題之一［5］。常用的相機(jī)標(biāo)定法有張正友平面標(biāo)定法、TSAI 的RAC 兩步標(biāo)定法、自標(biāo)定法和傳統(tǒng)的基于三維控制場(chǎng)的標(biāo)定方法等。本文采用基于室內(nèi)精密三維控制場(chǎng)的標(biāo)定方法，這種方法利用布設(shè)在室內(nèi)三維控制場(chǎng)作為控制信息，采用空間后方交會(huì)的方法，解算相片的標(biāo)定參數(shù)。

基于空間后方交會(huì)的相機(jī)檢校是一種依據(jù)共線條件方程式以像點(diǎn)坐標(biāo)作為觀測(cè)值V，在解求相片內(nèi)方位元素X內(nèi)和某些附加參數(shù)Xad的同時(shí)解求相片外方位元素X外。公式表達(dá)如下:

V=AX外+BX內(nèi)+CXad－L

式中A、B、C 為系數(shù)矩陣，即:

其中:

上式中α1、α2、β1、β2等參數(shù)項(xiàng)分別表示徑向畸變項(xiàng)和偏心畸變項(xiàng)等參數(shù)項(xiàng)。假設(shè)拍攝了3 張相片1、2、3，每片上有n 個(gè)公用點(diǎn)1、2、…、n，有4 個(gè)附加參數(shù)α1、α2、β1、β2，那么誤差方程可表示為:

上式中:

進(jìn)一步化為:

運(yùn)用最小二乘原理VT×V=min，求得各未知參數(shù)X1－外、X2－外、X3－外、X內(nèi)和Xad。以上的解算過(guò)程是一個(gè)逐次迭代過(guò)程。對(duì)兩個(gè)相機(jī)分別進(jìn)行檢校實(shí)驗(yàn)，得到的檢校結(jié)果如表1所示。

表1 相機(jī)檢校結(jié)果

衡量檢校精度的指標(biāo)有:前方交會(huì)點(diǎn)位誤差、物方坐標(biāo)反投影誤差、核線誤差等。比如檢查前方交會(huì)點(diǎn)位誤差，在兩張影像上分別均勻選取10 對(duì)標(biāo)志點(diǎn)，利用標(biāo)定的參數(shù)進(jìn)行前方交會(huì)，并與控制點(diǎn)三維坐標(biāo)對(duì)比，計(jì)算得到前方交會(huì)點(diǎn)位誤差為0.4 mm。根據(jù)此檢校結(jié)果可以進(jìn)一步得到右相機(jī)相對(duì)于左相機(jī)的位置及姿態(tài)。

3.2 提取特征點(diǎn)

由于本文的點(diǎn)陣結(jié)構(gòu)光投射到物體表面上的激光點(diǎn)不是均勻的圓形標(biāo)志點(diǎn)，無(wú)法利用邊緣檢測(cè)和擬合算法提取出激光光斑中心，故本文提出如下激光光斑中心提取方案。

(1)二值化

彩色圖像有R、G、B 三個(gè)通道，由于本文采用的結(jié)構(gòu)光為綠色點(diǎn)陣結(jié)構(gòu)光，綠色激光點(diǎn)在G 通道上比R、B 通道上的灰度值高，故能通過(guò)閾值變換提取出綠色激光點(diǎn)。實(shí)驗(yàn)時(shí)設(shè)置了閾值T1、T2和T3，用公式(4)進(jìn)行二值化將圖像轉(zhuǎn)換成二值圖像。

本文根據(jù)拍攝的影像的效果，設(shè)定的顏色分量閾值為G≥200，R≤100，B≤100，對(duì)影像進(jìn)行二值化。

(2)聚類

由于二值化提取出的點(diǎn)都是離散的，我們必須把它們聚類，即哪些點(diǎn)組合成一個(gè)類(即一個(gè)激光光斑)，假設(shè)所有點(diǎn)構(gòu)成一個(gè)容器R，算法如下:

①取R 中的第一個(gè)點(diǎn)(假設(shè)為a)作為種子點(diǎn)，遍歷R 中剩下的所有的點(diǎn)(假設(shè)為b)，判斷點(diǎn)a 的橫坐標(biāo)x 和b 的x 之差以及a 的y 和b 的y 之差是否都小于20 個(gè)像素(根據(jù)拍攝的影像效果可知投射距離為1.5 m～6 m時(shí)激光光斑的輻射半徑為20 個(gè)像素左右)，如果小于20 個(gè)像素，則把它們歸為一類(為了降低時(shí)間復(fù)雜度，把b 從R 中彈出)，如果大于20 個(gè)像素，不作處理，這樣一趟比較下來(lái)，得到了一個(gè)類C1;

②重復(fù)第一步，依次得到類C2、C3、C4…;

③取每一個(gè)類中所有點(diǎn)的x、y 坐標(biāo)平均值作為每一個(gè)類的中心點(diǎn)(重心化)，即代表提取出的特征點(diǎn)。

3.3 基于核線約束的影像匹配

一個(gè)立體像對(duì)是雙像立體測(cè)圖的量測(cè)單元，假設(shè)有兩像片k1和k2，其投影中心分別為s1和s2，攝影基線s1s2與某個(gè)地面點(diǎn)P 所構(gòu)成的平面稱為P 點(diǎn)的核面，核面與像片平面的交線l1、l2即為核線。由于同名像點(diǎn)必位于同名核線上，因此可以在同名核線上搜索同名點(diǎn)，縮小了匹配的范圍，提高了匹配的速度和精度。本文采用文獻(xiàn)［6］的基于共面條件確定同名核線的算法。

影像匹配是提取物體三維信息的基礎(chǔ)，影像匹配的精度對(duì)于生成的點(diǎn)云質(zhì)量起著決定性的作用。匹配是立體視覺(jué)中的復(fù)雜且重要的環(huán)節(jié)，大多數(shù)的匹配算法基于紋理特征實(shí)現(xiàn)。本文匹配的難點(diǎn)在于:

(1)投影在物體表面上的激光點(diǎn)的形狀相似，很難從紋理上區(qū)分;

(2)特征點(diǎn)很多，一條核線上可能有很多特征點(diǎn);

(3)即使左右像片都提取到了特征點(diǎn)，但并不是左右一一對(duì)應(yīng)的，也就是說(shuō)，左片中提取了，右片中不一定能提取到;

據(jù)此本文設(shè)計(jì)的影像匹配的技術(shù)流程如圖3所示:

圖3 影像匹配流程

詳細(xì)匹配步驟說(shuō)明如下:

①首先根據(jù)3.2 中的特征點(diǎn)的提取算法，從左右像片分別提取到了特征點(diǎn)集Pleft、Pright;

②從特征點(diǎn)集Pleft中選取一個(gè)待匹配點(diǎn)a，遍歷Pright中的每個(gè)點(diǎn)，進(jìn)行視差約束，即平行攝影情況下，一般同名點(diǎn)在左圖像上的x 坐標(biāo)會(huì)大于右圖像上的x坐標(biāo)，若不滿足該條件，則不是匹配點(diǎn)，若滿足該條件，將Pright中的點(diǎn)構(gòu)成一個(gè)點(diǎn)集P1;

③遍歷P1中的每個(gè)點(diǎn)，進(jìn)行核線約束，即計(jì)算P1中的點(diǎn)到相應(yīng)右核線的距離△d，設(shè)定核線閾值ε(由第一節(jié)中的標(biāo)定結(jié)果可設(shè)定ε 為3 個(gè)像素)，將△d 小于ε 的點(diǎn)構(gòu)成一個(gè)點(diǎn)集P2;

④遍歷P2中的每個(gè)點(diǎn)，進(jìn)行前交距離約束，即將待匹配點(diǎn)a 和P2中的每點(diǎn)進(jìn)行前方交會(huì)得到前交點(diǎn)，如果前交點(diǎn)到相機(jī)的距離在閾值(最小測(cè)距1.5 m，最大6 m)范圍之內(nèi)，將P2中滿足該條件的點(diǎn)構(gòu)成一個(gè)點(diǎn)集P3;

⑤以待匹配點(diǎn)a 為中心設(shè)定一個(gè)目標(biāo)窗口(窗口內(nèi)的影像包含了待匹配點(diǎn)周?chē)叶刃畔?，遍歷P3中的每個(gè)點(diǎn)，在右影像上設(shè)置一個(gè)搜索窗口(搜索窗口應(yīng)大于目標(biāo)窗口)，將目標(biāo)窗口放在搜索窗口內(nèi)，計(jì)算灰度變換的相似性——相關(guān)系數(shù)［3］，并逐行、逐列地依次移動(dòng)目標(biāo)窗口(每次移動(dòng)一個(gè)像元)，計(jì)算相關(guān)系數(shù)，最后比較相關(guān)系數(shù)，相關(guān)系數(shù)最大者即為待匹配點(diǎn)a的同名點(diǎn)。

4 實(shí)驗(yàn)結(jié)果與分析

為了突出激光光斑的亮度，將結(jié)構(gòu)光投射系統(tǒng)置于一個(gè)空曠昏暗的房間中，將立體相機(jī)移動(dòng)至8 個(gè)不同的位置對(duì)著一塊墻面拍攝了8 組立體像對(duì)。圖4為第一個(gè)立體像對(duì)匹配效果圖，紅色十字絲為匹配到的同名點(diǎn)。分析可知，匹配失敗的原因是待匹配點(diǎn)的同名核線上有很多類似的特征點(diǎn)。

圖4 匹配效果圖

檢查其他7 組立體像對(duì)，匹配成功率均達(dá)到95%以上。由上述提出的影像匹配流程可知，算法時(shí)間復(fù)雜度為O(n3)，根據(jù)程序的實(shí)際運(yùn)行時(shí)間統(tǒng)計(jì)出每組立體像對(duì)的匹配耗時(shí)。從每組立體像對(duì)隨機(jī)選出10對(duì)成功匹配的同名點(diǎn)，計(jì)算匹配的平均誤差。表2為匹配實(shí)驗(yàn)結(jié)果，數(shù)據(jù)表明本文提出的基于核線約束的匹配算法具有較好的可行性。

表2 匹配實(shí)驗(yàn)結(jié)果

將第一個(gè)立體像對(duì)的匹配點(diǎn)進(jìn)行前方交會(huì)生成點(diǎn)云，匹配失敗的同名點(diǎn)前交得到的三維點(diǎn)一般偏離較遠(yuǎn)，可視為噪聲點(diǎn)進(jìn)行手動(dòng)刪除，最后獲取到物體表面輪廓的點(diǎn)云數(shù)據(jù)，如圖5所示。

圖5 前方交會(huì)出的點(diǎn)云

5 結(jié)論與展望

本文基于自主研發(fā)的點(diǎn)陣結(jié)構(gòu)光投射系統(tǒng)并設(shè)計(jì)了一套從影像到點(diǎn)云的詳細(xì)流程，首先基于多片空間后方交會(huì)的相機(jī)檢校原理對(duì)立體相機(jī)進(jìn)行檢校，然后將左右片提取出的特征點(diǎn)通過(guò)視差約束、核線約束、前交距離約束以及相關(guān)系數(shù)匹配，實(shí)驗(yàn)結(jié)果表明可以得到較高的匹配成功率，最終獲取到物體表面輪廓的點(diǎn)云。本文為今后的研究及項(xiàng)目實(shí)施奠定了堅(jiān)實(shí)的理論、實(shí)踐基礎(chǔ)，下一步的工作是優(yōu)化影像匹配的算法提高匹配的效率、成功率及精度，并將此技術(shù)運(yùn)用到具體的工程測(cè)量中，如建筑物立面平整度的檢測(cè)、金屬的曲面重建等。

［1］徐進(jìn)軍，王海城，羅喻真等．基于三維激光掃描的滑坡變形監(jiān)測(cè)與數(shù)據(jù)處理［J］．巖土力學(xué)，2010，31(7):2188 ～2191．

［2］熊耀陽(yáng)，陳曉波，孫健等．結(jié)構(gòu)光投影面部三維測(cè)量系統(tǒng)的精度研究［J］．上海交通大學(xué)學(xué)報(bào)·醫(yī)學(xué)版，2010，30(1):66～69．

［3］李玉廣，朱福祥．獲取艦船液艙數(shù)字表面模型的數(shù)字立體攝影測(cè)量方法［J］．船舶設(shè)計(jì)通訊，2009，6(1):49～53．

［4］陳錚，黃桂平，馮欣等．三相機(jī)結(jié)構(gòu)光攝影測(cè)量中人工標(biāo)志同名像點(diǎn)自動(dòng)匹配方法［J］．測(cè)繪工程，2013，22(1):28～30．

［5］王冬，馮文灝，盧秀山等．基于多片空間后方交會(huì)的CCD相機(jī)檢校［J］．測(cè)繪科學(xué)，2006，31(4):64～66．

［6］張祖勛，張劍清．?dāng)?shù)字?jǐn)z影測(cè)量學(xué)［M］．武漢:武漢大學(xué)出版社，2003．