基于點繪制的傾斜攝影點云場景渲染

陳嘉煒

（四川大學(xué)計算機學(xué)院，成都610065）

0 引言

隨著無人機技術(shù)的成熟，傾斜攝影測量技術(shù)的應(yīng)用日益普及，成為了重要的測繪手段。傳統(tǒng)的航空攝影在垂直方向上進行對場景、地形等對象進行拍攝，只能獲得場景頂部的顏色和高度等信息，難以用于生成三維場景。而傾斜攝影技術(shù)通過在平行平臺上搭載多個不同角度的傳感器獲取場景的多角度信息，從而可以利用豐富的三維信息構(gòu)建三維場景[1]。傾斜攝影技術(shù)彌補了傳統(tǒng)航空攝影方式的不足，更真實地反映了攝影對象的實際情況，因此被廣泛應(yīng)用與地理信息系統(tǒng)、城市管理、環(huán)境監(jiān)測等領(lǐng)域。

大規(guī)模場景的可視化是處理和利用傾斜攝影所獲取的場景信息過程中的一個關(guān)鍵環(huán)節(jié)。傾斜攝影所獲得的場景信息通常以三維點云數(shù)據(jù)的形式存儲。對三維點云數(shù)據(jù)進行可視化目前通常采取的方案是將三維點云數(shù)據(jù)通過三角網(wǎng)格計算和紋理映射等步驟轉(zhuǎn)換為三維網(wǎng)格模型后，再通過較為成熟的三維網(wǎng)格模型可視化方案來實現(xiàn)可視化[2]。但是該方案中模型轉(zhuǎn)換過程的時間消耗和算力消耗極大，且一旦對原生點云數(shù)據(jù)進行更新則需要重新進行模型轉(zhuǎn)換，這樣的方案對于調(diào)整和優(yōu)化點云過程非常不利。因此本文提出一套通過傾斜攝影獲取大規(guī)模點云場景信息后，再通過點繪制技術(shù)可視化點云場景的方案。

1 大規(guī)模點云場景數(shù)據(jù)采集

本文使用深圳大疆創(chuàng)新科技有限公司生產(chǎn)的精靈Phantom 4 RTK型無人機進行傾斜攝影測量，該型號無人機是一款小型多旋翼高精度航測無人機，機內(nèi)搭載厘米級導(dǎo)航定位系統(tǒng)和高性能成像系統(tǒng)，并支持實時動態(tài)載波相位差分技術(shù)（Real Time Kinematic，RTK），在大規(guī)模城市場景低空測量的應(yīng)用場景下有良好的適用性[3]。精靈Phantom 4 RTK型無人機將場景的位置、高度和顏色等多維度場景信息于鏡頭參數(shù)一并存儲在每張輸出的照片上。因此每張照片都擁有進一步處理所需要的所有信息，可以直接交付至后續(xù)環(huán)節(jié)進行處理，有利于提高整個場景數(shù)據(jù)采集的效率。使用精靈Phantom 4 RTK型無人機進行大規(guī)模場景數(shù)據(jù)采集的主要工作流程如下：

（1）空域申請。使用無人機進行傾斜攝影測量需要遵守當(dāng)?shù)胤煞ㄒ?guī)，依照規(guī)定進行相關(guān)審批手續(xù)的辦理，并在飛行實施前提出申請。

（2）航線設(shè)計。無人機航線設(shè)計是制作高質(zhì)量影像圖的關(guān)鍵。良好的航線設(shè)計涉及明確的范圍劃分、安全有效的航高和合理的重疊率等因素。其中重疊率是指兩張照片之間重疊部分的比例，分為航向重疊率、旁向重疊率，重疊率對自動建模軟件生成的三維場景精度有顯著的影響。本文使用深圳大疆創(chuàng)新科技有限公司提供的DJI GS RTK App完成針對四川大學(xué)望江校區(qū)的無人機航線設(shè)計，測量區(qū)域面積約為3.29平方千米。其中航高和重疊率分別設(shè)置為150米和80%。

（3）飛行測量與數(shù)據(jù)接收。利用DJI GS RTK App設(shè)置好航線與相關(guān)參數(shù)后即可利用該軟件相關(guān)功能直接在測量現(xiàn)場進行飛行測量工作，并利用OcuSync圖傳系統(tǒng)回傳無人機獲取的影像信息與定位定姿系統(tǒng)（Position and Orientation System，POS）信息。POS系統(tǒng)通過全球定位系統(tǒng)（Global Positioning System，GPS）和慣性測量裝置生成傳感器空間位置和姿態(tài)相關(guān)數(shù)據(jù)，這些幾何空間信息是三維場景建模的重要依據(jù)。

在獲取到傾斜攝影測量數(shù)據(jù)后，本文采用三維實景建模軟件ContextCapture對無人機采集到的原生數(shù)據(jù)進行處理與建模，生成大規(guī)模三維點云場景。該流程主要分為以下幾個步驟：

（1）數(shù)據(jù)預(yù)處理。數(shù)據(jù)預(yù)處理主要針對影像數(shù)據(jù)，包括格式轉(zhuǎn)換、對比度調(diào)整、曝光調(diào)整和降噪等操作。數(shù)據(jù)預(yù)處理的目的是使圖像的層次分明、色彩鮮明且色調(diào)一致，從而減小生成場景的誤差并提升生成場景的視覺效果。

（2）數(shù)據(jù)導(dǎo)入。因為ContextCapture一次處理流程可處理數(shù)據(jù)不超過30G，故本文對預(yù)處理數(shù)據(jù)進行分塊處理，每個數(shù)據(jù)塊含約一千張照片，數(shù)據(jù)量控制在8G左右。

（3）數(shù)據(jù)處理與模型生成。該環(huán)節(jié)主要通過多視角影像密集匹配獲得傾斜圖像的同名點坐標(biāo)，從而將大量分散的點云數(shù)據(jù)拼接在一起形成大規(guī)模場景。ContextCapture采用了基于Structure from Motion（SfM）技術(shù)的三維重建方案，其多基元、多角度圖像匹配方法可以有效地排除原生數(shù)據(jù)中的大量冗余信息，生成精確描述原場景的點云場景模型。

經(jīng)過以上幾個步驟，本文實現(xiàn)了大規(guī)模點云場景數(shù)據(jù)的采集。

2 基于點繪制的實時渲染

2.1 算法思想

為了獲得更好的視覺效果，本文采用了表面飛濺（Surface Splatting）算法作為點繪制渲染算法[4,5,6]。傳統(tǒng)的基于點渲染方法使用渲染管線內(nèi)置功能，用一定大小的像素塊來表示一個點。這種方法無法很好地表示模型表面的幾何變化。同時，因為點的大小不隨視距改變，所以視距較遠時會發(fā)生像素塊的堆疊，視距較近時會出現(xiàn)空洞。而表面飛濺算法將每個點視為面元（Surfel），即一個三維空間中有朝向的圓片，通過向渲染管線輸入大量面元信息，在渲染管線中重建并擬合三維模型原有的表面信息，從而獲得接近網(wǎng)格模型渲染的視覺效果。

2.2 算法實現(xiàn)

Surface Splatting算法的實現(xiàn)由以下三遍渲染管線流程組成：

（1）可見性渲染管線。在該流程管線中計算當(dāng)前視角下的場景深度圖，生成深度紋理。該深度紋理主要用于在第二遍管線流程中剔除被遮擋的面元而保留一定深度范圍內(nèi)的面元。

（2）混合渲染管線。在該管線流程中利用硬件加速的混合（Blending）功能實現(xiàn)加權(quán)平均，計算當(dāng)前屏幕空間內(nèi)每個像素的顏色和法線等屬性值，并輸出為相應(yīng)的紋理。

（3）屏幕渲染管線。在該管線中利用前兩遍管線獲得的紋理信息，完成光照計算，得到場景繪制的最終結(jié)果并輸出至屏幕。

該算法多管線流程的框架與延遲著色（Deferred Shading）和延遲光照（Deferred Light）等成熟的實時渲染框架相同，所以可以與許多成熟的光照計算技術(shù)和后處理技術(shù)相結(jié)合，從而在三維點云模型上實現(xiàn)與三維網(wǎng)格模型近似的渲染效果。

從原理上講，該算法主要完成了兩部分工作：

（1）將面元投影至屏幕空間，形成二位片段。

（2）對被多個片段覆蓋的像素進行屬性的加權(quán)平均，獲得該像素的實際屬性值。

下面的小節(jié)將具體說明這兩部分工作的實現(xiàn)。

2.3 面元屏幕投影

利用可編程的渲染管線可以實現(xiàn)高效的面元屏幕投影?；邳c繪制時，利用圖形應(yīng)用程序接口（Application Programming Interface，API）內(nèi)置變量或幾何著色器（Geometry Shader）可以直接將一個面元光柵化為正方形像素塊。因此可以結(jié)合視錐體信息、視口信息和頂點屬性（主要是深度和半徑）確定一個相對大小，生成所有可能被面元投影覆蓋的片元。像素塊的大小由以下公式確定：

其中hv為視口高度，fovy為視錐體的垂直視場角，zeye為面元在觀察坐標(biāo)系下的線性深度值。

此后，利用觀察坐標(biāo)系下的面元法向量、面元圓心位置和屏幕中空間中的片元坐標(biāo)可以計算出片元對應(yīng)的面元平面上的頂點在觀察坐標(biāo)系下的位置，從而計算該片元的實際坐標(biāo)值及其對應(yīng)點與面元圓心的距離。假設(shè)片元坐標(biāo)為(x,y)，則對應(yīng)點在近平面上投影的坐標(biāo)（觀察坐標(biāo)系下）為：

其中，wn和hn為近平面的寬和高，wv和hv為視口的寬和高，n為近平面到視點的垂直距離。由視點向qn發(fā)射線可與面元所在平面相交得到對應(yīng)頂點q。由面元法線垂直于面元所在平面易知，其中c為面元圓心位置。由此可解得該片元對應(yīng)頂點在觀察坐標(biāo)系下的坐標(biāo)為通過判斷q與c的距離是否小于面元半徑可以剔除位于面元外的冗余片元，同時q的線性深度（即z分量）也將作為該面元的實際深度進行后續(xù)計算。

2.4 屬性加權(quán)平均

面元向屏幕投影后往往會出現(xiàn)大量互相交疊的區(qū)域，為了準(zhǔn)確地渲染這些區(qū)域本文采用了橢圓加權(quán)平均（Elliptical Weighted Average，EWA）紋理濾波器來擬合三維曲面的顏色和法線等屬性值。EWA濾波器在屏幕空間采用三維重建核來計算局部空間中的多個面元對一個具體像素的權(quán)重。本文采用面元圓心的相對距離作為面元上任一點的權(quán)重，即：

其中k為面元上任一點，dk為該點到面元圓心的距離，rs為面元的半徑。則任意像素的屬性值Ep可由下式求得：

其中wk為對應(yīng)片元的權(quán)重，Ek為對應(yīng)片元的屬性值。

通過圖形API的接口分別設(shè)置渲染管線內(nèi)置混合功能的屬性值（RGB通道）和權(quán)重（A通道）的混合因子可以實現(xiàn)利用硬件加速高效地在GPU中完成以上加權(quán)平均的計算過程，避免了GPU與CPU的通信消耗，從而兼顧渲染效果和渲染效率。

3 實驗結(jié)果

本節(jié)將會展示利用無人機獲取到的四川大學(xué)望江校區(qū)模型及其基于點繪制的結(jié)果。實驗設(shè)備為：

CPU：Intel Core i3-6100 CPU@3.70GHz

RAM：12.0GB

System：Windows 10

GPU：NVIDIA GeForce GTX 650

圖1 分別展示了近距離視角下分別采用傳統(tǒng)點繪制方案和本文方案得到的點云場景渲染結(jié)果，傳統(tǒng)方案結(jié)果中出現(xiàn)了明顯的表面破碎現(xiàn)象，本文方案結(jié)果中則保持了良好的表面連續(xù)性。

圖1

圖2 分別展示了遠距離視角下分別采用傳統(tǒng)點繪制方案和本文方案得到的點云場景渲染結(jié)果，傳統(tǒng)方案結(jié)果中出現(xiàn)了較為明顯的走樣現(xiàn)象，本文方案結(jié)果中則保留了較好的局部細(xì)節(jié)。

4 結(jié)語

圖2

本文實現(xiàn)了傾斜攝影場景數(shù)據(jù)的獲取與可視化，對點云場景的直接可視化視覺效果難以超越經(jīng)過點云配準(zhǔn)、三維重建等操作后生成的三維網(wǎng)格模型的可視化效果，但是原生數(shù)據(jù)經(jīng)過簡單處理后的快速渲染有利于對原生點云數(shù)據(jù)進行可視化調(diào)教，貼近實際應(yīng)用。