無人機傾斜攝影三維實景建模及其優(yōu)化技術研究

卜全民 趙小喬 李 濤

隨著“實景三維中國”“智慧化城市建設”等建設項目的深入開展，三維實景建模技術和應用得以快速發(fā)展。無人機傾斜攝影三維建模技術具有方便靈活、成本低、精度高等優(yōu)勢，已成為構建大場景三維實景模型的主要技術手段①孫杰、謝文寒等：《無人機傾斜攝影技術研究與應用》，《測繪科學》2019年第6 期。。在無人機傾斜攝影測量三維建模技術中，控制點布設和航線規(guī)劃方案對三維模型成果精度、作業(yè)效率和成本具有重要影響。此外模型成果中也會經(jīng)常出現(xiàn)懸空物、遮擋等現(xiàn)象，影響模型質量。張慧瑩等②張慧瑩、董春來、王繼剛等：《基于Context Capture 的無人機傾斜攝影三維建模實踐與分析》，《測繪通報》2019年增刊。提出了隔行帶、隔基線布設方法，范攀峰等③范攀峰、李露露：《基于Smart3D 的低空無人機傾斜攝影實景三維建模研究》，《測繪通報》2017年第2 期。研究了合理布設控制點和數(shù)量的方案，但都未形成無人機傾斜攝影控制點布設規(guī)范或指導意見。在航線規(guī)劃方面，吳波濤等④吳波濤、張煜、李凌霄等：《基于多旋翼單鏡頭無人機的三維建模技術》，《長江科學院院報》2016年第11 期。對無人機傾斜攝影全覆蓋航線進行了研究，楊樂⑤楊樂：《面向海島航拍的無人機航跡規(guī)劃算法研究》，《中國海洋大學》2014年碩士論文。提出了基于改進牛耕式的覆蓋航跡算法，但這些航線規(guī)劃方案都沒有充分利用無人機的優(yōu)勢及特點。針對懸空物的處理，陳杭⑥陳杭：《一種基于多重紋理映射的傾斜攝影模型單體化技術》，《測繪與空間地理信息》 2018年第41 期。、譚仁春等⑦譚仁春、李鵬鵬、文琳等：《無人機傾斜攝影的城市三維建模方法優(yōu)化》，《測繪通報》2016年第11 期。主要基于Open Scene Graph 三維引擎技術進行了研究，但該方法要求作業(yè)人員對三維模型數(shù)據(jù)結構較為了解，并具備OpenGL 開發(fā)經(jīng)驗。針對遮擋物的處理，李明等①李明、張衛(wèi)龍、范丁元等：《城市三維重建中的自動紋理優(yōu)化方法》，《測繪學報》2017年第46 期。、卜松濤等②卜松濤、岳凡琦、依蘭等：《基于傾斜影像的三維建筑物紋理提取方法研究》，《測繪與空間地理信息》2014年第10 期。提出最優(yōu)紋理選擇的方法，王宇新等③王宇新、賈棋、劉天陽等：《遮擋物體移除與圖像紋理修補方法》，《計算機輔助設計與圖形學學報》2008年第1期。提出運用摳像技術移除樹木遮擋方法，但這些方法都是把遮擋物作為整體來提取，忽略了遮擋物本身紋理形狀和色調差異。本文提出根據(jù)三維模型精度要求、測區(qū)地形和地物密度等因素進行無人機平臺選型、控制點布設和航線路徑規(guī)劃方案選擇的原則及方法，并對傾斜攝影測量系統(tǒng)、影像數(shù)據(jù)處理、三維實景建模技術進行了研究；針對模型中的懸空物、遮擋物問題，分別提出基于TIN 的降維處理方法和基于紋理色調、幾何特征的遮擋物分類提取修復的模型優(yōu)化方法，這些技術方法的應用，取得了很好的三維實景模型效果。

一、無人機傾斜攝影測量技術

無人機傾斜攝影測量技術是目前快速獲取三維空間數(shù)據(jù)和實景模型的主要方法。通過無人機飛行平臺搭載的多臺不同角度相機（通常為5 鏡頭），從垂直、傾斜5 個角度同時進行采集影像數(shù)據(jù)（外業(yè)），快速、高效、精確地獲取地物海量的影像數(shù)據(jù)，通過數(shù)據(jù)處理作業(yè)（內業(yè)）生產出三維實景模型。無人機具有機動性好、效率高、成本低等優(yōu)勢，隨著無人機穩(wěn)控和測繪技術的快速發(fā)展，無人機傾斜攝影技術已成為重要的航測遙感平臺④王朝輝、吳昊、孟將：《無人機傾斜攝影像控布點方案研究及精度分析》，《 測繪通報》2021年第5 期。⑤陳理想：《無人機傾斜攝影實景三維建模及質量評價》，《測繪與空間地理信息》2019年第1 期。，也是當前三維實景建模技術領域研究和應用的熱點之一⑥原明超、仇?。骸稛o人機傾斜攝影測量在三維模型測圖中的應用》，《 測繪通報》2020年第7 期。。

（一）無人機平臺選型

無人機平臺可分為固定翼、旋翼、垂直起降固定翼等類型⑦連蓉、丁憶等：《傾斜攝影與近景攝影相結合的山地城市實景三維精細化重建與單體化研究》，《 測繪通報》2017年第11 期。，見圖1：

圖1 傾斜攝影常用無人機類型

傾斜攝影無人機各有其技術優(yōu)勢和不足，見表1：

表1 無人機分類及其優(yōu)缺點

垂直起降固定翼無人機● 結合旋翼和固定翼無人機的各自優(yōu)勢，可旋翼起降、固定翼巡航● 飛行距離長，巡航面積大，飛行速度快率和清晰度受到限制● 只能按照固定航線飛行，不能懸停獲取連續(xù)影像● 操作難度較大，風險性較高

無人機平臺選型時，需要考慮的主要因素：1.具有足夠的安全性和可靠性；2.任務載荷能力滿足需求；3.飛行控制精度滿足相關規(guī)范要求；4.測區(qū)的地理環(huán)境和氣象條件；5.續(xù)航時間、飛行速度、控制距離、操作的便捷性等需求。

（二）傾斜攝影測量系統(tǒng)

攝影測量系統(tǒng)是無人機傾斜攝影測量系統(tǒng)的核心任務載荷，主要包括傾斜攝影相機及其控制系統(tǒng)、位置與姿態(tài)采集系統(tǒng)（POS）等。多角度傾斜相機通常采用5臺相機配置，1臺相機垂直向下，其他4臺相機按照一定角度傾斜配置，見圖2。這種相機組合配置能同時獲取地物同一曝光點的正射和4個不同方向的多方位影像，作業(yè)效率高，可以快速采集影像，但通常相機較重，需搭載在續(xù)航時間長、載荷能力強的無人機平臺上。在測區(qū)較小或無人機任務載荷能力不足等情況下也可選擇1-4 鏡頭相機配置的方案。

圖2 5 鏡頭傾斜攝影相機

無人機傾斜攝影測量通常搭載位置與姿態(tài)采集系統(tǒng)（POS），一般由全球衛(wèi)星導航系統(tǒng)（GNSS，如GPS）和慣性測量單元（IMU）集成，是直接對相機進行定姿定位的一種高精度測量系統(tǒng)。在數(shù)據(jù)處理時，通過區(qū)域網(wǎng)平差，可以獲得每張影像的精確內外方位元素，使影像的位置和姿態(tài)得以恢復。

航線規(guī)劃時可按照“井”字飛行路徑設計，并沿航線往返飛行，以獲取地物的正射和側面信息數(shù)據(jù)。航向、旁向影像重疊度要滿足規(guī)范要求①繆玉周：《 消費級無人機傾斜攝影測量技術在構建城市真三維模型中的應用研究》，《東華理工大學》2018年碩士論文.，航向重疊度通常不低于80%、旁向重疊度不低于70%時，一般可獲得效果好、精度高的三維實景模型②王壯壯：《 傾斜攝影三維模型構建及其優(yōu)化研究》，《江西理工大學》2021年碩士論文。。

二、控制點布設和航線規(guī)劃

（一）控制點布設方案

控制點的主要作用是為整個測區(qū)影像數(shù)據(jù)提供準確的定位依據(jù)，可以選擇測區(qū)內存在的具有明顯特征的固定點，也可以制作標志物作為控制點。測區(qū)內控制點的分布和數(shù)量是影響最終三維實景模型質量的重要因素，本文根據(jù)模型精度要求、測區(qū)地形和地物密度并參照《低空數(shù)字航空攝影規(guī)范》要求，設計了三種控制點布設方案，如圖3所示。

圖3 控制點布設方案

研究表明，一般情況下控制點方案b 可以滿足1:1000 精度要求，控制點方案c 可以滿足1:500精度要求，如果地物結構復雜、密度較高、模型精度要求高可以選擇方案c 進行布設控制點。

（二）航線規(guī)劃

航線規(guī)劃涉及的主要因素有相機參數(shù)、飛行相對高度、航向旁向重疊度、飛行路徑等，其中飛行路徑方案的選擇在大區(qū)域測量時對作業(yè)效率和成本影響較大。

當前無人機飛行路徑規(guī)劃研究重點多集中于點對點路徑規(guī)劃①陳曦、譚鑫、高歡等：《無人機不同航線傾斜攝影建模方法比較及改進》，《 地理空間信息》2021年第10 期。，無人機連續(xù)飛行拍攝時需要一定的轉彎半徑，在無人機路徑規(guī)劃時需要考慮轉彎半徑的條件約束。傳統(tǒng)的路徑設計多為“之”字形方案，該方案受轉彎半徑約束，無效覆蓋面積較大，本文提出“井”字形路徑方案，可有效解決上述問題，研究表明可大幅度提高作業(yè)效率，降低成本。

無人機傾斜攝影測量外業(yè)流程如圖4所示。

圖4 無人機傾斜攝影測量外業(yè)流程

三、傾斜攝影數(shù)據(jù)處理和三維實景建模

傾斜攝影數(shù)據(jù)處理和三維實景建模是傾斜攝影測量三維建模的內業(yè)部分，其質量直接影響最終三維實景模型的效果和精度①劉增良：《基于傾斜攝影的大規(guī)模城市實景三維建模技術研究與實踐》，《測繪與空間地理信息》2019年第2 期。。傾斜攝影數(shù)據(jù)通過以街景工廠、Context Capture Center、Smart 3D 等為代表的三維建模軟件，可實現(xiàn)測區(qū)整體實景建模、自動化程度高②繆盾、吳競：《基于Agisoft Photoscan 的圖像三維重建及精度研究》，《測繪工程》2017年第8 期。。

（一）傾斜攝影數(shù)據(jù)處理

傾斜攝影數(shù)據(jù)處理主要包括影像預處理、空三測量、影像密集匹配等。

1.數(shù)據(jù)預處理。因光照條件、相機誤差、飛行控制等因素會造成影像畸變、扭曲、對比度差異過大等問題，為了提高影像后期處理的精度，應對影像質量進行檢查，進行畸變校正、勻光勻色等影像處理，并按照統(tǒng)一規(guī)則對影像與POS 數(shù)據(jù)進行統(tǒng)一命名編號，影像和POS 數(shù)據(jù)坐標系不一致時，要進行坐標轉換，做好數(shù)據(jù)預處理工作才能有效保障后續(xù)過程的順利進行。

2.空三測量。本文采用光束網(wǎng)法進行空三測量，該方法將圖像點的坐標作為原始值，采用共線方程線性化，建立整個區(qū)域的統(tǒng)一性方程式和誤差方程式，對所有待求點地面坐標和六個外方位元素進行整體解求。刺點作業(yè)時可參照現(xiàn)場照片和地物特征確認控制點位置，避免刺點錯誤，完成后采用光束法進行區(qū)域網(wǎng)整體平差解算。該方法具有精度高、理論嚴謹?shù)奶攸c，在非攝影測量觀測值引入和誤差估計方面具有出色表現(xiàn)。

3.影像密集匹配。密集匹配是為了計算測區(qū)每個物方點三維坐標，從而重建整個測區(qū)影像而進行的同名點匹配，對影像解讀具有重要作用。影像密集匹配算法也是目前傾斜攝影測量技術領域的研究熱點之一，主要有ELAS(Efficient Large-scale Stereo)局部算法、SGM(Semi-global matching)半全局算法、CSCA(Cross-scale cost aggregation)跨尺度代價聚集算法。ELAS 屬于局部算法，在傾斜表面和紋理較稀疏部位能達到良好的效果，但在視差不連續(xù)部位效果不好；SGM 算法利用了局部算法和全局算法的各自優(yōu)勢，很好地平衡了匹配效果和效率；CSCA 是一種全局算法，利用多尺度信息進行密集匹配，顯著提高了匹配精度。通過密集匹配得到所有影像中的同名點，并從中提取更多的特征點，從而得到整個測區(qū)的大量點云數(shù)據(jù)。

（二）三維實景建模

在Context Capture 三維建模軟件中，利用經(jīng)過上述步驟處理好的影像數(shù)據(jù)構建不規(guī)則三角網(wǎng)TIN，然后進行紋理映射生成三維實景模型。

1.構建TIN。根據(jù)測區(qū)的點云數(shù)據(jù)將區(qū)域構建為相連的三角面網(wǎng)絡，三角面的形狀和大小取決于點的密度和位置，可通過三維建模軟件自動完成。

2.紋理映射。紋理映射即將紋理空間中的紋理像素映射到屏幕空間中的像素的過程。通過三維建模軟件從影像中計算出紋理，并自動映射到對應的白模上，最終形成三維實景模型。

3.三維實景模型輸出。模型輸出采用分層顯示技術，可對建模區(qū)域選用Regular planner grid 進行劃分，選擇3D mesh 產品形式和OSGB 格式。

傾斜攝影數(shù)據(jù)處理和三維建模技術流程如圖5所示。

圖5 傾斜攝影數(shù)據(jù)處理和三維建模技術流程圖

四、三維實景模型優(yōu)化

通過無人機傾斜攝影測量技術獲取的高分辨率影像數(shù)據(jù)，可實現(xiàn)真實度高、可測量的精細三維實景模型。但由于受到地物本身特征、光照、影像匹配算法等多種因素影響，三維實景模型可能會出現(xiàn)懸空物等缺陷①趙躍：《傾斜攝影測量三維模型優(yōu)化方法研究》，《測繪與空間地理信息》2021年第5 期。。由于拍攝角度、地物距離太近等原因，建筑物模型紋理中會出現(xiàn)遮擋現(xiàn)象，需要對三維模型進行優(yōu)化處理，以得到更精細化的三維實景模型②李安福、曾政祥、吳曉明：《淺析國內傾斜攝影技術的發(fā)展》，《測繪與空間地理信息》2014年第9 期。。

（一）懸空物處理

三維模型中出現(xiàn)的懸空物多為橫截面較小的物體，如路燈、建筑物頂部的廣告牌等。由于影像分辨率、算法識別等因素，模型重建時很難識別這些地物的全部細節(jié)，造成地物橫截面較小的部分無法顯示，從而形成模型懸空物現(xiàn)象。

本文針對三維模型中懸空物的處理，提出三維模型數(shù)據(jù)降維處理的方法，通過二、三維數(shù)據(jù)協(xié)同分析解決懸空物處理問題。傾斜攝影三維實景模型是通過不規(guī)則三角網(wǎng)TIN 和紋理映射構建的，TIN模型中記錄了三角網(wǎng)頂點三維坐標、法向量、拓撲關系等③周曉敏、孟曉林、張雪萍等：《傾斜攝影測量的城市真三維模型構建方法》，《測繪科學》2016年第9 期。，三維三角網(wǎng)投影轉換到二維平面時，記錄保存著所有三角網(wǎng)間的連接關系、高程信息等，通過離散點最小凸邊形提取④聞俏、蔡紅玥、逯躍鋒：《基于最小凸包的多尺度線狀矢量數(shù)據(jù)匹配方法研究》，《科學技術創(chuàng)新》2021年第12 期。、離散點聚類⑤羅有志：《K-means 聚類算法研究及應用》，《長沙理工大學》2016年碩士論文。等算法，可以自動定位并消除懸空地物，該方法較好地解決了傳統(tǒng)三維數(shù)據(jù)格式復雜、處理要求高等問題。

（二）遮擋物處理

三維實景模型中出現(xiàn)遮擋物現(xiàn)象主要是由于拍攝角度、地物間距過近等因素造成的。遮擋物紋理需要進行移除和遮擋區(qū)域修復處理，否則就會影響模型效果，降低模型精度。傳統(tǒng)方法多為將遮擋物作為整體進行提取處理，但該方法忽略了地物的幾何紋理和色調差異等基本特征，降低了模型精度。本文根據(jù)形狀、色調差異對遮擋物進行分類處理，如樹冠和樹干形狀和色調差異很大可進行分別提取和修復。

在地物模型側面紋理中，樹冠遮擋一般幾何特征為面狀、紋理色調為綠色，具有特殊的色調空間和地物側面紋理信息差異顯著等特點，利用這些特征就可以通過設置色調空間作為約束條件對樹冠遮擋進行初提取，再利用形狀信息進行精提取。而樹干遮擋多呈線狀特征、紋理色調為近灰褐色等特點，根據(jù)這些特征可以通過色調空間設置對樹干遮擋進行初提取，再利用邊緣檢測和跟蹤算法進行精提取。

遮擋初提取時先將圖像RGB（紅、綠、藍色）色度空間轉換為HSV（色調、飽和度、亮度）色度空間，利用色調、飽和度和亮度的顯著差異提高遮擋物與建筑物之間的紋理辨識度。將初提取結果進行網(wǎng)格化，通過計算網(wǎng)格的平行線密度和設置平行線密度閾值的方法進行精提取。最后對移除遮擋區(qū)域利用Criminisi 算法進行修復，就可得到更為精細的紋理圖像，從而解決遮擋問題。

五、結語

本文研究了無人機傾斜攝影三維實景建模技術，提出了無人機平臺選型、控制點布設方案和航向規(guī)劃中飛行路徑設計選擇方法，按照上述選型和設計方案進行傾斜攝影作業(yè)，可大幅度提高作業(yè)效率和采集影像精度。提出傾斜攝影三維實景模型優(yōu)化技術，針對模型中懸空物問題，利用基于不規(guī)則三角網(wǎng)TIN 的三維模型數(shù)據(jù)降維處理的方法，通過二、三維數(shù)據(jù)協(xié)同分析處理懸空物，較好地解決了傳統(tǒng)三維數(shù)據(jù)格式復雜、處理要求高等問題；針對模型中遮擋物問題，利用模型中遮擋物紋理的幾何特征和紋理色調差異，提取遮擋物紋理，對移除遮擋區(qū)域通過Criminisi 算法進行修復，最后得到更為精細的紋理圖像，解決遮擋問題。這些技術方法的應用，使生產的三維實景模型更為真實、精細，拓寬了無人機傾斜攝影三維實景建模技術的研究和應用思路，對當前數(shù)字化、智慧化城市建設具有一定促進作用。