基于圖像的三維重建在建筑遺產(chǎn)測繪中的應用

孫 政，曹永康，張瑩瑩

（1. 南京工業(yè)大學建筑學院，江蘇 南京 211800；2. 城市與建筑遺產(chǎn)保護教育部重點實驗室（東南大學），江蘇 南京 210096；3. 上海交通大學船舶海洋與建筑工程學院，上海 200240；4. 東南大學建筑學院，江蘇 南京 210096）

1 激光掃描技術的局限

進入21世紀以來，地面激光掃描1傳統(tǒng)上激光掃描技術可以分為空中激光掃描（airborne laser scanning）與地面激光掃描（terrestrial laser scanning）。近年來出現(xiàn)了可穿戴激光掃描設備（wearable laser scanning）與手持激光掃描設備（hand-held laser scanning），但是考慮到成本和掃描范圍，目前地面激光掃描在建筑遺產(chǎn)測繪中最為常用，因此下文出現(xiàn)的“激光掃描”均專指地面激光掃描。技術的應用為我國的建筑史研究[1]和建筑遺產(chǎn)保護[2]帶來了新的契機。然而，這項技術惠及的建筑遺產(chǎn)在地域上以華北居多、在類型上以殿堂和樓閣居多?？赡茉斐蛇@一現(xiàn)象的原因有很多，如建筑史研究的關注點、科研資源的分布等，但有一個原因不能忽視，即建筑遺產(chǎn)測繪技術的適用性。建筑遺產(chǎn)測繪技術的選擇取決于所需成果形式、所需精度、成本、設備便攜性、對象可達性、外業(yè)效率等因素，目前還沒有一種單一的技術可以同時滿足上述要求，激光掃描也不例外。激光掃描昂貴的成本和較差的便攜性制約了其在我國更廣闊地域（如西藏）和更多建筑遺產(chǎn)類型（如建筑群、佛塔、壁畫等）中的應用。

例如，為了幫助學生理解“有絲分裂保證了遺傳信息在親代和子代細胞中的一致性”的重要概念，根據(jù)課標要求，需要開展“制作和觀察根尖細胞有絲分裂簡易裝片或觀察其永久裝片”的實驗，這個實驗能否達成預期效果的關鍵在于學生能否從視野中辨別出有絲分裂各時期的典型圖像，并能正確讀圖。這一問題正是該實驗教學中的重點與難點。為此，利用數(shù)字化顯微鏡觀察技術，同步呈現(xiàn)不同學生所觀察到的正確典型圖像與錯誤圖像，也可利用教師的智能手機的拍攝功能，同步傳輸、呈現(xiàn)學生觀察到的典型圖像，為學生創(chuàng)造豐富的觀察學習情境。由于這些圖像來自學生，更易吸引學生的觀察、分析與討論，從而有效支撐學生生成抽象概念。

2 基于圖像的三維重建

從光學測量的角度，激光掃描技術采用主動光學傳感器，通過主動發(fā)射并回收激光信號直接獲得對象的三維數(shù)據(jù)，即基于測距的三維重建（range-based modeling）；與之相對的另一種途徑采用被動光學傳感器間接獲得三維數(shù)據(jù)——攝影測量，即基于圖像的三維重建（image-based modeling）[3]。由于工作原理上的互補性（表1），過去20年間這兩種技術在大尺度、成果需求復雜的建筑遺產(chǎn)三維重建中（如龐貝遺址）通常配合使用[4-5]。

21世紀初，計算機視覺領域實現(xiàn)了從海量圖像自動重建大尺度三維場景的突破，使傳統(tǒng)的攝影測量中復雜的相機校正、同名點匹配等環(huán)節(jié)全部實現(xiàn)了自動化。這一類技術被稱為從運動圖像重建三維場景（structure from motion,SfM）。2011年，美國華盛頓大學、微軟等機構的研究者用從互聯(lián)網(wǎng)下載的海量圖像在不到一天的時間內數(shù)字重建了羅馬的主要景點（成果為點云模型）[6]。但是由于計算機視覺領域的研究偏向自動化，該算法的精度在1/100左右[7]（每100 m的誤差為1 m），遠遠不能滿足建筑遺產(chǎn)測繪的需求。然而，如果能夠結合攝影測量在圖像采集、圖像處理、相機校正等方面提高精度的方法，則這一算法在建筑遺產(chǎn)測繪中的前景會非常可觀。因此，近年來分析和提高計算機視覺領域開源算法的精度，受到攝影測量、建筑、考古等領域研究者的廣泛關注，成為建筑遺產(chǎn)測繪領域的研究前沿[8-10]。

在我國建筑遺產(chǎn)精細測繪中，基于圖像的三維重建起步較晚，但近年來發(fā)展迅速，尤其是無人機和傾斜攝影測量技術的發(fā)展，使測繪尺度從建筑單體拓展到建筑群、甚至城鎮(zhèn)[11]。然而，在既有應用中，值得注意的問題是：出自建筑學背景的研究較少、橫向比較不同測量技術的研究較少、縱向分析新技術對既有工作流程沖擊的研究較少。上述問題導致的結果是：基于圖像的三維重建作為一項新興技術，在建筑遺產(chǎn)保護中與其他測量技術、既有工作流程的上下游之間存在明顯的脫節(jié)。因此，本文希望通過3個案例更加全面地展示該技術在建筑遺產(chǎn)保護中的應用效果，為類似實踐提供參照。

在自然環(huán)境嚴峻的地區(qū)，測繪技術的便攜性和外業(yè)效率至關重要。而且，由于綜合采用多種技術的可行性較低，所用測繪技術應當具有較好的成果多樣性。在西藏江孜一處山頂建筑遺址的測繪中，基于圖像的三維重建的優(yōu)勢得到了集中體現(xiàn)，它不僅替代了激光掃描，而且得到了比后者更完整、更豐富的測量數(shù)據(jù)。我們在2014年和2015年兩次到達該遺址，感受到了旅游開發(fā)的山雨欲來。與2014年相比，山腰的一處建筑遺址的地面已經(jīng)被硬化，許多原始信息蕩然無存。在這樣的情況下，建筑遺產(chǎn)測繪的意義更顯得重要，無人機與基于圖像的三維重建的結合可為之提供有力的幫助。

3 基于圖像的三維重建在建筑遺產(chǎn)中的應用案例

3.1 低成本高精度測繪

在該項目中，我們用全站儀、無人機、數(shù)碼相機在5天時間內完成了現(xiàn)場數(shù)據(jù)采集，最終生成了建筑室內外的點云模型，并最終轉化為BIM模型，以期整合包括歷史圖檔、測量成果在內的多維數(shù)據(jù)，為之后的修復提供數(shù)據(jù)支持（圖1）。首先，采用全站儀建站的方法在建筑室內外建立了控制網(wǎng)絡，分別從各站點測量事先布置的地面控制點，由于整個控制網(wǎng)絡共享同一個坐標系，因此分別從圖像建立的局部模型可以據(jù)此拼合為全局模型；其次，采用無人機和單反相機分別對建筑的室外和室內進行圖像采集，圖像采集遵循的原則是：每個需要的面被至少3張圖像覆蓋，以確保較大的基線與距離的比值（即盡量采用匯聚式的相機網(wǎng)絡、避免發(fā)散式的相機網(wǎng)絡）；最后，圖像和控制點坐標分別輸入軟件（Visual SfM和PMVS2），生成三維點云模型。這個三維模型提供了許多手工測量無法得到的數(shù)據(jù)，比如樓板厚度、上下層對位關系等，還可以通過一系列算法（從點云模型生成網(wǎng)格面模型、對網(wǎng)格面模型進行紋理映射）生成屋頂、建筑立面、室內天花板的正投影圖。在繪圖階段，我們將點云模型導入Revit，以其為參照，建立了建筑的BIM模型。該模型包含了建筑的實際狀態(tài)（點云模型）和理想狀態(tài)（根據(jù)歷史圖紙建立的模型），可以逐步加入材料、結構、歷史變化等多維信息。該BIM模型不僅可以作為該建筑的數(shù)據(jù)庫，還可以作為后續(xù)應用的中介，用于變形分析、結構模擬等用途。

激光掃描技術雖然可以達到極高的精度、還原豐富的細節(jié)，但是高昂的成本阻礙了其在預算有限的建筑遺產(chǎn)測繪中的應用，這種情況在當前我國非常普遍。在武漢大學學生俱樂部的測繪中，受制于項目預算，我們將基于圖像的三維重建作為激光掃描的代替，在精度和成果形式上滿足了測繪需求：點云模型的平均誤差（與全站儀測量的控制點比對）不到3 cm?？紤]到拼合激光掃描的多站點云時可能產(chǎn)生的誤差，該精度已經(jīng)十分接近激光掃描的精度，足以滿足以繪制二維圖紙為導向的建筑遺產(chǎn)測繪的需求。

所需測繪的建筑遺址位于約120 m的山頂。如果采用Leica ScanStaion C10激光掃描儀從山下向山頂掃描，建筑超出了掃描半徑（300 m）；而將幾十千克重的激光掃描儀運到山頂也非常困難。由于團隊成員已經(jīng)出現(xiàn)高原反應，我們臨時雇傭了兩名當?shù)鼐用癫艑⒃O備運至山頂。然而，從建筑遺址內部掃描無法獲得全貌，需要進行多站點拼接，我們沒有如此充裕的時間。因此，我們最終利用無人機在不到1 h的時間內采集的近百張圖像最終生成了三維模型（圖2）。該模型從人眼無法獲得的角度生成了高分辨率的正投影圖，準確記錄了建筑遺產(chǎn)的現(xiàn)狀，不僅包含全局信息，還提供了高清的局部信息（圖3），為虛擬修復、雨水流向模擬等諸多應用創(chuàng)造了條件?；诘涂請D像的三維重建將建筑連同地形環(huán)境一并建模，提供了傳統(tǒng)手工測繪和激光掃描無法獲得的地理環(huán)境數(shù)據(jù)（如數(shù)字高程模型），這些數(shù)據(jù)可以在GIS中進行整合和分析，以便對該建筑遺址進行更宏觀的記錄和數(shù)據(jù)管理（圖4）。

圖1 從圖像到點云模型到BIM模型的流程

3.2 自然環(huán)境嚴峻地區(qū)的測繪

4.1 選地 播前選擇適宜地塊、種子和機械。選地勢高，土層深厚，便于排灌，非重茬地種植。當土壤含水量低于14%時，需澆水造墑播種。

采用SPSS 20.0統(tǒng)計分析軟件處理，計量資料采用(±s)表示，組間兩兩比較采用獨立樣本t檢驗;計數(shù)資料采用百分率(%)表示，組間比較采用χ2分析;P＜0.05代表差異有統(tǒng)計學意義。

沈陽市是遼寧省的省會，它既是一個集經(jīng)濟、文化、政治、交通、旅游于一體聞名遐邇的歷史文化古城，又是一個工業(yè)重鎮(zhèn)。沈陽市位于遼寧省遼河平原中部，地處東經(jīng) 122°25＇9＂-123°48＇24＂ 之間，北緯 41°11＇51＂-43°2＇13＂ 之間，全市總面積逾 12948 平方公里，現(xiàn)轄九大區(qū)，為沈北新區(qū)、于洪區(qū)、皇姑區(qū)、大東區(qū)、沈河區(qū)、東陵區(qū)、和平區(qū)、鐵西區(qū)、蘇家屯區(qū)，市區(qū)面積3495.4平方公里，常住人口約800多萬人。地貌類型多樣，以平原為主，山地、丘陵多集中在東南部。

3.3 傾斜檢測與結構分析

圖2 通過航拍圖像建立的三維數(shù)字模型（西藏江孜紫金鄉(xiāng)一處建筑遺址）

圖3 從三維模型輸出的高清正投影圖

圖4 在GIS中對點云模型進行處理

傳統(tǒng)的墻體傾斜檢測是從墻體上選擇若干觀測點，通過觀測點的分布規(guī)律分析墻體的傾斜程度。這一方法的缺點在于：準確性依賴于取樣點的數(shù)量、分布、是否具有代表性，以及能否直觀表達傾斜情況。而通過單反相機采集的圖像，可以高效地建立墻體的三維模型，并通過全站儀測量的若干控制點坐標，將其準確定位（該過程不需要建站，操作非常簡便）。將其與理想的墻體平面相比較，通過計算前者中每個點距離后者最近點之間的距離，就可以得到墻體的整體傾斜分布（圖5），具有很高的準確性和直觀性。

圖5 基于圖像的三維重建用于墻體傾斜分析的工作流程

除了靜態(tài)分析，基于圖像的三維重建得到的模型還可以模擬建筑遺產(chǎn)的結構受力情況，進行安全評估。由于包含了建筑遺產(chǎn)的病害、變形、沉降等實際狀態(tài)，該模型比基于理想幾何體的三維模型更加準確。我們用該方法模擬了駁船對一座清代拱橋的撞擊。該橋位于上海青浦，近年來屢遭駁船撞擊，最近一次的嚴重撞擊發(fā)生在2014年夏天，導致橋面開裂、橋拱變形。我們在現(xiàn)場發(fā)現(xiàn)，撞擊的原因是原本滿載的駁船在卸貨返航時吃水減少，左右船舷非常容易撞到橋體。通過無人機采集的圖像，建立了該橋的三維模型，并用基于Rhino的有限元分析插件Scan and Solve，對橋的撞擊情況（撞擊位置、持續(xù)時間、受力類型與大?。┻M行模擬，得到危險程度的分布圖，并模擬了橋體受撞產(chǎn)生的變形（圖6），為修復和加固提供了參考。盡管該結構模擬的成果不能作為修復的直接依據(jù)，但該工作的意義在于使用低成本、開源的測量和分析工具完成了傳統(tǒng)上高度依賴專業(yè)技能和軟件的復雜工作（如既有結構的有限元分析）。隨著相關數(shù)字軟件的完善，這一工作流程將愈發(fā)具有實際意義。

4 結論與展望

圖6 結構變形模擬的工作流程

本文介紹了基于圖像的三維重建在建筑遺產(chǎn)測繪中的若干應用案例。需要注意的是，盡管該技術具有很多激光掃描技術不具備的優(yōu)勢，但是它并不能取代后者。在許多大規(guī)模、復雜的建筑遺產(chǎn)測繪中，這兩種技術應該綜合使用。但是，在一些特殊情況下（預算有限、偏遠地區(qū)），該技術可以作為激光掃描技術的有效替代，達到與之相近的測量精度和相同的成果形式?？傊趫D像的三維技術可以使建筑遺產(chǎn)數(shù)字化測繪的范圍大為拓展（表2），在當前我國建筑遺產(chǎn)保護和古建筑測繪教學中具有廣闊的應用前景。

表2 基于建筑遺產(chǎn)類型的測繪技術適用性對比（激光掃描與基于圖像的三維重建）

在未來，該技術在建筑遺產(chǎn)測繪中的發(fā)展可能來自以下方面："應用范圍的進一步拓展。隨著硬件的發(fā)展（如微型無人機的成本降低、4 kB視頻傳感器的普及、全景相機的應用、熱紅外相機與無人機結合等），基于圖像的三維重建技術有望用于更多類型的建筑遺產(chǎn)測繪（如石窟寺）。#與虛擬現(xiàn)實（virtual reality，VR）、增強現(xiàn)實（augmented reality,AR）、3D打印等數(shù)字技術的結合。雖然激光掃描技術同樣可以與上述數(shù)字技術結合，但是基于圖像的三維重建可以通過手機、單反相機，以及免費的軟件以近乎零成本的方式實現(xiàn)，可以為建筑遺產(chǎn)的數(shù)字化應用提供更多可能。$消失的建筑遺產(chǎn)的三維重建。如果保留有充足的歷史圖像，基于圖像的三維重建可以對已經(jīng)消失的建筑遺產(chǎn)進行三維重建，比如最近上海交通大學建筑文化遺產(chǎn)研究中心對上海練塘古鎮(zhèn)數(shù)處被拆建筑的數(shù)字還原。

[1]劉暢,劉夢雨,王雪瑩.平遙鎮(zhèn)國寺萬佛殿大木結構測量數(shù)據(jù)解讀[J].中國建筑史論匯刊,2012(1)：101-148.

[2]湯羽揚,杜博怡,丁延輝.三維激光掃描數(shù)據(jù)在文物建筑保護中應用的探討[J].北京建筑工程學院學報,2011,27(4)：1- 6.

[3]REMONDINO F.Heritage recording and 3D modeling with photo grammetry and 3D scanning[J].Remote Sensing,2011,3(6)：1104-1138.

[4]BLAIS F.Review of 20 years of range sensor development[J].Journal of Electronic Imaging,2004,13(1)：231-243.

[5]BENEDETTI B,GAIANI M,REMONDINO F,et al. Modelli digitali 3D in archeologia：il caso di Pompei[M].Pisa：Edizioni della Normale,2010.

[6]AGARWAL S,FURUKAWA Y,SNAVELY N,et al.Building Rome in a day[J].Communications of the ACM,2011,54(10)：105-112.

[7]WU C.Towards linear-time incremental structure from motion[C]//3D Vision- 3DV 2013 International Conference on 3dtv- Conference[S.l.].IEEE,2012：127-130.

[8]REMONDINO F,DEL PIZZO S,KERSTEN T P,et al.Low-cost and open-source solutions for automated image orientation：a critical overview[C]//Progress in Cultural Heritage preservation.Springer：Berlin Heidelberg,2012：40-54.

[9]BALLABENI A,APOLLONIO F I,GAIANI M,et al.Advances in image pre-processing to improve automated 3D Reconstruction[C]//International Archives of the Photogrammetry.Remote： Sensing and Spatial Information Sciences, 2015：315-323.

[10]APOLLONIO F I,BALLABENI A,GAIANI M,et al.Evaluation of feature-based methods for automated network orientation[C]//International Archives of the Photogrammetry.Remote： Sensing and Spatial Information Sciences,2014： 47-54.

[11]SUN Z,CAO Y K.Applications of integrated digital technologies for surveying Tibetan architectural heritage：three years experience[C]//22th CAADRIA.Suzhou：[s.n.]2017：663-672.

[12]BARSANTI S G,REMONDINO F,VISINTINI D.Photogrammetry and Laser Scanning for archaeological site 3D modeling-Some critical issues[C]//.Proc.of the 2nd Workshop on'The New Technologies for Aquileia',V.Roberto：L. Fozzati,2012.