基于無(wú)人機(jī)傾斜攝影的橋梁三維建模研究

毛 琳，王超，余星宇，錢 嘉，崔彌達(dá)，侯士通，吳 剛

（1.江西省交通科學(xué)研究院有限公司，江西南昌 330052；2.東南大學(xué)土木工程學(xué)院，江蘇南京 211189；3.東衢智慧交通基礎(chǔ)設(shè)施科技(江蘇)有限公司，江蘇南京 211199；4.江西省橋梁結(jié)構(gòu)重點(diǎn)實(shí)驗(yàn)室，江西南昌 330096）

引言

我國(guó)現(xiàn)役橋梁數(shù)量龐大，為保證橋梁運(yùn)行安全，需對(duì)橋梁橋面設(shè)施、上部結(jié)構(gòu)、下部結(jié)構(gòu)及附屬構(gòu)造物進(jìn)行日常檢查，對(duì)橋梁主要結(jié)構(gòu)及附屬構(gòu)造物進(jìn)行定期全面檢查。

傳統(tǒng)橋梁檢測(cè)多采用人工現(xiàn)場(chǎng)調(diào)查法，主要針對(duì)的是外觀檢測(cè)，檢查橋梁是否存在裂縫、鋼筋銹蝕、滲水、支座脫空等病害，但橋梁檢測(cè)人員只能在橋面或橋底進(jìn)行檢測(cè)，存在視覺(jué)盲點(diǎn)，或距離過(guò)遠(yuǎn)在目力可及范圍之外。橋梁檢測(cè)車能將工作臂升起或降低到橋面以下，為橋梁檢測(cè)人員和設(shè)備提供工作平臺(tái)，對(duì)橋底展開(kāi)精細(xì)化檢測(cè)，但是工作效率較低，對(duì)一些橋梁比如懸索橋的橋底檢測(cè)，因?yàn)樾崩髯钃?，存在一定的局限性。無(wú)人機(jī)作為一種新型工具，也開(kāi)始應(yīng)用在橋梁檢測(cè)中。無(wú)人機(jī)具有靈活，飛行平穩(wěn)等特點(diǎn)，通過(guò)搭載高清攝像頭和紅外熱像儀，代替人眼檢查橋梁病害。配合橋梁病害自動(dòng)識(shí)別算法，無(wú)人機(jī)能實(shí)現(xiàn)橋梁結(jié)構(gòu)的無(wú)人化檢測(cè)，且能到達(dá)高聳塔柱、梁底表面等人工不易到達(dá)部位進(jìn)行病害檢測(cè)，效率較高。

雖然現(xiàn)在無(wú)人機(jī)在橋梁檢測(cè)中已有應(yīng)用，但是仍然存在一些問(wèn)題：對(duì)于橋底環(huán)境，GPS 信號(hào)不穩(wěn)定，無(wú)人機(jī)常會(huì)丟失定位信息，對(duì)于鋼結(jié)構(gòu)橋梁，磁場(chǎng)的存在也會(huì)干擾無(wú)人機(jī)信號(hào)傳輸。[1]為解決上述問(wèn)題，本文主要研究了利用無(wú)人機(jī)傾斜攝影測(cè)量來(lái)快速建立橋梁三維模型，從而構(gòu)建橋梁地圖。未來(lái)可以研究在給定地圖的情況下，進(jìn)行無(wú)人機(jī)橋梁檢測(cè)的航線規(guī)劃及估計(jì)無(wú)人機(jī)的位姿，解決無(wú)人機(jī)的定位及防撞問(wèn)題。

1 無(wú)人機(jī)數(shù)據(jù)采集

1.1 無(wú)人機(jī)簡(jiǎn)介

無(wú)人機(jī)作為飛行平臺(tái)，一般分為多旋翼和固定翼兩種，因?yàn)橛糜跇蛄簷z測(cè)的無(wú)人機(jī)有定點(diǎn)懸停拍攝橋梁影像的應(yīng)用需求，常使用多旋翼無(wú)人機(jī)，該類無(wú)人機(jī)還有可垂直起降、靈活、可沿各方向自由飛行等優(yōu)點(diǎn)。典型的多旋翼無(wú)人機(jī)主要由機(jī)體結(jié)構(gòu)系統(tǒng)、飛行動(dòng)力系統(tǒng)、飛行控制系統(tǒng)、數(shù)據(jù)鏈路系統(tǒng)（數(shù)傳和圖傳模塊）、遙控及顯示系統(tǒng)，還可搭載用于橋梁檢測(cè)的多種傳感器和設(shè)備，例如紅外相機(jī)，云臺(tái)相機(jī)，計(jì)算平臺(tái)等等，功能可拓展。

1.2 無(wú)人機(jī)橋檢技術(shù)研究進(jìn)展

專家學(xué)者對(duì)無(wú)人機(jī)在橋梁檢測(cè)中的應(yīng)用進(jìn)行了一定的研究，如賀志勇等[2]研究在無(wú)人機(jī)上搭載高清變焦攝像頭、激光測(cè)距儀、GPS，并規(guī)劃其飛行路線來(lái)實(shí)現(xiàn)對(duì)橋梁的自動(dòng)化檢測(cè)，并利用數(shù)字圖像處理技術(shù)對(duì)無(wú)人機(jī)采集的圖片數(shù)據(jù)中的裂縫進(jìn)行自動(dòng)分類與識(shí)別，具有較高的準(zhǔn)確率；梁亞斌等人介紹了一種基于無(wú)人機(jī)航拍的大橋橋索外觀檢測(cè)方法及其在武漢天興洲長(zhǎng)江大橋橋索聚乙烯（PE）保護(hù)套外觀檢測(cè)中的應(yīng)用[3]；鄒露鵬等開(kāi)發(fā)了一種加裝高分辨光學(xué)相機(jī)及紅外熱成像儀的微型無(wú)人機(jī)，通過(guò)近距離飛行采集橋梁表觀光學(xué)和熱成像圖譜，再通過(guò)后期的圖像分析處理，完成橋梁的斜拉索和梁底等構(gòu)件的病害檢測(cè)[4]。

為解決橋下無(wú)人機(jī)定位穩(wěn)定性差和防撞性能不好。呂福瑞在現(xiàn)階段的無(wú)人機(jī)檢測(cè)技術(shù)的基礎(chǔ)上研究了一種新型無(wú)人機(jī)檢測(cè)系統(tǒng)，其主要由異形檢測(cè)無(wú)人機(jī)、中繼無(wú)人機(jī)和建筑信息化模型地面站系統(tǒng)組成，異形無(wú)人機(jī)有良好的防撞性能和抗磁干擾能力，丟失定位信號(hào)時(shí)中繼無(wú)人機(jī)增強(qiáng)無(wú)人機(jī)全球定位信號(hào)、差分定位信號(hào)及磁羅盤(pán)校準(zhǔn)的工作，有效地解決了當(dāng)今無(wú)人機(jī)檢測(cè)行業(yè)的一些問(wèn)題[5]。還可以基于PIXHAWK 控制器和改進(jìn)人工勢(shì)場(chǎng)法，計(jì)算無(wú)人機(jī)的最佳避障路徑，從實(shí)現(xiàn)自動(dòng)避障功能，滿足橋梁檢測(cè)的要求[6]。

除了對(duì)無(wú)人機(jī)進(jìn)行改組裝，解決橋底定位穩(wěn)定性差還有一種思路。利用無(wú)人機(jī)傾斜攝影測(cè)量來(lái)快速建立橋梁三維模型，從而構(gòu)建橋梁地圖。在橋梁地圖已知的情況下，進(jìn)行無(wú)人機(jī)橋梁檢測(cè)的航線規(guī)劃及估計(jì)無(wú)人機(jī)的位姿，解決其定位及防撞問(wèn)題。

1.3 無(wú)人機(jī)傾斜攝影的航線規(guī)劃

無(wú)人機(jī)傾斜攝影的航線常用的有二維攝影測(cè)量、三維攝影測(cè)量（井字飛行）、三維攝影測(cè)量（五向飛行）和環(huán)形航線，如圖1 所示。

圖1 無(wú)人機(jī)傾斜攝影常用航線

相比二維攝影測(cè)量，三維攝影測(cè)量都會(huì)采集測(cè)區(qū)立面的信息，井字飛行每條航線飛機(jī)不調(diào)轉(zhuǎn)機(jī)頭，能采集4 個(gè)方向傾斜數(shù)據(jù)；五向飛行通過(guò)調(diào)轉(zhuǎn)機(jī)頭會(huì)采集1 條正射和4 個(gè)方向傾斜的數(shù)據(jù)；環(huán)形航線常用于單體建筑物的影像采集。

通過(guò)無(wú)人機(jī)采集橋梁影像，首先應(yīng)對(duì)測(cè)區(qū)進(jìn)行調(diào)研，如明確測(cè)區(qū)范圍，橋梁類型，模型分辨率要求，收集相關(guān)資料。對(duì)于橋梁測(cè)區(qū)形狀一般為矩形，航線規(guī)劃較為簡(jiǎn)單，可采用五向飛行或井字飛行，設(shè)置航向重疊率（無(wú)人機(jī)前進(jìn)方向拍攝照片與照片的重疊率）、旁向重疊率（航線間照片的重疊率）、相機(jī)傾斜角等參數(shù)后開(kāi)始自動(dòng)完成橋梁影像采集。

2 傾斜攝影技術(shù)在橋梁建模中的應(yīng)用

傾斜攝影的基本原理是多視角三維重建，該技術(shù)顛覆了以往正攝影像只能從垂直角度拍攝的局限，可通過(guò)在同一飛行平臺(tái)上搭載多臺(tái)傳感器，由中心一個(gè)正攝角度的相機(jī)和周圍幾個(gè)均勻分布的有一定傾斜角度的相機(jī)構(gòu)成。工作時(shí)，同時(shí)從一個(gè)垂直、四個(gè)傾斜等五個(gè)不同的角度采集影像，滿足了對(duì)地面同一地物三張以上不同角度影像的拍攝并滿足一定的重疊率，將獲取的數(shù)據(jù)處理后進(jìn)行三維實(shí)景重建。

由于近年SIFT 算法的發(fā)展，且隨著并行計(jì)算和計(jì)算機(jī)硬件的進(jìn)步，大幅降低了對(duì)航攝硬件和數(shù)據(jù)采集的要求[7]，對(duì)于在小面積區(qū)域內(nèi)的橋梁建模，可通過(guò)單鏡頭多旋翼無(wú)人機(jī)規(guī)劃平行航線折返拍攝，也能采集多角度的橋梁航攝影像，只要滿足一定的重疊度，也能實(shí)現(xiàn)較好的三維模型重建，并具有成本較低的優(yōu)勢(shì)。針對(duì)不同的檢測(cè)任務(wù)，方留楊等人還總結(jié)了3 中不同的航拍檢測(cè)方案[8]。

2.1 傾斜攝影建模的核心步驟及方法

航攝數(shù)據(jù)下載及圖像預(yù)處理。從無(wú)人機(jī)設(shè)備中下載航攝數(shù)據(jù)，并檢查數(shù)據(jù)完整性，將飛行姿態(tài)和坐標(biāo)信息導(dǎo)出為POS 文件。

空中三角測(cè)量控制點(diǎn)加密?？杖用苁莾A斜攝影建模的核心步驟，其主要目的是將無(wú)序的影像在空間中相互對(duì)齊并構(gòu)建接近真實(shí)狀態(tài)的空間模型。主要處理流程有：載入數(shù)據(jù)、影像特征點(diǎn)提取、同名特征點(diǎn)匹配、影像外方位元素反算等。[9]

密集點(diǎn)云生成及模型構(gòu)建。根據(jù)空中三角測(cè)量運(yùn)算出的影像外方位元素，通過(guò)多視影像密集匹配可獲得高密度的數(shù)字點(diǎn)云。密集點(diǎn)云數(shù)據(jù)量較大，將數(shù)據(jù)分塊后進(jìn)行不同層次細(xì)節(jié)度下的Tin 模型構(gòu)建。

紋理切片及自動(dòng)映射。根據(jù)三角網(wǎng)所構(gòu)成曲面的曲度變化對(duì)Tin 模型數(shù)據(jù)進(jìn)行簡(jiǎn)化，最后將優(yōu)化后的Tin 模型和紋理影像進(jìn)行配準(zhǔn)和貼圖。

三維模型重建。依次按照密集點(diǎn)云生成、Tin模型構(gòu)建、紋理自動(dòng)映射三個(gè)步驟來(lái)完成后，最終生成三維虛擬場(chǎng)景模型。

建模核心步驟如圖2 所示。

圖2 傾斜攝影建模步驟

2.2 Smart3D(Context Capture)建立橋梁模型

實(shí)景建模軟件Context Capture 是Bentley 公司于2015 年收購(gòu)的法國(guó)Acute3D 公司的產(chǎn)品，是一款能夠通過(guò)拍攝等手段獲取現(xiàn)實(shí)模式的應(yīng)用軟件，能解決將現(xiàn)實(shí)的模型轉(zhuǎn)變?yōu)椤半娮幽Ｐ汀钡膽?yīng)用需求，適用性較廣。無(wú)人機(jī)所采集的圖像數(shù)據(jù)可通過(guò)Smart3D 軟件實(shí)現(xiàn)自動(dòng)化建模。在Smart3D 中新建工程文件，導(dǎo)入圖像數(shù)據(jù)和POS 文件，并輸入相機(jī)的主要參數(shù)，之后完成數(shù)據(jù)預(yù)處理與計(jì)算、空中三角測(cè)量控制點(diǎn)加密等步驟，最后實(shí)現(xiàn)三維場(chǎng)景模型重建。三維模型可導(dǎo)出格式為osgb。

2.3 大疆智圖(DJI Terra)建立橋梁模型

大疆智圖是大疆創(chuàng)新公司開(kāi)發(fā)的一款提供自主航線規(guī)劃、飛行航拍、二維正射影像與三維模型重建的PC 應(yīng)用軟件。大疆智圖提供了一站式解決方案，從無(wú)人機(jī)航線規(guī)劃，到三維模型重建，操作截面簡(jiǎn)潔直觀，步驟清晰。大疆智圖和Smart3D 建模方法類似。首先在軟件中新建傾斜攝影任務(wù)，然后進(jìn)行空三加密，添加無(wú)人機(jī)所采集的數(shù)據(jù)照片，選擇建圖場(chǎng)景及清晰度，選擇需要輸出的模型格式，有osgb、b3dm、ply 三種格式可選擇。點(diǎn)擊空三進(jìn)行空三處理，像素點(diǎn)管控設(shè)置并導(dǎo)入像控點(diǎn)文件，點(diǎn)擊像控點(diǎn)坐標(biāo)系統(tǒng)設(shè)置坐標(biāo)系。點(diǎn)擊重建，三維模型建模完成。

3 案例分析

3.1 工程背景

南京某大橋，位于江蘇省南京市江寧區(qū)，主跨為下承式預(yù)應(yīng)力混凝土系桿拱橋，剛性系桿剛性拱肋，跨越秦淮河（6 級(jí)航道），始建于上世紀(jì)70 年代，2004 年舊橋拆除改建為下承式拱橋，橋長(zhǎng)139 m，寬8 m，設(shè)計(jì)荷載汽車-20 級(jí)，掛車-100 級(jí)，設(shè)計(jì)交角90°。

主拱肋采用鋼筋混凝土結(jié)構(gòu)，拱軸線選用二次拋物線。每片拱肋設(shè)19 根剛性吊桿，吊桿為預(yù)應(yīng)力鋼管混凝土結(jié)構(gòu)。系桿為預(yù)應(yīng)力混凝土結(jié)構(gòu)，每根系桿內(nèi)布置有預(yù)應(yīng)力鋼絞線。全橋共有21 根橫梁，中橫梁采用T 型截面，端橫梁采用箱形截面，橋面板使用普通鋼筋混凝土實(shí)心板。兩片拱肋間共布置7 道橫撐，其中拱頂設(shè)1 道米字型橫撐，拱肋四分點(diǎn)處各設(shè)3 道K 字型橫撐。[10]

3.2 無(wú)人機(jī)選型

圖3 為大疆M300-RTK，是大疆的一款工業(yè)級(jí)無(wú)人機(jī)，工作溫度-20～50℃，最大可承受風(fēng)速15 m/s，最大圖傳距離為15 km，空載飛行時(shí)間高達(dá)55 min，最多可同時(shí)支持三個(gè)負(fù)載，六向定位避障，最大探測(cè)范圍達(dá)40m，即使在橋底水面等復(fù)雜作業(yè)環(huán)境下，也可保證穩(wěn)定飛行和避障。大疆M300 可搭載五鏡頭使用，同時(shí)五個(gè)不同的角度采集橋梁影像，也可搭載單鏡頭并規(guī)劃平行航線折返拍攝來(lái)模擬五鏡頭拍攝效果。

圖3 DJI M300-RTK

圖4 為大疆精靈PHANTOM4-RTK 無(wú)人機(jī)，集成全新RTK 模塊，擁有更強(qiáng)大的抗磁干擾能力與精準(zhǔn)定位能力，提供實(shí)時(shí)厘米級(jí)定位數(shù)據(jù)，顯著提升圖像元數(shù)據(jù)的絕對(duì)精度。支持PPK 后處理。飛行器持續(xù)記錄衛(wèi)星原始觀測(cè)值、相機(jī)曝光文件等數(shù)據(jù)，在作業(yè)完成后，用戶可直接通過(guò)DJI 云PPK 服務(wù)解算出高精度位置信息。定位系統(tǒng)支持連接D-RTK2高精度GNSS 移動(dòng)站，并可通過(guò)4G 無(wú)線網(wǎng)卡或WIFI 熱點(diǎn)與NTRIP 連接。

圖4 DJI PHANTOM4-RTK

本案例采用大疆精靈PHANTOM4-RTK 無(wú)人機(jī)，采用單鏡頭并規(guī)劃平行航線折返拍攝橋梁影像，從基本滿足橋梁傾斜攝影三維建模的使用需求，且相比大疆M300-RTK 靈活性更佳。

3.3 實(shí)際應(yīng)用

首先在精靈4 無(wú)人機(jī)中設(shè)置航向，旁向重疊率，設(shè)置為≥75 %；飛行速度5 m/s；任務(wù)完成后自動(dòng)返航；飛行高度比拱頂高30 m；相機(jī)傾斜角40°～45°。實(shí)際航線如圖5 所示。

圖5 實(shí)際五航線

3.4 兩種建模方法耗時(shí)對(duì)比

計(jì)算平臺(tái)采用Inter i5-9400F 2.9 GHz 處理器，機(jī)帶RAM16GB。將無(wú)人機(jī)采集的圖片數(shù)據(jù)進(jìn)行預(yù)處理后分別導(dǎo)入Smart3D 和大疆智圖進(jìn)行建模處理，Smart3D 完成模型構(gòu)建共耗時(shí)2 小時(shí)50 分鐘，而大疆智圖耗時(shí)48 分鐘。在建模速度上，大疆制圖耗時(shí)較短。

3.5 兩種建模方法建模精度對(duì)比

比較兩種建模方法所構(gòu)建的橋梁三維模型，總體而言，Smart3D 構(gòu)建的模型保留了較多細(xì)節(jié)，但是模型出現(xiàn)了不平整現(xiàn)象，大疆智圖對(duì)構(gòu)建的模型進(jìn)行了后期修整，較為平順，去掉了冗余的信息。對(duì)比模型的局部細(xì)節(jié)，在圖6 中對(duì)于橋梁橋面，大疆智圖構(gòu)建的模型十分平順，且對(duì)主拱在橋面上的影子進(jìn)行了去除，而Smart3D 構(gòu)建的模型橋面出現(xiàn)了不平順的現(xiàn)象；在圖7 中，對(duì)于拱肋間的K 型橫撐，建模效果較好；如圖8，對(duì)于吊桿的建模，兩個(gè)軟件構(gòu)建的模型都出現(xiàn)了部分吊桿建模缺失的現(xiàn)象。

圖6 橋面的建模

圖7 K 型橫撐的建模

圖8 吊桿的建模

4 結(jié)語(yǔ)

本文主要介紹了無(wú)人機(jī)在橋梁檢測(cè)中的應(yīng)用，利用無(wú)人機(jī)采集橋梁圖像數(shù)據(jù)，并通過(guò)Smart3D 和大疆智圖分別對(duì)橋梁圖像進(jìn)行后期處理并建立橋梁三維模型，并定性比較了兩個(gè)建模軟件的建模效果。

通過(guò)傾斜攝影技術(shù)，能將橋梁圖像數(shù)據(jù)建立可視化的三維模型；同時(shí)該模型可作為橋梁病害信息載體，將橋梁病害圖片精準(zhǔn)定位到數(shù)字模型上；該模型還可作為無(wú)人機(jī)與橋梁的信息傳遞媒介，可通過(guò)數(shù)字模型來(lái)進(jìn)行無(wú)人機(jī)橋梁病害檢測(cè)的航線規(guī)劃。