三維重建技術在通信鐵塔信息數(shù)字化領域的應用研究

蘭文輝，沈 濤，齊少安，李廣彬，劉健苗（中訊郵電咨詢設計院有限公司鄭州分公司，河南鄭州 450007）

1 背景

2021 年政府工作報告提出：“加快數(shù)字化發(fā)展，打造數(shù)字經(jīng)濟新優(yōu)勢，協(xié)同推進數(shù)字產(chǎn)業(yè)化和產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型，加快數(shù)字社會建設步伐，提高數(shù)字政府建設水平，營造良好數(shù)字生態(tài)……”報告中的7個“數(shù)字”勾勒出“數(shù)字中國”的豐富內(nèi)涵，數(shù)字化是“數(shù)字—信息—智能”整體框架的基礎和核心。

數(shù)字化已經(jīng)是不可阻擋的大潮，面向未來，運營商及中國鐵塔也計劃將傳統(tǒng)“通信塔”升級打造成為具有數(shù)字化能力的“數(shù)字塔”。作為數(shù)字經(jīng)濟、智慧社會的戰(zhàn)略性基礎設施，“數(shù)字塔”將服務千行百業(yè)，賦能數(shù)字經(jīng)濟發(fā)展，助力社會治理體系的現(xiàn)代化［1］。

目前通信鐵塔數(shù)字化面臨的主要問題是數(shù)據(jù)采集困難。鐵塔、平臺、抱桿、天線等天面信息，均采用人工草圖、照片、記錄等方式進行記錄，無法對塔上的情況做準確、詳實采集，采集后的信息需要大量人員加工整理上傳系統(tǒng)，并且整理后的數(shù)據(jù)是以圖紙等形式保存，沒有實現(xiàn)數(shù)字化。

隨著計算機技術的飛速發(fā)展，基于多視圖圖像的三維重建和圖像識別技術得到廣泛應用。按照目標物體深度信息的獲取方法（被動式測量與主動式測量［2］），三維重建技術分為被動式三維重建技術和主動式三維重建技術。主動式測量是指利用如激光、聲波、電磁波等光源或能量源發(fā)射至目標物體，通過接收返回的光波來獲取物體的深度信息?？紤]到現(xiàn)有的通信鐵塔所處的位置環(huán)境較為復雜（地面不平、無法靠近、高度過高）等因素。本文采用被動式三維重建技術來構(gòu)建鐵塔的三維模型，進而獲取鐵塔的數(shù)據(jù)信息。

2 被動式三維重建技術

被動式三維重建技術一般利用周圍環(huán)境如自然光的反射，使用相機獲取圖像，然后通過特定算法計算得到物體的立體空間信息。被動式三維重建技術分為運動恢復結(jié)構(gòu)、稠密三維重建、紋理貼圖、語義解析和模型矢量化等步驟。

2.1 運動恢復結(jié)構(gòu)［3］

2.1.1 算法需要輸入的數(shù)據(jù)

需要輸入的數(shù)據(jù)為無人機拍攝的照片。

2.1.2 算法輸出結(jié)果

輸出結(jié)果為每一幀圖像對應的相機姿態(tài)和場景的稀疏三維點云。相機姿態(tài)為6 自由度，包括3 自由度的位置（三維坐標）和3自由度的三維旋轉(zhuǎn)。場景的稀疏三維點云指算法自動提取的部分場景關鍵點，每一個點由三維空間坐標（x，y，z）和顏色值（R，G，B）表示。

2.1.3 算法原理

運動恢復結(jié)構(gòu)技術以采集的圖片序列為輸入，經(jīng)過特征提取、特征匹配、兩視幾何計算、相機位姿估計和場景結(jié)構(gòu)恢復4 個步驟，恢復出圖片的相機位姿和場景的稀疏三維點云。運動恢復結(jié)構(gòu)技術的流程如圖1所示。

圖1 運動恢復結(jié)構(gòu)技術流程

特征點檢測是檢測出圖像中紋理比較豐富、容易識別的點，常用的特征提取算法是SIFT［4］。特征匹配是指將2 幅圖像中的特征點進行匹配，正確匹配的特征點對應著實際場景中的同一個點。根據(jù)匹配特征在圖像中的位置和相機的焦距等內(nèi)在參數(shù)可以計算拍攝2幅圖像的相對位置和朝向，如圖2所示。

圖2 由2幅圖像中的特征匹配計算的相對相機位置和朝向

由所有的兩兩圖像對之間的相對位置和朝向可以計算出所有圖像在一個統(tǒng)一坐標系下的相機位置和朝向，最后根據(jù)相機的位置和朝向，可以通過三角化把圖像之間相互匹配的特征點在空間中的三維坐標計算出來，從而獲取場景的稀疏三維點云。

2.2 稠密三維重建

2.2.1 算法需要輸入的數(shù)據(jù)

需要輸入無人機拍攝的照片、運動恢復結(jié)構(gòu)算法求解的相機位姿。

2.2.2 算法輸出結(jié)果

輸出結(jié)果為場景的稠密三維點云和網(wǎng)格模型，點云和網(wǎng)格模型的頂點均帶有顏色，點云和網(wǎng)格模型的坐標與運動恢復結(jié)構(gòu)算法求解的相機位姿的坐標系一致。

2.2.3 算法原理

在運動恢復結(jié)構(gòu)技術生成的相機位姿基礎上，從圖片序列中恢復場景的稠密三維點云結(jié)構(gòu)。該技術涉及到稠密立體匹配、深度恢復等多視圖幾何原理和技術。稠密三維重建流程如下。

a）基于相機位姿利用稠密立體匹配技術恢復每張圖像的深度圖。

b）基于相機位姿將圖像序列的深度圖融合成稠密三維點云。

c）利用表面網(wǎng)格提取技術從稠密三維點云中抽取場景的稠密三維網(wǎng)格。

2.3 紋理貼圖

2.3.1 算法需要輸入的數(shù)據(jù)

需要輸入的數(shù)據(jù)包括無人機拍攝的照片、運動恢復結(jié)構(gòu)算法求解的相機位姿，以及場景的稠密網(wǎng)格模型。

2.3.2 算法輸出結(jié)果

輸出結(jié)果為帶紋理貼圖的稠密三維網(wǎng)格模型。模型的紋理貼圖數(shù)據(jù)包括紋理圖像集以及模型三角面片的紋理映射坐標。

2.3.3 算法原理

紋理貼圖算法流程如下。

a）利用多視角的圖像序列和相機位姿對三維模型做紋理映射。

b）對重復映射的視角圖像集做最優(yōu)的視角選擇。

c）經(jīng)過多視圖拼接優(yōu)化技術獲得稠密三維模型的無縫拼接紋理映射坐標。

d）對紋理圖像的拼接縫隙做色差消除。

經(jīng)過上述步驟的處理獲得最終帶無縫隙紋理貼圖的稠密三維網(wǎng)格模型。

2.4 語義解析

2.4.1 算法需要輸入的數(shù)據(jù)

算法需要輸入如下數(shù)據(jù)。

a）稠密三維點云。由重建產(chǎn)生的三維稠密點坐標的集合。

b）稠密三維模型。由重建產(chǎn)生的三維稠密面片的集合。

c）圖像。無人機拍攝的照片。

d）相機參數(shù)。與上述圖像一一對應的相機內(nèi)參和外參，用于計算三維模型與圖像之間的轉(zhuǎn)換關系。

2.4.2 算法輸出結(jié)果

輸出結(jié)果包括二維圖像稠密語義結(jié)果和三維模型稠密語義結(jié)果。

a）二維圖像稠密語義結(jié)果。算法輸出二維圖像上每個像素所屬的語義類別，如墻面、地面、天花板等。

b）三維模型稠密語義結(jié)果。算法輸出三維點云或三維面片每個單位元素（點、或面片）所屬的語義類別，語義定義與二維相同。

2.4.3 算法原理

語義分割是指將場景中的二維圖像或三維模型基本元素進行語義分類，實現(xiàn)對場景內(nèi)容信息高緯度的理解?；谏疃葘W習中全卷積的網(wǎng)絡結(jié)構(gòu)，以先編碼再解碼的方式，實現(xiàn)對任意大小的圖像輸入的語義分割，網(wǎng)絡結(jié)構(gòu)中的多尺度信息融合設計可以讓網(wǎng)絡對于場景中同一個物體的尺度變化具有更強的魯棒性。另外，配合所設計的半自動語義標注器，可以在現(xiàn)有模型的識別結(jié)果的基礎上對新場景進行快速標注，將標注后的新場景擴充到現(xiàn)有數(shù)據(jù)庫中，然后利用擴充后的數(shù)據(jù)庫訓練和更新深度學習網(wǎng)絡模型，從而獲得更好的識別性能。

2.5 模型矢量化

2.5.1 算法需要輸入的數(shù)據(jù)

需要輸入場景的稠密網(wǎng)格模型和三維面片的語義標注信息。

2.5.2 算法輸出結(jié)果

輸出結(jié)果為場景中核心對象（例如鐵搭天線、鐵塔平臺等）的矢量化結(jié)構(gòu)。

2.5.3 算法原理

模型矢量化是針對應用場景所關注的核心對象生成矢量化結(jié)構(gòu)的算法，主要包括以下2類方法。

a）模型矢量化方法。提取場景模型中同類語義的聯(lián)通區(qū)域。對于每個區(qū)域目標根據(jù)其語義特性擬合出對應的三維矢量化結(jié)構(gòu)。

b）基于附加屬性的矢量化方法。即根據(jù)提供的對象型號、排列順序和從屬組別，在三維空間上對矢量化的模型進行再擬合，獲取實例級的三維對象矢量化結(jié)構(gòu)。

基于不同語義的核心對象要采用適合自身語義屬性的不同矢量化方法。

3 三維重建實例

3.1 三維重建過程及結(jié)果

結(jié)合實際工程中通信鐵塔的實例，數(shù)據(jù)采集人員攜帶無人機到達鐵塔現(xiàn)場，將無人機放置在平坦的地面，使用控制APP，按照規(guī)劃路線完成鐵塔照片的拍攝，然后將拍攝的照片上傳到服務器，服務器按照三維重建流程進行三維重建，后端人員可以直接查看到三維重建結(jié)果。

通過稠密重建可以實現(xiàn)鐵塔、平臺、抱桿、天線等天面信息的自動化采集，實現(xiàn)對塔上情況做準確、詳實的記錄。通過語義分割可以實現(xiàn)鐵塔、平臺、抱桿、天線等天面信息的自動化識別。通過矢量模型可以實現(xiàn)通信鐵塔信息的數(shù)字化。本文中所述的方法基本可以滿足鐵塔查勘自動化、處理自動化、結(jié)果數(shù)據(jù)化的要求，為鐵塔基站的數(shù)字化建設、運維、優(yōu)化提供了基礎。本次實驗的三維重建過程及結(jié)果見圖3。

圖3 三維重建過程實例及結(jié)果

3.2 三維重建時間

采用上述的三維重建方法和步驟，以角鋼塔為例，采集設備為大疆精靈4 無人機，處理平臺為Intel（R）Xeon（R）CPU E5-2680 v4（2.40 GHz，56 核Ge-Force GTX 1080 Ti），處理數(shù)據(jù)量為1 000+張圖片，采集時間為20 min，重建處理時間約為1.5 h。

3.3 三維重建識別效果

三維重建識別效果如表1所示。

表1 三維重建識別效果

4 結(jié)束語

本文介紹了通信鐵塔數(shù)字化的背景及數(shù)字化過程中存在的問題，分析了現(xiàn)有的三維重建技術。結(jié)合通信鐵塔的環(huán)境因素，本文采用了通過無人機拍攝通信鐵塔照片的方式來構(gòu)建鐵塔的三維模型的方案。通過實驗結(jié)果可知，三維重建結(jié)果基本符合預期要求。后期隨著人工智能的發(fā)展、訓練算法的改進，識別率和識別精度會有進一步的提高，三維重建技術能夠更好地支撐鐵塔數(shù)字化。當前情況下，由于城市中存在無人機限飛、操作無人機需要專業(yè)人員持證操作等非技術因素，通過無人機拍照對鐵塔進行三維建模來獲取鐵塔的數(shù)字化信息還無法大規(guī)模應用。