基于單相機(jī)的飛行器結(jié)構(gòu)表面應(yīng)變片三維定位方法

李立欣 周書濤 周江帆 董學(xué)金 蘇志龍 張東升

（1 上海大學(xué)力學(xué)與工程科學(xué)學(xué)院上海市應(yīng)用數(shù)學(xué)與力學(xué)研究所，上海 200444；2 北京強(qiáng)度環(huán)境研究所，北京 100076；3 上海衛(wèi)星裝備研究所，上海 200240）

0 引言

光學(xué)三維重建是研究物體三維信息獲取的熱點方向之一，發(fā)展了諸如明暗恢復(fù)法、多視角立體視覺、近景工業(yè)測量、光度立體法等。其中，多視角立體視覺技術(shù)利用視覺幾何，從一組普通光學(xué)圖像中對物體的三維形狀和空間位置進(jìn)行測量和重構(gòu)，可以大大提高三維測量的效率，有效地構(gòu)建目標(biāo)的三維數(shù)據(jù)，在工業(yè)自動化檢測和航空航天逆向工程等方面具有廣闊的前景。將多視角立體重構(gòu)與不同領(lǐng)域的應(yīng)用需求相結(jié)合，研究人員們建立了多種具有實用價值的光學(xué)三維重建方法。例如，結(jié)構(gòu)光三維形貌測量是建立在雙視角成像基礎(chǔ)上的一種經(jīng)典三維形貌測量技術(shù)，由于它測量精度高且適用性強(qiáng)，已經(jīng)廣泛應(yīng)用于許多工業(yè)生產(chǎn)領(lǐng)域[1,2]，但結(jié)構(gòu)光需要額外的投影設(shè)備配合才能進(jìn)行測量。RGB-D相機(jī)和光場相機(jī)的出現(xiàn)為三維重建提供了簡單易行的途徑[3]，由于這類測量主要采用共軸形式，測量精度有待進(jìn)一步提高。隨著深度學(xué)習(xí)技術(shù)在計算機(jī)視覺領(lǐng)域中的快速發(fā)展，出現(xiàn)了基于單幀圖像的三維形貌重建技術(shù)[4,5]，該技術(shù)在人臉三維重建得到了應(yīng)用；然而這類方法目前還只能應(yīng)用在特定的對象，并且需要大量的前期訓(xùn)練才能提高測量精度。除此之外，采用單相機(jī)對物體進(jìn)行多角度成像是多視角立體測量中一種經(jīng)濟(jì)的三維重建技術(shù)[6,7]，可從不同角度獲得的場景圖像中實現(xiàn)對相機(jī)姿態(tài)和物體三維信息的同時估計，在實際應(yīng)用中備受青睞，也是本文進(jìn)行航天飛行器結(jié)構(gòu)三維點稀疏重建的關(guān)鍵方法。在航空航天領(lǐng)域，對飛行器結(jié)構(gòu)進(jìn)行逆向工程是結(jié)構(gòu)和力學(xué)設(shè)計優(yōu)化的關(guān)鍵方法，對結(jié)構(gòu)安全性和可靠性具有重要意義。因此急需發(fā)展一種方便、可靠的幾何測量方法對飛行器結(jié)構(gòu)進(jìn)行精確的三維測量。在結(jié)構(gòu)試驗中，一般會在結(jié)構(gòu)上布置大量的電阻應(yīng)變片監(jiān)測部件主要部位的變形。為了精確對比試驗測試與數(shù)值仿真結(jié)果，需要精確測量所有應(yīng)變片的空間位置。當(dāng)飛行器結(jié)構(gòu)尺寸較大和粘貼的應(yīng)變片的數(shù)量較多時，采用傳統(tǒng)的逐點式測量方法獲取應(yīng)變片的三維坐標(biāo)的難度和成本往往會很大。為此通過單相機(jī)多視角成像，發(fā)展了基于多視覺幾何的應(yīng)變片三維坐標(biāo)測量與定位方法，以期為航空航天領(lǐng)域飛行器結(jié)構(gòu)的優(yōu)化設(shè)計提供一種方便可靠的三維坐標(biāo)重構(gòu)技術(shù)。為了實現(xiàn)飛行器結(jié)構(gòu)上應(yīng)變片三維坐標(biāo)的精確測量，使用一個標(biāo)定[8,9]的單反相機(jī)對目標(biāo)進(jìn)行多角度成像，通過識別布置在結(jié)構(gòu)上的編碼點，可靠地估計相機(jī)相對于參考幀的姿態(tài)信息；然后使用深度學(xué)習(xí)中的目標(biāo)檢測技術(shù)，對圖像中的應(yīng)變片進(jìn)行識別和坐標(biāo)提取，并結(jié)合特征匹配和相鄰幀之間的極線約束對相鄰圖像中的應(yīng)變片進(jìn)行匹配；最后利用三角測量原理，實現(xiàn)應(yīng)變片的空間定位。

1 測量原理

本文實現(xiàn)大幅面測量區(qū)域內(nèi)應(yīng)變片的三維定位遵循單相機(jī)多視覺立體三維重構(gòu)的一般步驟，主要涉及相機(jī)姿態(tài)估計、目標(biāo)點（應(yīng)變片）識別與匹配、以及三維坐標(biāo)重構(gòu)[10,11]。

在測量操作上，采用定焦相機(jī)（記為C）按照如圖1所示的方式對目標(biāo)結(jié)構(gòu)進(jìn)行多視角成像，其中1C，2C，…，Ci，…,Cn為不同視角下的相機(jī)位置。為了能夠進(jìn)行相機(jī)姿態(tài)估計和應(yīng)變片坐標(biāo)重構(gòu)，在成像過程中需要控制相機(jī)使相鄰幀Ci和 1Ci+的視場需具有足夠的重合區(qū)。在獲得至少兩幀圖像后，即可相對于參考坐標(biāo)系進(jìn)行相機(jī)姿態(tài)估計和應(yīng)變片三維坐標(biāo)重構(gòu)，最后根據(jù)在視場中放置的比例尺，可以確定結(jié)構(gòu)的物理尺寸。以下對該過程中的主要方法進(jìn)行詳細(xì)介紹。

圖1 單相機(jī)多視覺測量示意圖Fig.1 Schematic diagram of multiple view measurement with a single camera

1.1 基于PnP算法的相機(jī)全局姿態(tài)估計

在應(yīng)變片三維定位問題中，由于應(yīng)變片的尺寸通常（最小3mm左右）遠(yuǎn)小于目標(biāo)結(jié)構(gòu)的尺寸，且定位精度要求高，因此需要對相機(jī)姿態(tài)進(jìn)行可靠估計。為此，本文假設(shè)測量相機(jī)的焦距固定，在測量前使用張氏標(biāo)定法對相機(jī)內(nèi)參進(jìn)行預(yù)標(biāo)定[12]，然后在測量中以布置在目標(biāo)結(jié)構(gòu)上的編碼點為控制點，確定相機(jī)的姿態(tài)。由于編碼點具有唯一性、識別魯棒性好且定位精度高，可以比自然場景特征提供更加可靠的控制點信息，因此可以得到更精確的相機(jī)姿態(tài)估計。圖2為本文中使用的15位環(huán)形編碼點[13,14]。

圖2 編碼點示例Fig.2 Examples of coding points

在檢測到相鄰圖像中的共同編碼點后，可采用多點透視算法（Perspective-n-Point，PnP）相對參考坐標(biāo)系確定相機(jī)姿態(tài)，包括旋轉(zhuǎn)矩陣與平移向量t∈3。假設(shè)以第一幀相機(jī)（C1）坐標(biāo)系為參考系，則相機(jī)姿態(tài)的確定方法如下。在給定n對三維點和二維圖像點對應(yīng)關(guān)系的前提下，可以利用PnP算法確定當(dāng)前幀相對于參考坐標(biāo)系的旋轉(zhuǎn)矩陣R與平移向量t。為此，重構(gòu)第一二幀中觀察到的編碼點的初始三維坐標(biāo)是進(jìn)行PnP姿態(tài)估計的關(guān)鍵。由于相機(jī)內(nèi)參已知，可以通過估計前兩幀之間的本質(zhì)矩陣得到第二幀相對于參考系的姿態(tài)，然后進(jìn)行三維重構(gòu)得到初始三維坐標(biāo)。假設(shè)在第一二幀中得到的編碼點坐標(biāo)對為，其中pj1和pj2采用齊次坐標(biāo)形式，下標(biāo)j表示編碼點的序號。根據(jù)標(biāo)定相機(jī)的極線約束原理[15]，可以得到

其中，K為已標(biāo)定的相機(jī)內(nèi)參矩陣；E為本質(zhì)矩陣，表示當(dāng)前幀相對于參考坐標(biāo)系的姿態(tài)變換關(guān)系，即表示平移向量對應(yīng)的反對稱矩陣）。根據(jù)式（1）可知，一對編碼點可為求解本質(zhì)矩陣E提供一個方程。盡管是E是一個3×3的矩陣，但其秩為2（即行列式det(E)=0），因此需要八對編碼點即可確定本質(zhì)矩陣E。對本質(zhì)矩陣進(jìn)行奇異值分解后，可以得到第二幀相對于參考坐標(biāo)系的旋轉(zhuǎn)矩陣R和平移向量t。然后，可使用三角測量方法對每一對編碼點對應(yīng)的三維坐標(biāo)定初始的三維坐標(biāo)，但由于PnP算法依賴于Pj進(jìn)行進(jìn)行重構(gòu)。盡管上述過程可以確后續(xù)相機(jī)姿態(tài)的估計，因此提高Pj的重構(gòu)精度有利于提高應(yīng)變片定位精度。為此，本文進(jìn)一步采用光束平差法(Bundle A djustment，BA)[16]對Pj進(jìn)行優(yōu)化。光束法平差的本質(zhì)是求解關(guān)于相機(jī)姿態(tài) (R和t)與三維點Pj的最小二乘優(yōu)化問題，使得總體重投影誤差最小[17,18]。需要注意的是，在應(yīng)變片三維定位中，為了保證透視投影模型下小尺寸應(yīng)變的可識別性，相鄰兩幀相機(jī)的姿態(tài)變化不宜過大，因此而來的一個問題是相機(jī)的基線變化比物距小得多。如果在BA優(yōu)化中直接以Pj的坐標(biāo)為參數(shù)，往往會存在數(shù)值穩(wěn)定性問題。為此這里采用逆深度參數(shù)化的方式表示空間點，然后建立BA優(yōu)化模型。由于參考坐標(biāo)系為第一幀相機(jī)坐標(biāo)系，因此上述重構(gòu)的三維點Pj的Z坐標(biāo)即為其深度，于是其逆深度可以表示為wj=1/Zj。從而，Pj可以被逆深度參數(shù)化為P j=pj1/wj。根據(jù)初步估計的旋轉(zhuǎn)矩陣R和平移向量t，Pj可被重投影到第二幀圖像得到重投影圖像點坐標(biāo)，然后與觀察到的對應(yīng)點做差得到重投影誤差。將所有觀察到的編碼點的重投影誤差進(jìn)行求和，可得到BA優(yōu)化模型

其中，N為編碼點對數(shù)，〈〉為歸一化算子。通過求解上述模型，即可得到最優(yōu)逆深度，然后根據(jù)逆深度參數(shù)化得到高精度的初始三維點Pj。在初始三維坐標(biāo)確定之后，可使用PnP算法依次確定后續(xù)圖像幀相對于參考坐標(biāo)系的相機(jī)姿態(tài)。由于在測量中應(yīng)變片圖像序列往往比較長，單純使用PnP算法會存在一定的誤差累計。為了消除累計誤差，在新的姿態(tài)估計完成之后，可以對其及上一幀應(yīng)用式（2）中的BA優(yōu)化，可以同時提高每一幀中編碼點三維坐標(biāo)重構(gòu)精度和相機(jī)姿態(tài)的估計精度。

1.2 基于YOLO模型的應(yīng)變片圖像識別

布置在結(jié)構(gòu)表面的應(yīng)變片尺寸小、數(shù)量多，而且外觀相似度比較高，因此很難采用人工識別或者傳統(tǒng)圖像處理的方式完成應(yīng)變片識別。為了解決這個問題，本文采用深度學(xué)習(xí)的方式從圖像序列中識別應(yīng)變片的坐標(biāo)。目前，深度學(xué)習(xí)的目標(biāo)檢測方法大體上分為2類，即兩階段目標(biāo)檢測方法和一階段目標(biāo)檢測方法。兩階段的目標(biāo)檢測方法常見的有Faster R-CNN[19]，這一類檢測方法往往先處理圖像生成候選區(qū)域，然后再對候選區(qū)域進(jìn)行分類和回歸；其優(yōu)點是檢測精度高，缺點是檢測速度比較慢。一階段目標(biāo)檢測的代表性方法有YOLO[20]和SSD[21]等，這類方法不需要生成候選區(qū)域，直接通過圖像回歸出物體的類別和坐標(biāo)，不生成二階段目標(biāo)檢測方法所需的候選框，檢測速度快。在考慮應(yīng)變片的特征后，本文使用YOLO（You Only Look Once）進(jìn)行應(yīng)變片識別[22,23]。YOLO模型使用一個單獨的 CNN 模型，實現(xiàn)端到端的目標(biāo)位置檢測以及分類；與Faster R-CNN相比，YOLO速度快，而且準(zhǔn)確率也很高[24,25]。YOLO算法直接把輸入的原始圖片分割成互不重合的小方塊，然后通過卷積運算遍歷每一個小方塊，產(chǎn)生特征圖，再得到與特征圖中對應(yīng)的每個元素，從而達(dá)到目標(biāo)點位置推理的目的。在應(yīng)變片檢測任務(wù)中的具體細(xì)節(jié)如下。

首先建立應(yīng)變片圖像數(shù)據(jù)集。對粘貼在結(jié)構(gòu)表面的應(yīng)變片進(jìn)行多角度拍攝，通過數(shù)據(jù)增強(qiáng)的手段擴(kuò)展樣本數(shù)量，使得樣本數(shù)量大于等于訓(xùn)練YOLO模型的經(jīng)驗值1500。然后人工標(biāo)注每張圖像中的應(yīng)變片的位置。標(biāo)注完成后，按8:2的比例隨機(jī)將數(shù)據(jù)集分成訓(xùn)練集和測試集，隨后開展模型訓(xùn)練。采用Pytorch框架，構(gòu)建了YOLO v 5x模型，并對其進(jìn)行訓(xùn)練。模型輸入端主要包含自適應(yīng)圖片縮放、Mosaic數(shù)據(jù)增強(qiáng)和自適應(yīng)計算錨定框。其中，Mosaic數(shù)據(jù)增強(qiáng)通過對圖像隨機(jī)的縮放、裁剪、排布，將同一組的圖像拼接起來，拼接后的圖像用于后續(xù)的模型訓(xùn)練。訓(xùn)練時，圖像按照輸入大小縮放為1280×1280像素后分組依次輸入Backbone主干網(wǎng)絡(luò)。Backbone網(wǎng)絡(luò)模型提取的特征圖的長度和寬度相對較大，然而最終分類定位的輸出維數(shù)相對較小，因此需要對特征維數(shù)進(jìn)行壓縮。為此在主干網(wǎng)絡(luò)和檢測頭Head之間添加一個Neck層。Neck結(jié)構(gòu)可更好地利用主干輸出的圖像特征，將其進(jìn)一步融合后傳輸?shù)綑z測頭進(jìn)行分類和定位。經(jīng)過Neck網(wǎng)絡(luò)層壓縮和融合后傳遞給Head 輸出層，最后輸出應(yīng)變片的類別和圖像坐標(biāo)。為評估訓(xùn)練的YOLO模型的性能，可采用mAP (Mean A verage P recision) 作為模型精度的綜合評價指標(biāo)。在訓(xùn)練完成后，評估模型的mAP@0.5的數(shù)值，當(dāng)該指標(biāo)大于0.95時，認(rèn)為模型訓(xùn)練達(dá)標(biāo)。對成功訓(xùn)練的YOLO進(jìn)行部署后，進(jìn)行應(yīng)變片檢測。

1.3 應(yīng)變片的立體匹配和重構(gòu)

通過第1.1和1.2節(jié)，我們可以得到相鄰幀之間相機(jī)姿態(tài)信息和每幀圖像中的應(yīng)變片坐標(biāo)。接下來就可以通過立體匹配的方法對相鄰幀可見的應(yīng)變片進(jìn)行匹配，然后采用三角測量計算空間位置。相機(jī)姿態(tài)估計得到的旋轉(zhuǎn)矩陣和平移向量可為應(yīng)變片的匹配提供極線約束，這樣可以減小搜索范圍，提高匹配效率和降低誤匹配率。應(yīng)變片匹配中的極線約束如圖3所示。由于應(yīng)變尺寸很小，且彼此之間相似度較高，因此為了在極線約束區(qū)域內(nèi)得到穩(wěn)定的匹配結(jié)果，需要再引入兩個約束條件。首先，將YOLO模型檢測到的應(yīng)變片視為特征點，它們在相機(jī)進(jìn)行移動和旋轉(zhuǎn)時，會因視角變化產(chǎn)生尺度和方向上的變?yōu)?。為了解決這一問題，本文利用尺度不變特征描述(feature descriptor)[26]提取每個應(yīng)變片的特征向量，然后在相鄰兩幀圖像中按照距離最近原則進(jìn)行特征向量搜索，得到匹配分?jǐn)?shù)最高的一對描述子，將它們對應(yīng)的應(yīng)變片視為最佳匹配。需要注意的是，此時得到的最佳匹配并不唯一，需要進(jìn)一步篩選?？紤]到拍攝圖像時相機(jī)的移動范圍較小，相鄰圖像中的目標(biāo)發(fā)生的是仿射運動，所以相鄰圖像中的應(yīng)變片和編碼點的移動趨勢具有高度的一致性。因此，可以依據(jù)編碼點的匹配關(guān)系，確定相鄰幀間的仿射變換關(guān)系，對上述匹配得到的應(yīng)變片進(jìn)行進(jìn)一步篩選，提高應(yīng)變片的匹配準(zhǔn)確度。最后，結(jié)合相機(jī)之間的空間位姿關(guān)系，即可確定檢測出的應(yīng)變片在世界坐標(biāo)系中的三維坐標(biāo)。

圖3 極線搜索示意圖Fig.3 Epipolar constraint relationship

2 實驗驗證

實驗采用佳能EOS 5D Mark IV單反相機(jī)，分辨率為4464×2976像素。為了驗證本文方法的重構(gòu)精度和應(yīng)變片三維定位的可行性，實驗部分包括兩個方面的內(nèi)容。首先，采用精度為1μm兩根高精度標(biāo)尺驗證定位精度；然后，對一個粘貼有86個應(yīng)變計和25個編碼點的圓柱形結(jié)構(gòu)（直徑300 mm）進(jìn)行測量。

2.1 定位精度驗證

精度驗證中使用了如圖4所示的兩根標(biāo)尺，標(biāo)尺上兩個定位圓之間的長度分別為949.880 m m和949.606 mm。

圖4 精度驗證用的標(biāo)尺Fig.4 Scale bars for accuracy validation

測試中，對圖4中包含兩個標(biāo)尺的場景進(jìn)行5次成像，并對標(biāo)尺長度進(jìn)行重構(gòu)。需要注意的是，為了保證精度測量的合理性，在估計相機(jī)姿態(tài)時僅使用不在標(biāo)尺上的編碼點。在重構(gòu)標(biāo)尺時，以較長的標(biāo)尺作為長度參考，然后重構(gòu)較短標(biāo)尺上兩個定位圓的坐標(biāo)。得到定位圓坐標(biāo)后，將兩個定位圓之間的距離作為標(biāo)尺長度的測量值，然后與標(biāo)尺的實際長度（即949.606 mm）進(jìn)行比較，得到重構(gòu)誤差，結(jié)果如表1所示。根據(jù)驗證結(jié)果可知，5次測量得到的最大絕對誤差值為0.120 mm，平均值為0.098mm（四舍五入后為0.100 mm）。根據(jù)圖4可以看出，測量的水平視場大小約為1 m，說明對于1 m大小的物體，本方法的定位精度可以達(dá)到0.100 mm/m。

表1 精度驗證結(jié)果Table 1 Accuracy verification results

2.2 圓柱結(jié)構(gòu)應(yīng)變片測量

在精度驗證之后，使用本文方法對布置在直徑為300mm圓柱上的應(yīng)變片（86個）進(jìn)行定位測量。在采集圖像時，相機(jī)環(huán)繞目標(biāo)結(jié)構(gòu)移動，并確保相鄰圖像有重疊部分，共拍攝32張圖片，如圖5所示。由于目標(biāo)結(jié)構(gòu)特征尺寸僅有300 mm，為了不使目標(biāo)結(jié)構(gòu)在圖像中的占比過小，本次測量中使用一根較短的標(biāo)尺（長度為551.423mm）恢復(fù)結(jié)構(gòu)的物理尺度。測量中首先使用訓(xùn)練的YOLO模型識別單反相機(jī)拍攝的圖像中的應(yīng)變片。由于采用了重疊成像的方式，每幀圖像能夠清晰的記錄部分應(yīng)變片的信息，將訓(xùn)練后模型應(yīng)用到這種重疊圖像序列，可以保證能夠識別到圓柱結(jié)構(gòu)上的所有應(yīng)變片，識別效果如圖6所示。然后，在確定各個相機(jī)的位姿關(guān)系后，以第一幀圖像對應(yīng)的相機(jī)坐標(biāo)系為參考，根據(jù)第1節(jié)中的方法對應(yīng)變片進(jìn)行匹配和三維重構(gòu)。需要注意的是，并非所有在第一幀中的應(yīng)變片都能夠在第二幀中找到對應(yīng)的應(yīng)變片，由于拍攝視角的遮擋關(guān)系，會有一部分應(yīng)變片在第二幀中無法找到對應(yīng)的應(yīng)變片。因此，在完成對第一幀應(yīng)變片空間定位后，繼續(xù)對第二幀中未配對的應(yīng)變片與第三幀中的應(yīng)變片進(jìn)行匹配，然后依次再進(jìn)行重構(gòu)。需要說明的是，在此種情況下，應(yīng)變片的空間坐標(biāo)是基于前一幀的相機(jī)坐標(biāo)系進(jìn)行確定的，需要根據(jù)坐標(biāo)轉(zhuǎn)換將其映射到全局參考坐標(biāo)系。通過上述處理過程，最終完成對圓柱殼表面所有應(yīng)變片的三維定位，如圖7所示。為了說明重構(gòu)的可靠性，根據(jù)應(yīng)變片的三維定位結(jié)果對圓柱進(jìn)行了擬合，得到圓柱直徑為300.052mm，其相對與真實直徑的誤差僅為0.052 mm。由于測量視場約為0.55 m，可換算得到1 m視場下的定位精度約為0.100mm/m，這與 第2.1節(jié)中的結(jié)果相吻合。

圖5 拍攝的序列圖像Fig.5 Sequential images

圖6 應(yīng)變片識別示例Fig.6 Examples of strain gauge recognition

圖7 應(yīng)變片三維重構(gòu)結(jié)果Fig.7 Three-dimensional reconstruction of strain gauges

3 結(jié)論

本文介紹了一種基于單相機(jī)的多視角三維測量方法，實現(xiàn)了圓筒構(gòu)件上應(yīng)變片三維坐標(biāo)的定位。該方法利用編碼點對相機(jī)姿態(tài)進(jìn)行高精度估計，然后采用YOLO模型對應(yīng)變片進(jìn)行識別，得到應(yīng)變片的圖像坐標(biāo)。最后基于相鄰相機(jī)的位姿關(guān)系，依次完成所有應(yīng)變片的立體匹配和三維空間定位。實驗表明該方法操作簡單，可以實現(xiàn)大幅面結(jié)構(gòu)上小應(yīng)變片的識別定位；對于1 m以內(nèi)大小的結(jié)構(gòu)，本方法的定位精度可以達(dá)到0.100 mm/m。本文方法不僅適用于應(yīng)變片，在后續(xù)的研究中，將嘗試通過訓(xùn)練其它被測小目標(biāo)物體的深度學(xué)習(xí)模型，從而重構(gòu)出這些物體的三維坐標(biāo)，具潛在的實際應(yīng)用價值。