一種面向蒙皮對(duì)縫測(cè)量的雙線(xiàn)結(jié)構(gòu)光標(biāo)定方法*

魯小翔，黃 翔，李 根，趙子越，孟亞云

（1.南京航空航天大學(xué)機(jī)電學(xué)院，南京 210016；2.南京航空航天大學(xué)蘇州研究院，蘇州 215000；3.航空工業(yè)北京長(zhǎng)城計(jì)量測(cè)試技術(shù)研究所，北京 100095）

對(duì)縫特征廣泛存在于飛機(jī)蒙皮表面，是飛機(jī)表面平滑度的主要評(píng)價(jià)指標(biāo)。隨著飛機(jī)隱身及氣動(dòng)性能的提高[1–2]，傳統(tǒng)蒙皮測(cè)量方法已經(jīng)難以滿(mǎn)足實(shí)際測(cè)量需求。線(xiàn)結(jié)構(gòu)光三維視覺(jué)測(cè)量是一種借助線(xiàn)結(jié)構(gòu)光平面重建待測(cè)特征空間信息的技術(shù)，其以抗干擾能力強(qiáng)、精度高且非接觸等優(yōu)點(diǎn)，正越來(lái)越廣泛地應(yīng)用于飛機(jī)蒙皮對(duì)縫特征的測(cè)量。

待測(cè)特征三維空間信息的重建精度是保證測(cè)量精度的前提，而線(xiàn)結(jié)構(gòu)光平面的標(biāo)定精度是保證待測(cè)特征重建精度的關(guān)鍵。近年來(lái)，對(duì)線(xiàn)結(jié)構(gòu)光平面標(biāo)定的研究主要集中在高精度的光平面擬合控制點(diǎn)的獲取上。常見(jiàn)的方法有周富強(qiáng)等[3]利用一維靶標(biāo)上基準(zhǔn)點(diǎn)的距離及方向約束，基于消隱點(diǎn)原理解算出一維靶標(biāo)在相機(jī)坐標(biāo)系中的直線(xiàn)方程，最后由射影變換和直線(xiàn)方程獲得待標(biāo)定光平面上的擬合控制點(diǎn)；韓建棟等[4]提出基于三點(diǎn)透視（P3P）原理，利用標(biāo)定靶標(biāo)上3 個(gè)等距的共線(xiàn)點(diǎn)解算出待標(biāo)定光平面上的擬合控制點(diǎn)；Wei 等[5]提出利用已知等距的平行線(xiàn)求取平面消隱線(xiàn)的原理完成擬合控制點(diǎn)的提取。上述方法常用于大視場(chǎng)的線(xiàn)結(jié)構(gòu)光平面標(biāo)定，且標(biāo)定過(guò)程中獲取的光平面擬合控制點(diǎn)數(shù)量較少，標(biāo)定方法魯棒性較差。Wu[6]和Zhou[7]等提出利用相機(jī)標(biāo)定過(guò)程中獲得的外參數(shù)擬合靶標(biāo)平面，再以靶標(biāo)平面上的特征線(xiàn)與光條的交點(diǎn)為擬合控制點(diǎn)。該方法需要通過(guò)相機(jī)標(biāo)定來(lái)獲取靶標(biāo)平面在相機(jī)坐標(biāo)系中的位姿，標(biāo)定過(guò)程較為繁瑣，且該方法獲取的擬合控制點(diǎn)為相關(guān)特征的交點(diǎn)，仍存在擬合控制點(diǎn)數(shù)量少的問(wèn)題。Dewar 等[8]提出拉絲法，此方法通過(guò)提取結(jié)構(gòu)光光平面與細(xì)絲干涉后形成干涉亮點(diǎn)來(lái)獲取擬合控制點(diǎn)；段發(fā)階等[9]提出使用結(jié)構(gòu)光光平面與鋸齒形三維靶標(biāo)干涉后形成的轉(zhuǎn)折點(diǎn)來(lái)獲取光平面擬合控制點(diǎn)，上述方法所需標(biāo)定靶標(biāo)精度要求高、制造難度較大。陳天飛等[10]提出基于機(jī)器人的自標(biāo)定方法，該方法依靠機(jī)器人自身的高精度運(yùn)動(dòng)，構(gòu)建附加約束，完成擬合控制點(diǎn)的提??；張曦等[11]提出的標(biāo)定方法對(duì)機(jī)械運(yùn)動(dòng)精度要求高且標(biāo)定過(guò)程復(fù)雜，難以廣泛應(yīng)用。

綜上所述，當(dāng)前標(biāo)定方法存在擬合控制點(diǎn)數(shù)量少、標(biāo)定靶標(biāo)制造難度大以及標(biāo)定過(guò)程復(fù)雜等，針對(duì)上述問(wèn)題，本文提出一種基于二維靶標(biāo)的雙線(xiàn)結(jié)構(gòu)光平面標(biāo)定方法。該方法采用高精度快速位姿估計(jì)（EPnP）算法解算出相機(jī)與二維靶標(biāo)平面之間的位姿關(guān)系，獲得靶標(biāo)平面在相機(jī)坐標(biāo)系中的平面方程；依據(jù)相機(jī)的線(xiàn)面模型，解算出靶標(biāo)平面上所有的擬合控制點(diǎn)集，在此基礎(chǔ)上對(duì)上述點(diǎn)集進(jìn)行去噪處理并使用特征值法對(duì)擬合控制點(diǎn)集進(jìn)行擬合。該方法所需的二維靶標(biāo)制造簡(jiǎn)單、精度高、維護(hù)和現(xiàn)場(chǎng)操作方便，更重要的是相對(duì)于傳統(tǒng)方法易于獲得豐富的擬合控制點(diǎn)，并能夠?qū)M合控制點(diǎn)進(jìn)行去噪處理，有益于提高結(jié)構(gòu)光平面的標(biāo)定精度及魯棒性。

1 線(xiàn)結(jié)構(gòu)光重建模型

線(xiàn)結(jié)構(gòu)光三維測(cè)量系統(tǒng)主要由工業(yè)相機(jī)與激光器組成，如圖1所示，其中Oc–XcYcZc表示相機(jī)坐標(biāo)系，O–UV表示圖像坐標(biāo)系。設(shè)激光器發(fā)射的光平面1 與蒙皮對(duì)縫邊緣的干涉端點(diǎn)P在相機(jī)坐標(biāo)系下表示（xc，yc，zc），其在圖像坐標(biāo)系中的投影點(diǎn)p的坐標(biāo)為（u，v），由針孔相機(jī)成像模型可得P點(diǎn)與p點(diǎn)之間的對(duì)應(yīng)關(guān)系為[12]

圖1 線(xiàn)結(jié)構(gòu)光重建模型示意圖Fig.1 Diagram of line structured light reconstruction model

式中，fx、fy、u0、v0為相機(jī)內(nèi)參數(shù)。設(shè)由激光器發(fā)射出的光平面1 在相機(jī)坐標(biāo)系下的光平面方程可表示為

式中，A1、B1、C1和D1是結(jié)構(gòu)光平面方程參數(shù)。依據(jù)相機(jī)的線(xiàn)面模型，聯(lián)立式（1）與（2）可對(duì)圖像中p點(diǎn)進(jìn)行深度重建，獲取其在相機(jī)坐標(biāo)系中的對(duì)應(yīng)空間點(diǎn)P的坐標(biāo)。

使用線(xiàn)結(jié)構(gòu)光重建模型恢復(fù)測(cè)量圖像中相關(guān)特征的深度信息并代入蒙皮對(duì)縫測(cè)量模型，即可實(shí)現(xiàn)對(duì)蒙皮對(duì)縫間隙與階差的測(cè)量。由圖1 可得，測(cè)量模型所需的特征都在光平面上，如光平面1 與蒙皮對(duì)縫邊緣的干涉特征點(diǎn)P，故而對(duì)光平面進(jìn)行高精度、高魯棒性的標(biāo)定是保證蒙皮對(duì)縫測(cè)量精度的基礎(chǔ)。

2 基于二維靶標(biāo)的雙線(xiàn)結(jié)構(gòu)光標(biāo)定方法

圖3 標(biāo)定流程圖Fig.3 Calibration flow chart

2.1 靶標(biāo)平面在相機(jī)坐標(biāo)系下的位姿計(jì)算

圖4 位姿計(jì)算原理示意圖Fig.4 Diagram of pose calculation principle

從世界坐標(biāo)系到相機(jī)坐標(biāo)系之間的轉(zhuǎn)化為剛體變換，故可以得到在相機(jī)坐標(biāo)系下，虛擬控制點(diǎn)與基準(zhǔn)點(diǎn)之間的轉(zhuǎn)換關(guān)系為

式中，sk為比例因子；K為通過(guò)離線(xiàn)標(biāo)定獲取的相機(jī)內(nèi)參；fx、fy、u0、v0為相機(jī)內(nèi)參數(shù)。由式（5）可得靶標(biāo)平面上的基準(zhǔn)點(diǎn)與其對(duì)應(yīng)像點(diǎn)之間的轉(zhuǎn)換關(guān)系為

將靶標(biāo)平面上的4 個(gè)虛擬控制點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)與像素坐標(biāo)相對(duì)應(yīng)，可得到一個(gè)線(xiàn)性方程組為

使用李代數(shù)ξ表示EPnP 方法獲取的相機(jī)坐標(biāo)系與棋盤(pán)格坐標(biāo)系之間的轉(zhuǎn)換關(guān)系R、T（其中R表示兩坐標(biāo)系之間的旋轉(zhuǎn)矩陣，T表示兩坐標(biāo)系之間的平移矩陣）；以ξ為變量建立的重投影誤差模型為

2.2 擬合控制點(diǎn)在相機(jī)坐標(biāo)系下坐標(biāo)解算

獲取相機(jī)坐標(biāo)系與世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系R、T后，即通過(guò)

可獲取靶標(biāo)平面上的基準(zhǔn)點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)，進(jìn)而可擬合出基準(zhǔn)點(diǎn)所在的φ平面（圖5）在相機(jī)坐標(biāo)系中的平面方程為

圖5 光條重建示意圖Fig.5 Reconstruction of light stripe

線(xiàn)激光器投射的光平面與靶標(biāo)平面干涉后在φ平面上形成一條直線(xiàn)干涉光條L，通過(guò)圖像處理，可在圖像坐標(biāo)系中獲得呈直線(xiàn)分布的光條骨架點(diǎn)集{Pk(l)，k=1，2，…，n}。由式（1）可知，圖像中的任意像素點(diǎn)對(duì)應(yīng)著相機(jī)坐標(biāo)系中的一條射線(xiàn)，無(wú)法獲取具體的空間坐標(biāo)。

由于圖像中的干涉光條是線(xiàn)激光器投射的光平面與φ平面干涉后形成，故光條骨架點(diǎn)對(duì)應(yīng)的擬合控制點(diǎn)必在φ平面上。聯(lián)立式（1）與（10），可計(jì)算圖像中光條骨架點(diǎn)在相機(jī)坐標(biāo)系中的三維坐標(biāo)為

2.3 基于特征值法的光平面擬合

2.3.1 光平面擬合

使用拉格朗日乘數(shù)法，組成函數(shù)，即

將式（13）分別對(duì)Al、Bl、Cl求導(dǎo)并令導(dǎo)數(shù)為0，從而獲得特征值方程為

由式（15）可得，當(dāng)λ最小時(shí)所對(duì)應(yīng)的特征向量就是光平面1 的平面方程參數(shù)Al、Bl、Cl，同理可獲得光平面2 的平面方程參數(shù)。

2.3.2 擬合控制點(diǎn)集去噪處理

由于圖像噪聲等因素的影響，重建后的擬合控制點(diǎn)集周邊存在著大量噪聲點(diǎn)。為進(jìn)一步降低噪聲點(diǎn)對(duì)平面擬合精度的影響，本文設(shè)計(jì)基于平面模型的RANSAC去噪算法。以圖6 中的擬合控制點(diǎn)集為例，其具體擬合步驟如下。

（1）采集9 組標(biāo)定圖片，在當(dāng)前相機(jī)坐標(biāo)系下與之對(duì)應(yīng)，同一光平面可獲得9 條呈線(xiàn)性分布的擬合控制點(diǎn)集。在上述點(diǎn)集中隨機(jī)選出3 個(gè)點(diǎn)，組成大小為27 的初始點(diǎn)集S，對(duì)點(diǎn)集S使用特征值法擬合初始平面方程，設(shè)其為

（2）計(jì)算所有擬合控制點(diǎn)到初始平面的距離，為

（3）計(jì)算dj的標(biāo)準(zhǔn)差σ，為

（4）重復(fù)步驟（1）～（3），設(shè)置迭代次數(shù)為iter；以M值最大時(shí)的t值為閾值，提取內(nèi)點(diǎn)點(diǎn)集設(shè)為Sf。

（5）使用特征值法擬合點(diǎn)集Sf，獲取待擬合平面方程。

由圖6 可以看出，去除噪聲后擬合的平面能夠更好地貼合擬合控制點(diǎn)集。表1 為去噪前后的平面擬合參數(shù)對(duì)比，可得，去噪后平面的和方差（SSE）為23.53，相較于去噪前平面降低了77.83；去噪后平面的確定系數(shù)（R2）為0.9991，相較于去噪前提高了0.0068。

表1 平面擬合參數(shù)對(duì)比Table 1 Comparison of plane fitting parameters

3 試驗(yàn)與分析

3.1 標(biāo)定試驗(yàn)

試驗(yàn)采用大恒圖像的MER–502–79U3C 水星工業(yè)相機(jī)，分辨率為2448 pixel×2048 pixel，鏡頭為Computar M0814–MP2。線(xiàn)激光器的波長(zhǎng)為635 nm，輸出單個(gè)光平面，出光夾角為60°。使用兩個(gè)單線(xiàn)激光器以及一臺(tái)工業(yè)相機(jī)組成蒙皮對(duì)縫測(cè)量試驗(yàn)平臺(tái)，如圖7所示。

使用張正友相機(jī)標(biāo)定算法對(duì)相機(jī)進(jìn)行離線(xiàn)標(biāo)定，得到其標(biāo)定參數(shù)如表2所示。

試驗(yàn)過(guò)程中保持雙線(xiàn)結(jié)構(gòu)光測(cè)量平臺(tái)固定不變，調(diào)整相機(jī)視野中的靶標(biāo)平面的位姿，拍攝9 組試驗(yàn)圖像。為了保證圖像中靶標(biāo)平面上的基準(zhǔn)點(diǎn)與光條骨架提取的精度，對(duì)同一位姿的靶標(biāo)平面進(jìn)行不同曝光采集；具體做法如下。

（1）打開(kāi)激光器，將相機(jī)曝光時(shí)間調(diào)整為30 μs，采集激光器投射的光平面與靶標(biāo)平面干涉后形成的光條圖像。

表3 靶標(biāo)坐標(biāo)系與相機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系Table 3 Transformation relationship between target coordinate system and camera coordinate system

通過(guò)上述靶標(biāo)坐標(biāo)系與相機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，可以獲得靶標(biāo)平面上的基準(zhǔn)點(diǎn)在相機(jī)坐標(biāo)系中的空間坐標(biāo)；進(jìn)而可獲得各個(gè)位姿下靶標(biāo)平面在相機(jī)坐標(biāo)系中的平面方程，從而將基準(zhǔn)點(diǎn)擴(kuò)展為基準(zhǔn)面，其平面參數(shù)如表4所示。

表4 靶標(biāo)平面在相機(jī)坐標(biāo)系中的平面方程Table 4 Plane equation of target plane in camera coordinate system

對(duì)采集的原始光條圖像進(jìn)行處理，獲取光條骨架在圖像坐標(biāo)系中的像素點(diǎn)集，重建上述點(diǎn)集，即可獲得光平面擬合控制點(diǎn)集。使用RANSAC 算法對(duì)屬于同一光平面的控制點(diǎn)集進(jìn)行去噪處理，迭代次數(shù)為100 次，最后使用特征值法擬合所有內(nèi)點(diǎn)，獲取待標(biāo)定光平面方程，如圖8所示。

圖8 光平面擬合圖Fig.8 Picture of fitting results of light plane

傳統(tǒng)的標(biāo)定方法中，基于三點(diǎn)透視的結(jié)構(gòu)光標(biāo)定算法[4]能夠同時(shí)標(biāo)定兩個(gè)結(jié)構(gòu)光光平面，且與本方法一樣，都是基于二維靶標(biāo)對(duì)結(jié)構(gòu)光光平面進(jìn)行標(biāo)定，故選用三點(diǎn)透視標(biāo)定方法與本文中的方法進(jìn)行對(duì)比。兩種方法的標(biāo)定結(jié)果如表5所示。

表5 結(jié)構(gòu)光光平面方程Table 5 Plane equation of structured light

3.2 標(biāo)定精度驗(yàn)證對(duì)比試驗(yàn)

（1）蒙皮對(duì)縫間隙階差測(cè)量模型。如圖9所示，P1、P2、P3、P4為結(jié)構(gòu)光平面與蒙皮對(duì)縫邊緣干涉后形成的特征點(diǎn)，通過(guò)對(duì)測(cè)量原始圖片進(jìn)行處理，提取干涉特征點(diǎn)在圖像坐標(biāo)系中的坐標(biāo)并將其代入式（1）和（2），即可重建出相應(yīng)特征點(diǎn)在當(dāng)前相機(jī)坐標(biāo)系下的空間坐標(biāo)。在空間點(diǎn)P1和P2一側(cè)取n個(gè)骨架點(diǎn)并設(shè)為{Pα1，Pα2，…，Pαn}，在空間點(diǎn)P3和P4一側(cè)取n個(gè)骨架點(diǎn)并設(shè)為{Pβ1，Pβ2，…，Pβn}；使用點(diǎn)集{Pα1，Pα2，…，Pαn}擬合α平面，使用點(diǎn)集{Pβ1，Pβ2，…，Pβn}擬合β平面；分別計(jì)算點(diǎn)集{Pα1，Pα2，…，Pαn}到β平面的距離，點(diǎn)集{Pβ1，Pβ2，…，Pβn}到α平面的距離，通過(guò)求取上述距離的均值即可獲得蒙皮的對(duì)縫階差，為

圖9 對(duì)縫間隙與階差解算模型Fig.9 Calculation model of seam gap and seam flush

設(shè)向量Vb表示蒙皮對(duì)縫邊緣的方向，干涉光條的直線(xiàn)方向?yàn)閂l，由此可得干涉光條與對(duì)縫邊緣之間的夾角θ為

點(diǎn)P1與點(diǎn)P4之間的距離和點(diǎn)P2與P3點(diǎn)之間的距離相等并將其設(shè)為s；通過(guò)式（19）可計(jì)算出對(duì)縫的階差h，從而得出對(duì)縫間隙為

（2）標(biāo)定精度驗(yàn)證。為驗(yàn)證本文中提出的結(jié)構(gòu)光系統(tǒng)標(biāo)定算法的標(biāo)定精度，設(shè)計(jì)對(duì)縫測(cè)量標(biāo)準(zhǔn)塊（圖10）。標(biāo)準(zhǔn)塊制造完成后，使用先臨三維高精度藍(lán)光掃描檢測(cè)系統(tǒng)（測(cè)量精度5 μm）對(duì)其進(jìn)行復(fù)測(cè)，選取試驗(yàn)件中8 條對(duì)縫進(jìn)行試驗(yàn)，試驗(yàn)對(duì)縫的實(shí)測(cè)結(jié)果如表6所示。

表6 對(duì)縫測(cè)量標(biāo)準(zhǔn)塊實(shí)測(cè)數(shù)據(jù)Table 6 Measured data of standard block for seam gap measurement mm

圖10 精度驗(yàn)證系統(tǒng)Fig.10 Accuracy verification system

使用表5 中的兩組標(biāo)定參數(shù)分別對(duì)標(biāo)準(zhǔn)塊進(jìn)行測(cè)量試驗(yàn)。每組試驗(yàn)測(cè)量8 條對(duì)縫，每條對(duì)縫分別進(jìn)行20 次采樣測(cè)量，試驗(yàn)結(jié)果如圖11、表7 和8所示。

表7 對(duì)縫間隙試驗(yàn)結(jié)果Table 7 Seam gap experiment results mm

表8 對(duì)縫階差試驗(yàn)結(jié)果Table 8 Seam flush experiment results mm

圖11 對(duì)縫間隙與階差測(cè)量誤差Fig.11 Measurement error bar of seam gap and seam flush

由表7 和8 可知，使用本文所提方法標(biāo)定后的系統(tǒng)的蒙皮對(duì)縫間隙測(cè)量精度優(yōu)于0.050 mm，對(duì)縫階差的測(cè)量精度優(yōu)于0.030 mm；而基于三點(diǎn)透視方法標(biāo)定后的系統(tǒng)的對(duì)縫間隙測(cè)量精度優(yōu)于0.090 mm，對(duì)縫階差的測(cè)量精度優(yōu)于0.060 mm。對(duì)比可得，對(duì)縫間隙的測(cè)量精度提高了0.040 mm，對(duì)縫階差測(cè)量精度提高了0.030 mm。與此同時(shí)，由圖11 可得，使用本文所提方法標(biāo)定后的系統(tǒng)在測(cè)量穩(wěn)定性方面也有所提高。

4 結(jié)論

傳統(tǒng)光平面標(biāo)定方法僅利用靶標(biāo)上有限的基準(zhǔn)點(diǎn)來(lái)獲取光平面擬合控制點(diǎn)，從而導(dǎo)致擬合控制點(diǎn)數(shù)量較少，且空間分布規(guī)律受光條圖像處理算法的影響較大。本文以靶標(biāo)平面上的基準(zhǔn)點(diǎn)為輸入，基于EPnP 算法構(gòu)建靶標(biāo)平面姿態(tài)計(jì)算模型，深入挖掘基準(zhǔn)點(diǎn)所包含的位姿信息，將靶標(biāo)平面上的基準(zhǔn)點(diǎn)信息轉(zhuǎn)換為基準(zhǔn)面信息。在此基礎(chǔ)上，依據(jù)線(xiàn)面約束，將當(dāng)前位姿下靶標(biāo)平面上的所有光條特征轉(zhuǎn)換為擬合控制點(diǎn)。變換標(biāo)定板位姿，即可獲得豐富的光平面擬合控制點(diǎn)；對(duì)上述擬合控制點(diǎn)進(jìn)行迭代去噪處理，并同時(shí)考慮多個(gè)方向上的誤差來(lái)擬合待標(biāo)定光平面，減少了噪聲對(duì)擬合精度的影響，提高了光平面擬合的魯棒性。在實(shí)驗(yàn)室環(huán)境中對(duì)測(cè)量標(biāo)準(zhǔn)塊進(jìn)行測(cè)量試驗(yàn)，試驗(yàn)表明，使用本文所述的方法標(biāo)定后的雙線(xiàn)對(duì)縫測(cè)量系統(tǒng)的間隙重復(fù)測(cè)量精度優(yōu)于0.050 mm，階差重復(fù)測(cè)量精度優(yōu)于0.030 mm，相對(duì)于三點(diǎn)透視標(biāo)定方法的測(cè)量結(jié)果有較大幅度的提高，能夠滿(mǎn)足實(shí)際場(chǎng)景的使用需求。