飛機蒙皮鉚釘孔的位置與法矢檢測技術(shù)研究

畢 超，張 超，周 鵬

(北京航空精密機械研究所 精密制造技術(shù)航空科技重點實驗室，北京 100076)

0 引 言

在航空制造領(lǐng)域中，飛機蒙皮和整體壁板等大型機身結(jié)構(gòu)件通常采用鉚接方式進行裝配，即利用軸向力將鉚釘孔內(nèi)的鉚釘釘桿墩粗并形成釘頭，從而使多個零部件連接在一起[1]。一般說來，鉚接工藝可以分為人工鉚接和自動鉚接兩種實現(xiàn)方式[2]，其中，自動鉚接能夠克服人工鉚接存在的效率低、噪聲大、勞動強度高、受工人主觀因素影響等缺點，而且具有模塊化、智能化、柔性化和輕型化等特點，進一步滿足了新時代航空制造的高質(zhì)量、高效率與低成本需求，因而正逐步取代人工鉚接而廣泛應(yīng)用于現(xiàn)代飛機的制造與裝配中。

對于基于工業(yè)機器人的自動鉚接工藝，“插釘入孔”是其中的關(guān)鍵工序之一，即通過末端執(zhí)行器將鉚釘準確插入到相應(yīng)的鉚釘孔中[3]。然而，在裝配現(xiàn)場，受到設(shè)備精度水平、工件受力變形及其他干擾因素的影響，鉚釘孔的實際方位會產(chǎn)生一定的偏移，因而依據(jù)其理論方位而進行的離線編程會造成鉚釘與鉚釘孔之間的定位與姿態(tài)偏差，由此帶來的鉚釘插入困難或失敗將會對鉚接質(zhì)量和連接強度產(chǎn)生不利影響。因此，為了確保插釘過程的準確與順利，需要在插釘之前由相應(yīng)的檢測模塊獲取到鉚釘孔的當前位置與法線矢量（以下簡稱“法矢”），并反饋給控制系統(tǒng)來調(diào)整末端執(zhí)行器的空間位姿，從而使鉚釘對準相應(yīng)的鉚釘孔以完成插釘入孔任務(wù)。

當前，針對鉚釘孔的位置與法矢參數(shù)檢測問題，國內(nèi)外學(xué)者已經(jīng)開展了相關(guān)研究工作。例如，英國諾丁漢大學(xué)與加拿大龐巴迪航空公司聯(lián)合研發(fā)了一套機器人輔助壁板裝配系統(tǒng)，該系統(tǒng)采用三維測量模塊來獲取機器人末端執(zhí)行器的標記點方位，進而獲得鉚釘相對于鉚釘孔的姿態(tài)，而后控制機器人按照規(guī)劃的路徑運動到期望姿態(tài)以完成插釘操作。在國內(nèi)，賀美華等探討了自動鉆鉚系統(tǒng)對于精密檢測技術(shù)的需求，包括刀具在線監(jiān)測、基準孔檢測、點位法矢檢測、材料厚度檢測和鉆鉚質(zhì)量檢測等，并分析了關(guān)鍵項目的現(xiàn)有檢測方法[4]。肖亮等研制了一套基于CCD相機定位檢測的輕型自主移動鉆鉚系統(tǒng)，通過CCD相機來記錄基準孔信息并實現(xiàn)鉚釘孔的位姿檢測，使鉚釘孔的定位準確度±0.5mm、法向準確度±0.5o[5]。牛祥鑫等應(yīng)用雙目視覺定位方法提取出了曲面鉚接孔的三維點云，而后通過平面擬合求解出了鉚釘孔的法向向量，平均測量誤差為1.69°，可以滿足施鉚角度的法向量誤差要求[6]。這些方法與裝置雖然在單項檢測功能方面取得了一些進展，但傳感器單元的體積和質(zhì)量較大，不便于集成于機器人自動鉚接系統(tǒng)。

為了獲取飛機蒙皮鉚釘孔的方位信息以實現(xiàn)伺服插釘，本文基于結(jié)構(gòu)光三維視覺原理研制了一套十字線結(jié)構(gòu)光視覺檢測系統(tǒng)，并提出了一種基于投影光條的位置與變化規(guī)律而推斷出鉚釘孔的位置與法矢參數(shù)的方法。在該系統(tǒng)中，由十字線激光器將十字線結(jié)構(gòu)光投射于被測蒙皮表面并在其上形成投影光條，而后通過工業(yè)相機采集其視野范圍內(nèi)的、同時包含投影光條和鉚釘孔的二維圖像，再經(jīng)由系統(tǒng)標定和光條中心線提取等步驟表征和計算出蒙皮曲面的成形輪廓和結(jié)構(gòu)特征，并基于此進行擬合與疊加運算而得到鉚釘孔的孔心三維坐標與法線方向，從而完成其位置與法矢的檢測任務(wù)。

1 系統(tǒng)組成

在插釘過程中，由于定位工裝存在誤差和鉆孔過程中蒙皮變形量較大等因素而引起的鉚釘孔方位偏移，使得單純的機器人離線編程難以滿足插釘入孔的精度要求，這就需要根據(jù)鉚釘孔的實際方位檢測結(jié)果來重新調(diào)整末端執(zhí)行器，而后再插入鉚釘。因此，鉚釘孔的位置與法矢檢測是實現(xiàn)精確插釘?shù)闹匾襟E。在實際應(yīng)用中，鉚釘孔的位置可以由孔心在蒙皮上的三維空間坐標來表征，而其法矢可以由孔心處的蒙皮法向向量來表征[7]。

為了在插釘之前實時、在線地計算出鉚釘孔的位置與法矢，本文研制了一套十字線結(jié)構(gòu)光視覺檢測系統(tǒng)，主要由攝像機、十字線激光器和輔助裝置組成，其結(jié)構(gòu)如圖1所示，從而將單目視覺檢測與十字線結(jié)構(gòu)光投影結(jié)合在一起，以為插釘環(huán)節(jié)提供視覺反饋信息。相比于點結(jié)構(gòu)光和一字線結(jié)構(gòu)光，十字線結(jié)構(gòu)光能夠配合攝像機采集到更多的三維幾何信息，卻不會過多地增加硬件成本和實現(xiàn)難度。同時，攝像機具有較為開闊的視野，可以同時觀測到較多數(shù)量的鉚釘孔，這樣就可以減少攝像機的移動而提高檢測效率[8]。

圖1 系統(tǒng)結(jié)構(gòu)示意圖

如圖2所示為本文所研制的十字線結(jié)構(gòu)光視覺檢測系統(tǒng)，其中，攝像機選用MER系列工業(yè)相機，其傳感器尺寸為 1/2.5″，像元數(shù)目為 2 592×1 944。鏡頭選用了Computar系列定焦鏡頭，其焦距為8 mm，光圈范圍為F1.4～F16C，工作距離為 0.1 m～∞。十字線激光器選用HW520AC12-16GD型激光投射器，其功率為12 mW，輸出綠色激光的波長為520 nm，最小線寬可達0.4 mm。

圖2 十字線結(jié)構(gòu)光視覺檢測系統(tǒng)

2 數(shù)學(xué)模型與計算原理

在該系統(tǒng)中，十字線激光器向被測蒙皮發(fā)射一束十字線結(jié)構(gòu)光，在蒙皮表面上形成受表面形狀所調(diào)質(zhì)的投影光條；而攝像機采集到此時的蒙皮圖像，并傳輸?shù)娇刂破髦羞M行圖像處理，一方面要基于系統(tǒng)數(shù)學(xué)模型解算出光條中心線上采樣點的三維坐標[9]，而后通過這些坐標數(shù)據(jù)擬合出光條中心線的參數(shù)方程，從而獲取投影光條的位置與變化規(guī)律，并表征出蒙皮表面的幾何形位信息；另一方面還要識別和提取出攝像機視野范圍內(nèi)的鉚釘孔特征，并通過圖像中的鉚釘孔孔心與光條中心線之間的相互位置關(guān)系，在滿足精度要求的前提下進一步推斷出每個鉚釘孔的位置與法矢。

為了使該系統(tǒng)實現(xiàn)測量功能，本文首先建立了系統(tǒng)的數(shù)學(xué)模型，如圖3所示，而后通過系統(tǒng)標定過程獲得了模型中的未知量。在圖3中，OWXWYWZW為世界坐標系，o-uv為圖像像素坐標系，O為攝像機光心；P是空間中位于投影光條上的某個采樣點，設(shè)其在OW-XWYWZW中的三維坐標為(XW,YW,ZW)；而p是采樣點P在圖像平面上的透視成像點，設(shè)其在o-uv中的二維坐標為(u,v)。通過數(shù)學(xué)模型可以將以像素為單位的圖像數(shù)據(jù)(u,v)轉(zhuǎn)化為以毫米為單位的三維坐標數(shù)據(jù)(XW,YW,ZW)[10]。

圖3 系統(tǒng)的數(shù)學(xué)模型

為了確定數(shù)學(xué)模型中的未知量，需要通過系統(tǒng)標定獲取攝像機的內(nèi)外部參數(shù)及光方面π1和π2的方程[11]。本文應(yīng)用棋盤格標定板來完成模型中未知量的標定，如圖4所示。在OW-XWYWZW中，由于采樣點P位于光平面上且被攝像機觀察到，因而可以將攝像機的標定結(jié)果與兩個光平面的方程聯(lián)立起來，這樣就可以建立起該系統(tǒng)的數(shù)學(xué)模型，從而確立投影光條中心線上的采樣點的圖像坐標(u,v)與其三維空間坐標 (XW,YW,ZW)之間的映射關(guān)系[12]，如下式所示：

圖4 標定過程

在此基礎(chǔ)上，對與兩個投影光條中心線相對應(yīng)的空間曲線L1和L2進行二次多項式擬合，從而得到每條空間曲線的參數(shù)方程。而后求取這兩條空間曲線的交點坐標，再分別通過對參數(shù)方程求導(dǎo)數(shù)而計算出L1和L2在該交點處的切向矢量l1和l2，最后通過矢量叉積運算即可求取交點處的法矢n，如下式和圖5所示。

圖5 投影光條交點處的法矢計算示意圖

由于式(1)僅僅適用于位于投影光條L1和L2上的采樣點，因而當被測鉚釘孔的孔心恰好位于L1和L2的交點處時，就可以根據(jù)L1和L2的參數(shù)方程及式(2)直接計算出其孔心的三維坐標和法線方向。然而，在實際應(yīng)用中，攝像機視野范圍內(nèi)的鉚釘孔孔心不一定都位于L1和L2的交點上，甚至不位于L1或L2上，此時無法直接根據(jù)式(1)和式(2)進行計算。針對這種情況，本文提出了一種根據(jù)投影光條的位置與變化規(guī)律而推斷出此類鉚釘孔的位置與法矢參數(shù)的方法。

具體說來，如圖6所示，十字線結(jié)構(gòu)光投射于飛機蒙皮上而形成兩個投影光條L1和L2，而被測鉚釘孔的孔心H與投影光條交點O之間存在偏移。為了便于后續(xù)的推導(dǎo)與計算，首先建立局部坐標系OS-XYZ，其原點OS位于L1與L2的交點處，Z軸為兩個光平面π1和π2之間的交線，X軸與光平面π2垂直，而Y軸與光平面π1垂直。因此，XOSZ平面即為光平面π1，且光條中心線L1位于XOSZ平面內(nèi)；YOSZ平面即為光平面π2，且光條中心線L2位于YOSZ平面內(nèi)。

圖6 局部坐標系OS-XYZ的建立

在OW-XWYWZW中，兩個投影光條的空間位置已知，對于蒙皮上鉚釘孔的孔心H，過H作與光平面π2平行的平面，與L1相交于HX；再過H作與光平面π1平行的平面，與L2相交于HY。由于飛機蒙皮表面為光順、有規(guī)律的空間連續(xù)曲面，并且在局部小范圍內(nèi)可以通過一定的3D曲面方程進行解析與重構(gòu)[13]，因而在誤差允許范圍內(nèi)，空間曲線L1和L2的參數(shù)方程可以在一定程度上表征出蒙皮曲面的變化規(guī)律。因此，在一定程度上，可以將HX和HY分別等效為H在XOSZ平面和YOSZ平面上的投影點，由此可以通過對HX、HY的坐標和法矢進行等效與疊加運算而推斷出H的相應(yīng)幾何形位信息。

為了解算出HX、HY的坐標和法矢參數(shù)，還需要在攝像機所采集到的包含投影光條與鉚釘孔的圖像上進行類似操作，如圖7所示。為了便于表達，蒙皮表面上的投影光條分別用L1和L2來表示，而二者在攝像機圖像平面上的成像也用L1和L2來表示。在圖6和圖7中，由透視成像原理可知，oS即為OS的像點，而h為H的像點；Y軸在圖像平面上的成像即為該圖像中光條L2在oS處的切線q2，X軸在圖像平面上的成像即為光條L1在oS處的切線q1。在圖像中，過h作直線與切線q2平行，并且與L1相交于點h1，再過h作直線與切線q1平行，并且與L2相交于點h2。根據(jù)透視成像原理，h1即為HX的像點，而h2即為HY的像點。因此，在圖像像素坐標系o-uv中，通過識別和提取出投影光條L1和L2的中心線坐標以及h的坐標，可以進一步解算出交點oS的圖像坐標以及切線q1和q2的方程，進而基于這些數(shù)據(jù)計算出h1和h2的圖像坐標。由于h1和h2分別位于光條L1和L2上，因而根據(jù)式(1)可以解算得到與之對應(yīng)的HX和HY的三維坐標，分別表示為(XHX,YHX,ZHX)和(XHY,YHY,ZHY)。

圖7 圖像中的投影光條與鉚釘孔

在局部坐標系OS-XYZ中，根據(jù)空間解析幾何與向量代數(shù)原理，通過HX的坐標(XHX,YHX,ZHX)和L1的參數(shù)方程可以進一步得到XOSZ平面內(nèi)L1在點HX處的切向矢量lHX；同樣地，通過HY的坐標(XHY,YHY,ZHY)和L2的參數(shù)方程可以進一步得到Y(jié)OSZ平面內(nèi)L2在點HY處的切向矢量lHY。如圖8所示，由于可以將HX和HY分別等效為H在XOSZ平面和YOSZ平面上的投影點，因而由(XHX,YHX,ZHX)、(XHY,YHY,ZHY)、lHX和lHY進行疊加運算可以推斷出的鉚釘孔孔心H的三維坐標(XH,YH,ZH)和法向向量lH，分別為：

圖8 H的三維坐標及法矢計算原理

最后，將(XH,YH,ZH)與lH均轉(zhuǎn)化到世界坐標系OW-XWYWZW中，即可得到最終的鉚釘孔方位檢測結(jié)果，從而為實現(xiàn)視覺伺服插釘功能奠定了堅實基礎(chǔ)。然而，該方法在投影光條附近具有較高的檢測精度，而隨著鉚釘孔遠離投影光條，其位置與法矢的檢測誤差會逐漸增大[14]。當檢測誤差無法滿足插釘?shù)木纫髸r，可以根據(jù)檢測結(jié)果移動機器人的末端執(zhí)行器后再次進行檢測，通過這種“邊檢邊動”的方式就可以實現(xiàn)每個鉚釘孔的準確插釘。

3 實驗驗證

為了驗證該十字線結(jié)構(gòu)光視覺檢測系統(tǒng)在功能實現(xiàn)方面的可行性和有效性，本文選取一個具有一定表面曲率的飛機蒙皮模擬樣件作為被測物體，其上分布有13個鉚釘孔。應(yīng)用該系統(tǒng)對這些孔特征開展了位置與法矢參數(shù)的檢測實驗，實驗現(xiàn)場如圖9所示。

圖9 實驗現(xiàn)場

在實驗過程中，由攝像機采集到的模擬樣件圖像如圖10所示，通過圖像處理分割出其中的投影光條和鉚釘孔特征，并進一步識別和提取出光條中心線L1、L2與每個鉚釘孔的孔心，分別如圖11和圖12所示。

圖10 模擬樣件圖像

圖11 識別和提取出的光條中心線L1和L2

圖12 識別與提取的鉚釘孔孔心

首先，根據(jù)系統(tǒng)的數(shù)學(xué)模型與參數(shù)標定結(jié)果，將L1與L2上的采樣點的像素坐標(u,v)轉(zhuǎn)化為樣件表面被測點的三維世界坐標(XW,YW,ZW)，并采用二次多項式擬合出L1與L2的參數(shù)方程分別為：

所獲得的擬合優(yōu)度r2均優(yōu)于0.999 2，從而完成了十字線結(jié)構(gòu)光的三維重構(gòu)。然后，根據(jù)本文所提出的方法，對具有代表性的1號鉚釘孔的孔心三維坐標與孔心處的法向矢量連續(xù)進行了10次重復(fù)性測量，以驗證系統(tǒng)的重復(fù)性檢測精度，實驗結(jié)果如表1所示。為了便于末端執(zhí)行器的位姿調(diào)整，進一步將計算出的法矢向量轉(zhuǎn)化為法矢方向與XW、YW和ZW軸之間的方向角，分別記為α、β和γ。

表1 1號鉚釘孔的實驗結(jié)果

從表1中可以看出，對于該鉚釘孔來說，XW、YW和ZW的測量結(jié)果的平均值分別為-12.743 mm、55.525 mm 和 4.961 mm，標準差分別為 0.017 mm、0.019 mm和 0.017 mm，則單次測量的極限誤差（置信系數(shù)取 3）分別為±0.051 mm、±0.057 mm和±0.051 mm；α、β和γ的測量結(jié)果的平均值分別為98.43o、85.77o和 9.43o，標準差分別為 0.104o、0.112o和 0.103o，則單次測量的極限誤差分別為±0.312o、±0.336o和±0.309o。根據(jù)機器人自動鉚接系統(tǒng)對于插釘姿態(tài)調(diào)整的需求，該系統(tǒng)在檢測鉚釘孔的位置與法矢方面所能達到的重復(fù)性精度水平可以滿足使用要求。

然后，對攝像機視野范圍內(nèi)的13個鉚釘孔的位置及法矢逐一進行檢測與計算，所得到的檢測結(jié)果分別如圖13所示。

圖13 鉚釘孔的位置與法矢檢測結(jié)果

從圖13中可以看出，本文所設(shè)計和搭建的十字線結(jié)構(gòu)光視覺檢測系統(tǒng)，通過在飛機蒙皮表面上投射形成的投影光條而表征出蒙皮曲面的成形輪廓和結(jié)構(gòu)特征，并能夠基于投影光條的位置與變化規(guī)律而推斷出鉚釘孔的位置與法矢參數(shù)，從而減少了機器人的移動而提高檢測效率。因此，該檢測系統(tǒng)是對飛機蒙皮鉚釘孔的方位檢測難題而開展的一次積極探索，可以為實現(xiàn)蒙皮鉚接過程中的在線、實時伺服插釘提供了一項檢測技術(shù)支撐。

4 結(jié)束語

為了實現(xiàn)飛機蒙皮鉚釘孔的位置與法矢檢測，本文采用單目視覺結(jié)合十字線結(jié)構(gòu)光的檢測方法，研制了一套十字線結(jié)構(gòu)光視覺檢測系統(tǒng)，并提出了基于投影光條的位置和變化規(guī)律而推斷出鉚釘孔的位置與法矢參數(shù)的方法。通過飛機蒙皮模擬樣件的檢測實驗驗證了系統(tǒng)的可行性與有效性，鉚釘孔的三維空間坐標XW、YW和ZW的單次測量極限誤差均在±0.06 mm以內(nèi)，法線方向α、β和γ的單次測量極限誤差均在±0.4o以內(nèi)，可以滿足機器人自動鉚接系統(tǒng)對于插釘姿態(tài)調(diào)整的需求。因此，該檢測系統(tǒng)能夠非接觸、在線地獲取蒙皮鉚釘孔的位置與法矢參數(shù)，從而為實現(xiàn)視覺伺服插釘功能提供了一項檢測技術(shù)解決方案。