基于蛇模型的管路三維重建方法

劉少麗，張文雄，吳天一，劉檢華，王楨杰，胡佳

(北京理工大學(xué) 機(jī)械與車輛學(xué)院,數(shù)字化制造研究所，北京 100081)

提 要： 針對(duì)航空航天中大量應(yīng)用的管路高精度快速測(cè)量難題，提出了基于蛇模型的管路三維重建方法.該方法充分利用管路灰度圖像邊緣特征，借助閾值分割和高斯濾波消除圖像噪聲，先結(jié)合蛇模型獲取精準(zhǔn)的管路圖像邊緣，貪心算法進(jìn)行迭代以保證收斂效率，利用極線約束原理得到二維管路中心線點(diǎn)云，然后根據(jù)視覺投影原理，重建管路三維模型，最后使用多目視覺系統(tǒng)拍攝的照片進(jìn)行結(jié)果優(yōu)化以保證重建精度.結(jié)果表明：該方法對(duì)管路的測(cè)量精度為±0.15 mm，簡便高效，無需過多的人工操作.同時(shí)，實(shí)現(xiàn)了管路圓弧段彎曲半徑的測(cè)量，滿足工業(yè)應(yīng)用需求.

管路是航天器推進(jìn)系統(tǒng)，熱控系統(tǒng)，環(huán)控生保系統(tǒng)的重要組成部分，各系統(tǒng)的貯箱、閥門、推力器等零部件主要由管路連接而成[1].為保證管路的加工精度，在安裝前需對(duì)管路進(jìn)行快速精確測(cè)量.在管路測(cè)量過程中，需要精準(zhǔn)、快速地獲取管路直線段和圓弧段兩部分信息.

傳統(tǒng)的管路測(cè)量方法如靠模法和三坐標(biāo)測(cè)量儀法有較大局限性.靠模法需要生產(chǎn)與管路相對(duì)應(yīng)的模具，該方法無法測(cè)量形貌復(fù)雜的管路，也無法給出具體的測(cè)量結(jié)果，只能判斷管路是否合格.三坐標(biāo)測(cè)量儀法測(cè)量結(jié)果較為精確，但需要在管路表面獲取大量點(diǎn)云信息，耗時(shí)較高，操作不便.

基于機(jī)器視覺的管路測(cè)量方法，為實(shí)現(xiàn)管路的快速準(zhǔn)確測(cè)量提供了新途徑.機(jī)器視覺進(jìn)行管路測(cè)量的概念由Bosemann等[2-3]在1990年提出，基于CCD相機(jī)和AICON3D系統(tǒng)他們提出一種光學(xué)管路測(cè)量系統(tǒng).該方法通過背光光源提高管路和背景之間對(duì)比度，并借助多目視覺拍攝重建進(jìn)行測(cè)量.它能快速精準(zhǔn)地檢測(cè)不同種類和形狀的管路，檢測(cè)時(shí)間低于一分鐘，精度高于0.5 mm.Wade等[4]提出一種用于加工過程控制和逆向工程的立體視覺測(cè)量方法，但測(cè)量精度和重復(fù)性值都低于0.1 mm.金鵬等[5]提出一種基于多目立體視覺進(jìn)行復(fù)雜管路自動(dòng)重構(gòu)的方法，利用小圓柱體代替點(diǎn)云進(jìn)行重建.Lee等[6]通過X射線圖像重建3D管路模型.該方法通過波傳播提取二維曲線并進(jìn)行細(xì)化和平滑，利用極線匹配獲取三維骨架.趙玉芹[7]提出一種在管路上貼標(biāo)記點(diǎn)的方法輔助重建.然而該方法只能重建直線管路，同時(shí)貼標(biāo)記點(diǎn)勢(shì)必引入其他隨機(jī)誤差，降低測(cè)量精度.此外，Huang等[8]對(duì)管路測(cè)量也做出了較多工作.

現(xiàn)階段機(jī)器視覺技術(shù)由于操作簡便、重建速度快、精度高等特點(diǎn)廣泛應(yīng)用于管路測(cè)量領(lǐng)域，然而現(xiàn)有方法需要在測(cè)量前對(duì)管路進(jìn)行預(yù)處理，如貼標(biāo)記點(diǎn)或建立模型庫.此外，現(xiàn)有方法主要對(duì)管路直線段進(jìn)行重建，圓弧段則根據(jù)設(shè)計(jì)模型或用戶輸入彎曲半徑等方法間接獲取.本文提出了一種基于蛇模型的管路三維重建方法，借助多目視覺測(cè)量平臺(tái)，實(shí)現(xiàn)了管路的全自動(dòng)測(cè)量.尚未有文獻(xiàn)在管路測(cè)量領(lǐng)域使用蛇模型進(jìn)行管路的三維重建.該方法充分利用管路灰度圖像邊緣特征，借助閾值分割和高斯濾波消除噪聲，結(jié)合蛇模型和極線約束原理獲取二維管路中心線點(diǎn)云.根據(jù)視覺投影原理，重建管路三維模型，最后使用多目視覺系統(tǒng)提供的多角度拍攝圖片進(jìn)行結(jié)果優(yōu)化.同時(shí)，測(cè)量結(jié)果包含全部的管路信息，彎曲部分由管路圖像獲取，而非設(shè)計(jì)模型信息等擬合生成.經(jīng)實(shí)驗(yàn)驗(yàn)證，本文的測(cè)量結(jié)果誤差在0.15 mm以內(nèi)，測(cè)量時(shí)間在2 min以內(nèi)，滿足工業(yè)測(cè)量需求.

1 處理方法

本文提出的基于蛇模型的管路測(cè)量方法如圖1所示，總體流程分為5步.

圖1 測(cè)量流程圖Fig.1 Measurement flow chart

① 從多目視覺測(cè)量儀器獲取的管路圖像中任選一張進(jìn)行預(yù)處理，去除干擾并提取管路中心線點(diǎn)云.

② 引入第二幅圖像，對(duì)圖像進(jìn)行預(yù)處理，并施加Snake模型力場(chǎng)，獲取精準(zhǔn)的管路邊緣.

③ 選取第一幅圖像中心線點(diǎn)云上任意一點(diǎn)，構(gòu)建極線約束，并獲取所選點(diǎn)在第二幅圖像中的對(duì)應(yīng)點(diǎn).

④ 利用第一幅圖像中心線點(diǎn)云的所有點(diǎn)及對(duì)應(yīng)點(diǎn)構(gòu)建空間點(diǎn)，獲取管路的三維中心線點(diǎn)云.

⑤ 對(duì)優(yōu)化結(jié)果進(jìn)行判定，滿足精度要求則輸出三維中心線骨架點(diǎn)云，掃掠生成自由形狀管路模型；若精度不夠，選取其他圖像重復(fù)步驟②～④，將獲取的結(jié)果進(jìn)行最小二乘擬合，繼續(xù)判定是否滿足精度要求.

1.1 二維中心線骨架提取

利用多目測(cè)量設(shè)備對(duì)目標(biāo)管路進(jìn)行多角度拍攝，任選多目圖像中的一幅，如圖2(a).由于拍攝環(huán)境問題，圖像會(huì)存在很多額外的像素信息，例如設(shè)備邊緣.同時(shí)，由污點(diǎn)、管路表面反光、表層破損等原因產(chǎn)生的圖像噪聲會(huì)對(duì)管路信息的提取造成干擾.故在提取骨架之前，需通過圖像處理消除圖片上的干擾.

圖2 管路圖像中心線骨架提取Fig.2 Extraction of centerline skeleton of pipeline image

背光光源使管路與背景區(qū)分度明顯.利用此特征，通過灰度閾值分割單獨(dú)提取出感興趣區(qū)域.光源強(qiáng)度對(duì)管路提取有較大影響，光源太強(qiáng)導(dǎo)致管路表面反光，太弱則導(dǎo)致管路與背景對(duì)比度不足.針對(duì)本文測(cè)量實(shí)驗(yàn)平臺(tái)，控制光源強(qiáng)度在合適范圍內(nèi)，管路灰度值區(qū)間為[80,100]，故管路區(qū)域分割以此為閾值.同時(shí)，為消除管路表面劃痕和反光帶來的噪聲干擾，使用高斯濾波平滑管路表面，消去噪點(diǎn)，預(yù)處理結(jié)果如圖2(b)所示.

由視覺測(cè)量投影關(guān)系知，管路在不同的投影圖像中其中心線存在對(duì)應(yīng)關(guān)系.但是，管路中心線投影在圖像中沒有顯著的灰度特征，而邊緣處的灰度變化明顯，易于提取.故本文通過易提取的管路邊緣，重建在各圖像中有對(duì)應(yīng)關(guān)系的管路中心線三維骨架點(diǎn)云.對(duì)預(yù)處理結(jié)果用Canny[9]算子提取圖2(b)的管路邊緣，并使用imerode功能[10]對(duì)邊緣進(jìn)行收縮和腐蝕，獲取二維中心線骨架點(diǎn)云(如圖2(c)所示)，用于模型構(gòu)建和優(yōu)化.

1.2 蛇模型提取亞像素精度邊緣

蛇模型是圖像領(lǐng)域內(nèi)定義的一條參數(shù)化能量曲線，能在由曲線本身定義的內(nèi)力和由圖像定義的外力影響下移動(dòng).在內(nèi)外力作用下，該曲線最終收斂至物體邊界或物體目標(biāo)特征，獲取精準(zhǔn)的物體邊緣.相比于其他邊緣提取方法，蛇模型有更好的魯棒性，不受路面反光、劃痕等情況影響. 1.1中圖像預(yù)處理會(huì)丟失部分管路邊緣信息，導(dǎo)致精度下降.利用蛇模型進(jìn)行邊緣提取，無需圖像預(yù)處理，亦無需人工交互消除噪聲影響，保證邊緣提取精度.本文定義參數(shù)化能量曲線v(s)=[x(s),y(s)],s∈[0,1]為模型初始值.控制模型收斂的圖像力為

(1)

圖像力E最低時(shí)模型收斂至最后結(jié)果.其中，受能量泛函形態(tài)控制的內(nèi)力定義為

(2)

式中:v′(s)與v″(s)為參數(shù)化曲線v(s)關(guān)于s的一階導(dǎo)數(shù)和二階導(dǎo)數(shù);α和β為控制一階導(dǎo)數(shù)和二階導(dǎo)數(shù)對(duì)收斂結(jié)果影響程度的權(quán)值,本文實(shí)驗(yàn)中，α=0.8，β=0.5.

不同于內(nèi)力Eint，外力函數(shù)Eext受圖像灰度特征和梯度特征影響，故Eext主要與圖像中的目標(biāo)物體參數(shù)(例如邊緣)相關(guān)聯(lián).將灰度圖像中像素點(diǎn)位置(x,y)與圖像灰度的公式定義為I(x,y)，外力函數(shù)定義為

(3)

(4)

vt(s,t)=αv″(s,t)-βv?(s,t)+V

(5)

用力場(chǎng)V(x,y)=[u(x,y),v(x,y)]作為矢量化的圖片梯度.圖片梯度將灰度特征通過力場(chǎng)形式表達(dá)出來，力場(chǎng)中所有的矢量均指向管路圖像邊緣.將外力力場(chǎng)施加至管路圖像結(jié)果如圖3所示.

圖3 管路圖像中的Snake模型力場(chǎng)Fig.3 Snake model force field in pipeline image

力場(chǎng)的最小化能量泛函可以表示為

(6)

(7)

(8)

圖4 Snake模型收斂結(jié)果Fig.4 Snake model convergence results

1.3 極線約束求取中心線點(diǎn)云

攝像機(jī)投影關(guān)系如圖5所示，M為管路上一點(diǎn).兩幅圖像分別由左右兩攝像機(jī)拍攝，O和O′代表相機(jī)光心.任選圖像1上一點(diǎn)m，直線Om必然與管路相交于該點(diǎn)真實(shí)空間點(diǎn)M.將直線Om投影到圖像2，獲得極線e′m′，極線與管路的交點(diǎn)必為M點(diǎn)在圖像2中的投影m′.

圖5 極線約束原理Fig.5 Epipolar constraint principle

設(shè)點(diǎn)M的世界坐標(biāo)為XM，在圖像1和圖像2中的像素坐標(biāo)分別為u1和u2.設(shè)相機(jī)O投影矩陣為M11，相機(jī)O′的投影矩陣為M21，M點(diǎn)在相機(jī)坐標(biāo)系下坐標(biāo)為(Xc,Yc,Zc).根據(jù)攝像機(jī)投影原理得出以下轉(zhuǎn)化關(guān)系

Zc1u1=M11XM

(9)

Zc2u2=M21XM

(10)

將M11分解為3×3矩陣M′11和3×1矩陣m1，M21同理.令XM=(XT,1)T并聯(lián)立式(9)(10),消去矩陣X，得

(11)

定義m的反對(duì)稱矩陣為[m]×，式(11)兩邊同乘[m]×.根據(jù)反對(duì)稱矩陣性質(zhì)[m]×m=0，化簡為

(12)

(13)

將一副圖像中的點(diǎn)坐標(biāo)代入式(13)，可以求取該點(diǎn)在另一幅圖像中的對(duì)應(yīng)極線.將2.1中點(diǎn)坐標(biāo)代入式(13)，獲取點(diǎn)在2.2中處理圖像的對(duì)應(yīng)極線.求取所有極線與圖4交點(diǎn)的中點(diǎn)，可獲取與圖2(b)中點(diǎn)云相匹配且精度較高的管路中心線點(diǎn)云.

1.4 模型構(gòu)建與優(yōu)化

管路三維模型重建原理如圖6所示.圖像1為1.1中獲取的二維中心線骨架點(diǎn)云.圖像2為1.3中提取的基于蛇模型亞像素邊緣的二維中心線骨架點(diǎn)云.

圖6 三維模型重建原理Fig.6 Principle of 3D model reconstruction

根據(jù)視覺重建原理，通過點(diǎn)m和對(duì)應(yīng)點(diǎn)m′，利用最小二乘法重建三維空間點(diǎn)M(X,Y,Z).重建式如下

(14)

將1.1中點(diǎn)云的所有點(diǎn)及1.3中所求的對(duì)應(yīng)點(diǎn)代入式(14)，獲取管路的三維中心線點(diǎn)云A.為進(jìn)一步提高重建精度，需對(duì)該點(diǎn)云進(jìn)行優(yōu)化.在剩余圖片中任選一幅圖片，對(duì)其進(jìn)行1.2、1.3的過程操作，并將結(jié)果帶入式(14)獲取三維中心線點(diǎn)云B.對(duì)點(diǎn)云A與B進(jìn)行最小二乘擬合，獲得點(diǎn)云C.同時(shí)，對(duì)點(diǎn)云C進(jìn)行精度判定，若合格，則輸出為最終結(jié)果；若不合格，則在剩余圖片中任選一幅圖片，繼續(xù)迭代判定.

點(diǎn)云精度的判定標(biāo)準(zhǔn)為相機(jī)參與目數(shù).通過實(shí)驗(yàn)驗(yàn)證，針對(duì)多數(shù)管路6目即能滿足測(cè)量精度要求.本文實(shí)驗(yàn)中8個(gè)相機(jī)全部參與了三維重建，最終的重建結(jié)果如圖7(a)所示.通過三維中心線骨架及管路截面半徑，掃掠生成最后的重建模型，如圖7(b)所示.

圖7 重建結(jié)果Fig.7 Reconstruction result

2 實(shí)驗(yàn)驗(yàn)證

2.1 管路邊緣提取實(shí)驗(yàn)

測(cè)量平臺(tái)頂部分布8個(gè)相機(jī)，測(cè)量范圍和相機(jī)高度如圖8(a)所示.采用8個(gè)相機(jī)進(jìn)行多角度拍攝能有效防止形狀較復(fù)雜的管路出現(xiàn)自遮擋問題，確保管路圖像信息完整性.相機(jī)為 Guppy F-146B型黑白工業(yè)攝像機(jī)，采用SONY逐行掃描CCD芯片，IEEE 1394數(shù)字視頻信號(hào)接口，分辨率為1 388×1 038，靶面尺寸為6.4 mm×4.8 mm，像素?cái)?shù)為1 392×1 040，像元尺寸為4.65 μm×4.65 μm.鏡頭選擇Computar M0814-MP / M1214-MP，焦距為8 mm.

實(shí)際工程應(yīng)用中，管路表面反光、劃痕等情況會(huì)對(duì)管路邊緣提取造成干擾.同時(shí)，相比于蛇模型，傳統(tǒng)邊緣提取算法更易受到干擾.蛇模型、Canny算子和Sobel算子提取管路邊緣結(jié)果如圖8(b)所示.

圖8 管路邊緣提取Fig.8 Pipeline edge extraction

根據(jù)實(shí)驗(yàn)結(jié)果，管路受光照影響時(shí)，蛇模型依然能提取目標(biāo)邊緣.而Canny算子和Sobel算子易受到干擾影響，提取多余的邊緣，甚至提取錯(cuò)誤邊緣.故蛇模型有更好的穩(wěn)定性，有效減少人工交互操作，提高測(cè)量效率.

2.2 管路測(cè)量實(shí)驗(yàn)

為驗(yàn)證本文提出方法的測(cè)量精度，將重建結(jié)果與三坐標(biāo)測(cè)量儀測(cè)量結(jié)果進(jìn)行比較.三坐標(biāo)測(cè)量儀型號(hào)為HEXAGON-350AC，測(cè)量精度為1 μm，用于測(cè)量和擬合數(shù)據(jù)的操作系統(tǒng)為PC-DMIS.實(shí)驗(yàn)中管路為自由形狀復(fù)雜管路，由多段直線與4個(gè)圓弧組成，如圖9所示.通過本文算法求取被測(cè)管路的三維中心線點(diǎn)云，并將點(diǎn)云圓弧部分進(jìn)行擬合，求取彎曲半徑.利用三坐標(biāo)測(cè)量儀在被測(cè)管路表面取點(diǎn)，擬合管路三維中心線點(diǎn)云，并進(jìn)一步擬合4個(gè)圓弧半徑作為標(biāo)準(zhǔn)值.同時(shí)，為驗(yàn)證本文方法的穩(wěn)定性，改變被測(cè)管路位姿進(jìn)行拍攝，共進(jìn)行了25組測(cè)量.表1為實(shí)驗(yàn)測(cè)量結(jié)果，給出了其中5組測(cè)量結(jié)果、三坐標(biāo)測(cè)量儀的測(cè)量結(jié)果以及本方法的精度和標(biāo)準(zhǔn)差.

圖9 待測(cè)管路Fig.9 Pipeline to be measured

表1 測(cè)量結(jié)果對(duì)比

本文提出的測(cè)量方法重建過程均在2 min以內(nèi).測(cè)量結(jié)果表明，該方法的測(cè)量誤差在0.15 mm以內(nèi)，同時(shí)標(biāo)準(zhǔn)差在0.1以內(nèi)，結(jié)果穩(wěn)定.

3 結(jié) 論

本文充分利用管路圖像邊緣特征，借助蛇模型重建管路的三維模型.該方法解決了傳統(tǒng)視覺測(cè)量需要提前輸入管路模型信息、管路表面貼加標(biāo)記點(diǎn)等預(yù)操作問題，提高了管路測(cè)量效率.為避免光照條件對(duì)邊緣提取精度的干擾，本文使用蛇模型對(duì)管路圖像進(jìn)行處理.同時(shí)，該方法解決了管路圓弧段彎曲半徑的視覺測(cè)量問題.為實(shí)現(xiàn)精確的模型測(cè)量，本文使用閾值分割和高斯濾波進(jìn)行圖像處理，消除了因拍攝背景和管路表面損傷帶來的噪聲干擾.借助多目測(cè)量平臺(tái)采集圖像信息豐富的優(yōu)勢(shì)，對(duì)測(cè)量結(jié)果進(jìn)行多次優(yōu)化，提高了測(cè)量精度.此外，在求解能量泛函時(shí)，使用貪心算法，保證了測(cè)量效率.

相比于三坐標(biāo)測(cè)量方法，本文測(cè)量方法能夠完整的重建管路模型，具有較高的測(cè)量精度，亦能獲取充分的管路信息.該方法操作簡單，測(cè)量效率高，不依賴操作人員經(jīng)驗(yàn)，易實(shí)現(xiàn)操作流程的自動(dòng)化.然而，蛇模型參數(shù)、測(cè)量平臺(tái)布局、光照強(qiáng)度、參與重建相機(jī)數(shù)目等因素與測(cè)量結(jié)果的數(shù)學(xué)關(guān)系十分復(fù)雜，本文并未建立起一套明確的數(shù)學(xué)模型.探究各種參數(shù)與結(jié)果的關(guān)系，對(duì)提高測(cè)量精度和效率有重大意義，亦是將來需要進(jìn)一步研究的內(nèi)容.