復(fù)合材料紅外熱波檢測圖像處理及投影標(biāo)注技術(shù)

丁 超，金 珂，王少鑫，穆全全，宣 麗，李大禹*

(1. 中國科學(xué)院 長春光學(xué)精密機(jī)械與物理研究所 應(yīng)用光學(xué)國家重點(diǎn)實(shí)驗(yàn)室，吉林 長春130033；2. 中國科學(xué)院大學(xué)，北京 100049；3. 航天材料及工藝研究所，北京 100071)

1 引 言

碳纖維復(fù)合材料是近年來迅速發(fā)展的一類新型材料，具有強(qiáng)度大、質(zhì)量輕、耐高溫等優(yōu)越性能，在航空航天、船舶、汽車等領(lǐng)域應(yīng)用廣泛[1]。碳纖維材料是由碳纖維和高性能樹脂基體復(fù)合而成的碳纖維增強(qiáng)樹脂基復(fù)合材料(Carbon Fiber Rein Forced Polymer，CFRP)[2]，在生產(chǎn)、加工及使用過程中，CFRP板內(nèi)部易產(chǎn)生脫粘、裂紋等缺陷，這些缺陷會嚴(yán)重影響材料質(zhì)量和性能，降低使用壽命[3]。對于材料內(nèi)部的缺陷，需要在不破壞其結(jié)構(gòu)完整性的前提下進(jìn)行探測。

紅外成像無損檢測技術(shù)是基于紅外輻射原理，通過記錄被檢測物體表面的溫度場變化，來判斷材料內(nèi)部結(jié)構(gòu)的不連續(xù)所引起的熱量傳遞差別，實(shí)現(xiàn)對內(nèi)部缺陷進(jìn)行判斷的無損檢測方法[4]。它相比于常規(guī)無損檢測方法具有非接觸、靈敏度高、結(jié)果直觀可靠的優(yōu)勢，特別適用于復(fù)合材料的無損檢測。目前許多學(xué)者對基于紅外成像的材料內(nèi)部缺陷檢測及可視化進(jìn)行過研究，英國學(xué)者D.P.Almond提出了紅外熱波檢測中確定缺陷大小的方法，需要在三維空間中考慮熱擴(kuò)散對缺陷邊緣的影響[5]。郭興旺等采用奇異值分解法對紅外圖像序列進(jìn)行處理和增強(qiáng)，消除了加熱不均效應(yīng)，有效提高圖像的信噪比[6]。汪子君等提出了基于魯棒Otsu的缺陷分割算法,提高了紅外無損檢測缺陷分割的準(zhǔn)確性和魯棒性[7]。

傳統(tǒng)的紅外熱波檢測的工作主要集中在紅外圖像處理方面。在實(shí)際的工程應(yīng)用中，往往需要將缺陷位置在實(shí)物上進(jìn)行標(biāo)記，而從紅外圖像中提取出的內(nèi)部缺陷位置只能顯示在屏幕上，很難將結(jié)果及時與被測樣件的實(shí)際缺陷位置進(jìn)行聯(lián)系。如果操作人員需要在被檢測樣件上標(biāo)記缺陷區(qū)域，就必須在屏幕和樣件之間反復(fù)確認(rèn)，效率低下且容易出錯。因此，實(shí)現(xiàn)無損檢測數(shù)據(jù)的自動標(biāo)記是非常有必要的。方法是在測試數(shù)據(jù)和測試結(jié)構(gòu)之間建立一個可視化的鏈接。

本文提出基于熱像儀-投影儀系統(tǒng)的脈沖激勵紅外無損檢測及標(biāo)記方法。利用紅外熱像儀獲得脈沖激勵下人工缺陷碳纖維樣品的紅外圖像序列，并利用采樣時間優(yōu)化后的脈沖相位算法對圖像序列進(jìn)行處理，增強(qiáng)缺陷的檢測效果。再通過自動閾值對缺陷區(qū)域進(jìn)行提取，并將提取結(jié)果經(jīng)投影儀投射到被測樣品上進(jìn)行標(biāo)記。由于熱像儀投影儀間的視角差異、鏡頭誤差等因素，投影到樣品上的圖像存在畸變，從而使標(biāo)記結(jié)果產(chǎn)生較大誤差。借助輔助相機(jī)對熱像儀及投影儀進(jìn)行標(biāo)定[8]，利用所得的內(nèi)外參數(shù)矩陣對缺陷提取結(jié)果進(jìn)行變換，可以對畸變進(jìn)行有效修正。經(jīng)驗(yàn)證，該方法可以實(shí)現(xiàn)對缺陷位置較為準(zhǔn)確的標(biāo)注。

2 紅外熱波圖像的缺陷分割

要實(shí)現(xiàn)缺陷位置的準(zhǔn)確標(biāo)注，需要進(jìn)行兩項(xiàng)工作：缺陷提取和缺陷投影。首先是對缺陷輪廓的提取，即對紅外圖像中的缺陷進(jìn)行分割。

紅外熱波圖像的目標(biāo)分割由于其特殊性，相比于一般的圖像分割存在不少難點(diǎn)，主要包括：紅外成像為熱源成像，圖像目標(biāo)及邊界較為模糊；目標(biāo)成像面積較小時，紅外信號強(qiáng)度較弱，目標(biāo)分割要在低信噪比條件下進(jìn)行[9]；碳纖維材料表面的紋理會對缺陷邊緣的分割產(chǎn)生影響。紅外熱波圖像處理可分為單幀圖像處理和多幀圖像處理。單幀紅外圖像反映的只是樣品表面某時刻的溫度分布，沒有充分反映不同時刻的溫度分布情況，因此基于單幀圖像的處理效果一般較差。紅外圖像序列則包含更豐富的缺陷信息，在進(jìn)行紅外熱波圖像的目標(biāo)分割前，先對圖像序列進(jìn)行處理，可以獲得更全面的缺陷信息，增強(qiáng)微弱缺陷的顯示效果。

脈沖相位法(Pulse Phase Thermography, PPT)是一種用于處理脈沖激勵紅外熱波圖像序列的算法[10]。脈沖激勵熱波包含很多不同頻率的成分，而脈沖相位法可以通過傅里葉變換，對樣品的頻譜響應(yīng)進(jìn)行分析。其原理是采集脈沖熱激勵下樣品表面溫度分布隨時間變化的圖像序列，將圖像序列中每個像素點(diǎn)(x,y)對應(yīng)的溫度-時間信號T(k)(k=1,2,...,N)進(jìn)行離散傅里葉變換，得到頻域信號：

(1)

對實(shí)部和虛部進(jìn)行處理，可獲得每個像素點(diǎn)傅里葉變換后的幅值譜和相位譜：

(2)

對紅外圖像序列中的每個像素點(diǎn)均進(jìn)行上述計算，得到圖像的幅值圖譜和相位圖譜。由于時域信號為實(shí)數(shù)值，N個時間數(shù)據(jù)存在N/2個獨(dú)立的頻率數(shù)據(jù)。離散頻率為:

(3)

其中，Δt為相鄰兩幅熱圖像的時間間隔，n=0,1,2...,N/2。圖1為紅外圖像序列表面溫度信號的傅里葉變換示意圖。

圖1 表面溫度信號傅里葉變換分析示意圖Fig.1 Schematic diagram of Fourier transform analysis of surface temperature signal

實(shí)驗(yàn)中，脈沖激勵時間為5 ms，脈沖能量為6 000 J。采用FLIR X6530sc熱像儀采集紅外圖像，熱像儀焦距為12 mm，像元尺寸15 μm×15 μm，采樣頻率為100 Hz，采樣時間為15 s。為對缺陷提取結(jié)果進(jìn)行準(zhǔn)確評價，檢測對象為一塊矩形碳纖維復(fù)合材料，并在平板背面制造6個不同大小盲孔模擬內(nèi)部缺陷。

同一熱擴(kuò)散系數(shù)和缺陷深度的材料，對脈沖熱流不同頻率的下響應(yīng)敏感程度不同[11]。不同采樣時間的圖像序列進(jìn)行脈沖相位處理后的效果也不同。以信噪比作為處理效果的評價標(biāo)準(zhǔn)，其定義為：

(4)

其中:FD為脈沖相位處理后缺陷區(qū)域平均灰度值，F(xiàn)S為非缺陷區(qū)域平均灰度值，σSF為無缺陷區(qū)域像素值標(biāo)準(zhǔn)差。不同采樣時間下圖像序列處理后的信噪比分布如圖2所示。其中橫軸表示所選圖像序列的圖片數(shù)量，縱軸表示處理的第一張圖像在整個圖像序列中的位置。每個格的色溫表示該位置的信噪比。

圖2 處理后圖像的信噪比分布Fig.2 SNR distribution of the processed images

當(dāng)參與脈沖相位處理的圖像序列初始位置為第150幀，數(shù)量為1 300幀，即采樣時間為1.5～14.5 s時，處理結(jié)果擁有最佳信噪比。如圖3所示，采用該圖像序列進(jìn)行脈沖相位處理后的相位圖效果好于傳統(tǒng)脈沖相位算法，缺陷與非缺陷區(qū)域的對比度顯著提高，缺陷邊界也更加清晰，面積較小的缺陷也能有效顯示，有利于對缺陷邊界的準(zhǔn)確分割。

為對缺陷區(qū)域的位置信息進(jìn)行定量化分析，需要對缺陷進(jìn)行提取。本文主要提取的缺陷信息

(a)原始紅外圖像(a)Original infrared image

(b) 傳統(tǒng)脈沖相位法相位圖(b) Phase diagram of traditional pulse phase method

(c) 優(yōu)化后脈沖相位法相位圖(c) Phase diagram of optimized pulse phase method圖3 脈沖相位法處理前后圖像對比Fig.3 Image comparison before and after pulse phase method processing

為中心和輪廓。由于缺陷區(qū)域與背景主要在灰度上存在差異，故采用Otsu閾值分割法進(jìn)行缺陷提取。以進(jìn)行閾值處理后分離的像素類之間的類間方差最大作為閾值選取準(zhǔn)則，閾值之上和之下的像素分別作為目標(biāo)和背景，生成二值圖像。如圖4(a)所示。在二值圖中可以得到缺陷輪廓和質(zhì)心位置，缺陷的提取結(jié)果如圖4(b)所示。

(a) 閾值分割后的二值圖(a) Binary image after threshold segmentation

(b) 缺陷輪廓與質(zhì)心(b) Contour and centroid of defects圖4 缺陷位置提取結(jié)果Fig.4 Defect location extraction

3 缺陷位置標(biāo)注

圖5 紅外無損檢測及投影裝置示意圖Fig.5 Schematic diagram of infrared non-destructive testing and projection device

無損檢測結(jié)果的可視化需要通過投影裝置實(shí)現(xiàn)。實(shí)驗(yàn)裝置如圖5所示。作為激勵源的閃光燈并排放置且正對被測樣件，以保證樣件表面得到均勻且充分的加熱，熱像儀位于閃光燈正上方，投影儀位于閃光燈正下方。為保證樣件位于熱像儀視場中心，熱像儀需傾斜一定角度。同時，投影儀也需要傾斜一定角度保證缺陷能夠投影到樣件表面。

投影儀與熱像儀存在視角差異，導(dǎo)致前面提取的缺陷輪廓投影到樣品表面時發(fā)生形變，使標(biāo)注存在較大誤差。需要利用投影變換對形變進(jìn)行校正。

3.1 熱像儀與投影儀的坐標(biāo)變換

當(dāng)檢測裝置與被測樣件距離固定時，熱像儀和投影儀的傾斜角度也是固定的。被測樣件豎直放置，以中心投影的方式建立成像模型[12]，以被測樣件長寬方向?yàn)閄軸和Y軸，垂直該平面方向?yàn)閆軸，建立世界坐標(biāo)系。XpYpZpOp為熱像儀坐標(biāo)系，XcYcZcOc為投影儀坐標(biāo)系，XwYwZwOw為被測樣件所在平面的世界坐標(biāo)系。

根據(jù)成像模型，物點(diǎn)在世界坐標(biāo)系下齊次坐標(biāo)與其對應(yīng)像點(diǎn)在圖像像素坐標(biāo)系下齊次坐標(biāo)的變換關(guān)系為：

(5)

變換關(guān)系由內(nèi)參數(shù)矩陣和外參數(shù)矩陣組成。T為3×1的平移矩陣，R為3×3的旋轉(zhuǎn)矩陣，OT為3×1的零矩陣的轉(zhuǎn)置，構(gòu)成外參數(shù)矩陣。fx,fy分別表示沿圖像平面X軸和Y軸方向的焦距，單位為mm。(u0,v0)表示圖像物理坐標(biāo)系的原點(diǎn)在像素坐標(biāo)系中的坐標(biāo)，單位為像素(px)。du，dv分別是單位像素在x軸和y軸上的尺寸,單位為mm/px。以fu、fv代替fx/du和fy/dv，構(gòu)成內(nèi)參數(shù)矩陣。Zc為比例系數(shù)。

Zc1I1=A1[R1T1]Pw，

(6)

其中:I1為熱像儀像素坐標(biāo)系下某點(diǎn)坐標(biāo)，Pw為其對應(yīng)物點(diǎn)在世界坐標(biāo)系下坐標(biāo)。A1為熱像儀內(nèi)參數(shù)矩陣。R1、T1組成熱像儀外參數(shù)矩陣。

投影儀將圖像投影到世界坐標(biāo)系下被測樣件所在平面，相當(dāng)于逆向的相機(jī)[13]，因此其數(shù)學(xué)模型與相機(jī)模型相同。投影儀的圖像像素坐標(biāo)I2與世界坐標(biāo)Pw的轉(zhuǎn)換關(guān)系可寫為：

Zc2I2=K2[R2T2]Pw，

(7)

其中:K2為投影儀內(nèi)參數(shù)矩陣，R2、T2組成投影儀外參數(shù)矩陣。為保證缺陷投影的準(zhǔn)確，投影儀和熱像儀的物點(diǎn)坐標(biāo)Pw相同，對式(6)、(7)消去Pw，可以得到投影儀圖像的像素坐標(biāo)與熱像儀圖像的像素坐標(biāo)間的變換關(guān)系：

(8)

H為投影儀像素坐標(biāo)到熱像儀像素坐標(biāo)的投影變換矩陣。缺陷提取結(jié)果經(jīng)過該變換，再經(jīng)投影儀投射到被測樣件上，理論上可以準(zhǔn)確標(biāo)注缺陷位置。變換過程如圖6所示。

圖6 投影變換流程Fig.6 Projection transformation process

3.2 可見-紅外相機(jī)輔助標(biāo)定法

投影儀圖像像素坐標(biāo)到熱像儀圖像像素坐標(biāo)的變換需要投影儀和熱像儀的內(nèi)外參數(shù)矩陣，通過標(biāo)定可以得到內(nèi)外參數(shù)。

鏡頭在加工、裝配過程中往往存在誤差，自身也存在幾何像差，標(biāo)定過程中需要考慮畸變影響[14]。常見的畸變包括徑向畸變k1,k2和切向畸變p1,p2，若實(shí)際成像點(diǎn)在圖像物理坐標(biāo)系下坐標(biāo)為p′(x′,y′),理想成像點(diǎn)為p(x,y),則畸變修正公式為：

(9)

其中:δx和δy為畸變值，其計算為：

δx=k1x(x2+y2)+k2x(x2+y2)+
p1(3x2+y2)+2p2xy,
δy=k1y(x2+y2)+k2y(x2+y2)+
p2(3x2+y2)+2p1xy.

(10)

標(biāo)定過程中得到畸變參數(shù)k1,k2,p1,p2，u、v方向的尺度因子fu、fv,圖像主點(diǎn)坐標(biāo)(u0,v0),以及熱像儀坐標(biāo)系到投影儀坐標(biāo)系的旋轉(zhuǎn)矩陣與平移矩陣。對于熱像儀，可以利用張正友標(biāo)定法[12]進(jìn)行標(biāo)定。但投影儀作為投影器件,無法通過拍攝圖像得到物平面二維圖像坐標(biāo)與對應(yīng)點(diǎn)三維世界坐標(biāo)之間的對應(yīng)關(guān)系。利用輔助相機(jī)可以建立投影儀與標(biāo)定板間的坐標(biāo)對應(yīng)關(guān)系，在熱像儀下方固定一工業(yè)相機(jī)作為輔助標(biāo)定工具，如圖5所示。

以10×7的黑白棋盤圖案作為標(biāo)定板，每個棋盤格邊長27.7 mm。將棋盤圖案粘貼于白色背景板上，投影儀同樣將棋盤格圖案投射到該背景板，用于建立像機(jī)圖像與投影圖像間的對應(yīng)關(guān)系，且可以保證投影平面與標(biāo)定板平面位于同一平面。

以標(biāo)定板棋盤格左上角的角點(diǎn)為坐標(biāo)原點(diǎn)，XY平面與標(biāo)定板平面重合，Z軸與標(biāo)定板平面垂直，可建立標(biāo)定板的世界坐標(biāo)系。不同位姿下的標(biāo)定板相對于相機(jī)同樣存在旋轉(zhuǎn)矩陣Ri和平移矩陣Ti，若相機(jī)的內(nèi)參矩陣為A,則標(biāo)定板世界坐標(biāo)與相機(jī)的圖像像素坐標(biāo)的轉(zhuǎn)換關(guān)系為：

(11)

若相機(jī)已標(biāo)定，即內(nèi)外參數(shù)矩陣已知，依據(jù)該轉(zhuǎn)換關(guān)系，可以實(shí)現(xiàn)對投影儀投影圖像世界坐標(biāo)的提取。利用相機(jī)對投影儀進(jìn)行標(biāo)定的具體過程如下：

(1)按圖5所示固定好相機(jī)與投影儀。投影儀將黑白棋盤圖案投射到標(biāo)定板所在背景板上，相機(jī)拍攝此時的標(biāo)定板及投影圖案的圖像。

(2)改變背景板位姿(包括進(jìn)行紅外圖像采集時樣品的位姿，以得到該位置下投影儀的外參數(shù)矩陣)，重復(fù)上述步驟，拍攝10組圖像。

(3)對相機(jī)拍攝圖像中標(biāo)定板和投影圖案棋盤格的角點(diǎn)進(jìn)行精確提取，如圖7所示。由標(biāo)定板的角點(diǎn)坐標(biāo)，利用張正友標(biāo)定法[15]對相機(jī)進(jìn)行標(biāo)定，并根據(jù)式(11)結(jié)合已標(biāo)定的相機(jī)參數(shù)計算投影圖案提取的角點(diǎn)像素坐標(biāo)對應(yīng)的世界坐標(biāo)，進(jìn)而實(shí)現(xiàn)對投影儀的標(biāo)定。

圖7 標(biāo)定板特征點(diǎn)提取Fig.7 Feature point extraction of calibration plate

按圖5所示模型搭建該標(biāo)定系統(tǒng)，投影儀型號為XGIMI NEW Z6X，可投影圖像的最大分辨率為1 920×1 080像素。相機(jī)型號為DAHENG MER-503_36U3M，焦距7 mm，可拍攝圖像最大分辨率為2 448×2 048像素,像元尺寸3.45 μm×3.45 μm。標(biāo)定所得參數(shù)見表1。

其中fu、fv、u0、v0單位均為像素(px)，k1、k2、p1、p2為無量綱。進(jìn)行紅外圖像采集時樣品位姿下熱像儀坐標(biāo)系到投影儀坐標(biāo)系的旋轉(zhuǎn)矩陣為：

(12)

平移矩陣為：

(13)

表1 相機(jī)、投影儀和熱像儀標(biāo)定參數(shù)

圖8 投影儀重投影誤差Fig.8 Reprojection error of projector

旋轉(zhuǎn)矩陣各元素?zé)o量綱，平移矩陣各元素單位為mm。利用標(biāo)定相機(jī)所得內(nèi)外參數(shù)矩陣，將棋盤圖案的特征點(diǎn)轉(zhuǎn)換到世界坐標(biāo)系，再通過投影儀內(nèi)外參數(shù)矩陣轉(zhuǎn)換到投影儀的圖像像素坐標(biāo)系，并與預(yù)先設(shè)定的棋盤圖案特征點(diǎn)坐標(biāo)相減，以相減值的均值作為投影儀標(biāo)定精度的評價方法[16]。結(jié)果如圖8所示，在x方向和y方向誤差均小于1個像素，該標(biāo)定方法精度較高。

3.3 缺陷提取結(jié)果的投影

利用標(biāo)定所得的熱像儀和投影儀內(nèi)外參數(shù)矩陣，可以得到投影儀像素坐標(biāo)與熱像儀像素坐標(biāo)間的投影變換關(guān)系。將熱像儀采集的圖像進(jìn)行缺陷提取和投影變換,并通過投影儀投射到樣品表面。熱像儀采集的樣品紅外圖像如圖9所示，投影儀投影圖像如圖10所示。

圖9 熱像儀采集紅外圖像Fig.9 Infrared image collected by thermal imaging camera

圖10 投影儀投影圖像Fig.10 Image projected by the projector

圖11 缺陷投影結(jié)果Fig.11 Defect projection result

缺陷在樣品上的標(biāo)注結(jié)果如圖11所示。以樣品左上角為原點(diǎn)，水平方向?yàn)閄軸，豎直方向?yàn)閅軸建立坐標(biāo)系，對投影結(jié)果進(jìn)行定位。投影缺陷位置與實(shí)際位置對比見表2。

可以看出本文提出的紅外圖像處理及投影標(biāo)注方法對于不同大小的缺陷，中心標(biāo)注誤差在3 mm以內(nèi)，面積標(biāo)注誤差在10%以內(nèi)。主要誤差來源為：(1) 標(biāo)定板的制作不夠精確，本文的標(biāo)定板是直接打印出來貼在背景平板上，對角點(diǎn)提取的精度有影響。同時，環(huán)境因素如拍攝環(huán)境周圍光照及外界引起的震動等都會對標(biāo)定和投影結(jié)果產(chǎn)生影響。(2) 熱像儀采集的紅外圖像中，樣品表面紋理也會對缺陷邊緣的提取產(chǎn)生影響。通過選用精確度更高的標(biāo)定板、改善拍攝環(huán)境以及對缺陷提取算法進(jìn)一步優(yōu)化，可以提升缺陷位置標(biāo)注精確度。

表2 缺陷投影位置與實(shí)際位置對比Tab.2 Comparison of defect’s projection position and actual position

4 結(jié) 論

本文針對紅外熱波檢測中缺陷提取結(jié)果難以及時在被測樣件上進(jìn)行標(biāo)注的問題，提出了基于熱像儀-投影儀系統(tǒng)的脈沖激勵紅外無損檢測及投影標(biāo)記方法。對脈沖相位法的采樣時間進(jìn)行優(yōu)化，提高處理后缺陷區(qū)域的對比度和邊界清晰度。利用自動閾值對處理結(jié)果進(jìn)行分割，提取缺陷邊緣和中心位置。針對投影儀與熱像儀視角差異等因素引起的畸變問題，提出了可見-紅外相機(jī)輔助標(biāo)定方法，利用輔助相機(jī)對熱像儀-投影儀系統(tǒng)進(jìn)行標(biāo)定，并用所得內(nèi)外參數(shù)矩陣對缺陷提取結(jié)果進(jìn)行變換，矯正圖像畸變。經(jīng)測量，缺陷中心標(biāo)注誤差在3 mm以內(nèi)，面積標(biāo)注誤差在10%以內(nèi)。經(jīng)一次標(biāo)定后，如果熱像儀、投影儀與被測樣品的相對位置不變，則標(biāo)定的內(nèi)外參數(shù)仍適用，可直接對其他樣品進(jìn)行缺陷標(biāo)注，復(fù)用性較高。