基于卷積神經(jīng)網(wǎng)絡(luò)的石英纖維復(fù)合材料損傷缺陷太赫茲智能識(shí)別

李濤，薛剛，霍自祥，王保民，李曉嶺，楊召南

(1.邯鄲學(xué)院 軟件學(xué)院，河北 邯鄲 056005；2.邯鄲科技職業(yè)學(xué)院 計(jì)算機(jī)系，河北 邯鄲 056046)

隨著科技的發(fā)展，石英纖維復(fù)合材料(quartz fiber reinforced polymer, QFRP)由于具有較高的比強(qiáng)度、比模量，同時(shí)具備良好介電性能的特征，廣泛應(yīng)用于高頻透波雷達(dá)罩、天線罩等結(jié)構(gòu)中[1].QFRP作為雷達(dá)、天線等關(guān)鍵部件的保護(hù)結(jié)構(gòu)材料，在面臨外部沖擊等環(huán)境影響時(shí)容易產(chǎn)生裂紋、分層、脫粘等損傷缺陷，需要各類檢測手段對(duì)其進(jìn)行檢測識(shí)別.而超聲、渦流和X線等常用檢測技術(shù)存在一定的缺點(diǎn)，如需要強(qiáng)相互作用或存在強(qiáng)輻射等[2].太赫茲(terahertz, THz)具有低光子能量、高空間分辨率以及對(duì)非極性材料的高穿透性，作為一種安全的、非接觸的檢測技術(shù)在無損檢測領(lǐng)域受到了廣泛的關(guān)注[3-4].目前國內(nèi)外針對(duì)纖維增強(qiáng)類復(fù)合材料太赫茲無損檢測已經(jīng)有較多學(xué)者開展研究.2003年，張希成等[5]利用基于連續(xù)波的太赫茲成像系統(tǒng)實(shí)現(xiàn)了航天飛機(jī)絕緣泡沫材料內(nèi)部缺陷的無損檢測，開創(chuàng)了太赫茲無損檢測的先河.Stoik等[6]和Ospald等[7]利用反射式太赫茲時(shí)域光譜對(duì)航空玻璃纖維復(fù)合材料的表面缺陷進(jìn)行了無損檢測.2015年至2016年間國內(nèi)較多學(xué)者開展了相關(guān)研究，中國計(jì)量學(xué)院的廖曉玲[8]、中國計(jì)量大學(xué)的郭小弟等[9]、吉林大學(xué)的張瑾[10]和邢礫云[11]基于太赫茲技術(shù)在玻璃纖維、纖維增強(qiáng)復(fù)合材料和航空泡沫芯材等結(jié)構(gòu)材料的損傷缺陷檢測研究中進(jìn)行了大量實(shí)驗(yàn)并取得了較多研究成果.2019年，Zhang等[12]基于太赫茲時(shí)域光譜反射層析技術(shù)，對(duì)玻璃纖維蜂窩復(fù)合材料結(jié)構(gòu)多層脫粘缺陷開展了檢測研究.2021年，Ibrahim等[13]利用太赫茲時(shí)域光譜技術(shù)對(duì)浸水玻璃纖維復(fù)合材料中的空洞和分層缺陷開展了檢測研究.

在環(huán)境因素尤其是空氣濕度的影響下，太赫茲光譜存在較大的干擾和噪聲，從而影響了無損檢測的準(zhǔn)確性[14].很多研究工作在信號(hào)降噪和特征提取方面做了優(yōu)化和改進(jìn)，在一定程度上提高了檢測精度.也有些研究通過獲取大量的太赫茲信號(hào)數(shù)據(jù)，利用支持向量機(jī)和人工神經(jīng)網(wǎng)絡(luò)模型等實(shí)現(xiàn)可視化的智能檢測[15-16].深度學(xué)習(xí)通過增加網(wǎng)絡(luò)模型的復(fù)雜度和網(wǎng)絡(luò)深度，可以進(jìn)一步挖掘太赫茲信號(hào)的局部特征，從而提高檢測的準(zhǔn)確性[17].作為深度學(xué)習(xí)的重要模型，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)在圖像分類[18]、自然語言處理[19]、模式識(shí)別[20]等領(lǐng)域已經(jīng)有了豐厚的研究成果.卷積神經(jīng)網(wǎng)絡(luò)由于優(yōu)異的特征提取能力，逐漸應(yīng)用于各類材料的損傷缺陷智能檢測中，其中在紅外熱成像[21]、聲發(fā)射[22]、渦流[23]等常規(guī)手段中已經(jīng)開展了成果的應(yīng)用.

本文通過分析QFRP中缺陷材料的太赫茲時(shí)域信號(hào)特點(diǎn)，構(gòu)建一維卷積神經(jīng)網(wǎng)絡(luò)(one-dimensional convolutional neural network, 1D-CNN)模型，通過大量正常材料和缺陷材料的太赫茲時(shí)域信號(hào)數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)模型，提取缺陷材料的局部特征，實(shí)現(xiàn)高準(zhǔn)確度的缺陷檢測.針對(duì)QFRP分層缺陷太赫茲檢測智能化開展研究工作，利用太赫茲時(shí)域光譜系統(tǒng)對(duì)QFRP內(nèi)部預(yù)制不同深度和大小的缺陷進(jìn)行可視化檢測，通過圖像重構(gòu)的方法實(shí)現(xiàn)損傷缺陷太赫茲智能檢測.

1 實(shí)驗(yàn)樣件及環(huán)境

實(shí)驗(yàn)樣件采用QFRP層壓板1塊，圖1a和圖1b分別為QFRP實(shí)驗(yàn)樣件設(shè)計(jì)圖和實(shí)物圖，層壓板采用環(huán)氧樹脂預(yù)浸料，纖維鋪層方向?yàn)椤?5°，單鋪層厚度為0.22 mm，共有4個(gè)鋪層.實(shí)驗(yàn)樣件共預(yù)埋有9個(gè)缺陷，第1～3鋪層下分別有1列，總共3列直徑分別為3、5、9 mm的聚四氟乙烯薄片組，薄片厚度為0.02 mm.

a.設(shè)計(jì)圖;b.實(shí)物圖圖1 QFRP實(shí)驗(yàn)樣件設(shè)計(jì)圖及實(shí)物圖Fig.1 Design drawing and physical drawing of QFRP test sample

實(shí)驗(yàn)設(shè)備由反射式太赫茲時(shí)域光譜系統(tǒng)和二維移動(dòng)平臺(tái)構(gòu)成，太赫茲時(shí)域光譜系統(tǒng)采用中心波長為1 550 nm、重復(fù)頻率為100 MHz、脈沖寬度<90 fs的光纖飛秒激光器作為激發(fā)源.太赫茲發(fā)射及接收器均是基于InAlAs/InGaAs材料的多層異質(zhì)結(jié)構(gòu)光電導(dǎo)天線.光譜范圍可達(dá)1.5 THz(快速)、2.5 THz(慢速)以上，光譜分辨率可達(dá)10 GHz以下，動(dòng)態(tài)范圍50～70 dB.在進(jìn)行測試時(shí)將實(shí)驗(yàn)樣件置于二維移動(dòng)平臺(tái)上，同時(shí)調(diào)整樣件上表面使其位于探測光的焦距位置，樣品與水平面保持垂直，使太赫茲波盡量垂直穿過樣品，實(shí)驗(yàn)環(huán)境示意如圖2所示.

圖2 太赫茲時(shí)域光譜檢測系統(tǒng)示意Fig.2 Schematic diagram of terahertz time domain spectrum detection system

2 太赫茲智能識(shí)別實(shí)驗(yàn)

2.1 識(shí)別原理

太赫茲探測天線接收到的信號(hào)由太赫茲主脈沖和多個(gè)反射脈沖組成[14].當(dāng)待測材料內(nèi)部存在損傷缺陷時(shí)，太赫茲波會(huì)在缺陷處發(fā)生反射和散射，在接收的太赫茲時(shí)域信號(hào)上產(chǎn)生對(duì)應(yīng)脈沖的波峰與波谷，如圖3所示.圖3中分別顯示了實(shí)驗(yàn)樣件3種不同深度缺陷以及無缺陷區(qū)域處采集的太赫茲時(shí)域信號(hào)，可以看出缺陷1、2、3的時(shí)域信號(hào)分別在23.6、26.166 7、29.366 7 ps處有明顯的反射峰存在，分別代表太赫茲波在不同深度預(yù)埋缺陷處發(fā)生了反射.

圖3 不同區(qū)域太赫茲時(shí)域信號(hào)示意Fig.3 Schematic diagram of terahertz time domain signals in different regions

卷積神經(jīng)網(wǎng)絡(luò)的卷積操作可以很好地保持缺陷材料時(shí)域信號(hào)的局部特征，以太赫茲時(shí)域信號(hào)作為訓(xùn)練數(shù)據(jù)，能夠?qū)Σ煌瑓^(qū)域太赫茲時(shí)域信號(hào)所表現(xiàn)出的特征進(jìn)行提取和學(xué)習(xí)，因此利用神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)太赫茲時(shí)域信號(hào)的智能識(shí)別，主要原理如圖4所示.

圖4 基于神經(jīng)網(wǎng)絡(luò)的太赫茲缺陷分類識(shí)別方法示意Fig.4 Schematic diagram of terahertz defect classification and recognition method based on neural network

2.2 數(shù)據(jù)集搭建

對(duì)實(shí)驗(yàn)樣件進(jìn)行2次太赫茲信號(hào)采集，第1次從不同深度缺陷區(qū)域和非缺陷區(qū)域共采集了1 624個(gè)太赫茲時(shí)域信號(hào)，其中包含無缺陷區(qū)域600個(gè)太赫茲時(shí)域信號(hào)，缺陷深度為0.22、0.44、0.66 mm的3個(gè)區(qū)域分別421、306、297個(gè)太赫茲時(shí)域信號(hào)，將各個(gè)區(qū)域采集太赫茲時(shí)域信號(hào)數(shù)量的80%作為訓(xùn)練集，20%作為驗(yàn)證集對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和驗(yàn)證.第2次進(jìn)行實(shí)驗(yàn)樣件完全掃查，共采集了15 861個(gè)太赫茲時(shí)域信號(hào)作為測試集，用于評(píng)估訓(xùn)練完畢的網(wǎng)絡(luò)模型的泛化性能.

2.3 一維卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

實(shí)驗(yàn)搭建的一維卷積神經(jīng)網(wǎng)絡(luò)示意如圖5所示，該模型從左至右分別為1個(gè)輸入層(input layer)，3個(gè)卷積層(convolutional layer)、1個(gè)最大池化層(maxpooling layer)、2個(gè)卷積層(convolutional layer)和1個(gè)全局平均池化層(global average pooling layer)，1個(gè)全連接層(fully connected layer)和1個(gè)輸出層(output layer).

圖5 一維卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)示意Fig.5 Structure diagram of one-dimensional convolutional neural network model

前3個(gè)卷積層的每一層都使用了64個(gè)尺寸為3×1的卷積核用于初步提取信號(hào)的特征，每層卷積層后使用ReLU激活函數(shù)，卷積核移動(dòng)步長設(shè)定為1，第3層卷積層輸出64個(gè)特征向量；接著使用1個(gè)最大池化層進(jìn)行下采樣，對(duì)冗余信息進(jìn)行去除；緊接著使用類似的2個(gè)卷積層對(duì)高階特征進(jìn)行提取，每層使用128個(gè)尺寸為3×1的卷積核，每層卷積層后使用ReLU激活函數(shù)，第2個(gè)卷積層輸出128個(gè)特征向量；在卷積層后使用一個(gè)全局平均池化層進(jìn)行下采樣，將128個(gè)特征向量轉(zhuǎn)化為1個(gè)長度為128的特征向量，其作用為一定程度上減小過擬合現(xiàn)象產(chǎn)生的概率；最后使用全連接層，使用6個(gè)神經(jīng)元與上一層所有的特征圖進(jìn)行全連接，將其排成一維向量的形式并送入輸出層，輸出層包含5個(gè)神經(jīng)元，采用了Softmax函數(shù)作為激活函數(shù)實(shí)現(xiàn)多分類任務(wù)，如式(1)所示，其計(jì)算結(jié)果為0～1，表示預(yù)測結(jié)果為某種類型的概率，選取概率最大的類別進(jìn)行輸出.

(1)

3 實(shí)驗(yàn)結(jié)果及評(píng)價(jià)

3.1 評(píng)價(jià)指標(biāo)

目前通常采用混淆矩陣[24]的方法對(duì)網(wǎng)絡(luò)模型進(jìn)行評(píng)價(jià)，如表1所示，其中TP(true positive)表示當(dāng)真實(shí)值為positive時(shí)，模型認(rèn)為是positive的數(shù)量；FN(false negative)表示真實(shí)值是positive，模型認(rèn)為是negative的數(shù)量；FP(false positive)表示真實(shí)值是negative，模型認(rèn)為是positive的數(shù)量；TN(true negative)表示真實(shí)值是negative，模型認(rèn)為是negative的數(shù)量.

當(dāng)數(shù)據(jù)量比較大且不均衡時(shí)，根據(jù)上述指標(biāo)的數(shù)值很難判斷模型對(duì)某個(gè)類別預(yù)測能力的優(yōu)劣，可以采用準(zhǔn)確率(Accuracy)、精確率(Precision)、靈敏度(Sensitivity)和特異度(Specificity)等參數(shù)進(jìn)行衡量，相應(yīng)的計(jì)算方法如下：

(2)

在混淆矩陣中可以將相應(yīng)結(jié)果轉(zhuǎn)化為0～1的比率，用精確率(Precision)和召回率(Recall)2個(gè)指標(biāo)進(jìn)行評(píng)價(jià).

3.2 結(jié)果及分析

實(shí)驗(yàn)所用的電腦搭載了主頻2.21 GHz的Intel酷睿i7-8750H處理器，32 GB容量的內(nèi)存和NVIDA GTX 1070顯卡.深度學(xué)習(xí)框架版本為Tensorflow 2.1.0.將第1次實(shí)驗(yàn)獲取的太赫茲時(shí)域信號(hào)輸入1D-CNN進(jìn)行訓(xùn)練，模型的優(yōu)化器選擇Adam優(yōu)化器，學(xué)習(xí)率設(shè)置為0.000 01，損失函數(shù)選擇分類交叉熵函數(shù).網(wǎng)絡(luò)模型的參數(shù)選擇如表2所示，表2中給出了網(wǎng)絡(luò)模型在訓(xùn)練階段的輸入維度(input dimension)，輸入步長(input step)，批數(shù)量(batch size)和迭代次數(shù)(epoch).

表1 模型評(píng)價(jià)混淆矩陣

表2 網(wǎng)絡(luò)模型訓(xùn)練參數(shù)

網(wǎng)絡(luò)訓(xùn)練完成后分別繪制訓(xùn)練集和驗(yàn)證集準(zhǔn)確率(acc)和損失函數(shù)值(loss)隨epoch變化的圖像，如圖6所示.經(jīng)過多次的試錯(cuò)和參數(shù)調(diào)整，網(wǎng)絡(luò)模型的訓(xùn)練損失和驗(yàn)證損失均低于0.05并達(dá)到了穩(wěn)態(tài).

a.準(zhǔn)確率;b.損失函數(shù)值圖6 訓(xùn)練集和驗(yàn)證集準(zhǔn)確率(acc)和損失函數(shù)值(loss)示意Fig.6 Schematic diagram of accuracy (acc) and loss function value (loss) of training set and verification set

圖7顯示了驗(yàn)證集的驗(yàn)證情況，其中0、1、2、3標(biāo)簽分別代表無缺陷區(qū)域和深度分別為0.22、0.44和0.66 mm的缺陷，對(duì)角線表示的是對(duì)應(yīng)標(biāo)簽下的靈敏度，即在真實(shí)值是正樣本的所有結(jié)果中，模型預(yù)測對(duì)的比重.可以看出網(wǎng)絡(luò)對(duì)驗(yàn)證集中不同類型標(biāo)簽的預(yù)測準(zhǔn)確率均在90%以上，驗(yàn)證了網(wǎng)絡(luò)模型的有效性.

使用第2次實(shí)驗(yàn)重新采集的太赫茲時(shí)域信號(hào)對(duì)網(wǎng)絡(luò)模型進(jìn)行測試.當(dāng)測試數(shù)據(jù)輸入模型后，模型預(yù)測出該輸入信號(hào)屬于無缺陷區(qū)域，或缺陷深度為0.22、0.44、0.66 mm的區(qū)域并進(jìn)行標(biāo)注輸出.將這4種輸出結(jié)果分別用藍(lán)色、青色、綠色和黃色的像素點(diǎn)進(jìn)行標(biāo)注，圖8是通過掃描坐標(biāo)將像素點(diǎn)進(jìn)行排列重建出圖像.采用太赫茲時(shí)域成像方法進(jìn)行成像的結(jié)果圖如圖9所示.通過對(duì)比可以看出網(wǎng)絡(luò)模型基本能夠?qū)崿F(xiàn)不同深度缺陷的智能識(shí)別.在無缺陷區(qū)域存在少量識(shí)別錯(cuò)誤的點(diǎn)，這是由于太赫茲在掃查過程中容易受到環(huán)境的影響，導(dǎo)致部分區(qū)域采集到的信號(hào)噪聲較大，這一點(diǎn)從第1張的成像結(jié)果中也可以看出.因此在網(wǎng)絡(luò)模型進(jìn)行預(yù)測時(shí)，容易將少量區(qū)域的信號(hào)識(shí)別錯(cuò)誤，導(dǎo)致智能識(shí)別結(jié)果圖中出現(xiàn)噪點(diǎn).此外，在0.44和0.66 mm缺陷周圍存在部分識(shí)別成0.22 mm的錯(cuò)誤，這是由于在檢測缺陷邊緣時(shí)太赫茲波反射角度存在偏移，導(dǎo)致太赫茲信號(hào)反射波特征出現(xiàn)偏差，因此在網(wǎng)絡(luò)模型識(shí)別時(shí)出現(xiàn)了錯(cuò)誤，太赫茲時(shí)域成像結(jié)果中缺陷邊緣的顏色相比缺陷中心顏色較淺也可以看出.

圖7 驗(yàn)證集混淆矩陣示意Fig.7 Schematic diagram of verification set confusion matrix

圖8 不同深度缺陷智能識(shí)別結(jié)果示意Fig.8 Schematic diagram of intelligent identification results at different depths

a.飛行時(shí)間23.6 ps;b.飛行時(shí)間26.166 7 ps;c.飛行時(shí)間29.366 7 ps圖9 實(shí)驗(yàn)樣件太赫茲時(shí)域成像結(jié)果Fig.9 Terahertz time domain imaging results of experimental samples

4 結(jié)論

太赫茲波可以在不接觸石英纖維復(fù)合材料的情況下穿透材料，具有亞毫米的分辨率，可以檢測復(fù)合材料中的分層缺陷和損傷.本文分析了不同深度缺陷材料的太赫茲時(shí)域信號(hào)，由于缺陷位置對(duì)太赫茲波的反射，時(shí)域信號(hào)的主脈沖后會(huì)出現(xiàn)表征缺陷的反射脈沖.為了降低信號(hào)中噪聲對(duì)檢測結(jié)果的影響，建立了一維卷積神經(jīng)網(wǎng)絡(luò)模型，利用大量非缺陷區(qū)域和缺陷區(qū)域的太赫茲時(shí)域信號(hào)對(duì)模型進(jìn)行訓(xùn)練.驗(yàn)證結(jié)果表明，不同位置和不同深度的缺陷均能準(zhǔn)確識(shí)別，所有探測點(diǎn)的識(shí)別準(zhǔn)確率在90%以上.利用太赫茲時(shí)域光譜系統(tǒng)對(duì)整個(gè)復(fù)合材料進(jìn)行逐點(diǎn)掃描，將識(shí)別結(jié)果作為像素點(diǎn)進(jìn)行圖像重建，通過與不同缺陷的飛行時(shí)間的太赫茲成像進(jìn)行對(duì)比可以看出，缺陷位置和大小均可準(zhǔn)確標(biāo)注且成像清晰，在個(gè)別非缺陷位置存在小的噪點(diǎn).所以，利用卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別結(jié)果重建圖像可以實(shí)現(xiàn)復(fù)合材料損傷缺陷的可視化智能檢測.

綜上所述，利用太赫茲時(shí)域信號(hào)結(jié)合一維卷積神經(jīng)網(wǎng)絡(luò)模型，可以準(zhǔn)確標(biāo)注出復(fù)合材料的缺陷位置和缺陷大小，完成復(fù)合材料中損傷缺陷的高準(zhǔn)確度和可視化的智能檢測.該方法可以應(yīng)用于其他非極性材料的無損檢測，在損傷探測和無損檢測領(lǐng)域有巨大的應(yīng)用前景.