卷積神經(jīng)網(wǎng)絡(luò)的缺陷類型識(shí)別分析?

高子洋 師芳芳 張碧星 蘇業(yè)旺

(1 中國科學(xué)院大學(xué) 北京 100049)

(2 中國科學(xué)院聲學(xué)研究所 聲場(chǎng)聲信息國家重點(diǎn)實(shí)驗(yàn)室 北京 100190)

(3 中國科學(xué)院力學(xué)研究所 非線性力學(xué)國家重點(diǎn)實(shí)驗(yàn)室 北京 100190)

(4 中國科學(xué)院大學(xué)工程科學(xué)學(xué)院 北京 100049)

0 引言

在超聲檢測(cè)中，如果不能準(zhǔn)確判斷缺陷的性質(zhì)，就會(huì)使某些無危險(xiǎn)或者危險(xiǎn)性很小的產(chǎn)品返修從而導(dǎo)致浪費(fèi)，也會(huì)造成含有危險(xiǎn)性缺陷的產(chǎn)品被忽視，使得其在使用過程中產(chǎn)生安全隱患[1]，因此對(duì)缺陷的類型識(shí)別分析尤為重要，對(duì)保障產(chǎn)品質(zhì)量和安全運(yùn)行意義重大。超聲檢測(cè)中對(duì)缺陷進(jìn)行類型識(shí)別，開始主要依靠人工經(jīng)驗(yàn)，識(shí)別結(jié)果有一定的主觀性。自20世紀(jì)70年代起，研究者開始使用神經(jīng)網(wǎng)絡(luò)對(duì)超聲檢測(cè)數(shù)據(jù)進(jìn)行缺陷分類，這部分研究主要集中在兩個(gè)方面，一方面是采用特征提取加淺層神經(jīng)網(wǎng)絡(luò)的方法對(duì)檢測(cè)數(shù)據(jù)進(jìn)行分類，另一方面是采用深度學(xué)習(xí)方法，輸入數(shù)據(jù)主要是人工提取的特征值，近年逐漸發(fā)展到自動(dòng)提取特征。

在淺層神經(jīng)網(wǎng)絡(luò)方面，Song等[2]提出利用概率神經(jīng)網(wǎng)絡(luò)對(duì)通過超聲散射特征提取的時(shí)域特征進(jìn)行焊接缺陷分類。Masnata等[3]提出了利用Fischer線性判別分析對(duì)缺陷回波信號(hào)提取形狀參數(shù)，使用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)焊縫缺陷的自動(dòng)分類。Margrave等[4]選擇對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行調(diào)整，使用各種類型和配置的神經(jīng)網(wǎng)絡(luò)對(duì)時(shí)域和頻域分別進(jìn)行訓(xùn)練以找到未知缺陷。盧超等[5]利用小波變換對(duì)超聲檢測(cè)回波信號(hào)進(jìn)行分解，并將分解信號(hào)的能量分布特征送入神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練和分類。Liu 等[6]提出利用仿真得到的A 掃超聲無損檢測(cè)信號(hào)提取的特征值和反向傳播(Back propagation, BP)網(wǎng)絡(luò)結(jié)合對(duì)裂紋的大小、類型和位置進(jìn)行判別。Drai 等[7]對(duì)焊接缺陷回波通過時(shí)域、頻域和離散小波提取特征值，使用K近鄰分類(K-nearest neighbor classification, KNN)算法、貝葉斯統(tǒng)計(jì)、人工智能網(wǎng)絡(luò)進(jìn)行分類識(shí)別。Veiga等[8]對(duì)脈沖焊縫使用脈沖回波和超聲衍射時(shí)差(Time of flight diffraction, TOFD)技術(shù)獲得的超聲信號(hào)，通過預(yù)處理以后使用BP 網(wǎng)絡(luò)進(jìn)行缺陷分類。Sambath 等[9]利用小波變換得到缺陷的特征向量，通過BP 網(wǎng)絡(luò)對(duì)這些特征向量進(jìn)行識(shí)別分類。Filho 等[10]提出通過離散傅里葉變換、小波變換和余弦變換對(duì)超聲信號(hào)進(jìn)行特征提取，使用BP網(wǎng)絡(luò)對(duì)復(fù)合材料中的缺陷進(jìn)行訓(xùn)練分類檢測(cè)。Cruz等[11]采用了Filho 等[10]的特征提取方法，并使用了不同的特征選擇手段，采用多層感知(Multilayer perceptron, MLP)機(jī)，使用不同分類器對(duì)焊接缺陷進(jìn)行分類。

在深度學(xué)習(xí)方面，對(duì)卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network, CNN)的研究可追溯到20世紀(jì)80年代，1998年，Lecun 等[12]在前人基礎(chǔ)上提出了LeNet-5，形成了當(dāng)代CNN 的雛形，在識(shí)別手寫數(shù)字上取得了不錯(cuò)的效果。2012年，Krizhevsky等[13]提出的Alexnet 網(wǎng)絡(luò)在Imagenet 圖像識(shí)別大賽中取得了歷史性突破，從此人們意識(shí)到CNN 在圖像識(shí)別領(lǐng)域的優(yōu)勢(shì)。

在超聲檢測(cè)領(lǐng)域也有不少研究者開展了采用深度學(xué)習(xí)方法進(jìn)行缺陷分析的工作。施成龍等[14]使用小波包變換對(duì)A 掃信號(hào)進(jìn)行缺陷特征信息提取，將得到的能量分布特征向量通過深度信念網(wǎng)絡(luò)進(jìn)行分類識(shí)別，準(zhǔn)確率達(dá)到了98.83%。Meng 等[15]提出分層組合小波變換系數(shù)，利用CNN 對(duì)不同特征提取方法分類器進(jìn)行訓(xùn)練，從而實(shí)現(xiàn)對(duì)碳纖維聚合物的缺陷分類，準(zhǔn)確率達(dá)到了98.15%。Khumaidi等[16]提出使用焊接表面缺陷超聲檢測(cè)圖像作為輸入，使用CNN 對(duì)不同類型焊接缺陷進(jìn)行分類，準(zhǔn)確率達(dá)到了95.83%。Munir等[17?18]對(duì)焊接缺陷進(jìn)行超聲檢測(cè)得到的信號(hào)在不同信噪比下使用全連接深度神經(jīng)網(wǎng)絡(luò)、CNN進(jìn)行缺陷分類，發(fā)現(xiàn)CNN效果更好。張重遠(yuǎn)等[19]采用基于相似矩陣的盲源分離方法對(duì)得到的超聲檢測(cè)信號(hào)進(jìn)行預(yù)處理，使用CNN進(jìn)行識(shí)別，準(zhǔn)確率達(dá)到90%。Munir 等[20]將超聲信號(hào)通過自編碼器進(jìn)行去噪后使用CNN進(jìn)行分類。

目前為止，多數(shù)研究者都是在預(yù)處理階段使用統(tǒng)計(jì)或信號(hào)處理方法提取特征來提高識(shí)別準(zhǔn)確率。本文將不對(duì)信號(hào)進(jìn)行特征提取，直接針對(duì)陣列探頭采集的原始超聲信號(hào)，使用一維數(shù)據(jù)(A 掃信號(hào)數(shù)據(jù))和二維圖像(A 掃信號(hào)的波形顯示圖)分別作為輸入，采用不同CNN 結(jié)構(gòu)實(shí)現(xiàn)缺陷的分類識(shí)別，在此基礎(chǔ)上對(duì)網(wǎng)絡(luò)性能進(jìn)行優(yōu)化，實(shí)現(xiàn)識(shí)別準(zhǔn)確率的提升。

1 CNN基本原理和結(jié)構(gòu)

CNN 通過卷積核與輸入數(shù)據(jù)的卷積操作提取特征，然后通過激活函數(shù)和池化來對(duì)特征進(jìn)行處理，經(jīng)過訓(xùn)練之后使網(wǎng)絡(luò)輸出端能夠正確識(shí)別輸入數(shù)據(jù)進(jìn)行分類。訓(xùn)練過程如圖1 所示，輸入特征經(jīng)過網(wǎng)絡(luò)主干部分后分類識(shí)別，如未達(dá)到迭代次數(shù)，跟真實(shí)標(biāo)簽比較通過損失函數(shù)和優(yōu)化函數(shù)來對(duì)參數(shù)進(jìn)行修正，再次進(jìn)入卷積訓(xùn)練過程，當(dāng)達(dá)到迭代次數(shù)以后，停止訓(xùn)練并保存當(dāng)前網(wǎng)絡(luò)的權(quán)重。

圖1 訓(xùn)練過程Fig.1 Training process

1.1 卷積核

CNN 中卷積的特點(diǎn)在于獲得輸入的局部空間特征，依靠的是內(nèi)部包含的多個(gè)卷積核，按照維度的不同可分為一維卷積、二維卷積和多維卷積。一維卷積輸入通常為時(shí)間或頻譜采樣，卷積核在一維空間滑動(dòng)計(jì)算，計(jì)算公式如下：

其中，wk為卷積核權(quán)重，yt為卷積輸出，常用于信號(hào)、序列模型、自然語言處理領(lǐng)域等。二維卷積輸入一般包含多個(gè)通道，通常為圖像，卷積核在二維空間滑動(dòng)計(jì)算，計(jì)算公式如下：

跟一維卷積類似，wuv為卷積核權(quán)重，yij為卷積輸出，常用于計(jì)算機(jī)視覺、圖像處理領(lǐng)域。

1.2 激活函數(shù)

目前對(duì)于CNN 激活函數(shù)的研究中普遍使用ReLU(Rectified Linear Unit)函數(shù)[21]或ReLU 函數(shù)的變種，ReLU函數(shù)定義為

其中，zi,j,k是第k通道在(i,j)位置激活函數(shù)的輸入，優(yōu)點(diǎn)是計(jì)算效率高，可以很快收斂，但是會(huì)導(dǎo)致神經(jīng)元死亡問題，如果學(xué)習(xí)率過大，那么網(wǎng)絡(luò)中可能有很多神經(jīng)元都無法正常更新參數(shù)。在此基礎(chǔ)上衍生出了Leaky ReLU函數(shù)[22]，定義為

其中，λ是(0,1)范圍內(nèi)的預(yù)定義參數(shù)，它與ReLU函數(shù)的區(qū)別是在輸入小于0 時(shí)，會(huì)有一個(gè)很小的常數(shù)λ與輸入相乘，使得信息不會(huì)全部丟失，解決了神經(jīng)元死亡問題。圖2 為ReLU 和Leaky ReLU 函數(shù)示意圖。

圖2 ReLU 與Leaky ReLU 函數(shù)Fig.2 ReLU and Leaky ReLU activation function

1.3 Dropout和Batch Normalization

Dropout 和Batch Normalization 為在訓(xùn)練過程中防止過擬合使用的優(yōu)化手段，Dropout 是在訓(xùn)練的時(shí)候，隨機(jī)使一部分隱藏節(jié)點(diǎn)值為0，即不參與訓(xùn)練，減少隱藏節(jié)點(diǎn)間的相互作用。Batch Normalization[23]為將輸入分布轉(zhuǎn)化為均值為0、標(biāo)準(zhǔn)差為1 的正態(tài)分布，其主要作用為加快網(wǎng)絡(luò)收斂速度，防止過擬合，在最近幾年的深度學(xué)習(xí)模型Faster RCNN、YOLO 系列中，都已經(jīng)使用Batch Normalization來代替Dropout功能。

1.4 數(shù)據(jù)增強(qiáng)

在計(jì)算機(jī)視覺領(lǐng)域，數(shù)據(jù)增強(qiáng)是深度學(xué)習(xí)增加數(shù)據(jù)量的一種非常有效的方式。在這種技術(shù)中，從原有實(shí)例生成相似的類似實(shí)例，人為地增加數(shù)據(jù)庫的大小。本研究中，由于沒有適用的關(guān)于超聲無損檢測(cè)的數(shù)據(jù)庫，實(shí)驗(yàn)中也較難獲得大量的實(shí)測(cè)數(shù)據(jù)，最有效可行的方法是對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)，即對(duì)已有的數(shù)據(jù)進(jìn)行翻轉(zhuǎn)、平移或旋轉(zhuǎn)等操作，創(chuàng)造出更多的數(shù)據(jù)，來使神經(jīng)網(wǎng)絡(luò)具有更好的泛化效果，同時(shí)提升模型的識(shí)別準(zhǔn)確率。

2 CNN缺陷識(shí)別方法

本文采用超聲相控陣系統(tǒng)對(duì)不同的缺陷進(jìn)行檢測(cè)，將得到的缺陷信號(hào)進(jìn)行預(yù)處理，然后利用不同網(wǎng)絡(luò)結(jié)構(gòu)對(duì)缺陷信號(hào)進(jìn)行分析，實(shí)現(xiàn)缺陷類型識(shí)別，調(diào)節(jié)網(wǎng)絡(luò)中參數(shù)來觀測(cè)識(shí)別準(zhǔn)確率的影響。

2.1 實(shí)驗(yàn)系統(tǒng)

獲取數(shù)據(jù)的實(shí)驗(yàn)系統(tǒng)如圖3 所示，包括Verasonics Vantage超聲相控陣系統(tǒng)、計(jì)算機(jī)主機(jī)、探頭及試塊。Verasonics Vantage 超聲相控陣系統(tǒng)含有32 個(gè)獨(dú)立通道，可以同時(shí)激發(fā)與接收所有通道，并能存儲(chǔ)所有通道的原始回波數(shù)據(jù)。探頭使用超聲相控陣探頭，該探頭中心頻率為5 MHz，陣元數(shù)量為32，如圖3(b)所示。

圖3 實(shí)驗(yàn)系統(tǒng)Fig.3 Experimental system

實(shí)驗(yàn)中對(duì)3 種類型試塊進(jìn)行檢測(cè)，如圖4 所示。3 種試塊對(duì)應(yīng)3 類缺陷，分別為：(1)?3 mm 通孔，試塊長300 mm，寬40 mm，高25 mm，通孔直徑為3 mm，埋深為15 mm；(2)?3 mm 平底孔，試塊長100 mm，寬40 mm，高25 mm，平底孔直徑為3 mm，埋深為15 mm；(3)?3 mm 球底孔，試塊長100 mm，寬40 mm，高25 mm，球底孔直徑為3 mm，埋深為15 mm。

圖4 3 種缺陷實(shí)物圖Fig.4 Three kinds of test blocks

2.2 數(shù)據(jù)獲取及處理

使用如圖3 所示的實(shí)驗(yàn)系統(tǒng)獲取檢測(cè)原始數(shù)據(jù)，檢測(cè)過程中相控陣系統(tǒng)的采樣率為20 MHz，采用全聚焦方法依次激發(fā)所有陣元，每次激發(fā)所有陣元接收，即陣元1 發(fā)射，1～32 陣元接收，陣元2 發(fā)射，1～32 陣元接收，以此類推，一次檢測(cè)共可接收1024 個(gè)回波信號(hào)。從每種缺陷回波信號(hào)的1024個(gè)數(shù)據(jù)中各選取100 個(gè)樣本，每個(gè)樣本時(shí)長為2 μs，表1 中列出了每種缺陷的信號(hào)數(shù)量。圖5 展示了3種缺陷的回波信號(hào)，可以觀察到從信號(hào)中很難分辨出它們的缺陷類型。

表1 各缺陷類型信號(hào)樣本數(shù)量Table 1 Number of signal samples of each defect type

圖5 3 種缺陷的回波信號(hào)Fig.5 Echo signals of three defects

在超聲檢測(cè)數(shù)據(jù)集中，由于原始數(shù)據(jù)樣本只有幾百個(gè)，在復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中容易造成過擬合，不易判斷測(cè)試信號(hào)的類別，本文對(duì)數(shù)據(jù)庫進(jìn)行數(shù)據(jù)增強(qiáng)并研究其增強(qiáng)效果。在對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)時(shí)分為兩種方式，第一種[18]是改變?nèi)毕菖c陣元之間的距離，反映到信號(hào)上為改變信號(hào)的到時(shí)，即將數(shù)據(jù)向前和向后各時(shí)移0.05 μs，樣本數(shù)增加兩倍；第二種是改變信號(hào)的幅度，將信號(hào)向上和向下分別平移，樣本數(shù)增加兩倍，如圖6 所示。針對(duì)二維數(shù)據(jù)，采取這兩種方式，此時(shí)數(shù)據(jù)樣本數(shù)變?yōu)樵瓉淼? 倍。針對(duì)一維數(shù)據(jù)，只采取第二種措施，此時(shí)數(shù)據(jù)樣本數(shù)變?yōu)樵瓉淼?倍。擴(kuò)增的樣本數(shù)量如表2所示。

表2 數(shù)據(jù)擴(kuò)增的數(shù)量Table 2 The number of data augmentation

圖6 數(shù)據(jù)增強(qiáng)示意圖Fig.6 Data augmentation schematic

在訓(xùn)練網(wǎng)絡(luò)時(shí)，為了驗(yàn)證網(wǎng)絡(luò)性能是否達(dá)到滿意的效果，通常會(huì)對(duì)數(shù)據(jù)集進(jìn)行劃分，選取一部分?jǐn)?shù)據(jù)集不進(jìn)行訓(xùn)練而用來驗(yàn)證網(wǎng)絡(luò)效果。在本文中選擇總數(shù)據(jù)集的90%用于訓(xùn)練，10%用于測(cè)試。表3顯示了數(shù)據(jù)增強(qiáng)后不同維度用于訓(xùn)練和測(cè)試數(shù)據(jù)集的每個(gè)缺陷的總樣本數(shù)量。

表3 訓(xùn)練集和測(cè)試集Table 3 Training and testing datasets

本文中用于訓(xùn)練和測(cè)試的數(shù)據(jù)分為兩種類型，一類是一維缺陷回波數(shù)據(jù)，用一維卷積模型進(jìn)行訓(xùn)練；另一類是缺陷回波的二維顯示圖形，用二維卷積模型進(jìn)行訓(xùn)練。為了加快收斂速度，在將數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)之前，對(duì)數(shù)據(jù)進(jìn)行歸一化處理。在對(duì)A顯波形的圖片進(jìn)行預(yù)處理時(shí)，因?yàn)橹恍枰獙W(xué)習(xí)其信號(hào)特征，在讀取時(shí)以單通道進(jìn)行讀取來減少計(jì)算量。

2.3 環(huán)境配置及結(jié)構(gòu)

本研究采用的CNN 是基于Tensorflow2.0 版本中的Keras 框架實(shí)現(xiàn)的，CPU 型號(hào)為I7-8750H，GPU型號(hào)為1050TI，內(nèi)存為16 G。

采用的網(wǎng)絡(luò)結(jié)構(gòu)有3 種， 分別是LeNet-5、VGG16 和ResNet。LeNet5 結(jié)構(gòu)最為簡單，含有2個(gè)卷積層、2 個(gè)池化層、3 個(gè)全連接層；VGG16 結(jié)構(gòu)較為復(fù)雜，含有13 個(gè)卷積層、5 個(gè)池化層、3 個(gè)全連接層；殘差網(wǎng)絡(luò)ResNet 含有殘差結(jié)構(gòu)，結(jié)構(gòu)最為復(fù)雜，含有5 個(gè)殘差模塊和2 個(gè)全連接層，其中2 個(gè)殘差模塊分別包含4 個(gè)卷積層、1 個(gè)池化層，另3 個(gè)殘差模塊分別包含5 個(gè)卷積層、1 個(gè)池化層。一維卷積和二維卷積使用的網(wǎng)絡(luò)結(jié)構(gòu)完全一樣。表4 展示了不同網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)對(duì)比。

表4 不同網(wǎng)絡(luò)參數(shù)對(duì)比Table 4 Parameters between different networks

3 實(shí)驗(yàn)結(jié)果分析

本文將根據(jù)CNN 理論從以下5 個(gè)方面對(duì)識(shí)別準(zhǔn)確率及效率的影響來進(jìn)行對(duì)比分析，分別是一維卷積和二維卷積模型、數(shù)據(jù)增強(qiáng)、迭代次數(shù)、Dropout和Batch Normalization優(yōu)化、ReLU和Leaky ReLU激活函數(shù)。

3.1 一維卷積和二維卷積對(duì)識(shí)別準(zhǔn)確率的影響

采用不同的網(wǎng)絡(luò)結(jié)構(gòu)模型，分別使用一維卷積和二維卷積進(jìn)行訓(xùn)練，迭代次數(shù)為100次，數(shù)據(jù)集使用擴(kuò)充后的數(shù)據(jù)集。識(shí)別準(zhǔn)確率及訓(xùn)練時(shí)長如表5所示。LeNet5、VGG16、ResNet 在一維卷積模型中的識(shí)別準(zhǔn)確率分別為95.56%、98.89%和97.78%，訓(xùn)練時(shí)間分別為10.47 s、49.37 s、50.28 s。在二維卷積模型中的識(shí)別準(zhǔn)確率分別為99.33%、100%、100%，訓(xùn)練時(shí)間分別為263.8 s、494.1 s、521.5 s?？梢钥吹蕉S卷積模型的識(shí)別率比一維卷積模型有了明顯的提升，但是在訓(xùn)練時(shí)間上大大增加，為一維卷積模型的10倍以上，這是由于二維卷積比一維卷積在參數(shù)量上有了幾十倍的增加，可以更好地?cái)M合函數(shù)，但是也會(huì)增加訓(xùn)練時(shí)間。

從表5 可以看出，在本文數(shù)據(jù)集樣本數(shù)目有限的情況下，VGG16 和ResNet 網(wǎng)絡(luò)在二維卷積識(shí)別準(zhǔn)確度可達(dá)到100%，無需進(jìn)行優(yōu)化，因此下文中的優(yōu)化針對(duì)LeNet5結(jié)構(gòu)進(jìn)行。

表5 一維卷積和二維卷積模型對(duì)識(shí)別準(zhǔn)確率的影響Table 5 The influence of one-dimensional convolution and two-dimensional convolution models on identification accuracy

3.2 數(shù)據(jù)增強(qiáng)對(duì)識(shí)別準(zhǔn)確率的影響

表6展示了不同網(wǎng)絡(luò)結(jié)構(gòu)在原始數(shù)據(jù)集和數(shù)據(jù)增強(qiáng)后總數(shù)據(jù)集下的表現(xiàn)差異，迭代次數(shù)為100 次。LeNet5、VGG16、ResNet 在原始數(shù)據(jù)集上一維卷積模型識(shí)別準(zhǔn)確率分別為90%、93.33%、90%，二維卷積模型識(shí)別準(zhǔn)確率分別為96.67%、100%、96.67%，對(duì)比在增強(qiáng)后數(shù)據(jù)集上各網(wǎng)絡(luò)的表現(xiàn)，可以看到數(shù)據(jù)增強(qiáng)后各網(wǎng)絡(luò)結(jié)構(gòu)的識(shí)別準(zhǔn)確率均有明顯的提升。

表6 數(shù)據(jù)增強(qiáng)對(duì)識(shí)別準(zhǔn)確率的影響Table 6 The influence of data augmentation on identification accuracy(單位: %)

3.3 迭代次數(shù)對(duì)識(shí)別準(zhǔn)確率的影響

每一次迭代都要對(duì)參數(shù)進(jìn)行修正，迭代次數(shù)代表著對(duì)數(shù)據(jù)的擬合程度，迭代次數(shù)越多說明對(duì)數(shù)據(jù)擬合得越好，但是迭代次數(shù)過多又會(huì)造成過擬合。針對(duì)原始數(shù)據(jù)集，使用不同網(wǎng)絡(luò)結(jié)構(gòu)在一維卷積上迭代不同輪次，對(duì)比識(shí)別準(zhǔn)確率。從表7 可以看出，LeNet5 在訓(xùn)練100、200、300 輪次時(shí)的準(zhǔn)確率分別為90%、93.33%、96.67%，準(zhǔn)確率一直上升，說明網(wǎng)絡(luò)還沒有完全擬合，隨著迭代次數(shù)的增加網(wǎng)絡(luò)識(shí)別準(zhǔn)確率更高。VGG16 在訓(xùn)練100、200、300 輪次時(shí)的準(zhǔn)確率分別為93.33%、96.67%、90%，ResNet在訓(xùn)練100、200、300 輪次時(shí)的準(zhǔn)確率分別為90%、93.33%、86.67%，這兩個(gè)網(wǎng)絡(luò)在訓(xùn)練300 輪次的時(shí)候準(zhǔn)確率都出現(xiàn)了降低，說明這個(gè)時(shí)候網(wǎng)絡(luò)已經(jīng)過擬合。由此可見，在網(wǎng)絡(luò)訓(xùn)練的時(shí)候迭代次數(shù)并不是越多越好，特別是復(fù)雜網(wǎng)絡(luò)，選擇合適的迭代次數(shù)很重要。

表7 迭代次數(shù)對(duì)識(shí)別準(zhǔn)確率的影響Table 7 The influence of iteration number on identification accuracy(單位: %)

3.4 Dropout 和Batch Normalization 對(duì)識(shí)別準(zhǔn)確率的影響

不同的優(yōu)化方法(Dropout 和Batch Normalization)對(duì)識(shí)別準(zhǔn)確率及訓(xùn)練時(shí)間的影響如表8 所示。使用LeNet5 結(jié)構(gòu)在擴(kuò)充后的數(shù)據(jù)集上進(jìn)行訓(xùn)練，結(jié)果表明當(dāng)使用Dropout 時(shí)準(zhǔn)確率為97.78%，訓(xùn)練時(shí)間為11.4 s，使用Batch Normalization 時(shí)準(zhǔn)確率為100%，訓(xùn)練時(shí)間為13.67 s，兩者都不使用時(shí)準(zhǔn)確率僅為95.56%，訓(xùn)練時(shí)間為10.47 s。圖7 展示了3 種模式在訓(xùn)練過程中驗(yàn)證集準(zhǔn)確率和損失函數(shù)隨著迭代次數(shù)的變化，可以看出Batch Normalization 在訓(xùn)練過程中驗(yàn)證集準(zhǔn)確率增長速度最快，損失值最低，說明收斂速度更快。綜合來看，使用Dropout 或Batch Normalization 雖然在訓(xùn)練時(shí)間上都有了一定的增加，但是準(zhǔn)確率也有一定的提升，Batch Normalization表現(xiàn)尤為突出。

圖7 網(wǎng)絡(luò)訓(xùn)練曲線Fig.7 Training curve of network

表8 Dropout 和Batch Normalization 對(duì)識(shí)別準(zhǔn)確率的影響Table 8 The influence of Dropout and Batch Normalization on identification accuracy

3.5 激活函數(shù)對(duì)識(shí)別準(zhǔn)確率的影響

表9 展示了不同激活函數(shù)ReLU 和Leaky ReLU 對(duì)識(shí)別準(zhǔn)確率的影響。使用LeNet5 結(jié)構(gòu)在擴(kuò)充后數(shù)據(jù)集上進(jìn)行訓(xùn)練，Leaky ReLU中的λ取值為0.1。結(jié)果表明當(dāng)使用ReLU 激活函數(shù)時(shí)準(zhǔn)確率為95.56%，使用Leaky ReLU 激活函數(shù)時(shí)準(zhǔn)確率為98.89%，可以看出Leaky ReLU 的效果更好。這是因?yàn)長eaky ReLU 激活函數(shù)保留了更多的信息，使識(shí)別準(zhǔn)確率得到提升。

表9 ReLU 和Leaky ReLU 對(duì)識(shí)別準(zhǔn)確率的影響Table 9 The influence of ReLU and Leaky ReLU on identification accuracy

4 結(jié)論

本研究采用CNN 對(duì)超聲檢測(cè)回波信號(hào)進(jìn)行缺陷識(shí)別，目標(biāo)是尋找一種不依賴于特征提取技術(shù)的網(wǎng)絡(luò)結(jié)構(gòu)，它要有良好的魯棒性，并具有很高的識(shí)別準(zhǔn)確率。研究得出以下結(jié)論：

(1)合適的網(wǎng)絡(luò)結(jié)構(gòu)很重要。在實(shí)驗(yàn)對(duì)比中，發(fā)現(xiàn)VGG16 網(wǎng)絡(luò)的性能要優(yōu)于LeNet5 和ResNet。LeNet5 模型相對(duì)簡單，不能更好地?cái)M合數(shù)據(jù)，而ResNet 具有殘差結(jié)構(gòu)，在復(fù)雜度方面高于VGG16，導(dǎo)致在訓(xùn)練過程中更容易過擬合。

(2)使用相同的CNN 結(jié)構(gòu)訓(xùn)練時(shí)，二維圖像比一維數(shù)據(jù)的識(shí)別準(zhǔn)確率高。當(dāng)使用相同的CNN 結(jié)構(gòu)訓(xùn)練時(shí)，二維卷積的參數(shù)數(shù)量比一維卷積多了幾十倍，可以更好地?cái)M合函數(shù)。

(3)當(dāng)數(shù)據(jù)量少的時(shí)候使用數(shù)據(jù)增強(qiáng)能夠提高識(shí)別準(zhǔn)確率。由于目前沒有公開的超聲缺陷檢測(cè)回波信號(hào)數(shù)據(jù)集，想要大規(guī)模的獲取也很困難，數(shù)據(jù)增強(qiáng)就可以部分解決這個(gè)問題。

(4)不同的優(yōu)化手段有利于提高識(shí)別準(zhǔn)確率?？梢栽诰W(wǎng)絡(luò)中將激活函數(shù)改為Leaky ReLU，添加Batch Normalization 層等來減少過擬合，提高網(wǎng)絡(luò)的泛化能力。

分析實(shí)驗(yàn)證明，只要選取合適的CNN 模型，不需要進(jìn)行特征提取就可以得到非常高的準(zhǔn)確率，這正是因?yàn)镃NN獨(dú)特的結(jié)構(gòu)和優(yōu)秀的性能。