基于卷積神經(jīng)網(wǎng)絡(luò)的樁完整性分類

劉偉平，田思文

(南昌大學(xué)建筑工程學(xué)院，江西 南昌 330031)

樁基礎(chǔ)是一種廣泛使用的深基礎(chǔ)形式，經(jīng)常應(yīng)用于高層建筑、橋梁和港口等重要結(jié)構(gòu)中。其施工質(zhì)量和完整性對保證建筑工程整體質(zhì)量和安全具有十分重要的作用。由于灌注樁通常是地下成樁方式，存在施工難度大、工藝復(fù)雜和隱蔽性強(qiáng)等特點(diǎn)，在施工過程中很容易產(chǎn)生孔洞、裂縫、夾層、縮頸等缺陷，進(jìn)而破壞樁身的完整性[1]。所以，采用合理可靠方法對樁身完整性進(jìn)行檢測是保證建筑安全的必要條件。

低應(yīng)變應(yīng)力波反射法是工程上常用的基樁完整性檢測方法，具有檢測快速、經(jīng)濟(jì)、無損等特點(diǎn)。使用這一方法時(shí)，利用力棒或手錘敲擊樁頂，激發(fā)一維應(yīng)力波沿樁身向下傳播，應(yīng)力波在傳播過程中遇到諸如樁截面縮頸、離析、斷樁等缺陷時(shí)發(fā)生反射(表現(xiàn)為波阻抗的改變)，通過安裝在基樁頂部的傳感器(速度型和加速度型)接受反射信號。通過綜合分析反射波時(shí)程曲線，對樁身的完整性進(jìn)行判斷。目前，根據(jù)反射波信號檢測樁身完整性常用[1]方法主要有兩種：一是人工檢測方法；二是基于機(jī)器學(xué)習(xí)的模式識(shí)別方法。使用第1種方法時(shí)，需要檢測人員應(yīng)用實(shí)際檢測經(jīng)驗(yàn)進(jìn)行判斷，檢測精度受到多種人為因素(如經(jīng)驗(yàn)、注意力和熟練程度)的影響，存在成本高、效率低、主觀性強(qiáng)的問題[2-3]。使用第2種方法時(shí)，對應(yīng)人工神經(jīng)網(wǎng)絡(luò)既有極強(qiáng)的大規(guī)模處理能力，又有非線性映射能力、良好的自適應(yīng)性、強(qiáng)大的訓(xùn)練和容錯(cuò)功能[4]，可以通過分析信號參數(shù)信息、提取相關(guān)特征來進(jìn)行完整性分類判斷。

鄢泰寧等[5]利用對應(yīng)于某一缺陷的已知頻譜響應(yīng)來訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)、進(jìn)而指出存在于樁基的缺陷，表明神經(jīng)網(wǎng)絡(luò)在基樁檢測方面具有良好的應(yīng)用前景。此外，通過結(jié)合小波分析與神經(jīng)網(wǎng)絡(luò)技術(shù)對樁身缺陷信息學(xué)習(xí)，可以預(yù)測基樁完整性程度[6]。王成華等通過限制連接權(quán)重范圍、改進(jìn)激勵(lì)函數(shù)、采用二階學(xué)習(xí)算法，將樁身應(yīng)力波曲線、幾何尺寸和混凝體波速等作為網(wǎng)絡(luò)輸入信息來提高網(wǎng)絡(luò)的可行性和計(jì)算速度[7]。TAM等[8]采用概率神經(jīng)網(wǎng)絡(luò)、結(jié)合遺傳算法，調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)、使用隨機(jī)種子來避免過擬合，分析所建模型的分類行為。由于BP神經(jīng)網(wǎng)絡(luò)初始權(quán)重和閾值由網(wǎng)絡(luò)系統(tǒng)隨機(jī)產(chǎn)生，會(huì)干擾預(yù)測結(jié)果，包龍生等[9]將遺傳算法得到的相關(guān)參數(shù)代入網(wǎng)絡(luò)，提高算法效率。以上人工神經(jīng)網(wǎng)絡(luò)在基樁檢測中進(jìn)行了很好的嘗試，但基于模式識(shí)別的機(jī)器學(xué)習(xí)方法檢測過程相當(dāng)復(fù)雜，檢測精度雖比人工檢測有一定程度的提高、但仍略顯不足。

近年來，深度學(xué)習(xí)發(fā)展迅猛，在語音識(shí)別、目標(biāo)檢測、圖像分類自然語言處理等領(lǐng)域獲得了大量成功的應(yīng)用[10-11]，成為解決各種分類識(shí)別問題強(qiáng)有力的方法。深度學(xué)習(xí)最早由Hinton[12]提出，利用多個(gè)隱含層從大規(guī)模數(shù)據(jù)中逐層、逐級學(xué)習(xí)到更有用的深層判別特征[12-14]。其中，卷積神經(jīng)網(wǎng)絡(luò)(CNN)[15]是一種重要的深度學(xué)習(xí)結(jié)構(gòu)，其靈感來源于生物的視覺中樞系統(tǒng)，主要用于圖像分類。CNN在圖像分類識(shí)別中取得了許多顯著的研究成果，逐漸成為識(shí)別和檢測任務(wù)的主導(dǎo)方法[16-17]。CNN是一種多層有監(jiān)督學(xué)習(xí)、可以從數(shù)據(jù)集中自動(dòng)學(xué)習(xí)特征，由一個(gè)輸入層、一個(gè)輸出層和多個(gè)隱含層組成，隱含層通常包含卷積層、池化層和全連接層，分別用于特征提取、特征壓縮和分類。目前，圖像分類效果非常好的卷積神經(jīng)網(wǎng)絡(luò)模型有很多，如AlexNet[18]、VGG[15]、GoogLeNet[19]、ResNet[20]等經(jīng)典網(wǎng)絡(luò)在ILSVRC競賽中取得了巨大成功，展現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)的巨大潛力。

然而，現(xiàn)在還未將卷積神經(jīng)網(wǎng)絡(luò)用于樁身完整性分類。本文將深度學(xué)習(xí)引入基樁檢測領(lǐng)域，使用卷積神經(jīng)網(wǎng)絡(luò)算法構(gòu)建的模型進(jìn)行樁身完整性分類。

1 基于CNN的樁身完整性分類

1.1 構(gòu)建數(shù)據(jù)集

樁身的完整性主要分為4類，分別為Ⅰ類：完整樁；Ⅱ類：輕度缺陷樁；Ⅲ類：較重缺陷樁；Ⅳ類：嚴(yán)重缺陷樁或斷樁。本文采用低應(yīng)變應(yīng)力波反射法采集得到曲線圖像，并由此構(gòu)建數(shù)據(jù)集。所采集的圖像共3 200張，完整樁、輕度缺陷樁、較重缺陷樁和嚴(yán)重缺陷或斷樁4種類型圖像各800張。

為了提高網(wǎng)絡(luò)的魯棒性和識(shí)別率，避免計(jì)算量大、學(xué)習(xí)效率低下等問題，在圖像輸入CNN模型之前，先對圖像進(jìn)行預(yù)處理。由于CNN需要大量的數(shù)據(jù)集進(jìn)行特征學(xué)習(xí)，因此，本文使用數(shù)據(jù)增強(qiáng)技術(shù)生成新的圖像，主要使用上下翻轉(zhuǎn)、左右翻轉(zhuǎn)、添加噪點(diǎn)和改變亮度等方式。初始采集到的圖像700×1 200像素，考慮到計(jì)算機(jī)可承受的數(shù)據(jù)量和計(jì)算速度[21]，采用photoshop軟件將圖像數(shù)據(jù)壓縮為統(tǒng)一的64×64像素，圖片格式為jpg，如圖1所示。

增強(qiáng)后的數(shù)據(jù)集包含4類圖像、共計(jì)9 600張，每種類型的圖像為2 400張，把整個(gè)圖像數(shù)據(jù)集按照4:1的比例劃分為訓(xùn)練集和驗(yàn)證集。為了充分利用數(shù)據(jù)集，在模型訓(xùn)練過程中，驗(yàn)證集和測試集全部使用驗(yàn)證集的數(shù)據(jù)。由于該方法是有監(jiān)督學(xué)習(xí)，因此，需要對數(shù)據(jù)集進(jìn)行相應(yīng)的標(biāo)注。在PyCharm編程平臺(tái)下，首先將整個(gè)數(shù)據(jù)集在一個(gè)公共數(shù)據(jù)目錄中劃分成兩個(gè)目錄：Train和Validate；然后Train和Validate兩個(gè)目錄分別由4個(gè)目錄組成，分別是Ⅰ類：完整樁；Ⅱ類：輕度缺陷樁；Ⅲ類：較重缺陷樁和Ⅳ類：嚴(yán)重缺陷樁或斷樁。圖像分別存儲(chǔ)在相關(guān)文件目錄下。卷積神經(jīng)網(wǎng)絡(luò)模型對Train目錄中的圖像進(jìn)行訓(xùn)練，對Validate目錄中的圖像進(jìn)行驗(yàn)證。

1.2 CNN架構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)主要由卷積層、池化層和全連接層組成[22]。卷積層由一定數(shù)量的卷積核組成，使用一組卷積核對前一層的輸出執(zhí)行卷積運(yùn)算、以提取對分類重要的特征。池化層對卷積層輸出特征圖進(jìn)行壓縮；Softmax函數(shù)作為輸出層實(shí)現(xiàn)樁身完整性的識(shí)別結(jié)果并進(jìn)行分類。本文所使用的網(wǎng)絡(luò)結(jié)構(gòu)由3個(gè)卷積層組成，分別有32、64和128個(gè)卷積核，卷積層的輸出經(jīng)過激活函數(shù)的非線性映射，然后每個(gè)卷積層后接一個(gè)最大池化層。在第3個(gè)卷積層之后，二維平面圖被展平為一維向量，之后是兩個(gè)全連接層和輸出層。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的示意圖和相關(guān)參數(shù)如圖2和圖3所示。

1.2.1 卷積層

卷積層是卷積神經(jīng)網(wǎng)絡(luò)的主要組成部分，具有局部連接和參數(shù)共享的特點(diǎn)。局部連接與全連接方式相比，模型的參數(shù)數(shù)量大大降低；參數(shù)共享使網(wǎng)絡(luò)獲得了良好的平移不變性。卷積層包括一組卷積核，這些卷積核與給定輸入進(jìn)行卷積生成輸出特征圖。卷積核包括權(quán)重矩陣W和偏置項(xiàng)b。在CNN訓(xùn)練期間，通過學(xué)習(xí)得到每個(gè)卷積核的權(quán)重和偏置。卷積層在卷積核和該層輸入之間執(zhí)行卷積操作(本文網(wǎng)絡(luò)模型全部使用3×3卷積核、卷積步長設(shè)置為1)。卷積運(yùn)算是線性濾波，濾波器沿輸入特征圖的寬度和高度滑動(dòng)；對于圖像中的每個(gè)像素，計(jì)算以該像素為中心的局部窗口內(nèi)像素和卷積核的內(nèi)積，將其作為該像素的新值、遍歷圖像中的每個(gè)像素。

卷積神經(jīng)網(wǎng)絡(luò)中卷積層和全連接層之后是非線性激活函數(shù)，它允許神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)非線性映射，能有效緩解網(wǎng)絡(luò)中的梯度消失問題。常用的激活函數(shù)是可微分的，以實(shí)現(xiàn)誤差反向傳播。為了提高網(wǎng)絡(luò)性能和訓(xùn)練速度，本文網(wǎng)絡(luò)模型將ReLU激活函數(shù)[23]安排在卷積層和全連接層之后，最后的輸出層使用Softmax激活函數(shù)。

1.2.2 池化層

在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層是一堆特征圖，每個(gè)卷積核有一個(gè)特征圖。卷積核的數(shù)量增多會(huì)增加卷積的維數(shù)。卷積核的維度越高，說明參數(shù)越多。池化層是對卷積層的輸出數(shù)據(jù)進(jìn)行采樣，能夠?qū)μ卣鲌D進(jìn)行降維，而保持深度維度不變，減少了網(wǎng)絡(luò)中的參數(shù)數(shù)量和計(jì)算量，提高了模型的泛化能力，控制過擬合現(xiàn)象。最常使用的池化操作有平均池化和最大池化兩種，最大池化指選取局部窗口數(shù)據(jù)的最大值，平均池化指選取局部窗口數(shù)據(jù)內(nèi)的平均值。本文CNN模型均采用最大池化的操作方法，選用步長為2，尺寸大小為2×2，像素不進(jìn)行填充，圖像經(jīng)過最大池化操作后減小為原來的一半。

1.2.3 全連接層

全連接層放置在架構(gòu)的末端，它的每個(gè)神經(jīng)元密集地連接到兩個(gè)相鄰層中的所有神經(jīng)元，這類似于傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)。它(全連接層)是一種多層感知器、起到分類的作用，最后連接輸出層(Softmax分類器)。Softmax是Sigmoid類激活函數(shù)的擴(kuò)展，計(jì)算輸入樣本被分到每一類別的概率。

1.2.4 Dropout層

神經(jīng)網(wǎng)絡(luò)訓(xùn)練期間的主要缺點(diǎn)之一是過擬合，正則化的常用方法之一是隨機(jī)失活(Dropout層)技術(shù)[24]。在過擬合情況下，模型被特別調(diào)整得適應(yīng)于訓(xùn)練數(shù)據(jù)集、不能用于泛化。因此，雖然過擬合的網(wǎng)絡(luò)模型在訓(xùn)練集上表現(xiàn)良好，但是缺乏泛化能力、在驗(yàn)證集和測試集上將會(huì)表現(xiàn)較差。Dropout層可以避免將所有神經(jīng)元放在一個(gè)層來同步優(yōu)化權(quán)重，這種對神經(jīng)元的隨機(jī)分組可以防止所有神經(jīng)元收斂到相同目標(biāo)、從而降低了權(quán)重的相關(guān)性。Dropout層還會(huì)讓隱含層神經(jīng)元的激活變得很稀疏，減弱了不同特征的協(xié)同效應(yīng)、提高了網(wǎng)絡(luò)的魯棒性。本網(wǎng)絡(luò)模型在全連接層后面加入Dropout層。Dropout層參數(shù)(丟棄概率值)設(shè)置為0.5，表示50%的概率設(shè)置神經(jīng)元的輸出值為零。

1.2.5 模型訓(xùn)練與測試

卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程屬于監(jiān)督學(xué)習(xí)，學(xué)習(xí)過程包括前向傳播和后向傳播兩個(gè)步驟。在卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過程中，選擇隨機(jī)梯度下降算法對訓(xùn)練集中的輸入和輸出執(zhí)行參數(shù)更新。損失函數(shù)采用交叉熵代價(jià)函數(shù)，其表達(dá)式為：

(1)

式中：C為損失；m為樣本總數(shù)；y為真實(shí)值；a表示網(wǎng)絡(luò)的輸出值；x為輸入樣本個(gè)數(shù)。

為了控制模型的學(xué)習(xí)容量、減弱過擬合的風(fēng)險(xiǎn)，本文采用L2正則化(即權(quán)重衰減)，通過直接懲罰目標(biāo)中所有權(quán)值參數(shù)的平方和來實(shí)現(xiàn)。通過正則化使權(quán)重的絕對值變小，這樣輸入的每個(gè)屬性通過與權(quán)重相乘，都能對分類產(chǎn)生影響。添加懲罰項(xiàng)后的總損失函數(shù)表示如下：

(2)

其中，正常數(shù)λ是正則化系數(shù)。λ越大，正則化強(qiáng)度越大，使得模型訓(xùn)練得出的模型權(quán)重值較小實(shí)現(xiàn)權(quán)重衰減。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 評價(jià)標(biāo)準(zhǔn)

本文主要對基樁完整性進(jìn)行分類，模型測試階段通過以下幾個(gè)指標(biāo)進(jìn)行評估和分類：精度(Precision)、召回率(Recall)、F1-score和混淆矩陣綜合評價(jià)模型性能。

(3)

(4)

(5)

式中:TP表示Ⅰ類樁被正確分為Ⅰ類樁的樣本數(shù)量；FP表示不屬于Ⅰ類樁被錯(cuò)誤分為Ⅰ類樁的樣本個(gè)數(shù)；FN表示屬于Ⅰ類樁，但被錯(cuò)誤地分為其類別樣本個(gè)數(shù)。

2.2 結(jié)果分析

本研究基于Windows10 X64操作系統(tǒng)，計(jì)算機(jī)的CPU為Intel(R)Core(TM)i9-9900K CPU @3.60GHz，32 GB運(yùn)行內(nèi)存，算法使用Python語言編程環(huán)境，基于深度學(xué)習(xí)框架Keras完成實(shí)驗(yàn)。

模型的超參數(shù)包括訓(xùn)練次數(shù)(100)、學(xué)習(xí)率(0.001)，訓(xùn)練批量大小(32)。在訓(xùn)練過程中，模型的初始權(quán)重參數(shù)用均值為0、標(biāo)準(zhǔn)差為0.01的高斯分布生成。

在對卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練過程中，將訓(xùn)練(Training)和驗(yàn)證(Validation)過程中的數(shù)據(jù)參數(shù)保存并可視化，得到準(zhǔn)確率(Accuracy)和損失率(Loss)的變化趨勢(圖4和圖5)。由圖4可以看出,訓(xùn)練集的準(zhǔn)確率在前20次迭代時(shí),識(shí)別準(zhǔn)確率上升較快；經(jīng)過150次迭代后逐漸趨于一個(gè)穩(wěn)定狀態(tài)；識(shí)別準(zhǔn)確率可以達(dá)到98%。驗(yàn)證集的變化趨勢和訓(xùn)練集變化趨勢基本一致，數(shù)值快速收斂后、在第50次迭代后基本趨于穩(wěn)定狀態(tài)，識(shí)別準(zhǔn)確率達(dá)到97.8%。圖5為模型訓(xùn)練和測試過程中的損失值。比較訓(xùn)練集和驗(yàn)證集的損失變化趨勢可以看出，模型在訓(xùn)練和測試過程中損失值呈下降趨勢；訓(xùn)練過程前20迭代以較快的速率下降，隨后100次迭代的下降速度開始放緩并趨于一個(gè)平穩(wěn)收斂的過程；驗(yàn)證過程的損失值在經(jīng)歷快速收斂后呈現(xiàn)小范圍震蕩，第125次迭代后在一個(gè)較小范圍震蕩且仍有下降趨勢，最后達(dá)到較為平緩的穩(wěn)定狀態(tài)。對比圖4和圖5的準(zhǔn)確率和損失值可知，網(wǎng)絡(luò)整體收斂較好，未出現(xiàn)過擬合情況，收斂速度較快。當(dāng)?shù)?00次后，模型訓(xùn)練階段結(jié)束，保存模型參數(shù)，對模型進(jìn)行性能測試。

Epoch

Epoch

為了驗(yàn)證所提出的CNN模型的性能，由它生成的混淆矩陣如圖6所示。在混淆矩陣中，x軸表示預(yù)測標(biāo)簽，y軸表示真實(shí)標(biāo)簽。由于有4類圖像，因此生成了4×4大小的混淆矩陣，矩陣中每個(gè)數(shù)字表示這個(gè)數(shù)字橫坐標(biāo)對應(yīng)的真實(shí)基樁類別被預(yù)測為縱坐標(biāo)對應(yīng)基樁類別的概率。Ⅰ類、Ⅱ類和Ⅲ類的分類準(zhǔn)確率大于95%，Ⅳ類樁達(dá)到了100%，可以看出本文所測試的模型具有良好的魯棒能力和泛化性能。此外，為了判斷所提出方法的效率，計(jì)算了準(zhǔn)確率(Accuracy)、精度(Precision)、召回率(Recall)和F1評分(F1-score)如表1所示。模型訓(xùn)練階段的通過測試可以看出，模型性能優(yōu)越、穩(wěn)定，平均準(zhǔn)確率達(dá)到了平均96.51%，能夠完成對基樁完整性的分類識(shí)別工作。本文所建立的卷積神經(jīng)網(wǎng)絡(luò)模型與其他文獻(xiàn)[7,25,26,27]的方法比較，結(jié)果表明，卷積神經(jīng)網(wǎng)絡(luò)在基樁完整性的分類效果均有一定程度提升。

圖6 樁身完整性分類準(zhǔn)確率的混淆矩陣

表1 模型測試結(jié)果

3 結(jié)論

1) 本文提出將深度學(xué)習(xí)理論應(yīng)用到基樁完整性分類檢測領(lǐng)域，利用深度學(xué)習(xí)技術(shù)在檢測分類方面的優(yōu)越性能，提高基樁完整性分類的識(shí)別率。

2) 卷積神經(jīng)網(wǎng)絡(luò)理論可以解決用傳統(tǒng)手段難以辨析基樁完整性分類的工程技術(shù)問題，可以與基樁低應(yīng)變檢測儀配合使用。

3) 針對人工提取特征存在的操作復(fù)雜、成本高和主觀性強(qiáng)等缺陷，本文基于卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建了層數(shù)較少、復(fù)雜度低的網(wǎng)絡(luò)模型框架，在測試集上平均準(zhǔn)確率可達(dá)96.51%，可以滿足預(yù)測精度要求。

4) 本文訓(xùn)練樣本和驗(yàn)證樣本有限，還能進(jìn)一步試驗(yàn)，訓(xùn)練優(yōu)化改進(jìn)網(wǎng)絡(luò)和增強(qiáng)網(wǎng)絡(luò)的魯棒性。如何基于基樁低應(yīng)變反射波圖像通過神經(jīng)網(wǎng)絡(luò)確定樁身缺陷位置也是需要進(jìn)一步研究的內(nèi)容。