基于深度學習和不可分小波的裂紋檢測方法

周圓昊 王震 郝昱權(quán) 劉斌

摘要：基礎(chǔ)建設(shè)逐漸老舊、破敗，產(chǎn)生了許多問題，裂紋是其中之一。在現(xiàn)有的裂紋檢測方法上，如人眼檢測和基于深度學習的裂紋檢測，該文提出了一種將不可分小波與卷積神經(jīng)網(wǎng)絡相結(jié)合的新方法。首先構(gòu)造二通道不可分小波濾波器組對數(shù)據(jù)集的圖像進行低頻提取，然后利用不可分加性小波的分解原理，得到高頻圖像數(shù)據(jù)集;再對DenseNet進行遷移學習構(gòu)造神經(jīng)網(wǎng)絡;最后將高頻圖像數(shù)據(jù)集的80%用作訓練集，20%用作驗證集，放入神經(jīng)網(wǎng)絡中進行訓練和驗證。實驗結(jié)果表明，該方法可得到較好的裂紋檢測效果。

關(guān)鍵詞：裂紋檢測;深度學習;卷積神經(jīng)網(wǎng)絡;不可分小波;加性小波;遷移學習

中圖分類號：TP181? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）18-0006-04

開放科學（資源服務）標識碼（OSID）：

1 引言

隨著社會經(jīng)濟的不斷發(fā)展，我國的基礎(chǔ)設(shè)施建設(shè)能力越來越強，基礎(chǔ)建設(shè)程度也越來越發(fā)達。大量的基礎(chǔ)設(shè)施會隨時間推移而逐漸破敗，產(chǎn)生許多安全隱患。裂紋便是一個重要問題。為了降低人工維護的成本，防患于未然，裂紋檢測成了一項重要的技術(shù)[1-2]。

裂紋根據(jù)其所處位置不同主要分為內(nèi)部裂紋和外部裂紋，本文聚焦于外部裂紋的檢測。早期裂紋檢測方法主要是人眼識別。這種方法主要有以下三個缺點：1）檢測的結(jié)果會受到檢測員的個人能力、環(huán)境氣候等各種狀況影響;2）檢測員人工檢測效率較低;3）人工檢測的標準無法統(tǒng)一。

利用卷積神經(jīng)網(wǎng)絡進行圖像裂紋檢測解決了上述的三個問題，兼具較強的魯棒性、高效率和客觀性的特點，但根據(jù)方法的不同，會出現(xiàn)識別精度不高，圖像質(zhì)量的好壞嚴重影響檢測效果，或是一些漏檢、誤檢的情況[3-7]。

因此，本文提出基于深度學習和不可分小波的裂紋檢測方法，利用不可分加性小波提取裂紋圖像的高頻部分，然后利用遷移學習構(gòu)造卷積神經(jīng)網(wǎng)絡，再對裂紋圖像進行檢測，取代了效率較低的人眼識別，并對僅基于卷積神經(jīng)網(wǎng)絡的檢測方法進行了優(yōu)化。

2 相關(guān)知識簡介

小波的出現(xiàn)使得提取圖片的特征信息變得較為簡單，裂紋圖像中的低頻和高頻部分差別較大的特點尤其適合用小波來進行特征提取。

2.1 不可分小波介紹

不可分小波在圖像處理中有著良好的特性。張量積小波是二維小波的特殊情況，二維不可分小波是近年來發(fā)展起來的一類新小波，它是二維小波更一般的情況，圖像是二維信號，張量積小波是用點信息去逼近二維圖像，而圖像是二維曲面，只有使用真正的二維小波才能完全、更好地逼近它。另外，相較于張量積小波，不可分小波有很多優(yōu)點，如可同時具有緊支撐、正交性和對稱性，在對圖像進行分解和重構(gòu)時，能獲得具有較高空間分辨率的圖像，克服了張量積離散小波變換不能獲得高空間分辨率圖像的不足。已有的方法研究了基于四通道、三通道、二通道不可分小波濾波器組的構(gòu)造，并把它們應用于圖像處理中，獲得了較好的效果。

在這三種方式中，二通道不可分小波有其明顯的特色。1）一般景象的圖像信息多集中在二維頻譜的所謂鉆石型區(qū)域中，采用五株型采樣能較好地提取該區(qū)域內(nèi)的信息，二通道不可分小波完全滿足此要求;2）二通道小波只有兩個通道，在對圖像進行分解與重構(gòu)時，只需做兩個通道的濾波和采樣[8]，相對于四、三通道不可分小波，它能減少許多運算量。

由于加性小波保留邊緣特征較好，適合用于裂紋檢測，所以本文采用了不可分加性小波進行分解和重構(gòu)。

2.2 加性小波

加性小波本質(zhì)為利用二維低通濾波器對圖像進行átrous分解，利用濾波器對圖像進行卷積，不進行抽樣，得到小波平面系列;原圖像即為小波平面之和與殘余圖像的相加。具體流程如下所示：

設(shè)[p0]為原圖像，則：

[H0p0=p1，w1=p0-p1，H0（p1）=p2，w2=p1-p2，H0（p2）=p3，w3=p2-p3，......]? ? ? ? ? ? ? ? ? ? ? ? ? （1）

其中[wi]為小波平面，[pi]為小波近似分量。其重構(gòu)公式為：

[p0=i=1nwi+pr]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （2）

其中[pr]為殘余圖像。

2.3 卷積神經(jīng)網(wǎng)絡

近十年來，深度學習作為機器學習的分支，發(fā)展迅速，并且提出許多先進的算法，卷積神經(jīng)網(wǎng)絡就是其中一種。在裂紋檢測領(lǐng)域，深度卷積神經(jīng)網(wǎng)絡（CNN）取代傳統(tǒng)的機器學習已經(jīng)成為發(fā)展的新趨勢。CNN由多層卷積神經(jīng)網(wǎng)絡組成，每層又由多個特征圖組成，其本質(zhì)就是一種從輸入到輸出的映射，它依靠網(wǎng)絡自身學習大量輸入與輸出之間的映射關(guān)系。同時CNN可以自動地提取圖像中不同層次的特征，再根據(jù)這些特征進行分類或者識別等任務，可以較好地反映數(shù)據(jù)的本質(zhì)。

2.4 遷移學習

遷移學習是機器學習的一個研究方向，主要研究如何將任務A上學習到的知識遷移到任務B上，以提高在任務B上的泛化性能[9]。例如，任務A是手機殼的劃痕區(qū)分，需要訓練一個分類器能夠較好地區(qū)分手機殼的劃痕和手機殼本身的圖案，任務B是裂紋圖像的檢測，可以發(fā)現(xiàn)任務A和任務B存在大量的共享知識，裂紋和劃痕比較相似，背景干擾項也有一定程度的相似。因此，當獲得了一個任務A的訓練器時，在訓練任務B時不需要從0開始訓練，在A訓練器的基礎(chǔ)上進行一定的調(diào)整即可。這樣可以通過更少的樣本和更少的訓練代價，獲得較好的泛化效果。遷移學習的結(jié)構(gòu)如圖1所示。

網(wǎng)絡微調(diào)技術(shù)是常用的遷移學習方法。這種技術(shù)能逐層提取特征，越末層的網(wǎng)絡，抽象提取的能力就越強，輸出層則一般使用與類別數(shù)相同輸出節(jié)點的全連接層，作為分布網(wǎng)絡的概率分布預測。對于相似的任務，如果前面數(shù)層可以重用，則可以只將網(wǎng)絡后面的數(shù)層根據(jù)任務設(shè)定從零開始訓練。

由于遷移學習的高效性，本文選擇利用遷移學習在一個較為成熟的神經(jīng)網(wǎng)絡（DenseNet）上進行使用，構(gòu)造出適合的檢測網(wǎng)絡。

3 訓練過程

3.1 數(shù)據(jù)集

筆者在網(wǎng)上下載了的5000張裂縫圖像和5000張干擾圖像，然后進行平移、翻轉(zhuǎn)、縮放、旋轉(zhuǎn)、調(diào)色、顏色增強、亮度增強、對比度增強等方式，最后獲取了20000張裂縫圖像和兩萬張干擾圖像，其中各取4000張用作驗證集，剩余16000張用作訓練集。

3.2 模型架構(gòu)

3.2.1神經(jīng)網(wǎng)絡的構(gòu)造

神經(jīng)網(wǎng)絡的構(gòu)造參考了DenseNet的文章[10]，并且對其進行了一定的優(yōu)化，具體優(yōu)化過程如下文所示：

將DenseNet最后的全連接層刪除，并將DenseNet最后一個Pooling層設(shè)計為Max Pooling，然后增加一個輸出節(jié)點為1024的全連接層。最后根據(jù)裂紋有無進行二分類，添加一個輸出節(jié)點為2的全連接層。具體結(jié)構(gòu)如圖3所示：

其中圓1表示輸入層，圓2、3、4表示卷積層，圓5表示轉(zhuǎn)換層。

3.2.2不可分小波濾波器的構(gòu)造

不可分小波濾波器的構(gòu)造主要包括三個過程：采樣、分解和重構(gòu)。本文采用不可分加性小波，保留邊緣特征用于裂紋檢測，因此不進行采樣。

Qiuhui Chen[11]等提出了高維具有正交性、緊支撐性的非張量積小波濾波器組的構(gòu)造方法，其構(gòu)造的高維低通濾波器[m0（ξ）]具有如下頻域形式：

[m0ξ=1sXξj∈ZNUjDGATξ×j∈ZNUTN-1-jV0，ξ∈Rd]? ? ?（3）

其相應的[s-1（s=det（A））]個CQF濾波器的形式為：

[mj（ξ）=1sX（ξ）l∈ZN（UlD（ATξ））（l∈ZNUTN-1-l）Vj，? ξ∈Rd，（j=1，2，…，s-1）] （4）

筆者在此基礎(chǔ)上構(gòu)造二維二通道濾波器組。

設(shè)小波變換時伸縮矩陣為[111-1]，為構(gòu)造二維二通道濾波器組，取[s=2]，構(gòu)造：

[s=2，Xx，y=1，xy，DGx，y=100xy]則濾波器組形式可構(gòu)造如下：

[m0x，y，m1x，y=12Xx，yj=1KUjDGx，yUTjV ，]? ? ? ?（5）

其中[x=exp（-iω1），y=exp-iω2]，[Uj（j=1，2，...，K）]為正交陣，V1為2×1向量，V0=（1，1）T。

為構(gòu)造二通道6×6的二通道濾波器組，取K=4，得：

[U1=cosα1-sinα1sinα1cosα1，U2=cosα2sinα2-sinα2cosα2，U3=-sinα3-cosα3cosα3-sinα3，U4=sinα4cosα4-cosα4sinα4，V=111-1，]? ? ? ? ? ? ? ? ? ? （6）

可以驗證，[Uj]均為正交矩陣（[aj]為參量），[v2]為正交陣。據(jù)此可構(gòu)造無窮多個濾波器組，[aj]取不同的值得到不同的濾波器組。筆者設(shè)計了一組具有緊支撐、正交性的小波濾波器組。為了獲得具有對稱的濾波器組，取[α1=3π/4]，[α2=π/2]，[α3=-π/4]，[α4=-π/2]代入式（3）可得：

[m0x，y=-0.125+0.375xy+0.25x2y2+0.250x3y3+0.375x4y4-0.125x5y5]，

其時域形式如下：

[H0=18-10000003000000200000020000003000000-1]? ? ? ? ? ? ? ? ? ? ? ? ?（7）

顯然，此濾波器是不可分的，不能分解為兩個一維小波濾波器的張量積，因而它是二通道不可分小波濾波器組。

3.3實驗方法及步驟

本實驗的具體方法及步驟如圖6所示：首先，輸入圖像，使用不可分小波提取圖像低頻部分，然后利用加性小波分解原理得到高頻圖像;再將高頻圖像隨機分為訓練集和驗證集，接著，將訓練集圖像放入，利用遷移學習構(gòu)造好的神經(jīng)網(wǎng)絡中進行訓練;訓練結(jié)束后再用驗證集進行驗證;最后，使用20張數(shù)據(jù)集以外的圖片進行測試。

3.4結(jié)果分析

本文實驗是在處理器為Intel（R） Xeon（R） Silver 4210 CPU @2.20GHz，內(nèi)存為24G，顯卡為NVIDIA Quadro RTX 5000的主機上進行的。

將圖片進行不可分加性小波處理之后，隨機分成兩份，包括訓練集32000張（16000張裂紋圖像，16000張干擾圖像），以及驗證集8000張（4000張裂紋圖像，4000張干擾圖像），表1是學習率為[1×10-4]，Batch Size為16，訓練20次的部分訓練準確率和驗證準確率。

訓練過程中準確率變化如圖7所示。

由訓練結(jié)果可知，在完成訓練時準確率為0.9963750243，將模型進行保存（準確率：0.9963）。

3.4 調(diào)用模型預測實例

由于驗證集數(shù)據(jù)與訓練集數(shù)據(jù)存在相似性，為了測試神經(jīng)網(wǎng)絡模型的通用性，拍取了一些生活中的裂縫圖像進行檢測，總共20張。部分測試的裂紋圖像如圖8所示。

其中，圖（a）、（b）、（c）為干擾圖像，圖（d）、（e）、（f）為裂紋圖像。對拍攝的20張圖像進行測試，得到最終的準確率為100%。

4 結(jié)論

本文提出了一種結(jié)合不可分加性小波和深度學習的裂紋檢測方法。利用不可分加性小波提取圖像高頻的特點以及卷積神經(jīng)網(wǎng)絡的自主學習能力來進行裂紋檢測。實現(xiàn)了不可分小波與深度學習相結(jié)合的自動化裂紋識別，并得到較好的裂紋檢測效果。

參考文獻：

[1] 王森，伍星，張印輝，等.基于深度學習的全卷積網(wǎng)絡圖像裂紋檢測[J].計算機輔助設(shè)計與圖形學學報，2018，30（5）：859-867.

[2] 程豐.基于計算機視覺的路面裂紋檢測研究[D].北京：北京交通大學，2018.

[3] 冉蓉，徐興華，邱少華，等.基于深度卷積神經(jīng)網(wǎng)絡的裂紋檢測方法綜述[J].計算機工程與應用，2021，57（9）：23-35.

[4] 王憲保，李潔，姚明海，等.基于深度學習的太陽能電池片表面缺陷檢測方法[J].模式識別與人工智能，2014，27（6）：517-523.

[5] 林麗君，殷鷹，何明格，等.基于小波模極大值的磁瓦裂紋缺陷邊緣檢測算法[J].電子科技大學學報，2015，44（2）：283-288.

[6] 孫朝云，馬志丹，李偉，等.基于深度卷積神經(jīng)網(wǎng)絡融合模型的路面裂縫識別方法[J].長安大學學報（自然科學版），2020，40（4）：1-13.

[7] 李良福，馬衛(wèi)飛，李麗，等.基于深度學習的橋梁裂縫檢測算法研究[J].自動化學報，2019，45（9）：1727-1742.

[8] 劉斌，彭嘉雄.基于二通道不可分加性小波的多光譜圖像融合[J].光學學報，2007，27（8）：1419-1424.

[9] 曲蘊慧，湯偉，成爽爽.基于深度卷積神經(jīng)網(wǎng)絡及遷移學習的紙病分類方法研究[J].中國造紙，2021，40（10）：63-70.

[10] Huang G，Liu Z，van der Maaten L，et al.Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：2261-2269.

[11] Chen Q H，Micchelli C A，Peng S L，et al.Multivariate filter banks having matrix factorizations[J].SIAM Journal on Matrix Analysis and Applications，2003，25（2）：517-531.

【通聯(lián)編輯：唐一東】