基于人工智能與智能手機的混凝土裂紋檢測

趙雪峰+李生元+歐進萍

摘 要：近年來，伴隨著互聯(lián)網(wǎng)技術(shù)的不斷提高及相關(guān)硬件的支持，人工智能技術(shù)得到快速發(fā)展，也為大數(shù)據(jù)處理和應(yīng)用提供了基礎(chǔ)。同時，智能手機的普及也為采用眾包模式進行大數(shù)據(jù)收集提供了極大的便利。基于此，文中提出了將人工智能與智能手機相結(jié)合，利用智能手機進行混凝土裂紋圖片收集，再利用人工智能深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)進行圖片中的裂紋識別和定位，達到裂紋檢測的目的。最后提出了基于人工智能與智能手機的混凝土裂紋檢測的眾包模式，調(diào)動公眾來收集混凝土裂紋圖片大數(shù)據(jù)，充分利用智能手機與人工智能技術(shù)的優(yōu)勢，使得混凝土裂紋圖片大數(shù)據(jù)的收集與裂紋檢測成為可能。

關(guān)鍵詞：人工智能；智能手機；卷積神經(jīng)網(wǎng)絡(luò)；裂紋；眾包

中圖分類號：TP368.5；TU317 文獻標(biāo)識碼：A 文章編號：2095-1302（2017）08-00-04

0 引 言

在混凝土結(jié)構(gòu)的服役過程中，裂紋是一種常見的損傷形態(tài)[1]。目前，在實際工程中，混凝土裂紋主要還是依靠專業(yè)人員定期到現(xiàn)場進行人工測量，費時費力。因此，發(fā)展基于裂紋圖片處理的裂紋損傷檢測方法十分必要。國內(nèi)外許多學(xué)者也進行了相關(guān)研究，主要采用圖像處理的方法。主要的研究結(jié)果可以分為兩類，一類是對于圖片中的裂紋進行識別，即將圖片中的裂紋從背景中分離出來，這需要較好的圖片預(yù)處理技術(shù)[2]，有的則利用邊緣檢測等技術(shù)[3-5]，在真實混凝土上進行了驗證[6]，而無人機也被應(yīng)用于混凝土裂紋照片的采集[7]。另一類是對圖片中裂紋寬度、角度等特征進行提取，這些方法分為全自動[8-11]與需要人工參與[12]。但均利用特定的技術(shù)，對特定圖片背景中的混凝土裂紋進行識別和特征提取。然而，由于圖像處理方法是針對圖像像素的操作，圖片中的背景，尤其是光照和噪聲的干擾，將會很大程度上影響裂紋的識別效果，因此發(fā)展其它混凝土裂紋檢測方法十分必要。

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，大數(shù)據(jù)時代已經(jīng)到來，面對海量數(shù)據(jù)，人工智能也越來越受到人們的重視。深度學(xué)習(xí)作為人工智能的一個分支[13]，近年來取得了很大進展。深度學(xué)習(xí)的一個重要應(yīng)用是利用卷積神經(jīng)網(wǎng)絡(luò)進行圖片分類[14]。卷積神經(jīng)網(wǎng)絡(luò)與普通人工神經(jīng)網(wǎng)絡(luò)的最大區(qū)別在于具有進行卷積操作的卷積層，利用卷積操作實現(xiàn)圖片的特征提取。

智能手機已成為當(dāng)前最為普遍的通訊工具，其軟件和硬件已經(jīng)十分成熟，同時智能手機也內(nèi)置了存儲、傳感、通訊及計算等功能。目前，智能手機已應(yīng)用在人體健康監(jiān)測[15]、軍事[16]、交通[17]及結(jié)構(gòu)健康監(jiān)測[18]等領(lǐng)域。選擇智能手機，采用眾包模式進行混凝土裂紋圖片大數(shù)據(jù)的收集完全可行。

1 利用卷積神經(jīng)網(wǎng)絡(luò)進行混凝土裂紋檢測概述

在利用卷積神經(jīng)網(wǎng)絡(luò)進行混凝土裂紋檢測時的流程圖如圖1所示。首先對智能手機收集到的原始圖片進行人工分割，將分割之后的小圖片分為無裂紋和有裂紋兩類，將這些分好類的小圖片作為訓(xùn)練樣本來訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，之后利用訓(xùn)練好的分類器以及一種窗口滑移技術(shù)，將一張大的混凝土表面圖片中的裂紋識別并定位出來。

2 卷積神經(jīng)網(wǎng)絡(luò)檢測混凝土裂紋實驗

本文采用經(jīng)典的深度學(xué)習(xí)框架——Caffe來完成模型的訓(xùn)練[19]，使用Caffe中的AlexNet模型[20]對其進行微調(diào)，修改輸出類別，將訓(xùn)練分類結(jié)果改為兩類。

2.1 整體架構(gòu)

圖2所示為混凝土裂紋檢測卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的流程，修改后的模型共有8層，前5層是卷積層，后3層是全連接層。模型中選用了非線性激活函數(shù)ReLU，池化操作時采用最大池化 （MAX pooling），同時進行了局部響應(yīng)歸一化（LRN）操作以及避免過擬合的Dropout技術(shù)。卷積層中的1、2層依次進行卷積、池化以及歸一化操作，3、4卷積層則只進行卷積操作，第5個卷積層進行卷積和池化操作，第6、7層在全連接后進行了Dropout操作，第8層進行全連接，然后輸出為融合了分類標(biāo)簽的Softmax。

卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時，輸入圖片經(jīng)過卷積、池化等一系列操作后，數(shù)據(jù)的尺寸也會發(fā)生變化，在訓(xùn)練時，設(shè)置caffe中的crop_size為227，將圖片進行裁剪后作為模型的輸入數(shù)據(jù)。表1列出了輸入數(shù)據(jù)在本文卷積神經(jīng)網(wǎng)絡(luò)中訓(xùn)練時的尺寸變化。表2所列為各卷積、池化時的操作參數(shù)。

2.2 卷積

卷積是卷積神經(jīng)網(wǎng)絡(luò)中較為核心的操作，它是指將輸入圖像中的像素在小區(qū)域中進行加權(quán)平均，然后在對應(yīng)的位置輸出，該小區(qū)域叫做卷積核或濾波器。卷積核的大小決定了進行卷積操作時的區(qū)域大小，卷積核中的參數(shù)稱為權(quán)值，權(quán)值大小決定了卷積核覆蓋的圖像區(qū)域?qū)?yīng)的像素點對卷積結(jié)果的貢獻大小，權(quán)值越大，貢獻越大。圖3表示了輸入圖像大小為5×5，卷積核大小為3×3，步長為1，偏置為0的一個卷積過程。

2.3 池化

輸入的圖片經(jīng)卷積操作以及ReLU激活函數(shù)之后，輸出圖像的每一個像素點都包括了對應(yīng)的原始輸入圖片一部分區(qū)域的信息，這使得信息產(chǎn)生冗余，也增加了計算量。為了提高算法性能，減少運算數(shù)據(jù)量，需要對卷積結(jié)果進行池化操作來降低維度，保留有效信息，這也在一定程度上避免了過擬合。圖4表示池化操作時輸入的圖像大小為6×6，池化區(qū)域大小為2×2，采用最大區(qū)域池化策略，進行無重疊區(qū)域池化，即滑動步長為2的池化過程。

2.4 Softmax

對于輸入數(shù)據(jù)，需要有一個操作來將數(shù)據(jù)進行分類。將給定的測試輸入記為x，針對每一個類別j估算出概率值p（y（i）=j（i）|x（i）；W），其中W是權(quán)重參數(shù)。即需要估計x的每一種分類結(jié)果出現(xiàn)的概率。因此，需要輸出一個k維的向量（向量元素的和為1）來表示k個估計的概率值。具體地說，用于輸入圖片分類概率計算的形式見式（1）。式中 這一項對概率分布進行歸一化，使得所有概率之和為1。

（1）endprint

3 訓(xùn)練用于混凝土裂紋檢測的卷積神經(jīng)網(wǎng)絡(luò)分類器

對于混凝土裂紋檢測來說，主要依賴于能夠?qū)⒂辛鸭y圖片與無裂紋圖片進行分類的分類器。本文所做的工作均在一臺配置了GPU的工作站上完成（CPU：Intel（R） Xeon（R） CPU E5-2630 v4 @ 2.20 GHz， RAM： 32.0 GB， GPU： GeForce GTX 1080 Ti）。

3.1 圖片預(yù)處理

本文中智能手機拍攝的混凝土裂紋圖片的像素大小為4160×3 120，將智能手機拍攝的混凝土裂紋照片切割成256×256大小，并對這些圖片按照有裂紋和無裂紋兩種情形進行分類并設(shè)置標(biāo)簽，如圖5所示。將它們分為訓(xùn)練集和驗證集兩部分，由于切割后的小圖片中無裂紋的圖片數(shù)量遠遠多于有裂紋的圖片，因此人工隨機刪除一些無裂紋的圖片，使得有裂紋圖片數(shù)量與無裂紋圖片數(shù)量的比例為1∶1。最終訓(xùn)練集圖片共21 000張，其中有裂紋圖片10 500張，無裂紋圖片10 500張，驗證集圖片共4 200張，其中有裂紋圖片2 100張，無裂紋圖片2 100張。此外還計算了所有訓(xùn)練集圖片的平均值，所有圖片的每個像素都減去該平均值。

3.2 模型訓(xùn)練

采用隨機梯度下降法（SGD）訓(xùn)練模型，設(shè)置基礎(chǔ)學(xué)習(xí)率為0.001，學(xué)習(xí)策略為“step”，批處理大小為64，動量為0.9，權(quán)重衰減為0.000 5，過擬合丟棄率為0.5?？偟螖?shù)設(shè)置為10 000次，圖6所示為訓(xùn)練損失loss與迭代次數(shù)的關(guān)系曲線，圖7所示為精度與迭代次數(shù)的關(guān)系。

圖6、圖7所示為卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果，隨著訓(xùn)練迭代次數(shù)的增加，loss快速減小，最終接近于0，而精度也快速提高，最高精度為98.904 8%，為第1 700次迭代的訓(xùn)練結(jié)果，最終精度穩(wěn)定在98.666 7%，取精度穩(wěn)定后的第10 000次訓(xùn)練結(jié)果作為本研究后期應(yīng)用的混凝土裂紋檢測模型。

4 窗口滑移技術(shù)

由于圖片中的裂紋分布位置隨機，所以無法對圖片中的裂紋進行定位掃描。本文采用圖8所示的窗口技術(shù)[21]。對于一張如圖9（a）所示的4 120×3 160像素大小的手機照片，窗口大小設(shè)置為128×128，水平方向和豎直方向的滑動步長均設(shè)置為64，從圖片的左上角開始，窗口從左到右、從上到下進行掃描，當(dāng)掃描到一個位置時，先將該位置的小圖片放大到227×227，同時利用得到的模型訓(xùn)練結(jié)果對窗口所在位置的小圖片進行分類，保留分類結(jié)果為有裂紋的小圖片，直至掃描完成整張手機圖片，掃描結(jié)果如圖9（b）所示。

從圖9中可以看出，經(jīng)過窗口滑移技術(shù)掃描之后的圖片，去掉了圖片中的無裂紋部分，達到了混凝土表面裂紋檢測定位的目的。此外，在圖9（b）中還可以看出，在窗口滑移進行混凝土裂紋檢測的過程中，有三個位置的小窗口圖片被錯誤分類，本來屬于無裂紋的類，但被分成了有裂紋類，并保留了下來。圖10將這三個位置的圖片放大，可以看出這三個位置的小圖片中的混凝土表面均存在小孔洞瑕疵，因此訓(xùn)練好的分類器誤認(rèn)為它們是有裂紋的圖片而將它們保留了下來，這種情況可以采用擴大模型訓(xùn)練數(shù)據(jù)集的方法來解決。

5 基于人工智能與智能手機的混凝土裂紋檢測的眾包模式

智能手機的普及為人們的生活帶來了極大的便利，同時也為大數(shù)據(jù)收集提供了契機。如圖11所示，通過眾包模式，裂紋圖片收集工作無需依賴專業(yè)檢測人員，普通大眾人員也可以通過智能手機拍攝混凝土裂紋圖片并將其切割分類之后再上傳到服務(wù)器，以此來不斷擴大混凝土裂紋圖片庫。有了數(shù)量眾多的圖片，就可以利用這些圖片訓(xùn)練出擁有更高精度、更好檢測效果的混凝土裂紋檢測模型。公眾可以通過智能手機調(diào)用訓(xùn)練好的模型來進行混凝土裂紋檢測。基于人工智能與智能手機的混凝土裂紋檢測的眾包模式可以充分利用智能手機讓公眾參與到快速收集圖片大數(shù)據(jù)的活動中來，體驗人工智能強大的大數(shù)據(jù)處理優(yōu)勢。

6 結(jié) 語

本文提出了一種基于人工智能與智能手機的混凝土裂紋檢測方法，利用智能手機拍攝混凝土裂紋圖片作為數(shù)據(jù)集，訓(xùn)練人工智能卷積神經(jīng)網(wǎng)絡(luò)模型，得到用于混凝土裂紋檢測的圖片分類器，最后利用這一圖片分類器和窗口滑移技術(shù)進行混凝土裂紋的檢測和定位。同時提出了基于人工智能與智能手機的混凝土裂紋檢測眾包模式。該方法使得公眾參與收集混凝土裂紋圖片大數(shù)據(jù)成為可能，同時人工智能強大的大數(shù)據(jù)處理能力也使該方法具有很大的發(fā)展?jié)摿Α?/p>

參考文獻

[1] Ba?ant Z P， Xiang Y. Crack growth and lifetime of concrete under long time loading[J].Journal of Engineering Mechanics， 1997， 123（4）： 350-358.

[2] Fujita Y， Mitani Y， Hamamoto Y. A method for crack detection on a concrete structure[C].Pattern Recognition， 2006. ICPR 2006. 18th International Conference on. IEEE， 2006.

[3] Abdel-Qader I， Abudayyeh O， Kelly M E. Analysis of edge-detection techniques for crack identification in bridges[J].Journal of Computing in Civil Engineering， 2003， 17（4）： 255-263.

[4] Nishikawa T， Yoshida J， Sugiyama T， et al. Concrete crack detection by multiple sequential image filtering[J]. Computer‐Aided Civil and Infrastructure Engineering， 2012， 27（1）： 29-47.endprint

[5] Yamaguchi T， Hashimoto S. Fast crack detection method for large-size concrete surface images using percolation-based image processing[J].Machine Vision and Applications， 2010， 21（5）： 797-809.

[6] Yamaguchi T， Nakamura S， Saegusa R， et al. Image Based Crack Detection for Real Concrete Surfaces[J].IEEE Transactions on Electrical and Electronic Engineering， 2010，3（1）： 128-135.

[7] Kim J W， Kim S B， Park J C， et al. Development of Crack Detection System with Unmanned Aerial Vehicles and Digital Image Processing[Z].Advances in structural engineering and mechanics （ASEM15）， 2015.

[8] Fujita Y， Hamamoto Y. A robust automatic crack detection method from noisy concrete surfaces[J].Machine Vision and Applications， 2011， 22（2）： 245-254.

[9] Ito A， Aoki Y， Hashimoto S. Accurate extraction and measurement of fine cracks from concrete block surface image[C].IECON 02 [Industrial Electronics Society， IEEE 2002 28th Annual Conference of the.IEEE， 2002.

[10] Sohn H G， Lim Y M， Yun K H， et al.Monitoring crack changes in concrete structures[J].Computer‐Aided Civil and Infrastructure Engineering， 2010， 20（1）： 52-61.

[11] Lee B Y， Kim Y Y， Yi S T， et al.Automated image processing technique for detecting and analysing concrete surface cracks[J].Structure and Infrastructure Engineering， 2013， 9（6）： 567-577.

[12] Dare P， Hanley H， Fraser C， et al. An operational application of automatic feature extraction： the measurement of cracks in concrete structures[J].The Photogrammetric Record， 2002， 17（99）： 453-464.

[13] LeCun Y， Bengio Y， Hinton G. Deep learning[J].Nature， 2015： 436-444.

[14] Le Cun Y， Bottou L， Bengio Y， et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

[15]王婧婷， 王園園， 沈閔， 等.白血病移動健康智能手機應(yīng)用程序的可用性評價[J].中華護理雜志， 2015， 50（4）： 485-490.

[16]鐘亮，呂萍.淺析智能手機的軍事應(yīng)用前景[J].微型機與應(yīng)用， 2016， 35（2）： 4-5.

[17]柏叢，彭仲仁，孫健.基于智能手機應(yīng)用的公交車數(shù)據(jù)采集與分析[J].科學(xué)技術(shù)與工程，2014，14（21）： 293-296.

[18] Zhao X， Han R， Yu Y， et al. Smartphone-Based Mobile Testing Technique for Quick Bridge Cable–Force Measurement[J].Journal of Bridge Engineering，2016.

[19] Jia Y， Shelhamer E， Donahue J， et al. Caffe： Convolutional architecture for fast feature embedding[C].Proceedings of the 22nd ACM international conference on Multimedia. ACM， 2014.

[20] Krizhevsky A， Sutskever I， Hinton G E.Imagenet classification with deep convolutional neural networks[C].Advances in neural information processing systems，2012.

[21] Cha Y J， Choi W， Buyukozturk O.Deep learning-based crack damage detection using convolutional neural network[J].Computer-Aided Civil and Infrastructure Engineering， 2017， 32（5）： 2013-2014.endprint