基于無人機視覺的起重機表面裂紋檢測方法

周前飛， 丁樹慶， 馮月貴， 慶光蔚， 胡靜波

(南京市特種設備安全監(jiān)督檢驗研究院，江蘇 南京 210000)

大型起重機金屬結(jié)構(gòu)的傳統(tǒng)人工檢測方法存在檢測盲區(qū)、高空作業(yè)危險、勞動強度大、效率低等問題，利用無人機搭載高分辨率視覺傳感器，實時采集顯示起重機待檢測部位的圖像進行裂紋判定，具有非接觸、高精度和遠程可視化等特點，尤其適合起重機高空金屬結(jié)構(gòu)遠程檢測。但是，目前基于無人機的起重機檢測系統(tǒng)大多僅完成圖像采集、傳輸以及一些預處理[1-4]，而裂紋識別仍依賴檢驗員肉眼瀏覽圖片來完成，存在對微小裂紋和色差不明顯裂紋不敏感、易漏檢微弱缺陷和長時間檢測易疲勞等問題，導致缺陷檢測效率仍然較低且精度不高，并且缺乏對裂紋的遠程量化評價方法，無法為結(jié)構(gòu)安全評估提供精確的數(shù)據(jù)支撐。因此，研究室外復雜背景下大型起重機高空鋼結(jié)構(gòu)表面裂紋檢測和量化識別方法，提高檢測精度和效率，具有重大的理論意義和應用價值。

目前，基于機器視覺的裂紋檢測方法可以大致分為三類：傳統(tǒng)圖像分割檢測方法、基于機器學習的裂紋檢測方法和基于深度學習的裂紋檢測方法。傳統(tǒng)圖像分割檢測通過閾值分割、邊緣檢測、顏色分割、形態(tài)學分水嶺分割、頻率域分割等方法分離出裂紋區(qū)域進行識別[5-7]，容易受外部環(huán)境、背景、光線等干擾，對于單一背景裂紋具有較好的檢測效果，不適合復雜背景多樣性裂紋檢測；機器學習方法通過人工設計并提取圖像中缺陷特征，采用SVM、AdaBoost、STRUM、CrackForest等分類器模型對缺陷進行分類識別[8-10]，需要人工設計并提取特征，但人對特征的定義受經(jīng)驗影響，人工設計的缺陷特征對于多樣性變化的魯棒性不高，當人工設計算法無法表述圖像高級特征時，識別率會大大降低;深度學習檢測方法利用深度神經(jīng)網(wǎng)絡[11-14]，自動從大數(shù)據(jù)樣本中學習目標深度特征，代替人工構(gòu)造特征，對缺陷特征的描述更貼近真實情況，更具有魯棒性，從而提升識別率，并且可以檢測出傳統(tǒng)機器視覺算法檢測不到的微弱缺陷[15]。

由于起重機械金屬結(jié)構(gòu)形狀復雜，涉及箱型梁、工字梁、桁架等多維度平面和三維曲面檢測，不同表面光照差異大，對比度低，裂紋形態(tài)多變，背景復雜，存在焊接紋理、劃痕、水漬、漆膜開裂等偽裂紋缺陷干擾。為改善箱型梁下蓋板等人員不易到達部位的拍攝視角問題，研制出一種基于倒置式無人機平臺的智能視覺檢測系統(tǒng)，可快速全方位高質(zhì)量采集并實時顯示被檢測部位的圖像；在此基礎上，提出了一種適應起重機械金屬結(jié)構(gòu)復雜背景和復雜表面特征的缺陷檢測和識別算法，實現(xiàn)對結(jié)構(gòu)表面裂紋缺陷的自動判別分類和量化評價，提高了結(jié)構(gòu)缺陷檢測的靈敏度和識別精度，提升了起重機械金屬結(jié)構(gòu)檢測的自動化和智能化水平。

1 關(guān)鍵技術(shù)

1.1 倒置式無人機智能檢測系統(tǒng)設計

針對大型起重機結(jié)構(gòu)檢測的應用特殊性，研發(fā)了適應起重機金屬結(jié)構(gòu)缺陷檢測的倒置式工業(yè)級無人機檢測系統(tǒng)，如圖1所示。為便于拍攝橋門式起重機主梁下蓋板和門座式起重機象鼻梁等人員不易到達的關(guān)鍵受力部位，將正常情況下搭載在無人機正下方的相機云臺改為布置在無人機本體上方，使云臺垂直方向俯仰角范圍達到±90°，水平方向運動范圍達到±150°，既能向下俯視成像，又能向上仰視成像，能夠?qū)Υ笮推鹬貦C各種關(guān)鍵部位進行多方位拍攝且無視場死角，具備良好的適應性。

圖1 倒置式無人機智能視覺檢測系統(tǒng)樣機

系統(tǒng)利用無人機為平臺搭載高分辨率可見光相機，獲取被測結(jié)構(gòu)表面圖像，通過通信鏈路傳給地面控制臺實時顯示，并利用圖像處理算法對結(jié)構(gòu)表面缺陷特征進行智能檢測和識別。系統(tǒng)搭載的相機分辨率為1600萬像素，支持機載端4K高清視頻、1600萬像素圖片存儲，支持H.265視頻壓縮和1080P高清視頻無線傳輸?shù)降孛婵刂婆_顯示。鏡頭焦距為50 mm，畸變率小于2%，在實驗室利用裂紋尺測試相機分辨能力，如圖2所示，當相機距離目標3 m時，能分辨出寬度為0.1 mm的微裂紋，可以滿足無人機在安全距離外檢測結(jié)構(gòu)表面裂紋的要求。

1.2 Faster R-CNN深度神經(jīng)網(wǎng)絡裂紋檢測算法

Faster R-CNN神經(jīng)網(wǎng)絡由卷積神經(jīng)網(wǎng)絡、區(qū)域生成網(wǎng)絡、池化層、最終分類器4個部分組成[16]，將區(qū)域生成網(wǎng)絡與Fast R-CNN[17]對象檢測網(wǎng)絡相結(jié)合，生成一個共享全圖的卷積特征與檢測網(wǎng)絡，經(jīng)過訓練生成高質(zhì)量的區(qū)域建議(數(shù)量限定為300個)，F(xiàn)ast R-CNN將其用于檢測，由于區(qū)域生成網(wǎng)絡的預測絕大部分在GPU中完成，且卷積網(wǎng)和Fast R-CNN部分共享，因此大幅提升了檢測速度。

利用Faster R-CNN深度神經(jīng)網(wǎng)絡對裂紋缺陷進行檢測算法流程如圖3所示，通過分類層和回歸層來實現(xiàn)對缺陷的分類和檢測，第1組分類和回歸在區(qū)域生成網(wǎng)絡處，分類檢測是否有裂紋，屬于二分類問題，回歸進行候選區(qū)域的初步選取；第2組分類和回歸在池化層后的預測網(wǎng)絡，回歸為確定候選區(qū)域在圖像中的精確位置。

根據(jù)圖3所示，F(xiàn)aster R-CNN神經(jīng)網(wǎng)絡裂紋檢測算法包括以下4個步驟。

圖3 Faster R-CNN神經(jīng)網(wǎng)絡裂紋檢測算法流程

① 將訓練集圖像輸入到深度神經(jīng)網(wǎng)絡算法模型進行訓練，得到訓練好的模型，然后將待檢測圖像輸入到訓練好的模型，進行VGG16卷積運算得到原始特征圖。

② 將原始特征圖傳入?yún)^(qū)域生成網(wǎng)絡，提取包含目標概率更高的若干區(qū)域，實現(xiàn)裂紋缺陷有無的檢測。特征圖為卷積神經(jīng)網(wǎng)絡輸出的最后一層，在此特征圖的基礎上再做一次卷積，生成 256個特征圖，然后分別做分類和回歸，分類層輸出預測屬于裂紋缺陷或者背景的概率；回歸層輸出缺陷位置預測目標框的 3個參數(shù)：目標框左上角位置、長度和高度。

③ 池化層將不同大小的輸入特征轉(zhuǎn)換為固定長度的輸出特征，將最后一層卷積層得到的256個特征圖下采樣到大小為7×7的網(wǎng)絡中，對每個網(wǎng)絡進行最大池化處理，將不同大小的特征變成了統(tǒng)一大小的特征向量，確保每一個不同大小的窗口具有相同的維度，形成固定大小的特征圖，方便進行全連接操作。

④ 利用池化層后的預測網(wǎng)絡實現(xiàn)缺陷分類識別和精確定位，確定候選區(qū)域在圖像中的精確位置。

1.3 裂紋參數(shù)識別算法

在檢測出裂紋缺陷與其位置后，還需要對金屬結(jié)構(gòu)表面裂紋寬度、長度、方向等相關(guān)參數(shù)進行定性和定量分析，為金屬結(jié)構(gòu)安全評估提供精確有效的數(shù)據(jù)基礎。裂紋參數(shù)識別算法流程如圖4所示，包括圖像預處理(灰度化、濾波去噪、對比度增強、二值化分割)、裂紋邊緣檢測、裂紋參數(shù)識別、偽裂紋去除等步驟。

圖4 裂紋參數(shù)識別與評價算法流程

如圖4所示，為減小計算量，直接對Faster R-CNN神經(jīng)網(wǎng)絡檢測出的裂紋目標框區(qū)域進行處理，首先將目標框區(qū)域彩色圖像轉(zhuǎn)化為灰度圖像，采用濾波去噪和對比度增強方法使圖像裂紋特征更為突出，在圖像二值化分割的過程中，利用最大熵閾值法確定閾值對圖像進行分割，能夠有效準確地區(qū)別裂紋區(qū)域和背景區(qū)域；然后采用 Canny 算子提取裂紋邊緣，由于裂紋形狀各異且整體呈“線狀”分布，計算裂紋邊緣最小外接矩形的長寬比對裂紋方向進行識別，分為橫向、豎向、斜向裂紋。

根據(jù)式(1)～式(3)計算裂紋的水平、垂直投影向量和面積，繪制裂紋的垂直、水平方向投影曲線圖，獲取裂紋最大寬度、最小寬度。利用最大圓盤形態(tài)學骨架提取算法[18]，獲取裂紋的單像素寬形態(tài)學骨架，并對短枝噪聲進行消去處理，統(tǒng)計骨架化的裂紋像素數(shù)得到其長度L，根據(jù)式(4)計算面積S與長度L的比值為裂紋平均寬度D：

(1)

(2)

(3)

(4)

式中：g(x,y)為閾值分割和邊緣提取后的二值圖像中坐標為(x,y)的像素點灰度值；H(x)為水平方向(行方向)投影向量，表示各行方向g值為1的像素點個數(shù)；V(y)為垂直方向(列方向)投影向量，表示各列方向g值為1的像素點個數(shù)；S為裂紋面積，表示裂紋目標框區(qū)域g值為1的像素點個數(shù)；L為裂紋長度，表示裂紋單像素寬骨架的像素點個數(shù)；D為裂紋平均寬度。

由于起重機結(jié)構(gòu)表面背景復雜、干擾目標多，檢測結(jié)果中可能包含漆膜開裂和水漬等偽裂紋缺陷，因此需要做進一步鑒別。鑒于真裂紋一般表現(xiàn)為非常細的黑線，長寬比很大，在局部范圍內(nèi)方向具有一致性，而偽裂紋一般不具有這些特征，通常表現(xiàn)為孤立的相對較小的點或小塊。因此，設計基于長寬比(L/D)和面積S的真?zhèn)瘟鸭y鑒別方法：當目標面積大于某一閾值T1且長寬比大于某一閾值T2時，判定為真裂紋，予以保留，否則判定為偽裂紋，消除該候選目標。最后，根據(jù)針孔成像模型和物距標定出每個像素代表的實際物理尺寸，計算裂紋的實際寬度和長度。

1.4 基于無人機圖像的結(jié)構(gòu)表面裂紋檢測流程

開發(fā)無人機圖像智能檢測系統(tǒng)軟件，調(diào)用裂紋缺陷檢測與識別算法，完成缺陷的自動檢測，同時可導入設備基礎信息，現(xiàn)場出具檢測報告，具體檢測流程如圖5所示。將無人機采集的圖像傳輸?shù)綀D像智能檢測系統(tǒng)，設定與算法運行速度匹配的取幀頻率；調(diào)用Faster R-CNN神經(jīng)網(wǎng)絡算法對當前幀圖像是否存在裂紋進行定性檢測，如果檢測到有裂紋缺陷，用裂紋的最小外接矩形框標記缺陷位置，并提取裂紋目標框區(qū)域圖像；然后，調(diào)用裂紋參數(shù)識別算法，對各裂紋的寬度、長度、方向、面積、長寬比等進行識別，并根據(jù)裂紋面積和長寬比是否大于設定閾值，識別并剔除偽裂紋缺陷，為設備維護保養(yǎng)提供輔助決策。

圖5 基于無人機視覺的起重機表面裂紋檢測流程

2 實驗結(jié)果與分析

2.1 裂紋的快速定性檢測實驗

實驗采用 TensorFlow 作為深度學習框架，使用GPU 對訓練過程進行加速，其使用的主要硬件配置是Xeon E5-2620 v4處理器、128 GB內(nèi)存和NVIDIA GTX 1080 Ti 顯卡；軟件環(huán)境是 Linux 系統(tǒng)和Python 3.7，GPU 加速庫采用 CUDA 9.0.176和 CUDNN 7.0.4。采用準確率和速度來衡量裂紋檢測效果，對于給定的測試數(shù)據(jù)集，準確率為標記正確的裂紋目標框個數(shù)與標記出的所有目標框個數(shù)之比。

采用2000張金屬裂紋灰度化圖片、80張裂紋試塊圖片、50張起重機金屬結(jié)構(gòu)圖片作為訓練集，部分訓練圖像如圖6所示。

圖6 部分裂紋缺陷訓練數(shù)據(jù)集圖像

采用40張起重機金屬結(jié)構(gòu)圖片作為測試集，部分圖像檢測結(jié)果如圖7所示，在裂紋目標框左上角用英文字母neg來標記裂紋，neg后面的數(shù)字表示算法判定該區(qū)域為裂紋的概率(0～1)。

從圖7可以看出，F(xiàn)aster R-CNN深度神經(jīng)網(wǎng)絡檢測識別算法能準確地檢測出圖像中裂紋缺陷，并對缺陷區(qū)域進行精確定位，統(tǒng)計測試集的檢測結(jié)果，裂紋檢測平均準確率達到95.4%，速度達到2 f/s。下面通過裂紋參數(shù)識別算法對裂紋長度、寬度進行進一步識別，以利于量化評估。

圖7 部分測試圖像的裂紋檢測效果

2.2 裂紋的量化識別實驗

利用無人機檢測系統(tǒng)距離3 m拍攝已知裂紋尺寸的試塊圖像，裂紋通過線切割方法得到，各裂紋位置分布如圖8所示，裂紋真實尺寸如表1所示，寬度范圍為0.05～0.4 mm。

表1 T型角焊縫試塊中各裂紋真實尺寸

圖8 T型角焊縫試塊中各裂紋位置分布

通過1.2節(jié)Faster R-CNN深度神經(jīng)網(wǎng)絡算法檢測出裂紋及其所在位置，結(jié)果如圖9所示；然后對裂紋目標框區(qū)域進行處理，調(diào)用1.3節(jié)裂紋參數(shù)識別算法，對裂紋的長度和寬度進行定量檢測和分析，并與裂紋的真實尺寸進行比較，以驗證算法的準確性。

圖9 T型焊縫試塊裂紋檢測結(jié)果

以左側(cè)焊縫豎裂紋和右側(cè)母材斜裂紋為例，用裂紋參數(shù)識別算法進行處理，得到結(jié)果如圖10和圖11所示，圖中(a)～(g)依次為原始圖像、灰度圖像、中值濾波去噪后的圖像、對比度增強圖像、最大熵閾值分割圖像、Canny邊緣檢測與裂紋識別、裂紋最小外接矩形標記。

圖10 左側(cè)焊縫豎裂紋識別

圖11 右側(cè)母材斜裂紋識別

然后，根據(jù)裂紋最小外接矩形的長寬比判別裂紋方向，并對裂紋進行垂直、水平方向積分投影，獲取裂紋的垂直、水平方向投影曲線圖，如圖12所示，其中行投影為水平方向投影，列投影為垂直方向投影，其中橫坐標表示圖像行坐標或列坐標，縱坐標表示位置為該行坐標或列坐標的像素個數(shù)。

圖12 裂紋區(qū)域的水平、垂直方向投影曲線圖

從圖12(a)、圖12(b)可以看出，左側(cè)焊縫豎裂紋的最大寬度為7 px，列投影有明顯的凸起區(qū)域，說明該裂紋為縱向裂紋；提取裂紋單像素寬骨架，統(tǒng)計其像素數(shù)得到裂紋長度為271 px，計算裂紋面積與長度的比值得到平均寬度約為4.00 px，長寬比為67.75。從圖12(c)、圖12(d)可以看出，右側(cè)母材斜裂紋的最小寬度為2 px，最大寬度為5 px，行、列投影在整個坐標軸范圍內(nèi)均有分布，說明該裂紋為斜裂紋；提取裂紋單像素寬骨架，統(tǒng)計其像素數(shù)得到裂紋長度為591 px，計算裂紋面積與長度的比值得到平均寬度約為3.00 px，長寬比為197。相機分辨率為4640 px×3480 px，經(jīng)標定后每像素的實際物理距離為0.07 mm，計算裂紋的實際長度和平均寬度，并與表1中裂紋的真實尺寸對比(左側(cè)焊縫豎裂紋對應豎裂紋2，右側(cè)母材斜裂紋對應斜裂紋5)，計算裂紋測量相對誤差，如表2所示。

表2 裂紋參數(shù)識別誤差

從表2可以看出，裂紋長度和寬度的測量值與真實尺寸非常接近，寬度平均測量誤差為5.83%，長度平均測量誤差為7.61%，裂紋參數(shù)識別算法能夠準確地測量出裂紋的寬度和長度，可以滿足結(jié)構(gòu)安全評估的要求。

同時，在實驗中發(fā)現(xiàn)，圖像獲取的檢測條件對裂紋定量評價結(jié)果有較大影響，例如光照強度、拍攝距離、成像系統(tǒng)噪聲、溫度、振動等。環(huán)境光在金屬表面形成一部分反射光和逆光陰影，或者由于光照不均勻使圖像亮度不均，造成圖像邊緣不清晰，引起邊緣提取誤差，導致測量精度降低。因此，無人機應盡量順光拍攝結(jié)構(gòu)表面，并采用直方圖均衡化、線性灰度拉伸、同態(tài)濾波等對比度增強算法，降低光照條件變化帶來的影響。根據(jù)針孔成像模型，拍攝距離直接影響每個像素對應的實際物理尺寸(即像素當量)，在保證安全的前提下，無人機應盡可能靠近結(jié)構(gòu)表面進行拍攝，以獲取更小的像素當量，提高圖像測量精度。

此外，CCD暗電流噪聲、像元響應非均勻性、散粒噪聲、量化誤差、熱電子噪聲等成像系統(tǒng)自身噪聲對測量精度也有較大影響，應采用中值濾波等方法消除噪聲影響，突出裂紋特征，提高系統(tǒng)測量精度。相機振動會引起圖像抖動和模糊，降低圖像清晰度，直接影響裂紋的精確測量，因此無人機采用基于擠壓式減振球的高精度云臺防抖和減振技術(shù)，保證拍攝圖像穩(wěn)定性和清晰度要求。溫度過高會導致成像系統(tǒng)信噪比急劇下降，過低會影響系統(tǒng)采集圖像的穩(wěn)定性和均勻性，因此在環(huán)境溫度過低時可以先對系統(tǒng)進行適當?shù)念A熱，溫度過高時可以加裝散熱裝置，從而提高成像品質(zhì)，并進一步提高系統(tǒng)測量精度。

3 結(jié)束語

針對大型起重機結(jié)構(gòu)裂紋檢測的特點，設計了倒置式工業(yè)級無人機檢測平臺，能夠?qū)Υ笮推鹬貦C各種關(guān)鍵部位進行多方位拍攝且無視場死角，具備良好的適應性；提出Faster R-CNN深度神經(jīng)網(wǎng)絡裂紋檢測算法，實現(xiàn)了對裂紋缺陷的高精度智能可視化檢測，檢測準確率達到95.4%，速度達到2 f/s，利用裂紋特征參數(shù)識別算法，實現(xiàn)了金屬結(jié)構(gòu)表面裂紋的非接觸式精確測量，現(xiàn)場應用測試表明，上述算法能夠適應復雜背景和復雜特征下起重機械金屬結(jié)構(gòu)表面裂紋的自動檢測和識別要求，提高了無人機視覺的缺陷識別能力。