基于計(jì)算機(jī)視覺的鋼結(jié)構(gòu)表面缺陷智能識(shí)別研究綜述*

姚志東, 盧佳祁, 熊夢(mèng)雅, 盧 煒

(1 中冶建筑研究總院(深圳)有限公司，深圳 518055；2 深圳市建筑幕墻智能檢測(cè)工程技術(shù)研究中心，深圳 518055)

0 引言

鋼結(jié)構(gòu)在服役過程中由于施工不規(guī)范、溫度波動(dòng)、鹽濕環(huán)境、反復(fù)荷載等多因素影響,會(huì)出現(xiàn)螺栓缺失、斷裂與松動(dòng)[1]、鋼構(gòu)件銹蝕[2-3]、焊縫開裂[4]等問題,從而威脅到整個(gè)結(jié)構(gòu)的安全性和穩(wěn)定性,如果不及時(shí)發(fā)現(xiàn)并修復(fù)會(huì)嚴(yán)重影響到鋼結(jié)構(gòu)的服役壽命[1-4]。

針對(duì)鋼結(jié)構(gòu)缺陷,傳統(tǒng)的檢測(cè)方式主要靠人工檢查或接觸式傳感檢測(cè)及監(jiān)測(cè)[5-7]。其中人工檢查[8]的問題有:操作空間受限、人員觀察與記錄周期長、數(shù)據(jù)分析依賴檢測(cè)人員主觀判斷。接觸式傳感檢測(cè)及監(jiān)測(cè)的問題有:大量部署接觸式傳感器成本很高、容易受到溫濕度等外在環(huán)境影響并造成檢測(cè)結(jié)果的失真。

近年來,隨著人工智能技術(shù)的進(jìn)步,基于計(jì)算機(jī)視覺的檢測(cè)方法得到了學(xué)術(shù)界與工業(yè)界的廣泛關(guān)注,該方法可以實(shí)現(xiàn)將圖像信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)并處理離散數(shù)字信號(hào)[9],具有非接觸傳感、成本低、安裝和操作簡單等優(yōu)點(diǎn),可以大幅提升檢測(cè)與監(jiān)測(cè)的效率。深度學(xué)習(xí)技術(shù)[10]在計(jì)算機(jī)視覺領(lǐng)域表現(xiàn)了優(yōu)異的性能,基于深度學(xué)習(xí)的圖像分類[11]、目標(biāo)檢測(cè)[12]、數(shù)據(jù)增強(qiáng)[13]與語義分割[14]等技術(shù)在工業(yè)缺陷檢測(cè)中(如PCB[15]、玻璃[16]、電子[17]、金屬面板[18]、膠囊[19]等)有著深入的研究與應(yīng)用。

我國鋼結(jié)構(gòu)建筑與基礎(chǔ)設(shè)施保有量巨大,每年耗費(fèi)大量的人力、物力成本用于工程運(yùn)維,如何高效、安全、低成本地實(shí)現(xiàn)鋼結(jié)構(gòu)缺陷的工程診斷具有重要的意義。目前針對(duì)鋼結(jié)構(gòu)建筑與基礎(chǔ)設(shè)施表面缺陷的智能檢測(cè)與識(shí)別的相關(guān)研究已經(jīng)取得一定的進(jìn)展,在對(duì)國內(nèi)外研究現(xiàn)狀系統(tǒng)總結(jié)的基礎(chǔ)上,本文研究旨在給出基于計(jì)算機(jī)視覺的表面缺陷識(shí)別技術(shù)流程,并結(jié)合我國實(shí)際情況系統(tǒng)地回顧和總結(jié)出常見的三種鋼結(jié)構(gòu)表面缺陷(高強(qiáng)螺栓缺失與松動(dòng)、鋼構(gòu)件的表面銹蝕和表面裂縫),如圖1所示。

圖1 常見的三種鋼結(jié)構(gòu)表面缺陷

1 基于計(jì)算機(jī)視覺的缺陷識(shí)別流程

根據(jù)計(jì)算機(jī)視覺技術(shù)的特點(diǎn)以及不同缺陷的特征,給出了智能識(shí)別的技術(shù)流程,如圖2所示。由圖2可知,基于計(jì)算機(jī)視覺的缺陷識(shí)別流程由三步組成:圖像采集、目標(biāo)提取和缺陷識(shí)別。

圖2 智能識(shí)別的技術(shù)流程圖

1.1 圖像采集

圖像獲取主要由高清相機(jī)進(jìn)行采集,包括CCD攝像機(jī)、光學(xué)鏡頭、光源及其夾持裝置等[20],其功能是完成表面圖像的采集。工廠內(nèi)的工業(yè)缺陷檢測(cè)主要是將圖像采集設(shè)備放置于生產(chǎn)線上,而本文研究的對(duì)象為鋼結(jié)構(gòu)建筑與基礎(chǔ)設(shè)施,圖像可通過人工手持相機(jī)采集或在固定位置設(shè)置高清攝像頭的方式進(jìn)行采集。

對(duì)于大型鋼結(jié)構(gòu)(比如大跨度結(jié)構(gòu)、橋梁結(jié)構(gòu)等),很多區(qū)域的圖像無法人工獲取,廣泛布置攝像頭成本較高,因此采用無人搭載平臺(tái)(無人機(jī)、無人車、無人船等)集成高清相機(jī)。

近年來,隨著無人機(jī)技術(shù)和RTK定位技術(shù)的長足進(jìn)步,越來越多的工程巡檢中采用了無人機(jī)搭載高清相機(jī)進(jìn)行圖像采集,如圖3所示,特別是電力行業(yè)輸電線路的巡檢[21-22]。但無人機(jī)在土木工程行業(yè)的應(yīng)用目前主要集中在攝影測(cè)量,進(jìn)行以圖像采集為目的的工程巡檢還不普遍。

圖3 某款具備RTK定位與精準(zhǔn)復(fù)拍功能的巡檢無人機(jī)

1.2 目標(biāo)提取

這里的目標(biāo)主要指缺陷,目標(biāo)提取的過程包括感興趣圖像識(shí)別→圖像分割→缺陷目標(biāo)檢測(cè),均需采用基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)[10]方法進(jìn)行深度學(xué)習(xí)模型訓(xùn)練,其中為提高模型泛化能力,需進(jìn)行數(shù)據(jù)增強(qiáng),感興趣圖像識(shí)別采用了目標(biāo)檢測(cè)技術(shù),圖像分割采用了語義分割技術(shù),缺陷目標(biāo)檢測(cè)采用了目標(biāo)檢測(cè)技術(shù)。

1.2.1 神經(jīng)網(wǎng)絡(luò)

目前計(jì)算機(jī)視覺領(lǐng)域最常用的深度學(xué)習(xí)網(wǎng)絡(luò)模型為卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN),其現(xiàn)代網(wǎng)絡(luò)結(jié)構(gòu)由Le Cun等[23]于20世紀(jì)90年代建立,他們?cè)O(shè)計(jì)了一種可以對(duì)手寫數(shù)字進(jìn)行分類的LeNet-5網(wǎng)絡(luò)。該網(wǎng)絡(luò)處理復(fù)雜問題能力不足,Alex K等[24]于2012年提出了與LeNet-5網(wǎng)絡(luò)類似但層次結(jié)構(gòu)更深的AlexNet框架,如圖4所示。

圖4 AlexNet框架[24]

在AlexNet之后,多種CNN的改進(jìn)方法被提出和應(yīng)用,比如ZFNet[25]、VGGNet[26]、GoogleNet[27]和ResNet[28]、EfficientNets[29],這些方法各自的內(nèi)容和特點(diǎn)[12]如表1所示。

表1 不同CNN改進(jìn)方法的內(nèi)容和特點(diǎn)

1.2.2 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)主要是為了減少過擬合現(xiàn)象,通過對(duì)訓(xùn)練圖片進(jìn)行變換(包括尺度變化、透視變換、隨機(jī)旋轉(zhuǎn)和翻轉(zhuǎn)、加高斯噪聲、HSV(色調(diào)hue、飽和度saturation和明度value)空間顏色變換、轉(zhuǎn)灰度等),提高模型泛化能力,而產(chǎn)生過擬合問題的根源是訓(xùn)練樣本不足[13]。

以某橋梁工程螺栓檢測(cè)為例,在模型訓(xùn)練的過程中使用在線數(shù)據(jù)增強(qiáng)的方式,如圖5所示,采用了YOLOv4[30]中的馬賽克數(shù)據(jù)增強(qiáng)方法。

圖5 螺栓數(shù)據(jù)增強(qiáng)最終效果示意

1.2.3 目標(biāo)檢測(cè)

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域的核心問題之一,它的任務(wù)是找出圖像中的感興趣目標(biāo)以及位置和大小。傳統(tǒng)的目標(biāo)檢測(cè)的方法主要包括區(qū)域選擇、特征提取和分類三個(gè)階段,隨著深度學(xué)習(xí)技術(shù)的進(jìn)步,其強(qiáng)大的表征能力以及豐富的特征表示使目標(biāo)檢測(cè)的準(zhǔn)確度獲得了很大提升。

仍以某橋梁工程螺栓檢測(cè)為例,在圖像中找出螺栓即是目標(biāo)檢測(cè),如圖6所示。

圖6 螺栓目標(biāo)檢測(cè)示意

根據(jù)文獻(xiàn)[12]的總結(jié),當(dāng)前常用的目標(biāo)檢測(cè)算法主要包括兩種類型,一種是基于錨點(diǎn)的目標(biāo)檢測(cè)(anchor-based),包括R-CNN[31]、Fast/Faster R-CNN[32]、SSD[33]、YOLO[34]等;另一種是基于關(guān)鍵點(diǎn)的目標(biāo)檢測(cè)(anchor-free),包括CornerNet[35]、ExtremeNet[36]等,兩者區(qū)別在于有沒有利用anchor提取候選目標(biāo)框。雖然anchor-based是目前主流的算法,但同時(shí)存在有限anchors的限制,檢測(cè)框容易受到anchors尺度的影響,anchor-free是目標(biāo)檢測(cè)算法中很有前途的研究方向。

1.2.4 語義分割

圖像是由許多像素組成,而語義分割的目的是將像素(場(chǎng)景圖像)分割解析為與語義類別相關(guān)的不同圖像區(qū)域。傳統(tǒng)的圖像分割方法根據(jù)圖像的顏色、空間結(jié)構(gòu)和紋理信息等特征進(jìn)行處理分析,深度學(xué)習(xí)技術(shù)的進(jìn)步有效支撐了圖像分割技術(shù)的發(fā)展。

同樣以某橋梁工程螺栓檢測(cè)為例,采用圖像分割的方法得到語義分割掩碼圖,從而將感興趣的前景區(qū)域分割出來,如圖7所示。

圖7 橋梁鋼結(jié)構(gòu)語義分割示意

根據(jù)文獻(xiàn)[14]的總結(jié),將現(xiàn)有語義分割算法分為兩類:一類是使用人工高精度加工的像素級(jí)標(biāo)注作為訓(xùn)練樣本的全監(jiān)督學(xué)習(xí)圖像語義分割方法,包括DeepLab系列方法[37]、基于圖像金字塔方法[38]和基于循環(huán)神經(jīng)網(wǎng)絡(luò)方法[39]等;另一類是使用弱標(biāo)注數(shù)據(jù)作為訓(xùn)練樣本的弱監(jiān)督學(xué)習(xí)圖像語義分割方法,包括基于邊界框標(biāo)注方法[40]、基于圖像級(jí)標(biāo)注方法[41]和基于附加數(shù)據(jù)源方法[42]等。其中全監(jiān)督學(xué)習(xí)圖像語義分割方法的分割效果優(yōu)于弱監(jiān)督學(xué)習(xí)圖像語義分割方法。

1.3 缺陷識(shí)別

完成目標(biāo)檢測(cè)獲取感興趣區(qū)域后,下一步是進(jìn)行缺陷識(shí)別,其首要內(nèi)容是針對(duì)缺陷特征的提取,再針對(duì)缺陷特征同標(biāo)準(zhǔn)缺陷樣本進(jìn)行比對(duì),特征相匹配即表明存在缺陷。根據(jù)文獻(xiàn)[20]的總結(jié),缺陷圖像的特征提取可理解為從高維圖像空間到低維特征空間的映射,其有效性對(duì)后續(xù)缺陷的識(shí)別精度、計(jì)算復(fù)雜度、魯棒性等均有重大影響,目前常用的圖像特征主要有紋理特征、顏色特征、形狀特征等。

本節(jié)所提的缺陷識(shí)別流程為一般流程,具體的技術(shù)流程要根據(jù)不同缺陷的具體特點(diǎn)進(jìn)行專門制定和研究。

2 鋼結(jié)構(gòu)表面缺陷的智能識(shí)別

2.1 高強(qiáng)螺栓缺失與松動(dòng)

對(duì)于鋼結(jié)構(gòu)螺栓連接節(jié)點(diǎn)而言,主要的表面缺陷有兩種:螺栓缺失與螺栓松動(dòng)。

2.1.1 螺栓缺失

結(jié)合文獻(xiàn)[43-50]發(fā)現(xiàn)目前對(duì)于螺栓缺失的缺陷檢測(cè)的方法較少,現(xiàn)有為數(shù)不多的方法主要是基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法[43],該方法通過訓(xùn)練螺栓缺失樣本,進(jìn)而直接檢測(cè)螺栓缺失的缺陷。然而通過實(shí)際工程調(diào)研,發(fā)現(xiàn)螺栓缺失后的特征多種多樣,尤其一些螺栓延遲斷裂后,螺桿仍然保留在螺孔中,且?guī)缀跖c連接面齊平,缺陷特征不夠顯著,如圖8所示。

圖8 幾種螺栓缺失的情況示意

當(dāng)前深度學(xué)習(xí)的算法如果想擁有優(yōu)良的性能,十分依賴訓(xùn)練樣本的質(zhì)量和數(shù)量,但在實(shí)際工程中采集到大量的螺栓缺失樣本十分困難,因此直接檢測(cè)的方法很難達(dá)到滿意的效果。文獻(xiàn)[44]將缺陷異常檢測(cè)轉(zhuǎn)化為正常螺栓檢測(cè)的問題,檢查關(guān)鍵部件上的螺栓當(dāng)前數(shù)量與原始數(shù)量是否一致,避免了缺陷樣本較少的問題。該方法的缺點(diǎn)在于,當(dāng)螺栓目標(biāo)較小或出現(xiàn)污漬與銹蝕時(shí),其特征與螺栓缺失特征相近,容易造成螺栓的漏檢與誤檢,如圖9所示,因此該思路有較大的提升空間。

圖9 正常螺栓檢測(cè)方法的缺點(diǎn)示例

上述研究表明僅靠深度學(xué)習(xí)的目標(biāo)檢測(cè)算法檢測(cè)螺栓缺失,其可靠性還有待提升。

2.1.2 螺栓松動(dòng)

螺栓松動(dòng)是由于螺栓擰緊后軸向預(yù)緊力的減小引起的。常見的螺栓松動(dòng)可能是由于連接件反復(fù)相對(duì)滑動(dòng)磨損或螺栓與連接件的塑性變形引起的。對(duì)于螺栓松動(dòng)的檢測(cè)有三類方法。

第一類檢測(cè)方法是劃線標(biāo)定檢測(cè)法,如圖10所示。根據(jù)文獻(xiàn)[45]的總結(jié),屬于現(xiàn)場(chǎng)檢測(cè)技術(shù)的一種,具體方法是在螺栓擰緊后,在螺母與連接結(jié)構(gòu)上畫一條特定顏色的直線,如果螺栓出現(xiàn)松動(dòng),則檢測(cè)螺母上的直線與連接結(jié)構(gòu)的直線會(huì)發(fā)生錯(cuò)位,從而判斷出螺栓松動(dòng)。該方法在軌道列車的螺栓檢測(cè)上應(yīng)用廣泛,然而鋼結(jié)構(gòu)工程由于螺栓數(shù)量較多,節(jié)點(diǎn)形態(tài)各異,若采用該方法會(huì)導(dǎo)致檢測(cè)成本較高,因而較少采用。

圖10 劃線標(biāo)定檢測(cè)法

第二類方法是通過檢測(cè)螺栓與連接面是否出現(xiàn)分離來判斷螺栓松動(dòng)情況。文獻(xiàn)[46]通過深度學(xué)習(xí)目標(biāo)檢測(cè)的方法檢測(cè)螺紋暴露的狀態(tài)以判定螺栓是否松動(dòng),如圖11所示。該方法存在兩個(gè)缺點(diǎn):一是在實(shí)際工程中螺紋暴露的圖像樣本難以采集,僅靠實(shí)驗(yàn)室模擬的有限缺陷樣本難以代表既有鋼結(jié)構(gòu)工程的實(shí)際缺陷狀態(tài),即無法解決深度學(xué)習(xí)中跨域的問題,如圖12(a)所示;二是該類方法需要從側(cè)面拍攝才能采集到螺紋暴露的特征,而實(shí)際工程的螺栓連接節(jié)點(diǎn)上螺栓的排列數(shù)量較多且比較密集,所采集圖像中螺栓之間的遮擋比較嚴(yán)重,如圖12(b)所示。因此該類方法適用性較差。

圖11 螺栓與連接面的分離[46]

圖12 檢測(cè)螺栓與連接面分離方法的缺點(diǎn)示例

第三類方法是通過比對(duì)檢測(cè)到的歷史和當(dāng)前的螺栓邊緣直線角度的差值判斷螺栓是否發(fā)生松動(dòng)。文獻(xiàn)[47]首先對(duì)螺栓連接節(jié)點(diǎn)進(jìn)行透視變換,將進(jìn)行比對(duì)的兩張照片轉(zhuǎn)換成同一視角,然后對(duì)檢測(cè)到的螺栓區(qū)域進(jìn)行Hough變換以檢測(cè)螺栓角度,通過比較對(duì)應(yīng)螺栓角度的差值以判斷螺栓是否松動(dòng),如圖13所示。該方法的缺點(diǎn)主要有兩點(diǎn):一是在透視變換選取參考點(diǎn)時(shí)采用了人工選取的方式,自動(dòng)化無法得到保證;二是在螺栓邊緣直線檢測(cè)上直接在原圖使用Hough變換,容易受到光線、污漬與銹蝕等其他邊緣的干擾,魯棒性較差,如圖14所示。

圖13 螺栓邊緣直線檢測(cè)[47]

圖14 對(duì)比螺栓邊緣直線角度差方法的缺點(diǎn)示例

文獻(xiàn)[48]在文獻(xiàn)[47]的基礎(chǔ)上進(jìn)一步研究,采用了alpha-shape[49]算法對(duì)單元螺栓連接節(jié)點(diǎn)螺栓的外輪廓螺栓位置進(jìn)行提取,進(jìn)而找到角點(diǎn)螺栓作為透視變換的參考點(diǎn),如圖15所示。然而該方法未考慮到螺栓缺失與螺栓目標(biāo)誤檢或漏檢的情況,如圖16所示,當(dāng)角點(diǎn)螺栓缺失時(shí),無法檢測(cè)出與標(biāo)準(zhǔn)螺栓節(jié)點(diǎn)圖像對(duì)應(yīng)的參考點(diǎn),因此適應(yīng)性有待提高。

圖15 螺栓參考點(diǎn)獲取方法[48]

圖16 螺栓角點(diǎn)定位提取方法的缺點(diǎn)示例

文獻(xiàn)[50]中,進(jìn)行邊緣直線檢測(cè)的對(duì)象是螺栓所在的節(jié)點(diǎn)板,同樣采用Hough變換,然后通過提取各邊緣直線交點(diǎn)作為透視變換的參考點(diǎn),然而此方法容易受到周圍其他邊緣的干擾,難以提取準(zhǔn)確的節(jié)點(diǎn)板直線。如圖17所示,節(jié)點(diǎn)板邊緣直線檢測(cè)方法錯(cuò)誤地提取了很多非連接板邊緣直線,此外,螺栓連接節(jié)點(diǎn)區(qū)域并非都固定在節(jié)點(diǎn)板上,因此此方法通用性不高。

圖17 節(jié)點(diǎn)板邊緣直線檢測(cè)方法的缺點(diǎn)示例

2.2 鋼結(jié)構(gòu)表面銹蝕

銹蝕是鋼結(jié)構(gòu)的常見缺陷,當(dāng)鋼結(jié)構(gòu)表面防腐涂層破壞以后,鋼材直接接觸周圍大氣環(huán)境,很容易產(chǎn)生銹蝕問題,對(duì)鋼結(jié)構(gòu)的安全使用產(chǎn)生嚴(yán)重威脅。當(dāng)鋼結(jié)構(gòu)發(fā)生銹蝕后,表面顏色會(huì)發(fā)生變化,因此適合用計(jì)算機(jī)視覺的方法進(jìn)行檢測(cè),目前這方面的研究方向主要有兩類。

第一類是基于銹蝕顏色特征的鋼結(jié)構(gòu)銹蝕區(qū)域檢測(cè)。文獻(xiàn)[51]采用在RGB 空間獲取材料腐蝕特征圖像信息,通過HSV 顏色空間描述該腐蝕特征區(qū)域的顏色值的方法,可滿足腐蝕特征顏色等級(jí)的評(píng)定要求。文獻(xiàn)[52]使用了一種結(jié)合粗糙度和顏色兩個(gè)視覺特征的算法,用于在給定的圖像中定位銹蝕區(qū)域,其中粗糙度分析考慮了由灰度共生矩陣計(jì)算的均勻度度量,顏色分析使用了從HSV顏色空間的數(shù)據(jù)集中提取銹蝕代表顏色直方圖,研究表明該方法是有效的。上述方法的優(yōu)點(diǎn)在于基本不會(huì)漏檢銹蝕區(qū)域,但缺點(diǎn)在于容易將背景中與銹蝕顏色特征相近的區(qū)域誤檢成銹蝕區(qū)域,如圖18所示(與銹蝕顏色相近的地面被誤檢為銹蝕)。

圖18 基于HSV顏色空間銹蝕檢測(cè)的缺點(diǎn)示例

第二類是采用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)或圖像分割方法進(jìn)行鋼結(jié)構(gòu)銹蝕區(qū)域檢測(cè)。文獻(xiàn)[53]介紹了一種基于卷積神經(jīng)網(wǎng)絡(luò)的金屬表面銹蝕評(píng)估方法,對(duì)兩種預(yù)訓(xùn)練的最新卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和兩種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的性能進(jìn)行了評(píng)估,研究結(jié)果表明,卷積神經(jīng)網(wǎng)絡(luò)的性能優(yōu)于基于紋理和顏色分析的銹蝕檢測(cè)方法,且該研究所提出的卷積神經(jīng)網(wǎng)絡(luò)顯著提升了效率。文獻(xiàn)[54]提出了一種對(duì)銹蝕圖像進(jìn)行語義分割來實(shí)現(xiàn)銹蝕區(qū)域的檢測(cè)與定量分析的方法,以蘇通大橋銹蝕數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)并對(duì)其進(jìn)行了數(shù)據(jù)增強(qiáng),最終正確率可以達(dá)到訓(xùn)練集92.55%和驗(yàn)證集90.56%。文獻(xiàn)[55]提出了一種改進(jìn)的輕量化目標(biāo)檢測(cè)網(wǎng)絡(luò),并將該方法用于檢測(cè)岸橋表面銹蝕,該網(wǎng)絡(luò)相對(duì)于其他輕量級(jí)網(wǎng)絡(luò)速度快、精度高,在嵌入式設(shè)備計(jì)算資源有限的情況下也能勝任圖像識(shí)別、目標(biāo)檢測(cè)等視覺任務(wù),如圖19所示。上述方法均基于深度學(xué)習(xí),其優(yōu)點(diǎn)在于魯棒性較高,但缺點(diǎn)在于有限的銹蝕缺陷樣本數(shù)量會(huì)影響檢測(cè)精度。

圖19 基于圖像分割方法的鋼結(jié)構(gòu)銹蝕檢測(cè)[55]

2.3 鋼結(jié)構(gòu)表面裂縫

鋼結(jié)構(gòu)表面裂縫的檢測(cè)可以歸類為裂縫檢測(cè)問題,相關(guān)研究中最常見的裂縫檢測(cè)對(duì)象是路面裂縫,對(duì)鋼結(jié)構(gòu)及焊縫的裂縫檢測(cè)研究較少?；谟?jì)算機(jī)視覺的裂縫檢測(cè)方法大致可分為兩類:圖像處理方法和深度學(xué)習(xí)方法。

圖像處理方法常見的方法有:閾值分割法[56]、邊緣檢測(cè)法[57]、直方圖分割法[58-59]等, 這些方法在圖像處于某些特定條件下能夠達(dá)到比較好的檢測(cè)效果,然而當(dāng)圖像背景復(fù)雜,如存在光照不均、陰影、污漬等情況時(shí)則魯棒性較差。這些方法目前常用于對(duì)象單一的路面檢測(cè)。

基于深度學(xué)習(xí)的方法在裂縫檢測(cè)的性能上要優(yōu)于傳統(tǒng)的圖像處理法,主要分為兩類。

第一類是基于滑動(dòng)窗口的方法[60],普遍采用卷積層結(jié)合全連接層的二分類神經(jīng)網(wǎng)絡(luò)判斷窗口內(nèi)是否含有裂縫,如圖20所示。由于使用了全連接層,輸入圖像尺寸只能是滑動(dòng)窗口的尺寸,因此大量窗口區(qū)域圖像分批次循環(huán)輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行運(yùn)算非常耗時(shí)。在提取裂縫時(shí),大部分研究都采用了在窗口區(qū)域內(nèi)使用最大類間閾值分割法[61]對(duì)裂縫進(jìn)行最終的提取,然而該方法計(jì)算的閾值比實(shí)際閾值略高,導(dǎo)致提取的裂縫寬度比實(shí)際裂縫要寬,當(dāng)背景區(qū)域干擾噪聲較多時(shí),這些干擾區(qū)域很難用形態(tài)學(xué)的開閉操作[62]去除掉。

圖20 使用滑動(dòng)窗口法的鋼結(jié)構(gòu)表面裂縫檢測(cè)

第二類是圖像分割法(1.2.3節(jié)),即將整個(gè)裂縫圖像中不同類別的像素用不同顏色標(biāo)注出來。深度學(xué)習(xí)的圖像分割模型[14]包含了多種全卷積網(wǎng)絡(luò)模型,包括FCN、U-Net、DeepLab等,這些模型魯棒性較高,可以準(zhǔn)確地恢復(fù)裂縫的形態(tài)與細(xì)節(jié)特征。文獻(xiàn)[63-64]均采用深度卷積神經(jīng)網(wǎng)絡(luò)分別對(duì)鋼橋節(jié)點(diǎn)板焊接接頭裂縫和橋梁鋼箱梁表面疲勞裂縫進(jìn)行了檢測(cè)及研究,獲得了良好的識(shí)別精度。然而對(duì)于裂縫本身的特征而言,狹長的裂縫區(qū)域在整個(gè)圖像中相對(duì)背景而言往往占比很低,這就意味著負(fù)樣本數(shù)量(背景區(qū)域)要遠(yuǎn)遠(yuǎn)大于正樣本數(shù)量(裂縫區(qū)域),這種樣本的嚴(yán)重不均衡會(huì)導(dǎo)致模型訓(xùn)練時(shí)更關(guān)注負(fù)樣本的學(xué)習(xí)而忽略了正樣本的學(xué)習(xí),影響裂縫識(shí)別效果。

文獻(xiàn)[65]對(duì)第一類方法中最大類間閾值分割法(OTSU)和第二類方法中采用U-Net網(wǎng)絡(luò)模型的方法之間的優(yōu)缺點(diǎn)進(jìn)行了對(duì)比和舉例說明。如圖21所示,OTSU分割法容易將背景干擾區(qū)域誤識(shí)別為裂縫區(qū)域,當(dāng)裂縫區(qū)域較細(xì)時(shí),OTSU分割法和U-Net圖像分割法提取裂縫結(jié)果的連續(xù)性較差。

圖21 兩種方法檢測(cè)結(jié)果的對(duì)比[65]

3 未來研究方向

前文總結(jié)了基于計(jì)算機(jī)視覺的缺陷識(shí)別流程和目前國內(nèi)外鋼結(jié)構(gòu)表面缺陷智能識(shí)別的研究現(xiàn)狀,未來的研究方向主要是如何解決目前研究的缺點(diǎn)和不足。

3.1 目前研究的不足

根據(jù)對(duì)鋼結(jié)構(gòu)表面缺陷智能識(shí)別相關(guān)研究的總結(jié),現(xiàn)有研究還存在許多問題,難以形成產(chǎn)業(yè)化應(yīng)用,具體包括:

(1)鋼結(jié)構(gòu)缺陷待檢測(cè)圖像中的背景信息、光照與污跡等噪聲造成偽缺陷,導(dǎo)致誤檢率較高。

(2)現(xiàn)有缺陷識(shí)別方法單一地采用分類、目標(biāo)檢測(cè)與語義分割等技術(shù),當(dāng)正常樣本與缺陷樣本在某些維度特征相近時(shí),容易造成缺陷的漏檢。

(3)缺陷樣本難以低成本搜集,少量缺陷樣本無法保證模型泛化性能,而基于小樣本的深度學(xué)習(xí)技術(shù)尚不成熟。

(4)鋼結(jié)構(gòu)表面裂縫這種細(xì)小缺陷在檢測(cè)時(shí)存在魯棒性差或者模型訓(xùn)練時(shí)正負(fù)樣本數(shù)據(jù)不均衡的問題。

3.2 計(jì)算機(jī)視覺方法的改進(jìn)

如前文所述,以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)方法[10]在計(jì)算機(jī)視覺領(lǐng)域的基礎(chǔ)理論研究日益成熟,其魯棒性要遠(yuǎn)遠(yuǎn)優(yōu)于傳統(tǒng)的機(jī)器學(xué)習(xí)方法或圖像處理方法。但當(dāng)前的深度學(xué)習(xí)算法在解決小樣本問題[66]、長尾問題[67]與非顯著目標(biāo)識(shí)別[68]等問題上仍有待提高,未來的研究應(yīng)著眼于這些問題,給出系統(tǒng)性的解決方法。

本文認(rèn)為可以在已有基于深度學(xué)習(xí)方法的研究良好效果的基礎(chǔ)上,嘗試開展基于已知多維先驗(yàn)性深度特征交叉判斷的缺陷識(shí)別研究,從而實(shí)現(xiàn)目標(biāo)特征的顯著化、檢測(cè)數(shù)據(jù)的均衡化與檢測(cè)任務(wù)的簡單化,最終提高深度學(xué)習(xí)方法的準(zhǔn)確性。

3.3 鋼結(jié)構(gòu)表面缺陷的智能識(shí)別

通過總結(jié)已有鋼結(jié)構(gòu)表面缺陷智能識(shí)別方法的缺點(diǎn),采用基于多維度深度特征與幾何特征交叉判斷的研究思路,未來的研究方向如下。

(1)目前螺栓缺失檢測(cè)的主要問題是:在通過檢測(cè)正常螺栓間接判斷螺栓缺失時(shí),由于鋼結(jié)構(gòu)螺栓連接節(jié)點(diǎn)螺栓數(shù)量較多,又限于大部分服務(wù)器的計(jì)算性能,目標(biāo)檢測(cè)模型在訓(xùn)練和測(cè)試時(shí)圖像分辨率一般不會(huì)太高,造成單個(gè)螺栓目標(biāo)不是很顯著,容易與背景的一些其他類似特征混淆,造成模型將螺栓缺失區(qū)域特征或污漬特征等誤檢成螺栓,間接造成缺陷的漏檢。針對(duì)上述問題,可在低分辨率螺栓目標(biāo)檢測(cè)時(shí)將閾值降低,保證不漏檢正常螺栓,然后將所有單體螺栓區(qū)域在原始高清圖像提取出來,再經(jīng)過高精度二分類卷積神經(jīng)網(wǎng)絡(luò)模型剔除掉誤檢目標(biāo),從而提高螺栓辨識(shí)精度。

(2)螺栓松動(dòng)檢測(cè)的前提是要將當(dāng)前采集圖像的視角轉(zhuǎn)換成與標(biāo)準(zhǔn)螺栓連接節(jié)點(diǎn)圖像相同的視角后再進(jìn)行比對(duì),所采用的方法為圖像處理技術(shù)中常用的透視變換[69]方法,而如何自動(dòng)準(zhǔn)確地獲取透視變換四個(gè)參考點(diǎn)是本方案成功與否的關(guān)鍵。在未來的研究中,針對(duì)螺栓節(jié)點(diǎn)的特征,即無論是螺栓位置信息還是節(jié)點(diǎn)板信息都可以提供可靠的固定位置信息,也都可以作為透視變換的參考點(diǎn)。

(3)基于銹蝕顏色特征的鋼結(jié)構(gòu)表面銹蝕檢測(cè),關(guān)鍵在于排除掉非檢測(cè)區(qū)域近似顏色信息的干擾。未來的研究工作中,可進(jìn)行針對(duì)性的研究,即:在圖像采集階段確保采集的數(shù)據(jù)具備用于深度學(xué)習(xí)的數(shù)據(jù)數(shù)量與質(zhì)量,然后通過圖像分割的方法準(zhǔn)確地檢測(cè)到鋼結(jié)構(gòu)區(qū)域,并排除非鋼結(jié)構(gòu)區(qū)域的干擾。

(4)對(duì)于使用圖像分割的裂縫提取方法而言,在裂縫檢測(cè)過程中背景區(qū)域遠(yuǎn)大于裂縫區(qū)域,造成樣本的不均衡,是裂縫識(shí)別需要解決的一個(gè)主要問題。未來的研究可以通過預(yù)過濾非目標(biāo)背景區(qū)域的方式平衡圖像分割前景與背景區(qū)域數(shù)據(jù),提高裂縫區(qū)域的顯著性,從而提升裂縫識(shí)別的準(zhǔn)確性;此外,后期還可進(jìn)一步基于分類算法實(shí)現(xiàn)高效的滑動(dòng)窗口判別算法,用于進(jìn)行感興趣區(qū)域篩選工作。

4 結(jié)語

本文涉及到計(jì)算機(jī)視覺、人工智能、鋼結(jié)構(gòu)工程及缺陷識(shí)別等多學(xué)科交叉研究和應(yīng)用,面向表面缺陷診斷的工程需求,從圖像處理、算法研究、智能診斷等多個(gè)方面對(duì)鋼結(jié)構(gòu)表面缺陷智能識(shí)別的關(guān)鍵技術(shù)問題進(jìn)行系統(tǒng)性的總結(jié)研究。目前的研究工作證明將人工智能技術(shù)引入土木工程診斷領(lǐng)域是可行的,同時(shí)從整體而言,技術(shù)還不完全成熟,尚有可以進(jìn)一步研究和發(fā)展的空間。隨著計(jì)算機(jī)技術(shù)的不斷進(jìn)步和相關(guān)研究工作的陸續(xù)開展,智能診斷技術(shù)會(huì)發(fā)展成為工程診斷行業(yè)的新領(lǐng)域。