基于滲流和區(qū)域生長聯(lián)合分析的紅外圖像裂縫病害檢測方法

嚴(yán)世強(qiáng) 張宇峰 劉寧寧 馬月輝 劉明靜 韓澤夏

摘? 要： 裂縫病害是影響混凝土結(jié)構(gòu)耐久性的重要因素之一，然而在復(fù)雜服役環(huán)境下，既有裂縫視覺檢測方法難以保證算法的魯棒性和高效性。基于此，文章提出一種基于滲流和區(qū)域生長聯(lián)合分析的裂縫病害檢測模型。首先，為了抑制不均勻光照和背景雜波的干擾，文章選用紅外熱圖像作為裂縫病害感知源。針對紅外裂縫圖像數(shù)據(jù)，提出大津閾值分割和邊緣檢測相結(jié)合的裂縫區(qū)域種子點(diǎn)提取方法，提高裂縫病害檢測效率?；谶x取的種子點(diǎn)區(qū)域，展開裂縫病害滲流與區(qū)域生長聯(lián)合分析，在保證裂縫檢測精度的前提下，進(jìn)一步提升裂縫病害檢測速度。利用紅外熱成像儀對現(xiàn)場混凝土結(jié)構(gòu)進(jìn)行裂縫圖像采集，實(shí)驗(yàn)結(jié)果表明，相比于既有裂縫視覺檢測方法，文章算法在裂縫病害檢測精度和效率兩方面均取得了較為滿意的結(jié)果。

關(guān)鍵詞： 裂縫病害檢測; 紅外圖像; 滲流模型; 區(qū)域生長; 種子點(diǎn)提取; 檢測分析

中圖分類號(hào)： TN247?34; TP391? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）18?0006?05

Abstract： The crack damage is one of the most crucial factors affecting the durability of concrete structures. However， in the complex service environment， the existing crack visual detection methods are difficult to guarantee the robustness and high?efficiency of the algorithm. Based on this， a model of infrared image crack disease detection based on conjoint analysis of percolating and region growing is proposed. The infrared thermal image is used as the crack disease sensing source to suppress the interference of uneven illumination and background clutters. The crack damage region seed point extraction method combined with Otsu threshold segmentation and edge detector is proposed according to the data of infrared crack image to improve the efficiency of the crack disease detection. The conjoint analysis of percolating and region growing for the crack disease is performed based on the selected seek point region， so as to further improve the speed of crack disease detection on the premise of guaranteeing the crack detection precision. The crack images of the concrete structure on site are collected by means of the infrared imaging device. The experimental results show that， in comparison with the existing crack visual detection methods， this algorithm has achieved satisfactory results in both accuracy and efficiency of crack disease detection.

Keywords： crack disease detection; infrared image; percolating model; region growing; seed point extraction; detection analysis

0? 引? 言

隨著交通事業(yè)的飛速發(fā)展，橋梁、公路等混凝土結(jié)構(gòu)安全問題的重要性逐漸提升。裂縫是混凝土結(jié)構(gòu)表面常見的病害之一，然而針對混凝土結(jié)構(gòu)病害檢測問題，目前我國仍以人工巡檢方式為主。人工巡檢方法存在效率低、成本高、主觀性強(qiáng)等缺陷。隨著近幾年圖像處理與人工智能的高速發(fā)展，利用計(jì)算機(jī)視覺技術(shù)對混凝土結(jié)構(gòu)表面圖像進(jìn)行分析，逐漸成為土木結(jié)構(gòu)安全領(lǐng)域的研究熱點(diǎn)之一。目前，國內(nèi)外學(xué)者已先后提出多種基于圖像分析的混凝土裂縫檢測方法[1?2]。

由于裂縫區(qū)域灰度值較小且與背景區(qū)域圖像灰度差異較大，王睿提出將Prewitt邊緣算子與Otsu閾值分割相結(jié)合并利用形態(tài)學(xué)分析去噪的方法檢測裂縫病害[3]，進(jìn)一步增強(qiáng)了算法的魯棒性。劉一等人利用區(qū)域生長模型對建筑物外墻紅外熱圖像進(jìn)行檢測[4]，雖然紅外熱圖像相比可見光圖像有更好的抗干擾能力，但由于該方法對種子點(diǎn)提取與相似性生長閾值計(jì)算方法不夠精準(zhǔn)。Wang等人提出一種基于Canny邊緣算子與K?means聚類相結(jié)合的橋梁裂縫病害檢測模型用于裂縫的精細(xì)提取[5]。2006年，Yamaguchi等首次將滲流模型應(yīng)用于圖像處理領(lǐng)域[6]，滲流模型借鑒了自然界中液體的擴(kuò)散規(guī)律，模擬了自某一中心點(diǎn)按一定規(guī)則向其鄰域逐漸滲透的過程。然而該方法需要對圖中全部像素點(diǎn)逐個(gè)滲流以得到最終檢測結(jié)果。因此，該方法在檢測效率方面并不理想。后續(xù)，瞿中等人利用裂縫區(qū)域灰度值較低的特點(diǎn)，從圖像中提取暗點(diǎn)作為種子點(diǎn)進(jìn)行滲流檢測[7]。該方法在一定條件下能夠提升算法效率，但在光照不足或背景雜波顏色較深的情況下，難以保證算法的魯棒性。

近幾年深度學(xué)習(xí)快速發(fā)展，有學(xué)者將深度學(xué)習(xí)框架應(yīng)用于混凝土裂縫檢測。Zhang等人利用4層卷積神經(jīng)網(wǎng)絡(luò)提取圖像隱層特征，并利用全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行裂縫檢測[8]。Cha等人將圖像進(jìn)行重疊分塊，同樣利用4層卷積神經(jīng)網(wǎng)絡(luò)提取圖像子塊特征，最后利用Softmax分類器實(shí)現(xiàn)裂縫檢測[9]。相比于基于灰度特征表達(dá)的裂縫檢測模型，深度學(xué)習(xí)方法能夠提取裂縫圖像更深層的語義特征，因而更好地處理一些背景雜波干擾。然而深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)相對復(fù)雜且隨著網(wǎng)絡(luò)層數(shù)的增加，網(wǎng)絡(luò)參數(shù)的訓(xùn)練過程異常復(fù)雜，在少量的圖像樣本數(shù)據(jù)集下，該模型容易出現(xiàn)過擬合，進(jìn)而出現(xiàn)裂縫檢測漏檢或背景虛警。

基于此，本文提出一種基于滲流和區(qū)域生長聯(lián)合分析的紅外圖像裂縫病害檢測方法，其流程圖如圖1所示。本文采用紅外熱圖像作為裂縫病害感知源，首先對輸入的紅外熱圖像進(jìn)行增強(qiáng)，抑制由于相機(jī)紅外傳感器不均勻采集產(chǎn)生的溫度畸變對后期裂縫病害檢測的影響。而后，針對種子點(diǎn)提取問題，本文提出了一種邊緣檢測與閾值分割相結(jié)合的種子點(diǎn)提取方法。結(jié)合2種方法優(yōu)點(diǎn)實(shí)現(xiàn)最優(yōu)種子點(diǎn)提取，提升算法效率及精度。基于上述方法，本文進(jìn)一步對滲流模型進(jìn)行改善并結(jié)合區(qū)域生長方法構(gòu)建滲流與區(qū)域生長聯(lián)合分析模型，實(shí)現(xiàn)混凝土結(jié)構(gòu)表面裂縫區(qū)域精準(zhǔn)檢測?，F(xiàn)場實(shí)驗(yàn)結(jié)果表明，相比既有裂縫病害視覺檢測方法，本文算法在裂縫病害檢測精度和效率兩方面均取得了較為滿意的結(jié)果。

1? 算法概述

1.1? 紅外裂縫圖像增強(qiáng)

紅外熱圖像通過利用不同物體間的熱輻射差異性完成對目標(biāo)對象的檢測。正?；炷两Y(jié)構(gòu)表面基本沒有破損，熱輻射率相近。當(dāng)混凝土表面出現(xiàn)裂縫時(shí)，由于裂縫凹陷處存有少量空氣，考慮空氣與混凝土結(jié)構(gòu)的熱輻射率有較大差異，因此利用紅外熱像儀能夠較好地探測混凝土表面裂縫病害。

一般而言，混凝土結(jié)構(gòu)表面的熱輻射率差異較小，因此紅外熱圖像對混凝土結(jié)構(gòu)表面的背景雜波有較好的抑制作用。此外，熱輻射率受光照變化影響較小，即使在光照條件不理想的檢測環(huán)境下仍能保證圖像質(zhì)量，為后續(xù)病害檢測提供良好的數(shù)據(jù)基礎(chǔ)。然而，紅外熱圖像雖有上述優(yōu)點(diǎn)，但由于相機(jī)內(nèi)部原因，在成像過程中可能出現(xiàn)溫度畸變現(xiàn)象，即熱圖像中某些探測點(diǎn)溫度遠(yuǎn)高于實(shí)際溫度，導(dǎo)致圖像溫度區(qū)間增大，溫度分布失衡。在利用溫度信息對圖像進(jìn)行分析時(shí)將出現(xiàn)由于溫度分布失衡而導(dǎo)致的畸變點(diǎn)亮度極高，正常溫度點(diǎn)亮度偏低，裂縫與背景區(qū)域?qū)Ρ榷容^低的現(xiàn)象，增大了后續(xù)裂縫病害的檢測難度。

本文在對溫度畸變現(xiàn)象進(jìn)行分析的基礎(chǔ)上，提出一種紅外圖像增強(qiáng)模型，以克服溫度畸變現(xiàn)象對后期裂縫病害檢測產(chǎn)生的不利影響，具體如下。

1） 從紅外熱圖像中提取出各點(diǎn)溫度信息，設(shè)圖中像素總數(shù)為[G];

2） 對全部像素點(diǎn)溫度信息進(jìn)行升序排序得到溫度序列[L={l1，l2，…，lG}]，從[L]中提取出溫度較高的[λG]個(gè)像素點(diǎn)構(gòu)建溫度畸變序列[L′={l（1-λ）G，l（1-λ）G+1，…，lG}]，并對[L′]中畸變點(diǎn)在圖像中的位置進(jìn)行還原;

3） 以各個(gè)畸變點(diǎn)為中心進(jìn)行大小為[5×5]的最小值濾波，整合得到增強(qiáng)后的溫度信息圖;

4） 對溫度信息圖進(jìn)行線性變換，將其轉(zhuǎn)化為8位深度的單通道圖像。

上述過程中，[λ]為畸變系數(shù)，由相機(jī)參數(shù)決定。相機(jī)穩(wěn)定性越好，溫度畸變發(fā)生概率越小，[λ]越小，反之亦然。

1.2? 紅外裂縫區(qū)域種子點(diǎn)提取

種子點(diǎn)提取是裂縫病害滲流檢測的重要環(huán)節(jié)之一。裂縫病害滲流檢測過程中，每次選取一個(gè)種子點(diǎn)進(jìn)行開窗，并在此基礎(chǔ)上對窗口區(qū)域展開滲流病害檢測，最終通過局部滲流結(jié)果形狀特征判別所選種子點(diǎn)區(qū)域是否屬于裂縫區(qū)域。因此，所選種子點(diǎn)的數(shù)量及質(zhì)量將直接影響算法性能。針對種子點(diǎn)提取問題，部分學(xué)者提出采用邊緣檢測方法，提取裂縫邊緣作為關(guān)鍵區(qū)域種子點(diǎn)。然而邊緣作為裂縫與背景區(qū)域的連接處，其灰度差異比裂縫中心區(qū)域更小，由此導(dǎo)致后期滲流裂縫檢測的誤檢率上升。綜上所述，種子點(diǎn)提取的最優(yōu)位置應(yīng)為與背景區(qū)域灰度差異最大的裂縫中心區(qū)域。

圖2為本文提出的一種邊緣檢測與大津閾值分割相結(jié)合的種子點(diǎn)提取方法。大津閾值分割法通過尋找前景與背景的最大類間方差，計(jì)算圖像最優(yōu)分割閾值，實(shí)現(xiàn)前景與背景的分離。實(shí)際應(yīng)用中裂縫與背景區(qū)域灰度差異較大，大津閾值分割法能夠有效提取出完整裂縫，但在光照不均條件下會(huì)存在虛警，因此本文將邊緣檢測結(jié)果與大津閾值分割結(jié)果相結(jié)合。利用邊緣檢測剔除閾值分割結(jié)果中的虛警，利用閾值分割填充邊緣檢測結(jié)果裂縫內(nèi)部縫隙，再對融合結(jié)果進(jìn)行連通體、形態(tài)學(xué)處理，最終提取出最優(yōu)種子點(diǎn)區(qū)域。

1.3? 滲流模型與區(qū)域生長聯(lián)合分析

滲流模型描述了自然界中液體在孔隙介質(zhì)中的流動(dòng)過程。在裂縫滲流檢測過程中，以種子點(diǎn)為中心的窗口區(qū)域內(nèi)按某種相似性準(zhǔn)則逐漸滲透，重復(fù)迭代滲流過程直至滲流區(qū)域鄰域像素點(diǎn)均不滿足相似性準(zhǔn)則，最后通過式（1）求得局部滲流結(jié)果形狀特征值以判定所選種子點(diǎn)區(qū)域是否屬于裂縫區(qū)域。

式中：[Ccount]為窗口滲流結(jié)果中流體區(qū)域的像素點(diǎn)個(gè)數(shù);[Cmax]表示流體區(qū)域的最大長度。不難看出，[Fcircle]的取值范圍為0～[4π]，其值越接近[4π]，表明以[Cmax]為邊長的方形區(qū)域中的流體像素點(diǎn)數(shù)越多、方形區(qū)域填充率越高、流體形狀越接近于方形或圓。而[Fcircle]越接近于0，則表明以[Cmax]為邊長的方形區(qū)域中的流體像素點(diǎn)數(shù)越少，方形區(qū)域填充率越低，流體形狀越接近于線形。考慮裂縫在形態(tài)上大多呈條形狀，因此[Fcircle]越小，則表示流體形狀越接近線形，流體區(qū)域?yàn)榱芽p區(qū)域的概率越大，滲流迭代次數(shù)越少，停止閾值對當(dāng)前區(qū)域適用性越強(qiáng)。反之，流體區(qū)域有較大概率為背景。

經(jīng)典滲流模型中每次滲流檢測僅對單個(gè)像素點(diǎn)進(jìn)行判別，即使種子點(diǎn)選取結(jié)果中不含噪聲點(diǎn)，巨大的迭代次數(shù)仍需消耗大量時(shí)間，嚴(yán)重影響算法效率?；诖耍疚奶岢鲆环N滲流模型與區(qū)域生長聯(lián)合分析方法，利用滲流模型計(jì)算裂縫種子點(diǎn)衍生流體區(qū)域滲流停止閾值[T]。再以該裂縫種子點(diǎn)為中心，[T]為停止生長閾值，在更大范圍內(nèi)對裂縫區(qū)域進(jìn)行相似性生長，最后對局部結(jié)果進(jìn)行整合，得到最終的裂縫病害檢測結(jié)果。本文方法中，每次滲流過程可實(shí)現(xiàn)區(qū)域檢測，相比經(jīng)典滲流模型的單像素點(diǎn)檢測大幅提升了算法效率。考慮本文是基于滲流模型原理展開裂縫病害檢測的，因此本文將早期Yamaguchi等人提出的滲流裂縫病害檢測算法[6]作為主要對比算法，并在后文中稱為“經(jīng)典滲流算法”。

由于在區(qū)域生長過程中增大了裂縫病害檢測范圍，滲流模型得到的停止閾值有可能不適用于擴(kuò)增后的檢測范圍。因此，本文通過[Fcircle]（見式（1））對局部檢測結(jié)果進(jìn)行判別，僅有當(dāng)檢測結(jié)果較為理想時(shí)，才利用區(qū)域生長模型對擴(kuò)增區(qū)域進(jìn)行檢測。具體如下：若[Fcircle≥Tp]，則判定該種子點(diǎn)為背景點(diǎn);若[Tg

2? 實(shí)驗(yàn)結(jié)果與討論

本文利用FLIR T420紅外熱成像儀采集部分混凝土破損結(jié)構(gòu)，如橋墩、簡支梁、墻面等。圖像采集過程中，盡可能使相機(jī)與混凝土結(jié)構(gòu)表面距離保持不變。在此基礎(chǔ)上，本文共采集了可見光圖像與紅外熱圖像各150張，2種圖像的分辨率均為240×320。本文從數(shù)據(jù)集中隨機(jī)挑選100張紅外熱圖像作為實(shí)驗(yàn)數(shù)據(jù)，用于調(diào)整本文算法參數(shù)，使裂縫檢測模型達(dá)到最優(yōu)檢測效果。剩余圖像集則作為測試數(shù)據(jù)，用于驗(yàn)證本文方法的可行性。在圖像數(shù)據(jù)采集中，為了保證實(shí)驗(yàn)數(shù)據(jù)的多樣性與真實(shí)性，采集數(shù)據(jù)中包含了不同形狀和尺寸在各種干擾條件下的裂縫圖像。為了更加直觀地體現(xiàn)算法性能，本文進(jìn)一步對文中算法與其他裂縫病害檢測方法進(jìn)行對比總結(jié)。為保證實(shí)驗(yàn)公平性，上述方法均采用同一平臺(tái)（Intel i7?6700 3.40 GHz CPU， 16 GB內(nèi)存，WIN10系統(tǒng)，Matlab 2016a）進(jìn)行仿真。

2.1? 定性分析

為了更加直觀地體現(xiàn)本文算法的裂縫檢測效果，圖3對比展示了4種裂縫病害檢測算法與本文算法在6種復(fù)雜干擾下的裂縫檢測結(jié)果。圖3中的第1行為可見光拍攝圖像，第2行為對應(yīng)的紅外裂縫圖像。圖3中第3行為算法1采用的Canny邊緣檢測方法易受背景雜波干擾（見圖3c）中紅色虛線圈標(biāo)注部分，下同），且只檢測到了裂縫邊緣區(qū)域。圖3中第4行算法2采用Otsu方法利用圖像直方圖計(jì)算裂縫與背景的分割閾值，對小面積噪聲有較好的抑制作用，但當(dāng)背景干擾面積較大時(shí)，檢測效果不夠理想。圖3中第5行算法3利用深度卷積網(wǎng)絡(luò)提取圖像子塊特征并利用分類模型進(jìn)行裂縫檢測，取得了較為理想的檢測效果。但由于深度學(xué)習(xí)網(wǎng)絡(luò)較為復(fù)雜，在訓(xùn)練過程中易產(chǎn)生過擬合現(xiàn)象，導(dǎo)致在實(shí)際檢測中對于細(xì)小裂縫容易產(chǎn)生漏檢，見圖3e）。圖3中第6行算法4為經(jīng)典滲流算法，該算法能夠較為完整地提取出裂縫區(qū)域，但在背景噪聲較為復(fù)雜的情況下會(huì)出現(xiàn)裂縫檢測虛警。圖3中第6行為本文方法的裂縫檢測結(jié)果，由實(shí)驗(yàn)結(jié)果可以看出，相比其他4種算法，本文方法能夠取得更為理想的檢測效果。即使在光照條件不理想的情況下見圖3g），也能保證算法的裂縫病害檢測精度。

2.2? 定量分析

為了更加精準(zhǔn)地體現(xiàn)算法性能的提升，本文分別采用準(zhǔn)確率[PR]與召回率[RE]作為檢測指標(biāo)對算法進(jìn)行測試。其中，[PR]為算法檢測到且正確的裂縫區(qū)域像素點(diǎn)數(shù)與檢測到的像素總數(shù)之商，[RE]為算法檢測到且正確的裂縫區(qū)域像素?cái)?shù)與人工標(biāo)記的裂縫像素點(diǎn)總數(shù)之商。圖4與表1共同對比展示了本文算法與經(jīng)典滲流算法的檢測性能。

圖4展示了不同檢測條件下本文算法與經(jīng)典滲流算法的檢測精度。不難看出，基于滲流模型的混凝裂縫病害檢測方法在各種干擾條件下能保持較好的魯棒性。同時(shí)也可看到，在多數(shù)情況下，本文算法可以取得與經(jīng)典滲流裂縫檢測方法基本一致的檢測精度，驗(yàn)證了本文算法在復(fù)雜檢測條件下的魯棒性。表1對不同檢測條件下2種算法的檢測時(shí)間與滲流迭代次數(shù)進(jìn)行了統(tǒng)計(jì)。由對比結(jié)果可知，本文算法能有效減少非必要滲流迭代數(shù)，從而大幅縮短裂縫病害檢測時(shí)間。綜上所述，本文算法能夠在保證檢測精度與經(jīng)典滲流算法幾乎一致的基礎(chǔ)上，提升裂縫病害檢測效率，取得魯棒高效的裂縫檢測效果。

3? 結(jié)? 論

本文提出一種基于滲流和區(qū)域生長聯(lián)合分析的紅外圖像裂縫病害檢測方法。首先對紅外熱圖像溫度畸變產(chǎn)生規(guī)律進(jìn)行分析，得到一種可有效抑制其干擾的紅外熱圖像增強(qiáng)方法。然后對裂縫區(qū)域種子點(diǎn)提取的最優(yōu)位置進(jìn)行討論，并依據(jù)討論結(jié)果建立種子點(diǎn)精準(zhǔn)提取模型，提升了裂縫病害的檢測效率。在上述基礎(chǔ)上，本文進(jìn)一步利用區(qū)域生長模型對滲流裂縫病害檢測模型進(jìn)行優(yōu)化，增大了單次滲流過程的檢測范圍，大大地減少了裂縫病害檢測所需的滲流迭代次數(shù)，使裂縫病害檢測速度進(jìn)一步提升。經(jīng)大量真實(shí)裂縫病害圖像測試，實(shí)驗(yàn)結(jié)果表明，本文算法能取得良好的檢測效果，相比既有裂縫病害檢測模型，能夠在保證檢測精度的前提下顯著提升檢測效率。

參考文獻(xiàn)

[1] YEUM C M， DYKE S J. Vision?based automated crack detection for bridge inspection [J]. Computer?aided civil and infrastructure engineering， 2015， 30（10）： 759?770.

[2] NEOGI N， MOHANTA D K， DUTTA P K. Review of vision?based steel surface inspection systems [J]. EURASIP journal on image and video processing， 2014（1）： 50.

[3] 王睿，漆泰岳，雷波，等.隧道襯砌裂縫特征提取方法研究[J].巖石力學(xué)與工程學(xué)報(bào)，2015，34（6）：1211?1217.

[4] 劉一，劉欣，趙永強(qiáng)，等.紅外熱成像在建筑物外墻裂縫檢測上的應(yīng)用研究[J].科技經(jīng)濟(jì)導(dǎo)刊，2016（2）：96.

[5] WANG G， TSE P W， YUAN M. Automatic internal crack detection from a sequence of infrared images with triple?threshold Canny edge detector [J]. Measurement science and technology， 2017， 29（2）： 103?111.

[6] YAMAGUCHI T， HASHIMOTO S. Image processing based on percolation model [J]. IEICE transactions on information and systems， 2006， 89（7）： 2044?2052.

[7] 瞿中，郭陽，鞠芳蓉.一種基于改進(jìn)滲流模型的混凝土表面裂縫快速檢測算法[J].計(jì)算機(jī)科學(xué)，2017，44（1）：300?302.

[8] ZHANG L， YANG F， ZHANG Y D， et al. Road crack detection using deep convolutional neural network [C]// IEEE International Conference on Image Processing. Phoenix： IEEE， 2016： 3708?3712.

[9] CHA Y J， CHOI W， ORAL B. Deep learning?based crack damage detection using convolutional neural networks [J]. Computer?aided civil and infrastructure engineering， 2017， 32（5）： 361?378.

[10] HAN Te， LIU Chao， YANG Wenguang， et al. A novel adversarial learning framework in deep convolutional neural network for intelligent diagnosis of mechanical faults [J].? Knowledge?based systems， 2018， 165： 474?487.