基于幾何結(jié)構(gòu)測(cè)度的路面裂縫圖像分割算法

盧印舉， 豆艷艷， 戴曙光， 蘇 玉

(1. 上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093; 2. 鄭州工程技術(shù)學(xué)院信息工程學(xué)院，河南 鄭州 450044)

0 引 言

經(jīng)濟(jì)發(fā)展的先決條件為交通運(yùn)輸，公路作為交通運(yùn)輸?shù)闹匾问剑浣】禒顩r和養(yǎng)護(hù)對(duì)于安全交通顯得越來(lái)越重要。路面裂縫檢測(cè)是公路養(yǎng)護(hù)中重要的一個(gè)環(huán)節(jié)。傳統(tǒng)的人工檢測(cè)方式，具有主觀性強(qiáng)、效率低、工作環(huán)境惡劣以及影響交通等缺點(diǎn)，已經(jīng)不能滿足當(dāng)前公路檢測(cè)快速增長(zhǎng)的需求[1]。路面裂縫檢測(cè)的準(zhǔn)確性嚴(yán)重影響后續(xù)裂縫分類、特征分析的正確性，因此，裂縫精準(zhǔn)檢測(cè)對(duì)公路病危評(píng)估具有重大的工程實(shí)踐意義。

隨著計(jì)算機(jī)軟硬件技術(shù)以及圖像處理技術(shù)的發(fā)展，眾多學(xué)者提出各種基于機(jī)器視覺技術(shù)的裂縫檢測(cè)算法，裂縫分割算法主要基于閾值、邊緣檢測(cè)算子以及深度學(xué)習(xí)等方法。在裂縫圖像分割的閾值算法中，Otsu[2]是經(jīng)典的閾值分割算法，由于裂縫的多樣性和背景噪聲，該算法無(wú)法實(shí)現(xiàn)閾值的合理選擇，為了解決這個(gè)缺陷，Akagic[3]等人提出基于相鄰差分直方圖的裂縫分割算法和Wang[4]等人提出自適應(yīng)閾值分割算法，這些分割算法雖然能夠準(zhǔn)確地檢測(cè)和提取路面的裂縫，但是在復(fù)雜背景條件下分割算法的泛化能力和魯棒性較低；國(guó)內(nèi)外許多學(xué)者提出了 Laplace、Sobel、Prewitt、Roberts和 Canny算法等邊緣檢測(cè)算法[5]來(lái)實(shí)現(xiàn)裂縫的自動(dòng)檢測(cè)，這些基于邊緣檢測(cè)算子的裂縫分割算法由于噪聲敏感性僅僅檢測(cè)出裂縫邊緣信息，無(wú)法識(shí)別裂縫的寬度數(shù)據(jù)因而對(duì)路面破損程度不能提供科學(xué)的判斷信息。Xiao[6]等人將多種圖像去噪增強(qiáng)算法引入到經(jīng)驗(yàn)Canny算子來(lái)分割和提取裂縫信息，由于Canny算子只能選取固定分割閾值，針對(duì)較寬的裂縫，容易丟失裂縫內(nèi)部的像素，分割效果不理想；卷積神經(jīng)網(wǎng)絡(luò)(CNN)通過(guò)權(quán)值共享及其局部感受野來(lái)實(shí)現(xiàn)所需要訓(xùn)練的參數(shù)的減少，在語(yǔ)義分割、圖像識(shí)別等領(lǐng)域得到廣泛應(yīng)用[7-8]。文獻(xiàn)[9]利用改進(jìn)的滑動(dòng)窗口將裂縫圖像劃分為更小的面元圖像，提出選用感興趣區(qū)域和金字塔相融合的智能尋優(yōu)搜索來(lái)提高裂縫分類算法的作業(yè)速度，但需要進(jìn)一步優(yōu)化算法的運(yùn)行效率。Lau[10]等人提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的裂縫檢測(cè)方法，采用4層卷積神經(jīng)網(wǎng)絡(luò)完成裂縫方塊圖像特征的提取，該方法的檢測(cè)效果得到提高，但是，裂縫檢測(cè)的深度學(xué)習(xí)模型中多層網(wǎng)絡(luò)訓(xùn)練的參數(shù)設(shè)置容易導(dǎo)致過(guò)分割現(xiàn)象，計(jì)算耗時(shí)復(fù)雜。

為了解決上述裂縫圖像分割算法泛化能力差和分割精度低等缺點(diǎn)，本文提出一種基于幾何結(jié)構(gòu)測(cè)度的路面裂縫圖像分割算法，通過(guò)梯度矢量流場(chǎng)描述裂縫幾何結(jié)構(gòu)并利用Hessian矩陣的特征值獲取裂縫的高階多尺度特征向量，采用條件迭代算法估算裂縫標(biāo)號(hào)場(chǎng)最大后驗(yàn)概率來(lái)實(shí)現(xiàn)圖像分割，為后續(xù)裂縫形狀識(shí)別、寬度與長(zhǎng)度測(cè)量、方向角度以及裂縫拼接等提供高質(zhì)量數(shù)據(jù)。

1 統(tǒng)計(jì)模型

1.1 統(tǒng)計(jì)模型建立

在裂縫檢測(cè)過(guò)程中，裂縫圖像包含裂縫和背景兩部分，其中，背景部分分布在中低灰度區(qū)域，通過(guò)一個(gè)瑞分布和兩個(gè)正態(tài)分布對(duì)背景建模；裂縫目標(biāo)分布在高灰度區(qū)域，采用正態(tài)分布對(duì)裂縫目標(biāo)進(jìn)行建模。設(shè)裂縫圖像表示裂縫圖像第i 個(gè)像素灰度值，為像素總數(shù)量，則像素的灰度混合模型描述為：

利用期望最大化算法(expectation maximization algorithm, EM)[11]經(jīng)過(guò)多次迭代可獲取式(2)中混合模型優(yōu)化參數(shù)，進(jìn)而得到裂縫圖像灰度特征模型。

1.2 模型參數(shù)求解

1)E步驟

根據(jù)式(3)建立裂縫圖像灰度特征模型期望似然函數(shù)，具體表示為：

至此，完成裂縫灰度特征混合模型參數(shù)的優(yōu)化求解。

1.3 多尺度特征提取

1.3.1 梯度矢量流理論

Xu[12]等人在解決演化曲線收斂于目標(biāo)深度凹陷區(qū)域邊界難題中提出了梯度矢量流，梯度矢量場(chǎng)定義為 V (x)=(u(x),v(x))，u(x)和v(x)分別為梯度矢量場(chǎng)的水平和垂直分量，并使下式能量函數(shù)最小化。

圖1 裂縫模擬圖像矢量流場(chǎng)

1.3.2 裂縫相似性函數(shù)構(gòu)造

在裂縫圖像中，裂縫總體為樹狀結(jié)構(gòu)且局部為線性或塊狀結(jié)構(gòu)，為了增強(qiáng)裂縫的對(duì)比度并抑制非裂縫像素，選擇在一定范圍內(nèi)變化的測(cè)量刻度對(duì)圖像的局部特性進(jìn)行分析。將式(10)的矢量場(chǎng)構(gòu)造裂縫Hessian矩陣，令 H (x)=?V(x)，矩陣特征值為λ1、λ2(|λ1|≤ |λ2|)，用和描述裂縫的幾何特征，對(duì)于裂縫圖像中線性結(jié)構(gòu)裂縫，則有|λ1|≈ 0,|λ2|? 0；對(duì)于裂縫圖像中塊狀結(jié)構(gòu)裂縫，則有|λ1|≈ |λ2|? 0，因此，用判斷裂縫的線性結(jié)構(gòu)和塊狀結(jié)構(gòu)。

為了增強(qiáng)圖像中的裂縫并抑制非裂縫像素，要求在裂縫處具有最大的響應(yīng)值，因此，裂縫圖像相似性測(cè)度函數(shù)定義為：

2 結(jié)合高階多尺度特征的裂縫圖像分割

2.1 馬爾科夫隨機(jī)場(chǎng)模型

在裂縫圖像的檢測(cè)過(guò)程中，粗大裂縫在圖像中表現(xiàn)在較高的亮度而易于分割，細(xì)小裂縫和末梢裂縫的模糊、低對(duì)比度等特點(diǎn)使得裂縫分割非常困難，因此，單一的灰度信息無(wú)法進(jìn)行有效的裂縫分割，通常需要引入額外的特征信息來(lái)克服上述問(wèn)題，將多尺度裂縫信息引入到能量函數(shù)之中：

2.2 能量函數(shù)

2.2.1 似然能量函數(shù)

將式(22)多尺度能量函數(shù)、式(18)先驗(yàn)?zāi)芰亢瘮?shù)及式(16)～(17)似然能量函數(shù)代入到式(15)裂縫最小能量函數(shù)，根據(jù)裂縫圖像最小能量準(zhǔn)則并利用條件迭代算法 (iterated conditional model, ICM)[13]使得式(15)能量函數(shù)達(dá)到最小，從而獲得裂縫目標(biāo)的最大標(biāo)號(hào)場(chǎng)來(lái)完成裂縫圖像的分割。

2.3 分割算法流程

設(shè)定能量分割閾值Δ，根據(jù)式(15)描述的能量函數(shù)最小準(zhǔn)則，利用ICM算法來(lái)估計(jì)裂縫的標(biāo)號(hào)場(chǎng)，求解裂縫目標(biāo)的最優(yōu)標(biāo)號(hào)場(chǎng)，所提的路面裂縫圖像分割算法步驟描述如下：

1)獲取裂縫圖像統(tǒng)計(jì)模型：根據(jù)式(3)描述的裂縫圖像灰度混合模型利用EM算法對(duì)式(4)多次迭代，通過(guò)式(6)～(9)依次對(duì)裂縫特征隨機(jī)場(chǎng)的權(quán)值、、均值和 方差進(jìn)行更新，獲取式(2)中的混合模型參數(shù)集合并依式(3)構(gòu)造裂縫圖像灰度統(tǒng)計(jì)模型，用式(16)～(17)建立裂縫圖像似然能量函數(shù)；

2)獲取裂縫的多尺度特征向量：利用式(10)計(jì)算裂縫圖像的矢量場(chǎng)，由式(11)計(jì)算尺度下的測(cè)度值，并利用式(20)構(gòu)造裂縫的多尺度特征向量；

3 實(shí)驗(yàn)結(jié)果與分析

通過(guò)性能測(cè)試實(shí)驗(yàn)和不同算法的對(duì)比分析實(shí)驗(yàn)兩個(gè)部分完成所提算法的性能測(cè)試與分析，在Matlab R2010b軟件上實(shí)現(xiàn)本文算法，運(yùn)行環(huán)境采用 Intel(R)Core(TM) i7-9700 4.7 GHz 處理 器 以 及Windows 10 64位操作系統(tǒng)。

3.1 性能測(cè)試試驗(yàn)

圖2 樣本圖像

圖3 參數(shù)對(duì)裂縫圖像增強(qiáng)的影響

2) 分割算法的性能展示

本文基于貝葉斯分割框架建立裂縫圖像分割而得馬爾科夫隨機(jī)場(chǎng)，利用觀測(cè)圖像，依能量函數(shù)設(shè)計(jì)A與B兩種方案來(lái)驗(yàn)證裂縫圖像分割算法：方案A為單一灰度特征分割模式；方案B為融合灰度和圖像高階多尺度特征的分割模式。為了展示算法的分割性能，本文的實(shí)驗(yàn)選用實(shí)測(cè)圖像并對(duì)實(shí)測(cè)圖像通過(guò)加入高斯噪聲創(chuàng)建合成圖像，對(duì)合成圖像在兩種方案下進(jìn)行分割實(shí)驗(yàn)。高斯噪聲的均值為0且標(biāo)準(zhǔn)偏差范圍為[0, 0.1]。創(chuàng)建5個(gè)噪聲級(jí)別的人工合圖像，在每一級(jí)別的噪聲水平下進(jìn)行100次隨機(jī)分割實(shí)驗(yàn)以進(jìn)行算法性能分析實(shí)驗(yàn)，并用均方根誤差來(lái)測(cè)量圖像分割結(jié)果的平均誤差。每次的隨機(jī)實(shí)驗(yàn)分別在方案A和方案B下進(jìn)行分割運(yùn)算，然后統(tǒng)計(jì)分割結(jié)果的平均誤差和標(biāo)準(zhǔn)偏差，其結(jié)果如圖4所示。

圖4 分割結(jié)果的平均誤差

圖4的誤差線顯示了100次隨機(jī)噪聲分割實(shí)驗(yàn)的平均誤差和標(biāo)準(zhǔn)偏差，結(jié)果表明兩種模式下圖像分割算法基本正確，但是，本文所提算法在裂縫圖像灰度特征的基礎(chǔ)上融合圖像的高階多尺度特征，以能量最小為準(zhǔn)則，通過(guò)裂縫目標(biāo)的最大標(biāo)號(hào)場(chǎng)來(lái)獲取圖像的分割。圖5顯示了標(biāo)準(zhǔn)偏差為0.06的高斯噪聲合成圖像的兩種方案的分割結(jié)果。

圖5 本文算法分割結(jié)果

3.2 對(duì)比實(shí)驗(yàn)分析

1) 評(píng)價(jià)指標(biāo)

針對(duì)路面裂縫的類型和特點(diǎn)，拍攝200張不同地點(diǎn)、不同環(huán)境和不同時(shí)段的路面裂縫照片，樣本涵蓋分岔、粗細(xì)不均及其復(fù)雜陰影等裂縫，裂縫形態(tài)多樣性強(qiáng)，能夠滿足裂縫圖像分割算法的測(cè)試。經(jīng)過(guò)裁剪構(gòu)成512×512的裂縫數(shù)據(jù)集，隨機(jī)選取100張圖片作為參數(shù)優(yōu)化樣本，其余為性能測(cè)試樣本。本文所提算法與當(dāng)前流行的K-means[14]、MRF[13]以及CNN[10]進(jìn)行對(duì)比分析實(shí)驗(yàn)以展示本文所述分割方法的優(yōu)越性和性能，并選取查準(zhǔn)率(PR)、查全率(RE)、綜合指標(biāo)(F1)和重疊率(OR)作為分割結(jié)果衡量指標(biāo)[15]，對(duì)各種裂縫分割方法進(jìn)行定量分析。衡量指標(biāo)的統(tǒng)計(jì)方法計(jì)算如下：

選用F1和OR作為裂縫分割結(jié)果綜合評(píng)價(jià)指標(biāo)，數(shù)值越大則分割結(jié)果越佳。

2) 定性分析

利用采集到的四種典型類型裂縫，對(duì)本文所提出的算法的有效性進(jìn)行驗(yàn)證，不同算法下的裂縫圖像實(shí)驗(yàn)結(jié)果如圖6～圖9所示。不同算法的裂縫分割測(cè)試結(jié)果顯示，K-means算法對(duì)孤點(diǎn)噪聲的敏感性較高，且聚類中心選取直接影響裂縫分割的結(jié)果，裂縫分割結(jié)果呈現(xiàn)出斷裂、不連續(xù)裂縫，并存在一定的干擾噪聲，例如圖6(b)、圖9(b)呈現(xiàn)大量噪聲，圖7(b)、圖8(b)在末梢和細(xì)微處斷裂。MRF算法雖然引入了像素的鄰近灰度系統(tǒng)，分割效果較K-means有所提高，但是分割結(jié)果依然存在大量噪聲，例如圖7(c)和圖9(c)分割結(jié)果。并且這些干擾噪聲甚至淹沒了裂縫信息，直接影響后續(xù)裂縫目標(biāo)的處理。CNN算法雖然解決了噪聲干擾問(wèn)題，但是裂縫形態(tài)隨機(jī)性使得閾值的選取十分困難，因此分割結(jié)果與實(shí)際吻合程度較低，尤其針對(duì)低對(duì)比度裂縫，分割結(jié)果出現(xiàn)斷裂和不連續(xù)，例如圖6(d)和圖9(d)存在噪聲、圖8(d)存在過(guò)分割等現(xiàn)象。與其他裂縫分割算法相比較，本文所提算法能夠有效地解決噪聲、低對(duì)比度給圖像分割帶來(lái)的難題，細(xì)微裂縫和末梢裂縫的分割效果得到改善，分割結(jié)果真實(shí)地反映裂縫的狀況，為后續(xù)的寬度測(cè)量、裂縫拼接、模式識(shí)別提供了高質(zhì)量的圖像品質(zhì)。

圖6 不同算法下的縱向裂縫分割效果圖

圖7 不同算法下的橫向裂縫分割效果圖

圖8 不同算法下的分岔裂縫分割效果圖

圖9 不同算法下的水漬背景裂縫分割效果圖

3) 定量分析

將四種不同分割算法對(duì)自建裂縫數(shù)據(jù)庫(kù)中的100張裂縫圖片進(jìn)行裂縫分割測(cè)試，分析圖6～圖9中不同算法的分割結(jié)果并計(jì)算分割指標(biāo)數(shù)值,分割結(jié)果統(tǒng)計(jì)指標(biāo)如表1所。表1統(tǒng)計(jì)數(shù)據(jù)顯示，K-means算法的PR最小而RE接近最大，MRF算法的PR最大而RE最小，本文算法的PR大于K-means算法以及CNN算法，而RE僅次于CNN算法。無(wú)法利用PR和RE兩個(gè)指標(biāo)對(duì)各個(gè)分割算法的性能進(jìn)行評(píng)估，因此，本文采用F1和OR兩個(gè)綜合指標(biāo)來(lái)評(píng)價(jià)個(gè)算法的裂縫分割性能。本文算法在裂縫圖像灰度特征的基礎(chǔ)上融合圖像的高階多尺度特征，以能量最小為準(zhǔn)則，通過(guò)裂縫目標(biāo)的最大標(biāo)號(hào)場(chǎng)來(lái)獲取圖像的分割，分割的特征信息大于K-means、MRF以及CNN算法。本文算法F1指標(biāo)上達(dá)88.02%，比K-means、MRF以及CNN算法分別高出30.79%、20.65%和19.05%；OR指標(biāo)達(dá)54.92%，比K-means、MRF和CNN算法分別高出9.29%、7.90%和0.39%。因此，可以判斷出K-means算法的裂縫分割效果最差，而本文所提算法具有最佳的分割效果，與圖6～圖9的分割效果基本一致。

表1 算法定量測(cè)試結(jié)果

4 結(jié)束語(yǔ)

本文提出了一種基于幾何結(jié)構(gòu)測(cè)度的裂縫圖像分割算法。利用文獻(xiàn)[12]中的梯度矢量流場(chǎng)的邊緣保留功能，用矢量流場(chǎng)構(gòu)造裂縫Hessian矩陣，通過(guò)Hessian矩陣的特征值描述裂縫的樹狀幾何結(jié)構(gòu)并獲取裂縫的多尺度特征向量；將裂縫的多尺度特征能量函數(shù)引入到裂縫的馬爾科夫隨機(jī)場(chǎng)分割模型之中，基于最小能量準(zhǔn)則，獲取裂縫的最大標(biāo)號(hào)場(chǎng)來(lái)完成裂縫的分割。與其他單一特征分割算法相比，所提算法的綜合指標(biāo)F1達(dá)88.02%，重疊率指標(biāo)OR達(dá)到54.92%，分割性能優(yōu)于其他對(duì)比算法。