陳俁秀,高建民,賀青青,高建國
(1.中國民航大學 交通科學與工程學院,天津 300300;2.長安大學 理學院,西安 710064)
隨著“民航強國”的大力踐行,機場建設發(fā)展迅速,截止2020年底,我國民用航空運輸機場共有241座[1-2]。裂縫通常作為道面檢測中最常見的危害之一,嚴重影響著機場形象和飛機起降滑行的安全性。如若不及時對初期形成的裂縫進行修補,任由其擴大或者雨水和FOD(外來損害物)沿著裂縫進入路基,進一步破壞跑道內部結構,對飛機起降將造成較大安全隱患[3-4]。
目前中外學者對機場道面裂縫檢測做了很多的研究,其中,基于可見光的圖像識別方法有很多,大多采用區(qū)域生長[5-6]、注意力機制[7-8]、卷積神經網(wǎng)絡[9-11]、貝葉斯[12-13]、BP神經網(wǎng)絡[14]等。遺傳神經網(wǎng)絡屬于啟發(fā)式算法,是基于達爾文優(yōu)勝劣汰原理的迭代自適應概率搜索算法,具有不錯的全局尋優(yōu)能力,魯棒性強,是目前應用最廣泛、技術相對成熟的優(yōu)化算法之一。李海豐[15]等提出一種多傳感器融合的裂縫檢測方法,通過差分法檢測和多種數(shù)學形態(tài)學約束獲得裂縫檢測結果。吳治龍[16]等人采用自適應閾值方法分割出候選裂縫,但由于道面背景復雜和噪音干擾,檢測精度還有可提升空間。韓紅陽[17]等人利用注意力機制更加專注細帶狀結構病害區(qū)域,在確定性網(wǎng)絡的基礎上引入額外的殘差塊來提取特征,結果表明mAP(平均精度)達到78.51%。張世瑤[18]等人使用卷積神經網(wǎng)絡分割裂縫原始圖像,將裂縫面積的精準度提升到了93%,但無法檢測出細小、連續(xù)裂縫,因此存在漏檢率相對較高的情況。陳澤斌[19]對U網(wǎng)絡模型構架進行了調整,大大提高了識別精度和泛化能力,在公路裂縫檢測領域取得了較大突破,但需要大量數(shù)據(jù)樣本進行訓練,并不適合應用于機場跑道的裂縫采集。在裂縫檢測領域,如基于深度神經網(wǎng)絡的裂縫檢測,基于卷積神經網(wǎng)絡的裂縫檢測等,這些研究表明神經網(wǎng)絡在裂縫檢測領域具有廣闊的應用前景,為后續(xù)學者提供了研究思路。綜合近年來的研究成果,雖然在檢測精度、效率上相較于早期的檢測模型均有較大的突破,但在應對背景相似度很大且噪音干擾的裂縫檢測效果不理想,存在的效率和精度難以兼顧的問題。
本文以伴有陰影和光照不均勻的機場道面裂縫圖像為研究目標,針對現(xiàn)有研究存在的效率和精度難以兼顧的問題,提出了一種利用遺傳算法優(yōu)化神經網(wǎng)絡的機場道面裂縫檢測算法。首先,將拍攝的機場道面裂縫圖像進行預處理,包括圖像灰度化、高斯濾波以及ROI區(qū)域確定。其次,設定神經網(wǎng)絡拓撲結構,初始化編碼長度以權值閾值及等參數(shù),利用選擇、交叉和變異等操作反復執(zhí)行至最佳進化解,最后在此基礎上搭建匹配的神經網(wǎng)絡,獲得最大分割閾值。通過仿真研究驗證,以遺傳算法優(yōu)化神經網(wǎng)絡為框架核心,能夠對低識別度圖像進行快速準確的檢測。利用該方法能夠更加高效地檢測出機場道面的裂縫,同時在一定程度上提升檢測精度,從而提高維修人員的工作效率。
對于每一類路面狀況,圖像樣本已準備好確保模型的泛化。為驗證本文方法的科學性和準確性,選取了某停機坪部分機場跑道道面數(shù)據(jù),如圖1所示。這些測試圖像顯示了額外的退化、缺陷和特征,這將使裂紋特征的檢測更加困難。本文使用Matlab將裂縫原圖轉化為矩陣形式,從灰度圖、高斯濾波和ROI區(qū)域確定等方面對裂縫圖像進行特征分析,以便后期遺傳神經網(wǎng)絡算法提取圖像特征值。
圖1 機場道面常見的裂縫
本文所采集的機場地面裂縫圖像為彩色RGB圖像,而對機場道面裂縫進行提取無需顏色特征信息,因此對采集到的圖像進行灰度化處理,來降低圖像原始數(shù)據(jù)量,如圖2所示為3種灰度化處理方法。加權平均法根據(jù)R、G、B三通道的重要性對其亮度進行加權平均,理論上W=0.30,V=0.59,U=0.11效果最佳,計算公式如下:
圖2 原始圖像灰度化處理
(1)
平均值法選用R、B、G通道中的平均值作為最終灰度值。公式如下:
(2)
式中,R(i,j)、B(i,j)、G(i,j)分別為R、B、G通道中像素點的灰度值。
由于本文選擇的處理對象為機場道面的裂縫,imshow處理的結果能夠滿足一般的圖像處理需求,但相較于加權平均法整體偏白,平均值法在對比度上較差,經對比得出加權平均法處理的效果最好,圖片對比度也得到了明顯提升。
為避免中值濾波導致的圖像目標不連續(xù),也能夠盡可能地保留圖像的總體灰度分布特性,本文采用高斯濾波來解決抑制服從正態(tài)分布的高斯噪聲[20-21],適用于機場道面圖像處理,可表示為:
(3)
式中,Ig(x,y)為像素點(x,y)經高斯濾波后的灰度;I(xo,yo)為像素點(xo,yo)處的灰度;wx,y為中心像素(x,y)的鄰域;wd(xo,yo)為相似度權重因子。
基于MATLAB中具有平滑性能的高斯濾波器,運用某些數(shù)學運算平滑地變化進而避免了圖像退化過程中信息量的丟失,對復原圖像進行后續(xù)處理[20]。建立基于卷積平滑的低通濾波器,訪問圖像中每個像素值。圖3對比了原圖像直方圖、對比度受限自適應直方圖均衡后的直方圖和高斯濾波后的直方圖,可以看出:預處理步驟對圖像進行了分析很好地去掉噪聲像素點,進一步提高圖像質量,突出圖像特征。
圖3 機場道面圖像直方圖對比(柱形為灰度出現(xiàn)次數(shù),曲線為累計百分數(shù))
在獲取機場道面裂縫圖像過程中,難以避免拍攝到機場道面,這無疑增加了裂縫提取的工作量,在不損失圖像質量的前提下,減少存儲空間,因此用ROI區(qū)域對圖像裂縫進行提取至關重要。對上一步的處理結果進行分析,由圖4(a)可見裂縫周圍聚集大量0值像素點,圖4(b)和(c)中選取裂縫周圍以0值像素點數(shù)量最大列為截取區(qū)域,極大地剔除了裂縫背景中道面信息的干擾。步驟如下:1)輸入并讀取原圖像,創(chuàng)建可變形矩陣;2)結合imrect和imcrop函數(shù)實現(xiàn)截取功能;3)根據(jù)裂縫的形狀、紋理等底層特征,利用圖像分割技術勾選感興趣區(qū)域,并改變矩形框大小;4)保存ROI圖像,為后續(xù)坐標轉換回愿圖像坐標值準備。
圖4 高斯濾波后灰度化圖像
本文通過對大量的機場道面裂縫進行圖像預處理,得出裂縫具有連通性的特點。遺傳算法可以在不需要確定規(guī)則的前提下,自動獲取和優(yōu)化搜尋空間,并且具有較強的魯棒性,相較于BP神經網(wǎng)絡,在對裂縫的提取和分割上有更好的效果。遺傳算法優(yōu)化神經網(wǎng)絡一般需要初始化、計算種群適應值找出最優(yōu)個體、交叉運算以及終止條件的確定等步驟,算法流程圖如圖5所示。
圖5 遺傳算法優(yōu)化神經網(wǎng)絡流程圖
算法執(zhí)行步驟如下:
1)導入數(shù)據(jù),對裂縫原圖進行高斯濾波、灰度化等預處理。
2)參數(shù)初始化,將問題的解編碼成有限長度的字符串,并將其映射到算法的搜索空間中。
3)確定編碼后,生成初始種群并不斷產生適應度越來越高的新種群。
4)執(zhí)行遺傳算法,根據(jù)適應值選擇復制個體,交叉?zhèn)€體以及變異點,并將其添加到新群體中,獲得最優(yōu)解。
5)將遺傳算法得到的最優(yōu)解碼賦予神經網(wǎng)絡,用該網(wǎng)絡擬合非線性函數(shù)。
6)網(wǎng)絡進化參數(shù),把最優(yōu)初始閾值權值賦予網(wǎng)絡訓練。
7)獲取最優(yōu)權值閾值后,神經網(wǎng)絡進行正反向學習,計算誤差并更新權值閾值。
8)輸出分割后的二值化圖像。
2.1.1 初始種群的產生
遺傳算法的起始點是以初始串結構的形式開始迭代的。合適的初始種群大小才能使算法達到最佳運行效果,較小的初始種群量可以提高算法的訓練速度,但也會導致尋優(yōu)空間的分布范圍過小,串結構的多樣性過低;當較大的初始種群量則導致計算冗雜、運行效率降低,使得一些高適應度的串結構被錯誤的排除,影響遺傳。故本文中初始種群的種群大小為100。
2.1.2 編碼
編碼問題在很大程度上決定了變異和交叉算子以及遺傳計算的效率[22]。本文采用多參數(shù)級聯(lián)定點映射編碼來解決裂縫圖像中多實數(shù)函數(shù)的優(yōu)化問題。首先設置隱層神經元數(shù)量為S1=6,并將前S1個編碼作為輸入層到隱藏層的權值。隱藏層到輸出層權值的編碼為S1×S2,第R×S1+S1×S2個后的編碼為輸入層到隱藏層閾值,第R×S1+S1×S2+S1個后的編碼為隱藏層到輸出層閾值,最后計算出S1與S2的輸出;整個遺傳算法編碼長度為S=R*S1+S2+S1+S2。
設整體位串構成的種族數(shù)為N,第p代的第j個(1 (4) 相關誤差滿足: X1=x(i)p(i)+x(i+si+s2) (5) (6) 適應度函數(shù)的確定是遺傳算法的設計要素之一。適應度的解越大,該個體被保留的可能性越大,解的質量也就越好。隱層的傳遞函數(shù)為Tansig,輸出層的傳遞函數(shù)為Purelin。 (7) 識別參數(shù)與真實的輸出參數(shù)之間的擬合值為n+1。n值越大,適應值函數(shù)的可靠性相應越高,cmax值是一足夠大的正數(shù),它與最優(yōu)適應值有關。 對每個求出的種群個體適應值進行規(guī)范化處理,其平均適應值為: (8) 規(guī)范化適值為: (9) 本文算法的特征提取網(wǎng)絡結構擁有3個隱藏層和一個輸出層,隱層擁有6個神經元,理論上隱含層的層數(shù)越多,算法的擬合度也會隨之提高,運行結果也會越好,但是過多的隱含層層數(shù)可能給算法帶來過擬合等問題。本文采用隨機分配將數(shù)字矩陣劃分為訓練樣本、驗證集和測試集。訓練方法采用L-M算法和損失函數(shù)。在神經網(wǎng)絡運行過程中,算法的學習速率決定了系統(tǒng)的穩(wěn)定性和訓練周期的長短,本文默認學習率為0.01。圖6給出了遺傳算法優(yōu)化神經網(wǎng)絡過程。 圖6 BP神經網(wǎng)絡特征提取圖 遺傳算法是通過多次迭代逐步接近最優(yōu)解的,通常情況下以遺傳的代數(shù),即迭代次數(shù)作為停止進化的信號。本文迭代次數(shù)為500,在運算速度和效率中選了一個合適的迭代次數(shù),當?shù)_到500次時,運算停止,初始種群將不再進行迭代。 隨著個體數(shù)目的遞增,綜合評價指標變化如表1所示。 表1 不同個體數(shù)目的綜合評價指標 由表可知,個體數(shù)目取40的時候綜合評價指標取得了最大值,大于40后由于模型的過度學習導致綜合評價指標不降反增,因此本文取個體數(shù)目為40;根據(jù)不同的參數(shù)調整遺傳代數(shù),得到綜合評價指標如表2所示,由此可知遺傳代數(shù)在100時得到的綜合評價指標最大?;诖?,本實驗中個體數(shù)目設為40,遺傳代數(shù)取100。 表2 不同遺傳代數(shù)的綜合評價指標 彭明星[22]等人在圖像邊緣檢測中提出了遺傳算法優(yōu)化BP神經網(wǎng)絡的相關經驗參數(shù)。故本文中遺傳神經網(wǎng)絡允許的迭代次數(shù)最大為500次,在17步收斂到目標值;平均運行時間為4秒;實際誤差為5.0642e-06;最小適應值為0.000 01;最小誤差為0.000 01;激活函數(shù)為tansig;染色體長度14;適應度函數(shù)獨立變量的個數(shù)為9;標準差為1.6,變異概率0.000 1;交叉概率為0.1;輸入范圍[0~255];輸出范圍[0~1];權值變化范圍[-1,1];偏置變化范圍[-0.5,0.5]。 根據(jù)遺傳神經網(wǎng)絡處理的二值圖像,得到縱向裂縫、橫向裂縫、傾斜裂縫的投影圖及其規(guī)律。然后我們建立了一個笛卡爾坐標系,X軸是行數(shù),Y軸是灰度值之和。例如,在圖7(a)中,灰度值在Y軸(X軸)上的投影趨于穩(wěn)定在0以上。而在X軸(Y軸)有一個明顯的峰值,表明縱向(橫向)存在裂紋。在圖7(b)中,Y軸上的灰度值投影稍有波動,而X軸上的灰度值有一個峰值,明顯高于Y軸上的灰度值,表明傾斜方向存在裂紋。其中,因為混凝土為非均勻材料易受砂漿和滲水干擾,局部骨料過大,振搗不均勻,導致了峰值的存在。若傾斜裂紋的擴展方向出現(xiàn)劈裂裂紋和網(wǎng)狀裂紋,則灰度值的投影將根據(jù)原始趨勢出現(xiàn)峰值,如圖7所示。 圖7 不同形狀的裂紋投影 本文實驗環(huán)境采用Inter(R)core(TM)i5-4210H處理器,Nvidia-GTX-850M顯卡,應用環(huán)境:Matlab2021b。選取若干張不同背景環(huán)境下的機場道面裂縫圖像作為測試對象,裂縫圖像包括橫向裂縫、縱向裂縫以及網(wǎng)狀裂縫。 選取區(qū)域生長、BP算法、貝葉斯算法、groundtruth和遺傳神經網(wǎng)絡算法作為對比模型進行仿真測試,在準確率、召回率指標和綜合評價指標的平均值如表3所示。由此可知,本文算法 在P值、R值和F-measure上均明顯優(yōu)于其他3種算法。遺傳神經網(wǎng)絡算法在P值、R值和F-measure上的質量評估結果分別集中在80%~100%、 80%~100%和80%~100%,評估結果處于較高分布范圍,如圖8所示。其P、R和F-measure對應公式如下: 表3 各圖像分割算法評價指標 圖8 不同算法的平均準確率、召回率、F值 (10) (11) (12) P為準確率,R為召回率,F(xiàn)-measure為綜合評價指標。 通過式(13)得到的提取裂縫結果如圖9(c)所示。與傳統(tǒng)的二值化結果比較可以看出:該方法對低識別度圖像實現(xiàn)了較好的實現(xiàn)了精準分割,但是由于裂縫旁的斑點直徑大于裂縫寬度,所以也被保留了下來。若要去除斑點,可以采用將斑點寬直徑(即單個斑點中任意兩點間的最大距離)與斑點面積的比值作為結構元進行去除。由于裂縫有著細長的特點,即寬直徑D與面積S之比很大,而圖像中的斑點接近于圓形,因此D與S之比滿足: 圖9 裂縫二值化與提取 (13) 在二值圖像中,灰度值為1的區(qū)域為裂縫,灰度值為0的區(qū)域為背景。在圖10中,①為其他災害,②為光照不均勻的比例。我們將遺傳算法優(yōu)化神經網(wǎng)絡的方法與貝葉斯、區(qū)域生長、BP算法、ground truth等方法進行比較,并進一步改進二值圖像。原始圖像如圖10(a)、(b)、(c)所示。相機產生的不均勻光照和復雜噪聲影響了機場道面裂縫特征提取的效率。一個單一的閾值錯誤地將陰影設置為目標分數(shù)如圖10(o)所示。機場道面裂縫周圍常伴有FOD、照度不均勻、滲水等干擾,這些干擾會導致裂紋提取中的毛刺、其他非裂紋特征以及非真實裂紋圖像的二值化結果如圖10(g)、(h)、(i)所示。此外,Wang 等[23]利用膨脹和腐蝕操作從隧道圖像中提取裂縫,這些不推薦的形態(tài)操作將改變機場道面裂縫像素的長度和寬度。從圖10(p)、(q)、(r)可以看出,遺傳神經網(wǎng)絡相較于其他幾種傳統(tǒng)檢測算法,在不同干擾和局部陰影的狀況下均具備了更優(yōu)的檢測精度和魯棒性,進一步證明選擇遺傳算法作為所提模型的基礎算法能確保模型能夠擁有更高的下限。 圖10 機場道面裂縫識別結果 在沒有干擾和局部陰影的狀況下,4組模型均能較好地提取出裂縫形狀,即召回裂縫類別的比例較好。但貝葉斯算法的準確率和綜合評價指標平均值僅為7.91%,較其余3種模型仍有較大提升空間,而遺傳神經網(wǎng)絡在綜合評價指標方面相較于區(qū)域生長提高了15%,對比BP神經網(wǎng)絡提高了13%,平均檢測時間為18.22 s,遠高于貝葉斯的32.31 s和區(qū)域生長的38.38 s,這說明本文算法在處理局部陰影下的裂縫圖像時具有較強的效率和精度,較好的滿足了工程和科研的要求。 本文以伴有陰影和光照不均勻的機場道面裂縫圖像為研究目標,針對現(xiàn)有研究存在的效率和精度難以兼顧的問題,提出了一種利用遺傳算法優(yōu)化神經網(wǎng)絡的機場道面裂縫檢測算法,通過準確率、召回率、綜合評價三項指標證明了遺傳神經網(wǎng)絡具有較好的檢測性能。 1)在訓練準則和網(wǎng)絡權系數(shù)的優(yōu)化方面,提高了神經網(wǎng)絡的迭代速率和權系數(shù)優(yōu)化速度,保證了遺傳算法優(yōu)化神經網(wǎng)絡的準確性和效率。同時,在綜合評價、召回率、和準確率3個評價指標上也具有顯著提升,其均值分別為91.28%、85.75%、88.22%,具有很好的收斂性和魯棒性。較好的滿足了工程和科研的要求。 2)與其他圖像分割算法相比,本文算法的適應性更好,抗噪性更強,能夠克服機場道面的多種污染,裂縫提取率高。與傳統(tǒng)人工檢測方法相比,在局部干擾和陰影的狀況下,遺傳神經網(wǎng)絡對比4組模型均能較好地提取出裂縫形狀,即召回裂縫類別的比例較好,相較傳統(tǒng)算法中性能最優(yōu)的BP神經網(wǎng)絡,其綜合評價指標仍有13%的提升,這說明在處理局部陰影下的裂縫圖像時具有較強的效率和精度。在保證提取精度的前提下,減少了時間的消耗,從而節(jié)省大量人力物力。滿足學術和工程的需求。2.2 確定適應值函數(shù)
2.3 停機條件
3 試驗分析
3.1 算法識別結果
3.2 數(shù)值測試
4 結束語