基于紅外圖像識(shí)別技術(shù)的道路與橋梁故障診斷

劉 凱

(北京新航程開發(fā)建設(shè)有限公司,北京 102600)

隨著現(xiàn)代社會(huì)的發(fā)展，圖像處理技術(shù)被廣泛應(yīng)用于各個(gè)領(lǐng)域，如人臉識(shí)別、人體檢測、目標(biāo)感知等，人們對高質(zhì)量圖像的要求越來越高，高質(zhì)量的圖像可以提高圖像處理的精度和效率。現(xiàn)如今，交通系統(tǒng)是支撐整個(gè)社會(huì)運(yùn)行的最重要的基礎(chǔ)系統(tǒng)之一，然而，經(jīng)過歲月的積累，某些城市的道路與橋梁存在安全隱患，隨時(shí)有可能出現(xiàn)故障，因此，有必要對道路與橋梁的狀態(tài)進(jìn)行有效監(jiān)控，快速、準(zhǔn)確地識(shí)別目標(biāo)圖像中的故障情況，從現(xiàn)有的研究成果來看，圖像識(shí)別技術(shù)仍然是一大難題。

針對上述問題，文獻(xiàn)[4]研究了基于YOLO模型的檢測方法，YOLO模型是一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)模型，特別適合應(yīng)用與無人機(jī)等硬件設(shè)備視頻監(jiān)測。該方法對4種橋梁上的6個(gè)部位的圖像檢測準(zhǔn)確率平均達(dá)到93.7%，在圖形處理器上可以以20fps的速度運(yùn)行。然而，該模型的計(jì)算成本對于邊緣計(jì)算來說過于昂貴。文獻(xiàn)[5]結(jié)合了模糊聚類算法與Canny算子，實(shí)現(xiàn)道路與橋梁圖像中缺陷的識(shí)別，進(jìn)而計(jì)算缺陷的具體直徑。該方法能夠識(shí)別出幾乎所有的缺陷邊緣，但它也包含了大量的冗余信息，這會(huì)給缺陷的識(shí)別帶來一定的干擾。

1 總體方案設(shè)計(jì)

基于上述技術(shù)的不足，本研究基于紅外線掃描技術(shù)設(shè)計(jì)了道路橋梁智能監(jiān)控系統(tǒng)，該系統(tǒng)包含大數(shù)據(jù)圖像識(shí)別中心，并采用裝有紅外對射光柵的故障監(jiān)控機(jī)進(jìn)行數(shù)據(jù)監(jiān)測和分析，實(shí)現(xiàn)集圖像識(shí)別、數(shù)據(jù)管理和應(yīng)用于一體，道路橋梁智能監(jiān)控系統(tǒng)框架如圖1所示。

圖1 道路橋梁智能監(jiān)控系統(tǒng)框架

在圖1中，故障監(jiān)控機(jī)通過紅外線掃描監(jiān)測道路與橋梁中各個(gè)部位的健康狀況，基于單片機(jī)芯片的控制系統(tǒng)能夠讓故障監(jiān)控機(jī)自動(dòng)運(yùn)行。根據(jù)路徑規(guī)劃模塊中的GPS定位系統(tǒng)設(shè)計(jì)好行動(dòng)路線，以便在日后的重復(fù)拍攝時(shí)固定拍攝角度，規(guī)范案例庫及減少圖像配準(zhǔn)和識(shí)別難度。對采集到的道路與橋梁圖像信息進(jìn)行實(shí)時(shí)傳輸，以實(shí)現(xiàn)特殊情況應(yīng)急處理。

在遠(yuǎn)山與高原地區(qū)，系統(tǒng)中存在各種強(qiáng)干擾源，使用故障檢測機(jī)包含有濾波器等抗干擾儀器及信號(hào)處理算法來提高信號(hào)傳輸?shù)馁|(zhì)量和速度，并通過移動(dòng)通信模塊連接至技術(shù)人員的手機(jī)端，通過輸入命令短信達(dá)到遠(yuǎn)程控制的效果。故障檢測機(jī)采集到的圖像數(shù)據(jù)會(huì)傳輸至圖像識(shí)別中心，根據(jù)本研究所構(gòu)建的分層圖像融合算法框架進(jìn)行集中處理，并得出相應(yīng)的診斷結(jié)果，進(jìn)行數(shù)據(jù)可視化探討進(jìn)一步的故障解決方案，并將該結(jié)果儲(chǔ)存數(shù)據(jù)庫中。

2 關(guān)鍵技術(shù)

2.1 紅外線光柵結(jié)構(gòu)硬件設(shè)計(jì)

本研究故障監(jiān)控機(jī)由紅外對射光柵、無線編碼信號(hào)發(fā)射模塊和電源及箱體構(gòu)成。其中光柵由兩排二極管組成，分別起發(fā)光和接收作用。兩排二極管分別豎直排列安裝，其間距需保證相同。在兩排二極管基礎(chǔ)上組建二極管控制電路，就構(gòu)成了系統(tǒng)使用的基本光柵對發(fā)射器和接收器，如圖2所示。

圖2 機(jī)體和對射光柵結(jié)構(gòu)示意圖

如圖2所示，發(fā)射器和接收器采用多束紅外光對射，發(fā)射器向接收器以低頻率發(fā)射的方式發(fā)出紅外光，該系統(tǒng)就是利用紅外光柵的這一功能特性完成監(jiān)測防護(hù)工作的。紅外光柵使用低頻率發(fā)射，對家用電器絕無干擾，采用變頻互射技術(shù)，無須精確對齊，避免了可視光干擾，增加了其可用性，完全適用于本系統(tǒng)。

故障監(jiān)控機(jī)需放置在需要監(jiān)控防范的區(qū)域邊界頂點(diǎn)位置，一臺(tái)故障監(jiān)控機(jī)的發(fā)射器向道路與橋梁發(fā)射紅外光束，如果該檢測點(diǎn)出現(xiàn)故障，就會(huì)發(fā)出報(bào)警信號(hào)，警報(bào)器則會(huì)閃亮并發(fā)出警報(bào)聲。故障監(jiān)控機(jī)中的無線信號(hào)發(fā)射器被觸發(fā)后發(fā)出固定頻率、固定編碼的無線信號(hào)至技術(shù)人員移動(dòng)端，技術(shù)人員在接收到短信后，便會(huì)發(fā)送相應(yīng)的控制命令進(jìn)行處理，關(guān)于故障監(jiān)控機(jī)接收到命令消息的圖如圖3所示。

圖3 故障監(jiān)控機(jī)接收到命令消息的流程圖

在收到信號(hào)時(shí)，故障監(jiān)控機(jī)會(huì)通過解碼器進(jìn)行解碼，經(jīng)過對碼識(shí)別后，工作人員會(huì)判斷是哪一臺(tái)故障監(jiān)控機(jī)發(fā)出報(bào)警信號(hào)。故障監(jiān)控機(jī)的主控面板示意圖如圖4所示。

圖4 故障監(jiān)控機(jī)的主控面板示意圖

圖4中輸入和輸出指示區(qū)的四個(gè)接線柱是當(dāng)防護(hù)區(qū)域內(nèi)需要接入工作電源時(shí)外接電源的輸入和輸出端，交流220 V或380 V均可接入，可通過最大電流30 A。指示燈亮則表明接線準(zhǔn)確。在安裝好對射光柵后，則可開啟電源進(jìn)行實(shí)時(shí)監(jiān)測?？刂泼姘逶谧笙路剑鞠到y(tǒng)采用菜單方式引導(dǎo)用戶進(jìn)行設(shè)置。設(shè)置時(shí)，用戶可通過鍵盤上的*鍵和#鍵選擇需要的設(shè)置項(xiàng)，并按“確認(rèn)”鍵進(jìn)行設(shè)置。系統(tǒng)設(shè)置只能在待機(jī)狀態(tài)下進(jìn)行，設(shè)置過程中不響應(yīng)任何報(bào)警；設(shè)置結(jié)束后退出，系統(tǒng)自動(dòng)進(jìn)入休眠狀態(tài)，此時(shí)用戶必須根據(jù)需要重新選擇監(jiān)測方式。其中指示燈包括直流、移動(dòng)、報(bào)警和撥號(hào)四種狀態(tài)，如遇情況則指示燈會(huì)發(fā)亮。

故障監(jiān)控機(jī)由內(nèi)置的移動(dòng)通信模塊通過手機(jī)卡接收其他移動(dòng)電話發(fā)送的特定格式的控制短信，故障監(jiān)控機(jī)經(jīng)過軟件編碼識(shí)別即可執(zhí)行相應(yīng)的系統(tǒng)控制功能。如用其他手機(jī)給故障監(jiān)控機(jī)發(fā)送短信“開啟電源”，故障監(jiān)控機(jī)收到后將回復(fù)短信“操作成功！”，移動(dòng)通信模塊接收的短信簡單易懂，容易操作。

2.2 分層圖像融合框架

為了提高故障監(jiān)控機(jī)紅外識(shí)別的精度以及效率，本研究設(shè)計(jì)了一種新型的分層圖像融合框架，從而提高稀疏表示的精度。該框架如圖5所示。

圖5 分層圖像融合框架

圖5所示的分層圖像融合框架包括幾何分類、高低頻分量訓(xùn)練詞典兩個(gè)步驟。首先，道路與橋梁紅外源圖像塊可以通過高斯分布特征提取技術(shù)，將道路與橋梁圖像分為三種高斯圖像面片類型：平滑面片、隨機(jī)面片和主方向面片。隨后，為了降低圖像噪聲的影響，根據(jù)不同底層規(guī)則將面片分為高頻率噪聲分量與低頻率分量類型，最后融合訓(xùn)練詞典。以下段落將明確解釋分層圖像融合的具體算法過程：

2.2.1 幾何分類

假設(shè)輸入道路與橋梁紅外源源圖像到拆分為若干個(gè)小圖像面片：

=(,,…,)

(1)

式(1)中，是指源圖像面片集合，是指圖像面片，是指面片數(shù)量。基于平滑閾值可以對平滑和非平滑面片進(jìn)行分類。其中，隨機(jī)面片和主方向面片均屬于非光滑面片，二者之間的進(jìn)一步分類過程分為兩步：第一步，計(jì)算每個(gè)道路與橋梁紅外源圖像像素的梯度(=1，2，…，)，是指源圖像編號(hào)，=(1，2，…，)，由和坐標(biāo)梯度()和()組成。圖像向量中每個(gè)像素的梯度值為：

(2)

第二步，分解每個(gè)圖像面片的梯度值，其公式為：

(3)

式(3)中，是指圖像面片的梯度，是的梯度值分解，是代表主方向向量的對角線2×2矩陣。當(dāng)獲得時(shí)，可以計(jì)算主方向量度，的計(jì)算方法如式(4)所示：

(4)

式(4)中，越小，相應(yīng)的圖像向量越隨機(jī)。在這種情況下，應(yīng)計(jì)算閾值以區(qū)分道路與橋梁源圖像的隨機(jī)和主方向面片。作為道路與橋梁紅外源圖像的有效低通濾波器，本研究采用二維高斯模糊函數(shù)用于平滑分類的平滑、隨機(jī)和主方向面片，其公式如下：

(5)

式(5)中，是水平軸上距原點(diǎn)的距離，是垂直軸上到原點(diǎn)的距離，σ是高斯分布的標(biāo)準(zhǔn)偏差，σ是可變的，這會(huì)影響道路與橋梁源紅外圖像的平滑程度。

2.2.2 高低頻分量訓(xùn)練詞典

圖像面片的選擇是詞典構(gòu)建的重要步驟，面片通常分為高頻分量和低頻分量。根據(jù)高頻分量和低頻分量的不同特點(diǎn)，采用不同的詞典訓(xùn)練方法：

(1)高頻分量。

假設(shè)輸入道路與橋梁紅外圖像具有個(gè)灰度級，并將其分割為個(gè)具有×像素的圖像面片。首先，通過計(jì)算每個(gè)灰度級的像素?cái)?shù)，獲取直方圖對每個(gè)圖像面片(=1，2，…，)的向量進(jìn)行計(jì)數(shù)。利用和圖像面片大小s×s，圖像面片的灰度概率可以通過式(6)計(jì)算：

=(×)

(6)

其次，使用每個(gè)圖像面片的灰度概率計(jì)算每個(gè)圖像面片的熵；最后，減少信息熵較低的圖像面片，在該步驟中，為信息性圖像面片選擇設(shè)置閾值。對于一個(gè)圖像面片，如果E>，該圖像面片將保留用于詞典訓(xùn)練。

假設(shè)輸入圖像被分割成個(gè)信息圖像面片，則使用OMP算法對每個(gè)圖像面片(=1，2，…，)進(jìn)行稀疏編碼，將每個(gè)圖像面片編碼為稀疏系數(shù)，然后利用Max-L1融合規(guī)則對系數(shù)進(jìn)行融合。該融合規(guī)則如式(7)所示：

(7)

式(7)中，是指對應(yīng)源圖像面片的融合向量，是對應(yīng)于每個(gè)圖像面片的稀疏系數(shù)，是指OMP算法函數(shù)值，是由所提出的OMP算法訓(xùn)練的詞典。

(2)低頻分量。

本研究采用基于L2-范數(shù)的加權(quán)平均方法對低頻分量進(jìn)行融合。首先，計(jì)算相應(yīng)高頻分量的L2-范數(shù)=‖‖，假設(shè)約束矩陣具有滿秩，L2-范數(shù)最小化公式如下：

min‖‖,x=

(8)

式(8)中，是指2-范數(shù)值，為參數(shù)。為了減少計(jì)算量，在L2-范數(shù)中引入了拉格朗日乘子：

(9)

式(10)中，是指引入的拉格朗日乘數(shù)。然后通過式(10)得到融合后的低頻分量：

(10)

綜上所述，根據(jù)Max-L1與加權(quán)平均融合規(guī)則，將融合后的高頻分量和低頻分量進(jìn)行組合，形成最終的融合圖像，其公式為：

=+

(11)

式(11)中，是指輸入道路與橋梁紅外源圖像，和分別是指低頻和高頻分量。對融合圖像塊進(jìn)行詞典學(xué)習(xí)，以提高圖像道路與橋梁紅外識(shí)別精度，進(jìn)而用于下一步故障診斷工作。

3 實(shí)驗(yàn)與分析

為了驗(yàn)證本研究所采用的紅外線圖像識(shí)別技術(shù)的實(shí)用性與可靠性，本研究以某市區(qū)雙塔單跨地錨式懸索橋?yàn)槔?，設(shè)計(jì)了相關(guān)實(shí)驗(yàn)。該懸索橋主跨1385m，南北塔高186m，主纜采用預(yù)制平行索股法架設(shè)。以主跨跨中橋面為監(jiān)測研究區(qū)域，進(jìn)行連續(xù)48h的紅外線掃描識(shí)別，將采集圖像與監(jiān)測數(shù)據(jù)構(gòu)建成實(shí)驗(yàn)數(shù)據(jù)集，得到該橋梁相關(guān)狀態(tài)系數(shù)如表1所示。

表1 橋梁相關(guān)狀態(tài)系數(shù)

本研究分析了訓(xùn)練過程，并將其與文獻(xiàn)[5]所采用的模糊聚類算法進(jìn)行了比較，為了防止數(shù)據(jù)出現(xiàn)過擬合現(xiàn)象，本研究對這兩種算法框架進(jìn)行Adam優(yōu)化，具體實(shí)現(xiàn)程序相關(guān)代碼見表2。

表2 實(shí)驗(yàn)相關(guān)參數(shù)表

評判指標(biāo)采用融合矩陣，其定義式為：

(12)

式(12)中，是指道路與橋梁圖像信息，是指圖像信息的總數(shù)量，是指需要調(diào)整的融合權(quán)重值，是指經(jīng)過調(diào)整后的融合性標(biāo)準(zhǔn)。當(dāng)趨近于0時(shí)，表明道路與橋梁圖像融合性好。根據(jù)式(12)分別計(jì)算文獻(xiàn)[5]模糊聚類算法和分層圖像融合框架在2TB實(shí)驗(yàn)數(shù)據(jù)集內(nèi)不同數(shù)據(jù)量所得到數(shù)據(jù)融合值，通過MATLAB軟件系統(tǒng)進(jìn)行仿真對比，對比結(jié)果如圖6所示。

如圖6所示，根據(jù)值越小數(shù)據(jù)融合性越好的準(zhǔn)則，本研究所采用的分層圖像融合框架比文獻(xiàn)[5]中所采用的模糊聚類算法圖像信息融合性更好，隨著數(shù)據(jù)量不斷增加，這種優(yōu)勢也越來越大，這是因?yàn)閭鹘y(tǒng)的模糊聚類算法產(chǎn)生了大量冗余簇群，而分層圖像融合框架通過閾值將源圖像的隨機(jī)和主方向面片進(jìn)行區(qū)分，解決了迭代訓(xùn)練過程中產(chǎn)生冗余簇群的問題。根據(jù)實(shí)驗(yàn)可以得出結(jié)論，本文所研究的分層圖像融合框架更具有實(shí)用性。

圖6 數(shù)據(jù)融合性對比結(jié)果圖

為了進(jìn)一步評估分層圖像融合框架識(shí)別精度進(jìn)行驗(yàn)證，采用BP神經(jīng)網(wǎng)絡(luò)模型與、文獻(xiàn)[4]所采用的YOLO模型與本研究所提分層圖像融合模型進(jìn)行對比，假設(shè)橋梁圖像分割窗口設(shè)為60×100，該窗口內(nèi)最優(yōu)閾值設(shè)置為213，灰度相似性閾值設(shè)置為20.5，分割步長為3×3，最后將截屏窗口分割結(jié)果映射到原圖像中。按照上述分割方法繼續(xù)分割，直至目標(biāo)設(shè)備從原圖像中完全分割出來，采用故障檢測率(Fault Detection Rate，F(xiàn)DR)、誤檢率(False Alarm Rate，F(xiàn)AR)和漏檢率(Missing Alarm Rate，MAR)作為評估指標(biāo)，分析10000張圖7(a)的圖像分割效果，評估指標(biāo)計(jì)算結(jié)果見表3如圖7所示。

表3 評估指標(biāo)計(jì)算結(jié)果

圖7 (a)源部件圖像；(b)BP模型；(c)YOLO模型；(d)本文模型

從表3結(jié)果可以看出，運(yùn)用本方法處理橋梁部件圖像的MAR、FAR參數(shù)比另外兩種算法模型得到的參數(shù)小，而且非常接近于0，說明利用本方法處理圖像分割錯(cuò)誤率極低，監(jiān)測得到的圖像數(shù)據(jù)精度高，表明分層圖像融合框架更具有可靠性。

4 結(jié) 論

為了解決道路與橋梁的故障診斷問題，提出了一種道路橋梁智能監(jiān)控系統(tǒng)，該系統(tǒng)主要技術(shù)內(nèi)容有：

(1)設(shè)計(jì)裝有紅外對射光柵的故障監(jiān)控機(jī)進(jìn)行紅外識(shí)別監(jiān)測，能夠自行控制移動(dòng)并通過移動(dòng)通信進(jìn)行遠(yuǎn)程操控。

(2)提出了一種基于分層詞典學(xué)習(xí)的圖像融合框架，該框架集成了逐層的深度學(xué)習(xí)技術(shù)，用于探索和提取詳細(xì)、關(guān)鍵的圖像信息，消除了源圖像面片的冗余幾何信息。提高了紅外圖像識(shí)別的效率。

此外，以某市區(qū)雙塔單跨地錨式懸索橋進(jìn)行了實(shí)驗(yàn)分析，該檢測方法十分高效可靠，適應(yīng)現(xiàn)代交通領(lǐng)域的發(fā)展。然而，在實(shí)驗(yàn)過程中，研究人員發(fā)現(xiàn)該故障監(jiān)控機(jī)無法提取全部圖像特征點(diǎn)，尤其在一些惡劣環(huán)境下，因此，針對紅外光柵監(jiān)測設(shè)備的機(jī)械構(gòu)造還需進(jìn)一步研究。