地鐵隧道裂縫圖像采集與智能識別方法研究

王耀東，史紅梅，朱力強，周維楨

（1.北京交通大學智慧高鐵系統(tǒng)前沿科學中心，北京 100044；2.北京交通大學載運工具先進制造與測控技術教育部重點實驗室，北京 100044）

1 引言

截至2021年12月31日，我國地鐵運營線路總里程超過7 000 km[1]，由于隧道施工和后期運營管理等諸多環(huán)節(jié)中的多種因素作用，地鐵隧道襯砌在投入運營后會出現(xiàn)病害。其中，裂縫病害為常見形式，并會引起隧道局部滲漏水，如圖1所示。隧道裂縫不僅對地鐵結構本身安全性、耐久性構成威脅，甚至會直接影響地鐵的運營安全，所以隧道病害檢測成為地鐵隧道周期性巡檢的重要任務。

圖1 地鐵隧道裂縫和滲漏水圖

傳統(tǒng)的隧道裂縫檢測方法以人工為主，檢測人員的安全作業(yè)難以保證，存在安全不確定性。利用機器視覺技術、數(shù)字圖像處理技術和人工智能理論相結合完成地鐵隧道裂縫的自動檢測、智能分類和特征提取，已成為現(xiàn)今主要的研究方向。

2 相關工作

目前，國內外對于裂縫檢測已取得了一定的研究成果。韓國Seung-Nam Yu等人設計制造了隧道裂縫檢測試驗平臺。該設備可以進行遙控操作，以5 km/h的速度運行獲取0.3 mm的裂縫圖像，并采用最優(yōu)路徑的算法檢測裂縫[2]。Landstrom提出一種基于形態(tài)學的裂縫識別算法，分別對3種不同分辨率的裂縫圖像進行了形態(tài)學處理[3]。Yichang Tsai等人提出一種基于最小路徑的半自動裂縫檢測算法[4]。Protopapadakis等人研究了隧道內自主機器人檢測技術[5]。Eftychios提出了一種用于隧道裂縫檢測的計算機視覺模塊，該模塊具有能見度低、裂縫曲率小、裂縫結構深等特點，模塊嵌入在一個機器人上[6]。薛亞東等人在2018年提出采用一種全卷積網(wǎng)絡分類模型實現(xiàn)隧道襯砌病害自動智能分類檢測的功能[7]。黃宏偉等人提出了一種基于深度學習（DL）的地鐵盾構隧道裂縫和滲漏水缺陷圖像識別新算法，該算法利用全卷積網(wǎng)絡（FCN）提取的特征層次對裂縫和滲漏水缺陷進行語義分割[8]。北京交通大學王耀東等人針對地鐵隧道復雜場景和弱光環(huán)境下，全局圖像檢測精度低的問題，提出分塊圖像局部紋理處理算法，基于圖像細化與骨架提取算法，提出裂縫和虛假裂縫紋理的差異性計算模型[9]。

在硬件系統(tǒng)研究中，目前研制出的隧道圖像采集系統(tǒng)可大致分為高速車載式大型系統(tǒng)和低速手推式小型系統(tǒng)兩大類。高速車載式大型圖像采集系統(tǒng)設備組成復雜、系統(tǒng)龐大、研發(fā)周期長且成本高昂；低速手推式小型圖像采集系統(tǒng)集成度低、運行速度慢、檢測效率低下。在此基礎上，本文提出一種基于自行走平臺的地鐵隧道圖像采集系統(tǒng)和裂縫精細化智能識別算法。

3 隧道圖像采集系統(tǒng)

本研究結合現(xiàn)有2種采集系統(tǒng)的優(yōu)勢，搭建了中低速基于自行走巡檢小車的隧道襯砌圖像同步采集系統(tǒng)，系統(tǒng)由面陣相機及閃光燈一體化模塊、供電系統(tǒng)和工控機等組成，如圖2所示。

圖2 地鐵隧道襯砌圖像采集系統(tǒng)示意圖

3.1 隧道圖像采集系統(tǒng)設計

標準地鐵盾構隧道均為圓形，且隧道圓心距離軌道面的距離L固定，為1 840 mm，按照裂縫檢測要求，相機視野應覆蓋逃生平臺以上隧道斷面，逃生平臺高L0為900 mm，計算得隧道圓心到逃生平臺所在平面的垂直距離L1為940 mm，隧道半徑R為2 700 mm，則隧道圓心和逃生平臺的連線與隧道圓心到逃生平臺所在平面的垂線之間的夾角θ為：

則逃生平臺以上隧道截面的圓弧對應的圓心角（相機視場角總和需要達到的最小值）α為：

單臺相機的視場角β為19.7°，則覆蓋整個隧道斷面需要的相機數(shù)量N為：

因此，采集完整的隧道表面圖像共需要安裝12個面陣相機。本研究針對南方某隧道現(xiàn)場實際需求，主要拍攝逃生平臺以上的半隧道區(qū)域，所以設計為6個相機的圖像采集系統(tǒng)。本文通過串口實現(xiàn)了6個相機的同步觸發(fā)，可同時采集、同時停止。

系統(tǒng)將其中1臺工控機設為主機，命名為1號機，其余2臺工控機設為從機，分別命名為2號、3號機，主機通過串口通信的方式同時給自身和另外2臺從機發(fā)送開始采集和停止采集的指令，從而實現(xiàn)6個相機模塊同步觸發(fā)的功能，隧道襯砌圖像同步采集系統(tǒng)示意如圖3所示。

圖3 同步采集示意圖

在實際應用場景中，可以利用相機獲得圖像中裂縫的像素寬度，通過相機標定可以得到圖像中每個像素的實際寬度，即物理尺寸。將獲得的裂縫像素寬度，通過標定系數(shù)得到的比例因子進行尺寸單位轉換，即可獲得該裂縫的實際寬度。本文使用棋盤格角點檢測算法完成相機標定，最終標定的每個像素的實際尺寸為0.225 mm。

在獲得像素尺寸的基礎上，根據(jù)允許最長拖影S和相機的曝光時間T可計算出系統(tǒng)運動速度v的上限。

則相機模塊最小采集幀率計算公式如下：

式（5）中，fmin為相機的最小采集幀率；w為相機視野實際寬度。

3.2 圖像采集實驗

為驗證多目相機隧道圖像采集系統(tǒng)的穩(wěn)定性和可靠性，測試采集到的圖像質量，在南方某地鐵車輛段的盾構隧道模型內搭建了基于自行走平臺的隧道襯砌圖像采集系統(tǒng)樣機，依據(jù)現(xiàn)場對于隧道兩側和拱頂?shù)臋z測需求，實現(xiàn)半隧道圖像采集，如圖4所示。

圖4 隧道圖像采集系統(tǒng)樣機

完成功能測試后，整體檢測系統(tǒng)在夜間地鐵停運后運行到隧道現(xiàn)場區(qū)間，實驗過程中采集到的部分裂縫圖像如圖5所示。多目相機模塊均可正常實現(xiàn)同步采集的功能，并且可以清晰地拍攝到精度為0.2 mm的隧道襯砌裂縫。

圖5 圖像采集實驗結果

4 隧道裂縫智能識別算法

本文在采集到的海量隧道襯砌圖像的基礎上建立了裂縫圖像樣本庫，制作像素級的裂縫邊緣檢測數(shù)據(jù)集，提出一種基于邊緣檢測的裂縫識別網(wǎng)絡，并使用傳統(tǒng)圖像處理算法對網(wǎng)絡輸出的預測圖進行后處理進一步提取裂縫。

4.1 樣本庫的建立和數(shù)據(jù)集的制作

從實際地鐵隧道采集的圖像中篩選出含有裂縫的圖片，用于建立專門的地鐵隧道裂縫圖像樣本庫，并使用labelme標注工具對樣本庫中的裂縫進行像素級精細化標注，用于制作裂縫邊緣檢測數(shù)據(jù)集。

隧道圖像分辨率為（5 760×3 840）dpi，為了方便網(wǎng)絡識別裂縫，將4個樣本庫中所有的圖片進行分塊處理，分塊示意如圖6所示，分塊后的圖像分辨率為（720×480）dpi。地鐵隧道圖像樣本庫中共包含分塊后的圖像27 609張，最終從中篩選出3 000張裂縫圖像，從而建立包含不同走向、不同長度和不同寬度的地鐵隧道裂縫原始圖像樣本庫，用于后期的數(shù)據(jù)集制作。

圖6 圖像分塊示意圖

本文使用labelme標注工具對裂縫進行標注，將裂縫像素與背景像素分割開，剔除背景像素影響。

4.2 基于邊緣檢測的裂縫識別網(wǎng)絡

對裂縫特征進行觀察和分析，總結如下：

（1）幾乎全部的隧道襯砌裂縫都呈現(xiàn)不規(guī)則的曲線形，而與裂縫特征最為相似的接縫和劃痕多為直線或平滑的短圓?。?/p>

（2）隧道襯砌圖像中的背景噪聲多為斑點狀，裂縫則大多是細長的形狀；

（3）地鐵隧道襯砌裂縫通常只有3～6個像素寬度，裂縫像素占比很??；

（4）裂縫圖像紋理不均勻，相對于裂縫周圍的背景像素存在灰度上的突變。

以上4個特征均與復雜物體邊緣極為相似?；谝陨嫌^察和分析，本文嘗試將邊緣檢測網(wǎng)絡遷移到地鐵隧道襯砌裂縫檢測上來，提出一種基于邊緣檢測的裂縫識別網(wǎng)絡，實現(xiàn)裂縫像素級識別的同時，補全裂縫的邊緣信息，提高裂縫的識別精度。

本文提出的裂縫識別網(wǎng)絡結構以經(jīng)典邊緣檢測網(wǎng)絡（HED）為基礎，引入空洞卷積模塊（MSBlock），并加入特征金字塔，以此獲得更多的語義信息，網(wǎng)絡結構示意如圖7所示。

圖7 網(wǎng)絡結構示意圖

采用經(jīng)典卷積神經(jīng)網(wǎng)絡（VGG16）作為骨干網(wǎng)絡，在HED的每個階段（stage）和側邊輸出之間加入特征金字塔，以獲得不同尺度的語義信息，同時在融合層之前引入MSBlock，在較少的網(wǎng)絡計算量的基礎上，增大網(wǎng)絡的感受野，獲取多尺度上下文信息。本文提出的裂縫識別網(wǎng)絡在獲取充足的語義信息的基礎上，盡可能降低了結構的復雜性，減少了網(wǎng)絡參數(shù)，使網(wǎng)絡能夠在保證裂縫識別精度的同時，提高識別效率。

該裂縫識別網(wǎng)絡的每個stage對應VGG16的5個stage，每個stage輸出1張?zhí)卣鲌D，除最后一個stage外，其余stage的輸出均通過1個上采樣和上一個stage輸出的特征圖疊加，形成自上而下的特征金字塔結構，將深層的語義信息傳入淺層。最后將5個stage的側邊輸出通過一個1×1的卷積和上采樣融合在一起，形成最終的融合層預測圖。

本文使用損失函數(shù)（Focal loss）代替?zhèn)鹘y(tǒng)的交叉熵損失函數(shù)，該函數(shù)是在交叉熵損失函數(shù)的基礎上進行優(yōu)化和改進后得到的，不僅能夠平衡正負樣本，還可以動態(tài)調整樣本的損失（Loss）大小，使網(wǎng)絡在訓練過程中更加注重對難識別樣本的學習。批量參數(shù)大小（Batch size）是網(wǎng)絡訓練的重要參數(shù)之一，Batch size越大，越可以很好地代表樣本總體，從而更準確地朝向極值所在方向。

本文采取以下3種方法增大Batch size：基于Apex的混合精度加速、梯度累加和分布式訓練。此外，在網(wǎng)絡訓練過程中容易發(fā)生過擬合的現(xiàn)象，即網(wǎng)絡在訓練集上表現(xiàn)良好，在測試集上表現(xiàn)欠佳，這會導致網(wǎng)絡的泛化能力下降，本文采用數(shù)據(jù)增強的方式防止網(wǎng)絡過擬合。

4.3 圖像后處理

為將網(wǎng)絡輸出的裂縫預測概率圖轉化為二值圖像，本文設計了基于數(shù)字圖像處理的后處理算法對裂縫圖像進行處理。裂縫圖像后處理算法流程如圖8所示，部分后處理效果圖如圖9所示。

圖8 裂縫圖像后處理算法

圖9 裂縫圖像后處理結果

裂縫圖像后處理算法主要包括4個步驟，具體如下：

（1）使用自適應閾值分割算法將概率圖轉化為二值圖像，盡量完整的保留裂縫像素；

（2）使用連通域濾波算法將二值圖像中像素數(shù)小于40的散點噪聲濾除，只保留裂縫像素；

（3）使用形態(tài)學方法中的閉運算填補裂縫內部的空缺像素；

（4）通過平滑邊緣改善裂縫邊緣鋸齒化嚴重的問題，這可以在一定程度上將復雜裂縫分岔點連接起來，避免出現(xiàn)裂縫斷裂的情況。

5 實驗與結果分析

5.1 數(shù)據(jù)集、評價指標和參數(shù)設置

使用深度學習的邊緣檢測算法，需要構建像素級的邊緣檢測數(shù)據(jù)集。本文在構建的地鐵隧道裂縫邊緣檢測數(shù)據(jù)集上進行算法實驗。數(shù)據(jù)集包含訓練集1 780張、驗證集509張和測試集254張，其中對于裂縫圖像設置了真實標簽數(shù)據(jù)（Ground Truth），如圖10所示。

圖10 地鐵隧道裂縫數(shù)據(jù)集

為評價裂縫識別算法的效果，引入評價指標平均交并比（mIoU）、準確率、召回率和平均準確率（AP）對裂縫檢測結果進行評價。

5.2 圖像后處理實驗結果

由于網(wǎng)絡檢測結果仍然不夠精細，且少部分圖像存在噪聲干擾的情況，因此本文使用傳統(tǒng)圖像處理方法對網(wǎng)絡輸出的圖像進行后處理，進一步精細化提取裂縫特征，如圖11所示。由圖可知，基于數(shù)字圖像處理的后處理算法可以進一步提取裂縫，對裂縫的識別效果較好。

本文將邊緣檢測的評價指標AP、單圖最佳尺度（OIS）下的平衡F分數(shù)（F1-score）和全局最佳尺度（ODS）下的F1-score引入裂縫檢測中。經(jīng)過計算，隧道裂縫在OIS下的F1-score為0.828，ODS下的F1-score為0.886，均獲得了較高的得分。由于地鐵隧道裂縫背景復雜，占比小，多為細小裂縫，與用于訓練網(wǎng)絡的路面裂縫相比識別難度更高，因此AP值為0.689，仍需提高，可使用精細化標注的隧道裂縫數(shù)據(jù)集訓練網(wǎng)絡提高隧道裂縫檢測的AP值。

5.3 實驗結果分析

基于邊緣檢測的裂縫自動識別和特征提取方法可以對裂縫進行初步提取，從結果圖（圖11）中可以看出，網(wǎng)絡提取到的裂縫區(qū)域很亮，因此，深度學習具有一定的優(yōu)越性。使用基于數(shù)字圖像處理的后處理方法能夠濾去背景中的噪聲，進一步將裂縫提取出來。本文使用深度學習和數(shù)字圖像相結合的方法實現(xiàn)了地鐵隧道裂縫的自動識別和特征提取，對于采集到的裂縫圖像，實現(xiàn)了裂縫紋理的提取，檢測效果良好。

圖11 地鐵隧道裂縫后處理

6 結論

本文設計了一種基于自行走平臺的地鐵隧道圖像采集系統(tǒng)和裂縫圖像識別方法。通過串口通信方式實現(xiàn)多個相機的同步采集，搭建了隧道圖像同步采集系統(tǒng)，并進行隧道現(xiàn)場圖像采集實驗，實驗結果表明本文提出的方法可以同步采集隧道襯砌圖像，且圖像辨識精度達到 0.2 mm。

同時，本研究提出一種帶有多尺度檢測模塊的雙向級聯(lián)網(wǎng)絡。實驗結果表明，采用深度學習算法和傳統(tǒng)圖像處理算法相結合的方法可實現(xiàn)地鐵隧道裂縫的精細化智能識別，AP為0.689，OIS下的F1-score為0.828，ODS下的F1-score為0.886，均取得了較好的識別效果。相關研究為后續(xù)的現(xiàn)場應用示范提供了技術和理論支持。