(上海大學 機電工程與自動化學院,上海 200444)
城市地鐵隧道在施工和運營過程中,由于復雜的地質條件、氣候變化和施工工藝設計維護等問題,使隧道在長期使用中會出現裂縫、滲漏水、起殼和錯臺等病害。如果不能及時發(fā)現和維修,常會導致隧道襯砌病害的發(fā)生。傳統(tǒng)的隧道結構病害檢查,主要采用人工巡檢目測、手工記錄和拍攝照片等方式進行數據采集,但使用這種數據采集方式,受主觀因素的影響,不可避免地會發(fā)生誤判、遺漏等錯誤,且費時、費力,危險程度高、效率低下。近年來,以計算機視覺技術為依托的圖像處理檢測方法在該領域進行了相關研究[1-5]。這種檢測雖然在一定程度上帶來了大量的隧道結構表面基礎圖像數據,但由于隧道盾構拼裝的多縫及管道、管線、油漆數字等的遮擋干擾,使得圖像數據異常復雜,從而導致檢測難度不斷加大。而且病害的出現不僅會降低混凝土的強度,對隧道襯砌造成損傷,影響結構安全,而且極有會可能降低隧道的服役壽命,對城市軌道交通的運營造成巨大的安全隱患。因此,在城市地鐵大規(guī)模建設的情況下,對隧道病害的檢測、評估和處理顯得至關重要。在此種情況下,快速、準確、高效的自動檢測方法對于解決上述問題具有重要意義。
傳統(tǒng)目標分割算法已經發(fā)展很成熟,大致可分為基于輪廓的方法,包括邊緣檢測,輪廓搜索、分水嶺算法(Watershed Algorithm,WA)[6];基于區(qū)域的方法,包括全局閾值、局部閾值、動態(tài)閾值、多分辨率閾值、過度區(qū)閾值等。此外,還有大律法[7]、區(qū)域生長法[8]、分水嶺法等,但是不足之處在于,傳統(tǒng)目標分割算法對于遮擋光照、陰影等干擾的影響較大。E Protopapadaki[9]先從原圖中提取灰度、邊緣、頻率、熵、紋理、HOG等17個低級特征,再將這些低級特征輸入卷積神經網絡獲得高級特征,最后將高級特征輸入多層感知機實現隧道病害的識別系統(tǒng)中,其得出的結果要很大程度上優(yōu)于使用人工神經網絡、支持向量機、K近鄰算法和決策樹等方法得出的結果,這些方法在面對復雜的干擾識別率時更容易受到較大影響。Zhang等[10]通過深度卷積網絡、支持向量機、集成學習三種方法對路面裂縫的圖像分類進行了對比研究。Zhao等[11]針對難以識別的微小裂縫,提出了從任意分配的像素點篩選出裂紋簇的聚類方法,在此方法的基礎上,建立了全局凸分割模型.但由于采用了傳統(tǒng)圖像處理核心工作之一的手工設計特征的方法,因而效率低,周期長,且又因為檢測方法的魯棒性差,導致在關于結構病害相關檢測中的準確率不能令人滿意。
Marvin Teichmann[12]對隧道病害目標進行了幾何分析,使用的是目標分割算法利用Deep Learning[13]算法進行目標分割具有較好的魯棒性。FCN[14]對圖像進行像素級的分類,從而解決了語義級別的圖像分割問題,2017 年加拿大Cha[15]等采用深度卷積網絡對混凝土裂縫的識別進行了研究,結合滑動窗口方法可以檢測任意大小的圖像,并與 Canny、 Sobel 兩種邊緣檢測算子進行比較,從而驗證了深度學習在混凝土裂縫識別上的優(yōu)勢。2017年中國黃宏偉等[16]利用FCN深度學習算法進行盾構隧道滲漏水病害圖像識別精確度方面的確有所提高,但沒有考慮到隧道柱面形狀對實驗結果的影響。
綜上所述,傳統(tǒng)的檢測隧道滲漏水面積,不能很好地避免燈光、拼縫、螺栓孔、遮擋物(管線、管道)、抗鋼鐵支架晃動、抗拖影干擾等對面積檢測計算的影響,忽視了隧道拱形柱面幾何形狀帶來的誤差,因此通過采用基于FCN與視場柱面投影算法,經過視場轉換與柱面投影修正,從而獲得更為精確的隧道滲漏水病害的面積。在大連隧道中對OSTU、迭代法、分水嶺法三種傳統(tǒng)檢測隧道滲漏水病害進行對比,驗證了該算法在隧道滲漏水病害檢測的優(yōu)越性。
如圖1所示, FCN結合視場柱面投影模型方法的整體框架,下面將基于該框架對本方法的詳細介紹。
圖1 FCN結合視場投影方法框架
如圖2所示,隧道滲漏水病害檢測系統(tǒng)由云臺,Gopro相機陣列,磁條導航,避障模塊,RFID 路標,裝置底盤等模塊組成,在自動巡檢車在隧道行進途中進行圖像和激光采集時,先依據視場長度進行幀率提取,接著對采集視頻圖像進行畸變矯正,最后把處理后的圖像輸入如圖3的基于FCN與視場柱面投影的算法中。
圖2 隧道滲漏水病害無人巡檢車
基于FCN與視場柱面投影算法結構如圖3所示。
圖3 基于FCN與視場柱面投影的算法結構圖
其步驟如下:
2.2.1 數據預處理
圖4(a)是實驗所用的數據集,總計1000張樣本(b)是病害區(qū)域及病害區(qū)域標簽制作效果圖,首先對訓練圖片進行數據增強,為病害檢測項目擴充圖像,比如模糊,拼縫,油漆數字,遮擋(管道、管線),拖影,光線等針對這些識別的圖片,生成相應的標簽。
圖4 隧道數據集與滲漏水區(qū)域圖像標簽
2.2.2 FCN滲漏水病害模型訓練與檢測
通過對原圖的多次卷積、池化運算獲得圖像抽象的高維特征信息,將抽象的特征圖還原到原圖像尺寸,這樣得到每個像素的預測。然后通過總體誤差函數度量網絡輸出的預測圖與對應標簽圖之間的誤差的對比,完成一次迭代中的正向推理運算。隨后采用隨機梯度下降方法對總體誤差函數進行最小化,并通過反向傳播算法將誤差的梯度進行反向傳遞,實現權值的更新,完成迭代中的反向學習運算。
2.2.3 滲漏水面積視場轉換:
相機的視場圖如圖3視場轉換部分,其可以將隧道檢測到病害后的圖片尺寸轉化為實際尺寸,其計算公式如式所示:
(1)
(2)
其中:h是到物體表面的距離,N是圖像中目標物體區(qū)域內像素個數測量值,目標物體區(qū)域內像素個數測量值P,S是物體實際面積大小,S[i]是相機整個視場范圍內像素的個數;α和β分別是相機的水平視場和垂直視場,可以通過幾何關系求出。由式所示在α、β、Q、P已知的情況下即可以求出目標物體區(qū)域的面積S,過程如圖3的視場轉換虛線部分。
2.2.4 隧道柱面投影
隧道無人病害巡檢車所采用的Gopro相機陣列與所測目標的距離是通過激光測距的,而距離可以進行實時采集,采用的柱面投影模型可以將檢測到病害的圖片由平面還原為柱面,能更精確的計算滲漏水病害的面積。如圖5柱面投影數學模型照相機的運動都發(fā)生在X-Z平面,在柱面空間K上的柱面投影圖像J′。設柱面半徑為r,投影角為θ,得到柱面圖像的寬度為2rsin(θ/2),高度仍為H。圖像的像素坐標均以圖像平面中的最左上角像素為坐標原點。對圖像J上的任意一點P(x,y),在柱面圖像J′上的對應點為P′(x′,y′),對點P沿x-z平面和y-z的橫截面分別如圖5中的圖(b)和圖(c)所示,可得柱面投影變換公式:
圖5 柱面投影數學模型
(3)
(4)
(5)
(6)
式中,x,y為原圖的坐標,x′,y′為變換后圖像的坐標,W,H為原圖的寬和高,f=W/(2*tan(θ/2)),這里θ為相機水平視角。
上海市大連路隧道,它是我國第一條江底隧道,采用盾構法施工的雙向四車道隧道,全長2526.88 m,下面對上海市大連路隧道部分隧道作為工程實例進行分析。
本次實驗采用的硬件平臺是Dell深度學習工作站,操作系統(tǒng)為 Ubuntu16.04平臺,編程環(huán)境基于Python,內存為24 GB,GPU為 NVIDIA GeForce 1070,在基于深度學習框架CAFFE下進行實驗。樣本數據集D劃分為兩個互斥的集合,其中一個集合作為訓練集S,留下的集合作為測試集T,即D=S∪T,S∩T=φ。在S上訓練出模型后,用T來評估其測試誤差,作為對泛化誤差的估計。保留類別比例的采樣方式采用分層采樣。D中含有500個正例,500個反例,當采用分層采樣獲取70%的樣本的訓練集S和20%的贗本的測試集T時,則S包含有315個正例和315個反例,T有92個正例和92個反例。
實驗評價標準病害錯檢率是指錯檢的像素數與圖像總像素數的比值,其計算公式如式(7)所示:
(7)
式中,Pi為算法i的錯檢率,i分別取FCN方法、分水嶺方法,OTSU方法,迭代方法, FCN結合柱面方法五種情況,Ni為算法i錯檢的像素數,Ntotai為圖像中總的像素數。
評價指標平均誤檢率公式為:
(8)
如圖6以及表1實驗結果所示。
對于第一類干擾——攝像模糊,由于地鐵隧道地面不平整等因素的影響,自動巡檢車在采集圖像時,攝像頭會失焦,從而導致采集的視頻變模糊。相比其他三種傳統(tǒng)的檢測方法則會受到攝像模糊的嚴重干擾,深度學習FCN結合柱面投影方法則能有效克服攝像頭模糊對滲漏水識別的影響,從而提高檢測的準確性。
圖6 不同算法在不同干擾下檢測滲漏水結果圖
方法1模糊2拼縫3曝光4拖影5陰影6遮擋平均錯檢率分水嶺方法0.46430.48490.32380.54230.24440.17060.3717OTSU方法0.40070.36440.14320.48870.18550.12970.2854迭代方法0.41400.37020.19200.54670.18810.13030.3069FCN方法0.04380.08340.09780.02590.02800.02180.0501FCN結合柱面投影算法0.03110.05060.02910.03280.02080.00750.0189
對于第二類干擾—拼縫,紅色油漆數字的干擾區(qū)域;由于修補過的拼縫與滲漏水色調會產生差異,很容易混淆遺漏, WA法受干擾影響最大,FCN與視場柱面投影算法受兩種因素的影響較小,但對總體平均誤檢率相差較高。
對于第三類干擾——燈光照射。拍攝視頻顯示隧道中每隔一段距離會有燈光,而其余三種傳統(tǒng)檢測方法都誤將數字的面積錯誤識別為滲漏水,尤其是OTSU法受干擾影響最大。而FCN與視場柱面投影算法相對傳統(tǒng)方法則受燈光影響較小,但即使如此相對1、3、5、6類干擾約0.02誤檢率干擾而言,其0.097的誤檢率仍是最高的。而本論文采用的本盾構隧道檢測系統(tǒng)的自動巡檢車特針對此關鍵干擾自帶了輔助光源,從而能有效解決光線對實際檢測的影響,有效降低誤檢率。
對于第四類干擾——拖影。自動巡檢車在行駛過程中,如果地面不平或有石子,會使鏡頭產生劇烈晃動,繼而產生拖影現象。此外,遮擋也是隧道中常見的干擾,比如管道遮擋,傳統(tǒng)的病害檢測法會因為管道的遮擋,誤將管道識別為滲漏水,而且光線暗的地方也極容易被錯誤識別,從而造成檢測結果誤差極大,即使是IA、WA法受拖影和遮擋的影響也同樣大,而FCN與視場柱面投影算法沒有受到光線漸變與拖影遮擋的影響。
對于第五類干擾——陰影。陰影是指燈光過暗或沒有燈光或燈光被遮擋后產生的區(qū)域,圖片數據采集時使用的自動巡檢車由于自帶光源,會極大降低陰影產生的影響。而IA、WA、OTSU三種傳統(tǒng)的病害檢測方法,雖然相對于其他組而言,陰影對這三組檢測結果的干擾有了明顯降低,但相對FCN與視場柱面投影算法抗陰影的能力而言,差距顯而易見。
對于第六類干擾——遮擋(管道、管線)。傳統(tǒng)的分水嶺法雖然能有效克制管線造成的干擾,但卻不能將管道從拍攝的圖片或視頻中剔除,但即便如此,相較于傳統(tǒng)的OTSU和迭代法將管道和管線均錯誤識別為滲漏水而言,分水嶺法優(yōu)勢仍舊明顯。
圖7是傳統(tǒng)算法與FCN算法誤檢率對比情況,OTSU誤檢率平均為0.259,WA誤檢率平均為0.301,IA誤檢率平均為0.265,FCN算法誤檢率平均為0.05,得出FCN算法可有效避免攝像模糊,拼縫,油漆數字,遮擋(管道+管線),拖影,光線等干擾,特別是在克服臺架、管線、管道等遮擋和巡檢車行駛過程中晃動造成的拖影、未聚焦的模糊等干擾方面具有優(yōu)越的魯棒性。
圖7 傳統(tǒng)算法與FCN算法誤檢率對比圖
如圖8通過比較可以看出,FCN算法平均誤檢率約為0.05,FCN算法結合視場轉換柱面投影平均誤檢率約為0.189,因此該算法比FCN算法誤檢率降低0.311,提升效果顯著。因此FCN算法結合視場轉換柱面投影模型在檢測隧道滲漏水面積上更為精確。
圖8 FCN與FCN視場柱面投影算法誤檢率
對比圖如圖9,針對測試集92張圖片滲漏水面積誤檢率圖,其中Optimization是FCN算法,Our Proposal是FCN結合柱面投影算法,由圖可知對數據集更大的樣本檢測,FCN視場柱面投影算法仍保持更低的誤檢率。
圖9 92張測試集誤檢率圖
在對隧道滲漏水面積檢測計算方面,相對傳統(tǒng)檢測計算方法,如OSTU法、分水嶺法和自適應閾值法相比,FCN結合柱面投影算法能有效降低燈光、拼縫、螺栓孔、遮擋物(管線、管道)、抗鋼鐵支架晃動、拖影等干擾。與此同時,以往的論文則沒能考慮隧道的柱面形狀對實際滲漏水病害面積計算誤差的影響,而FCN結合柱面投影算法算法考慮了隧道幾何柱面形狀對滲漏水病害面積計算的影響,通過柱面投影模型將平面投影到柱面,在原有的FCN算法基礎上取得了更精確的結果,平均誤檢率降為0.0189。
今后的工作將集中在以下3個方面:1)引進MaskRCNN、FasterRCNN、Yolo等對離線檢測速率進行算法融合加速,減輕運算壓力以及進一步排除復雜環(huán)境干擾;2)進行分布式集群環(huán)境搭建,對采集的大量數據進行深度提取、建模、分析,挖掘病害之間的聯系,以防微杜漸,發(fā)現新病害,建立并更新病害數據庫以供遷移學習,優(yōu)化模型,提高準確率;3)增加數據集,擴大應用場景,增加可識別病害種類,比如裂縫、起殼、樹脂修補區(qū)域等等。