基于振動-圖像融合的道路窨井高差檢測方法*

張思銘 吳荻非 潘 寧 張曉明

(1.上海同湛工程科技有限公司 上海 201800； 2.同濟大學(xué)道路與交通教育部重點實驗室 上海 201804；3.浙江省道橋檢測與養(yǎng)護(hù)技術(shù)研究重點實驗室 杭州 310023; 4.上海同陸云交通科技有限公司 上海 201800)

道路窨井與路面高程的差異(井框差)是影響城市道路平整度的重要原因之一，亦是城市道路養(yǎng)護(hù)管理的重要內(nèi)容[1-2]。較大的井框差不僅影響城市道路的行駛舒適性，還會顯著增大重車行駛的動態(tài)荷載，加速窨井蓋及周邊路面結(jié)構(gòu)的損壞，嚴(yán)重時甚至引起安全事故[3]。為避免此類異常高差的危害，減少交通事故和設(shè)施資產(chǎn)損失，有必要對其進(jìn)行快速檢測、科學(xué)評估，從而及時制定養(yǎng)護(hù)策略，保障城市道路通行安全。

因窨井沉降導(dǎo)致的井框差通常表征為道路高程在較短距離內(nèi)的局部異常變化，導(dǎo)致車輛產(chǎn)生跳車現(xiàn)象，可歸屬于異常顛簸的道路不平整范疇。針對此類由道路變形導(dǎo)致的異常顛簸病害，現(xiàn)有的檢測方法多采用人工檢測、斷面類檢測[4-5]或多源傳感器檢測等方法。受限于人工檢測耗時費力、激光檢測成本高等因素，現(xiàn)有的檢測技術(shù)愈發(fā)朝著輕量化的多源傳感器檢測方法發(fā)展。由于其具備部署能力強、成本低、模塊化的優(yōu)勢，適用于大范圍、路網(wǎng)級檢測。但針對道路井蓋高差的判別，還尚無成熟算法和可靠的技術(shù)體系。

因此，本文充分調(diào)研了現(xiàn)有道路窨井高差檢測方法在實用性、經(jīng)濟性上的不足和缺陷，從輕量化、模塊化的車載多源傳感技術(shù)入手，提出一種基于振動-圖像融合感知的窨井高差檢測方法。通過實時獲取路面圖像數(shù)據(jù)和車身振動數(shù)據(jù)，利用人工智能方法快速識別路表井蓋信息，并通過時間戳信息匹配提取車身振動數(shù)據(jù)，進(jìn)一步計算均方根值以評估井蓋高差量級。

1 車載智能檢測裝備

針對窨井高差檢測需求，設(shè)計了一套融合圖像和振動感知的車載智能檢測裝備[6]，該裝備由前置相機、后置相機、振動傳感器和車載終端組成，其示意見圖1。

圖1 車載智能檢測裝備示意圖

前置相機采用寬畫幅拍攝路面圖像信息，用于獲取識別車行道井蓋信息，并建立虛擬輪跡帶用于判別車輪是否經(jīng)過；后置相機對地拍攝，通過計算機視覺識別區(qū)域內(nèi)的井蓋信息，對前置相機識別內(nèi)容進(jìn)行復(fù)核；振動傳感器可感知車輛經(jīng)過井蓋區(qū)域的豎向振動，進(jìn)而評估井蓋高差量級；車載終端集成了高精定位模塊和4G無線通信模塊，完成數(shù)據(jù)集成和上傳。表1所示為各模塊的性能參數(shù)。

表1 車載智能檢測裝備各模塊參數(shù)

2 圖像-振動融合的窨井高差檢測算法

基于車載智能檢測裝備采集獲取的各類檢測數(shù)據(jù)，本文提出了如圖2所示的窨井高差檢測識別算法流程。具體步驟分為：①井蓋識別與定位；②井蓋有效性判別與復(fù)核；③井框高差評估。

圖2 窨井高差檢測識別算法流程

2.1 基于深度卷積神經(jīng)網(wǎng)絡(luò)的井蓋識別與定位

為快速判別路面井蓋的高差狀態(tài)，首先利用機器視覺技術(shù)對路面井蓋進(jìn)行快速智能識別。通過對比現(xiàn)有多種面向目標(biāo)檢測的機器視覺算法，本文選用了基于YOLO-V3架構(gòu)的深度卷積神經(jīng)網(wǎng)絡(luò)用于井蓋識別。相較于傳統(tǒng)以特征分類的機器視覺檢測算法，選用的方法不需要大量的圖像預(yù)處理，可自動學(xué)習(xí)物體的圖像特征和像素差異，進(jìn)而對標(biāo)注類別進(jìn)行快速、準(zhǔn)確地分類[7]。所選用的深度學(xué)習(xí)架構(gòu)(YOLO-V3)見圖3。

圖3 YOLO-V3深度學(xué)習(xí)架構(gòu)

YOLO-V3卷積神經(jīng)網(wǎng)絡(luò)沿用了性能較為優(yōu)異的DarkNet-53網(wǎng)絡(luò)架構(gòu)，可提取更深層次的特征信息，增加準(zhǔn)確率。該結(jié)構(gòu)主要采用1×1和3×3 2種形式的卷積核對樣本進(jìn)行特征采用，并分3個不同的特征尺度輸出(8倍、16倍、32倍)。為防止梯度丟失，模型中包含了多個殘差模塊，以確保檢測的準(zhǔn)確程度。

基于該深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，采用車載智能檢測裝備采集了超10 000張路面井蓋的樣本數(shù)據(jù)，包含混凝土井蓋、鑄鐵井蓋等10余種不同權(quán)屬單位的窨井類型。其中，選擇8 000張圖片作為訓(xùn)練樣本數(shù)據(jù)，剩余2 000張圖片作為測試樣本，采用Tensorflow 1.14-gpu作為網(wǎng)絡(luò)搭建平臺，迭代次數(shù)設(shè)置10 000次。使用該網(wǎng)絡(luò)架構(gòu)對訓(xùn)練樣本進(jìn)行學(xué)習(xí)后，使用測試集對準(zhǔn)確率、精確率、檢出率進(jìn)行測試驗證，結(jié)果見表2。

表2 窨井識別測試結(jié)果 %

2.2 井蓋有效性判別與多圖像復(fù)核

采用車輛振動判別井蓋高差時，需保證車輪輪跡與井蓋位置重合，因此在進(jìn)一步判別井蓋高差之前，需對井蓋位置進(jìn)行定位，即判別車輪是否經(jīng)過井蓋位置。同時，考慮到所訓(xùn)練的深度學(xué)習(xí)方法在井蓋識別上仍存在誤差，本文采用前后景圖像交叉復(fù)核的方式以保證井蓋識別的準(zhǔn)確性。圖4為前后景圖像的對比，前景用于識別井蓋和輪跡判別，后景用于井蓋識別的復(fù)核驗證。

圖4 前、后景拍攝圖像

為識別車輛的輪跡，首先在井蓋識別的基礎(chǔ)上，首先通過透視變換將前視景象投影到一個新的視平面，消除由相機傾斜導(dǎo)致的遠(yuǎn)近或傾斜透視失真，具體轉(zhuǎn)換公式為

(1)

透視變換矩陣可以進(jìn)行拆解如式(2)所示。

(2)

井蓋有效性判別流程見圖5。圖像校正后，計算左、右車道線間的像素距離L，左、右各取L/3像素距離作為虛擬輪跡帶區(qū)域。輪跡帶區(qū)域確認(rèn)后，提取識別井蓋的外接矩形，計算其長、寬的像素距離a和b，并輸出外接矩形中心距離圖像左右車道線的像素距離d1、d2。采用式(3)對井蓋位置進(jìn)行判斷，甄別與虛擬輪跡帶區(qū)域相交的井蓋為有效井蓋，僅有效井蓋才可判別。

圖5 井蓋有效性判別流程

(3)

在有效井蓋判別基礎(chǔ)上，進(jìn)一步結(jié)合后置圖像對井蓋識別結(jié)果進(jìn)行復(fù)核，當(dāng)前、后景均識別為有效井蓋信息時，即認(rèn)為該井蓋識別成功，并進(jìn)一步提出振動數(shù)據(jù)進(jìn)行高差評估。

2.3 車身振動篩選和高差評估

在井蓋識別基礎(chǔ)上，首先判定井蓋是否為有效井蓋。之后，通過時間戳匹配進(jìn)行振動數(shù)據(jù)切分。受井蓋定位誤差和車速影響，車輪碾壓井蓋的時間很短，導(dǎo)致較難直接提取定位。因此，綜合考慮車輛的行駛速度，首先采集有效井蓋前后對應(yīng)圖像采集時間的前后各5 s(共11 s)的振動數(shù)據(jù)進(jìn)行解析和評估。由于井蓋高差所致的車輛振動為短時振動，因而選取均方根指標(biāo)來表征車輛的振動量級[8]。

隨后對11 s的振動數(shù)據(jù)進(jìn)行切割，每1 s計算對應(yīng)Z軸加速度分量的均方根值，見式(4)，并選取其中最大值作為該井蓋所致的當(dāng)量rms指標(biāo)。

(4)

式中：zi為振動數(shù)據(jù)Z軸的分量；n為分量個數(shù)。

車速對于車身振動影響顯著，在計算當(dāng)量rms指標(biāo)基礎(chǔ)上，需根據(jù)當(dāng)前行駛車速進(jìn)行速度修正。本文采用線性模型進(jìn)行修正，將所有行駛車速條件下計算的rms值，換算成40 km/h等效速度下的當(dāng)量rms值，具體方法如式(5)。

(5)

當(dāng)量rms可用以表征車輛振動的幅值大小，且與路面局部高差的幅值呈正相關(guān)，通常假設(shè)路面高差與當(dāng)量rms呈線性相關(guān)，因而可依據(jù)該指標(biāo)對窨井高差進(jìn)行預(yù)估和量級評定，計算方法如式(6)。

h=M·rmsmax，revosed+e

(6)

式中：M為線性擬合參數(shù)；e為線性模型的擬合常數(shù)項。擬合參數(shù)與車輛的懸架參數(shù)、減震性能有關(guān)，可通過定量標(biāo)定試驗測得。

3 測試驗證

為測試本文提出的道路窨井沉降識別方法，于上海市約10 km城市道路進(jìn)行了實地測試驗證，測試路段包含多個不同等級的道路窨井，用于驗證方法的可靠性。測試過程中，車速保持在40 km/h左右，且保證車輪軌跡與井蓋位點重合。

3.1 井蓋識別效果分析

首先對路面窨井井蓋的識別效果進(jìn)行驗證，對比實地調(diào)研結(jié)果，測試路段共有59處路面井蓋，除有3處由于井蓋拍攝不全導(dǎo)致未識別外，其余56處路面井蓋均成功識別，檢出率為94.9%。另有7處井蓋距離車道線較近或未處于行駛車道內(nèi)，因而未與車輪軌跡重合，判別為“無效井蓋”。圖6～圖7所示為識別出的部分有效井蓋和無效井蓋，可見車行道的井蓋識別效果較好，且識別所得的外框矩形基本覆蓋井蓋大小。

圖6 有效井蓋示例

圖7 無效井蓋示例

3.2 高差判別效果分析

針對49處“有效井蓋”，采用塞尺對井蓋高差進(jìn)行實測。在對高差進(jìn)行實測和計算時，以井蓋所處平面和周圍路面平面的高度差作為測量和計算值。按照3∶1比例，選取37個樣本用于模型擬合，12個樣本用于測試驗證。根據(jù)上述37個樣本，計算可得其擬合方程如式(7)。

h=4.08·rmsmax，revised-0.60

(7)

經(jīng)計算，該擬合方程模型優(yōu)度R2=0.91，擬合程度較高，良好地反映了當(dāng)量rms與井蓋高差的線性關(guān)系。37處井蓋對應(yīng)的當(dāng)量rms、井蓋高差及擬合的線性方程見圖8。

圖8 當(dāng)量rms與高差的擬合關(guān)系

基于擬合的高差預(yù)估模型，對剩余12處井蓋數(shù)據(jù)進(jìn)行驗證，計算結(jié)果見表3。由表3可見，高差預(yù)估誤差均在6 mm以內(nèi)，表明本文所提出的方法可有效判別道路窨井高差。此外，仍有部分井蓋所對應(yīng)的振動量級距線性回歸結(jié)果具有一定偏差，推測其原因在于：①車輪碾壓井蓋的軌跡并不完全一致，理想情況下，車輪軌跡與井蓋直徑方向完全重合，但實際行駛過程中，車輪通常僅碾壓井蓋的局部區(qū)域，因而導(dǎo)致測量的振動數(shù)據(jù)存在偏差；②井蓋前后的路面亦會存在一定的不平整現(xiàn)象，會對車身產(chǎn)生額外振動，引起判別誤差。

表3 井蓋驗證結(jié)果 cm

進(jìn)一步分析車輛經(jīng)過井蓋位置的振動特征，典型沉降窨井及其所對應(yīng)的車輛振動特征見圖9。由圖9可見，車輛經(jīng)過井蓋時，其振動特征具有典型的“雙峰”特征，分別對應(yīng)于車輛的前后輪，且前后輪所致的加速度峰值基本一致。而隨著井蓋高差的增加，振動峰值和量級也隨之增加，當(dāng)井蓋的高差達(dá)到2.8 cm(重度沉降)時，車身的振動峰值可達(dá)到1.68 m/s2。

圖9 典型沉降窨井及其所對應(yīng)的車輛振動特征

4 結(jié)語

本文針對城市道路窨井高差的快速檢測問題，利用連續(xù)攝像、振動感知等技術(shù)，提出了一種圖像-振動融合的道路窨井高差識別流程和檢測方法。并結(jié)合現(xiàn)場測試數(shù)據(jù)，對窨井高差的檢測性能和準(zhǔn)確性進(jìn)行了分析和驗證。結(jié)果表明，文中提出的方法通過融合路面圖像數(shù)據(jù)和窨井高差所致的車身振動數(shù)據(jù)，不僅可對路面窨井進(jìn)行快速的識別和定位，還能夠基于車身振動強度對窨井高差進(jìn)行預(yù)估。實測結(jié)果表明，窨井檢出率達(dá)94.9%，高差的判別誤差在5 mm以內(nèi)，可滿足窨井設(shè)施日常養(yǎng)護(hù)維修的精度需求。但本文所提出的檢測方法僅在單一車輛上進(jìn)行了測試應(yīng)用，對于不同車型、車輛懸架結(jié)構(gòu)的影響尚未考慮，需在后續(xù)工作中進(jìn)一步完善，以提升該方法的普適性。