測量路面三維紋理的激光約束雙目魯棒算法

王元元,李仁杰,劉燕燕,張亨通,劉德政

(1.湖北文理學院 純電動汽車動力系統(tǒng)設(shè)計與測試湖北省重點實驗室,湖北 襄陽441053;2.湖北文理學院 機械工程學院,湖北 襄陽441053;3.重慶交通大學 材料科學與工程學院,重慶400074)

0 引 言

路面抗滑性能是影響道路交通安全的重要因素,且與路面紋理關(guān)系緊密,路面摩擦力的形成直接取決于其表面三維紋理粗糙特性[1-2]。路面三維紋理的精確測量是全面分析路面抗滑性能、減少交通事故率、服務(wù)交通安全的基礎(chǔ)。

隨著現(xiàn)代測量技術(shù)與信息化技術(shù)的發(fā)展,產(chǎn)生了大量的路面三維紋理測量方法。光度立體重構(gòu)與雙目重構(gòu)方法因分辨率高、構(gòu)造簡單,在路面三維紋理測量領(lǐng)域應用廣泛。SUN Lu等[3]基于光度立體技術(shù),采用六光源并引入多光源修正和低秩分解算法對傳統(tǒng)方法加以改進,用以測量瀝青路面構(gòu)造深度,取得了較好的瀝青路面三維紋理測量效果。但光度立體技術(shù)其抗光干擾能力差,對測量場景內(nèi)的光照條件有嚴格要求,相比于光度立體重構(gòu),雙目重構(gòu)的抗光干擾能力更強,P.N.HONG等[4]將傳統(tǒng)雙目重構(gòu)技術(shù)應用于路面三維紋理測量,但由于圖像噪聲、同名像素點間匹配精度較低等影響因素,測量結(jié)果并不理想;為解決此問題,王元元等[5]、LIU Yanyan等[6]利用多條激光約束將待測區(qū)域分割成多個子區(qū)域,通過激光約束間的強制匹配,提出區(qū)域分割匹配算法,提升了立體匹配精度,且在6條激光約束下算法測量偏差最小,但該算法僅在5～350 lux光照范圍表現(xiàn)穩(wěn)定,在更大光照強度下特征不明顯,導致激光約束目標難以完整提取,影響算法精度。

近年來卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)的發(fā)展使得深度學習算法在道路工程領(lǐng)域應用廣泛。CNN在目標檢測中主要完成特征提取,輸出含有特征信息的特征圖,為后續(xù)的分類與回歸提供基礎(chǔ)[7]。學者在路面裂縫、溝槽等病害目標識別提取中引入CNN,因其基于大量的樣本數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)模型進行訓練,使得深度學習算法在不同的測量環(huán)境中依然保持較好的穩(wěn)定性[8-10],驗證了深度學習算法對于待測路面進行激光約束目標識別提取的可行性。

為解決待測路面激光約束目標在變化光照下的魯棒提取問題,筆者引入卷積神經(jīng)網(wǎng)絡(luò)算法對激光約束雙目重構(gòu)算法進行改進,擴大原激光約束雙目重構(gòu)算法光照適用范圍,以期實現(xiàn)5～1 050 lux光照范圍內(nèi)的路面三維紋理測量,進一步提升算法的抗光干擾能力。

1 激光約束識別模型的構(gòu)建

1.1 訓練數(shù)據(jù)的采集

選擇瀝青路面面層常用的3種路面類型：連續(xù)密級配瀝青混凝土(AC)、瀝青瑪蹄脂碎石 (SMA)和排水式開級配磨耗層 (OGFC)。在實驗室成型AC-13、AC-16、SMA-13、OGFC-13共4種級配類型的馬歇爾試件,用于激光約束識別模型訓練圖像的采集。試件級配見表1。

表1 各類型試件瀝青混合料級配構(gòu)成Table 1 Composition of gradation of asphalt mixtures for various types of specimens

在照度測量儀的控制下調(diào)節(jié)補強光源,通過雙目攝像機分別拍攝在6條激光約束下4種級配試件在5、50、150、250、350、450、550、650、750、900、1 050 lux共11種光照強度下的左右圖像對,如圖1,共1 056張。對于神經(jīng)網(wǎng)絡(luò)模型,過大的圖像尺寸會加大訓練量,延緩訓練速度,所以預先將所拍攝圖像尺寸等比例縮小為320 pixel×240 pixel,并對圖像中試件表面的激光約束進行標記。

圖1 訓練圖像的采集Fig.1 Collection of training images

1.2 激光約束識別模型

相比于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法,Faster-RCNN由于檢測準確率較高,是目前主流的目標檢測算法之一[11]。在Faster-RCNN中引入?yún)^(qū)域生成網(wǎng)絡(luò)(RPN),代替?zhèn)鹘y(tǒng)生成候選區(qū)域的方法,很大程度上提升了區(qū)域生成速度,降低了網(wǎng)絡(luò)模型訓練時間[12]。筆者基于Faster-RCNN構(gòu)建激光約束識別模型,其具體結(jié)構(gòu)參數(shù)如下：

輸入層：輸入樣本圖片大小為32 pixel×32 pixel×3,與模型訓練數(shù)據(jù)集中的最小樣本大小相似;

中層間：由兩層卷積核大小為3 pixel×3 pixel,步長為1 pixel,填充為1 pixel的卷積層,輸出分別經(jīng)過Relu函數(shù),再經(jīng)過一層內(nèi)核大小為3 pixel×3 pixel、步長為2 pixel的最大池化層;

最終層：由輸出維度為64的全連接層經(jīng)Relu函數(shù)輸入到輸出維度為2的全連接層,最后經(jīng)由Softmax函數(shù)輸入分類層;

將輸入層、中間層、最終層相互連接,構(gòu)建激光約束識別模型,模型結(jié)構(gòu)及參數(shù)如表2。

表2 激光約束識別模型結(jié)構(gòu)參數(shù)Table 2 Structural parameters of laser constraint identification model

1.3 模型訓練與識別效果

試驗硬件采用Intel Core i5-8300H 2.30 GHz處理器,配置8 GB內(nèi)存及NVIDIA GeForce GTX 1050 Ti顯卡。操作系統(tǒng)為windows 10專業(yè)版(64位),模型訓練編程環(huán)境為MATLAB 2020a。

激光約束識別模型訓練分為4個步驟進行。前2個步驟訓練該區(qū)的RPN和檢測網(wǎng)絡(luò),訓練參數(shù)設(shè)置為：初始學習率(Inital learnrate)為0.000 1,學習率保持不變。當epoch運行到17次時,Minibatchloss已無明顯變化,故將Max epoch值設(shè)置為17;Minibatchsize值設(shè)置為1,每次迭代都會從一個訓練區(qū)域處理多個區(qū)域;后2個步驟為微調(diào)步驟,僅修改初始學習率為0.000 01,其它訓練參數(shù)不變。

通過對1 056張光照范圍在5～1 050 lux的激光約束下馬歇爾試件圖像所組成的數(shù)據(jù)集進行訓練,得到激光約束識別模型的識別平均精確度為0.97,精度-召回曲線如圖2。

圖2 精度-召回曲線Fig.2 Precision-recall curve

通過照度測量儀測量光照強度,在5～1 050 lux光照強度范圍內(nèi)隨機選擇不同光照強度下的試件,對其表面激光約束目標進行識別,如圖3。

圖3 不同光照強度下激光約束目標識別效果Fig.3 Laser-constrained target recognition effect under different light intensities

可以看出,激光約束識別模型在不同光照強度下都表現(xiàn)出準確的識別效果;尤其是在1 050 lux的光照強度下,試件表面的激光約束目標已被光照抑制,特征不明顯,但激光約束識別模型的識別結(jié)果依然準確。

2 激光約束下雙目重構(gòu)算法改進

2.1 改進算法步驟

為解決待測路面激光約束目標在變化光照下的魯棒提取問題,引入激光約束識別模型對原激光約束雙目重構(gòu)算法加以改進。激光約束目標識別與提取過程主要包括：激光約束識別模型的構(gòu)建、左右幅圖像激光約束區(qū)域坐標獲取、左右幅圖像激光約束區(qū)域剪切、激光約束目標逐條提取、激光約束目標逐條插入分割模板共5個步驟,具體流程如圖4。

圖4 測量路面三維紋理的激光約束雙目魯棒算法流程Fig.4 Flow chart of laser-constrained binocular robust algorithm for measuring 3D texture of pavement

2.2 三維紋理重構(gòu)效果分析

在照度測量儀的控制下,使光照強度維持在1 050 lux左右,對2種算法的激光約束目標提取與三維重構(gòu)效果進行對比分析。

以AC-13馬歇爾試件為例,在1 050 lux左右的光照強度下,由于待測試件表面的激光約束目標被光照抑制,顏色特征不再明顯,原激光約束雙目重構(gòu)算法針對左右幅圖像進行激光約束目標提取困難,難以完整提取出試件表面的6條激光約束目標,其左幅圖像提取效果如圖5(a)。

筆者改進算法通過激光約束識別模型對試件表面激光約束目標區(qū)域進行識別,然后對激光約束目標區(qū)域逐條剪切后單條提取,提取完畢后將激光約束目標逐條插入分割模板中的原坐標位置,其左幅提取效果如圖5(b)。筆者改進算法縮小了激光約束目標的提取的空間范圍,使得激光約束目標特征在較小的空間范圍內(nèi)更加顯著,更有利于提取出完整的激光約束目標;并且激光約束識別模型僅對左右幅圖像中試件表面區(qū)域進行識別,省去了對原圖像進行圖像去背景的過程,降低了試件表面區(qū)域以外的背景對激光約束目標提取的影響。

圖5 1 050 lux光照強度下激光約束目標提取效果Fig.5 Extraction effect of laser-constrained target under 1 050 lux illumination intensity

原激光約束雙目重構(gòu)算法在1 050 lux光照強度下的6條激光約束目標沒有完整提取,各子區(qū)域間立體匹配精度降低,造成試件表面三維紋理重構(gòu)效果較差,如圖6(a)。

筆者改進算法在1 050 lux的光照強度下對6條激光約束目標提取得更加完整,試件表面三維紋理重構(gòu)效果也明顯優(yōu)于原算法,如圖6(b)。

圖6 1 050 lux光照強度下三維紋理重構(gòu)效果Fig.6 3D texture reconstruction effect under 1 050 lux light intensity

3 改進算法抗光干擾能力分析

為驗證筆者改進算法的抗光干擾能力,選取AC-13、AC-16、SMA-13、OGFC-13共4種級配類型的試件,采用原激光線束雙目重構(gòu)算法與筆者改進算法分別對同一試件在5～1 050 lux光照范圍內(nèi)測量其平均構(gòu)造深度(MTD),對比2種算法的波動誤差與平均波動誤差,并分別開展2種算法同鋪砂法之間的相關(guān)性分析。

3.1 MTD計算方法

為避免三維重構(gòu)中邊緣噪聲對MTD測量結(jié)果的影響,選取矩形待測區(qū)域(圖7)進行MTD計算。

圖7 待測區(qū)域Fig.7 Schematic diagram of the area to be tested

通過雙目重構(gòu)算法可以獲取待測區(qū)域表面三維點云數(shù)據(jù),得到待測區(qū)域高程矩陣,斷面輪廓高程示意如圖8。H為高程矩陣中高程最大值,n為高程矩陣元素總數(shù),h1,h2,…,hi,…,hn為高程矩陣中各點高程。

圖8 斷面輪廓高程Fig.8 Sectional profile elevation diagram

高程最大值H與各點高程hi之間差值之和的均值即為待測區(qū)域平均構(gòu)造深度IMTD值,即：

(1)

3.2 結(jié)果驗證分析

根據(jù)式(1)通過計算4種級配類型的試件分別在5、50、250、550、1 050 lux共5種光照強度下的IMTD值,結(jié)果見表3。表3中波動誤差為同一算法在不同光照強度下針對同一試件測量結(jié)果的最大差值,以評價算法的測量穩(wěn)定性。

表3 IMTD值測量結(jié)果Table 3 IMTD value measurement results mm

根據(jù)表3中測量數(shù)據(jù),選取4種級配試件在1 050 lux光照強度下2種算法測量的MTD值,分別繪制與鋪砂法測量的MTD值之間的散點圖,整體走勢呈現(xiàn)較強的線性正相關(guān),如圖9。

由圖9可知：在1 050 lux光照強度下,筆者改進算法與鋪砂法MTD測量結(jié)果的擬合系數(shù)R2為0.987,優(yōu)于原激光約束雙目重構(gòu)算法的0.887,說明筆者改進算法在更大光照強度下的測量結(jié)果可靠性更高。在5～1 050 lux光照范圍內(nèi),原激光約束雙目重構(gòu)算法的IMTD最大波動誤差與平均波動誤差分別為0.475、0.371 mm;相比之下,筆者改進算法的最大波動誤差與平均波動誤差分別為0.141 mm和0.084 mm,較原激光約束雙目重構(gòu)算法分別下降了70.20%和76.83%,說明筆者改進算法在5～1 050 lux光照范圍內(nèi)具有更穩(wěn)定的測量效果和更好的抗光干擾能力。

圖9 鋪砂法與兩種算法MTD測量值線性關(guān)系Fig.9 The linear relationship between the sand paving method and the MTD measurement values of the two algorithms

4 結(jié) 論

為提高原激光約束雙目重構(gòu)算法的抗光干擾能力,解決變化光照下激光約束目標的魯棒提取問題,基于Faster-RCNN構(gòu)建激光約束識別模型對原激光約束雙目重構(gòu)算法加以改進,得到如下結(jié)論：

1)在1 050 lux光照強度下,激光約束被光照抑制,表現(xiàn)出顏色特征不明顯,但筆者的激光約束識別模型卻表現(xiàn)出較好激光約束目標的識別效果。

2)筆者改進算法能夠在5～1 050 lux光照范圍內(nèi)對待測試件表面的6條激光約束目標實現(xiàn)完整提取,激光約束目標提取效果與三維紋理重構(gòu)效果均優(yōu)于原激光約束雙目重構(gòu)算法。

3)筆者改進算法測量的MTD與鋪砂法的擬合系數(shù)R2為0.987,優(yōu)于原激光約束雙目重構(gòu)算法的0.887。同時,在5～1 050 lux光照范圍內(nèi),改進算法的最大波動誤差與平均波動誤差分別為0.141 mm和0.084 mm,較原激光約束雙目重構(gòu)算法分別降低了70.20%和76.83%,表明所提改進算法具有更穩(wěn)定的測量效果和更好的抗光干擾能力。