國(guó)內(nèi)基于深度學(xué)習(xí)的道路路面病害檢測(cè)研究綜述

山東高速工程檢測(cè)有限公司 劉憲明 辛公鋒

道路路面病害檢測(cè)和提取算法已經(jīng)得到了廣泛的研究，但是傳統(tǒng)的圖片自動(dòng)識(shí)別技術(shù)在面對(duì)復(fù)雜的道路場(chǎng)景上尚存在諸多的局限。近年來(lái)，隨著深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域取得了較多突破，國(guó)內(nèi)諸多學(xué)者開(kāi)始嘗試將這一先進(jìn)的工具應(yīng)用于道路路面病害識(shí)別。典型的道路路面病害識(shí)別包括圖像預(yù)處理、病害特征提取、病害分類和結(jié)果輸出等。本文首先針對(duì)圖片預(yù)處理技術(shù)與手段，綜述了國(guó)內(nèi)在路面陰影處理、車道線移除、光照均衡、復(fù)雜背景、圖像增強(qiáng)等重點(diǎn)問(wèn)題上的研究進(jìn)展；然后，針對(duì)深度學(xué)習(xí)在道路病害檢測(cè)中的具體應(yīng)用，綜述了在數(shù)據(jù)集、模型選用、結(jié)果比較三個(gè)方面的研究進(jìn)展；最后，提出了建設(shè)符合國(guó)內(nèi)標(biāo)準(zhǔn)的道路病害數(shù)據(jù)集、二維圖片處理過(guò)渡至三維圖片處理、單項(xiàng)或成組病害識(shí)別轉(zhuǎn)向全病害類別識(shí)別、病害識(shí)別轉(zhuǎn)向病害成因識(shí)別及病害發(fā)展預(yù)測(cè)四個(gè)研究進(jìn)展方向。

道路路面病害檢測(cè)既是一項(xiàng)傳統(tǒng)的道路運(yùn)維管理基礎(chǔ)性工作，又是一項(xiàng)以目標(biāo)檢測(cè)為典型任務(wù)的人工參與程度較高的工作。自上世紀(jì)80年代以來(lái)，各大公司和科研機(jī)構(gòu)就已紛紛嘗試用自動(dòng)檢測(cè)手段替代繁重和危險(xiǎn)的人工作業(yè)，并取得了較為豐碩的成果。然而，道路病害類型多樣、形態(tài)復(fù)雜?！豆芳夹g(shù)狀況評(píng)定標(biāo)準(zhǔn)（JTG 5210-2018）》中，僅瀝青路面損壞類型就有11大類、21中類的病害需識(shí)別和評(píng)定。同時(shí)，除了各道路檢測(cè)單位使用的采集工具不同導(dǎo)致的圖片自身的質(zhì)量和標(biāo)準(zhǔn)的差異較大以外，道路上的光照條件、車道線、旁車、油污、水漬、陰影、路標(biāo)線、減速帶、車轍印、樹(shù)葉、雜物、道路路燈等不可控因素使得傳統(tǒng)的圖片自動(dòng)識(shí)別技術(shù)的識(shí)別難度較大。近幾年，國(guó)際范圍內(nèi)深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域取得的突破性進(jìn)展，使得國(guó)內(nèi)的學(xué)者紛紛嘗試將這一先進(jìn)的工具應(yīng)用到道路路面病害自動(dòng)識(shí)別中來(lái)。

1 圖片預(yù)處理技術(shù)與手段

圖像分析中，圖像質(zhì)量的好壞直接影響識(shí)別算法的設(shè)計(jì)與效果的精度；因此，在圖像識(shí)別前，需要進(jìn)行預(yù)處理。圖像預(yù)處理的主要目的是最大限度地簡(jiǎn)化數(shù)據(jù)，從而改進(jìn)特征提取和識(shí)別的可靠性。道路路面病害常見(jiàn)的需要預(yù)處理的是路面陰影處理、車道線移除和光照均衡；同時(shí)，復(fù)雜背景和圖像增強(qiáng)也是預(yù)處理的難點(diǎn)問(wèn)題。

1.1 路面陰影處理

路面陰影不僅破壞了路面裂縫圖像亮度的一致性，而且路面陰影具有形狀極其不規(guī)則、半影區(qū)巨大、陰影區(qū)和非陰影區(qū)難以界定等特點(diǎn)。王驁（2016）采用了OTSU圖像分割算法進(jìn)行了處理，其實(shí)質(zhì)是對(duì)圖像進(jìn)行灰度分割比較，首先將同一張圖像分別進(jìn)行OTSU圖像分割，然后比較分析；如果差異小，則可以認(rèn)為不存在陰影。李麗（2018）提出了一種自適應(yīng)亮度高程模型的路面陰影消除算法SGRSR，其具體分為三步：首先采用形態(tài)學(xué)膨脹運(yùn)算和高斯平滑濾波消除路面裂縫和路面紋理對(duì)后續(xù)陰影區(qū)域劃分的影響；然后利用最大熵閾值分割算法求解出高斯平滑后路面影像陰影區(qū)域和非陰影區(qū)域的劃分閾值，以此實(shí)現(xiàn)劃分閾值的自適應(yīng)確定；最后，基于改進(jìn)的亮度等高區(qū)域劃分模型和亮度補(bǔ)償方法實(shí)現(xiàn)路面陰影的消除。

1.2 車道線移除

在采用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）等人工智能方法對(duì)路面圖像實(shí)現(xiàn)自動(dòng)分類識(shí)別時(shí)，路面圖像中通常會(huì)出現(xiàn)白色車道線，車道線區(qū)域亮度偏高，邊沿處存在強(qiáng)烈的灰度跳變，車道線寬度往往大于裂縫寬度，經(jīng)CNN卷積、池化操作后，對(duì)車道線的特征感知強(qiáng)于裂縫，若含車道線的路面圖像數(shù)量較多，不僅影響對(duì)路面圖像的光照校正，還會(huì)影響最后的分類結(jié)果。黃濤（2019）提出了利用Mask R-CNN首先檢出車道線區(qū)域，然后將該區(qū)域移除，接著采用改進(jìn)Criminisi方法修復(fù)圖像，以達(dá)到移除車道線的處理目的。

1.3 光照均衡處理

王驁（2016）在直方圖均衡化方法的基礎(chǔ)上，利用灰度值矯正對(duì)橫向上的光照不均也進(jìn)行了均勻化處理。黃濤（2019）基于變換域的方法，采用Mask勻光法完成圖像的初步光照校正，同時(shí)融合伽瑪校正算法調(diào)整勻光后圖像的亮度并增強(qiáng)其對(duì)比度，伽瑪系數(shù)取值通過(guò)二分法自適應(yīng)查找獲取，不再手工干預(yù)，最后達(dá)到批量圖像的亮度基本保持一致的目的。白勝（2019）則采用了直方圖均衡化和中值濾波進(jìn)行圖像預(yù)處理，降低光照不均帶來(lái)的影響。

1.4 復(fù)雜背景處理

王驁（2016）采取了改進(jìn)的雙邊濾波算法，利用了局部噪聲方差的方式進(jìn)行區(qū)域型的濾波，減少圖像濾波導(dǎo)致的目標(biāo)信息丟失。借助圖像分割的手段將非目標(biāo)信息濾除，以此來(lái)達(dá)到消除噪聲的目的。溫佳樂(lè)（2019）使用了全局對(duì)比度歸一化方法來(lái)移除圖片最為明顯的變化源，使得圖像像素之間的標(biāo)準(zhǔn)差滿足同一個(gè)尺度參數(shù)，接著通過(guò)數(shù)據(jù)集進(jìn)行增強(qiáng)來(lái)減少模型的泛化誤差。

1.5 圖像增強(qiáng)

王驁（2016）采取了灰度變換、圖像平滑（領(lǐng)域平均法和中值濾波法）增強(qiáng)了圖像中有用的信息。王麗萍(2018)在混凝土路面裂縫檢測(cè)研究中，將24位RGB 彩色圖像經(jīng)預(yù)處理把混凝土裂縫圖片切割成大小為256×256的灰度圖。馮卉(2019)用灰度圖LOG變換和CLAHE算法，基于路面圖像和裂縫的特征，提供一種像素灰度值的映射，以增強(qiáng)部分裂縫與其他路面信息的對(duì)比度。

2 深度學(xué)習(xí)在道路病害檢測(cè)中的具體應(yīng)用

2.1 數(shù)據(jù)集

海量的標(biāo)注數(shù)據(jù)能夠有效降低過(guò)擬合的風(fēng)險(xiǎn)，有效提高模型的泛化性能，還能進(jìn)一步提高模型的魯棒性，因此能否獲取海量的標(biāo)注數(shù)據(jù)就成為了影響模型性能的關(guān)鍵因素。

（1）自建數(shù)據(jù)集

李麗（2018）用大疆無(wú)人機(jī)Phantom 4pro自帶的CMOS面陣相機(jī)采集，采集高度30cm，采集分為了強(qiáng)光和弱光兩種模式，共采集了包括6種常見(jiàn)干擾物（車道線、下水道井蓋、落葉、車轍印、不同背景紋理的路面裂縫圖像、水漬），采集數(shù)量2000張。她采用了幾何變換、空間濾波、線性變換三類圖像處理方法對(duì)數(shù)據(jù)集中的圖像數(shù)量進(jìn)行了擴(kuò)充。司吉兵（2019）用Gopro Hero 6 Black相機(jī)搭載車輛的方式，采用了連拍和錄像兩種方式自行采集數(shù)據(jù)，連拍的圖像尺寸為4000×3000，視頻分幀后的圖像尺寸為1920×1080。為解決樣本量過(guò)少，他采取了鏡像處理、旋轉(zhuǎn)處理和添加少量高斯噪聲進(jìn)行了數(shù)據(jù)增強(qiáng)。

（2）公共數(shù)據(jù)集

楊晨曦（2019）嘗試使用了谷歌地球的遙感影像數(shù)據(jù)，分辨率0.15～0.60m，圖片大小414×410～691×592，圖片1000張，目標(biāo)個(gè)數(shù)4300，訓(xùn)練樣本660。柏嘉洛（2019）選用了CFD和TITS數(shù)據(jù)集，采用了圖像變換（含亮度變換、圖像旋轉(zhuǎn)、圖像翻轉(zhuǎn)、圖像截取、圖像平移）、圖像合成（從源圖像中提取裂縫、對(duì)裂縫進(jìn)行變換、將變換后的裂縫與獲取的背景圖像融合、合成圖像進(jìn)行色彩變換）進(jìn)行了數(shù)據(jù)增強(qiáng)。

（3）運(yùn)營(yíng)數(shù)據(jù)集

陳旭林（2018）除了用平移、翻轉(zhuǎn)和鏡像翻轉(zhuǎn)解決了樣本量不足問(wèn)題，還嘗試采取丟棄一些負(fù)樣本、更改損失函數(shù)和通過(guò)算法生產(chǎn)樣本三個(gè)方法來(lái)解決正負(fù)樣本不均衡問(wèn)題。黃濤（2019）所用瀝青路面圖像數(shù)據(jù)集由重慶市公路局提供，主要篩選出有代表性的三類病害圖像與正常路面圖像共四種類型，所有圖像均為單通道，經(jīng)翻轉(zhuǎn)、裁剪及加噪增強(qiáng)后總計(jì)10800張，每一類型圖像均按比例隨機(jī)分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。肖林（2019）采用了由長(zhǎng)安大學(xué)三維路面破損檢測(cè)車拍攝得到的綏滿高速呼倫貝爾段的24000張圖片，其中12000張為裂縫圖像，12000張為非裂縫圖像，每一類圖像中隨機(jī)挑選8000張作為訓(xùn)練集，2000張作為驗(yàn)證集，剩余2000張作為測(cè)試集。

2.2 模型選用

司吉兵（2019）利用遷移學(xué)習(xí)技術(shù)，選擇了VGG-16、Inception-v3、Res Net-50三種經(jīng)典的CNN網(wǎng)絡(luò)結(jié)構(gòu)模型,三種模型的初始參數(shù)為Image Net數(shù)據(jù)集訓(xùn)練過(guò)的參數(shù)。他采取了兩個(gè)方案（方案一：以預(yù)訓(xùn)練模型的參數(shù)為初始參數(shù)，使用fine-tune對(duì)所有層進(jìn)行訓(xùn)練；方案二：以預(yù)訓(xùn)練模型的參數(shù)為初始參數(shù)，使用Convent作為特征提取器，凍結(jié)除最后一層全連接層以外的所有層的權(quán)重）進(jìn)行了對(duì)比分析,進(jìn)一步地在第一種方案的基礎(chǔ)上，他進(jìn)行了SGD、Adagrad、Adadelta、Adam、Momentum 以及Rmsprop優(yōu)化算法測(cè)試。李麗（2019）選用了基于Alexent網(wǎng)絡(luò)的FCN模型。黃濤（2019）選用了Alex Net、VGGNet、GoogleNet和ResNet模型，并嘗試了Adagrad、Adadelta、Adam、GD、Momenetum、RMSProp進(jìn)行了優(yōu)化器的比較。陳旭林（2019）參考NIN和Inception，優(yōu)化了CNN設(shè)計(jì)，進(jìn)一步選用了FCN并用U-Net對(duì)其進(jìn)行了改造。溫佳樂(lè)（2019）選用了VGG并對(duì)其網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了優(yōu)化；同時(shí)，他還基于Caffe框架搭建了改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)。楊晨曦選用了多視角卷積神經(jīng)網(wǎng)絡(luò)(Multi-Per Net)，并將其與ZF-net、PVANet進(jìn)行了比較。馮卉（2019）則選用了直線型CNN模型（無(wú)圖像預(yù)處理）、直線型CNN模型、殘差模型和優(yōu)化CNN模型，并進(jìn)行了結(jié)果對(duì)比。柏嘉洛（2019）選用了編碼器-解碼器結(jié)構(gòu)的全卷積神經(jīng)網(wǎng)絡(luò)DenseCrack。王麗萍（2019）選用了CNN和Faster R-CNN兩種結(jié)構(gòu)進(jìn)行了對(duì)比分析。肖琳嘗試了ResNet50、ResNet34和Inception V3模型。

2.3 結(jié)果比較

神經(jīng)網(wǎng)絡(luò)檢測(cè)結(jié)果的優(yōu)劣通常會(huì)從準(zhǔn)確率、精確率、召回率、F1值和ROC曲線等多個(gè)維度進(jìn)行比較。但是，由于國(guó)內(nèi)各研究者的研究指向的病害類別采用的數(shù)據(jù)集、數(shù)據(jù)增強(qiáng)方式、選用神經(jīng)網(wǎng)絡(luò)模型、選用的模型優(yōu)化方法等均不一樣，因此各研究之間的結(jié)果的比較難以進(jìn)行。從各研究者各自的對(duì)比分析可以看出，圖像預(yù)處理、數(shù)據(jù)集、模型參數(shù)的調(diào)整、模型優(yōu)化方法等均會(huì)對(duì)結(jié)果產(chǎn)生較大影響。

3 研究趨勢(shì)展望

3.1 建設(shè)符合國(guó)內(nèi)標(biāo)準(zhǔn)的道路病害數(shù)據(jù)集

深度學(xué)習(xí)是一門數(shù)據(jù)驅(qū)動(dòng)的技術(shù)，其訓(xùn)練需要大量的標(biāo)注數(shù)據(jù)。深度學(xué)習(xí)不同于淺層學(xué)習(xí)，其對(duì)樣本的依賴性很強(qiáng)，訓(xùn)練樣本的設(shè)計(jì)是很重要的，訓(xùn)練樣本應(yīng)該具有足夠的代表性盡可能地覆蓋數(shù)據(jù)真實(shí)分布，才能讓網(wǎng)絡(luò)模型學(xué)習(xí)到數(shù)據(jù)的本質(zhì)特征，使得模型具有強(qiáng)大的表達(dá)能力?；诰矸e神經(jīng)網(wǎng)絡(luò)或全卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行復(fù)雜背景下的路面病害檢測(cè)需大量的、帶語(yǔ)義類別標(biāo)簽的路面病害圖像作為訓(xùn)練集、驗(yàn)證集和測(cè)試集。但是到目前為止，全球還沒(méi)有公開(kāi)的、帶類別標(biāo)簽的、用于道路病害圖像語(yǔ)義分割的數(shù)據(jù)集合。特別地，我國(guó)的道路病害檢測(cè)要求與發(fā)達(dá)國(guó)家還有著顯著的差異，這就要求道路病害檢測(cè)企業(yè)、道路病害檢測(cè)設(shè)備提供商、國(guó)內(nèi)高校和科研機(jī)構(gòu)通力合作，盡早建立符合《公路技術(shù)狀況評(píng)定標(biāo)準(zhǔn)（JTG 5210-2018）》檢測(cè)要求的道路病害數(shù)據(jù)集，以為進(jìn)一步的模型訓(xùn)練和優(yōu)化奠定堅(jiān)實(shí)的基礎(chǔ)。

3.2 二維圖片處理過(guò)渡至三維圖片處理

由于二維圖片缺乏關(guān)于高度的信息（當(dāng)然可以通過(guò)一定算法計(jì)算獲得，但是既增加了難度，又難以保證精度），諸如沉陷、波浪擁抱、坑槽等的病害檢測(cè)難以利用該方法檢測(cè)。近年來(lái)，路面三維高精度檢測(cè)系統(tǒng)的問(wèn)世與日漸成熟，這就為路面病害的智能檢測(cè)開(kāi)啟了新的研究方向。未來(lái)的研究要緊跟采集技術(shù)的發(fā)展趨勢(shì)，在二維圖片檢測(cè)的基礎(chǔ)上，持續(xù)進(jìn)行技術(shù)迭代，以適應(yīng)未來(lái)三維檢測(cè)的需求。

3.3 單項(xiàng)或成組病害識(shí)別轉(zhuǎn)向全病害類別識(shí)別

目前，國(guó)內(nèi)關(guān)于此領(lǐng)域的研究大部分集中在裂縫、裂紋的識(shí)別等，瀝青路面占大部分，水泥路面占少部分。然而，要使得現(xiàn)有的深度學(xué)習(xí)技術(shù)能夠從實(shí)驗(yàn)室走向工程應(yīng)用，就需要能夠盡可能多地覆蓋更多的病害類別。增加病害類別的數(shù)量，將會(huì)帶來(lái)系統(tǒng)設(shè)計(jì)和模型算法要求幾何級(jí)數(shù)的難度增長(zhǎng)，這將是未來(lái)該領(lǐng)域的長(zhǎng)期攻堅(jiān)方向。

3.4 病害識(shí)別轉(zhuǎn)向病害成因識(shí)別及病害發(fā)展預(yù)測(cè)

現(xiàn)有的利用深度學(xué)習(xí)技術(shù)對(duì)道路病害的識(shí)別僅限于對(duì)道路病害表現(xiàn)的識(shí)別。但是從道路運(yùn)營(yíng)管理的全流程角度來(lái)看，對(duì)病害成因的識(shí)別和對(duì)病害長(zhǎng)期發(fā)展的預(yù)測(cè)可能更具備應(yīng)用前景和價(jià)值。國(guó)內(nèi)已有部分研究涉及到路面結(jié)構(gòu)病害檢測(cè)，但尚未形成相較成熟的應(yīng)用前景。在未來(lái)的科研工作中，需要更多地結(jié)合道路病害運(yùn)營(yíng)管理訴求，結(jié)合各類檢測(cè)傳感系統(tǒng)的發(fā)展，堅(jiān)強(qiáng)深度學(xué)習(xí)技術(shù)在此領(lǐng)域的應(yīng)用研究。