智能公路系統(tǒng)下的路面病害圖像檢測技術(shù)綜述

柳雨豪， 羅浩原， 黃曉明

（1.江蘇交控人才發(fā)展集團有限公司，江蘇 南京 210019； 2.東南大學(xué)交通學(xué)院, 江蘇 南京 211189）

1 概 述

20世紀(jì)90年代以來，我國公路建設(shè)發(fā)展迅猛。交通運輸部2021年交通運輸行業(yè)發(fā)展統(tǒng)計公報指出，當(dāng)前全國公路總里程528.07萬公里，高速公路里程16.91萬公里。國家發(fā)改委最新規(guī)劃綱要指出［1］，到2030年國家高速公路剩余未建里程0.10萬公里。高等級公路新建任務(wù)已基本完成，對現(xiàn)有道路的管理與養(yǎng)護需求日益凸顯。為提升公路養(yǎng)護管理的標(biāo)準(zhǔn)化和規(guī)范化，我國在《公路技術(shù)狀況評定標(biāo)準(zhǔn)》（JTG 5210—2018）中明確規(guī)定路面技術(shù)狀況指數(shù)PQI（Pavement Maintenance Quality Index）。其中，路面損壞狀況指數(shù)PCI（Pavement Maintenance Quality Index）對PQI的權(quán)重為0.35或0.5或0.6，在所有七項指標(biāo)中占比最高，充分體現(xiàn)了路面病害檢測的關(guān)鍵性。

路面病害檢測主要利用圖像技術(shù)進行判定，目前已經(jīng)歷3個階段：人工檢測階段、半自動化檢測階段、無損自動檢測階段［2］。

階段1為人工檢測法。公路檢測人員在日間對病害路面進行現(xiàn)場測量、統(tǒng)計記錄，并內(nèi)業(yè)評估路面損壞程度。該方法的主要缺陷是易導(dǎo)致交通擁堵、工作量大，已不符合我國當(dāng)前大規(guī)模、大范圍路面病害檢測的需求。

階段2的半自動化檢測階段源于20世紀(jì)末，是自動化檢測的鋪墊時期。典型技術(shù)有法國GERPHO道路檢測系統(tǒng)［3］，通過搭載35 mm膠片的GPS定位車采集道路表面圖像數(shù)據(jù)，工作人員用室內(nèi)設(shè)備判定道路病害，并依此建立數(shù)據(jù)庫。該方法具有劃時代意義，改變了現(xiàn)場人工檢測的傳統(tǒng)手段，極大減輕了道路檢測對交通的影響。20世紀(jì)80年代日本開發(fā)Komatsu道路檢測系統(tǒng)［4］，攝像車輛兩側(cè)燈光照射路面，采用高密度錄像帶存儲道路病害信息。但其無法自動識別病害類型，后期處理主要由人工完成。20世紀(jì)90年代CCD數(shù)字成像技術(shù)發(fā)展后，搭載圖像處理系統(tǒng)的瑞典PAVUE檢測車［5］實現(xiàn)一定時速下采集圖像的能力，并可實現(xiàn)半自動化圖像處理功能，但此系統(tǒng)將破損圖像以模擬格式存儲在S-VHS磁帶中，造成數(shù)據(jù)存儲困難和調(diào)用局限。這一階段的道路檢測裝置實現(xiàn)了代替人工野外作業(yè)的功能，主要局限是檢測車一般在夜間使用，行駛車速低，且后期人工處理圖像耗時較長，道路檢測效率十分有限。

階段3采用多傳感器道路檢測車對路面病害進行檢測。該階段主要采集兩類數(shù)據(jù)：由CCD或CMOS數(shù)碼相機采集的2D數(shù)字圖像、由激光采集的3D數(shù)字圖像。典型的數(shù)據(jù)采集裝置有加拿大FUGRO公司的ARAN系列道路檢測車、阿肯色大學(xué)DHDV檢測車［6］、美國Waylink道路檢測車、加拿大LRIS系統(tǒng)、長安大學(xué)CT-501A高速道路激光車［2］、武大ZOYON-RTM智能道路檢測車、南京理工大學(xué)N-1型道路狀況智能檢測車［7］、中公高科多功能快速檢測車CiCS Ⅱ等。該階段的采集裝置應(yīng)用數(shù)碼相機和紅外激光實現(xiàn)道路地理信息、道路病害信息等數(shù)據(jù)的采集，采集效率跨越式提升。

除數(shù)據(jù)采集裝置的長足進步外，階段3產(chǎn)生多種數(shù)字圖像處理算法，以實現(xiàn)路面病害的快速檢測與提取。路面病害圖像檢測算法主要分為兩大方向：道路圖像自動篩分算法、道路病害特征提取算法。道路圖像自動篩分算法即在大量的道路圖像中，快速篩選出少量包含病害的圖片，在該過程中盡量減少人工干預(yù)。道路病害特征提取算法即針對篩選出的少量包含病害的圖片，提取出病害的尺度信息（如長、寬、面積等）。路面病害檢測的三個發(fā)展階段如圖1所示。

圖1 路面病害檢測發(fā)展歷程

2 2D道路圖像病害特征提取算法

2D道路圖像因采集便利、數(shù)據(jù)易存儲、處理算法成熟，目前仍是路面病害檢測的研究重點。近幾十年來，研究人員基于多種圖像處理算法，一定程度上實現(xiàn)了2D道路圖像病害的特征提取。

2.1 閾值分割法

閾值分割（Threshold Segmentation）是圖像分割的一種經(jīng)典方法?；舅枷胧峭ㄟ^設(shè)定灰度閾值，將圖像中的所有像素分配到不同的像素組中，從而實現(xiàn)目標(biāo)與背景的分離。對于道路圖像，一般設(shè)定一個灰度閾值，將灰度圖像轉(zhuǎn)化為二值圖像，如圖2所示。設(shè)原始圖像灰度f(x，y)，選定閾值τ，根據(jù)下式規(guī)則定義閾值分割后的二值圖像灰度g(x，y)：

圖2 全局閾值分割原理

決定閾值分割效果的關(guān)鍵因素是閾值τ的選取。閾值τ選定準(zhǔn)確，則可較好分離出裂縫、坑槽等目標(biāo)；閾值τ選定偏移，則可能發(fā)生病害缺損或冗余信息的問題。選定τ的方法主要包括迭代法、最小均方誤差法、最大類間方差法、最大熵法及分水嶺法［8］。

大津法（OTSU）是以最大類間方差法為原理的經(jīng)典全局閾值分割算法［9］，該算法原理簡單、處理效率高，針對目標(biāo)與背景反差大的圖像提取效果優(yōu)良，是早期道路裂縫圖像分割的主要方法。Talab等［10］應(yīng)用OTSU對水泥混凝土局部圖片進行裂縫提取，取得了良好的圖像分割效果。褚燕利［11］使用OTSU對增強去噪瀝青路面裂縫圖像進行閾值分割，并通過像素點統(tǒng)計法計算裂縫面積、長度、寬度。一般來說，水泥路面紋理性弱，表面裂縫灰度與路面面灰度差異明顯，全局閾值分割效果較好；而瀝青路面顏色深，有復(fù)雜的不規(guī)則紋理，細小裂縫與完好路面灰度差異不大，使用全局閾值分割往往難以取得良好效果。為解決這一問題，國內(nèi)外學(xué)者采用以下辦法：1）優(yōu)化閾值選取方式，采用局部閾值法或動態(tài)閾值法來適應(yīng)不同道路圖像的差異；2）應(yīng)用圖像增強技術(shù)對道路圖像進行預(yù)處理，并結(jié)合形態(tài)學(xué)等算法聯(lián)合提取病害信息。

Wang等［12］應(yīng)用多尺度局部閾值分割對道路圖塊進行裂縫提取，一是通過金字塔比例變換削弱圖像噪聲；二是采用網(wǎng)格單元分析（GCA，Grid Cell Analysis）對不同裂紋密度的區(qū)域選取局部最優(yōu)閾值，結(jié)果表明比全局閾值分割效果更佳。Sun等［13］應(yīng)用加權(quán)鄰域算法對裂縫圖像進行處理，然后采用局部閾值精細化分割裂紋，最后應(yīng)用形態(tài)學(xué)膨脹法處理裂縫連接性問題，取得良好結(jié)果。Tang等［14］使用直方圖閾值分割進行裂縫位置的粗略確定，并應(yīng)用 B樣條算法精確定位裂縫的位置。

研究表明，多級閾值分割比單次全局閾值分割效果更佳。Peng等［15］采用兩級閾值分割優(yōu)化裂縫提取，對道路標(biāo)線進行預(yù)分割以減小其對裂縫提取效果的影響，充分考慮到工程實際因素對病害識別的影響。Oliveira等［16］同樣應(yīng)用兩級動態(tài)閾值法處理道路圖像。第一級動態(tài)閾值用以提取圖像中的可能裂縫區(qū)域，并將可能裂縫區(qū)域劃分為圖塊并進行熵（Entropy）計算；第二級動態(tài)閾值分析所得熵矩陣，從而判斷圖像中是否含有裂縫。

2.2 邊緣檢測法

道路的兩種病害形式——裂縫和坑槽具有顯著的邊緣特性，因此邊緣檢測算子（Edge detection operator）是一種有效的檢測手段。常用邊緣檢測算子包括Sobel算子、Prewitt算子、Canny算子、Roberts算子Laplace算子等。以Sobel算子為例，用圖3所示的兩個卷積核與待檢測圖片做卷積，兩個卷積核分別對垂直邊緣和水平邊緣的響應(yīng)劇烈（體現(xiàn)為卷積值的大小），故可檢測出兩個方向的邊緣。

圖3 Sobel邊緣檢測算子

由于道路裂縫病害走向的無規(guī)律性，李晉惠［17］采用8方向的sobel算子對裂縫病害圖像進行邊緣檢測，從而識別各個方向的梯度變化。由于道路圖像噪聲復(fù)雜性，直接使用邊緣檢測算子難以獲得理想的邊緣提取結(jié)果。許多學(xué)者根據(jù)道路圖像的紋理性、同質(zhì)性、弱特征性對現(xiàn)有邊緣檢測算子進行改進，以獲取更高的提取準(zhǔn)確率。Zhao等［18］考慮到Canny算子對弱邊緣的檢測能力不佳和裂縫不連續(xù)性，應(yīng)用小波變換和遺傳算法優(yōu)化算子，檢測耗時更低且優(yōu)化了對模糊邊緣的保護。馬麗莎［19］綜合分析邊緣檢測法和閾值分割法的優(yōu)缺點，將自適應(yīng)Canny算子裂縫檢測結(jié)果與局部閾值分割結(jié)果疊加，實現(xiàn)對裂縫不連續(xù)處的準(zhǔn)確連接。Ayenu等［20］將經(jīng)驗?zāi)B(tài)分解（EMD，Empirical mode decomposition）與Sobel算子聯(lián)合使用，有效削弱了圖像噪聲對分類結(jié)果的影響。

針對路面裂縫圖像，不同的邊緣檢測算子對相同圖像處理將獲得不同結(jié)果；由于瀝青路面圖像復(fù)雜的紋理性，有時采用邊緣檢測算子提取裂縫的效果會不太理想，如圖4所示［21］。

圖4 邊緣檢測算子提取結(jié)果

2.3 區(qū)域生長算法

區(qū)域生長算法（Region growing method）的基本原理是將具有相似性質(zhì)的像素點合并為一個區(qū)域集合。首先指定一個種子點（Seed）作為區(qū)域生長起點，在預(yù)先確定的生長規(guī)則下，將鄰域像素點與種子點進行對比，從而將具有相似特征的點合并起來繼續(xù)向外生長，直到整個圖像遍歷結(jié)束。

王維等［22］采用區(qū)域生長分割得到病害連通區(qū)域，并采用形態(tài)學(xué)腐蝕膨脹方法對裂縫進行去毛刺和連通處理，取得良好結(jié)果。王德方等［23］在使用區(qū)域生長法前先使用K-means聚類法進行預(yù)處理，獲得優(yōu)化結(jié)果。Zhang等［24］首先在綜合考慮圖像空間分布、密度、裂縫幾何特征的情況下，使用自適應(yīng)閾值分割進行初處理；并提出了一種可靠度因子ROB（Region of Belief）以量化一個像素塊包含裂縫的可能性；最后基于ROB種子點（ROB Seeds）使用新的區(qū)域生長算法實現(xiàn)裂縫分割，可以實現(xiàn)不均勻光照下的有效裂縫提取。Li等［25］充分考慮道路表面紋理特性和裂縫陰影，改進了FoSA-F*區(qū)域生長算法：一方面規(guī)避了設(shè)置開始和結(jié)束點的工作；另一方面將全局搜索改變?yōu)榕d趣區(qū)域搜索，從而提升效率。

3 基于機器學(xué)習(xí)的2D道路圖像自動篩分算法

路面病害檢測階段3——無損自動檢測階段的主要特點是，圖像數(shù)據(jù)量跨越式提升，圖像數(shù)量可達數(shù)萬張甚至數(shù)十萬張。從海量道路圖像中快速自動篩分出含病害圖像顯得尤為重要。近年來，機器學(xué)習(xí)算法的興起使無人工干預(yù)或較少人工干預(yù)的大規(guī)模圖像篩分成為可能，其原理如圖5所示。機器學(xué)習(xí)（Machine learning）是從已有數(shù)據(jù)中自動分析獲得規(guī)律，并利用規(guī)律對未知數(shù)據(jù)進行預(yù)測的算法［26］。機器學(xué)習(xí)可以分為監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和增強學(xué)習(xí)。

圖5 基于機器學(xué)習(xí)的道路圖像自動篩分

3.1 監(jiān)督學(xué)習(xí)病害圖像分類

監(jiān)督學(xué)習(xí)（Supervised Learning）通過訓(xùn)練標(biāo)簽數(shù)據(jù)集得到一個廣義函數(shù)，當(dāng)處理新的未知數(shù)據(jù)時，可根據(jù)該廣義函數(shù)預(yù)測結(jié)果。標(biāo)簽數(shù)據(jù)集需人工標(biāo)注。常用算法包括邏輯回歸，樸素貝葉斯、支持向量機、人工神經(jīng)網(wǎng)絡(luò)和隨機森林。

①支持向量機（Support vector machine）。支持向量機是一種二元分類模型，通過計算特征空間上的最大間隔得到超平面（hyper plane）以實現(xiàn)分類，支持向量機被廣泛應(yīng)用于簡單的道路圖像分類問題。Hadjidemetriod等［27］應(yīng)用支持向量機對道路補丁圖像進行分類，識別準(zhǔn)確率為81.97%，召回率91.21%。其自動分類的道路補丁圖像面積較大，基本為1 m2以上的大型道路補丁，肉眼易辨識。但該方法可快速對大量圖像分類，極大減少了人工篩選的工作量。Sari等［28］應(yīng)用支持向量機對含有裂縫的道路圖像進行分類，并使用灰度共生矩陣（GLCM）及OTSU算法進行裂縫圖像特征提取。通過數(shù)據(jù)對比可以得出，應(yīng)用Anova核函數(shù)的SVM模型針對道路圖像分類有最高的準(zhǔn)確率。Hoang等［29］應(yīng)用人工蜂群算法優(yōu)化的支持向量機對道路裂縫進行分類，分類準(zhǔn)確率高達96%。Lin等［30］應(yīng)用非線性支持向量機對坑洞圖像和非坑洞圖像進行分類，取得了較高識別率。

②人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）。人工神經(jīng)網(wǎng)絡(luò)是一種模仿生物神經(jīng)元的計算模型，由輸入層、隱藏層、輸出層組成。自1986年Hinton等提出基于反向傳播算法的三層神經(jīng)網(wǎng)絡(luò)后，一些學(xué)者應(yīng)用3層BP神經(jīng)網(wǎng)絡(luò)對道路病害圖像進行分類。Xu等［31］較早應(yīng)用人工神經(jīng)網(wǎng)絡(luò)對道路裂縫圖像進行自動分類，將均衡化和二元處理后的裂縫圖像分為尺度更小的子塊，使用子塊樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)。周林［32］應(yīng)用3級BP網(wǎng)絡(luò)對200個裂縫圖像樣本進行訓(xùn)練，并使用100個未分類圖像進行分類測試，成功將圖像分成橫向裂縫、縱向裂縫、網(wǎng)狀裂縫、無裂縫4個類別。胡璠［33］設(shè)計6輸入節(jié)點、5輸出節(jié)點的三層BP神經(jīng)網(wǎng)絡(luò)用于道路裂縫分類。輸入節(jié)點包括：橫向裂縫種子個數(shù)、縱向裂縫種子個數(shù)、2個對角方向裂縫種子個數(shù)、裂縫長度參數(shù)、平均連接分量長度。輸出節(jié)點為橫向裂縫、縱向裂縫、龜裂、塊狀裂縫、完好路面。其原理如圖6所示。其中，每一個神經(jīng)元由權(quán)重參數(shù)ω和偏置值b控制，通過輸入樣本圖像進行訓(xùn)練，利用反向傳播算法調(diào)節(jié)每一個神經(jīng)元的權(quán)重參數(shù)ω和偏置值b，網(wǎng)絡(luò)訓(xùn)練完成后，輸入新的裂縫圖像即可實現(xiàn)裂縫類別的自動識別。

圖6 人工神經(jīng)網(wǎng)絡(luò)識別裂縫類型原理圖

③隨機森林（Random forest）。Shi等［34］基于隨機森林理論建立了開源道路裂縫分類與分割算法CrackForest。該算法重新自定義裂縫組成單元（tokens），可以更好表示不均勻裂縫；經(jīng)過優(yōu)化的隨機森林算法作為裂縫檢測器，可以識別復(fù)雜狀態(tài)下的裂縫。Hoang等［35］對支持向量機、隨機森林、人工神經(jīng)網(wǎng)絡(luò)對裂縫圖像進行分類的效果進行對比，分類準(zhǔn)確率分別為87.50%，70%和84.25%。

可以看出，上述三類監(jiān)督學(xué)習(xí)算法的最大特點是利用特征提取算法對道路圖像進行特征提取，隨后應(yīng)用機器學(xué)習(xí)算法實現(xiàn)圖像自動篩分。但仍存在自動化不足的缺陷。以胡璠［33］算法為例，其神經(jīng)網(wǎng)絡(luò)輸入節(jié)點的裂縫種子個數(shù)、裂縫長度等參數(shù)，需用算法提取后以數(shù)據(jù)列表形式導(dǎo)入神經(jīng)網(wǎng)絡(luò)的輸入節(jié)點，該過程仍需要一定的人工干預(yù)和操作。

3.2 半監(jiān)督、無監(jiān)督學(xué)習(xí)病害圖像分類

半監(jiān)督學(xué)習(xí)（SSL，Semi-Supervised Learning）指在訓(xùn)練過程中將少量有標(biāo)簽數(shù)據(jù)和大量無標(biāo)簽數(shù)據(jù)混合使用，可以顯著提升學(xué)習(xí)效率和算法準(zhǔn)確性。章穎［36］嘗試使用半監(jiān)督學(xué)習(xí)路面病害自動多分類，可達到95%以上的準(zhǔn)確率，并將結(jié)果與SVM支持向量機對比，指出半監(jiān)督學(xué)習(xí)的分類效果優(yōu)于支持向量機。Li等［37］使用半監(jiān)督學(xué)習(xí)算法實現(xiàn)了對無標(biāo)簽數(shù)據(jù)的自動標(biāo)識，并采用對抗算法和卷積網(wǎng)絡(luò)實現(xiàn)分割與預(yù)測，在AigleRN數(shù)據(jù)集上有效。該算法不再重度依賴標(biāo)簽數(shù)據(jù)的數(shù)量和質(zhì)量，其訓(xùn)練數(shù)據(jù)中標(biāo)簽數(shù)據(jù)為118張，僅占50%，檢測準(zhǔn)確率達到95.51%。道路病害識別領(lǐng)域應(yīng)用半監(jiān)督學(xué)習(xí)的文章較少，且研究結(jié)果不夠充分。

無監(jiān)督學(xué)習(xí)［38］指不對訓(xùn)練集標(biāo)簽化，完全依靠算法本身識別訓(xùn)練集的特征差別并分類，對數(shù)據(jù)量要求較大，目前對道路圖像的應(yīng)用研究還未起步。

4 基于深度神經(jīng)網(wǎng)絡(luò)的2D道路圖像自動篩分與目標(biāo)檢測算法

深度學(xué)習(xí)（DL，Deep Learning）是機器學(xué)習(xí)技術(shù)的發(fā)展，通過訓(xùn)練含有更多隱含層的深度神經(jīng)網(wǎng)絡(luò)（DNN，Deep Neural Network）來實現(xiàn)更復(fù)雜的特征學(xué)習(xí)和特征表達能力［39］。卷積神經(jīng)網(wǎng)絡(luò)（CNN，Convolutional Neural Network）是一種典型的DNN，尤其適用于圖像處理任務(wù)，典型結(jié)構(gòu)如圖7所示［40］。由于卷積神經(jīng)網(wǎng)絡(luò)的局部感受野（Local receptive fields）和共享權(quán)重（Shared weights），使參數(shù)數(shù)量大幅減少。

圖7 深度卷積神經(jīng)網(wǎng)絡(luò)CNN網(wǎng)絡(luò)結(jié)構(gòu)圖

傳統(tǒng)的機器學(xué)習(xí)算法需要人工設(shè)計提取的圖像特征參數(shù)，并需反復(fù)調(diào)試。CNN的優(yōu)勢是輸入端僅需輸入圖像，特征提取及圖像分類完全依賴網(wǎng)絡(luò)自訓(xùn)練，對大規(guī)模圖像處理具有極大優(yōu)勢。表1對比了深度卷積神經(jīng)網(wǎng)絡(luò)與本文第2章介紹的人工神經(jīng)網(wǎng)絡(luò)算法的主要區(qū)別。

表1 深度神經(jīng)網(wǎng)絡(luò)與早期人工神經(jīng)網(wǎng)絡(luò)對比

4.1 深度神經(jīng)網(wǎng)絡(luò)道路病害圖像篩分

較早應(yīng)用深度卷積神經(jīng)網(wǎng)絡(luò)進行道路病害檢測的文章發(fā)表于2016年，Zhang等［41］采集500張智能手機拍攝的 3264×2448 像素的道路圖像，將之分割成100萬張 99×99×3 像素（RGB彩色圖像）的道路圖片塊，采用含有4層卷積層的神經(jīng)網(wǎng)絡(luò)對64萬張圖片進行訓(xùn)練，16萬張做訓(xùn)練驗證樣本（validation），20萬張做測試樣本。首次實現(xiàn)應(yīng)用深度學(xué)習(xí)對病害圖像分類，可將圖片塊快速分為含裂縫與無病害兩種類型，識別準(zhǔn)確率86.96%，召回率92.51%。分類效果顯著優(yōu)于試驗對照組93維SVM與Boosting法。Nhat等［42］將CNN與傳統(tǒng)邊緣檢測算子裂縫提取法進行對比，識別準(zhǔn)確率分別為79.99%和92.08%，基于深度學(xué)習(xí)的方法表現(xiàn)出顯著優(yōu)勢。沙愛民等［43］利用自設(shè)計拍攝設(shè)備采集圖像數(shù)據(jù)，將200張原始圖像分割成12800張尺寸為512×512像素的圖像，訓(xùn)練3個CNN，分別為病害識別模型、裂縫特征提取模型、坑槽特征提取模型，結(jié)果表明其CNN的裂縫病害等級判斷準(zhǔn)確率98.99%、坑槽病害等級判定準(zhǔn)確率為95.32%。Wang等［44］將道路圖像分割成32×32或64×64的網(wǎng)格，然后用CNN來對網(wǎng)格圖像進行分類，判斷其是否含有裂縫。判斷結(jié)束后將含裂縫圖塊拼接。結(jié)果表明64×64網(wǎng)格可以獲得更好的分類結(jié)果，其中縱向裂縫分類成功率可達97.6%。但是該方法一是對網(wǎng)格邊緣的裂縫不能有效識別，二是對網(wǎng)狀裂縫的識別效果比較有限。Crack-pot法［45］融合了傳統(tǒng)圖像處理技術(shù)和深度學(xué)習(xí)方法，可以有效檢測坑洞、裂縫的邊界框。

研究表明，在一定程度上，神經(jīng)網(wǎng)絡(luò)深度越深，對圖片的分類能力和泛化能力越強［46］，如深度網(wǎng)絡(luò)VGG Net為19層，GoogleNet為22層，ResNet為152層。針對上述Zhang［41］的論文，Pauly等［47］認(rèn)為其使用的神經(jīng)網(wǎng)絡(luò)深度不足，因此應(yīng)用優(yōu)化后的11層神經(jīng)網(wǎng)絡(luò)，采用與Zhang相同的道路圖片集進行試驗。結(jié)果表明，加大網(wǎng)絡(luò)深度可以提高分類準(zhǔn)確率和召回率。但無限制增加隱藏層深度，則更易陷入局部最優(yōu)解，性能甚至不如淺層網(wǎng)絡(luò)。

4.2 深度神經(jīng)網(wǎng)絡(luò)道路病害目標(biāo)檢測

目標(biāo)檢測（Object detection）是利用深度神經(jīng)網(wǎng)絡(luò)檢索圖像，自動生成邊界框（Bounding box）來劃定目標(biāo)位置并區(qū)分目標(biāo)類型。廣泛應(yīng)用于道路病害區(qū)域快速提取，如圖8所示?？梢钥闯?，目標(biāo)檢測的最大特點是，可以自動生成邊界框標(biāo)定病害位置，而不僅僅是作出圖像分類，具有重大意義。

圖8 基于深度學(xué)習(xí)的目標(biāo)檢測效果圖

典型模型如Faster R-CNN［48］，SSD［49］，YOLO［50］等。Faster R-CNN是一種常用的目標(biāo)檢測算法，主要分為三個步驟：1）使用CNN提取一系列候選特征圖；2）使用RNP（Region Proposal Networks）生成檢測框；3）目標(biāo)分類與邊界框坐標(biāo)回歸。Li等［51］使用faster R-CNN來探測六種道路病害，該模型可在不同光照條件下精準(zhǔn)地自動確認(rèn)和定位病害區(qū)域。李海東［52］使用退火算法優(yōu)化無人機飛行路徑，基于采集圖像設(shè)計了30個faster R-CNN模型進行路面病害定位提取，并對比選取最優(yōu)結(jié)構(gòu)。并在原有卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上增加膨脹卷積層、高斯隨機層、基于支持向量機的像素點分類層以進行優(yōu)化設(shè)計。經(jīng)優(yōu)化后的算法可實現(xiàn)93.56%的平均準(zhǔn)確率。

Faster R-CNN的思路是先產(chǎn)生候選框，再對候選框進行分類與回歸，一般被稱為two-stage方法；SSD，Yolo的思路則是均勻地在圖片上的不同位置進行密集抽樣，然后利用CNN提取特征后直接進行分類，該過程由單步實現(xiàn)，一般被稱為one-stage方法。Du等［53］應(yīng)用YOLO網(wǎng)絡(luò)預(yù)測可能的道路病害位置和種類，平均準(zhǔn)確率73.64%，圖片處理速度0.0347秒/張，約為Faster R-CNN處理速度的1/9，SSD處理速度的70%。處理過程無需手動特征提取及計算。Zhu等［54］采用較新的Yolov4，Yolov3與faster R-CNN算法進行對比，均可實現(xiàn)對道路裂縫、坑槽、修補的目標(biāo)檢測，其中，Yolov3算法效果最佳。Maeda等［55］對比了基于MobileNet和基于Inception v2的兩種SSD算法，發(fā)現(xiàn)前者是后者識別速度的兩倍。Yang等［56］在SSD中引入RFB（Receptive Field Block） 進行道路裂縫識別，RFB通過模擬人類視覺的感受野加強網(wǎng)絡(luò)的特征提取能力。結(jié)構(gòu)上體現(xiàn)為在Inception的基礎(chǔ)上加入了空洞卷積層（Dilated convolution），從而有效增大了感受野（Receptive field）。

近年來，應(yīng)用深度神經(jīng)網(wǎng)絡(luò)進行道路病害目標(biāo)檢測的實際應(yīng)用十分廣泛，表2為多項應(yīng)用GRDDC2020數(shù)據(jù)集進行訓(xùn)練和測試的目標(biāo)檢測結(jié)果對比［57］?？梢钥闯?，Yolo為目標(biāo)主流的網(wǎng)絡(luò)選擇，并具有高魯棒性。

表2 工業(yè)級道路病害目標(biāo)檢測

訓(xùn)練全新的深度神經(jīng)網(wǎng)絡(luò)往往需要大量訓(xùn)練集、大量訓(xùn)練時間、高配置硬件設(shè)備。遷移學(xué)習(xí)（Transfer learning）使用預(yù)訓(xùn)練模型［58］，遷移解決當(dāng)前問題，大大減少訓(xùn)練時間和訓(xùn)練成本，并可以取得良好的效果。Gopalakrishnan等［59］應(yīng)用基于ImageNet［60］預(yù)訓(xùn)練的VGG-16 DCNN進行瀝青道路裂縫分類的遷移學(xué)習(xí)，并使用FHWA/LTPP的1056張道路圖像進行結(jié)果分析，取得良好結(jié)果。結(jié)果表明，該方法的訓(xùn)練速度遠快于訓(xùn)練同等量級數(shù)據(jù)集的速度。Zhang等［61］基于遷移學(xué)習(xí)提出了區(qū)分涂封瀝青的裂縫和未處理裂縫兩種裂縫的算法。試驗選用800張道路圖像，分為15萬張圖片塊，選用ImageNet預(yù)訓(xùn)練的DCNN為遷移學(xué)習(xí)目標(biāo)。結(jié)果表明，該方法優(yōu)于CrackForest、CrackIT及Canny邊緣檢測算子。值得注意的是，ImageNet是一個超過1400萬標(biāo)記圖像的數(shù)據(jù)庫，圖像內(nèi)容與道路病害檢測并無關(guān)系，主要為動物、日常生活用品等。用毫無關(guān)聯(lián)的數(shù)據(jù)集訓(xùn)練出的網(wǎng)絡(luò)結(jié)構(gòu)經(jīng)過效率更高的網(wǎng)絡(luò)自調(diào)整后可以應(yīng)用于道路病害檢測領(lǐng)域，體現(xiàn)出神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí)的普適性，也為深度學(xué)習(xí)解決諸多復(fù)雜問題提供了有力支撐。

深度神經(jīng)網(wǎng)絡(luò)需要大量標(biāo)簽數(shù)據(jù)集用于網(wǎng)絡(luò)訓(xùn)練和網(wǎng)絡(luò)效果測試，目前已有多個開源道路圖像數(shù)據(jù)庫，可用于網(wǎng)絡(luò)訓(xùn)練和數(shù)據(jù)擴充，供讀者參考使用。如表3所示。

表3 道路病害識別開源數(shù)據(jù)庫

綜上所述，基于深度神經(jīng)網(wǎng)絡(luò)的道路圖像自動篩分與目標(biāo)檢測算法具有如下特點：1）訓(xùn)練后的網(wǎng)絡(luò)可實現(xiàn)對原始圖像的自動篩分和目標(biāo)檢測，檢測結(jié)果魯棒性高，對原始數(shù)據(jù)要求低，泛化能力強。2）應(yīng)用深度神經(jīng)網(wǎng)絡(luò)處理道路圖像時，完成網(wǎng)絡(luò)訓(xùn)練后無需人工干預(yù)，自動化程度極高，以Faster RCNN、Yolo為代表的一系列目標(biāo)檢測網(wǎng)絡(luò)可實現(xiàn)實時檢測，實用性強。3）深度神經(jīng)網(wǎng)絡(luò)深度深、網(wǎng)絡(luò)復(fù)雜度高，需要較大的訓(xùn)練樣本量和訓(xùn)練資源，但可通過遷移學(xué)習(xí)的方式提升效率。4）較早應(yīng)用深度神經(jīng)網(wǎng)絡(luò)進行道路病害檢測的文章發(fā)表于2016年，該領(lǐng)域研究較新，正處于高速發(fā)展期。

5 3D道路圖像病害特征提取算法

上述基于2D數(shù)字圖像的道路病害識別技術(shù)因數(shù)據(jù)采集便利、算法豐富而得到廣泛研究。但2D圖像難以獲取道路病害深度信息，且易受拍攝環(huán)境影響。而3D圖像采集結(jié)果受拍攝亮度等環(huán)境因素影響很?。?2］，因此近年對3D路面病害檢測的研究逐漸深入。獲取路面三維數(shù)據(jù)的技術(shù)主要有兩種：多視角近景攝影、激光三維點云重構(gòu)。

多視角近景攝影的原理是利用工業(yè)相機于多角度拍攝道路2D圖像并進行表面三維重構(gòu)。Vilaca等［63］采用基于雙相機近景攝影的瀝青表面紋理重構(gòu)，但存在不可控的紋理損失現(xiàn)象。陳嘉穎等［64］基于環(huán)形三相機近景攝影測量技術(shù)設(shè)計了路面紋理信息采集和重構(gòu)算法，其紋理識別精度接近0.02 mm，滿足道路表面破損病害的識別精度要求。

激光三維點云是用激光掃描儀（3D scanner）采集的、用空間三維數(shù)據(jù)(x，y，z)表征物體表面的技術(shù)手段，點密度越大，形成的三維數(shù)據(jù)精度越高，如圖9所示［64］。

圖9 道路三維點云模型重構(gòu)

Zhang等［65］應(yīng)用Kinect工具實現(xiàn)對路面三維點云的獲取，并成功提取道路裂縫的長度、寬度、深度等幾何特征。Kamal等［66］使用Kinect工具對坑洞的深度和體積進行預(yù)測，其誤差分別低至2.58%和5.47%。并探討了坑洞中的水、灰塵、油質(zhì)物質(zhì)對檢測誤差的影響。研究指出，隨著內(nèi)容物的增多，檢測誤差越高。Tsai等［62］對比2D，3D圖像在路面裂縫識別上的差異，并提出一種動態(tài)優(yōu)化裂縫提取技術(shù)，對1～5 mm寬、不同深度、不同光照條件下的裂縫進行綜合研究。結(jié)果表明3D激光采集可有效提取2 mm寬以上的裂縫信息，并且可以在低強度差的情況下有效檢測裂縫存在，這是基于2D圖像的方法難以實現(xiàn)的。Huang等［67］基于Dempster-Shafer理論，將2D灰度圖像和3D雷達掃描數(shù)據(jù)結(jié)合處理，結(jié)果表明處理精度相較2D圖像有顯著提升。Li等［68］應(yīng)用3D雷達數(shù)據(jù)和稀疏點陣來進行研究，并應(yīng)用傅里葉變換來粗略提取裂縫。

Zhang等［69］基于3D道路圖像，提出了一系列深度神經(jīng)網(wǎng)絡(luò)檢測算法，首先提出了一種像素級3D裂縫探測卷積神經(jīng)網(wǎng)絡(luò)CrackNet。該網(wǎng)絡(luò)共由5層組成，分別為2個卷積層、2個全連接層和1個輸出層。并用1800張由DHDV系統(tǒng)［6］采集的道路3D圖像進行裂縫測試。結(jié)果表明由于網(wǎng)絡(luò)池化層造成的信息損失，最后識別結(jié)果無法達到像素級的精確程度，因此嘗試去除中間層的最大池化層以最大限度保留細節(jié)信息。為了提升網(wǎng)絡(luò)的檢測質(zhì)量和檢測速度，文獻［70］在原CrackNet網(wǎng)絡(luò)基礎(chǔ)上改進設(shè)計了Crack-NetⅡ，添加更多隱藏層并減少參數(shù)個數(shù)。二代網(wǎng)絡(luò)比一代網(wǎng)絡(luò)速度快5倍。CrackNet Ⅴ進一步提升了上一代網(wǎng)絡(luò)，由8個卷積層組成，且添加了預(yù)處理層［71］。進一步減少網(wǎng)絡(luò)參數(shù)并優(yōu)化對淺層裂縫的提取能力。最后，CrackNet-R在上代網(wǎng)絡(luò)基礎(chǔ)上應(yīng)用RNN網(wǎng)絡(luò)結(jié)構(gòu)［72］。GRMLP作為遞歸單元用于更新內(nèi)部存儲器。該方法有效提升召回率，可達到95%。Kelvin團隊經(jīng)多年研究，最終形成一套較為完備的基于3D道路圖像的檢測算法。

綜上所述，基于3D數(shù)據(jù)的路面檢測技術(shù)對病害識別精度更高，且不受環(huán)境因素影響，激光點云密度是決定三維重構(gòu)精度的主要因素，適合復(fù)雜條件下的高精度數(shù)據(jù)采集與病害檢測。

6 路面病害圖像檢測技術(shù)發(fā)展趨勢

國內(nèi)外的路面病害技術(shù)已經(jīng)歷3個主要階段，多種道路檢測技術(shù)已取得長足進步和發(fā)展。結(jié)合上文綜述，當(dāng)前的路面病害圖像檢測技術(shù)具有三大痛點：1）道路數(shù)據(jù)庫割裂、分散，無法實現(xiàn)圖像數(shù)據(jù)的集成，造成數(shù)據(jù)浪費；2）現(xiàn)階段道路檢測主要使用專用道路檢測車，但檢測車的覆蓋能力和檢測效率都十分有限。且大多數(shù)里程的道路并無病害，空跑路程占比很大，檢測車的綜合效益有限；3）沒有實現(xiàn)對不同損壞狀況的道路區(qū)別化檢測，盲目使用3D數(shù)據(jù)采集與分析，綜合效率低下。

為解決上述痛點，整合2D，3D檢測方式的特點，充分利用智能公路系統(tǒng)下的信息系統(tǒng)優(yōu)勢［73］，本文嘗試展望第4階段道路檢測系統(tǒng)——多源分級檢測階段。如圖10所示，針對民用車輛圖像采集的發(fā)展趨勢，可在民用車輛表面安裝二維圖像采集裝置專用于道路面面圖像采集，應(yīng)用輕量化深度神經(jīng)網(wǎng)絡(luò)實時篩選、檢測表面病害狀況，將識別出的病害點位上傳至云端道路病害圖像數(shù)據(jù)庫，以實現(xiàn)病害數(shù)據(jù)的集成和病害位置的有效監(jiān)測。該過程相較于專用道路檢測車有兩點優(yōu)勢：1）依靠民用車輛自然行駛采集數(shù)據(jù)，而非專門調(diào)用檢測車，節(jié)省人力物力，同時不對交通造成影響；2）對于從海量圖像中篩選出的病害區(qū)域，根據(jù)實際檢測需求，有針對性地派出激光掃描設(shè)備，進一步掌握路面病害檢測數(shù)據(jù)。最大限度節(jié)約資源。

圖10 多級網(wǎng)絡(luò)化道路檢測體系

除了可以有針對性的采集路面數(shù)據(jù)，云數(shù)據(jù)平臺還可以指導(dǎo)行駛車輛減少對病害區(qū)域的破壞。在智能公路（Intelligent Road，IR）系統(tǒng)背景下，P2X（Pavement to Everything）［74］是以道路鋪面為信息源的“鋪面對多目標(biāo)網(wǎng)聯(lián)服務(wù)體系”，其中“X”包括車輛、駕駛?cè)?、行人、道路管養(yǎng)部門、道路基礎(chǔ)設(shè)施、移動終端等。以P2X體系為支撐，當(dāng)民用車輛、云數(shù)據(jù)平臺檢測到道路上的相關(guān)點位為敏感點時（可能或已經(jīng)產(chǎn)生路面病害的位置），應(yīng)用物聯(lián)網(wǎng)技術(shù)與車路協(xié)同技術(shù)，云數(shù)據(jù)平臺向該路段通行車輛發(fā)出車道行駛的優(yōu)化選擇指令，從而智能調(diào)節(jié)敏感點的車輛通行次數(shù)（即荷載作用次數(shù)），并及時反饋道路管養(yǎng)部門對敏感點位置進行預(yù)養(yǎng)護與預(yù)處理，從而最大限度提升道路使用壽命。通過上述多源分級道路檢測系統(tǒng)，在全時段智能監(jiān)控道路病害的同時，實現(xiàn)了資源合理利用，具有較大的推進價值和實用意義。隨著深度學(xué)習(xí)、云計算、車聯(lián)網(wǎng)、智能公路的快速發(fā)展，該系統(tǒng)的各項技術(shù)正趨于成熟。