計(jì)算機(jī)視覺在道路成像和坑洞檢測(cè)中的應(yīng)用研究綜述

李銳 王鑫 楊威朋 屈燾 賀帥

（重慶交通大學(xué)，重慶 400074）

1 前言

道路坑洞是一種路面出現(xiàn)結(jié)構(gòu)性崩壞的現(xiàn)象，一般由車輛長(zhǎng)期通過有關(guān)區(qū)域造成[1]。道路坑洞一旦出現(xiàn)，且未得到及時(shí)修復(fù)，在雨水和行駛車輛的綜合作用下會(huì)逐漸惡化。

道路坑洞對(duì)車輛狀況和交通安全也構(gòu)成巨大威脅?，F(xiàn)階段，道路坑洞的檢測(cè)以人工檢測(cè)為主。然而，這種方式耗費(fèi)大量的人力和時(shí)間成本，評(píng)估的結(jié)果高度依賴檢查員的經(jīng)驗(yàn)和主觀判斷。這促使相關(guān)研究人員致力于開發(fā)一套能夠自動(dòng)完成道路坑洞檢測(cè)并客觀評(píng)估道路狀況的系統(tǒng)[2]。與此同時(shí)，自動(dòng)駕駛技術(shù)的發(fā)展為道路坑洞的自動(dòng)檢測(cè)提供了便利條件。很多車輛的先進(jìn)駕駛輔助系統(tǒng)（Advanced Driving Assistance System，ADAS）中集成了道路坑洞檢測(cè)功能。例如，捷豹路虎2015年宣布啟動(dòng)駕駛輔助技術(shù)研究項(xiàng)目，以檢測(cè)、預(yù)測(cè)和共享道路坑洞數(shù)據(jù)。攬勝極光試驗(yàn)車可以識(shí)別坑洞和破損井蓋的位置和嚴(yán)重程度，并在幾毫秒內(nèi)調(diào)整汽車懸架，帶來更舒適的乘坐體驗(yàn)[3]。

綜上，自計(jì)算機(jī)視覺技術(shù)誕生以來，大量視覺技術(shù)應(yīng)用于各種道路數(shù)據(jù)實(shí)現(xiàn)坑洞檢測(cè)。本文對(duì)該領(lǐng)域國(guó)內(nèi)外相關(guān)前沿研究進(jìn)行綜述，以期為后續(xù)研究提供參考。

2 道路成像

道路成像是利用計(jì)算機(jī)視覺進(jìn)行道路坑洞檢測(cè)的前提，通常采用攝像頭和各類深度傳感器獲取道路數(shù)據(jù)，各類成像技術(shù)的特點(diǎn)如表1所示。

表1 道路成像技術(shù)

2.1 2D成像

最初，研究人員使用攝像頭的二維（Two-Dimensional，2D）成像技術(shù)完成道路數(shù)據(jù)的采集，常見的車載攝像傳感器如圖1所示。利用攝像頭進(jìn)行道路數(shù)據(jù)采集具有明顯的成本優(yōu)勢(shì)，然而，平面圖像無法反映路面的幾何結(jié)構(gòu)[4]。此外，圖像處理、圖像分割及目標(biāo)檢測(cè)算法等對(duì)灰度或彩色道路圖像執(zhí)行相應(yīng)任務(wù)時(shí)對(duì)各種環(huán)境因素高度敏感，尤其是光照條件[5]。

圖1 車載攝像傳感器

2.2 3D成像

研究人員采用三維（Three-Dimensional，3D）成像技術(shù)解決2D 成像無法獲取道路幾何結(jié)構(gòu)且成像質(zhì)量易受環(huán)境因素影響的問題。常使用激光掃描儀、微軟Kinect傳感器和立體相機(jī)等3D 道路數(shù)據(jù)采集設(shè)備，如圖2所示。

激光掃描儀利用三角測(cè)量原理獲得距離信息，其光源發(fā)射裝置與接收裝置的距離已知，通過計(jì)算激光束入射光與反射光的角度即可完成精確的點(diǎn)測(cè)量[6]。但是，這類高昂的激光掃描設(shè)備需要安裝在特定車輛上才能完成3D 道路數(shù)據(jù)的采集。這種數(shù)據(jù)采集方式由于設(shè)備及其維護(hù)成本高而未廣泛使用。

微軟Kinect 傳感器配備了RGB 相機(jī)、紅外相機(jī)、加速計(jì)、傾斜馬達(dá)等裝置[7]。使用微軟Kinect 傳感器可以獲得道路可見光圖像、紅外圖像以及重建的3D道路數(shù)據(jù)。這種傳感器使用方便且成本不高，但在陽(yáng)光直射條件下受紅外飽和的影響，重建的3D路面精度不高[8]。

獲取3D 道路數(shù)據(jù)還可以通過多視圖幾何的方法[9]，如圖3a所示，單個(gè)可移動(dòng)攝像機(jī)可捕獲不同視角的多個(gè)2D 道路圖像，然后通過對(duì)多個(gè)2D 圖像進(jìn)行稀疏或密集的對(duì)應(yīng)匹配重建三維幾何。文獻(xiàn)[10]提出了基于單目稀疏圖像匹配的三維重建方法，使用運(yùn)動(dòng)結(jié)構(gòu)算法獲得相機(jī)姿態(tài)和稀疏3D道路點(diǎn)云，并使用束調(diào)整算法進(jìn)行細(xì)化。

與人的雙目視覺原理相同，立體相機(jī)的2 個(gè)攝像單元同時(shí)對(duì)道路圖像進(jìn)行拍攝，然后通過查找捕獲的道路圖像的視覺特征之間的視差獲取深度信息[11]，進(jìn)而獲取密集的3D 道路點(diǎn)云數(shù)據(jù)，稱為視差估計(jì)或立體匹配。文獻(xiàn)[12]采用透視變換將目標(biāo)圖像轉(zhuǎn)換為對(duì)應(yīng)的參考視圖，實(shí)現(xiàn)了立體匹配速度和視差精度的權(quán)衡，重建的三維幾何模型的精度在3 mm 以內(nèi)，如圖3b 所示。利用立體相機(jī)進(jìn)行3D 道路成像比激光掃描和微軟Kinect 成本更低且更可靠。隨著深度學(xué)習(xí)算法的不斷發(fā)展，結(jié)合深度卷積神經(jīng)網(wǎng)絡(luò)的視差估計(jì)已經(jīng)顯示出比利用傳統(tǒng)方法更好的視差估計(jì)效果。

3 道路坑洞檢測(cè)算法

基于計(jì)算機(jī)視覺的道路坑洞檢測(cè)算法主要分為4 類：基于經(jīng)典2D 圖像處理的算法直接處理（增強(qiáng)、壓縮、變換、分割）道路圖像；基于3D道路點(diǎn)云建模和分割的算法將平面或二次曲面等特定的幾何模型匹配到觀測(cè)到的點(diǎn)云，通過比較擬合獲得的特定幾何曲面與觀測(cè)到的點(diǎn)云的差異分割道路點(diǎn)云；基于深度學(xué)習(xí)的方法可以采用圖像分類、目標(biāo)檢測(cè)或語(yǔ)義分割3 類經(jīng)典深度算法實(shí)現(xiàn)道路坑洞檢測(cè)；混合方法則結(jié)合上述的2 類或2 類以上算法，以提高檢測(cè)性能。

3.1 經(jīng)典2D圖像處理

基于經(jīng)典2D 圖像處理的坑洞檢測(cè)方法通常包含圖像預(yù)處理、圖像分割、損傷區(qū)域提取、檢測(cè)結(jié)果后處理[2]4個(gè)流程。

圖像預(yù)處理采用中值濾波、高斯濾波、雙邊濾波和形態(tài)學(xué)濾波等過濾噪聲信息突出道路損傷區(qū)域。文獻(xiàn)[13]采用自適應(yīng)直方圖均衡算法在二值化圖像前調(diào)整了圖像明亮度。文獻(xiàn)[14]使用了多種濾波算子增強(qiáng)RGB 道路圖像中的紋理特征。文獻(xiàn)[15]借助2D空間視覺信息檢測(cè)坑洞，通過視差投影變換視差圖，具體引入黃金分割搜索和動(dòng)態(tài)規(guī)劃算法最小化全局能量函數(shù)來估計(jì)道路視差圖像。視差變換使得坑洞區(qū)域高度可區(qū)分。

對(duì)預(yù)處理后的道路圖像進(jìn)行坑洞區(qū)域和完整路面分割的主流方法采用如大津法（OTSU）的閾值、三角形閾值和自適應(yīng)閾值等基于直方圖的閾值方法分割彩色/灰度/視差變換的道路圖像。文獻(xiàn)[8]利用OTSU 的閾值方法分割變換后的視差圖像進(jìn)行道路坑洞檢測(cè)，且文獻(xiàn)[12]，使用簡(jiǎn)單的線性迭代聚類算法將變換后的差異分組為超像素集合，然后通過找到超像素來檢測(cè)道路坑洞，實(shí)現(xiàn)了更高效、準(zhǔn)確的坑洞檢測(cè)。

根據(jù)幾何和紋理假設(shè)的損傷區(qū)域提取與檢測(cè)結(jié)果后處理過程聯(lián)合進(jìn)行。文獻(xiàn)[14]建立了潛在道路坑洞的橢圓輪廓模型，并對(duì)比橢圓內(nèi)及周圍區(qū)域的紋理特征，一旦橢圓內(nèi)的紋理粗糙度高于周圍區(qū)域紋理粗糙度，則判定該橢圓為道路坑洞。文獻(xiàn)[16]通過分析道路坑洞的多種幾何特征，如大小、緊湊性、橢圓度和凸包等，提取潛在道路坑洞的輪廓，然后使用有序直方圖相交方法判定被提取區(qū)域是否含有坑洞，且為進(jìn)一步改善道路坑洞檢測(cè)效果，對(duì)提取到的潛在坑洞受損區(qū)域進(jìn)行了后處理。

在道路坑洞檢測(cè)方面，基于經(jīng)典2D圖像處理的方法已有近20年的研究歷史。然而，這些方法建立在早期技術(shù)基礎(chǔ)上，易受到環(huán)境因素如光照、天氣等的嚴(yán)重影響，3D技術(shù)和深度學(xué)習(xí)算法極大地克服了這些不足。

3.2 3D點(diǎn)云建模與分割

基于3D 點(diǎn)云建模與分割的坑洞檢測(cè)整體流程可以分為2 個(gè)階段：首先，將觀測(cè)到的3D 道路點(diǎn)云數(shù)據(jù)進(jìn)行插值，以得到一種顯式的幾何模型，該模型可以是平面或二次曲面；然后，將觀測(cè)到的點(diǎn)云與建立的模型進(jìn)行對(duì)比，再?gòu)挠^察到的3D道路點(diǎn)云中分離出坑洞區(qū)域。

文獻(xiàn)[17]使用最小二乘擬合方法將觀察到的3D點(diǎn)云內(nèi)插到特定平面上。通過在擬合曲面下搜索3D 點(diǎn)，大致檢測(cè)出潛在的道路坑洞，接著采用K 均值聚類算法和區(qū)域生長(zhǎng)算法對(duì)檢測(cè)結(jié)果進(jìn)行進(jìn)一步細(xì)化。文獻(xiàn)[18]使用高速3D 橫向掃描技術(shù)檢測(cè)路面的凸包和坑洞，首先通過濾波算子、邊緣檢測(cè)算子以及樣條插值等處理方法采集激光條紋數(shù)據(jù)得到亞像素線，接著，利用激光條紋曲線生成路面的橫切面，并用線段來近似擬合，通過分析分段端點(diǎn)（即可區(qū)分路面凸包、坑洞的特征點(diǎn)）的二階導(dǎo)數(shù)。文獻(xiàn)[19]設(shè)計(jì)了一種基于激光雷達(dá)的道路坑洞檢測(cè)系統(tǒng)，通過對(duì)3D 道路點(diǎn)與最佳擬合的3D 路面之間的距離進(jìn)行比較，將這些道路點(diǎn)分為損壞和未損壞2類。

然而，實(shí)際上，路面往往不是完全平坦的，這導(dǎo)致基于3D 點(diǎn)云建模和分割的方法有時(shí)無法使用。此外，如果僅需對(duì)坑洞進(jìn)行簡(jiǎn)單識(shí)別和定位，而不需要獲取其大小、深度等幾何細(xì)節(jié)，則不必使用激光設(shè)備提取3D點(diǎn)云。

3.3 深度學(xué)習(xí)

隨著深度學(xué)習(xí)的發(fā)展，深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolution Neural Network，DCNN）已成為道路坑洞檢測(cè)的主流技術(shù)。DCNN 通常通過反向傳播進(jìn)行訓(xùn)練，不需要人為設(shè)置參數(shù)分割道路圖像或點(diǎn)云來進(jìn)行坑洞檢測(cè)。這類基于數(shù)據(jù)驅(qū)動(dòng)的坑洞檢測(cè)方法通常使用3種技術(shù)[6]，即圖像分類網(wǎng)絡(luò)、目標(biāo)檢測(cè)網(wǎng)絡(luò)和語(yǔ)義分割網(wǎng)絡(luò)：圖像分類網(wǎng)絡(luò)常用于將道路圖像分類為坑洞或非坑洞；目標(biāo)檢測(cè)網(wǎng)絡(luò)可在實(shí)例級(jí)識(shí)別道路坑洞；語(yǔ)義分割網(wǎng)絡(luò)則用于對(duì)道路圖像進(jìn)行像素級(jí)別的分割，以實(shí)現(xiàn)道路坑洞的檢測(cè)。

3.3.1 基于圖像分類的方法

隨著計(jì)算機(jī)算力的提升，DCNN 已廣泛應(yīng)用于道路坑洞檢測(cè)，DCNN 能夠?qū)W習(xí)更抽象的視覺特征，并顯著改善了道路坑洞檢測(cè)性能。文獻(xiàn)[20]提出了包含預(yù)池化層的全連接DCNN，預(yù)池化層的設(shè)計(jì)過濾了大量干擾坑洞信息的背景噪聲，以顯著增強(qiáng)分類網(wǎng)絡(luò)的性能，且所提出的DCNN 能夠應(yīng)對(duì)光照變化，在不同照明條件下有效檢測(cè)道路坑洞。

圖像分類方法僅能簡(jiǎn)單區(qū)分道路圖像中是否存在坑洞，并不能給出坑洞所處的位置信息和幾何信息。然而，在很多道路檢測(cè)場(chǎng)景下，坑洞的位置和幾何信息更為重要。

3.3.2 基于目標(biāo)檢測(cè)的方法

利用深度學(xué)習(xí)的道路坑洞檢測(cè)算法主要為2類，即區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Region-based Convolutional Neural Networks，R-CNN）系列的兩階段算法[21]和YOLO（You Only Look Once）系列的單階段算法[22]，如表2所示。

表2 兩階段與單階段算法對(duì)比

2014 年，R-CNN 用于目標(biāo)檢測(cè)。隨著深度學(xué)習(xí)的不斷發(fā)展，基于DCNN 的道路圖像目標(biāo)檢測(cè)技術(shù)迭出不窮。更快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Faster Regions with Convolutional Neural Network，F(xiàn)aster-RCNN）是R-CNN 的改進(jìn)算法，主要使用區(qū)域生成網(wǎng)絡(luò)（Region Proposal Networks，RPN）替代R-CNN 的選擇性搜索（Selective Search）算法，成為了第一個(gè)真正意義上的端到端網(wǎng)絡(luò)，具有比R-CNN 更高的檢測(cè)速度與精度，其檢測(cè)流程如圖4 所示。

圖4 Faster-RCNN 算法流程

文獻(xiàn)[23]在包含印度、日本、捷克共和國(guó)公路圖像的數(shù)據(jù)集上訓(xùn)練了一個(gè)專門的圖像分類器，以區(qū)分圖像屬于哪個(gè)國(guó)家，接著利用Faster-RCNN 檢測(cè)圖像中的坑洞和裂縫，最后，將模型部署到移動(dòng)設(shè)備，完成了對(duì)特定道路狀況的自動(dòng)勘測(cè)。文獻(xiàn)[24]訓(xùn)練改進(jìn)的分類Inception-v1 網(wǎng)絡(luò)實(shí)現(xiàn)了強(qiáng)光和弱光道路場(chǎng)景坑洞的高準(zhǔn)確率分類，在此基礎(chǔ)上與Faster-RCNN融合，能夠準(zhǔn)確、快速地檢測(cè)道路坑洞。

YOLO[25]等主流單階段檢測(cè)方法將檢測(cè)任務(wù)處理成回歸任務(wù)，使用端到端的特征提取網(wǎng)絡(luò)來提取目標(biāo)特征，并直接用于邊界框分類和回歸，其處理流程如圖5所示。單階段算法端到端同時(shí)完成分類和定位任務(wù)，因而比兩階段方法效率更高，近年來，其精度不低于兩階段方法，在實(shí)時(shí)性要求高的檢測(cè)場(chǎng)景中成為首選。

圖5 YOLO算法流程

文獻(xiàn)[26]基于YOLOv2 設(shè)計(jì)了2 個(gè)變種模型：模型1在道路坑洞檢測(cè)上實(shí)現(xiàn)了大小和形狀上的更強(qiáng)魯棒性；模型2適當(dāng)增加復(fù)雜度，使模型具有了更好的路面坑洞檢測(cè)性能。文獻(xiàn)[27]提出采用YOLOv3 Tiny進(jìn)行路面坑洞檢測(cè)，實(shí)現(xiàn)了較高的檢測(cè)準(zhǔn)確度，同時(shí)網(wǎng)絡(luò)相對(duì)輕量化。文獻(xiàn)[28]針對(duì)YOLOv3 檢測(cè)模型在有積水、陰影等復(fù)雜環(huán)境下路面坑洼的檢測(cè)能力有限的問題，改進(jìn)特征提取網(wǎng)絡(luò)，優(yōu)化激活函數(shù)，并引入了多種數(shù)據(jù)增強(qiáng)訓(xùn)練策略，得到的YOLOv3-pt 模型獲得了13.99%的精度提高，使模型在復(fù)雜環(huán)境下的檢測(cè)能力顯著提升。文獻(xiàn)[29]將有效通道注意力網(wǎng)絡(luò)（Efficient Channel Attention for deep convolutional neural Networks，ECANet）的注意力模塊添加到Y(jié)OLOv5網(wǎng)絡(luò)結(jié)構(gòu)的加強(qiáng)特征提取網(wǎng)絡(luò)中，提升網(wǎng)絡(luò)關(guān)注有效特征信息的能力，使用距離交并比非極大值抑制（Distance-IoU Non-Maximum Suppression，DIoU-NMS）算法對(duì)預(yù)測(cè)框篩選方式進(jìn)行改進(jìn)。所提出的基于YOLOv5的道路路面?zhèn)p害檢測(cè)方法可以提高包括通過智能手機(jī)拍攝得到的擁有復(fù)雜背景坑洞在內(nèi)的不同類別病害的檢測(cè)精度。文獻(xiàn)[30]以裂縫、坑洞和凹陷作為路面質(zhì)量評(píng)估的相關(guān)類別，以移動(dòng)端部署檢測(cè)的良好實(shí)時(shí)性和優(yōu)越的檢測(cè)性能為目標(biāo)，輕量型優(yōu)化和改進(jìn)YOLOX，改進(jìn)的算法在路面破損檢測(cè)中準(zhǔn)確度和召回率均有所提升，同時(shí)將模型遷移到實(shí)際場(chǎng)景移動(dòng)端的實(shí)時(shí)檢測(cè)，在檢測(cè)速度和精度上實(shí)現(xiàn)了滿意效果。

單階段和兩階段目標(biāo)檢測(cè)方法均能在實(shí)例級(jí)檢測(cè)道路坑洞。兩階段目標(biāo)檢測(cè)算法在精度上較單階段算法高，但實(shí)時(shí)性相對(duì)不足。單階段算法端到端一次完成檢測(cè)，檢測(cè)速度大幅提升，改進(jìn)后的YOLO 系列算法在精度和實(shí)時(shí)性上得到顯著改善，能夠滿足大多數(shù)自動(dòng)駕駛場(chǎng)景的目標(biāo)檢測(cè)任務(wù)要求。

3.3.3 基于語(yǔ)義分割的方法

針對(duì)語(yǔ)義分割算法的最新技術(shù)，可以將其分為單模態(tài)和數(shù)據(jù)融合2類。單模態(tài)算法應(yīng)用于彩色圖像的分割，采用編碼-解碼（Encoder-Decoder）結(jié)構(gòu)實(shí)現(xiàn)，而數(shù)據(jù)融合算法學(xué)習(xí)2 種不同類型視覺傳感器數(shù)據(jù)中的視覺特征，并將這些特征融合，以提高對(duì)環(huán)境語(yǔ)義的理解能力。

在基于分割算法的路面坑洞檢測(cè)研究中，文獻(xiàn)[31]提出了一種基于全卷積網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）的檢測(cè)方法。為緩解提供像素級(jí)注釋的困難，采用一種半監(jiān)督學(xué)習(xí)技術(shù)生成若干偽標(biāo)簽，并對(duì)提前訓(xùn)練好的FCN 進(jìn)行自動(dòng)微調(diào)。與監(jiān)督學(xué)習(xí)相比，半監(jiān)督學(xué)習(xí)降低了對(duì)大規(guī)模標(biāo)簽數(shù)據(jù)的依賴，并顯著提高了整體的F1 得分。另外，文獻(xiàn)[32]構(gòu)建了一種基于注意力的道路坑洞檢測(cè)耦合框架，該框架采用基于注意力的特征融合模塊以提升圖像分割的性能，同時(shí)論證了小樣本學(xué)習(xí)在道路坑洞檢測(cè)中的可行性。

文獻(xiàn)[33]提出了一種使用生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）的訓(xùn)練集增強(qiáng)技術(shù)。該技術(shù)通過生成假RGB 道路圖像和轉(zhuǎn)換后的道路視差圖像來增強(qiáng)分割模型的訓(xùn)練。試驗(yàn)結(jié)果表明，基于GAN 的訓(xùn)練集增強(qiáng)技術(shù)對(duì)單模態(tài)和數(shù)據(jù)融合的語(yǔ)義分割網(wǎng)絡(luò)的精度均有所改善，同時(shí)提高了2 類網(wǎng)絡(luò)訓(xùn)練的收斂速度。文獻(xiàn)[34]提出了一種基于圖神經(jīng)網(wǎng)絡(luò)的圖注意層，以進(jìn)一步改進(jìn)單一模態(tài)語(yǔ)義分割中圖像特征的表達(dá)，所提出的DeepLabv3+的性能優(yōu)于其他單一模態(tài)的道路坑洞分割算法。

值得注意的是，性能優(yōu)異的語(yǔ)義分割算法需要大規(guī)模像素級(jí)標(biāo)注的數(shù)據(jù)集進(jìn)行訓(xùn)練，然而，這種數(shù)據(jù)標(biāo)注需要耗費(fèi)巨大的人力成本。因此，道路坑洞的檢測(cè)任務(wù)可以與其他駕駛場(chǎng)景理解任務(wù)協(xié)同處理，如可行駛區(qū)域和道路異常的檢測(cè)。這種綜合處理方法能夠有效減少數(shù)據(jù)標(biāo)注的工作量，為訓(xùn)練高性能的語(yǔ)義分割網(wǎng)絡(luò)算法提供更便捷、高效的途徑。

3.4 混合方法

混合路面坑洞檢測(cè)方法通常結(jié)合上述的2類及以上的算法。

文獻(xiàn)[8]介紹了一種混合檢測(cè)算法，其將2D 視差圖像轉(zhuǎn)換算法和3D 道路點(diǎn)云分割算法相結(jié)合。為了使道路圖像的受損區(qū)域和未受損區(qū)域高度可分辨，首先對(duì)稠密的子像素視差圖進(jìn)行轉(zhuǎn)換，然后，利用OTSU 的閾值方法從變換得到的視差圖中提取潛在的未受損區(qū)域，并通過最小二乘法擬合將提取區(qū)域中的視差建模為二次曲面，同時(shí)整合曲面法線信息到建模過程中，以消除異常點(diǎn)，最后，通過比較實(shí)際視差圖和模型視差圖完成坑洞區(qū)域的分割。

文獻(xiàn)[35]提出了一種結(jié)合經(jīng)典2D 圖像處理算法和深度學(xué)習(xí)模型的混合道路裂縫和坑洞檢測(cè)算法。首先，訓(xùn)練改進(jìn)SegNet 的深度模型來分割道路圖像以進(jìn)行可行駛區(qū)域檢測(cè)。然后，用坎尼（Canny）邊緣檢測(cè)器處理可行駛區(qū)域，以生成包含道路裂縫、坑洞的候選區(qū)域。最后，訓(xùn)練SqueezeNet以確定生成的候選區(qū)域是道路裂縫或坑洞。

文獻(xiàn)[36]提出的混合檢測(cè)算法將語(yǔ)義分割算法和3D 道路點(diǎn)云分割算法相結(jié)合。首先，使用DeepLabv3+語(yǔ)義分割模型生成若干像素級(jí)道路坑洞初步檢測(cè)結(jié)果，然后，進(jìn)一步將初步檢測(cè)到的路面坑洞邊緣點(diǎn)云劃分為外邊緣點(diǎn)和內(nèi)邊緣點(diǎn)2 類。外部邊緣可以擬合局部平面和計(jì)算坑洞體積，內(nèi)部邊緣用于分析道路深度分布，以減少誤檢測(cè)的情況。

4 現(xiàn)有的挑戰(zhàn)和未來趨勢(shì)

在2012 年深度學(xué)習(xí)誕生前，傳統(tǒng)的基于2D 圖像處理的方法在坑洞檢測(cè)中居于主導(dǎo)地位。然而，這些方法往往需要大量計(jì)算資源，并且檢測(cè)的精度極易受到光照和天氣等環(huán)境因素的影響[37]。此外，路面坑洞的輪廓多樣且不規(guī)則，并不總是規(guī)律地呈現(xiàn)圓形或橢圓形，使傳統(tǒng)方法中的幾何假設(shè)不再適用。因此，2013 年起，研究人員開發(fā)了基于3D 點(diǎn)云建模與分割的方法，以增強(qiáng)對(duì)環(huán)境的魯棒性、提高道路坑洞檢測(cè)的精度[17]。但是，這些方法通常約束單幀3D道路點(diǎn)云在某特定幾何面內(nèi)，通常為小視場(chǎng)范圍。盡管在改善模型建立的魯棒性方面開展了大量研究，如引進(jìn)隨機(jī)采樣一致性（Random Sample Consensus，RANSAC）算法優(yōu)化[8]，但是都以引入海量參數(shù)為代價(jià)來保證性能，這大幅提高了計(jì)算門檻，且適用場(chǎng)景十分有限。

在過去的5 年中，DCNN 因其自學(xué)習(xí)能力和強(qiáng)大的場(chǎng)景適應(yīng)能力，被大量用于解決道路坑洞檢測(cè)問題。然而，分類網(wǎng)絡(luò)只能簡(jiǎn)單分辨道路圖像中是否存在坑洞，不能給出坑洞的任何信息。目標(biāo)檢測(cè)網(wǎng)絡(luò)有所改進(jìn)，能夠大致標(biāo)記坑洞在圖片中的位置。由于交通部門了解特定路段的路面狀況通常需要統(tǒng)計(jì)路段上坑洞出現(xiàn)的頻率及坑洞的面積、體積等幾何屬性，幾何屬性的獲取算法開發(fā)結(jié)合3D道路幾何重建和語(yǔ)義分割的混合方法是需要更多關(guān)注的方向。且最近的深度立體匹配算法已經(jīng)展示出不錯(cuò)的性能，利用遷移學(xué)習(xí)可以輕易地構(gòu)建道路的三維模型。但是，這種方法通常需要海量標(biāo)注良好的標(biāo)簽數(shù)據(jù)來訓(xùn)練立體匹配，其實(shí)現(xiàn)較為困難。因此，針對(duì)道路三維重建的無監(jiān)督立體匹配算法和自監(jiān)督立體匹配算法是當(dāng)前值得進(jìn)一步探索的研究領(lǐng)域。這類算法可以有效提高路面重建的精度和效率，為道路檢測(cè)領(lǐng)域帶來更多的應(yīng)用前景。此外，數(shù)據(jù)融合的語(yǔ)義分割算法是無人汽車環(huán)境理解技術(shù)中備受關(guān)注的話題[38]。然而，這種類型的網(wǎng)絡(luò)通常需要復(fù)雜的計(jì)算，網(wǎng)絡(luò)剪枝和知識(shí)蒸餾是降低計(jì)算量的可行方法。在實(shí)際試驗(yàn)中，還可以利用經(jīng)過訓(xùn)練的圖像分類網(wǎng)絡(luò)進(jìn)行關(guān)鍵幀的提取，從而顯著減少語(yǔ)義分割的后續(xù)計(jì)算。與此同時(shí)，深度學(xué)習(xí)本質(zhì)是基于數(shù)據(jù)驅(qū)動(dòng)的，數(shù)據(jù)集的規(guī)模和質(zhì)量決定了訓(xùn)練的語(yǔ)義分割模型的性能。創(chuàng)建一個(gè)注釋良好的大規(guī)模數(shù)據(jù)集是具有挑戰(zhàn)性的任務(wù)，因此，開發(fā)用于道路坑洞檢測(cè)的小樣本語(yǔ)義分割網(wǎng)絡(luò)也是未來的努力方向。

5 結(jié)束語(yǔ)

本文系統(tǒng)綜述了目前經(jīng)典的2D、3D 成像技術(shù)，在此基礎(chǔ)上調(diào)研了基于成像技術(shù)的視覺算法在道路坑洞檢測(cè)方面的研究進(jìn)展。單獨(dú)使用傳統(tǒng)2D 圖像處理技術(shù)進(jìn)行處理存在缺少道路幾何信息、檢測(cè)效果易受環(huán)境干擾的問題。單獨(dú)使用3D 點(diǎn)云建模與分割的方法則受到建模視場(chǎng)小、模型魯棒性難以提升的制約。因此，本文著重討論了性能更好的基于深度學(xué)習(xí)的方法?？紤]到交通部門更關(guān)注坑洞的大小、體積等幾何屬性，未來的研究趨勢(shì)將是立體匹配的路面3D 重建結(jié)合多種數(shù)據(jù)融合的語(yǔ)義分割的混合方法。然而，立體匹配和語(yǔ)義分割算法的優(yōu)異性能需要通過大規(guī)模注釋良好的數(shù)據(jù)集進(jìn)行訓(xùn)練，這需要耗費(fèi)大量人力，故路面三維的無監(jiān)督或自監(jiān)督立體匹配算法以及用于道路圖像語(yǔ)義分割的少樣本學(xué)習(xí)是需要更多關(guān)注的研究方向。