基于無人機正射影像的高精地圖車道線自動提取方法的研究

高正躍 李春梅

摘要：車道線作為實現(xiàn)精確導(dǎo)航和自動駕駛的基礎(chǔ)信息，其采集方式自動化程度低、生產(chǎn)周期長，嚴(yán)重影響了高精地圖的應(yīng)用。因此，文章設(shè)計了一種利用無人機正射影像，基于U-Net語義分割模型，結(jié)合柵矢數(shù)據(jù)處理的高精地圖車道線自動提取方法。文章利用Lovsz Loss完成20%樣本的U-Net模型訓(xùn)練，實現(xiàn)了IoU在75%以上的車道線語義分割，且U-Net識別出的柵格車道線經(jīng)過柵矢結(jié)合手段處理后即可得到高質(zhì)量矢量車道線。文章設(shè)計的綜合無人機傾斜攝影、深度學(xué)習(xí)、GIS數(shù)據(jù)處理的車道線提取方法可為高精地圖車道線的獲取提供一種新思路、新方法，為無人駕駛提供一種新的數(shù)據(jù)支持。

關(guān)鍵詞：高精地圖；無人機正射影像；車道線提?。籙-Net；柵矢結(jié)合

中圖分類號：P231.5? 文獻標(biāo)志碼：A

0 引言

高精地圖［1］（High-Definition Map）是一種可以提供高精細(xì)度以及高準(zhǔn)確度地理信息的數(shù)字化地圖。車道線作為高精地圖一項重要的信息層，通過分析車道線的位置和形狀，使車輛可以識別道路類型、車道數(shù)目、交通標(biāo)志等信息，從而更好地理解道路環(huán)境和規(guī)劃行駛策略。因此，車道線提取是高精地圖生產(chǎn)的重要環(huán)節(jié)之一。

高精地圖車道線的提取方式按照數(shù)據(jù)來源可分為基于衛(wèi)星遙感影像、基于高分辨率無人機影像以及基于車載影像的車道線提取方法。現(xiàn)有的少量基于遙感影像的車道線提取研究如侯翹楚等［2］利用面向?qū)ο蠼Y(jié)合統(tǒng)計學(xué)的方法實現(xiàn)了從遙感影像中提取車道虛線、人行橫道等車道要素；張世強等［3］利用車道線方向與面積因素從二值化道路中提取車道虛線。

基于高分辨率無人機影像的車道線提取研究大多采用深度學(xué)習(xí)結(jié)合圖像處理的方法，現(xiàn)有如王立春等［4］采用Faster R-CNN目標(biāo)檢測框架從路面中檢測車道線并連通域分析過濾非車道線噪聲。袁鑫［5］利用BiSeNetV2實時語義分割網(wǎng)絡(luò)分割出柵格車道線后通過圖像處理算法實現(xiàn)了車道線的細(xì)化、實例化、矢量化，經(jīng)過坐標(biāo)轉(zhuǎn)換后車道線精度達到了1.8～3.5 m。

自無人駕駛技術(shù)興起以來，車道線提取研究大多基于車載影像展開。近年來，隨著深度學(xué)習(xí)在圖像處理領(lǐng)域的深入應(yīng)用，基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）［6］的方法是目前車道線檢測的主流方法，如陳立潮等［7］提出了一種基于雙分支卷積神經(jīng)網(wǎng)絡(luò)的車道線檢測方法，該方法將車道線檢測任務(wù)分為左右兩個分支，同時考慮了道路幾何信息和車道線的語義信息，此方法在國內(nèi)的數(shù)據(jù)集上取得了較好的效果。此外，還有一些基于循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）的車道線檢測方法。例如，劉丹萍等［8］設(shè)計了循環(huán)神經(jīng)網(wǎng)絡(luò)檢測車道線，該方法可以根據(jù)歷史信息和當(dāng)前信息預(yù)測未來的車道線位置。朱威等［9］通過循環(huán)神經(jīng)網(wǎng)絡(luò)模塊融合提取多幀特征，并與單幀特征結(jié)合成融合模塊，客觀上提升了車道線檢測精度。

上述車道線提取方法存在以下缺陷：（1）基于遙感影像的車道線提取成果皆為柵格格式，且此類車道線成果不具備高程信息，不滿足高精地圖級車道線要求；（2）基于無人機影像的車道提取研究尚顯薄弱，目前針對無人機影像的車道線檢測數(shù)據(jù)集甚少，且柵格形式的車道線經(jīng)過多次處理及格式、坐標(biāo)轉(zhuǎn)換后，得到的矢量車道線成果存在米級的精度誤差；（3）基于車載影像，采用深度學(xué)習(xí)提取車道線的方法存在數(shù)據(jù)集不充分導(dǎo)致模型的泛化能力與穩(wěn)定性不佳的問題。同時，每次地圖更新都需派遣搭載單源或多源傳感器的數(shù)據(jù)采集車前往目標(biāo)路段進行數(shù)據(jù)采集，使得車道線更新成本極為高昂。

1 技術(shù)路線

針對上述問題，本文提出一種基于無人機正射影像，采用U-Net語義分割模型，結(jié)合柵格處理與矢量處理的快速構(gòu)建高精地圖的方法。該方法首先利用無人機技術(shù)快速獲取目標(biāo)路段正射影像，其次在采用U-Net模型的基礎(chǔ)上，引入Lovsz損失函數(shù)替換原來的交叉熵?fù)p失函數(shù)，以加強網(wǎng)絡(luò)對車道線特征的學(xué)習(xí)能力，最后利用柵格處理與矢量處理結(jié)合的手段完成柵格車道線的細(xì)化、矢量化及矢量車道線的擬合，得到可直接應(yīng)用于高精地圖構(gòu)建的車道線成果。本文提出的高精地圖車道線提取方法可提升高精地圖的制作速度與更新效率，大大降低了高精地圖的構(gòu)建成本。

2 研究區(qū)域與數(shù)據(jù)制備

2.1 研究區(qū)域概況

本文以江蘇省徐州市銅山區(qū)湘江路西段為研究區(qū)，地理位置為東經(jīng)117°24′、北緯34°12′，道路寬度約為15 m，瀝青路面，共有6～9股車道。研究區(qū)域形狀為不規(guī)則多邊形，長約1 800 m，寬約250 m，周長約為3.9 km，面積約為0.4 km2。

2.2 正射影像獲取

研究人員使用GNSS-RTK連接千尋CORS進行采集像控點，采用大疆四旋翼無人機御Mavic Air 2，設(shè)定無人機相對航高為100 ｍ，航向重疊率為80%，旁向重疊率為70%，共采集研究區(qū)影像451幅影像。影像大小為5 472×3 648像素，地面像幅約109×73 m。采用Context Capture軟件將獲取的影像數(shù)據(jù)處理成空間分辨率為3 cm的正射影像圖（見圖2）。

2.3 車道線語義分割數(shù)據(jù)集構(gòu)建

采用ArcGISPro軟件對獲取的湘江路西段正射影像圖上車道線做相應(yīng)標(biāo)注，裁剪到大小為256×256車道線圖像及對應(yīng)標(biāo)簽圖像各5 960張。將分割后的影像分為訓(xùn)練集、驗證集和測試集3部分，比例為2∶4∶4。其中，訓(xùn)練集用于訓(xùn)練模型，測試集用于驗證模型分辨能力，驗證集用于確定網(wǎng)絡(luò)結(jié)構(gòu)。為防止過擬合，本研究對訓(xùn)練集數(shù)據(jù)進行數(shù)據(jù)增廣，增廣方式包括：平移、水平翻轉(zhuǎn)、隨機裁剪、添加高斯噪聲和90°、180°、270°旋轉(zhuǎn)。訓(xùn)練集數(shù)據(jù)經(jīng)過數(shù)據(jù)增廣后被擴充至4 000組。

3 車道線語義分割模型構(gòu)建

3.1 U-Net

U-Net模型是一種用于圖像語義分割的卷積神經(jīng)網(wǎng)絡(luò)，它由編碼器、中間層和解碼器3部分組成。編碼器用于對輸入圖像進行特征提取和降維，由4個下采樣模塊組成，每個下采樣模塊包含2個卷積層和1個最大池化層，其中，第一個卷積層的卷積核大小為3×3，輸出通道數(shù)為64，第二個卷積層與第一個卷積層相同，但輸出通道數(shù)翻倍。同理，第三、第四卷積層亦相同，但各自的通道數(shù)相較于前一層翻倍。最大池化層的大小為2×2，步長為2，用于將特征圖的大小減半，實現(xiàn)圖像的降維操作。中間層是由2個卷積層組成的，用于在編碼器和解碼器之間進行特征傳遞和融合，中間層由2個卷積層組成，每個卷積層的卷積核大小為3×3，輸出通道數(shù)為512。解碼器是由一系列上采樣層和卷積層組成的，用于將編碼器中抽取的特征映射還原為與原始圖像大小相同的分割結(jié)果。每個上采樣層通過轉(zhuǎn)置卷積操作將特征圖的大小擴大一倍，同時與對應(yīng)的中間層特征圖進行連接和融合，用于提取更多的細(xì)節(jié)信息和邊緣特征。在上采樣層之后，使用了2個卷積層進行特征融合和輸出，輸出通道數(shù)與分割目標(biāo)的類別數(shù)相同。

3.2 Lovsz損失函數(shù)

圖像語義分割任務(wù)中，傳統(tǒng)的交叉熵?fù)p失函數(shù)適用于處理中等或大型目標(biāo)的語義分割任務(wù)，但車道線語義分割問題屬于典型的正負(fù)樣本不平衡問題，即車道線通常只占圖像的一小部分，導(dǎo)致車道線很難被正確分離出背景。為解決此問題，本文引入Lovsz損失函數(shù)替換原U-Net模型中的BCE損失函數(shù)。

Lovsz損失函數(shù)由匈牙利數(shù)學(xué)家Lszl Lovsz在1989年提出，旨在用于優(yōu)化非光滑的、不可微的分類指標(biāo)。Lovsz損失函數(shù)主要用于二分類問題，即每個樣本只有2種可能的標(biāo)簽：正例或負(fù)例。神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練中，預(yù)測結(jié)果與真實標(biāo)簽之間通常會有一些誤差。Lovsz損失函數(shù)的目標(biāo)是將這些誤差最小化，從而提高模型的性能。

具體而言，Lovsz損失函數(shù)度量預(yù)測結(jié)果與真實標(biāo)簽之間的差異，計算方式如式（1）：

LLovász（f，y）=∑ni=1（f（xi），yi）（1）

其中，f（xi）是模型對第i個樣本的預(yù)測結(jié)果，yi是該樣本的真實標(biāo)簽，是Lovsz函數(shù)，n是樣本數(shù)。

Lovsz函數(shù)的具體形式取決于問題的具體性質(zhì)。對于二分類問題，通常使用的是二元Lovsz函數(shù)，定義如下：

binary（f，y）=maxσ∈sign（y）（σ·（f-y^））（2）

其中，sign（y）是標(biāo)簽y的符號函數(shù)，y^是樣本的平均標(biāo)簽。符號函數(shù)將正例標(biāo)簽映射到+1，負(fù)例標(biāo)簽映射到-1。

在計算二元Lovsz函數(shù)時，首先對預(yù)測結(jié)果進行排序，然后按照排序后的順序依次計算函數(shù)值。具體而言，假設(shè)有m個預(yù)測結(jié)果f（1），f（2），...，f（m），按照從大到小的順序排列，令Sk=∑ki=1f（i），則binary（f，y）的計算方式如下：

binary（f，y）=∑mk=1wkmax（0，σk（Sk-σkwk））（3）

其中，wk是排序后第k個樣本的權(quán)重，σk是排序后第k個樣本的符號，即σk=sign（yk）。

使用Lovsz損失函數(shù)后，不僅可以有效地解決因正負(fù)樣本不均衡導(dǎo)致的IoU評價指標(biāo)低的問題，同樣也可以使像素分類準(zhǔn)確率得到一定程度的提升，提高模型進行車道線語義分割的性能。

3.3 語義分割精度驗證

本文使用像素精度［10］（Pixel Accuracy，PA）、交并比［10］（Intersection over Union，IoU）2個指標(biāo)來評估車道線語義分割模型的性能，其定義如下所示：

PA=TP+TNTP+TN+FP+FN（4）

IoU=TPTP+TN+FP（5）

式中，TP表示正確識別的車道線區(qū)域像素點的數(shù)量，F(xiàn)P表示非車道線區(qū)域像素而被識別為車道線區(qū)域像素點的數(shù)量，TN表示正確識別的非車道線區(qū)域像素點的數(shù)量，F(xiàn)N表示車道線區(qū)域像素被識別為非車道線區(qū)域像素點的數(shù)量。

4 柵矢結(jié)合

車道線語義分割模型僅獲得以像素點集形式表達的面狀車道線掩膜圖像，由于其格式是柵格并非矢量，因此無法直接提取高精地圖格式的車道線。對此，本文采用柵格處理與矢量處理結(jié)合的手段來提取車道線，首先通過圖像細(xì)化算法將面狀柵格車道線細(xì)化至單像素寬度，其次將單像素寬的柵格車道線轉(zhuǎn)換為矢量車道線并進行擬合。

4.1 柵格車道線細(xì)化

4.1.1 相關(guān)定義

為介紹圖像細(xì)化算法，首先給出一些重要的相關(guān)定義。

（1）像素八鄰域。

像素八鄰域指一個像素點P1周圍的8個相鄰像素點（P2，P3，P4，P5，P6，P7，P8，P9）。

（2）像素連通數(shù)。

像素連通數(shù)是指一個像素周圍相鄰像素中與其相連通（像素值相同）的像素數(shù)量。

4.1.2 Hilditch圖像細(xì)化算法

Hilditch圖像細(xì)化算法［11］是一種基于像素點的圖像處理算法，用于將二值圖像中的粗線條細(xì)化為單像素的線條。Hilditch算法的核心思想是在保持原始形狀的前提下，刪除盡可能少的像素點，以確保細(xì)化后的線條仍然可以準(zhǔn)確地代表原始形狀。其原理是通過對圖像中的像素點進行判斷和刪除來實現(xiàn)細(xì)化，具體細(xì)化步驟如下：

（1）輸入一幅二值圖像，算法首先會將所有像素值為1的像素點設(shè)為前景像素點，所有像素值為0的像素點設(shè)為背景像素點。遍歷圖像中的所有像素點，對于每一個像素點P1，若是背景像素點，則跳過；若是前景像素點，則執(zhí)行下一步驟。

（2）對于每個前景像素點P1，檢查它是否滿足式（5）中的4個條件，若滿足，則將P1記為待刪除點；

（a）2≤N（P1）≤6

（b）S（P1）=1（5）

（c）P2×P4×P6=0orS（P4）≠1

（d）P2×P4×P8=0orS（P2）≠1

式（5）中，N（P1）為像素點P1的8連通數(shù)；在像素點P1八鄰域中按順時針方向檢索像素點，統(tǒng)計由0跨越至1的次數(shù)作為S（P1）的值。同理，S（P2）和S（P4）的值為分別在像素點P2、P4八鄰域中順時針方向像素值由0跨越至1的次數(shù)。

（3）刪除所有記的待刪除點，并更新圖像，然后進入下一次迭代，直到圖像沒有需要刪除的像素，算法結(jié)束。

4.2 矢量車道線提取擬合

車道線在經(jīng)過細(xì)化處理后，首先采用ArcGIS工具箱中的柵格轉(zhuǎn)折線工具完成柵格車道線至矢量車道線的轉(zhuǎn)換，此時得到的矢量車道線并非平滑的直線? 或曲線，而是帶有噪聲結(jié)點的折線段，故最后需采用ArcGIS的PAEK平滑線工具去除車道線噪聲結(jié)點，以達到擬合車道線的目的。

5 實驗結(jié)果與分析

5.1 U-Net模型訓(xùn)練及車道線識別

實驗基于Pytorch深度學(xué)習(xí)框架，使用NVIDIA GTX 1660 GPU進行計算，同時采用cuDnn11.0庫進行加速。在語義分割模型訓(xùn)練過程中采用數(shù)據(jù)增廣策略，將訓(xùn)練集、驗證集分別放入采用BCE Loss與Lovsz Loss的U-Net模型中進行訓(xùn)練、驗證，設(shè)置批大小為2，迭代周期設(shè)置為200次，初始學(xué)習(xí)率設(shè)為0.001，選擇Adam作為優(yōu)化器。不同損失函數(shù)精度對比結(jié)果如表1所示，車道線語義分割效果如圖4所示。

表1中，Lovsz函數(shù)兩項精度評價指標(biāo)均優(yōu)于BCE函數(shù)，相較于BCE損失函數(shù)，Lovsz損失函數(shù)在IoU上提升了0.189 8，在PA上提升了0.012 6。因此采用Lovsz函數(shù)的U-Net模型的車道線分割效果應(yīng)明顯優(yōu)于BCE函數(shù)。

5.2 柵矢結(jié)合提取車道線

以語義分割模型識別出的柵格車道線為數(shù)據(jù)源，利用Hilditch細(xì)化算法進行實驗測試，實驗結(jié)果如圖4（c）和（d）所示。

柵格車道線在經(jīng)過細(xì)化處理后，利用ArcGIS工具箱中的柵格轉(zhuǎn)折線工具完成柵格車道線至矢量車道線的轉(zhuǎn)換，此時得到的矢量車道線并非平滑的直線或曲線，而是帶有噪聲結(jié)點的折線段，如圖5（a）和（b）所示。最后采用ArcGIS的PAEK平滑線工具對細(xì)化后柵格車道線進行擬合，圖5為同方向直車道線與曲車道線擬合前后的結(jié)果對比，由圖5可知，該方法可有效去除車道線噪聲結(jié)點，使車道線平滑性更好、延展性更佳。

5.3 基于車道線提取成果的高精地圖構(gòu)建

將所有的柵格車道線經(jīng)過細(xì)化后轉(zhuǎn)為矢量并擬合，最后得到矢量車道線?；诒疚姆椒ㄌ崛〉氖噶寇嚨谰€成果，使用MPC高精地圖繪制軟件進行車道線圖層制作。本文自動提取的車道線主要為長線與短線兩種基本車道線圖層，如圖6所示，部分車道線雖不完整，但精度滿足要求，編輯時可直接吸附對應(yīng)車道位置，大大提高了高精地圖的生產(chǎn)效率。

通過對長線與短線進行簡單的復(fù)制、平移、拓?fù)潢P(guān)系修正、編輯屬性等處理之后，可得到車道邊界線、車道中心線、路邊線以及路面線（見圖7）。以上圖層往往需要以人工方式逐個提取，而本文自動提取的結(jié)果在經(jīng)過簡單編輯后可直接生產(chǎn)出高精地圖車道線相關(guān)圖層。

6 結(jié)語

本文以輔助無人駕駛技術(shù)、推動數(shù)字測繪向智能測繪的轉(zhuǎn)型為主要目的，開展面向高精地圖的無人機正射影像車道線自動提取研究，主要取得了以下研究成果：針對無人機正射影像車道線自動提取的需求，以江蘇省徐州市銅山區(qū)湘江路西段為實驗區(qū)，基于無人機傾斜攝影技術(shù)獲得目標(biāo)路段3 cm分辨率正射影像，據(jù)此構(gòu)建了車道線語義分割數(shù)據(jù)集，以用于車道線語義分割模型的訓(xùn)練、測試及驗證；基于Lovsz損失函數(shù)的小樣本車道線語義分割?；诰矸e神經(jīng)網(wǎng)絡(luò)及語義分割理論，對BCE及Lovsz兩種損失函數(shù)U-Net模型車道線語義分割精度進行實驗對比，Lovsz函數(shù)在IoU與PA兩項精度評價指標(biāo)精度均高于BCE函數(shù)，可改善車道線語義分割的效果；柵矢結(jié)合提取高精度車道線。為實現(xiàn)車道線識別結(jié)果轉(zhuǎn)為高精地圖格式，通過圖像細(xì)化算法對面狀柵格車道線進行處理得到單像素寬的柵格車道線，最后采用ArcGIS工具箱中的柵格轉(zhuǎn)折線工具與PAEK平滑線工具完成車道線的提取擬合。利用本文方法自動提取的車道線成果可直接用于生產(chǎn)高精地圖車道線相關(guān)圖層，提高了車道線數(shù)據(jù)的采集與更新效率，從而降低高精地圖的構(gòu)建成本。

參考文獻

［1］吳喜慶，吳征，周怡博.我國高精地圖產(chǎn)業(yè)發(fā)展現(xiàn)狀及政策建議［J］.汽車文摘，2022（7）：1-4.

［2］侯翹楚，李必軍，蔡毅.高分辨率遙感影像的車道級高精地圖要素提取［J］.測繪通報，2021（3）：38-43.

［3］張世強，王貴山.基于高分辨率遙感影像的車道線提?。跩］.測繪通報，2019（12）：22-25.

［4］王立春.基于無人機航拍的公路標(biāo)線提取與破損檢測的研究與實現(xiàn)［D］.南京：南京航空航天大學(xué)，2018.

［5］袁鑫.具備自主進化能力的無人機視角車道標(biāo)線識別算法［D］.武漢：武漢大學(xué)，2022.

［6］KIM D H， HA J E. Lane detection using a fusion of two different CNN architectures［J］. Journal of Institute of Control，Robotics and Systems， 2019（9）：753-759.

［7］陳立潮，徐秀芝，曹建芳，等.引入輔助損失的多場景車道線檢測［J］.中國圖象圖形學(xué)報，2020（9）：1882-1893.

［8］劉丹萍，汪珺，葛文祥.面向園區(qū)場景的車道線局部定位檢測方法研究［J］.重慶工商大學(xué)學(xué)報（自然科學(xué)版），2022（4）：19-25.

［9］朱威，歐全林，洪力棟，等.基于圖像序列的車道線并行檢測網(wǎng)絡(luò)［J］.模式識別與人工智能，2021（5）：434-445.

［10］于營，王春平，付強，等.語義分割評價指標(biāo)和評價方法綜述［J］.計算機工程與應(yīng)用，2023（6）：57-69.

［11］NACCACHE N J， SHINGHAL R. An investigation into the skeletonization approach of hilditch［J］. Pattern Recognition， 1984（3）：279-284.

（編輯 王雪芬）

Research on automatic extraction of lane lines in high-definition map

based on UAV orthophoto

Gao? Zhengyue， Li? Chunmei*

（School of Geography，? Geomatics and Planning，? Jiangsu Normal University， Xuzhou 221116， China）

Abstract：? Lane lines as the basic information to realize accurate navigation and autonomous driving， the current acquisition method has low automation and long production cycle， which seriously affects the application of high-definition maps. Therefore， this paper designs an automatic lane line extraction method for high-definition maps using UAV orthophoto， based on U-Net semantic segmentation model， combined with raster vector data processing. In the experiment， the U-Net model is trained with 20% of the samples using Lovsz Loss， and the semantic segmentation of lane lines with IoU above 75% is achieved， and the raster lane lines identified by U-Net can be processed by combining raster and vector means to obtain high quality vector lane lines. The lane line extraction method designed in this paper， which integrates UAV tilt photography， deep learning and GIS data processing， can provide a new idea and method for acquiring lane lines in high-definition maps and provide a new data support for autonomous driving.

Key words： high-definition map; UAV orthphoto; lane line extraction; U-Net; raster vector combination