改進多頭注意力機制的車道檢測方法

葛澤坤，陶發(fā)展，2，付主木，2，宋書中，2

1.河南科技大學(xué) 信息工程學(xué)院，河南 洛陽 471023

2.河南科技大學(xué) 河南省機器人與智能系統(tǒng)重點實驗室，河南 洛陽 471023

隨著圖形處理硬件的不斷發(fā)展，深度學(xué)習(xí)在許多具有挑戰(zhàn)性的領(lǐng)域內(nèi)表現(xiàn)出了高性能、高效率的優(yōu)點。Kim等人[1]和Huval等人[2]將CNN與計算機視覺相結(jié)合應(yīng)用于車道線檢測系統(tǒng)。Pan等人[3]認(rèn)為傳統(tǒng)的卷積網(wǎng)絡(luò)可以捕獲語義信息，但在獲取空間信息效果較差，因此提出了一個基于序列信息的SCNN框架，實驗結(jié)果顯示該框架能夠有效的捕獲上下文信息。Neven等人[4]提出了一種利用實例分割來進行車道線檢測的方法LaneNet，該方法利用卷積網(wǎng)絡(luò)生成透視變換矩陣，在透視變換后的圖像上進行擬合，從而得到更好的擬合結(jié)果。Ghafoorian等人[5]通過引入對抗生成網(wǎng)絡(luò)[6]（generative adversarial network，GAN）來優(yōu)化車道線語義分割的學(xué)習(xí)過程，同時提出一個embedding loss方法，增強模型的魯棒性和穩(wěn)定性。Zhang等人[7]設(shè)計了一種遞歸特征偏移聚合器（RESA），能更直接有效地傳遞空間信息，提升模型的精確度和魯棒性。

上述列舉的方法均是基于CNN的網(wǎng)絡(luò)結(jié)構(gòu)，這些方法并未考慮CNN在處理車道線這種細長結(jié)構(gòu)時存在的缺陷。CNN是一種局部的操作，基于這一特性，基于CNN的網(wǎng)絡(luò)通常具有較好的泛化能力和較快的收斂速度，并且具有較強的先驗歸納偏置能力，但其有限的感受野導(dǎo)致網(wǎng)絡(luò)在復(fù)雜駕駛環(huán)境下不能有效地建立長期依賴關(guān)系，對視野遠端的車道標(biāo)記檢測效果不佳[8]。與CNN不同，MHSA是一種全局的操作，通過上下文信息聚合算子能建模二維圖像中所有像素之間的關(guān)系[9-10]，具有捕獲大范圍特征信息的能力，因此對車道線結(jié)構(gòu)的建模效果更佳。

針對上述問題，將MHSA與CNN進行結(jié)合，用于提取更豐富的車道標(biāo)記細節(jié)信息與上下文信息，建立車道標(biāo)記的長期依賴關(guān)系，對車道線細節(jié)檢測擁有更好的效果，解決外界干擾對檢測系統(tǒng)造成的檢測不佳問題。為了解決引入MHSA所造成的計算復(fù)雜度增加問題，設(shè)計了特征壓縮模塊與上下文信息嵌入模塊，分別用于快速壓縮特征尺寸和整合提取到的豐富的上下文信息，并且在百度Apollo無人駕駛平臺上驗證了提出方法的性能。

1 車道線檢測模型

1.1 車道線模型

車道線模型定義為多項式結(jié)構(gòu)：

其中，(X,Y)代表車道線在地面上的點，N是多項式X的階數(shù)，αn和b是車道線多項式函數(shù)的系數(shù)。

通常情況下，現(xiàn)實駕駛環(huán)境中的車道線形狀并不復(fù)雜，因此，采用常用的三次多項式來近似平坦地面上的車道線形狀：

在真實駕駛環(huán)境下，道路常存在路面崎嶇不平，對多項式模型會產(chǎn)生干擾，因此考慮將平坦道路的三次多項式轉(zhuǎn)換為“鳥瞰圖”進行表示，避免道路不平造成的影響。轉(zhuǎn)換公式如下式所示：

其中，(x,y)為轉(zhuǎn)換后相平面上對應(yīng)的像素點，fx為焦平面上像素的寬度除以焦距，fy為焦平面上像素的高度除以焦距，H為攝像機架設(shè)的高度。

考慮到在行駛中存在顛簸，使架設(shè)的攝像機產(chǎn)生傾斜情況，假設(shè)產(chǎn)生傾斜角為θ，未傾斜與產(chǎn)生傾斜的變換如下式所示：

其中，f為攝像機焦距。f'為俯仰變換后的攝像機焦距，(x',y')為俯仰變換后相對應(yīng)的像素點。結(jié)合式（2）～（4）可得：

綜上所述，第i條車道線的輸出被參數(shù)化為pi：

其中，i∈[0 ,1,…,M]，M車道線的總數(shù)。

1.2 損失函數(shù)

該模型訓(xùn)練時的主要難點在于計算預(yù)測的車道線參數(shù)與真實車道線之間的匹配度。所提方法采用匈牙利擬合損失，在預(yù)測的車道線參數(shù)與真實車道線之間進行二部匹配，利用匹配結(jié)果對特定車道的回歸損失進行優(yōu)化。

首先將預(yù)測的車道線參數(shù)集合定義為：

其中，M定義為大于常見情況下的車道數(shù)量。再將真實車道線標(biāo)記集表示為：

然后通過搜索最優(yōu)單射函數(shù)：l:S→P，將預(yù)測的車道線參數(shù)集與真實車道線標(biāo)記集之間的二部匹配問題定義為一個代價最小的問題：

其中，Lbmc為第i條真實車道線與索引為li的預(yù)測參數(shù)集之間的匹配代價。匹配代價既考慮了類別預(yù)測，也考慮了預(yù)測參數(shù)集與真實車道線之間的相似度。

最后，回歸損失函數(shù)定義為：

其中，g(ci)為類別ci的概率，Sl(i)為擬合車道線序列，μ1，μ2為損失函數(shù)的系數(shù)，Lmae為平均絕對誤差，Z(?)代表指標(biāo)函數(shù)。

2 融合CNN與MHSA的車道線檢測

所提的車道線檢測方法結(jié)合CNN與MHSA，旨在有效地捕獲車道線的上下文信息，獲得更豐富的車道線細節(jié)信息，并且結(jié)合Transformer中的Encoder和Decoder模塊輸出車道線的參數(shù)，避免復(fù)雜的后處理操作帶來的計算負(fù)擔(dān)。提出的車道線檢測方法網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Structure of network

2.1 構(gòu)建改進的多頭注意力層

自注意機制可以引導(dǎo)模型從不同角度學(xué)習(xí)不同的語義信息。首先，給定一個輸入為x∈RC×H×W，其中C為通道數(shù)量，H為高度，W為寬度。然后采用3個1×1的卷積將輸入的x分別投影為查詢向量（query），鍵向量（key）和值向量（value）。最后，分別計算查詢向量，鍵向量和值向量的注意函數(shù)，并且組成矩陣Q,K和V。自注意機制的輸出表示為：

其中，d為查詢向量和鍵向量的維度，用于防止訓(xùn)練時產(chǎn)生梯度消失。通俗來講，MHSA即由許多自注意機制組合起來的機制。MHSA分別對每個自注意機制進行單獨計算，然后將每個自注意機制的輸出進行連接，得到最后的輸出：

Transformer提出的MHSA沒有包含對二維圖像的位置信息編碼，無法滿足對二維特征的處理，從而限制了在處理視覺任務(wù)的表達能力。針對這一問題，在構(gòu)建多頭注意力層時，將相對位置編碼擴展到二維，改進MHSA對二維圖像的理解能力。首先，考慮到MHSA在處理圖像時會對各像素點之間的關(guān)系進行建模，因此將圖像的二維特征考慮為向量的結(jié)合，即每個像素點的RGB三個通道組成一個向量。然后，構(gòu)建二維特征的相對位置編碼為Ph和Pw，其中Ph和Pw分別表示二維特征在高和寬兩個方向的相對位置，構(gòu)建的二維相對位置編碼使改進的MHSA在處理二維特征時，可對每個像素注入相對位置信息，加強MHSA對于二維特征的理解能力。最后，將改進的MHSA加入自學(xué)習(xí)的機制，能在優(yōu)化器中隨著訓(xùn)練一起學(xué)習(xí)更新，學(xué)習(xí)到更合適的相對位置編碼信息。改進的MHSA結(jié)構(gòu)如圖2所示。

圖2 多頭注意力結(jié)構(gòu)圖Fig.2 Structure of MHSA

構(gòu)建的多頭注意力層使用MHSA、批量歸一化和ReLu激活函數(shù)組成，該模塊可以直接替代卷積層，能夠通過二維特征圖實現(xiàn)全局自我關(guān)注。

2.2 融合卷積與多頭注意力模塊

卷積操作是一種局部操作，一個卷積層一般只模擬相鄰像素之間的關(guān)系，而MHSA是一種全局操作，可以建立二維特征圖中所有像素之間的關(guān)系。因此在構(gòu)建網(wǎng)絡(luò)時，如何合理地將這兩種不同的機制相結(jié)合，是需要解決的首要問題。MBConv模塊更適合作為卷積層來為MHSA捕獲更多的車道線細節(jié)信息[11]，該模塊利用深度卷積（depthwise convolution，DWConv）來整合空間信息交互。這是因為MHSA與MBConv模塊采用的DWConv都可以表示為預(yù)定義感受野的加權(quán)之和。此外，DWConv與Transformer中的前饋網(wǎng)絡(luò)（feed-forward network，F(xiàn)FN）都具有倒瓶頸結(jié)構(gòu)，均采用先擴張后縮小的方法，將輸入的通道大小先擴大4倍，然后將4倍寬的隱藏狀態(tài)投影回原始通道大小，最后使用殘差連接。這表明DWConv可以與MHSA進行有效結(jié)合。MBConv模塊如圖3（a）所示。

圖3 MBConv與Fuse MBConv模塊結(jié)構(gòu)圖Fig.3 Structure of MBConv and Fuse MBConv block

2.3 設(shè)計輕量級網(wǎng)絡(luò)

在實驗中發(fā)現(xiàn)，采用MBConv模塊在處理高分辨率特征圖時會出現(xiàn)計算緩慢的情況。通過驗證發(fā)現(xiàn)，MBConv模塊在處理低分辨率特征圖中效果理想，但在處理高分辨率特征時存在欠缺。針對這一問題，搭建網(wǎng)絡(luò)時，在網(wǎng)絡(luò)較前階段采用結(jié)構(gòu)簡單的Fuse MBConv模塊對原始輸入圖像進行快速處理，使特征快速達到合適的尺寸。該模塊將MBConv模塊中的3×3深度卷積和1×1卷積替換為1個3×3卷積，F(xiàn)use MBConv模塊如圖3（b）所示。

單一地采用Fuse MBConv和MBConv模塊使輸入特征達到合適的尺寸會造成網(wǎng)絡(luò)的冗余堆疊，增加模型的訓(xùn)練時間，耗費大量的計算成本。針對這一問題，提出一個特征壓縮模塊對輸入的原始特征進行快速壓縮，以提高網(wǎng)絡(luò)的效率。特征壓縮模塊如圖4（a）所示，該模塊具有高效的計算能力和有效的特征表達能力。

圖4 特征壓縮與上下文信息嵌入模塊結(jié)構(gòu)圖Fig.4 Structure of stem and context embedding block

檢測網(wǎng)絡(luò)將特征壓縮模塊作為第一層，對原始輸入圖像進行快速下采樣。該模塊包含兩個分支，分別采用普通卷積操作和最大池化處理對輸入特征進行下采樣，然后將兩個分支輸出的特征進行融合。

2.4 整合上下文信息

針對目前車道檢測系統(tǒng)對視野遠端的車道標(biāo)記檢測效果不佳的問題，旨在構(gòu)建一個具有較大感受野的網(wǎng)絡(luò)，能夠提取更豐富的車道線結(jié)構(gòu)以及細節(jié)信息，尤其是在視野遠端處的車道線標(biāo)記。所提方法設(shè)計了一個上下文信息嵌入塊模塊，該模塊能夠有效地擴大感受野，整合網(wǎng)絡(luò)提取到的豐富的上下文信息，提高網(wǎng)絡(luò)的檢測效果。

由于CNN與MHSA具有不同的處理特點，因此直接輸出多頭注意力層提取到的特征會造成訓(xùn)練難以收斂和效率慢的問題。全局平均池化通過計算每個輸出通道特征圖中所有像素的平均值，能夠降低參數(shù)量，提高訓(xùn)練效率，可有效解決訓(xùn)練難以收斂的問題，并且能對空間信息進行求和，因此對輸入的空間變換更具強的魯棒性。

基于全局平均池化這一特點，在構(gòu)建上下文信息嵌入塊模塊時，首先利用全局平均池化來處理網(wǎng)絡(luò)提取的上下文信息，并在此基礎(chǔ)上，加入了殘差連接進一步改善訓(xùn)練過程中可能出現(xiàn)的梯度消散等問題，提高模型的魯棒性。上下文信息嵌入塊模塊結(jié)構(gòu)如圖4（b）所示。

所提方法的網(wǎng)絡(luò)結(jié)構(gòu)見表1，其中Stage代表階段數(shù)，Operator代表特征層進行的操作，s代表步長，k代表卷積核大小，c代表通道大小，r代表重復(fù)次數(shù)。

表1 網(wǎng)絡(luò)結(jié)構(gòu)表Table 1 Table of network structure

得到提取到的特征后，采用Transformer中的Encoder和Decoder結(jié)構(gòu)擬合車道線參數(shù)。對提取的二維特征，進行折疊空間維度，將其扁平化為一個序列，用于Transformer中的前向反饋網(wǎng)絡(luò)實現(xiàn)車道線參數(shù)擬合。

3 實驗結(jié)果與對比分析

3.1 實驗數(shù)據(jù)集

實驗采用TuSimple數(shù)據(jù)集用于訓(xùn)練和驗證。TuSimple車道檢測數(shù)據(jù)集由6 408幅分辨率為1 280×720的標(biāo)注圖像組成，其中3 268張圖片作為訓(xùn)練集、358張圖片作為驗證集、2 782張圖片作為測試集。該數(shù)據(jù)集包含了美國白天各種高速公路環(huán)境下的車道圖像，如優(yōu)良和溫和的天氣條件、不同的車道線數(shù)量和不同的交通環(huán)境，是一個大規(guī)模的數(shù)據(jù)集，可以更好地體現(xiàn)出車道檢測算法的魯棒性。

3.2 評價指標(biāo)

為了便于與其他車道線檢測方法進行比較，采用官方的度量作為評價標(biāo)準(zhǔn)：

準(zhǔn)確率（accuracy）：

其中，Npredi是第i條車道線正確預(yù)測的點數(shù)，Ngti是第i條車道線真實的點數(shù)。

按照TuSimple官方的基準(zhǔn)，實驗將允許的偏差距離設(shè)置為20個像素。如果一個點與其對應(yīng)的標(biāo)記點之間的距離在允許的偏差范圍內(nèi)，則認(rèn)為該點為正確預(yù)測。

錯檢率（false positives，F(xiàn)P）：

其中，F(xiàn)pred為錯誤預(yù)測的車道點數(shù)量，Npred為預(yù)測到的車道點總數(shù)。

漏檢率（false negatives，F(xiàn)N）：

其中，Mpred為未被檢測到的真實車道點數(shù)量，Ngt為真實車道點的總數(shù)。

3.3 實驗設(shè)置

所提方法采用Pytorch架構(gòu)實現(xiàn)，輸入圖像的分辨率設(shè)置為256×512。原始圖像采用隨機縮放、裁剪、旋轉(zhuǎn)和水平翻轉(zhuǎn)的方法來進行圖像增強。訓(xùn)練使用Adam優(yōu)化器訓(xùn)練模型，初始學(xué)習(xí)率設(shè)置為0.000 1，并且每4.5萬次迭代衰減1次。損失函數(shù)的系數(shù)設(shè)為3、5、2，預(yù)測曲線的固定個數(shù)設(shè)為7，批處理大小設(shè)為16，訓(xùn)練迭代次數(shù)設(shè)為50萬次。實驗在RTX 3060 GPU上進行訓(xùn)練。

Apollo無人駕駛平臺Apollo D-KIT Advanced Ne-s配置如下：Ubuntu 18.04操作系統(tǒng)，工控機為Nuvo-8108GC，搭載GeForce RTX 2070 Super GPU和Intel?CoreTMi9-9900K CPU@3.60 GHz處理器。

3.4 實驗對比分析

首先，對提出的方法與其他先進的方法進行對比，對比結(jié)果見表2。對比的方法包括：SCNN[3]、RESA[7]、UFLD[12]、FastDraw[13]、PolyLaneNet[14]、LSTR[15]。其中，PolyLaneNet和LSTR與所提方法同樣采用多項式回歸的車道線模型。對比標(biāo)準(zhǔn)考慮了模型準(zhǔn)確度（Acc）、錯檢率（FP）、漏檢率（FN）、是否使用后處理操作（PP）和模型速度（FPS）。

表2 對比實驗結(jié)果Table 2 Comparison experiment results

從對比結(jié)果可以看到，綜合檢測準(zhǔn)確度和檢測速度兩個方面，所提方法保持了較強的競爭力。在檢測準(zhǔn)確度方面，所提方法具有最高的準(zhǔn)確度。與檢測速度最快的UFLD相比，檢測準(zhǔn)確度提高了0.69個百分點。與PolyLaneNet相比，雖然速度下降了，但準(zhǔn)確度提高了2.94個百分點。PolyLaneNet算法在檢測部分車道標(biāo)記接近地平線的地方不準(zhǔn)確，提出的方法在接近地平線的視野遠端，仍然保持了優(yōu)秀的檢測結(jié)果。

為了更加直觀地展示所提車道檢測方法的性能，選取另外三種算法進行可視化結(jié)果對比。對比實驗將數(shù)據(jù)集以不同的行駛場景分為：直道場景、彎道場景、車道線標(biāo)記缺失場景、一般遮擋場景、多處遮擋場景和夜間場景。圖5展示了所提方法、LSTR、SCNN和RESA四種車道線檢測算法的檢測效果，其中每行代表不同場景下的檢測對比圖，第一列為原圖，第二列為所提方法的檢測結(jié)果，第三列為LSTR算法的檢測結(jié)果，第四列為SCNN網(wǎng)絡(luò)的檢測結(jié)果，第五列為RESA算法的檢測結(jié)果。從對比結(jié)果可以看出，在直道場景（第一行）對比結(jié)果中，各算法均保持了理想的檢測結(jié)果。在彎道場景（第二行）的對比結(jié)果中，其他三個算法并未檢測出道路前方的轉(zhuǎn)彎趨勢，僅將圖中存在的車道線標(biāo)記檢測出來，而所提方法則更加精確的檢測出了前方的轉(zhuǎn)彎情況。在車道線標(biāo)記缺失場景（第三行）、一般遮擋場景（第四行）和多處遮擋場景（第五行）的對比結(jié)果中，由于存在車道線特征缺失和被遮擋的情況，導(dǎo)致其他三個算法均存在誤檢和漏檢的情況，檢測效果不佳，而所提方法仍然保持理想的檢測效果，在檢測效果的魯棒性方面優(yōu)勢明顯。同樣的在夜間場景（第六行）的對比結(jié)果中，由于夜間的光線差，導(dǎo)致車道線標(biāo)記不明顯，與其他三個算法的檢測結(jié)果對比，所提方法的優(yōu)勢較為明顯。綜合各場景的對比結(jié)果，所提方法在不同行駛場景下均保持理想的檢測結(jié)果，具有檢測精度高、漏檢誤檢率低、魯棒性強的特點。

3.5 消融實驗

為進一步驗證所提出算法的有效性，本節(jié)對所提算法的各模塊進行拆解，在TuSimple數(shù)據(jù)集上進行對比實驗。

3.5.1 算法結(jié)構(gòu)消融實驗

實驗首先分別拆解設(shè)計的特征壓縮與上下文信息嵌入模塊，與原算法的準(zhǔn)確度進行對比。對于僅加入特征壓縮模塊的實驗，拆解上下文信息嵌入模塊。對于僅加入上下文信息嵌入模塊的實驗，拆解特征壓縮模塊，將特征壓縮模塊用兩個卷積層替代，將輸入的3通道輸出為16通道。對比結(jié)果如表3所示。

表3 算法結(jié)構(gòu)消融實驗結(jié)果Table 3 Experimental results of ablation of algorithm structure 單位/%

由對比結(jié)果可知，加入兩個模塊的完整算法的準(zhǔn)確度明顯優(yōu)于拆解后的算法。對于僅采用上下文信息嵌入模塊的實驗結(jié)果，準(zhǔn)確度上升的趨勢明顯弱于僅加入特征壓縮模塊實驗。這是由于拆解了特征壓縮模塊，使得算法在處理輸入的大尺寸特征時效率低下，模型的訓(xùn)練效率較低。而不采用上下文信息嵌入模塊的實驗，模型最終準(zhǔn)確度產(chǎn)生降低。這也證實了在2.4節(jié)中提到的，上下文信息嵌入模塊能夠有效地擴大感受野，整合網(wǎng)絡(luò)提取到的豐富的上下文信息，提高網(wǎng)絡(luò)的檢測效果。實驗準(zhǔn)確度對比結(jié)果如圖6所示。

圖6 算法結(jié)構(gòu)消融實驗結(jié)果對比圖Fig.6 Comparison of ablation experiments of algorithm structure

3.5.2 多頭注意力消融實驗

接下來，進行了多頭注意力機制的消融實驗，實驗結(jié)果如表4所示，準(zhǔn)確度對比結(jié)果如圖7所示。由對比結(jié)果可知，加入多頭注意力機制的準(zhǔn)確度明顯高于未加入多頭注意力機制，這是由于2.2節(jié)提出的融合卷積與多頭注意力機制，能夠有效結(jié)合卷積與多頭注意力機制的優(yōu)點，以較淺的網(wǎng)絡(luò)深度就可以形成全局關(guān)注，提高模型的準(zhǔn)確度。

表4 多頭注意力消融實驗結(jié)果Table 4 Experimental results of ablation of MHSA 單位：%

圖7 多頭注意力機制效果對比圖Fig.7 Comparison of ablation experiments of MHSA

最后，為了更加直觀展示多頭注意力機制帶來的提升，可視化結(jié)果如圖8所示。圖中，第一行為未加入多頭注意力機制的檢測效果，第二行為加入多頭注意力機制后的檢測效果。從結(jié)果對比圖可以看出，未加入多頭注意力機制的模型對于視野遠端的車道標(biāo)記檢測效果不理想，會存在檢測不準(zhǔn)確和檢測過度等問題，這是因為CNN的網(wǎng)絡(luò)結(jié)構(gòu)缺乏對圖像的長期依賴關(guān)系的理解，并且缺乏對上下文信息的提取。加入多頭注意力機制后，明顯改善了模型對于視野遠端車道標(biāo)記的檢測效果，并且沒有經(jīng)過任何附加處理操作在視野車道線消失處匯聚成了一個消失點，這有助于自動駕駛系統(tǒng)對于車道消失處的檢測。

圖8 多頭注意力機制效果對比圖Fig.8 Comparison results of MHSA

3.5.3 輕量級網(wǎng)絡(luò)消融實驗

實驗分別拆解設(shè)計的Fuse MBConv模塊與特征壓縮模塊，主要關(guān)注模型的檢測準(zhǔn)確度、推理速度與訓(xùn)練時間的結(jié)果對比。該實驗設(shè)置與3.3節(jié)的實驗設(shè)置保持一致，均使用Adam優(yōu)化器訓(xùn)練模型，初始學(xué)習(xí)率設(shè)置為0.000 1，每4.5萬次迭代衰減1次，訓(xùn)練迭代次數(shù)設(shè)為50萬次。對比結(jié)果如表5所示。

表5 輕量級網(wǎng)絡(luò)消融實驗結(jié)果Table 5 Experimental results of ablation of lightweight network

3.6 無人駕駛平臺測試

考慮到車道線檢測系統(tǒng)最終需要在車輛中進行部署，采用Apollo D-KIT Advanced Ne-s作為實現(xiàn)平臺，對提出方法進行驗證。實驗將Apollo搭載的雙目攝像頭采集到的視頻流作為輸入，將視頻流截取為圖像幀的形式傳輸?shù)娇刂婆_，控制臺對圖像進行處理，繪制當(dāng)前圖像中的車道線進行輸出，達到實時檢測車道線的目的。由實驗結(jié)果得，所提方法在Apollo D-KIT Advanced Ne-s上運行速度達到60幀/s，能夠滿足實時檢測的要求。Apollo D-KIT Advanced Ne-s如圖9所示。

圖9 Apollo D-KIT advanced Ne-sFig.9 Apollo D-KIT advanced Ne-s

4 結(jié)束語

所提方法結(jié)合多頭注意力機制的優(yōu)秀建模能力，利用多項式回歸直接輸出車道線形狀模型的參數(shù)，提出一種網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度小、車道線檢測效果穩(wěn)定的輕量級網(wǎng)絡(luò)，更便于在移動設(shè)備端的部署。首先改進多頭注意力機制，將其設(shè)計為一種可以替換CNN的模塊，能夠?qū)NN的局部操作進行補足，形成一種全局的關(guān)注機制；接下來使用MBConv模塊與多頭注意力機制進行融合，結(jié)合兩者的優(yōu)點，形成一種互補的機制；然后針對引入多頭注意力機制造成的計算復(fù)雜度提升問題，設(shè)計了一個特征壓縮模塊進行快速壓縮特征和上下文信息嵌入塊模塊有效的整合提取到的車道細節(jié)信息，并采用Fuse MBConv模塊使特征尺寸快速達到合適的大小，減輕計算負(fù)擔(dān)；最后在TuSimple數(shù)據(jù)集上進行了實驗，與其他先進的方法進行對比，獲得了具有競爭力的準(zhǔn)確性與實時性，并在百度無人駕駛平臺Apollo D-KIT Advanced Ne-s上驗證了提出的方法的性能。