智能駕駛中的關(guān)鍵點(diǎn)檢測(cè)技術(shù)

摘要：智能交通系統(tǒng)和智能駕駛技術(shù)的快速發(fā)展對(duì)車(chē)輛姿態(tài)信息及三維屬性的獲取提出了新的要求。探討了兩種主流的多目標(biāo)關(guān)鍵點(diǎn)檢測(cè)方法，即基于自頂向下和自底向上方法，并分析了兩者在精度和速度方面的表現(xiàn)。然后搭建了一種基于自頂向下的、使用Heatmap+Offsets方法的卷積神經(jīng)網(wǎng)絡(luò)車(chē)輛關(guān)鍵點(diǎn)檢測(cè)模型，該模型具有很高的平均精度，且誤差較小，在處理角度信息時(shí)也具有較高的精確度。

關(guān)鍵詞：智能駕駛；關(guān)鍵點(diǎn)檢測(cè)；姿態(tài)估計(jì)；車(chē)輪關(guān)鍵點(diǎn)；深度學(xué)習(xí)

中圖分類(lèi)號(hào)：U467.4 收稿日期：2024-10-18

DOI：10.19999/j.cnki.1004-0226.2024.12.026

1 前言

智慧交通和智能駕駛有良好的應(yīng)用前景，成為近年來(lái)的研究熱點(diǎn)，其中，機(jī)器視覺(jué)在智能駕駛研發(fā)中發(fā)揮著重要作用，主要包括場(chǎng)景識(shí)別、動(dòng)靜態(tài)目標(biāo)檢測(cè)、軌跡預(yù)測(cè)等。機(jī)器視覺(jué)顧名思義是通過(guò)機(jī)器來(lái)模擬生物視覺(jué)，代替人眼實(shí)現(xiàn)對(duì)目標(biāo)的分類(lèi)、識(shí)別、跟蹤等。但隨著智駕技術(shù)的發(fā)展，機(jī)器視覺(jué)感知的需求也逐步擴(kuò)大，在智能感知系統(tǒng)中，準(zhǔn)確獲取動(dòng)態(tài)目標(biāo)的三維屬性及姿態(tài)信息對(duì)于提高交通效率和安全性至關(guān)重要。

通常，目標(biāo)檢測(cè)算法只能輸出當(dāng)前圖像中車(chē)輛目標(biāo)的外接2D矩形框、置信度和類(lèi)別信息，但是無(wú)法獲取到其朝向和姿態(tài)信息，如圖1所示。但當(dāng)智駕感知有更高的要求時(shí)，就希望不僅要識(shí)別出目標(biāo)，還要獲悉其姿態(tài)和三維信息，以便下游做出進(jìn)一步的判斷。

目前的3D檢測(cè)技術(shù)依賴(lài)高精度的激光雷達(dá)獲取真值信息，但由于其成本高昂，限制了其應(yīng)用普及。另一個(gè)思路是通過(guò)單目攝像頭獲取圖像，通過(guò)檢測(cè)圖像中每輛車(chē)近側(cè)前后車(chē)輪接地點(diǎn)（車(chē)輪與地面相切的切點(diǎn)），再結(jié)合全車(chē)框、車(chē)尾框，生成車(chē)輛3D框，從而比較準(zhǔn)確地獲得車(chē)輛當(dāng)前的朝向和姿態(tài)信息，如圖2所示。因此關(guān)鍵點(diǎn)檢測(cè)技術(shù)是一個(gè)生成3D框和獲取目標(biāo)姿態(tài)的折中方法。另外智駕系統(tǒng)中也經(jīng)常檢測(cè)騎車(chē)人關(guān)鍵點(diǎn)，用于提供騎車(chē)人的姿態(tài)以及測(cè)距測(cè)速信息，圖3分別展示了車(chē)輪角點(diǎn)和騎車(chē)人角點(diǎn)，其中序號(hào)1表示前輪，序號(hào)0表示后輪。

2 關(guān)鍵點(diǎn)檢測(cè)技術(shù)

關(guān)鍵點(diǎn)本質(zhì)上就是在圖像中用一個(gè)點(diǎn)表示物體上特定的部位，它不僅是一個(gè)點(diǎn)信息或代表一個(gè)位置，更代表著上下文與周?chē)徲虻慕M合關(guān)系。常見(jiàn)的關(guān)鍵點(diǎn)有車(chē)輛關(guān)鍵點(diǎn)、人體關(guān)鍵點(diǎn)和人臉關(guān)鍵點(diǎn)等，車(chē)輛關(guān)鍵點(diǎn)一般用于車(chē)輛模型建模、智能駕駛領(lǐng)域等[1]；人體關(guān)鍵點(diǎn)可以應(yīng)用于分析人體的行為動(dòng)作，還可以應(yīng)用于VR、AR等[2]；人臉關(guān)鍵點(diǎn)則應(yīng)用于涉及人臉識(shí)別的相關(guān)應(yīng)用[3]。

關(guān)鍵點(diǎn)檢測(cè)技術(shù)按照問(wèn)題場(chǎng)景，可分為“單目標(biāo)關(guān)鍵點(diǎn)檢測(cè)”和“多目標(biāo)關(guān)鍵點(diǎn)檢測(cè)”[4]。在“單目標(biāo)關(guān)鍵點(diǎn)檢測(cè)”中，其研究關(guān)鍵在于如何設(shè)計(jì)關(guān)鍵點(diǎn)檢測(cè)算法或模型結(jié)構(gòu)，從而實(shí)現(xiàn)準(zhǔn)確的關(guān)鍵點(diǎn)檢測(cè)。而在“多目標(biāo)關(guān)鍵點(diǎn)檢測(cè)”中，研究重點(diǎn)不再是具體的關(guān)鍵點(diǎn)檢測(cè)，而是如何對(duì)檢測(cè)的關(guān)鍵點(diǎn)進(jìn)行實(shí)例化分組，該領(lǐng)域由此也分為基于自頂向下和自底向上的兩種解決范式，下面分別介紹這兩種方法及優(yōu)缺點(diǎn)。

2.1 基于自頂向下的多目標(biāo)關(guān)鍵點(diǎn)檢測(cè)方法

在多目標(biāo)關(guān)鍵點(diǎn)檢測(cè)任務(wù)中，最自然想到的做法就是先檢測(cè)出圖中所有目標(biāo)，然后再將目標(biāo)2D框摳出來(lái)，對(duì)每一個(gè)2D框候選區(qū)域內(nèi)進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，這就是自頂向下的方法，即通過(guò)先進(jìn)行全圖目標(biāo)檢測(cè)，而后進(jìn)行單目標(biāo)關(guān)鍵點(diǎn)檢測(cè)的兩階段網(wǎng)絡(luò)，將多目標(biāo)任務(wù)轉(zhuǎn)換為單目標(biāo)任務(wù)。

該方法如圖4所示，其中包含“車(chē)輛檢測(cè)”和“關(guān)鍵點(diǎn)檢測(cè)”兩個(gè)不同的卷積神經(jīng)網(wǎng)絡(luò)，前者對(duì)車(chē)輛目標(biāo)進(jìn)行檢測(cè)提取并將其裁剪成單個(gè)車(chē)輛目標(biāo)候選框，之后再通過(guò)Roi Normalize方法進(jìn)行外擴(kuò)一定區(qū)域，包含背景信息，且歸一化到相同尺寸下，作為后面“關(guān)鍵點(diǎn)檢測(cè)”網(wǎng)絡(luò)的輸入，通過(guò)兩步走實(shí)現(xiàn)了多目標(biāo)關(guān)鍵點(diǎn)檢測(cè)。

2.2 基于自底向上的多目標(biāo)關(guān)鍵點(diǎn)檢測(cè)方法

自底向上的方法與自頂向下相反，其網(wǎng)絡(luò)設(shè)計(jì)只有一個(gè)網(wǎng)絡(luò)，直接對(duì)整張圖進(jìn)行全局關(guān)鍵點(diǎn)的檢測(cè)。對(duì)于圖像中含有多個(gè)目標(biāo)，存在無(wú)法區(qū)分哪些點(diǎn)屬于目標(biāo)A，哪些點(diǎn)屬于目標(biāo)B的問(wèn)題，因此還需要在后面接一個(gè)實(shí)例化分組模塊，利用其他輔助信息和后處理將這些關(guān)鍵點(diǎn)按照策略進(jìn)行實(shí)例化分組和匹配。

該方法如圖5所示，其中只有“全局關(guān)鍵點(diǎn)檢測(cè)”一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，進(jìn)行不限制實(shí)例數(shù)量的全局關(guān)鍵點(diǎn)檢測(cè)，另外會(huì)輸出額外如分割或?qū)嵗幋a等輔助信息，最后通過(guò)后處理進(jìn)行實(shí)例化分組。

2.3 兩種方法的優(yōu)缺點(diǎn)分析

基于自頂向下和自底向上的兩種方法，雖然各有千秋，但總體上可以從精度和速度兩方面闡述它們各自的特點(diǎn)。其中，自頂向下的方法思路直觀，檢測(cè)過(guò)程易于理解，被大部分人所接受。

由于分兩階段地將多目標(biāo)場(chǎng)景轉(zhuǎn)換為單目標(biāo)問(wèn)題，同時(shí)能夠利用業(yè)界先進(jìn)的通用目標(biāo)檢測(cè)網(wǎng)絡(luò)，從而能達(dá)到更高的精度和更廣的應(yīng)用范圍；但相應(yīng)地，兩階段的流程較為冗余且分階段訓(xùn)練的成本較大，并且會(huì)因?yàn)槿宋飻?shù)量變多而計(jì)算量增大，耗時(shí)增加，前序的目標(biāo)檢測(cè)效果將會(huì)影響后續(xù)的關(guān)鍵點(diǎn)檢測(cè)。

基于“自底向上”的方法過(guò)程比較簡(jiǎn)單，其無(wú)論目標(biāo)多少，都只需要對(duì)整張圖片進(jìn)行一次處理，且檢測(cè)速度不會(huì)隨著目標(biāo)的增加而明顯降低，但缺點(diǎn)則是會(huì)犧牲一些精度。

3 實(shí)驗(yàn)內(nèi)容及結(jié)果分析

本文搭建了一種基于普通攝像頭的車(chē)輪關(guān)鍵點(diǎn)檢測(cè)模型，通過(guò)檢測(cè)圖像內(nèi)車(chē)近側(cè)車(chē)輪接地點(diǎn)，進(jìn)而獲取車(chē)輛的姿態(tài)信息，為智能駕駛提供了一種成本效益更高的解決方案。

3.1 實(shí)驗(yàn)內(nèi)容

本文基于自頂向下的方法，通過(guò)使用Heatmap+Offsets的方式，用卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)車(chē)輪接地點(diǎn)的檢測(cè)。

Heatmap是指將每一類(lèi)坐標(biāo)用一個(gè)概率圖來(lái)表示，對(duì)圖片中的每個(gè)像素位置都給一個(gè)概率，表示該點(diǎn)屬于對(duì)應(yīng)類(lèi)別關(guān)鍵點(diǎn)的概率，距離關(guān)鍵點(diǎn)位置越近的像素點(diǎn)的概率越接近1，距離關(guān)鍵點(diǎn)越遠(yuǎn)的像素點(diǎn)的概率越接近0，具體可以通過(guò)函數(shù)進(jìn)行模擬。Heatmap網(wǎng)絡(luò)在一定程度上給每一個(gè)點(diǎn)都提供了監(jiān)督信息，網(wǎng)絡(luò)能夠較快收斂，同時(shí)對(duì)每一個(gè)像素位置進(jìn)行預(yù)測(cè)能夠提高關(guān)鍵點(diǎn)的定位精度，典型網(wǎng)絡(luò)有hourglass[5]、openpose[6]等。

Heatmap + Offsets的方法與上述Heatmap方法不同的是，這里將距離目標(biāo)關(guān)鍵點(diǎn)一定范圍內(nèi)所有像素點(diǎn)的概率值都賦為1，另外使用offsets（即偏移量）來(lái)表示距離目標(biāo)關(guān)鍵點(diǎn)一定范圍內(nèi)的像素位置與目標(biāo)關(guān)鍵點(diǎn)之間的關(guān)系。

網(wǎng)絡(luò)整體結(jié)構(gòu)如圖6所示，流程如下：

a.模型前處理。先通過(guò)目標(biāo)檢測(cè)方法預(yù)測(cè)出車(chē)輛2D框的位置，然后外擴(kuò)一定區(qū)域，形成車(chē)輛ROI，再對(duì)ROI做歸一化處理。

b.label生成。heatmap是一個(gè)以關(guān)鍵點(diǎn)為中心的圓，半徑r為用戶(hù)指定，heatmap上位于該圓上的值為1，其余值為0；offset是圓上當(dāng)前點(diǎn)指向關(guān)鍵點(diǎn)的向量。

c.模型輸出。將處理后的ROI輸入到卷積神經(jīng)網(wǎng)絡(luò)中，經(jīng)過(guò)網(wǎng)絡(luò)提取特征，最后輸出heatmap與offset兩個(gè)head。heatmap的shape為（n，num_kps，h，w），offset的shape為（n，2*num_kps，h，w），其中n為batch_size；num_kps為角點(diǎn)數(shù)量（這里取2）；h、w為輸出feature map的尺寸。

d.模型后處理：先找到heatmap輸出的最大值的位置（x，y），并根據(jù)這個(gè)位置找到offset相對(duì)應(yīng)點(diǎn)處的向量（x_offset，y_offset），預(yù)測(cè)出最終的輸出點(diǎn)位置（x+x_offset，y+y_offset）。

e.根據(jù)label值和預(yù)測(cè)值，計(jì)算損失函數(shù)，反向傳播更新模型參數(shù)，直至模型收斂。

本文采用的訓(xùn)練集總共有125 000張圖像，訓(xùn)練采用迭代訓(xùn)練策略來(lái)優(yōu)化模型，本文設(shè)置總訓(xùn)練步數(shù)為float_steps=13 800步，以確保模型能夠充分學(xué)習(xí)訓(xùn)練集的特征；此外，hyqDUABiq767NbxsWN0x7A==為了穩(wěn)定訓(xùn)練過(guò)程并避免過(guò)擬合，使用freeze_bn_steps=7 500步凍結(jié)了批量歸一化（Batch Normalization）層的參數(shù)，這意味著在訓(xùn)練的前7 500步中，BN層的參數(shù)不會(huì)更新，這一策略有助于在訓(xùn)練初期快速收斂，同時(shí)在訓(xùn)練后期允許模型參數(shù)自由調(diào)整以捕捉更復(fù)雜的信息。

3.2 實(shí)驗(yàn)結(jié)果分析

本文采用的評(píng)測(cè)指標(biāo)如下：

a.平均精度（AP）。AP是Average Precision的縮寫(xiě)，這一指標(biāo)衡量了模型在不同置信度閾值下的平均精度，AP值越高，表示模型的整體性能越好。

b.歸一化誤差（NormError）。該指標(biāo)通常指的是模型預(yù)測(cè)值與實(shí)際值之間差異的歸一化化誤差，是衡量模型性能的關(guān)鍵指標(biāo)之一。

c.角度誤差（AngleError）。該指標(biāo)衡量模型在預(yù)測(cè)角度方面的準(zhǔn)確性。

d.PR曲線（Precision-Recall）。該曲線通過(guò)繪制不同閾值設(shè)置下的精確度（Precision）與召回率（Recall）之間的關(guān)系，曲線下的面積能夠量化模型的整體性能，值越高表示模型的性能越好。

訓(xùn)練完成后，在4 770張圖像評(píng)測(cè)集上進(jìn)行評(píng)測(cè)，評(píng)測(cè)結(jié)果為AP值為0.955，NormError值為0.017，AngleError值為4.75，PR曲線如圖7所示。該評(píng)測(cè)結(jié)果表明模型具有很高的平均精度，且誤差較小，模型在處理角度信息時(shí)也具有較高的精確度。

同時(shí)為了獲得更直觀的視覺(jué)感受，本文選取了一些測(cè)試圖像可視化地來(lái)分析車(chē)輪接地點(diǎn)檢測(cè)模型的性能，圖8顯示了該模型在車(chē)輛兩點(diǎn)關(guān)鍵點(diǎn)上的檢測(cè)效果。可以看出，該模型在檢測(cè)車(chē)輪關(guān)鍵點(diǎn)方面效果良好，能夠準(zhǔn)確識(shí)別車(chē)輛目標(biāo)的同時(shí)檢測(cè)出車(chē)近側(cè)車(chē)輪前后兩點(diǎn)接地點(diǎn)。

4 未來(lái)工作

對(duì)于一些復(fù)雜場(chǎng)景和corner case，車(chē)輪關(guān)鍵點(diǎn)檢測(cè)方法還是會(huì)有一定局限性，可能出現(xiàn)接地點(diǎn)漏檢或位置不準(zhǔn)等情況，未來(lái)的研究可以集中在解決這些corner case和提高關(guān)鍵點(diǎn)檢測(cè)的魯棒性。

下面列舉了一些車(chē)輪關(guān)鍵點(diǎn)檢測(cè)的corner case：

a.目標(biāo)存在遮擋情況造成關(guān)鍵點(diǎn)位置不明顯，會(huì)導(dǎo)致接地點(diǎn)漏檢、檢測(cè)位置不準(zhǔn)。

b.對(duì)于一些cut-in場(chǎng)景，會(huì)導(dǎo)致目標(biāo)不完整、車(chē)輪缺失，可能造成模型腦補(bǔ)的關(guān)鍵點(diǎn)預(yù)測(cè)不準(zhǔn)。

c.對(duì)于大小車(chē)車(chē)輛重疊的場(chǎng)景，會(huì)導(dǎo)致關(guān)鍵點(diǎn)位置檢測(cè)不準(zhǔn)，如圖9所示。

5 結(jié)語(yǔ)

本文搭建了一種基于自頂向下的、使用Heatmap + Offsets方法的車(chē)輛關(guān)鍵點(diǎn)檢測(cè)模型，通過(guò)模型評(píng)測(cè)定量和定性結(jié)果可以看出，其具有很高的精度效果，且誤差較小，在處理角度信息時(shí)也具有較高的精確度。未來(lái)的研究可以集中在解決道路復(fù)雜場(chǎng)景和corner case上，需要不斷提高關(guān)鍵點(diǎn)檢測(cè)算法的魯棒性。

參考文獻(xiàn)：

[1].劉軍，后士浩，張凱，等.基于單目視覺(jué)車(chē)輛姿態(tài)角估計(jì)和逆透視變換的車(chē)距測(cè)量[J].農(nóng)業(yè)工程學(xué)報(bào)，2018，34（13）：70-76.

[2].汪檢兵，李俊.基于OpenPose-slim模型的人體骨骼關(guān)鍵點(diǎn)檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用，2019，39（12）：3503-3509.

[3].石高輝，陳曉榮，劉亞茹，等.基于卷積神經(jīng)網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)檢測(cè)算法設(shè)計(jì)[J].電子測(cè)量技術(shù)，2019，42（24）：125-130.

[4].馬雙雙，王佳，曹少中，等.基于深度學(xué)習(xí)的二維人體姿態(tài)估計(jì)算法綜述[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2022，31（10）：36-43.

[5].Newell A，Yang K，Deng J.Stacked hourglass networks for human pose estimation[C]//European Conference on Computer Vision. Springer，Cham，2016：483-499.

[6]Cao Zhe，Tomas S，Shih-En W，et al.Realtime multi-person 2D pose estimation using part affinity fields[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2017：130-138.

作者簡(jiǎn)介：

呂纖纖，女，1996年生，助理工程師，研究方向?yàn)橹悄荞{駛算法。