基于行為分析的路口建模方案

邱祺 李杰

摘? 要：2020年，中國(guó)的汽車保有量已經(jīng)突破3.7億輛，基于非智能傳感器輔助的人工管理模式受到的挑戰(zhàn)越來(lái)越大。基于此，許多城市開(kāi)始建設(shè)自己的智能交通系統(tǒng)，在這些工作中，對(duì)一些復(fù)雜場(chǎng)景，如十字路口，的建模是一個(gè)繞不開(kāi)的難題。文章提出了一種通過(guò)分析車輛行駛軌跡等信息進(jìn)行建模的新方案，與以往基于語(yǔ)義分割網(wǎng)絡(luò)的建模方案相比，該方案具有穩(wěn)定性更高、適用性更廣、需要配置更低、速度更快的優(yōu)勢(shì)。

關(guān)鍵詞：場(chǎng)景建模;檢測(cè)跟蹤;K-Means聚類;曲線擬合

中圖分類號(hào)：月的TP391.9? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2020）24-0089-04

Intersection Modeling Scheme Based on Behavior Analysis

QIU Qi，LI Jie

（University of South China，Hengyang? 421001，China）

Abstract：In 2020，Chinas car ownership has exceeded 370 million，and the artificial management mode based on non-intelligent sensor is facing more and more challenges. Based on this，many cities have started to build their own intelligent transportation systems. In these works，the modeling of some complex scenes，such as intersections，is a difficult problem. In this paper，a new modeling scheme is proposed by analyzing the vehicle trajectory and other information. Compared with the previous modeling scheme based on semantic segmentation network，this scheme has the advantages of higher stability，wider applicability，lower configuration and faster speed.

Keywords：scene modeling;detection and tracking;K-Means clustering;curve fitting

0? 引? 言

隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展和成熟，智能交通、自動(dòng)駕駛等技術(shù)開(kāi)始興起，其中，通過(guò)圖片信息對(duì)道路狀況進(jìn)行建模，作為這些熱點(diǎn)研究中繞不開(kāi)的一環(huán)，一直是學(xué)者研究的熱點(diǎn)[1-3]。

在自動(dòng)駕駛中，我們需要通過(guò)攝像頭獲取前方道路中車道線位置等信息指導(dǎo)車輛前進(jìn)，在智慧交通系統(tǒng)中，我們也需要獲取斑馬線位置、轉(zhuǎn)向標(biāo)志等信息，來(lái)完成“車輛違規(guī)判定”等交通管理任務(wù)。本文將整理圖片中的道路信息的過(guò)程，稱為交通場(chǎng)景建模。交通場(chǎng)景建模大致可以分為兩類：

（1）通過(guò)車載攝像頭進(jìn)行場(chǎng)景建模;

（2）通過(guò)定點(diǎn)攝像頭進(jìn)行場(chǎng)景建模。

第一類主要應(yīng)用于自動(dòng)駕駛領(lǐng)域，其任務(wù)特點(diǎn)是：輸入畫(huà)面為司機(jī)視角、場(chǎng)景不斷變動(dòng);第二類主要應(yīng)用于智能交通管理中，輸入畫(huà)面為路口、街頭的交通管理攝像頭，場(chǎng)景基本不變，相較于第一類，第二類具有明顯特點(diǎn)：

（1）場(chǎng)景基本不變;

（2）不需要實(shí)時(shí)更新;

（3）目的是完成諸如“闖紅燈檢測(cè)”等交通管理任務(wù)而不是指導(dǎo)車輛駕駛。

目前學(xué)界對(duì)第一類任務(wù)的研究較多，但對(duì)第二類任務(wù)的研究相對(duì)較少，且人們?cè)诮鉀Q第二類任務(wù)時(shí)常常也在使用第一類任務(wù)的解決方案，即通過(guò)語(yǔ)義分割提取圖片中的重要信息進(jìn)行建模。

在2020年到2021年的湖南省創(chuàng)新訓(xùn)練計(jì)劃中，筆者的《基于計(jì)算機(jī)視覺(jué)的智能交通管理系統(tǒng)》項(xiàng)目被選入國(guó)家級(jí)項(xiàng)目立項(xiàng)，在解決道路建模技術(shù)的過(guò)程中，筆者自主研發(fā)了一種新的建模技術(shù)路線，取得了良好的效果。

在該路線中，我們提出了一種基于行為分析的路口交通建模方案：通過(guò)分析一段視頻中通過(guò)路口的車輛的行為，來(lái)提取路口中每個(gè)區(qū)域的語(yǔ)義信息，如：停止線、斑馬線的位置，每個(gè)車道允許的行進(jìn)方向等，并希望可以通過(guò)這些信息完成闖紅燈檢測(cè)、違規(guī)轉(zhuǎn)向檢測(cè)等常見(jiàn)的交通任務(wù)。

在本文中我們需要對(duì)一段路口交通監(jiān)控做的處理有：

（1）提取該路口有多少個(gè)車道;

（2）每個(gè)車道的行進(jìn)方向;

（3）停止線位置;

（4）斑馬線位置。

在該方案中，我們假設(shè)大多數(shù)司機(jī)都是遵守交通規(guī)則的，那么，我們可以通過(guò)車輛的行進(jìn)軌跡判斷哪些駕駛方式在當(dāng)前場(chǎng)景中是合乎規(guī)范的，基于上述原理，我們通過(guò)檢測(cè)跟蹤算法得到車輛的行進(jìn)軌跡，然后對(duì)這些軌跡進(jìn)行聚類，獲得車道數(shù)量和每個(gè)車道的行進(jìn)方向，通過(guò)車輛等紅燈時(shí)的暫停，我們可以得到停止線的位置，通過(guò)收收集行人的運(yùn)動(dòng)軌跡，我們可以知道斑馬線的位置。從而建立模型如圖1、圖2所示。

在接來(lái)的部分：第1部分我們將介紹該論文中需要用到的核心算法，第2部分將重點(diǎn)介紹路口建模的具體過(guò)程，第3部分將總結(jié)該建模方案的特性和可能的擴(kuò)展空間，最后一部分為參考文獻(xiàn)索引。

1? 檢測(cè)跟蹤算法

檢測(cè)跟蹤算法是指將檢測(cè)網(wǎng)絡(luò)和跟蹤算法相結(jié)合提取視頻中物體運(yùn)動(dòng)軌跡的方法。由多目標(biāo)檢測(cè)和多目標(biāo)跟蹤算法組成。

多目標(biāo)檢測(cè)檢測(cè)一般是指多目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)，多目標(biāo)檢測(cè)網(wǎng)絡(luò)大致可分為“兩階段檢測(cè)模型”和“單階段檢測(cè)模型”兩種。我們選用的是單階段檢測(cè)模型中的YOLO系列最新成果YOLOv4[4]，相較于之前的版本，其有更快的速度和更高的準(zhǔn)確率。

多目標(biāo)跟蹤主要任務(wù)是在給定視頻中同時(shí)對(duì)多個(gè)感興趣的目標(biāo)進(jìn)行定位，并維持他們的ID，記錄他們的軌跡。常見(jiàn)的多目標(biāo)跟蹤算法有，SORT[5]、DeepSORT、JDE算法、FAIRMOT算法等，本文中使用的是SORT算法。

通過(guò)YOLOv4+SORT算法，就可以實(shí)現(xiàn)車輛和行人行為的提取。

2? 路口建模方案

2.1? 方案原理

在現(xiàn)有的建模方案中，大都是以單幀圖片作為原始信息建模的，但實(shí)際上以視頻為單位可以得到的信息量要比圖片大得多，得到的信息越多，往往意味著后續(xù)的處理可以更加簡(jiǎn)單?；谛袨榉治龅穆房诮２捎玫木褪且砸曨l為輸入的方式提取數(shù)據(jù)的。

我們將提取一段視頻中車輛和行人的運(yùn)動(dòng)軌跡，用這些運(yùn)動(dòng)軌跡來(lái)判斷場(chǎng)景中重要標(biāo)志的位置：

（1）利用車輛等紅綠燈的停止位置來(lái)判斷停止線的位置;

（2）通過(guò)車流分散成多少股來(lái)判斷有多少個(gè)車道;

（3）通過(guò)車輛的行進(jìn)方向來(lái)判斷每個(gè)車道的行進(jìn)方向;

（4）通過(guò)行人行進(jìn)方向來(lái)判斷斑馬線位置。

2.2? 建模過(guò)程

該方案的一次建模過(guò)程可以分為檢測(cè)跟蹤、路徑過(guò)濾、提取路徑特征、停止線預(yù)測(cè)、斑馬線預(yù)測(cè)共五個(gè)步驟，具體方案為：

（1）檢測(cè)跟蹤：采用檢測(cè)跟蹤算法，對(duì)該視頻進(jìn)行逐幀的多目標(biāo)探測(cè)，并每檢測(cè)一幀就將檢測(cè)到的目標(biāo)放入SORT算法進(jìn)行跟蹤，對(duì)于跟蹤結(jié)束的物體，我們將保存其路徑。用檢測(cè)跟蹤提取到的路徑可視化后如圖3所示。

（2）路徑過(guò)濾：在路徑被剛剛提取出來(lái)的時(shí)候，不乏一些長(zhǎng)度極短的。或者與監(jiān)測(cè)區(qū)域完全無(wú)關(guān)的路徑（例如橫向路徑），我們通過(guò)限定路徑的長(zhǎng)短和方向，去除不需要的路徑，處理結(jié)果如圖4所示。

從圖中我們已經(jīng)可以看到：這些路徑分為兩股，分別流向三個(gè)方向，其中第一個(gè)車道為左轉(zhuǎn)/直行車道，而第二個(gè)車道為右轉(zhuǎn)/直行車道，但如果要讓機(jī)器理解這些問(wèn)題則還需要一些其他的手段。

值得注意的是，我們將在該步驟統(tǒng)計(jì)過(guò)濾后的路徑中的小轎車在剛進(jìn)入圖像時(shí)的寬度的平均值W，作為接下來(lái)步驟的一個(gè)比例尺。

（3）提取路徑特征：為了對(duì)上圖的路徑進(jìn)行聚類，我們需要對(duì)這些路徑進(jìn)行一次特征提取，首先，我們用以圖片的左下角為原點(diǎn)，水平方向?yàn)閤軸建立直角坐標(biāo)系，將圖片中的路徑表達(dá)成一個(gè)以時(shí)間路徑s為參數(shù)的方程組，當(dāng)s等于0時(shí)，實(shí)數(shù)對(duì)（x，y）為車輛進(jìn)入畫(huà)面的位置，當(dāng)s=1時(shí)，（x，y）則表示車輛在畫(huà)面中行駛了一個(gè)單位長(zhǎng)度后的車輛的位置。

其中：

X（s）=a1·s4+a2·s3+a3·s2+a4·s+a5

Y（s）=b1·s4+b2·s3+b3·s2+b4·s+b5

我們通過(guò)線性擬合確定（a1，a2，a3，a4，a5，b1，b2，b3，b4，b5），記該10維行向量為V擬合之后，x-s，y-s的函數(shù)關(guān)系可視化之后如圖5所示。

縱坐標(biāo)為0的直線之下為（y-s）曲線，之上為（x-s）曲線，對(duì)于（y-s）曲線可以看到，所有車輛都是朝遠(yuǎn)離攝像頭區(qū)域運(yùn)行的，且沒(méi)有先升后降得曲線，說(shuō)明沒(méi)有掉頭車輛。

從（x-s）曲線來(lái)看，從起點(diǎn)看，這些曲線明顯被分為兩簇，對(duì)應(yīng)圖中的兩個(gè)車道，曲線的終點(diǎn)對(duì)應(yīng)的縱坐標(biāo)被分為三個(gè)層次，對(duì)應(yīng)左轉(zhuǎn)、右轉(zhuǎn)、直行三個(gè)方向，如圖6所示。

我們以（x-s）曲線的起始部分，也就是曲線的截距a5為值進(jìn)行聚類，記所有曲線的截距的集合設(shè)為{a5}，記a5i為第i條曲線的截距。

取N為{a5}的極差除W的k倍并向上取整，通過(guò)觀察一般取k=1.5。

然后分別以[N，N-1，N+1，N-2，N+2]為聚類核數(shù)，對(duì){a5}進(jìn)行K-Means聚類，將聚類結(jié)果記為{lane}，lanei表示第i個(gè)曲線在這次分類中的標(biāo)簽，也就是此次分類中曲線i所屬車道的編號(hào)，將聚類結(jié)果帶入罰函數(shù)L：

其中，abs為絕對(duì)值函數(shù)。

選擇可以使得L最小的核聚類數(shù)。將該方案獲得K-Means分類器作為車道分類器，按車道分類后，曲線分類結(jié)果可視化后如圖7，圖8所示。

（4）停止線檢測(cè)：在步驟（2）中過(guò)濾后的路徑中找到因?yàn)槠嚨燃t燈時(shí)產(chǎn)生的暫停點(diǎn)，然后選擇每個(gè)車道最靠前的那一個(gè)，記{xi，yi}為第i個(gè)車道上最靠前的停止點(diǎn)，根據(jù){xi，yi}擬合出直線l，將該直線沿y軸方向上移W/2，得到停止線如圖9所示。

（5）斑馬線提取：類似于以上的思路，首先收集行人過(guò)馬路的路徑，篩選出方向與停止線方向相差不大且行進(jìn)距離大于等于{a5}極差的一半的行人路徑，可視化后如圖10所示。

生成一個(gè)與視頻幀長(zhǎng)寬相等的矩陣，對(duì)每一條行人路徑上的任意一個(gè)點(diǎn)做大小為[W/5，W/2]的膨脹處理，得到斑馬線的范圍如圖11所示。

由此確定出斑馬線的位置，從圖中可以看出，我們得到的斑馬線位置較真實(shí)位置略微偏上，但這將使得之后判斷行人是否在斑馬線上更準(zhǔn)確，因?yàn)槠鋵⑼敢晢?wèn)題一并考慮在模型之中。

3? 結(jié)? 論

該方案以監(jiān)控視頻中車輛和行人的行為為建模材料，通過(guò)檢測(cè)跟蹤算法（YOLOv4+SORT）提取車輛和人的行為特征，對(duì)當(dāng)前攝像頭下的路徑進(jìn)行建模，相較于原來(lái)基于語(yǔ)義分割網(wǎng)絡(luò)的建模方案，我們?cè)诮＿^(guò)程中引入了人的行為信息，改變了在單張圖片中提取信息的方案，而采用在視頻中提取信息，取得的改進(jìn)有：

（1）由于其避免了使用容易被遮擋、磨損的地面標(biāo)識(shí)等信息，使得該方案相較于以往的方案更加具有魯棒性;避開(kāi)了一標(biāo)多義或多標(biāo)同義的問(wèn)題，方案的普適性更高。

（2）由于其沒(méi)有使用到大型的神經(jīng)網(wǎng)絡(luò)，所以對(duì)計(jì)算機(jī)配置很低，可以節(jié)約經(jīng)費(fèi)。

（3）該方案的思維可以有更多擴(kuò)展，例如：統(tǒng)計(jì)車道上行駛車輛的類型，可以猜測(cè)該車道的類型（如公交車專用道、非機(jī)動(dòng)車道等），還可以檢測(cè)停車區(qū)域等等諸多擴(kuò)展。

（4）該方案選擇了一個(gè)大小較為穩(wěn)定的車型（小轎車）的寬度，作為比例尺，實(shí)現(xiàn)了許多參數(shù)的自適應(yīng)，所以方案中需要手動(dòng)設(shè)置的參數(shù)很少，使用方便。

該方案在多個(gè)路口視頻上進(jìn)行測(cè)試，獲得了良好的效果，但還有一些問(wèn)題有待解決：比如，該建模技術(shù)暫時(shí)只涉及了路口交通建模，并不能覆蓋全部交通場(chǎng)景;且在開(kāi)始使用之前，建模程序需要進(jìn)行10分鐘左右的預(yù)熱等。在未來(lái)的版本中，我們將致力于將行為分析應(yīng)用于更廣泛的交通場(chǎng)景，通過(guò)新的技術(shù)縮短預(yù)熱時(shí)間，優(yōu)化建模過(guò)程，提高算法的實(shí)用性。

參考文獻(xiàn)：

[1] LV Z H，ZHANG S B，XIU W Q. Solving the Security Problem of Intelligent Transportation System With Deep Learning [J/OL].IEEE Transactions on Intelligent Transportation Systems，2020（99）：1-10.[2020-03-20].https：//ieeexplore.ieee.org/document/9043888.DOI：10.1109/TITS.2020.2980864

[2] WAN S H，XU X L，WANG T，et al. An Intelligent Video Analysis Method for Abnormal Event Detection in Intelligent Transportation Systems [J/OL].IEEE Transactions on Intelligent Transportation Systems，2020：1-9.[2020-09-09].https：//ieeexplore.ieee.org/document/9190063.DOI：10.1109/TITS.2020.3017505.

[3] HAYDARI A，YILMAZ Y. Deep Reinforcement Learning for Intelligent Transportation Systems：A Survey [J/OL].arXiv：2005.00935 [cs.LG].（2020-05-02）.https：//arxiv.org/abs/2005.00935v1.

[4] BOCHKOVSKIY A，WANG C Y，LIAO H Y M. YOLOv4：Optimal Speed and Accuracy of Object Detection [J/OL].arXiv：2004.10934 [cs.CV].（2020-04-23）.https：//arxiv.org/abs/2004.10934.

[5] WOJKE N，BEWLEY A，PAULUS D. Simple Online and Realtime Tracking with a Deep Association Metric [C]//2017 IEEE International Conference on Image Processing.Beijing：IEEE，2017：3645-3649.

作者簡(jiǎn)介：邱祺（1999—），男，漢族，湖南益陽(yáng)人，本科在讀，研究方向：計(jì)算機(jī)視覺(jué)、群體智能;李杰（2000—），男，漢族，湖南婁底人，本科在讀，研究方向：軟件工程、計(jì)算機(jī)視覺(jué)。