基于深度學(xué)習(xí)模型的軌跡分析模型在智能交通領(lǐng)域的應(yīng)用研究

魏健康 WEI Jian-kang；史曉蒙 SHI Xiao-meng；呂曉鵬 LV Xiao-peng；朱悅齊 ZHU Yue-qi

（北京易華錄信息技術(shù)股份有限公司，北京 100026）

0 引言

隨著社會(huì)和科技的不斷發(fā)展，城市道路的交通參與要素種類(lèi)不斷拓展。如何通過(guò)使用信息技術(shù)和先進(jìn)的通信技術(shù)來(lái)有效的統(tǒng)籌，結(jié)合不同的交通要素來(lái)提高交通系統(tǒng)的效率和安全性成為了一個(gè)比較火熱的研究方向?，F(xiàn)代科技和人工智能的發(fā)展也為交通要素研究提供了新的機(jī)會(huì)，軌跡分析是人工智能中的一個(gè)重要領(lǐng)域，它依托于計(jì)算機(jī)視覺(jué)，機(jī)器學(xué)習(xí)等技術(shù)來(lái)研究移動(dòng)物體的運(yùn)動(dòng)軌跡，并利用這些信息來(lái)做出推斷和預(yù)測(cè)，為交通運(yùn)行的效率提升提供了數(shù)據(jù)支撐[1-3]。

1 研究背景

1.1 智慧交通的背景

2021 年2 月24 日，中共中央國(guó)務(wù)院印發(fā)了《國(guó)家綜合立體交通網(wǎng)規(guī)劃綱要》。綱要提出了建設(shè)現(xiàn)代化高質(zhì)量國(guó)家綜合立體交通網(wǎng)的發(fā)展目標(biāo)。具體到2035 年，基本建成便捷順暢、經(jīng)濟(jì)高效、綠色集約、智能先進(jìn)、安全可靠的現(xiàn)代化高質(zhì)量國(guó)家綜合立體交通網(wǎng)，實(shí)現(xiàn)國(guó)際國(guó)內(nèi)互聯(lián)互通、全國(guó)主要城市立體暢達(dá)、縣級(jí)節(jié)點(diǎn)有效覆蓋，有力支撐“全國(guó)123 出行交通圈”和“全球123 快貨物流圈”。同時(shí)提出了推進(jìn)交通智慧發(fā)展，即加快提升交通運(yùn)輸科技創(chuàng)新能力，推進(jìn)交通基礎(chǔ)設(shè)施數(shù)字化、網(wǎng)聯(lián)化；加快推進(jìn)綠色低碳發(fā)展，降低污染物及溫室氣體排放強(qiáng)度，優(yōu)化調(diào)整運(yùn)輸結(jié)構(gòu)。此外，中國(guó)智慧交通政策還涵蓋了智能化道路建設(shè)和管理，包括智能交通信號(hào)燈控制、路面智能監(jiān)測(cè)、智能交通和路況信息發(fā)布等[4]。

1.2 智慧交通存在的問(wèn)題

視頻數(shù)據(jù)匯聚能力不足，隨著城市不斷發(fā)展以及視頻資源的分散建設(shè)、設(shè)備選型、網(wǎng)絡(luò)架構(gòu)的差異，導(dǎo)致視頻資源共享難的問(wèn)題；視頻智能化水平不足，除公安視頻經(jīng)過(guò)結(jié)構(gòu)化解析外，大部分未進(jìn)行視頻智能分析，還是以人工監(jiān)視為主，通過(guò)人眼發(fā)現(xiàn)各類(lèi)違規(guī)事件，工作效率低。智慧交通系統(tǒng)需要大量的數(shù)據(jù)收集和分析，還需要使用先進(jìn)的信息技術(shù)和通信技術(shù)，如物聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能。這些技術(shù)的研發(fā)和應(yīng)用都需要相當(dāng)大的投入。智慧交通系統(tǒng)需要大量的數(shù)據(jù)來(lái)進(jìn)行監(jiān)測(cè)和分析，這些數(shù)據(jù)來(lái)源多樣，包括道路傳感器、交通攝像頭、GPS 和其他設(shè)備。這些數(shù)據(jù)需要進(jìn)行清洗、標(biāo)準(zhǔn)化和整合，才能得到有用的信息。智慧交通系統(tǒng)需要保證數(shù)據(jù)和信息的安全性，避免數(shù)據(jù)泄露和非法使用。同時(shí)，智慧交通系統(tǒng)還需要保證車(chē)輛和行人的安全，防止意外事故的發(fā)生[5]。

在交通要素方面，智慧交通系統(tǒng)需要監(jiān)測(cè)和管理交通流量，以確保道路使用效率和避免擁堵。需要保證交通安全，通過(guò)監(jiān)測(cè)和預(yù)警交通事故，并采取必要的應(yīng)對(duì)措施。需要維護(hù)和改善交通環(huán)境，減少空氣污染和噪聲污染。需要提高交通便捷性，通過(guò)提供實(shí)時(shí)交通信息和路況預(yù)測(cè)等服務(wù)來(lái)幫助出行者。需要促進(jìn)交通可持續(xù)性，通過(guò)鼓勵(lì)公共交通和綠色出行，減少交通對(duì)環(huán)境的影響。

2 交通要素

2.1 交通要素的概念

交通要素是指交通系統(tǒng)中的各種元素，如道路、交通信號(hào)、交通流量、交通安全等。這些元素之間相互關(guān)聯(lián)，并對(duì)交通系統(tǒng)的運(yùn)行效率產(chǎn)生重要影響。因此，研究交通要素對(duì)于提高交通系統(tǒng)運(yùn)行效率和安全性具有重要意義。道路是交通系統(tǒng)中最重要的要素之一。它提供了車(chē)輛和行人運(yùn)動(dòng)的空間，并在交通流量中起著關(guān)鍵作用。道路質(zhì)量的好壞直接影響著交通運(yùn)行的效率，因此對(duì)道路建設(shè)和維護(hù)是非常重要的。此外，道路規(guī)劃和設(shè)計(jì)也需要考慮到交通流量和安全性等因素，以確保交通系統(tǒng)能夠高效運(yùn)行。

2.2 交通信號(hào)

交通信號(hào)是另一個(gè)重要的交通要素。它能夠控制交通流量，降低交通擁堵和事故發(fā)生的風(fēng)險(xiǎn)。交通信號(hào)系統(tǒng)需要根據(jù)交通流量和安全性等因素進(jìn)行設(shè)計(jì)和調(diào)整，以確保交通系統(tǒng)能夠高效運(yùn)行。此外，交通信號(hào)系統(tǒng)還可以通過(guò)智能化控制來(lái)提高交通效率和安全性[6]。

2.3 交通流量

交通流量是交通系統(tǒng)中另一個(gè)重要的要素。它決定了道路使用率和交通效率。交通流量過(guò)大會(huì)導(dǎo)致交通擁堵和延誤，而交通流量過(guò)小則會(huì)浪費(fèi)道路資源。因此，對(duì)交通流量的監(jiān)測(cè)和管理是非常重要的。此外，通過(guò)對(duì)交通流量數(shù)據(jù)分析，可以更好地了解道路使用情況和需求，從而更好地規(guī)劃和管理道路網(wǎng)絡(luò)。

2.4 交通安全

交通安全是交通系統(tǒng)中另一個(gè)重要的要素。它涉及道路交通事故的預(yù)防和處理。交通安全問(wèn)題是全球性問(wèn)題，因此需要采取有效的措施來(lái)減少交通事故發(fā)生。這些措施包括道路設(shè)計(jì)和建設(shè)、交通管理和監(jiān)督、安全教育和倡導(dǎo)等。此外，通過(guò)對(duì)交通安全數(shù)據(jù)進(jìn)行分析，可以找出交通安全問(wèn)題的關(guān)鍵原因，從而采取有效措施來(lái)解決問(wèn)題。

2.5 基礎(chǔ)設(shè)施

還有一個(gè)重要的交通要素是基礎(chǔ)設(shè)施建設(shè)。隨著城市化不斷加劇，基礎(chǔ)設(shè)施建設(shè)對(duì)于支撐城市發(fā)展和提高城市居民生活質(zhì)量具有重要意義。例如，基礎(chǔ)設(shè)施建設(shè)包括道路、鐵路、機(jī)場(chǎng)、港口等，它們是保障城市經(jīng)濟(jì)發(fā)展和社會(huì)進(jìn)步的重要基礎(chǔ)。而對(duì)于基礎(chǔ)設(shè)施建設(shè)的規(guī)劃和管理，需要綜合考慮經(jīng)濟(jì)、社會(huì)、環(huán)境等因素，保證基礎(chǔ)設(shè)施建設(shè)的可持續(xù)性。

3 軌跡分析

軌跡分析是人工智能中的一個(gè)重要領(lǐng)域，軌跡分析中運(yùn)用的算法包括卡爾曼濾波、貝葉斯網(wǎng)絡(luò)、隱馬爾科夫模型等。這些算法可以用來(lái)處理復(fù)雜的運(yùn)動(dòng)數(shù)據(jù)，并進(jìn)行目標(biāo)跟蹤、路徑規(guī)劃等。在城市道路中使用軌跡跟蹤技術(shù)可以幫助收集有關(guān)車(chē)輛和行人運(yùn)動(dòng)軌跡的數(shù)據(jù)，從而更好地理解城市交通運(yùn)行情況。常見(jiàn)的軌跡跟蹤技術(shù)包括基于圖像處理的方法和基于傳感器的方法。前者通常使用攝像機(jī)或其他影像設(shè)備來(lái)捕捉車(chē)輛和行人的運(yùn)動(dòng)軌跡，后者則使用雷達(dá)、超聲波或其他傳感器來(lái)檢測(cè)車(chē)輛和行人的運(yùn)動(dòng)。見(jiàn)表1。

表1 軌跡跟蹤的分類(lèi)

3.1 軌跡跟蹤的方法和分類(lèi)（表1）

不同的跟蹤方法在準(zhǔn)確率上是有差異的，但是準(zhǔn)確率數(shù)值并不能簡(jiǎn)單地比較，因?yàn)檫@取決于應(yīng)用場(chǎng)景和測(cè)試數(shù)據(jù)。在不同的場(chǎng)景中，某種方法可能會(huì)比其他方法更優(yōu)。在跟蹤評(píng)估中，通常使用多種指標(biāo)來(lái)評(píng)估跟蹤器的性能，如外部評(píng)估指標(biāo)（如精度、召回率和F1 值）和內(nèi)部評(píng)估指標(biāo)（如跟蹤失敗率、跟蹤消失率和跟蹤穩(wěn)定性）。通常，使用基準(zhǔn)數(shù)據(jù)集來(lái)評(píng)估不同跟蹤算法的性能，如VOT，OTB，TC128，UAV123，LaSOT 等[7]。在這些基準(zhǔn)數(shù)據(jù)集上的結(jié)果，可以參考比較不同算法的性能。但是需要注意的是這些數(shù)據(jù)集的環(huán)境和場(chǎng)景都是固定的，實(shí)際應(yīng)用場(chǎng)景可能會(huì)有所不同。因此，在選擇跟蹤算法時(shí)，需要根據(jù)應(yīng)用場(chǎng)景和需求來(lái)確定最合適的算法。此外，跟蹤算法的準(zhǔn)確率也可能會(huì)隨著技術(shù)的發(fā)展而提高，因此需要不斷更新和改進(jìn)跟蹤算法。另外，在實(shí)際應(yīng)用中，跟蹤算法的準(zhǔn)確率并不是唯一的評(píng)估指標(biāo)，還需要考慮算法的實(shí)時(shí)性、穩(wěn)定性等因素。

3.2 軌跡分析的系統(tǒng)功能架構(gòu)設(shè)計(jì)（見(jiàn)圖1）

圖1 軌跡分析系統(tǒng)功能架構(gòu)

4 軌跡分析系統(tǒng)的應(yīng)用

4.1 基本應(yīng)用方向

4.1.1 改善交通安全

軌跡跟蹤技術(shù)可以用來(lái)研究城市交通流量、交通擁堵、交通安全等問(wèn)題。例如，通過(guò)研究車(chē)輛和行人運(yùn)動(dòng)軌跡，可以用來(lái)分析哪些道路和路口更容易發(fā)生交通事故，從而幫助城市規(guī)劃者采取措施改善交通安全。軌跡跟蹤數(shù)據(jù)還可以用來(lái)評(píng)估城市交通管理政策的有效性。

4.1.2 優(yōu)化公共交通

軌跡跟蹤技術(shù)還可以用來(lái)評(píng)估城市公共交通系統(tǒng)的服務(wù)水平。例如，可以使用軌跡跟蹤數(shù)據(jù)來(lái)研究公交車(chē)和地鐵的運(yùn)行情況，并評(píng)估它們的可用性、可靠性和效率。

4.1.3 提升交通友好性

軌跡跟蹤技術(shù)還可以用來(lái)研究城市行人流量，并評(píng)估城市步行環(huán)境的安全性和可達(dá)性。通過(guò)對(duì)行人流量的研究，可以幫助城市規(guī)劃者更好地設(shè)計(jì)城市步行環(huán)境，提高城市的步行友好性。

4.1.4 展示交通狀況

軌跡跟蹤數(shù)據(jù)還可以用來(lái)研究城市人口密度和交通流量之間的關(guān)系，幫助城市規(guī)劃者更好地了解城市交通系統(tǒng)的運(yùn)行情況。地圖可視化也是常用的展示軌跡跟蹤數(shù)據(jù)的方法，通過(guò)在地圖上標(biāo)記車(chē)輛和行人運(yùn)動(dòng)軌跡的位置，可以清楚地展示城市交通運(yùn)行情況。

4.2 基本應(yīng)用功能

以軌跡分析系統(tǒng)框架為基礎(chǔ)，綜合應(yīng)用目標(biāo)跟蹤、目標(biāo)檢測(cè)[8]、目標(biāo)分類(lèi)等深度學(xué)習(xí)技術(shù)，進(jìn)行不同交通要素之間動(dòng)態(tài)和靜態(tài)行為參數(shù)記錄，并進(jìn)行違規(guī)事件判定。本文從信號(hào)燈不正常顯示等功能進(jìn)行舉例，列舉軌跡分析系統(tǒng)的幾個(gè)基礎(chǔ)應(yīng)用。見(jiàn)圖2。

圖2 軌跡分析系統(tǒng)基本流程架構(gòu)

視頻數(shù)據(jù)接入之后，根據(jù)不同的視頻協(xié)議進(jìn)行解碼并最終進(jìn)行固定格式的編碼，將抽幀之后的數(shù)據(jù)進(jìn)行結(jié)構(gòu)化模塊的推理，分析提取目標(biāo)場(chǎng)景中的人車(chē)非信息、道路資產(chǎn)信息（紅綠燈、護(hù)欄、斑馬線(xiàn)等）、目標(biāo)特征并進(jìn)行分類(lèi)存儲(chǔ)。針對(duì)不同目標(biāo)進(jìn)行動(dòng)態(tài)和靜態(tài)兩種維度的狀態(tài)分析，結(jié)合事件的判定邏輯輸出告警信息，從而完成閉環(huán)發(fā)現(xiàn)和處置流程。

4.2.1 道路資產(chǎn)信息的靜態(tài)維度分析

信號(hào)燈不正常顯示檢測(cè)流程見(jiàn)圖3。

圖3 信號(hào)燈不正常顯示檢測(cè)流程圖

檢測(cè)步驟：

①獲取當(dāng)前周期內(nèi)的道路資產(chǎn)信息。

②根據(jù)紅綠燈的位置和大小信息，進(jìn)行紅綠燈區(qū)域的roi 區(qū)域摳圖。

③利用圖像灰度直方圖和MobileNet 顏色分類(lèi)模型的推理數(shù)據(jù)進(jìn)行分析，如果存在長(zhǎng)時(shí)間熄滅、閃爍混亂現(xiàn)象，則輸出紅綠燈顯示異常事件。

4.2.2 道路資產(chǎn)信息的靜態(tài)維度分析

行人翻越護(hù)欄檢測(cè)流程見(jiàn)圖4。

圖4 行人翻越護(hù)欄檢測(cè)流程圖

檢測(cè)步驟：

①獲取當(dāng)前周期內(nèi)道路資產(chǎn)信息和行人軌跡信息，記錄護(hù)欄位置和行人位置。

②根據(jù)行人軌跡信息進(jìn)行行人行為預(yù)測(cè)。

③通過(guò)行人軌跡信息更新和預(yù)測(cè)，判定行人與護(hù)欄是否發(fā)生交互行為，若存在設(shè)定的交互行為則進(jìn)行告警。

4.2.3 人車(chē)非信息的靜態(tài)維度分析

機(jī)動(dòng)車(chē)違停檢測(cè)流程見(jiàn)圖5。

圖5 機(jī)動(dòng)車(chē)違停檢測(cè)流程圖

檢測(cè)步驟：

①獲取當(dāng)前車(chē)輛的軌跡信息并記錄車(chē)輛編號(hào)。

②根據(jù)設(shè)定的時(shí)間間隔進(jìn)行車(chē)輛位置更新，并同時(shí)進(jìn)行是否同一目標(biāo)的確認(rèn)。

③設(shè)定違停時(shí)刻，若車(chē)輛停止時(shí)間超過(guò)設(shè)定閾值則進(jìn)行報(bào)警。

4.2.4 人車(chē)非信息的動(dòng)態(tài)維度分析

機(jī)動(dòng)車(chē)不禮讓行人檢測(cè)流程見(jiàn)圖6。

圖6 機(jī)動(dòng)車(chē)不禮讓行人檢測(cè)流程圖

檢測(cè)步驟：

①獲取當(dāng)前車(chē)輛和行人的軌跡信息，標(biāo)記道路中的斑馬線(xiàn)位置。

②根據(jù)設(shè)定的時(shí)間間隔進(jìn)行車(chē)輛和行人位置更新，進(jìn)行不同目標(biāo)的行為預(yù)測(cè)，判定是否存在時(shí)空交集。

③根據(jù)預(yù)測(cè)的時(shí)空交集最終閾值進(jìn)行異常行為感知和告警。

4.2.5 其他違規(guī)行為檢測(cè)

針對(duì)不同的違規(guī)行為檢測(cè)，也做了大量工作，從數(shù)據(jù)采集數(shù)量和場(chǎng)景把控，到訓(xùn)練模型參數(shù)的細(xì)微調(diào)整，最終可以在不同光照條件和復(fù)雜應(yīng)用場(chǎng)景下完成違規(guī)事件感知、發(fā)現(xiàn)、告警一系列流程，多場(chǎng)景下準(zhǔn)確率達(dá)93%以上，在Tesla T4 上測(cè)試平均速度可達(dá)41.26ms。見(jiàn)圖7、圖8、圖9。

圖7 檢測(cè)模型的平均損失曲線(xiàn)

圖8 分類(lèi)模型的平均損失曲線(xiàn)

圖9 PR 曲線(xiàn)

同時(shí)，針對(duì)比較復(fù)雜的道路場(chǎng)景，為了精準(zhǔn)地分析特定車(chē)輛的特征和時(shí)空行為需要對(duì)其進(jìn)行連續(xù)地分析，同時(shí)為了高效地分析該對(duì)象這里使用了多目標(biāo)跟蹤技術(shù)DeepSort，為了提高跟蹤的精度，擬加入三個(gè)方面的優(yōu)化：優(yōu)化一，在Sort 的級(jí)聯(lián)匹配后加入IOU 二次匹配機(jī)制提高對(duì)象的初始跟蹤能力；優(yōu)化二，修改級(jí)聯(lián)匹配中外觀Reid 特征相似度的計(jì)算方式和卡爾曼濾波的運(yùn)動(dòng)特征更新方式，降低ID 切換的錯(cuò)誤率；優(yōu)化三，以跟蹤軌跡對(duì)象的檢測(cè)框代替跟蹤框提升該對(duì)象跟蹤的穩(wěn)定性。在跟蹤過(guò)程中可以記錄其行進(jìn)的軌跡，并結(jié)合其他深度學(xué)習(xí)模型獲取后續(xù)分析所需要的類(lèi)別、屬性等特征，由于每個(gè)跟蹤對(duì)象都有唯一的標(biāo)識(shí)，因此達(dá)到了對(duì)象行為分析去重的目的。

最終，為了優(yōu)化平臺(tái)后端搭建和響應(yīng)時(shí)間，在算法Pipeline 的搭建過(guò)程中，需要使用多種算法模型，為了提高程序的整體效率首先將各個(gè)功能進(jìn)行模塊化并進(jìn)行單獨(dú)優(yōu)化，這里引入了跟蹤模塊、檢測(cè)模塊、分類(lèi)模塊和邏輯分析模塊，在模型推理加速方面使用了TensorRT 優(yōu)化，使用FP16 進(jìn)行推理加速，不僅降低模型的資源占用而且提高模型的推理速度，而且使用動(dòng)態(tài)Batch 和多線(xiàn)程技術(shù)來(lái)進(jìn)一步提升程序的執(zhí)行效率，從而更高效地進(jìn)行狀態(tài)和事件的反饋。預(yù)防交通事故和交通隱患的發(fā)生。

5 結(jié)束語(yǔ)

總之，交通要素是影響城市交通系統(tǒng)運(yùn)行效率和安全性的重要因素，而軌跡跟蹤技術(shù)可以提供有關(guān)交通要素之間關(guān)系的重要信息，幫助城市規(guī)劃者更好地管理城市交通。在未來(lái)，交通要素和智慧交通的研究將繼續(xù)發(fā)展，并不斷提高交通系統(tǒng)的運(yùn)行效率和安全性。我們將繼續(xù)深入研究各種交通要素之間的關(guān)系和影響，并繼續(xù)探索新的研究方法和技術(shù)來(lái)平衡不同交通要素之間的聯(lián)系，從而實(shí)現(xiàn)流量與安全、環(huán)境與安全、便捷性與可持續(xù)性的多方位融合。