基于Jetson Xavier Nx的智能駕駛員行為檢測系統(tǒng)設(shè)計

郭小玉，楊蕾，鹿德源

（中原工學(xué)院電子信息學(xué)院，河南 鄭州 450007）

0 引 言

駕駛員的行為變化關(guān)系著整個交通系統(tǒng)運行狀態(tài)的變化。事實上，大多數(shù)交通事故的發(fā)生往往都與駕駛/駕駛員行為密切相關(guān)。隨著交通工具的更新?lián)Q代及其數(shù)量的逐年遞增，每年的交通事故發(fā)生數(shù)量也隨之增加。每年因交通事故而導(dǎo)致死亡的人數(shù)不低于50萬。歐美各國的交通事故統(tǒng)計分析表明，交通事故中有80%～90%是由人為因素造成的。根據(jù)美國國家公路交通安全署的統(tǒng)計，在美國的公路上，每年由于司機在駕駛過程中陷入睡眠狀態(tài)而導(dǎo)致大約10萬起交通事故，約有1 500起事故直接導(dǎo)致人員死亡，因駕駛員低頭玩手機、雙手離開方向盤而導(dǎo)致的交通事故近年來以40%的速率增長，711萬起事故導(dǎo)致人員傷害。歐洲的情況也大致相同。根據(jù)2020年中國交通部的統(tǒng)計，我國有90%的車禍?zhǔn)怯神{駛員疲勞駕駛、玩手機、低頭、未目視前方引起的，直接經(jīng)濟(jì)損失達(dá)數(shù)十萬美元。有關(guān)汽車駕駛員的駕駛安全問題，隨著交通載具的發(fā)展和電子產(chǎn)品的介入，目前已成為交通安全研究的重要一環(huán)。由此可見，危險駕駛行為導(dǎo)致的危害非常嚴(yán)重，深入研究對駕駛員危險駕駛行為進(jìn)行識別的檢測系統(tǒng)是非常有必要的。

1 系統(tǒng)總體設(shè)計方案

在智能駕駛員行為檢測系統(tǒng)的設(shè)計中，信息處理載體與運算系統(tǒng)的穩(wěn)定性決定了整個系統(tǒng)的穩(wěn)定程度，運算速度的快慢直接關(guān)系到系統(tǒng)反饋的實時性。根據(jù)對整個檢測系統(tǒng)的功能需求以及對系統(tǒng)實際使用場景的分析，在搭載平臺時著重關(guān)注圖像處理性能、所支持AI框架、功耗以及尺寸。在保證強大算力的前提下，盡可能選用尺寸小、功耗低的硬件載體。

本次系統(tǒng)設(shè)計以智能駕駛行為檢測分析為主線，涉及對駕駛員檢測、駕駛行為分析、預(yù)警等功能。考慮到系統(tǒng)落地使用場景，最后選擇英偉達(dá)Jetson Xavier NX作為系統(tǒng)的載體。以ubuntu16.04操作系統(tǒng)作為整個智能駕駛員行為檢測系統(tǒng)的開發(fā)平臺，采用1 080 p攝像頭進(jìn)行視頻數(shù)據(jù)的錄入，結(jié)合訓(xùn)練過后的YOLOv5框架進(jìn)行駕駛?cè)藛T駕駛行為的檢測，隨后依賴Opencv圖像處理庫對視頻數(shù)據(jù)進(jìn)行壓縮處理并將處理過后的數(shù)據(jù)同步上傳至百度AI智能平臺進(jìn)行處理，可針對駕駛員未系安全帶、看手機、抽煙、雙手離開方向盤、視線未朝向前方、閉眼、打哈欠、低頭等八種危險駕駛行為進(jìn)行檢測并返回數(shù)據(jù)，通過百度語音技術(shù)合成提示音進(jìn)行語音播報及預(yù)警，避免意外發(fā)生。同時在系統(tǒng)設(shè)計之初，考慮到疫情狀況，加入口罩檢測功能，助力疫情防衛(wèi)。

1.1 系統(tǒng)硬件設(shè)計

人工智能駕駛員行為檢測系統(tǒng)硬件主要包括：英偉達(dá)Jetson Xavier NX智能計算板、高清攝像頭等。整個系統(tǒng)部署在英偉達(dá)Jetson Xavier NX智能梳理平臺上，基于此平臺運行系統(tǒng)所需的驅(qū)動程序、應(yīng)用程序，調(diào)用相對應(yīng)的接口函數(shù)。英偉達(dá)Jetson Xavier NX配備了六核心的Carmel ARM 64位處理器，擁有6 MB二級緩存、4 MB三級緩存，同時搭配NVIDIA Volta架構(gòu)的GPU，集成384個CUDA核心、48個Tensor張量核心、2個NVDLA深度學(xué)習(xí)加速引擎，并提供從高速CSI、PCIe到低速I2C、GPIO的一套豐富I/O。英偉達(dá)Jetson Xavier NX是外形小巧的模組系統(tǒng)（SOM），可為邊緣系統(tǒng)提供超級計算機性能，如圖1所示。借助高達(dá)21 TOPS的加速計算能力，可以并行運行現(xiàn)代神經(jīng)網(wǎng)絡(luò)并處理來自多個高分辨率傳感器的數(shù)據(jù)。

圖1 Jetson Xavier NX實物圖

高清攝像頭選用與英偉達(dá)計算平臺適配的Up to 6 cameras（24 via virtual channels）攝像頭，像素達(dá)到1 080 P，支持最大30 GB/s的傳輸速度，如圖2所示。

圖2 高清攝像頭實物

在實際的場景搭載中，要求設(shè)備能夠獲取駕駛位全景，因此最終選擇將攝像頭固定在汽車B柱上方，將Jetson Xavier NX處理板放置在副駕駛臺上方，具體實景如圖3所示。

圖3 設(shè)備位置-車內(nèi)視角

1.2 系統(tǒng)軟件設(shè)計

出于對Jetson Xavier NX搭載平臺屬性及系統(tǒng)穩(wěn)定性的考慮，此次設(shè)計選擇的系統(tǒng)環(huán)境為Ubuntu16.04.5LTS。Ubuntu系統(tǒng)作為使用最為廣泛的linux系統(tǒng)發(fā)行版本，具有功耗低、穩(wěn)定性高、系統(tǒng)兼容性好等優(yōu)點，具體環(huán)境配置如表1所示。

表1 系統(tǒng)環(huán)境配置

1.3 YOLOv5檢測框架

駕駛行為是一系列的連貫動作，因此對整個駕駛行為的分析及結(jié)果反饋也是需要實時進(jìn)行的，而視頻數(shù)據(jù)文件過大，對于實時處理所需的內(nèi)存及運算能力有較高的要求；YOLOv5檢測模型及百度AI平臺均對硬件設(shè)備的內(nèi)存和算力有較高的要求。針對以上要求，對現(xiàn)有三種檢測算法進(jìn)行內(nèi)存占比的比較。在同等環(huán)境配置（臺式工作站內(nèi)存為16 GB）下，使用公共數(shù)據(jù)集VOC2007進(jìn)行了模型的性能測試，得到相關(guān)參數(shù)結(jié)果如圖4所示。結(jié)合實際需求，最終選擇內(nèi)存消耗較低的YOLOv5檢測算法。

圖4 不同檢測算法內(nèi)存占比情況

1.4 百度AI智能平臺

百度AI智能平臺提供在線編程環(huán)境，免費的GPU算力。本次設(shè)計中使用百度AI平臺人體分析中的駕駛行為分析。在完成駕駛員檢測后，系統(tǒng)開始調(diào)用接口進(jìn)行駕駛行為分析。對于數(shù)據(jù)獲取要求車內(nèi)攝像頭分辨率在720 P以上。攝像頭獲取數(shù)據(jù)后通過Http協(xié)議中的post方式進(jìn)行數(shù)據(jù)傳輸，保證數(shù)據(jù)傳輸?shù)陌踩浴Ｋ休斎雸D像的格式均保證為1 920×1 080 P，駕駛行為及駕駛員參數(shù)均使用默認(rèn)參數(shù)。

考慮到實際應(yīng)用場景中，可能會有多種危險駕駛行為同時發(fā)生的情況出現(xiàn)，該系統(tǒng)按照安全駕駛威脅的輕重程度，對九種行為進(jìn)行等級劃分，以便在進(jìn)行預(yù)警提示時選擇優(yōu)先級較高的行為進(jìn)行預(yù)警提示。第一等級：未系安全帶、雙手離開方向盤、閉眼、打哈欠、低頭；第二等級：視線未朝向前方、抽煙、使用手機、未佩戴口罩。若多種危險駕駛行為同時發(fā)生，則按照以上優(yōu)先級劃分進(jìn)行實時預(yù)警提醒。

1.5 系統(tǒng)檢測流程

圖5顯示了整個系統(tǒng)的檢測流程。首先，系統(tǒng)通過外置精度為1 080 P的攝像頭對汽車駕駛位的視頻數(shù)據(jù)進(jìn)行采集；其次，將采集的視頻實時傳輸?shù)絁etson Xavier NX計算平臺。接收到視頻數(shù)據(jù)后平臺開始調(diào)用YOLOv5框架對駕駛位進(jìn)行檢測，判斷駕駛位是否有駕駛員存在，若無駕駛員存在則返回YOLOv5檢測框架持續(xù)檢測，檢測到駕駛員后，將視頻數(shù)據(jù)實時傳輸?shù)桨俣華I平臺進(jìn)行危險駕駛行為檢測并返回檢測結(jié)果，系統(tǒng)接收到返回的檢測數(shù)據(jù)后，使用百度語音技術(shù)合成提示音，進(jìn)行實時播報提醒。

圖5 系統(tǒng)流程圖

2 測試

2.1 駕駛員檢測測試

駕駛員檢測測試的前置條件是設(shè)備運行正常，攝像頭獲取視頻數(shù)據(jù)正常。實際場景分為駕駛位無人與有人兩種狀態(tài)。當(dāng)駕駛位處于無人狀態(tài)，接收返回數(shù)據(jù)0，系統(tǒng)持續(xù)進(jìn)行目標(biāo)檢測。當(dāng)駕駛位處于有人狀態(tài)，接收返回數(shù)據(jù)1，系統(tǒng)進(jìn)入下一步駕駛行為檢測。

2.2 行為檢測測試

行為檢測測試主要是檢測系統(tǒng)能否及時正確地反饋數(shù)據(jù)信息。本次測試共計10類，分別是駕駛員處于正常狀態(tài)、看手機、抽煙、未系安全帶、雙手離開方向盤、視線未朝向前方、未佩戴口罩、閉眼、打哈欠、低頭。針對十種類別情況分別進(jìn)行測試，測試結(jié)果如表2所示。

表2 十種類別情況測試結(jié)果

2.3 語音播報測試

語音播報測試是針對在獲取到危險駕駛行為的數(shù)據(jù)時，進(jìn)行實時語音播報是否正常的測試，具體測試如表3所示。

表3 語音播報測試結(jié)果

3 結(jié) 論

在交通載具快速發(fā)展、智能交通普及的當(dāng)下，通過對智能計算平臺Jetson Xavier NX的二次開發(fā)并結(jié)合深度學(xué)習(xí)和百度AI智能平臺，設(shè)計并實現(xiàn)了智能駕駛員行為檢測系統(tǒng)。該系統(tǒng)適用于多種交通載具，可在多種環(huán)境下完成對駕駛員駕駛行為的監(jiān)測，做到防患于未然。有效避免部分人為原因造成的交通事故，對公共交通駕駛安全的解決方案提出了新的思路。