軌道交通駕駛員行為在線監(jiān)測(cè)研究

宋能超，鄧辰鑫*

（1.合肥市軌道交通集團(tuán)有限公司，安徽 合肥 230001；2.上海澤高電子工程技術(shù)股份有限公司，上海 201900）

引言

軌道交通在飛速發(fā)展并創(chuàng)造巨大的經(jīng)濟(jì)和社會(huì)效益的同時(shí)，一系列亟待解決的技術(shù)問(wèn)題有增無(wú)減。面對(duì)現(xiàn)存諸多疑難雜癥，從業(yè)人員難以通過(guò)傳統(tǒng)的理論或技術(shù)來(lái)解決。其中，地鐵車(chē)輛的駕駛員行為監(jiān)測(cè)預(yù)警，作為地鐵車(chē)輛運(yùn)行安全和智能運(yùn)維的難點(diǎn)，是現(xiàn)今地鐵車(chē)輛朝智能駕駛發(fā)展的重點(diǎn)技術(shù)之一。

列車(chē)運(yùn)行安全和智能運(yùn)維等問(wèn)題，可歸結(jié)于服務(wù)于列車(chē)安全性的車(chē)載設(shè)備的缺失性和不先進(jìn)性，難以提供復(fù)雜情況下的安全保障。司機(jī)在正線行車(chē)時(shí)，需要集中精力駕駛，不做打電話、看手機(jī)等無(wú)關(guān)行為；在道岔前方、進(jìn)站停車(chē)時(shí)，應(yīng)做出手指口呼和目視確認(rèn)等行為。司機(jī)駕駛行為的規(guī)范與否往往影響行車(chē)安全，目前尚無(wú)可靠的技術(shù)設(shè)備對(duì)此類行為進(jìn)行監(jiān)督。

駕駛行為分析可由人體行為分析遷移實(shí)現(xiàn)，常見(jiàn)的人體行為分析分為3 類，即傳統(tǒng)方法、自上而下和自下而上。傳統(tǒng)的人體行為分析在幾何先驗(yàn)的基礎(chǔ)上，利用模板匹配進(jìn)行分析，其核心在于利用模板表示整個(gè)人體結(jié)構(gòu)。自上而下的方法主要由目標(biāo)檢測(cè)器和單人人體骨骼關(guān)節(jié)點(diǎn)檢測(cè)器這兩部分組成，它首先檢測(cè)出圖像中的人臉（或人體）目標(biāo)，再檢測(cè)出單個(gè)目標(biāo)的人臉關(guān)鍵點(diǎn)（或人體骨骼關(guān)節(jié)點(diǎn)），利用目標(biāo)檢測(cè)主要完成分類和定位兩種任務(wù)，目前主流的深度學(xué)習(xí)算法框架有FasterR-CNN、YOLO[1～3]、SSD 等。自下而上的方法，如Open Pose 方法[4]將部位親和力場(chǎng)和卷積姿態(tài)機(jī)相結(jié)合，通過(guò)對(duì)人體的不同肢體結(jié)構(gòu)進(jìn)行建模，使用部位親和力向量場(chǎng)來(lái)模擬不同肢體結(jié)構(gòu)，從而分析人體行為。

從地鐵車(chē)輛運(yùn)行安全和智能運(yùn)維的角度出發(fā)，針對(duì)司機(jī)駕駛行為規(guī)范性等人工駕駛隱患，本研究提出一種基于雙YOLOX 目標(biāo)檢測(cè)的方法監(jiān)測(cè)司機(jī)駕駛行為，并通過(guò)模型加速策略將算法部署至邊緣計(jì)算的端側(cè)。司機(jī)駕駛行為安全預(yù)警系統(tǒng)作為車(chē)載技術(shù)防護(hù)裝備，具有先進(jìn)性和智能性，能保障列車(chē)的安全運(yùn)行。

1 基于YOLOX 的駕駛行為分析策略

1.1 YOLOX 目標(biāo)檢測(cè)

YOLO 系列算法是目標(biāo)檢測(cè)的經(jīng)典算法之一，通過(guò)無(wú)分支的深度卷積網(wǎng)絡(luò)實(shí)現(xiàn)特征提取、候選框分類和回歸，網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，檢測(cè)速度能夠滿足實(shí)時(shí)檢測(cè)任務(wù)的要求。截止目前，其更新迭代包括早期YOLO框 架、YOLOv3～v5、YOLOX、YOLOv6 及 其 它 變 種 框架。YOLOX 以YOLOv3 作為起點(diǎn)，創(chuàng)新地將無(wú)錨框方式（Anchor Free）引入。本研究基于YOLOX 框架進(jìn)行分析和計(jì)算。

1.2 基于雙YOLOX 的駕駛行為分析策略

圖1 顯示了分析策略的流程。使用兩個(gè)YOLOX模型，實(shí)現(xiàn)地鐵列車(chē)司機(jī)的駕駛行為檢測(cè)，監(jiān)測(cè)包括疲勞（打哈欠或長(zhǎng)時(shí)間閉眼）、打電話和抽煙。使用YOLOX-1 模型檢測(cè)人臉、手機(jī)和香煙，當(dāng)出現(xiàn)手機(jī)和香煙時(shí)，輸出報(bào)警；若未檢測(cè)出手機(jī)和香煙并檢測(cè)出人臉，則將人臉圖像送入YOLOX-2 模型中，對(duì)閉眼、睜眼、哈欠進(jìn)行檢測(cè)并統(tǒng)計(jì)，根據(jù)相應(yīng)規(guī)則進(jìn)行報(bào)警。

圖1 駕駛行為檢測(cè)流程

2 基于NVIDIA 平臺(tái)的模型加速

2.1 NVIDIA 平臺(tái)

目前NVIDIA 平臺(tái)主流的邊緣計(jì)算設(shè)備包括Nvidia Jetson Nano、Nvidia Jetson Xavier NX、Nvidia AGX Xavier，這些設(shè)備體型小巧、價(jià)格便宜，適用于各種算力要求的邊緣嵌入式AI 計(jì)算。本研究使用NX 平臺(tái)進(jìn)行計(jì)算，它用外形小巧的模組系統(tǒng)將超級(jí)計(jì)算機(jī)的性能帶到了邊緣端，擁有Xavier 般的性能和Nano的大小，可提供高達(dá)21 TOPS 的計(jì)算性能，能夠并行運(yùn)行多個(gè)神經(jīng)網(wǎng)絡(luò)并同時(shí)處理來(lái)自多個(gè)傳感器的數(shù)據(jù)，適用于無(wú)人機(jī)、便攜式醫(yī)療設(shè)備、小型商業(yè)機(jī)器人、智能攝像頭、高分辨率傳感器、自動(dòng)光學(xué)檢測(cè)、智能工廠及其他高性能AI 系統(tǒng)。

2.2 模型加速策略

2.2.1 模型頭部切片的加速

YOLOX 模型頭部使用聚焦模塊（Focus），來(lái)源于YOLOv5，將原始圖像（3×640×640）通過(guò)切片操作，形成特征圖（12×320×320），再送入后續(xù)卷積神經(jīng)網(wǎng)絡(luò)。其目的在于得到無(wú)信息丟失的二倍下采樣特征圖。從高分辨率圖像中，周期性的抽出像素點(diǎn)重構(gòu)到低分辨率圖像中，即把圖像相鄰的四個(gè)位置進(jìn)行堆疊，聚焦寬、高維度信息至通道維度中，提高每個(gè)點(diǎn)感受野，同時(shí)在不降低網(wǎng)絡(luò)精度前提下，減少了計(jì)算量，增加了推理速度。

圖2 Focus 結(jié)構(gòu)示意

但這種非常規(guī)計(jì)算，對(duì)于邊緣計(jì)算設(shè)備，尤其端側(cè)的圖形處理單元（GPU）來(lái)說(shuō)，存在速度和精度上的不穩(wěn)定性。在模型部署時(shí)，將Focus 從模型中移除，并在中央處理單元（CPU）中計(jì)算Focus、GPU 異步接受Focus 的結(jié)果，消除Focus 在GPU 中的異常耗時(shí)，達(dá)到穩(wěn)定計(jì)算和加速的效果。

2.2.2 激活函數(shù)算子的替換

激活函數(shù)完成了數(shù)據(jù)的非線性變換，解決線性模型的表達(dá)、分類能力不足的問(wèn)題。它改變了數(shù)據(jù)的線性關(guān)系，使深層神經(jīng)網(wǎng)絡(luò)有了實(shí)際的意義，讓網(wǎng)絡(luò)更強(qiáng)大。它使網(wǎng)絡(luò)可以學(xué)習(xí)復(fù)雜的事物、數(shù)據(jù)以及表示輸入輸出之間非線性的復(fù)雜的任意函數(shù)映射。此外，激活函數(shù)執(zhí)行了數(shù)據(jù)的歸一化，將輸入數(shù)據(jù)映射到某個(gè)范圍內(nèi)再往下傳遞，限制了數(shù)據(jù)因多層網(wǎng)絡(luò)傳遞而數(shù)據(jù)過(guò)大和溢出風(fēng)險(xiǎn)。

修正線性單元（ReLU, Rectified Linear Unit）激活函數(shù)是神經(jīng)網(wǎng)絡(luò)常用激活函數(shù)之一，其實(shí)質(zhì)為分段線性函數(shù)，對(duì)負(fù)值進(jìn)行單側(cè)抑制，具有稀疏性、無(wú)梯度飽和或梯度消失的現(xiàn)象、計(jì)算簡(jiǎn)單的優(yōu)點(diǎn)。

YOLOX 模型使用SiLU 激活函數(shù)，

是介于線性函數(shù)與ReLU 函數(shù)之間的平滑函數(shù)，具有無(wú)上界有下界、平滑、非單調(diào)的特性，讓其模型效果優(yōu)于ReLU 激活函數(shù)，顯著提高了神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性。SiLU 激活函數(shù)以復(fù)雜的非線性提高了精度，但因其核心為指數(shù)計(jì)算，在端側(cè)上的計(jì)算成本比ReLU 激活函數(shù)高。因此，本研究通過(guò)硬解碼方法，使用Hardswish激活函數(shù)代替SiLU 激活函數(shù)，在不降低精度的前提下，加速端側(cè)激活函數(shù)的計(jì)算，函數(shù)圖像見(jiàn)圖3。

圖3 SiLU 激活函數(shù)和Hardwish 激活函數(shù)

2.3 模型加速統(tǒng)計(jì)

表1 計(jì)算了在NVIDIA-NX 平臺(tái)下使用2.2 所述策略的加速結(jié)果，其中，NANO、TINY 和S 表示YOLOX 中三種大小不同的模型。表中模型推理的最終預(yù)測(cè)結(jié)果均一致，加速策略不改變模型的預(yù)測(cè)結(jié)果，驗(yàn)證了其準(zhǔn)確性。以TINY 模型為例，使用2.2 所述策略后其檢測(cè)幀率提升了66.7%。

表1 加速前后模型計(jì)算結(jié)果

3 合肥軌道交通1 號(hào)線試運(yùn)營(yíng)效果

3.1 設(shè)備介紹

檢測(cè)主機(jī)結(jié)合面部攝像機(jī)完成駕駛員行為監(jiān)測(cè)。主機(jī)內(nèi)含NVIDIA-NX 模塊，通過(guò)減震工藝固定于機(jī)箱中，滿足地鐵列車(chē)的環(huán)境振動(dòng)[5，6]。主機(jī)輸入電源DC 24 V，最大功率不超過(guò)50 W，能存儲(chǔ)不小于15 d的系統(tǒng)運(yùn)行日志，并將檢測(cè)視頻推流至服務(wù)器上。主機(jī)外觀見(jiàn)圖4。

圖4 檢測(cè)主機(jī)實(shí)物圖

面部攝像機(jī)安裝在操作臺(tái)正中間的帽檐處，見(jiàn)圖5。

圖5 面部攝像機(jī)安裝位置

3.2 運(yùn)營(yíng)效果

在合肥地鐵某列車(chē)安裝的試點(diǎn)設(shè)備，從2021 年11 月至2022 年8 月，日均檢測(cè)次數(shù)約10 萬(wàn)次，其中日均誤報(bào)937 次，誤報(bào)率約9.37‰，誤報(bào)時(shí)間持續(xù)約100 秒。圖6 和圖7 展示了兩種典型的疲勞檢測(cè)結(jié)果。

圖6 疲勞檢測(cè)結(jié)果（打哈欠）

圖7 疲勞檢測(cè)結(jié)果（閉眼占比高）

4 結(jié)論

（1） 使用雙YOLOX 目標(biāo)檢測(cè)的方法監(jiān)測(cè)司機(jī)駕駛行為，試點(diǎn)運(yùn)行效果良好。

（2） 模型通過(guò)加速策略部署至邊緣計(jì)算的端側(cè)，使計(jì)算幀率提高了66.7%。