鐵路機(jī)車乘務(wù)員智能實(shí)時(shí)監(jiān)測(cè)系統(tǒng)研究

柴文宇，陳 姝

（佳訊飛鴻（北京）智能科技研究院有限公司，北京 100044）

隨著國(guó)民經(jīng)濟(jì)的快速增長(zhǎng)，我國(guó)鐵路正處于高速發(fā)展時(shí)期，運(yùn)輸規(guī)模不斷擴(kuò)大，鐵路運(yùn)輸?shù)陌踩Ｕ夏芰γ媾R著更高的要求。

據(jù)統(tǒng)計(jì)，在導(dǎo)致鐵路事故發(fā)生的諸多因素中，人為因素占據(jù)較高比例[1]。作為列車操縱者，機(jī)車乘務(wù)員對(duì)鐵路行車安全起著至關(guān)重要的作用。由于列車運(yùn)行密度增大，加之作息不規(guī)律、機(jī)車駕駛環(huán)境復(fù)雜等現(xiàn)實(shí)狀況，機(jī)車乘務(wù)員承受著較大工作壓力，因機(jī)車乘務(wù)員疲勞駕駛、個(gè)人失誤等原因造成的行車安全事故時(shí)有發(fā)生。另外，機(jī)車乘務(wù)員群體中，“三高”及心血管疾病發(fā)病率也明顯高于全國(guó)平均水平[2]。上述問(wèn)題都是鐵路行車安全的重大隱患。

本文提出利用人工智能和物聯(lián)網(wǎng)技術(shù)，構(gòu)建機(jī)車乘務(wù)員智能監(jiān)測(cè)系統(tǒng)，實(shí)時(shí)掌握和評(píng)估機(jī)車乘務(wù)員的作業(yè)與健康狀況，預(yù)防行車事故。

1 機(jī)車乘務(wù)安全管理信息系統(tǒng)現(xiàn)狀

在現(xiàn)有的機(jī)務(wù)信息系統(tǒng)中，針對(duì)機(jī)車乘務(wù)員的管理功能主要有2 個(gè)方面。

（1）工作流程管理：機(jī)務(wù)運(yùn)用安全管理系統(tǒng)中的乘務(wù)管理模塊實(shí)現(xiàn)派班、待乘、出退勤等管理功能[3]。

（2）值乘狀態(tài)管理：通過(guò)機(jī)車車載安全防護(hù)系統(tǒng)（簡(jiǎn)稱：6A 系統(tǒng)）中的機(jī)車自動(dòng)視頻監(jiān)控及記錄子系統(tǒng)（簡(jiǎn)稱：AVDR 系統(tǒng)）可采集和記錄機(jī)車乘務(wù)員工作狀態(tài)的監(jiān)測(cè)視頻。但受限于現(xiàn)有通信傳輸條件，大容量車載監(jiān)測(cè)視頻數(shù)據(jù)無(wú)法實(shí)時(shí)傳輸?shù)降孛嫦到y(tǒng)，只能由專職人員進(jìn)行人工轉(zhuǎn)儲(chǔ)，并依靠檢查人員進(jìn)行人工抽查，時(shí)效性較差，檢查覆蓋率低，不能及時(shí)發(fā)現(xiàn)安全隱患，且人力成本高。此外，受限于檢查人員自身業(yè)務(wù)素質(zhì)及經(jīng)驗(yàn)等因素，一些安全隱患難以準(zhǔn)確判斷，易造成誤判和漏報(bào)，檢查效率和準(zhǔn)確性均難以滿足管理需求[4]。

目前，國(guó)內(nèi)針對(duì)機(jī)車乘務(wù)員工作狀態(tài)實(shí)時(shí)監(jiān)測(cè)已開(kāi)展了一些相關(guān)研究和應(yīng)用實(shí)踐。如基于DSP 的以眼睛閉合度為判斷依據(jù)的疲勞檢測(cè)[5]、利用智能手環(huán)獲取手部加速度信息的疲勞檢測(cè)[6]等。特別是近年來(lái)，隨著物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能技術(shù)的迅速發(fā)展和日趨成熟，可穿戴設(shè)備采集的數(shù)據(jù)種類日益豐富，為機(jī)車乘務(wù)員工作狀態(tài)和健康狀況的智能化分析提供了新的技術(shù)手段。

2 系統(tǒng)功能

系統(tǒng)采用多種智能感知設(shè)備，實(shí)時(shí)獲取機(jī)車乘務(wù)員在崗過(guò)程中的值乘工作狀態(tài)和健康狀態(tài)數(shù)據(jù)，利用深度學(xué)習(xí)技術(shù)和前端AI 芯片及時(shí)識(shí)別機(jī)車乘務(wù)員的危險(xiǎn)工作狀態(tài)，自動(dòng)告警，并生成參考建議發(fā)送給相關(guān)管理人員，增強(qiáng)機(jī)車乘務(wù)員管理水平，降低機(jī)務(wù)部門(mén)管理成本。

系統(tǒng)功能主要分為工作狀態(tài)管理和健康睡眠管理2 個(gè)方面：（1）工作狀態(tài)管理針對(duì)的是機(jī)車乘務(wù)員因疲勞瞌睡、麻痹大意等可能造成的人為失誤、操作不規(guī)范等異常工作狀態(tài)；（2）健康睡眠管理主要是監(jiān)測(cè)機(jī)車乘務(wù)員健康指標(biāo)和監(jiān)測(cè)備班睡眠狀況，為機(jī)車乘務(wù)員管理和值乘安排提供決策支持。

系統(tǒng)整體功能框架如圖1 所示。

圖1 機(jī)車乘務(wù)員智能監(jiān)測(cè)系統(tǒng)功能框架

2.1 工作狀態(tài)管理

動(dòng)態(tài)監(jiān)測(cè)機(jī)車乘務(wù)員值乘過(guò)程中的工作狀態(tài)，包括疲勞狀態(tài)檢測(cè)、行為識(shí)別、手比及呼喚應(yīng)答等規(guī)定作業(yè)流程的執(zhí)行情況監(jiān)測(cè)，自動(dòng)識(shí)別異常工作狀態(tài)。

2.2 健康睡眠管理

健康管理利用可穿戴設(shè)備（如睡眠帶）等采集機(jī)車乘務(wù)員待乘、值乘時(shí)心率、體溫等重要體征數(shù)據(jù)，監(jiān)測(cè)機(jī)車乘務(wù)員當(dāng)班前的睡眠時(shí)長(zhǎng)和質(zhì)量，幫助管理部門(mén)更好地掌握乘務(wù)員健康動(dòng)態(tài)，可自動(dòng)叫班，輸出休息合格乘務(wù)員名單，作為制定派班計(jì)劃的參考依據(jù)。

2.3 告警與決策支持

分析判斷機(jī)車乘務(wù)員的工作與健康狀態(tài)，提供告警和通知功能：（1）當(dāng)機(jī)車乘務(wù)員的工作狀態(tài)、行為、健康體征出現(xiàn)異常時(shí)，及時(shí)提醒乘務(wù)員，遠(yuǎn)程通知相關(guān)管理人員；（2）利用長(zhǎng)期積累的機(jī)車乘務(wù)員數(shù)據(jù)（基本信息、歷史監(jiān)測(cè)記錄、體檢信息等），分析機(jī)車乘務(wù)員的工作狀態(tài)和健康狀況，生成乘務(wù)員畫(huà)像，為機(jī)車乘務(wù)員的值乘安排和管理工作提供更多支持。

3 總體架構(gòu)

機(jī)車乘務(wù)員智能監(jiān)測(cè)系統(tǒng)采用B/S 應(yīng)用模式，系統(tǒng)總體架構(gòu)劃分為4 個(gè)層次，如圖2 所示。

圖2 機(jī)車乘務(wù)員智能監(jiān)測(cè)系統(tǒng)總體架構(gòu)

（1）數(shù)據(jù)采集層：包括各種數(shù)據(jù)采集設(shè)備，目前主要有機(jī)車駕駛室的攝像頭、獲取體征數(shù)據(jù)的可穿戴設(shè)備和各類健康監(jiān)測(cè)設(shè)備，自動(dòng)采集動(dòng)態(tài)監(jiān)測(cè)數(shù)據(jù)；其中，車載設(shè)備采集的數(shù)據(jù)可由車載智能模塊實(shí)時(shí)進(jìn)行分析，形成初步的分析結(jié)果數(shù)據(jù)。

（2）數(shù)據(jù)傳輸層：將數(shù)據(jù)采集層數(shù)據(jù)實(shí)時(shí)傳輸?shù)街行姆?wù)器，可采用藍(lán)牙、有線網(wǎng)絡(luò)、Wi-Fi、LTE 或5G 網(wǎng)絡(luò)等多種通信制式。

（3）服務(wù)層：完成采集數(shù)據(jù)與導(dǎo)入數(shù)據(jù)的存儲(chǔ)和管理，提供信息搜索、數(shù)據(jù)分析、圖像分析、數(shù)據(jù)訪問(wèn)、接口等服務(wù)，滿足應(yīng)用層各類業(yè)務(wù)功能需求。

（4）應(yīng)用層：根據(jù)用戶需求，提供面向用戶的業(yè)務(wù)應(yīng)用。

4 部署方案

機(jī)車乘務(wù)員綜合監(jiān)測(cè)系統(tǒng)可劃分為地面子系統(tǒng)和車載子系統(tǒng)，系統(tǒng)部署如圖3 所示。

圖3 機(jī)車乘務(wù)員智能監(jiān)測(cè)系統(tǒng)部署示意

車載子系統(tǒng)包含車載機(jī)車乘務(wù)員信息采集設(shè)備、車載智能分析模塊、通信模塊。其中，乘務(wù)員信息采集設(shè)備包括：（1）手環(huán)、心率貼等可穿戴設(shè)備及相應(yīng)的藍(lán)牙AP，用于采集機(jī)車乘務(wù)員健康數(shù)據(jù)；（2）行為采集設(shè)備（如獲取視頻圖像、語(yǔ)音數(shù)據(jù)的攝像頭、拾音器等）以及車載智能分析設(shè)備，用于實(shí)時(shí)分析乘務(wù)員是否出現(xiàn)疲勞、操作不規(guī)范等行為。車載子系統(tǒng)通過(guò)無(wú)線網(wǎng)絡(luò)與地面子系統(tǒng)通信，實(shí)時(shí)傳送司機(jī)狀態(tài)的智能分析結(jié)果、圖片、告警消息等。

地面子系統(tǒng)包括：（1）設(shè)置在乘務(wù)員公寓內(nèi)的健康監(jiān)測(cè)設(shè)備、睡眠監(jiān)測(cè)設(shè)備，用于獲取機(jī)車乘務(wù)員備班休息時(shí)的體征數(shù)據(jù)、睡眠數(shù)據(jù)；（2）設(shè)置在機(jī)房?jī)?nèi)的后臺(tái)服務(wù)器、物聯(lián)網(wǎng)網(wǎng)關(guān)、無(wú)線通信模塊，后臺(tái)服務(wù)器的部署可基于云平臺(tái)，為后續(xù)的系統(tǒng)集成與數(shù)據(jù)融合預(yù)留條件；（3）設(shè)置在控制室內(nèi)的系統(tǒng)操作終端。

5 關(guān)鍵技術(shù)

基于人工智能深度學(xué)習(xí)技術(shù)的視頻行為分析是機(jī)車乘務(wù)員智能監(jiān)測(cè)系統(tǒng)采用的核心關(guān)鍵技術(shù)。

5.1 人臉關(guān)鍵點(diǎn)檢測(cè)

人臉關(guān)鍵點(diǎn)檢測(cè)也稱為人臉關(guān)鍵點(diǎn)定位或人臉對(duì)齊，基于給定的人臉圖像，能夠定位出人臉面部的關(guān)鍵區(qū)域位置，包括眉毛、眼睛、鼻子、嘴巴、面部輪廓等。

采用級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)（DCNN）[7]，以機(jī)車乘務(wù)員面部視頻圖像為輸入，實(shí)現(xiàn)面部關(guān)鍵點(diǎn)精準(zhǔn)定位；同時(shí)，采用深度對(duì)齊網(wǎng)絡(luò)（DAN）[8]，將整張圖像作為各級(jí)網(wǎng)絡(luò)的輸入，以有效消除頭部姿態(tài)變化對(duì)檢測(cè)精度的影響。

當(dāng)系統(tǒng)檢測(cè)到機(jī)車乘務(wù)員閉眼時(shí)，依據(jù)設(shè)定的閉眼時(shí)長(zhǎng)閾值，可將被檢測(cè)者的疲勞、瞌睡狀態(tài)與正常眨眼區(qū)分開(kāi)，識(shí)別出疲勞駕駛狀態(tài)；通過(guò)對(duì)面部關(guān)鍵點(diǎn)的關(guān)聯(lián)分析，還可判斷被檢測(cè)者的面部朝向，據(jù)此識(shí)別出機(jī)車乘務(wù)員視線脫離前方、駕駛不專注等情況。

5.2 人體姿態(tài)估計(jì)

基于人體骨骼關(guān)鍵點(diǎn)檢測(cè)實(shí)現(xiàn)人體姿態(tài)估計(jì)（human pose estimation），判斷機(jī)車乘務(wù)員是否出現(xiàn)異常姿態(tài)以及手比執(zhí)行情況。

其中，人體骨骼關(guān)鍵點(diǎn)對(duì)于描述人體姿態(tài)、預(yù)測(cè)人體行為至關(guān)重要。利用人體若干關(guān)鍵點(diǎn)（如關(guān)節(jié)、頭部等）數(shù)據(jù)可構(gòu)建人體姿態(tài)骨架圖，每個(gè)關(guān)鍵點(diǎn)定義為一組坐標(biāo)，將關(guān)鍵點(diǎn)連接起來(lái)描述人體骨骼，判斷人體姿態(tài)。隨著深度學(xué)習(xí)技術(shù)的進(jìn)步，通過(guò)人體關(guān)鍵點(diǎn)檢測(cè)實(shí)現(xiàn)人體姿態(tài)估計(jì)的效果會(huì)不斷提升。

圖4 展示了機(jī)車乘務(wù)員人體姿態(tài)估計(jì)建模與識(shí)別效果：左側(cè)為基于機(jī)車乘務(wù)員圖像的人體骨骼關(guān)鍵點(diǎn)檢測(cè)模型，右側(cè)上、下兩圖分別展示在白天、夜晚光線條件下對(duì)機(jī)車乘務(wù)員手比的識(shí)別效果。

圖4 機(jī)車乘務(wù)員人體姿態(tài)估計(jì)建模與識(shí)別效果

6 試驗(yàn)驗(yàn)證

針對(duì)駕駛過(guò)程中機(jī)車乘務(wù)員行為實(shí)時(shí)分析場(chǎng)景，搭建基于AI 智能芯片+深度識(shí)別技術(shù)的試驗(yàn)系統(tǒng)。該試驗(yàn)系統(tǒng)在機(jī)車駕駛室內(nèi)部署攝像頭、嵌入式智能工控機(jī)和聲光報(bào)警設(shè)備，采集機(jī)車乘務(wù)員狀態(tài)和行為視頻，根據(jù)駕駛規(guī)范對(duì)乘務(wù)員的異常行為分類標(biāo)注，基于深度學(xué)習(xí)技術(shù)，利用機(jī)車乘務(wù)員的狀態(tài)圖像數(shù)據(jù)進(jìn)行訓(xùn)練，建立機(jī)車乘務(wù)員行為分析模型，部署到車載智能設(shè)備中，對(duì)機(jī)車乘務(wù)員圖像數(shù)據(jù)進(jìn)行實(shí)時(shí)分析。

針對(duì)識(shí)別的異常行為，系統(tǒng)設(shè)置2 級(jí)響應(yīng)：1 級(jí)為語(yǔ)音提醒，發(fā)現(xiàn)乘務(wù)員異常行為（如視線脫離、疲勞駕駛）時(shí)，通過(guò)本地語(yǔ)音聲光提醒糾正；2 級(jí)為遠(yuǎn)程報(bào)警，當(dāng)問(wèn)題未得到及時(shí)糾正時(shí)，通過(guò)無(wú)線網(wǎng)絡(luò)，將報(bào)警事件記錄及乘務(wù)員異常行為狀態(tài)圖像發(fā)送至指定管理部門(mén)，并留存?zhèn)浒浮?/p>

試驗(yàn)表明：（1）系統(tǒng)可準(zhǔn)確識(shí)別機(jī)車乘務(wù)員視線脫離、遮擋攝像頭、疲勞駕駛、手比不合格現(xiàn)象；（2）檢出規(guī)則（即視線脫離、遮擋攝像頭等現(xiàn)象產(chǎn)生告警的時(shí)間閾值）、報(bào)警級(jí)別及對(duì)應(yīng)規(guī)則可靈活配置；（3）采用高性能智能車載設(shè)備，體積小，功耗低，能夠保證實(shí)時(shí)分析的速度。利用此車載智能設(shè)備實(shí)時(shí)監(jiān)測(cè)機(jī)車乘務(wù)員工作狀態(tài)，識(shí)別準(zhǔn)確率和效率均能夠滿足管理要求，適用于車載場(chǎng)景，技術(shù)和實(shí)踐均具備可行性。

7 結(jié)束語(yǔ)

針對(duì)機(jī)車乘務(wù)員工作中的主要危險(xiǎn)因素，提出機(jī)車乘務(wù)員工作狀態(tài)智能監(jiān)測(cè)解決方案；采用深度學(xué)習(xí)技術(shù)，對(duì)機(jī)車乘務(wù)員值乘工作狀態(tài)圖像進(jìn)行分類學(xué)習(xí)，建立機(jī)車乘務(wù)員行為分析模型，可實(shí)現(xiàn)較高的異常工作狀態(tài)檢出率，使得機(jī)車乘務(wù)員工作狀態(tài)分析無(wú)需再依賴于大量經(jīng)驗(yàn)或通過(guò)人工進(jìn)行提取特征。系統(tǒng)采用體積小、功耗低的高性能AI 芯片，能夠?qū)囕d監(jiān)測(cè)數(shù)據(jù)進(jìn)行初步的實(shí)時(shí)分析。

搭建試驗(yàn)系統(tǒng)，對(duì)車載場(chǎng)景下機(jī)車乘務(wù)員行為實(shí)時(shí)分析的效果進(jìn)行驗(yàn)證。通過(guò)對(duì)乘務(wù)員備班、值乘、休息等時(shí)段進(jìn)行全面監(jiān)測(cè)，以及時(shí)發(fā)現(xiàn)問(wèn)題并實(shí)施干預(yù)，保障鐵路機(jī)車安全駕駛，突破了當(dāng)前機(jī)車乘務(wù)員管理工作中存在的監(jiān)測(cè)手段落后、易漏檢誤判、風(fēng)險(xiǎn)發(fā)現(xiàn)滯后等困局。

該方案中，機(jī)車乘務(wù)員可穿戴設(shè)備采集的大量監(jiān)測(cè)數(shù)據(jù)和分析結(jié)果需實(shí)時(shí)傳輸?shù)降孛嫦到y(tǒng)，對(duì)無(wú)線傳輸帶寬要求較高。近年來(lái)，各鐵路局集團(tuán)有限公司、地方鐵路企業(yè)陸續(xù)開(kāi)展LTE-R 和5G 技術(shù)的應(yīng)用研究及現(xiàn)場(chǎng)試驗(yàn)[9]。

目前，系統(tǒng)尚未在實(shí)際生產(chǎn)環(huán)境中廣泛試用，數(shù)據(jù)積累不足，對(duì)歷史監(jiān)測(cè)數(shù)據(jù)的深度分析和應(yīng)用研究有待進(jìn)一步開(kāi)展；同時(shí)，需要結(jié)合實(shí)際應(yīng)用，深化研究基于監(jiān)測(cè)數(shù)據(jù)的機(jī)車乘務(wù)員工作狀態(tài)分析評(píng)價(jià)機(jī)制和面向管理部門(mén)的輔助決策機(jī)制，以提高系統(tǒng)分析評(píng)價(jià)結(jié)果的準(zhǔn)確性和適用性，增強(qiáng)對(duì)機(jī)車乘務(wù)員安全管理的指導(dǎo)作用；此外，當(dāng)前研究主要利用重載鐵路駕駛場(chǎng)景的視頻資料，針對(duì)旅客列車、動(dòng)車組列車場(chǎng)景的應(yīng)用尚待研究和驗(yàn)證。