機車乘務員值乘行為數(shù)據(jù)語音視頻同步分析預警報警系統(tǒng)的研發(fā)

周 敏

（深圳市智云誠品科技有限公司，廣東深圳 518000）

城市化進程的加快使得我國的交通基礎設施逐步實現(xiàn)了全面覆蓋，盡管近年來鐵路安全形勢大幅向好，但鐵路安全仍是鐵路運輸管理的重中之重。當今中國機車的規(guī)模日益巨大，帶來的交通安全性問題也日益受到關注，傳統(tǒng)單一的監(jiān)督模式已經(jīng)無法滿足需求。針對這種情況，結(jié)合視頻檢測技術(shù)，構(gòu)建交通安全預警系統(tǒng)，對于改善道路交通安全狀況意義重大。如何準確高效地監(jiān)控機車乘務員行駛中的精神狀態(tài)，對不規(guī)范值乘行為做出合理監(jiān)測與警示，是減少事故、保護行車安全的重要手段。

1 系統(tǒng)的意義

隨著鐵路運輸企業(yè)管理水平的進步，對安全監(jiān)管日益重視，鐵路安全形勢大幅向好。2021年，全國（不含港澳臺，下同）鐵路交通事故死亡人數(shù)同比大幅下降23.1%，全年未發(fā)生鐵路交通特別重大、重大事故，發(fā)生較大事故僅1件，比上年減少12件。國家鐵路局自2013年成立以來，共發(fā)布了7次“鐵路安全情況公告”（2020年后不再發(fā)布）。全國鐵路交通事故死亡人數(shù)從2013年的1336人，下降至2021年的518人，9年間下降了61.23%，運輸安全形勢持續(xù)向好。但對安全監(jiān)管并不能放松，仍需進一步提升，特別是依托新技術(shù)對乘務員進行強化管理勢在必行，可持續(xù)推動現(xiàn)有的安全管理體系的進一步提升。隨著技術(shù)的進步，傳統(tǒng)的干部監(jiān)督和下載車載音視頻方法已經(jīng)不能對機車乘務員做出合理監(jiān)測與警示，因此怎樣合理監(jiān)測機車乘務員行為，從而減少嚴重事故的發(fā)生成為當前亟待解決的主要問題。

機車乘務員值乘行為數(shù)據(jù)語音視頻同步分析預警報警系統(tǒng)，通過特制的攝像機，采用人臉特征及動態(tài)識別，即時監(jiān)測機車乘務員在行車過程中的狀況，同時采取動態(tài)評估并進行語言警告提醒。機車乘務員值乘行為數(shù)據(jù)語音視頻同步分析預警報警系統(tǒng)投入使用后，監(jiān)測更加精準，并能實時開啟自動提醒功能。如果發(fā)現(xiàn)仍有機車乘務員不規(guī)范的行為，將反復播放語音提醒，促使乘務員及時加以糾正，提高乘務員主動規(guī)范行為的自覺性。本系統(tǒng)主要具備如下價值：①提前提醒和指導，減輕乘務員作業(yè)壓力；②實時檢查和預警，督促乘務員標準化作業(yè)；③實時回傳和打分，對乘務員一次值乘行為進行評估；④持續(xù)統(tǒng)計和分析，建立乘務員安全作業(yè)數(shù)據(jù)庫。

2 系統(tǒng)結(jié)構(gòu)及工作原理

復雜運動目標辨識技術(shù)由于具有極其廣泛的應用前景，目前一直是計算機視覺、模式識別、人機感知交互等眾多研究領域的熱點和難點。對于復雜運動目標物的檢測和辨識，常用的技術(shù)主要有基于圖像數(shù)據(jù)的方法，以及基于色彩分布、運動規(guī)律、對稱性的知識模型方法等。

由于人臉改變十分復雜，這給對人臉的特點描繪和特點提煉都帶來了重重困難。機車乘務員工作是在一個復雜的環(huán)境中，線路、光照方向和光源的變化以及得到的機車乘務員臉部圖像并不是正面對的（由于機車乘務員面前的各種操作儀表和設備是已經(jīng)固定了的不可能在正面安裝攝像機并且工作中機車乘務員的頭不要擺動），這些都給機車乘務員的工作狀態(tài)識別造成了困難。機車乘務員值乘狀態(tài)預警提醒裝置包括人臉檢測、人臉識別和語音報警三部分。

2.1 圖像采集系統(tǒng)

這部分主要包含了特制的鏡頭和圖片采集卡。攝像頭對機車乘務員影像進行現(xiàn)場收集，并進行光電變換，將模擬信號傳送給圖像采集卡，進行模數(shù)轉(zhuǎn)換。

2.2 DSP圖像預處理系統(tǒng)與FPGA識別系統(tǒng)

攝像機采集的視頻流通過圖像處理卡轉(zhuǎn)換成數(shù)字信息，然后通過DSP 電路進行預處理。預處理工作主要完成人臉和眼睛的圖像定位和分割，分離出的圖像信息交給FPGA 識別系統(tǒng)進行識別。一旦確定處于間歇觀看狀態(tài)（判斷間歇觀看狀態(tài)有兩個標準，一個是閉眼或明顯減退的持續(xù)時間超過閾值時間，第二個是面部朝向非運行方向時間超過閾值時間），即引發(fā)電子報警系統(tǒng)告警，否則提交反饋信息給DSP 圖像預處理控制系統(tǒng)，以完成下一幀處理。

2.3 車載乘務員值乘行為實時分析裝置

車載乘務員值乘行為實時分析裝置由車載邊緣計算主機和機車乘務員室前端、機車乘務員室右后、側(cè)后方等位置的數(shù)字高清攝像頭組成。其中前視視頻采集裝置主要采集機車乘務員面部表情、行為姿勢視頻，前視攝像頭采集視頻的算法主要集中于值乘狀態(tài)檢測、行為動作分析。由于前視攝像頭安裝位置距離機車乘務員較近，從側(cè)后方攝像頭采集的圖像可以彌補前視攝像頭視場不足，能夠采集整個機車乘務員室的圖像，供視頻分析主機分析。視頻主機分析后，對違規(guī)行為、精神不振行為，通過車載顯示終端進行語音提醒。車載智能視頻主機本身帶4G 無線傳輸功能，可以將實時檢測結(jié)果以及對應的音視頻文件同步至地面管理系統(tǒng)。

2.4 提示、報警系統(tǒng)

實時提示當前報警的機車信號，并以聲、光、電告警引起執(zhí)勤工作人員注意，同時也在熒屏上展示出該機車的有關資料，包含機車編號、駕駛員個人信息、機車狀況（行車定位運行速度、持續(xù)時間）等信息內(nèi)容，以協(xié)助執(zhí)勤工作人員進行處理。

2.5 軟件程序部分

2.5.1 車載軟件部分

先由圖像采集卡讀一幀圖片，由時間序列預測計算（幀間關系），依據(jù)前幾幀眼球的情況對當前幀眼球情況做出估計，來定位目標人眼，進而判別定位目標后的圖片是否為人眼。判定通過3種方法協(xié)同完成：①對定位目標的眼球做出輪廓提取，依據(jù)幾何特征判定是否為眼球；②將人眼圖片輸入已訓練好的人工神經(jīng)網(wǎng)絡判定機器，完成判定；③利用人眼虹膜的反射特性做出診斷。因為采用了主動式紅外線照射系統(tǒng)，且人眼虹膜反射特性非常明顯，所以系統(tǒng)對眼部的診斷十分精確。

2.5.2 地面軟件部分

（1）信息檢索軟件通過數(shù)據(jù)導入功能把每天值乘時產(chǎn)成的報警數(shù)據(jù)保存到數(shù)據(jù)庫里，可以通過日期、車次檢索找到關心的數(shù)據(jù)?？梢燥@示和打印具體一趟列車運行時的全程記錄。

（2）記錄導入把"數(shù)據(jù)記錄傳送裝置"里生成的報警數(shù)據(jù)記錄轉(zhuǎn)儲到U 盤后，用導入全程記錄的功能導入到軟件數(shù)據(jù)庫中。

（3）統(tǒng)計分析統(tǒng)計值乘人員的報警記錄，可以列出機務段內(nèi)每個車間的所有機車乘務員的報警記錄次數(shù)。

3 系統(tǒng)研制創(chuàng)新

本系統(tǒng)基于既有車載無線傳輸裝置和行車安全數(shù)據(jù)終端，部署車載乘務員值乘行為實時分析裝置，包含邊緣計算主機+乘務員狀態(tài)攝像機+手勢攝像機，利用人工智能算法和深度學習技術(shù)，實現(xiàn)對機車乘務員室音視頻的自動化分析。

3.1 理論創(chuàng)新

（1）采用近紅外窄帶或非可見光主動照明光源照明，以減少外部光源的影響，從而能夠全天候獲取亮度平穩(wěn)的視頻流圖像，同時能夠得到較強的眼部虹膜反射特征，極大改善了眼球位置與辨認過程，提高了鑒定的準確性，錯誤率低于1%。由于墨鏡主要阻斷紫外線波段，所以通過主動紅外線等照明光源照射時，對墨鏡的通透度超過了80%，因此能夠有效降低墨鏡的干擾。

（2）一定的攝影焦距，能夠得到理想寬度的視場，可以有效減少背景物影響，并增加了后期圖像處理的速度與穩(wěn)定性。

3.2 應用創(chuàng)新

機車乘務員值乘行為數(shù)據(jù)語音視頻同步分析預警報警系統(tǒng)裝置很好地解決了制約人員疲勞狀況及現(xiàn)場監(jiān)測技術(shù)研發(fā)與推廣中的3個關鍵問題。①當車內(nèi)環(huán)境光照變化過大，怎樣即時獲取真實、清晰的臉部特點；②無須預先完成圖像注冊，就能夠準確定位人臉和眼球，即時地獲取人臉的各項動態(tài)參數(shù)并予以正確識別；③識別率非常精確。這是一個全新的解決機車行車問題與嘹望狀況的特殊的檢測方式。通過非可見光源，能全天候收集機車乘務員面部狀態(tài)的視頻流影像，比應用傳統(tǒng)非接觸式檢測方法更為人性化。

3.3 技術(shù)綜合創(chuàng)新

音頻、視頻、LKJ 三合一智能分析：利用深度學習技術(shù)，實現(xiàn)了音視頻分析的智能化和自動化，在傳統(tǒng)音視頻整合的基礎上跨越式地實現(xiàn)了視頻的行為分析、音頻的內(nèi)容分析。實現(xiàn)了AI 產(chǎn)業(yè)在鐵路行業(yè)的落地應用。機車乘務員值乘行為數(shù)據(jù)語音視頻同步分析預警報警系統(tǒng)利用了人臉特征與眼神識別技術(shù)，增強了系統(tǒng)的準確性；對視覺特征和眼神狀況的判定，采用了三個并行判定方式（虹膜特點判定、幾何特征判定、神經(jīng)網(wǎng)絡判定），有效降低了誤警概率，預警成功率達95%以上，對眼部特點的定位成功率也達到了100%；通過幀之間聯(lián)系對眼睛進行定向，極大縮短了系統(tǒng)工作的時間，收集和處理視覺圖像的速率超過了15幀/s。并且還可以保存提醒時間的視頻數(shù)據(jù)，同時具備機車乘務員間斷嘹望圖像的跟蹤分析等功能。

3.4 工藝創(chuàng)新

3.4.1 圖像采集器

使用整體屏蔽技術(shù)，很好地解決了抗干擾能力問題；攝像頭的安全防護罩使用導電玻璃，克服了鏡頭端電氣屏障的技術(shù)難點；電纜屏蔽層和收集器外殼連接使用了雙層壓接，提高了連接的安全性。

3.4.2 主機

高度電磁兼容性，不與其他裝置相互影響。抗振設計，抗振功能較強。在上下機箱連接使用銅箔嵌入方式，有效克服了機箱接縫處的電氣遮蔽問題。對全部信號引出線路設有雙磁芯電感，對電源設置了雙重濾波器，大大增強了系統(tǒng)抗干擾、防破壞的能力。

3.5 結(jié)構(gòu)形式創(chuàng)新

（1）收集器使用全屏蔽構(gòu)造。

（2）收集器的調(diào)節(jié)軸使用齒牙咬合構(gòu)造。

（3）主機散熱片為金屬材料機殼和導熱單元緊密配合的構(gòu)造，使整體機箱具有良好散熱效應。使用的全金屬外殼，內(nèi)在構(gòu)造穩(wěn)固簡潔；容積小、體重輕，安置和使用都方便。

3.6 指標創(chuàng)新

（1）設備自查：設備接通后即進行自查，時限20～30s。

（2）嘹望監(jiān)控：設備自檢后自動進入監(jiān)控、警報狀態(tài)。

（3）監(jiān)控速度：以15幀/s 即時監(jiān)控。

（4）預警提示：當機車乘務員發(fā)生間斷嘹望狀況時，發(fā)出提醒話音，只要機車乘務員不能回復投入嘹望狀況，則警告聲便繼續(xù)不停，警告聲音強度超過100 db。

（5）警報解除：機車乘務員在收到提醒，回復正視行駛方向，告警聲自行解除。

（6）機車乘務員值乘行為數(shù)據(jù)語音視頻同步分析預警報警系統(tǒng)的辨識率：95%。

4 系統(tǒng)功能特點

（1）對機車乘務員值乘行為實時監(jiān)視，根據(jù)車載設備技術(shù)標準，完成車載乘務員值乘行為實時分析裝置開發(fā)。

（2）對前方線路周圍情況進行實時監(jiān)視錄像，為事故分析提供視頻資料。

（3）對機車乘務員操縱情況進行實時監(jiān)視錄像，針對乘務員語音進行算法研究，研究行車過程中是否進行語音對話。

（4）開發(fā)乘務員值乘行為人工智能算法數(shù)據(jù)庫，智能識別違規(guī)行為實時報警，自動發(fā)出報警信號，并傳送到機車乘務員室，及時發(fā)現(xiàn)事故、減小事故損失。

（5）機車乘務員室監(jiān)視器可同時顯示各種監(jiān)視畫面，也可以分別放大顯示。

（6）監(jiān)控錄像實時保存。

（7）具備回放電氣間錄像和機車乘務員室、前方線路周圍情況錄像的功能。

（8）系統(tǒng)設備抗干擾性強、抗振性好。

（9）設備供電采用獨立供電電路和安全低電壓，不影響機車設備的正常工作。

（10）建立地面管理系統(tǒng)，可實現(xiàn)高效管理。

5 結(jié)束語

綜上所述，本文提供了一個基于鐵路機車乘務員值乘行為數(shù)據(jù)語音視頻同步分析的交通安全預警系統(tǒng)方法，能夠運用無線通信技術(shù)、圖像識別技術(shù)以及視頻監(jiān)測技術(shù)等，進行機車與路面信號的實施收集，并利用信號交換，從而實現(xiàn)了機車與路面的智能協(xié)調(diào)和配合，從而能夠在較大程度上提高了機車乘務員行駛的穩(wěn)定性，從而降低了交通安全事故產(chǎn)生的概率，達到了道路自主管理，進而改善了鐵路網(wǎng)的交通能力，促進了機車安全行駛。