基于圖像AI 技術的機車視頻自動分析系統(tǒng)的設計與研究
——以朔黃鐵路為例

李 琳

（國能朔黃鐵路發(fā)展有限責任公司機輛分公司，河北 滄州 062350）

隨著朔黃鐵路運量的大幅提升，列車安全開行成為運輸管理中的關鍵環(huán)節(jié)。機車乘務員作為鐵路列車運輸中的重要參與者，其執(zhí)行標準是否到位直接對列車的安全開行造成影響。公司每年在乘務員投入大量精力持續(xù)不斷地進行業(yè)務培訓、安全教育，讓其掌握更多的行車知識，樹立更加牢固的安全思想來保證行車安全。但在實際行車中，由于乘務員人員較多，學歷教育、業(yè)務水平、思想素質等方面能力參差不齊，導致很多乘務員并未按照標準規(guī)范行車，從而造成安全隱患。目前采取卡控乘務員作業(yè)標準的方式為管理人員添乘和抽轉視頻硬盤人為分析兩種方式，以此判斷乘務員是否有行車違規(guī)行為，鑒于以上兩種方式的局限性，不可能全面覆蓋所有機車，達不到對乘務員全覆蓋有效盯控的目的，因此，需借助現(xiàn)代化技術手段來對乘務員違章行為進行監(jiān)測分析，設計研究了基于圖像AI 技術的機車視頻自動分析系統(tǒng)[1]。

1 系統(tǒng)流程設計

基于圖像AI 技術的機車視頻自動分析系統(tǒng)包含地面視頻智能分析，實現(xiàn)從機車轉儲下來的視頻文件進行AI 快速分析，結合乘務員行車操作規(guī)范和LKJ 監(jiān)控文件數(shù)據(jù)信息，實現(xiàn)離線視頻中對于違規(guī)行為的快速檢索，自動生成報告，基于圖像AI 技術的機車視頻自動分析系統(tǒng)配備有自我學習的智能算法，在分析的過程中不斷根據(jù)自我更新算法進行迭代優(yōu)化，增加分析速度和準確率[2]。在離線視頻分析的基礎上，利用已經(jīng)研究的行為分析算法，研究設計了車載視頻智能分析主機，將地面算法進行優(yōu)化并移植到車載智能視頻分析主機，結合機車運行實時數(shù)據(jù)，實現(xiàn)乘務員行為的實時分析，分析結果實時報警，并將分析結果、實時數(shù)據(jù)信息及視頻片段上傳至地面服務器，同時系統(tǒng)可實時通知地面管理人員；車載分析系統(tǒng)可以和地面進行算法聯(lián)動，當?shù)孛娣治鏊惴ㄗ晕覍W習并完善后，車載分析系統(tǒng)可以復用既有無線傳輸數(shù)據(jù)通道自動更新完善算法，增加算法的分析速度以及準確率。

2 地面視頻智能分析系統(tǒng)

2.1 主要組成

由視頻存儲服務器、視頻分析服務器、高速轉儲裝置、定制轉儲柜、轉儲交互終端及NVIDIA 深度學習顯卡等部分組成。

2.2 系統(tǒng)分析流程

通過地面視頻智能分析服務器自動分析離線視頻，分析目標是針對機車視頻監(jiān)控轉儲下來的所有類型視頻文件，同時結合LKJ 文件解析后的機車運行數(shù)據(jù)以及乘務員操縱規(guī)范，以視頻智能分析服務器作為硬件基礎，視頻AI 算法為核心，將業(yè)務數(shù)據(jù)與機車運行數(shù)據(jù)進行綜合分析，實現(xiàn)對乘務員行為的快速分析，同時系統(tǒng)可以自動生成行為分析報告，系統(tǒng)流轉分析如圖1 所示。

圖1 地面視頻智能分析系統(tǒng)流轉圖

2.3 主要功能

本系統(tǒng)功能設計結合了視頻格式統(tǒng)一轉換、視頻分析作業(yè)需求，通過對系統(tǒng)軟件、硬件持續(xù)優(yōu)化完善，實現(xiàn)了LKJ 文件自動分析、多路視頻同步播放、LKJ文件與視頻同步顯示、違規(guī)異常分析處置、違規(guī)視頻片段及分析報告的生成與導出、數(shù)據(jù)快速檢索等功能。

（1）LKJ 文件自動分析。系統(tǒng)對LKJ 文件進行結構化解析，實現(xiàn)LKJ 全程記錄列表顯示，全程記錄曲線顯示，關鍵點快速定位等功能；（2）多路視頻同步播放。系統(tǒng)支持多路視頻的同步播放，支持長時間跨度的錄像秒級回放功能，支持最大16 倍速快速播放，同時支持單個視頻放大播放，可根據(jù)時間點自定義跳轉，解析轉碼與結構化存儲功能相結合，可通過一個系統(tǒng)實現(xiàn)各廠家視頻的統(tǒng)一播放；（3）LKJ 文件與視頻同步顯示。系統(tǒng)采用統(tǒng)一時間軸方式控制視頻與LKJ數(shù)據(jù)的播放進度，支持LKJ 數(shù)據(jù)關鍵點篩選（進出站、開停車、過分相等）和快捷跳轉，LKJ 數(shù)據(jù)跳轉后視頻同步跟進定位至關鍵點，為分析人員提供綜合數(shù)據(jù)參照；（4）違規(guī)異常分析處置。通過對LKJ 文件的分析，自動生成LKJ 文件相關項點，同時可在分析過程中隨時手動添加違規(guī)異常項點，關聯(lián)監(jiān)控視頻，并提供分析結果與簽注結果的填寫，違規(guī)異常記錄會長期保存，便于回溯查看和分析；（5）違規(guī)視頻片段及分析報告的生成與導出。根據(jù)分析結果生成報告，同時生成異常違規(guī)項點對應的音視頻切片文件；異常記錄與異常音視頻切片服務器自動保存，并支持一鍵導出；（6）數(shù)據(jù)快速檢索?；诮Y構化數(shù)據(jù)庫存儲技術，可從多個維度對歷史轉儲數(shù)據(jù)、違規(guī)異常項點和關鍵作業(yè)點進行檢索，通過綜合檢索查詢，能夠做到快速定位，同步分析。

2.4 識別項點設計

系統(tǒng)根據(jù)操規(guī)、LKJ 數(shù)據(jù)以及乘務員行為分析智能算法給出的識別結果進行綜合分析，歸納實現(xiàn)以下七大項點：（1）疲勞識別。列車值乘中出現(xiàn)長時間閉眼、打哈欠、打盹睡覺行為，視為疲勞報警識別出來；（2）分心識別。列車值乘中出現(xiàn)使用電子設備、扭頭聊天、長時間低頭等行為，系統(tǒng)報警項點為分心駕駛/間斷瞭望，對其行為判斷識別；（3）手比識別。列車值乘中系統(tǒng)根據(jù)設定的手比項點來判斷乘務員值乘中有無進行手比，主要為線路上主體信號、機車信號發(fā)生變化、調車信號等；（4）其他行為識別。乘務員升弓未開窗確認，列車運行中打開車門，進出站、臨時限速、過分相等特殊地段時學習司機未立崗等行為時進行判斷識別；（5）異常監(jiān)測識別。乘務員存在長時間遮擋攝像頭或未按規(guī)定雙崗值乘、離崗時系統(tǒng)進行判斷識別；（6）語音識別。列車值乘中出現(xiàn)各種信號、儀表確認、禁止鳴笛標、特殊地段等需呼喚應答時，系統(tǒng)判斷為無聲手比；（7）視頻質量識別。除對乘務員行為識別外，對視頻設備質量部分項點也可判斷識別，包括視頻畫面黑屏、模糊，視頻無聲音、噪聲大。

3 乘務員在線實時分析系統(tǒng)

3.1 主要組成及工作原理

由車載視頻分析主機、數(shù)字高清攝像頭、車載顯示終端車載無線傳輸裝置、煙感報警器等組成。

（1）車載智能視頻分析主機。在完成傳統(tǒng)視頻監(jiān)控及防火煙感報警功能的同時，核心是結合LKJ 實時數(shù)據(jù)以及乘務員操作規(guī)范完成乘務員行為實時分析、提醒并上傳結果，同時在存儲策略、自我學習方面進行研究；（2）車載顯示終端。安裝于司機室，實現(xiàn)傳統(tǒng)視頻監(jiān)控中顯示屏功能，本系統(tǒng)新增視頻分析報警提醒功能，具備視頻監(jiān)控實時顯示智能切換、視頻回放、預警報警；（3）視頻數(shù)據(jù)采集攝像頭。主要針對機車狀況進行視頻數(shù)據(jù)采集，對各種乘務員行為采集參數(shù)有不同要求，分為高清黑光全彩數(shù)字攝像頭、行為視頻采集攝像頭、人臉視頻采集攝像頭、司機室360度攝像頭。

3.2 系統(tǒng)分析流程

乘務員視頻實時分析是利用車載智能視頻分析主機，結合機車運行實時數(shù)據(jù)，實現(xiàn)乘務員在行車過程中行為實時分析，對違規(guī)行為通過車載顯示終端實時報警，并通過既有車載無線傳輸通道上傳至地面存儲服務器[3]。

3.3 主要功能

主要功能包括車載視頻數(shù)據(jù)實時采集分析、智能識別違規(guī)行為實時報警、違規(guī)片段上傳至云端服務器、實時將語音轉成文本、裝置與現(xiàn)有生產(chǎn)系統(tǒng)的接口打通、地面管理系統(tǒng)實現(xiàn)高效管理等功能。

3.4 識別項點設計

乘務員在線實時分析系統(tǒng)項點設計與上文所述地面視頻智能分析系統(tǒng)項點相同。

4 主要技術

4.1 視頻深度學習技術

本項目研究工作的核心是行為分析算法實現(xiàn)。

首先的技術核心是利用卷積神經(jīng)網(wǎng)絡，卷積神經(jīng)網(wǎng)絡通常由卷積層、池化層、全連接層堆疊而成。卷積層利用多個不同的卷積核，提取目標的特征，生成特征圖；池化層用來進行下采樣，將相鄰特征圖的特征進行合并，減小維度；全連接層起到將學到的分布式特征映射到樣本標記空間的作用。然而深度神經(jīng)網(wǎng)絡在訓練時，各層網(wǎng)絡的輸入分布會受到上一層的影響，隨著網(wǎng)絡的不斷加深，網(wǎng)絡層的微小變動產(chǎn)生的影響會被放大，從而導致梯度消失、梯度爆炸、網(wǎng)絡收斂到一個局部最優(yōu)值等問題。為此，系統(tǒng)將批量歸一化思想從圖像分類領域引入了行為識別領域，對網(wǎng)絡輸入的樣本進行小批量歸一化處理。

另一個核心技術是將傳統(tǒng)的2D 卷積擴展為包含時間的3D 卷積，并對整體模型進行調優(yōu)。在訓練調優(yōu)的過程中，探討如優(yōu)化數(shù)據(jù)的采集和標注流程，以及如何通過數(shù)據(jù)增強的方式增強模型的通用性[4]。

一般來講，任何算法都有各自的優(yōu)缺點，評價一個算法的性能指標有很多，只要算法能滿足一定的評價指標，我們就認為算法是可靠的，比如在動作識別算法中，拒識率和誤識率只要控制在5%～10%之間，算法性能就很優(yōu)越，拒識率和誤識率指標值越小，可靠性越高，兩者為零的情況在現(xiàn)實環(huán)境中是不存在的。再者，訓練樣本大小，訓練模型成熟度等對算法都有一定的影響。

4.2 車載視頻分析裝置

由車載視頻分析主機和司機室前端、司機室右后、側后方等位置的數(shù)字高清攝像頭組成，其中前視視頻裝置采集司機面部表情、行為姿勢，采集后的視頻算法集中于值乘狀態(tài)檢測、行為動作分析，前視攝像頭由于安裝位置距司機較近，從側后方攝像頭采集的圖像可彌補前視攝像頭視場不足，能夠采集整個司機室的圖像，供視頻分析主機分析。視頻主機分析后，對違規(guī)行為、精神不振行為通過車載顯示終端進行語音提醒。車載智能視頻主機本身帶4G 無線傳輸功能，可將實時檢測結果以及對應的音視頻文件同步至地面管理系統(tǒng)。

4.3 方言識別

現(xiàn)實生活中，多數(shù)人所說的普通話因受其方言背景的影響而不十分標準，這大大影響了語音識別的性能。一種解決方案是，對每種方言都收集足夠多的語音數(shù)據(jù)，然后構造相應的識別器，但由于漢語方言種類多且差異大，時間和成本都是很高的[5]。

5 結語

該系統(tǒng)的研發(fā)使用不僅可降低大量的人工重復勞動，還可實現(xiàn)對機車視頻管理的自動化，提高視頻分析效率，同時可實現(xiàn)現(xiàn)場乘務員行為即時分析，發(fā)現(xiàn)違規(guī)行為并及時提醒，從而降低行車安全事故發(fā)生的概率，提高數(shù)據(jù)檢索、回放效率。