車(chē)載音視頻管理系統(tǒng)的意義及關(guān)鍵技術(shù)研究

馬勇，沈得智，劉國(guó)承，高翔，甘才發(fā)

（中國(guó)鐵路青藏集團(tuán)有限公司，青海 西寧 810007）

1 乘務(wù)員值乘標(biāo)準(zhǔn)化車(chē)載音視頻智能分析管理系統(tǒng)的應(yīng)用意義

目前，許多機(jī)務(wù)段都配備了機(jī)車(chē)乘務(wù)員錄音筆、機(jī)車(chē)視頻監(jiān)控，并制定了管理辦法，組建了分析隊(duì)伍，結(jié)合LKJ專(zhuān)人分析，以監(jiān)督乘務(wù)員落實(shí)日常作業(yè)標(biāo)準(zhǔn)。但由于視頻監(jiān)控、錄音筆裝置是不間斷一直記錄，即乘務(wù)員開(kāi)車(chē)多長(zhǎng)時(shí)間，記錄多長(zhǎng)時(shí)間，使轉(zhuǎn)儲(chǔ)后地面音視頻分析人員工作量巨大，每個(gè)機(jī)務(wù)段每天有少則幾百名乘務(wù)員，多則上千名乘務(wù)員在線值乘，產(chǎn)生海量的音視頻數(shù)據(jù)，而分析員能夠分析的數(shù)量相對(duì)每天產(chǎn)生的數(shù)據(jù)量相比很少，不能做到全覆蓋分析，使乘務(wù)員存在僥幸心理，因此，在值乘過(guò)程中違章問(wèn)題始終沒(méi)有杜絕，且是事后管理，發(fā)現(xiàn)問(wèn)題時(shí)已經(jīng)構(gòu)成既成事實(shí)，甚至造成事故無(wú)法挽回。

因此，研究一種能夠在線實(shí)時(shí)智能識(shí)別并進(jìn)一步規(guī)范乘務(wù)員行車(chē)標(biāo)準(zhǔn)化操作的裝置十分有必要，同時(shí)，人工智能成為當(dāng)今社會(huì)主導(dǎo)方向，在人工智能領(lǐng)域，語(yǔ)言識(shí)別、圖像識(shí)別、自然語(yǔ)言處理和專(zhuān)家系統(tǒng)等是核心技術(shù)，這為利用語(yǔ)言識(shí)別、圖像設(shè)備技術(shù)實(shí)現(xiàn)對(duì)機(jī)車(chē)乘務(wù)員值乘標(biāo)準(zhǔn)化作業(yè)執(zhí)行情況、車(chē)載在線智能識(shí)別提供了技術(shù)基礎(chǔ)，使之成為可能。

2 乘務(wù)員值乘標(biāo)準(zhǔn)化車(chē)載音視頻智能分析管理裝置系統(tǒng)分析

2.1 系統(tǒng)主要設(shè)備及構(gòu)成

《乘務(wù)員值乘標(biāo)準(zhǔn)化車(chē)載音視頻智能分析管理裝置》由主機(jī)、圖像采集器、拾音器音響、TAX板卡、電纜及輔助配件組成。主要部件如下。

主機(jī)：用于分析圖像采集器數(shù)據(jù)，分析TAX信息，產(chǎn)生報(bào)警信息等（圖1）。圖像采集器：用于實(shí)時(shí)采集人臉圖像和手勢(shì)圖像（圖2）。相控陣一體音箱：用于錄音、語(yǔ)音播放使用（圖3）。

2.2 系統(tǒng)運(yùn)行參數(shù)

該系統(tǒng)的工作詳細(xì)參數(shù)如下。工作溫度：-25～+70℃；工作海拔：0～3000m； 相 對(duì) 濕 度：8%～90%；外殼防護(hù)等級(jí)：IP65GB4208-93；電源輸入：DC+77～+137V；功耗：20W（不帶外設(shè)）。

圖1 系統(tǒng)主機(jī)設(shè)備圖

圖2 圖像采集器設(shè)備圖

圖3 相控陣一體音箱設(shè)備圖

視頻：視頻輸入：2路BNC1.0VPP75歐姆；視頻壓縮標(biāo)準(zhǔn)：H.264；視頻編碼尺寸：D1；視頻制式：PAL。

音頻：音頻輸入：6路復(fù)合視頻輸入，阻抗600Ω，車(chē)載航空插頭；音頻輸出：?jiǎn)温芬纛l輸出，阻抗600Ω，BNC，車(chē)載航空插頭和RCA；基本輸出：線性電平；錄音方式：聲音與視頻同步錄制。

2.3 系統(tǒng)研發(fā)的主要功能

本項(xiàng)目主要研究的內(nèi)容是實(shí)現(xiàn)車(chē)載音視頻裝置，采集機(jī)車(chē)乘務(wù)員值乘實(shí)時(shí)影音，并在線識(shí)別乘務(wù)員語(yǔ)音內(nèi)容與呼喚應(yīng)答標(biāo)準(zhǔn)用語(yǔ)進(jìn)行比較，在線識(shí)別乘務(wù)員動(dòng)作行為與手指眼看標(biāo)準(zhǔn)行為比較，在線識(shí)別乘務(wù)員瞭望狀態(tài)、間斷瞭望、實(shí)時(shí)提醒3大主要功能。

（1）研究適用于在線識(shí)別的音視頻采集裝置。在線音視頻識(shí)別對(duì)音頻和圖像質(zhì)量有別于傳統(tǒng)的攝像機(jī)加拾音盒組成的視頻裝置，在音頻方面需要對(duì)司機(jī)室嘈雜的背景音進(jìn)行降噪過(guò)濾，提取出較為清晰的司機(jī)講話聲音，在視頻方面需要獲取到3D的視頻流，提取出乘務(wù)員在X、Y、Z3個(gè)方向上的動(dòng)態(tài)，同時(shí)，這些降噪后的音頻和3D視頻的數(shù)據(jù)量較傳統(tǒng)視頻裝置成倍增長(zhǎng)，又要實(shí)現(xiàn)在線實(shí)時(shí)識(shí)別，需要處理能力超強(qiáng)的CPU、緩存空間大、速度快的緩儲(chǔ)器等硬件，因此，要針對(duì)性能需求設(shè)計(jì)具有超強(qiáng)運(yùn)算能力的處理器與相控陣麥克風(fēng)、3D攝像機(jī)組成的音視頻采集裝置，作為整個(gè)項(xiàng)目的硬件底盤(pán)。

（2）研究實(shí)現(xiàn)在線提醒功能。采用智能圖像處理方法，以目前世界先進(jìn)的人臉識(shí)別技術(shù)為基礎(chǔ)和PERCLOS方法識(shí)別人眼狀態(tài)，并融合人體姿態(tài)、運(yùn)動(dòng)特征，實(shí)現(xiàn)機(jī)車(chē)乘務(wù)員瞭望狀態(tài)智能識(shí)別。

當(dāng)乘務(wù)員出現(xiàn)盹睡、間斷瞭望的現(xiàn)象，系統(tǒng)根據(jù)不同的間斷瞭望狀態(tài)，分3個(gè)級(jí)別發(fā)出不同的提醒聲音，級(jí)別劃分如下。①間斷瞭望持續(xù)時(shí)間達(dá)到10s，發(fā)出一級(jí)提醒；②間斷瞭望持續(xù)時(shí)間達(dá)到15s，發(fā)出二級(jí)提醒；③間斷瞭望持續(xù)時(shí)間達(dá)到20s，發(fā)出三級(jí)提醒。各級(jí)提醒報(bào)警過(guò)程中，當(dāng)機(jī)車(chē)乘務(wù)員恢復(fù)瞭望狀態(tài)后，提醒報(bào)警自動(dòng)解除，目前，該項(xiàng)技術(shù)是項(xiàng)目團(tuán)隊(duì)成熟技術(shù)，在既有產(chǎn)品的基礎(chǔ)上，針對(duì)本項(xiàng)目開(kāi)發(fā)的硬件底盤(pán)進(jìn)行軟件修改，嵌入實(shí)現(xiàn)。

（3）研究實(shí)現(xiàn)對(duì)“手指確認(rèn)”操作行為的在線識(shí)別提醒。手勢(shì)識(shí)別：通過(guò)Kinect傳感器獲得深度圖像，利用深度圖像信息進(jìn)行人體初步分割與定位，實(shí)現(xiàn)人體與背景的分離，進(jìn)而識(shí)別人體各部分（例如四肢、軀干），并根據(jù)人體各部分的實(shí)時(shí)位置形成相應(yīng)的指令反饋給主機(jī)，主機(jī)根據(jù)反饋的指令進(jìn)行相應(yīng)的操作。根據(jù)TAX信息中信號(hào)機(jī)顯示變化、機(jī)車(chē)工況變化等工況條件信息，在設(shè)定的工況條件下，識(shí)別乘務(wù)員在規(guī)定情況是否做出相應(yīng)的手勢(shì)或行為，在識(shí)別前進(jìn)行友善提醒，對(duì)簡(jiǎn)化作業(yè)進(jìn)行錄像記錄。

（4）研究實(shí)現(xiàn)對(duì)“呼喚應(yīng)答”的在線識(shí)別提醒。在前期語(yǔ)音采集過(guò)程中，根據(jù)語(yǔ)音特點(diǎn)建立合適的語(yǔ)音模型，并提取特征參數(shù)，構(gòu)建語(yǔ)音識(shí)別參考模型；應(yīng)用過(guò)程中，采用相控陣麥克風(fēng)將接收到的語(yǔ)音信號(hào)轉(zhuǎn)換成電信號(hào)，并對(duì)待識(shí)別的語(yǔ)音進(jìn)行預(yù)處理、端點(diǎn)檢測(cè)和特征參數(shù)提取，與“呼喚應(yīng)答”語(yǔ)音識(shí)別參考模型進(jìn)行匹配，進(jìn)而通過(guò)判決規(guī)則得出識(shí)別結(jié)果。同樣，根據(jù)TAX信息中信號(hào)機(jī)顯示變化、機(jī)車(chē)工況變化等在設(shè)定的工況條件下，識(shí)別乘務(wù)員在規(guī)定情況是否進(jìn)行呼喚應(yīng)答，在識(shí)別前進(jìn)行友善提醒，對(duì)簡(jiǎn)化作業(yè)進(jìn)行錄音記錄。

（5）智能結(jié)果分析功能。研發(fā)智能地面分析軟件，對(duì)值乘全過(guò)程的音視頻錄像進(jìn)行“摘要”化剪輯分析，自動(dòng)甄選有價(jià)值能夠反映乘務(wù)員標(biāo)準(zhǔn)化執(zhí)行程度的音視頻畫(huà)面供管理者分析，并實(shí)現(xiàn)數(shù)據(jù)檢索回放功能以及統(tǒng)計(jì)分析功能，按月生成車(chē)隊(duì)、車(chē)間報(bào)表，以及重點(diǎn)區(qū)域、時(shí)間段分析，方便各級(jí)管理者分析使用。

3 乘務(wù)員值乘標(biāo)準(zhǔn)化車(chē)載音視頻智能分析管理系統(tǒng)關(guān)鍵技術(shù)及創(chuàng)新點(diǎn)

3.1 人臉識(shí)別

采用智能圖像處理方法，以目前世界先進(jìn)的人臉識(shí)別技術(shù)為基礎(chǔ)和PERCLOS方法識(shí)別人眼狀態(tài)，并融合人體姿態(tài)、運(yùn)動(dòng)特征，實(shí)現(xiàn)機(jī)車(chē)乘務(wù)員瞭望狀態(tài)智能識(shí)別。系統(tǒng)能夠全天候?qū)崟r(shí)在線監(jiān)測(cè)乘務(wù)員的瞭望狀態(tài)，當(dāng)監(jiān)測(cè)到乘務(wù)員有視野偏離、精神不振等間斷瞭望現(xiàn)象時(shí)，立即實(shí)施分級(jí)語(yǔ)音報(bào)警，在線提醒乘務(wù)員，使之保持專(zhuān)注瞭望，瞭望間斷現(xiàn)象消除后語(yǔ)音報(bào)警隨即結(jié)束。

3.2 手勢(shì)識(shí)別

通過(guò)Kinect傳感器獲得深度圖像，利用深度圖像信息進(jìn)行人體初步分割與定位，實(shí)現(xiàn)人體與背景的分離，進(jìn)而識(shí)別人體各部分（例如四肢、軀干），并根據(jù)人體各部分的實(shí)時(shí)位置形成相應(yīng)的指令反饋給主機(jī)，主機(jī)根據(jù)反饋的指令進(jìn)行相應(yīng)的操作。

3.3 語(yǔ)音識(shí)別

采用相控陣麥克風(fēng)對(duì)司機(jī)的音頻進(jìn)行定向降噪提取，將接收到的語(yǔ)音信號(hào)轉(zhuǎn)換成電信號(hào)，并對(duì)待識(shí)別的語(yǔ)音進(jìn)行預(yù)處理、端點(diǎn)檢測(cè)和特征參數(shù)提取，與“呼喚應(yīng)答”語(yǔ)音識(shí)別參考模型進(jìn)行匹配，進(jìn)而通過(guò)判決規(guī)則得出識(shí)別結(jié)果。