空管陸空通話語(yǔ)音分析系統(tǒng)開(kāi)發(fā)與實(shí)踐＊

孫禾

（中國(guó)民航大學(xué)空中交通管理學(xué)院，天津 300300）

作為民航安全與效率的保障的重要一環(huán)，管制員的工作效率直接影響民航系統(tǒng)的經(jīng)濟(jì)效益與安全。對(duì)于空中交通管制員來(lái)說(shuō)，陸空通話是實(shí)施管制工作的最直接的方式。管制員通過(guò)簡(jiǎn)潔、明確、規(guī)范的語(yǔ)音指令為航空器駕駛?cè)藛T提供安全保障。而疲勞工作會(huì)使工作人員的警覺(jué)度和工作能力有一定程度下降，使語(yǔ)音特征和正常工作狀態(tài)下有一定程度不同[1]，通過(guò)語(yǔ)音疲勞方面的研究可以在工作中進(jìn)一步推斷管制員的疲勞狀態(tài)，以提前避免事故及事故征候的產(chǎn)生。

針對(duì)管制員的疲勞研究，可以參照國(guó)際民航組織（International Civil Aviation Organization，后簡(jiǎn)稱“ICAO”）于2016 年頒布的DOC9966《疲勞管理做法監(jiān)督手冊(cè)》以及中國(guó)民航局于2017 年頒布的規(guī)范性文件《民航管制員疲勞管理參考學(xué)習(xí)資料》，文件中詳細(xì)闡述了關(guān)于管制員的疲勞狀態(tài)研究和發(fā)展。國(guó)內(nèi)也有專家提出了基于管制員語(yǔ)音反應(yīng)時(shí)的疲勞風(fēng)險(xiǎn)定量評(píng)價(jià)模型[2]。

應(yīng)用語(yǔ)音分析疲勞狀態(tài)的研究起步較晚，1996 年，WHITMORE 和FISHER 通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)了飛行員的語(yǔ)音信號(hào)頻率和時(shí)長(zhǎng)與疲勞程度呈正相關(guān)關(guān)系[3]；2006 年，美國(guó)新罕布什爾大學(xué)的研究團(tuán)隊(duì)首次提出利用MFCC 來(lái)呈現(xiàn)疲勞狀態(tài)[4]。

本文設(shè)計(jì)并開(kāi)發(fā)了空管陸空通話語(yǔ)音分析系統(tǒng)，對(duì)空中交通管制員的陸空通話語(yǔ)音進(jìn)行監(jiān)控，分析其疲勞程度，并對(duì)管制員進(jìn)行適當(dāng)?shù)奶崾荆哂斜容^現(xiàn)實(shí)的研究意義。

1 基于陸空通話語(yǔ)音分析的空管實(shí)驗(yàn)教學(xué)方案

1.1 空管實(shí)驗(yàn)教學(xué)現(xiàn)狀分析

管制員培養(yǎng)是一個(gè)嚴(yán)謹(jǐn)且周期較長(zhǎng)的過(guò)程，由于其工作性質(zhì)的特殊性，實(shí)驗(yàn)教學(xué)環(huán)節(jié)就顯得尤為重要。按照目前的空管實(shí)驗(yàn)教學(xué)方案，學(xué)生通常分別扮演模擬管制員以及配合操作的模擬飛行員，通過(guò)內(nèi)話系統(tǒng)進(jìn)行陸空通話交流。學(xué)生作為管制員操作時(shí)，需要根據(jù)模擬機(jī)預(yù)設(shè)的飛行訓(xùn)練計(jì)劃，對(duì)飛機(jī)進(jìn)行指揮[5]。教師在席位后方觀察學(xué)生的操作，指出存在的問(wèn)題。做完一套練習(xí)項(xiàng)目后，教師再組織所有學(xué)生進(jìn)行統(tǒng)一點(diǎn)評(píng)，并布置下一個(gè)練習(xí)任務(wù)。這樣經(jīng)過(guò)約一個(gè)月的連續(xù)模擬機(jī)實(shí)驗(yàn)課，以完成管制員培養(yǎng)文件要求的實(shí)踐課時(shí)。

1.2 融入空管陸空通話語(yǔ)音分析的實(shí)驗(yàn)教學(xué)框架

通過(guò)對(duì)目前實(shí)驗(yàn)教學(xué)的分析可以看到，人們將更多的注意力放在了學(xué)生技能與能力的培養(yǎng)上，通過(guò)長(zhǎng)時(shí)間的反復(fù)訓(xùn)練使學(xué)生熟練掌握管制規(guī)則，以應(yīng)對(duì)不同的空中交通情況。但是對(duì)于實(shí)際管制工作，人們關(guān)注的往往是管制員的工作狀態(tài)，即需要檢測(cè)管制員是否疲勞，以預(yù)防危險(xiǎn)的發(fā)生。因此將空管陸空通話語(yǔ)音分析融入到管制實(shí)驗(yàn)教學(xué)當(dāng)中，通過(guò)語(yǔ)音分析疲勞程度，對(duì)實(shí)驗(yàn)過(guò)程進(jìn)行有效反饋，這樣不僅對(duì)學(xué)生的實(shí)驗(yàn)狀態(tài)進(jìn)行了評(píng)價(jià)，而且還具有一定的實(shí)際應(yīng)用價(jià)值，結(jié)構(gòu)如圖1 所示。

其中，精神運(yùn)動(dòng)能力檢測(cè)（Psychomotor Vigilance Task，PVT）[6]可以客觀反映管制員疲勞狀態(tài)，通過(guò)統(tǒng)計(jì)測(cè)試受試者對(duì)多次變化反應(yīng)平均時(shí)長(zhǎng)的情況，計(jì)算其疲勞狀態(tài)，管制員疲勞程度越重，反應(yīng)時(shí)長(zhǎng)越長(zhǎng)。同時(shí)還需要記錄管制員的主觀疲勞程度共同標(biāo)定疲勞情況。

2 陸空通話語(yǔ)音分析系統(tǒng)開(kāi)發(fā)關(guān)鍵技術(shù)

2.1 語(yǔ)音特征提取

為了方便研究，系統(tǒng)主要考慮了語(yǔ)音的時(shí)域特征，主要包括短時(shí)平均能量、短時(shí)平均幅值、短時(shí)平均過(guò)零率。

圖1 融入陸空通話語(yǔ)音分析的實(shí)驗(yàn)教學(xué)框架

短時(shí)平均能量可以反映出聲音響度的大小，人體的不同疲勞程度會(huì)影響發(fā)聲的響度，隨著人體疲勞程度的加重，發(fā)聲的響度將會(huì)有所降低。短時(shí)平均能量主要指分幀之后的每幀語(yǔ)音信號(hào)的能量大小。設(shè)每段語(yǔ)音的總幀數(shù)為N，段語(yǔ)音信號(hào)的總長(zhǎng)度為L(zhǎng)。語(yǔ)音信號(hào)用s（n）表示，分幀之后得到的第i幀語(yǔ)音信號(hào)為s（n，i），表示著該幀語(yǔ)音全部的信號(hào)。該幀的語(yǔ)音信號(hào)的短時(shí)平均能量用E（i）表示，則：

為消除分幀時(shí)的能量泄漏，需要在計(jì)算式給語(yǔ)音信號(hào)加窗W（i），第i幀則語(yǔ)音信號(hào)為x（n，i）=w（i）s（n，i），0≤n≤L-1。因此第n幀的短時(shí)平均能量經(jīng)過(guò)加窗之后為

計(jì)算短時(shí)能量在取平方加窗之后可以對(duì)采樣間的平方幅度起伏有平滑作用，但不能充分反映語(yǔ)音能量隨時(shí)間變化的特征。僅用短時(shí)平均能量表示能量特征不夠充分，此時(shí)需要采用一個(gè)短時(shí)幅值的計(jì)算來(lái)反映能量的時(shí)變特點(diǎn)，設(shè)短時(shí)平均幅值為

語(yǔ)音信號(hào)可分為連續(xù)信號(hào)和離散信號(hào)[7]，從連續(xù)的語(yǔ)音信號(hào)上考慮，過(guò)零意味著語(yǔ)音信號(hào)的時(shí)域波形穿過(guò)時(shí)間軸；從離散的語(yǔ)音信號(hào)上考慮，過(guò)零表示著兩個(gè)相鄰取樣點(diǎn)之間的符號(hào)改變。短時(shí)平均過(guò)零率則是每幀語(yǔ)音信號(hào)中時(shí)域波形穿過(guò)時(shí)間軸的次數(shù)。這樣通過(guò)統(tǒng)計(jì)每幀樣本內(nèi)的過(guò)零次數(shù)便能計(jì)算出短時(shí)平均過(guò)零率[8]，系統(tǒng)仍繼續(xù)對(duì)信號(hào)進(jìn)行加窗分幀處理，分別進(jìn)行加權(quán)計(jì)算最后便可以得到分析所需的數(shù)據(jù)。短時(shí)平均過(guò)零率可表示為

2.2 疲勞狀態(tài)分析

對(duì)于管制工作，在實(shí)際的指揮中工作制度為輪班。為提醒管制員在輪值休息時(shí)注意恢復(fù)自身的狀態(tài)，將工作疲勞狀態(tài)分為兩類：適當(dāng)休息狀態(tài)、急需休息狀態(tài)。經(jīng)過(guò)分析，隨著疲勞程度的增加，時(shí)域和頻域的特征值都會(huì)增長(zhǎng)，但是三種特征值的量化標(biāo)準(zhǔn)不相同。在評(píng)判一條指令的疲勞程度時(shí)，要滿足三種特征值的疲勞界限。

結(jié)合主客觀疲勞測(cè)試標(biāo)定結(jié)果，并結(jié)合測(cè)試語(yǔ)音的特征值，經(jīng)過(guò)統(tǒng)計(jì)得到疲勞評(píng)判標(biāo)準(zhǔn)如表1 所示。

表1 語(yǔ)音疲勞特征值數(shù)據(jù)評(píng)判標(biāo)準(zhǔn)

3 分析系統(tǒng)開(kāi)發(fā)與實(shí)踐

為了便于今后的研究擴(kuò)展，系統(tǒng)采用Python+PyQt5 的方式進(jìn)行開(kāi)發(fā)。共分為空中交通管制員無(wú)線電陸空通話學(xué)習(xí)模塊、精神運(yùn)動(dòng)能力檢測(cè)測(cè)試模塊以及管制員疲勞狀態(tài)分析模塊。

空中交通管制員無(wú)線電陸空通話學(xué)習(xí)模塊參考管制教材[9]中的教學(xué)內(nèi)容，包含主要的陸空通話學(xué)習(xí)內(nèi)容，可以閱讀對(duì)話內(nèi)容并播放錄音，為學(xué)生提供了便捷的學(xué)習(xí)環(huán)境，如圖2 所示。

圖2 陸空通話學(xué)習(xí)模塊

精神運(yùn)動(dòng)能力檢測(cè)測(cè)試模塊參考PVT 測(cè)試原理，將測(cè)試環(huán)境集成到系統(tǒng)中。點(diǎn)擊開(kāi)始測(cè)試按鈕后，當(dāng)中心按鈕變?yōu)榧t色時(shí)立刻點(diǎn)擊該按鈕，系統(tǒng)自動(dòng)記錄這一反應(yīng)時(shí)間，之后按鈕變?yōu)榫G色，如此反復(fù)進(jìn)行約3 min，最后系統(tǒng)自動(dòng)計(jì)算平均反應(yīng)時(shí)間，即為客觀的疲勞程度參考結(jié)果，如圖3所示。

管制員疲勞狀態(tài)分析模塊分為語(yǔ)音導(dǎo)入、特征分析和疲勞分析三個(gè)功能。可以選擇實(shí)驗(yàn)時(shí)的陸空通話語(yǔ)音文件，導(dǎo)入后進(jìn)行語(yǔ)音特征分析，直觀繪制幅值、短時(shí)能量、過(guò)零率以及語(yǔ)音波形圖。最后進(jìn)行疲勞分析，將該段語(yǔ)音的三個(gè)特征值與評(píng)判標(biāo)準(zhǔn)進(jìn)行比較，當(dāng)大于該標(biāo)準(zhǔn)時(shí)變?yōu)榧t色，即處于疲勞狀態(tài)應(yīng)立即休息。管制員疲勞狀態(tài)分析模塊如圖4所示。

4 結(jié)束語(yǔ)

本文結(jié)合管制實(shí)驗(yàn)教學(xué)與疲勞狀態(tài)監(jiān)測(cè)開(kāi)發(fā)了一套空管陸空通話語(yǔ)音分析系統(tǒng)，可為管制員培養(yǎng)提供輔助，并為一線管制員疲勞預(yù)警提供幫助。

圖3 精神運(yùn)動(dòng)能力檢測(cè)測(cè)試模塊

圖4 管制員疲勞狀態(tài)分析模塊

在實(shí)驗(yàn)教學(xué)中，提出了融入陸空通話語(yǔ)音分析的實(shí)驗(yàn)教學(xué)框架，不僅重視學(xué)生的能力培養(yǎng)，同時(shí)采用實(shí)驗(yàn)反饋的機(jī)制，對(duì)學(xué)生實(shí)驗(yàn)狀態(tài)進(jìn)行評(píng)價(jià)，促進(jìn)學(xué)習(xí)改進(jìn)。

在疲勞狀態(tài)監(jiān)測(cè)中，參考一線管制員的工作制度，設(shè)定疲勞狀態(tài)評(píng)判標(biāo)準(zhǔn)，通過(guò)語(yǔ)音特征分析，判斷管制員是否需要休息，為工作中的人員疲勞預(yù)警提供了新的思路。