應(yīng)急指揮大廳語(yǔ)音輔助系統(tǒng)研究初探

于天宇 姚月

0 引言

黨的十八大以來(lái)，以習(xí)近平同志為核心的黨中央對(duì)應(yīng)急管理事業(yè)提出了更高的要求，結(jié)合新形勢(shì)下應(yīng)急管理部對(duì)于強(qiáng)化應(yīng)急基礎(chǔ)信息資源匯聚、現(xiàn)場(chǎng)信息獲取、災(zāi)情研判等能力和著力提升輔助指揮決策能力的更高要求,本文總結(jié)歸納應(yīng)急指揮大廳實(shí)際工作中涉及的應(yīng)用場(chǎng)景和軟硬件需求情況，調(diào)研語(yǔ)音輔助系統(tǒng)在現(xiàn)有地震應(yīng)急指揮大廳中的實(shí)例，考慮核心設(shè)備的兼容性和適用性，著重對(duì)語(yǔ)音輔助系統(tǒng)實(shí)現(xiàn)所需觸發(fā)、指令傳輸和反饋機(jī)制進(jìn)行研究，解決多種傳輸協(xié)議控制指令的統(tǒng)一分發(fā)控制問(wèn)題，提出一套具有較強(qiáng)可行性設(shè)計(jì)方案。

1 現(xiàn)狀分析

1.1 智能語(yǔ)音識(shí)別技術(shù)

語(yǔ)音識(shí)別最初是將人的語(yǔ)音轉(zhuǎn)換為文本的技術(shù);后又結(jié)合人工智能和物聯(lián)網(wǎng)技術(shù)，實(shí)現(xiàn)智能語(yǔ)音識(shí)別庫(kù)的實(shí)時(shí)調(diào)用更新[1]，接受人類語(yǔ)音指令，運(yùn)行預(yù)先編排的程序，并根據(jù)以人工智能技術(shù)制定的原則綱領(lǐng)行動(dòng)，控制相應(yīng)軟硬件，最終形成了較成熟的智能語(yǔ)音識(shí)別技術(shù)。該技術(shù)的任務(wù)是協(xié)助甚至取代人類的工作。決定智能語(yǔ)音識(shí)別技術(shù)實(shí)現(xiàn)效果的因素大致為智能語(yǔ)音識(shí)別庫(kù)的體量和復(fù)雜程度、語(yǔ)音信號(hào)指令質(zhì)量和被控軟硬件的執(zhí)行展現(xiàn)等。

智能語(yǔ)音識(shí)別技術(shù)逐步進(jìn)入人們的生活中，也逐漸改變著人們的生活方式[2]。以該技術(shù)為核心的應(yīng)用系統(tǒng)在家電、汽車、醫(yī)療、教育、消防等相關(guān)領(lǐng)域的應(yīng)用實(shí)例也較為豐富，最具代表性的是幾乎所有的智能手機(jī)、計(jì)算機(jī)終端、汽車等都配備了智能語(yǔ)音識(shí)別的輔助應(yīng)用功能，此應(yīng)用具備應(yīng)用開啟、語(yǔ)音控制外設(shè)、聲紋解鎖登陸、語(yǔ)音輸入翻譯功能等，這凸顯了其應(yīng)用的廣泛性和重要性。它的出現(xiàn)簡(jiǎn)化了人們復(fù)雜紛繁的檢索、記憶、轉(zhuǎn)換、執(zhí)行等操作流程，目的是節(jié)約寶貴的時(shí)間成本和節(jié)省不必要的經(jīng)濟(jì)成本。

但語(yǔ)音輔助系統(tǒng)的開發(fā)應(yīng)用存在較高的行業(yè)技術(shù)壁壘。在國(guó)外微軟、蘋果、谷歌、Nuance等知名公司具有較強(qiáng)實(shí)力，微軟Office就專注于語(yǔ)音輸入法的研究，蘋果的Siri和Nuance的Dragon Ditation也是語(yǔ)音識(shí)別中具有代表性的產(chǎn)品。在國(guó)內(nèi)，主要以語(yǔ)音合成為主，市面上相關(guān)產(chǎn)品直接或間接采用了上述兩家公司的技術(shù)。多家高新互聯(lián)網(wǎng)科技企業(yè)相繼推出了采用最新信息技術(shù)與應(yīng)用的智能語(yǔ)音產(chǎn)品，其中科大訊飛、百度語(yǔ)音最為領(lǐng)先，產(chǎn)品均達(dá)到了很高的識(shí)別正確率，也具備很強(qiáng)的可擴(kuò)展性和嵌入性特點(diǎn)，業(yè)界專家形成共識(shí)，智能語(yǔ)音識(shí)技術(shù)是未來(lái)信息技術(shù)領(lǐng)域重要科技發(fā)展技術(shù)之一。

1.2 應(yīng)急指揮大廳語(yǔ)音輔助系統(tǒng)

應(yīng)急指揮大廳是新形勢(shì)下應(yīng)急管理體系中各級(jí)聯(lián)絡(luò)節(jié)點(diǎn)不可或缺的組成部分，主要整合和利用所管轄區(qū)或領(lǐng)域的各類信息化資源，包括輔助決策信息系統(tǒng)、多網(wǎng)融合的網(wǎng)絡(luò)資源、視頻會(huì)議系統(tǒng)、音視頻及可視化系統(tǒng)和基礎(chǔ)保障系統(tǒng)等，為前后方救援信息和指令的高效互聯(lián)互通提供了有力的基礎(chǔ)環(huán)境保障。利用應(yīng)急指揮大廳可進(jìn)一步建立上下聯(lián)動(dòng)、平戰(zhàn)結(jié)合的高度智能化應(yīng)急指揮平臺(tái)。

指揮大廳語(yǔ)音輔助系統(tǒng)是結(jié)合智能語(yǔ)音識(shí)別技術(shù)與指揮大廳現(xiàn)有應(yīng)急管理系統(tǒng)實(shí)際應(yīng)用需求而研究的初步成果，應(yīng)用該系統(tǒng)可在一定程度解決如下問(wèn)題，一是解決指揮大廳應(yīng)急期間值班值守人員冗余的情況，降低指揮大廳各環(huán)節(jié)的操作需要的技術(shù)門檻，有效降低值班值守人員因復(fù)雜控制操作所需人力和時(shí)間成本；二是提升輔助決策過(guò)程中需求指令的集成統(tǒng)一控制、交互和展示效率。

1.3 市場(chǎng)調(diào)研

根據(jù)對(duì)開發(fā)環(huán)境的調(diào)研和分析，在當(dāng)下市場(chǎng)主流移動(dòng)終端操作系統(tǒng)中，谷歌主導(dǎo)研發(fā)的安卓系統(tǒng)延續(xù)了代碼開源的政策，較蘋果IOS系統(tǒng)具備更好的可開發(fā)性，在開發(fā)、測(cè)試、試運(yùn)行等關(guān)鍵過(guò)程中的修改升級(jí)更為有利，因此本文暫先對(duì)使用基于Android7.0+SDK（安卓7.0＋軟件開發(fā)工具包）的AndroidStudio開發(fā)工具（Android集成開發(fā)工具）、國(guó)產(chǎn)Deepin（深度操作系統(tǒng)）操作系統(tǒng)和科大訊飛離線命名實(shí)體識(shí)別庫(kù)為基礎(chǔ)的開發(fā)壞境進(jìn)行著重研究。

2 功能實(shí)現(xiàn)

2.1 技術(shù)路線

指揮大廳智能語(yǔ)音輔助系統(tǒng)的研發(fā)需要以下環(huán)節(jié)：基礎(chǔ)資料的收集、分類整理分析、制定標(biāo)準(zhǔn)模板和方案，最終從技術(shù)層面實(shí)現(xiàn)功能（圖1）。首先，基礎(chǔ)資料收集要充分了解受控指揮大廳的操作規(guī)范流程，例如設(shè)備開啟先后順序、設(shè)備開關(guān)所需時(shí)延、設(shè)備基礎(chǔ)保障情況等，為設(shè)計(jì)智能語(yǔ)音轉(zhuǎn)換，觸發(fā)中央控制系統(tǒng)發(fā)送信令做準(zhǔn)備；要根據(jù)操作規(guī)范與中央控制系統(tǒng)的信令做一一對(duì)應(yīng)匹配，做去重化簡(jiǎn)流程整理，為信令發(fā)送控制做準(zhǔn)備；要總結(jié)值班值守人員操作標(biāo)準(zhǔn)話術(shù)，尤其是多流程復(fù)合操作的建議話術(shù)制定，為自然語(yǔ)言轉(zhuǎn)換做準(zhǔn)備。其次，采取分類整理分析的原則，總結(jié)出語(yǔ)音控制標(biāo)準(zhǔn)話術(shù)所對(duì)應(yīng)的中控音視頻信號(hào)切換模板，并根據(jù)所需開發(fā)環(huán)境、操作環(huán)境等整理出具體系統(tǒng)設(shè)計(jì)方案。最后，按設(shè)計(jì)方案執(zhí)行該技術(shù)路線的設(shè)計(jì)形成輔助系統(tǒng)，并對(duì)該系統(tǒng)進(jìn)行聯(lián)調(diào)測(cè)試，形成最優(yōu)最簡(jiǎn)的系統(tǒng)版本，應(yīng)用于實(shí)際工作中。

2.2 技術(shù)框架

智能語(yǔ)音輔助系統(tǒng)應(yīng)具備智能語(yǔ)音識(shí)別、轉(zhuǎn)換和API（應(yīng)用程序編程接口）交互等功能。智能語(yǔ)音識(shí)別功能主要采集和識(shí)別操作人員的自然語(yǔ)言指令，并調(diào)用相應(yīng)語(yǔ)音基礎(chǔ)數(shù)據(jù)庫(kù)進(jìn)行指令傳遞。轉(zhuǎn)換功能是將操作人員的指令識(shí)別結(jié)果轉(zhuǎn)換為可讀取的信息，這里包括文字信息和計(jì)算機(jī)信令等。API（應(yīng)用程序編程接口）交互功能起到中建橋梁作用，可將信令分發(fā)至具體應(yīng)用或終端中觸發(fā)執(zhí)行，視應(yīng)用和終端類型還可將執(zhí)行情況反饋至語(yǔ)音復(fù)制系統(tǒng)中以供操作人員進(jìn)一步推進(jìn)工作。以上述方式同時(shí)配合指揮大廳中控系統(tǒng)和顯示系統(tǒng)等物聯(lián)網(wǎng)技術(shù)更可發(fā)揮該系統(tǒng)強(qiáng)大的擴(kuò)展性。

以基于移送終端安卓系統(tǒng)的APP（應(yīng)用軟件）為例，結(jié)合物聯(lián)網(wǎng)技術(shù)，可實(shí)現(xiàn)語(yǔ)音與文字互轉(zhuǎn)和對(duì)指揮大廳各節(jié)點(diǎn)設(shè)備的控制功能。語(yǔ)音與文字轉(zhuǎn)換模塊基于BNF（一種計(jì)算機(jī)元語(yǔ)言）表達(dá)式的命令定義及ASR(智能語(yǔ)音識(shí)別)的技術(shù)實(shí)現(xiàn)。文字轉(zhuǎn)語(yǔ)音模塊基于TTS（從文本到語(yǔ)音）的語(yǔ)音合成技術(shù)實(shí)現(xiàn)機(jī)器人語(yǔ)音輸出。應(yīng)急指揮大廳設(shè)備控制功能是封裝并發(fā)送基于TCP/IP協(xié)議（傳輸控制協(xié)議/網(wǎng)際協(xié)議）的socket（套接字）信令至中央控制系統(tǒng)而實(shí)現(xiàn)的。

圖1 技術(shù)路線

圖2 應(yīng)用流程示意圖

2.3 應(yīng)用實(shí)例

以實(shí)際地震應(yīng)急值班值守工作中的應(yīng)用場(chǎng)景簡(jiǎn)述指揮大廳語(yǔ)音輔助系統(tǒng)的實(shí)現(xiàn)流程（圖2）。利用語(yǔ)音識(shí)別終端對(duì)值班值守人員語(yǔ)音指令進(jìn)行實(shí)時(shí)采集，通過(guò)離線命名詞識(shí)別模塊對(duì)指令進(jìn)行翻譯并判別其有效性，未通過(guò)有效性判別的指令會(huì)被反饋到語(yǔ)音識(shí)別終端并提示錯(cuò)誤，該指令不具備繼續(xù)流轉(zhuǎn)的特性，當(dāng)即廢止；通過(guò)判別的有效指令會(huì)被二次編譯并發(fā)送至指揮大廳中央控制模塊中，經(jīng)過(guò)二次編譯的有效指令將由指揮大廳中央控制模塊再次封裝，并通過(guò)網(wǎng)絡(luò)信道發(fā)送報(bào)文方式傳輸給指揮大廳中央控制系統(tǒng)硬件設(shè)備，并觸發(fā)該設(shè)備控制接口（串口、紅外、網(wǎng)絡(luò)），將控制命令發(fā)送至被控制終端（如大屏顯示系統(tǒng)、音視頻矩陣、燈光、窗簾等），形成完整的指令報(bào)文信息鏈，最終實(shí)現(xiàn)大廳各模塊功能可控效果。

北京時(shí)間2019年3月22日-4月1日,在莫桑比克救援行動(dòng)期間，地震應(yīng)急搜救中心指揮大廳運(yùn)維人員利用語(yǔ)音輔助系統(tǒng)，采用手動(dòng)和語(yǔ)音結(jié)合的操作方式，保障救援現(xiàn)場(chǎng)前方與后方指揮大廳連通46次，總計(jì)時(shí)長(zhǎng)499分53秒，總連通率91.3%。北京時(shí)間3月25日10時(shí)28分至10時(shí)34分間，中國(guó)救援隊(duì)在莫桑比克首都馬普托機(jī)場(chǎng)短暫休整轉(zhuǎn)機(jī)時(shí)，利用語(yǔ)音輔助系統(tǒng)，后方指揮大廳僅有一名專業(yè)值守人員便順利完成了首次多網(wǎng)融合視頻會(huì)議連通工作。本次救援任務(wù)是應(yīng)急管理部成立后的首次國(guó)際救援任務(wù)，同時(shí)也是語(yǔ)音輔助系統(tǒng)試運(yùn)行期間的重要應(yīng)用實(shí)例，該系統(tǒng)開創(chuàng)了以地震應(yīng)急搜救中心指揮大廳為核心中繼向應(yīng)急管理部指揮中心部領(lǐng)導(dǎo)的匯報(bào)連通模式，進(jìn)一步印證了該系統(tǒng)在國(guó)際救援任務(wù)中的應(yīng)用價(jià)值。最終以“零事故”成績(jī)完成了應(yīng)急管理部指派的連通任務(wù)，得到了各級(jí)領(lǐng)導(dǎo)的一致好評(píng)，對(duì)該系統(tǒng)在日后應(yīng)急救援任務(wù)中的應(yīng)用打下良好的基礎(chǔ)。

3 應(yīng)用展望

本研究意在探索在應(yīng)急管理指揮調(diào)度工作中的智能語(yǔ)音識(shí)別技術(shù)的應(yīng)用模式，實(shí)現(xiàn)震時(shí)（或演練、重大會(huì)議等）指揮大廳各功能快速響應(yīng)服務(wù)。希望未來(lái)智能語(yǔ)音輔助系統(tǒng)可作為指揮大廳各類核心設(shè)備控制主要手段，提升應(yīng)急指揮的時(shí)效性。為采用語(yǔ)音智能控制方法的二級(jí)指揮大廳，形成上聯(lián)國(guó)家級(jí)指揮大廳，下聯(lián)國(guó)內(nèi)外救援現(xiàn)場(chǎng)、訓(xùn)練基地、庫(kù)房的立體化多方位的功能創(chuàng)造應(yīng)用示范的機(jī)會(huì)。

此外，進(jìn)一步梳理實(shí)際功能和接口需求，探索應(yīng)急救援指揮領(lǐng)域的智能語(yǔ)音輔助系統(tǒng)的應(yīng)用方案，實(shí)現(xiàn)智能語(yǔ)音控制與數(shù)據(jù)可視化的有機(jī)結(jié)合，對(duì)震時(shí)（或演練、重大會(huì)議等）的應(yīng)急產(chǎn)品、應(yīng)急音視頻快速共享和推送服務(wù)進(jìn)行擴(kuò)展應(yīng)用。結(jié)合可視化技術(shù)，是災(zāi)情信息要素的語(yǔ)音交互式查詢、展示全新方式，可為地震應(yīng)急指揮輔助決策提供全新思路。