基于虛擬成像技術(shù)與語音人機(jī)交互技術(shù)的移動終端的研究*

林　峻，陳錦彪

(廣東電網(wǎng)有限責(zé)任公司 佛山供電局，廣東 佛山 528000)

?

基于虛擬成像技術(shù)與語音人機(jī)交互技術(shù)的移動終端的研究*

林峻，陳錦彪

(廣東電網(wǎng)有限責(zé)任公司 佛山供電局，廣東 佛山 528000)

摘要：在智能電網(wǎng)發(fā)展背景下，針對電力一線作業(yè)人員應(yīng)用平板電腦與PDA等，存在戶外攜帶便利性較差，不能簡化原有的工作，需要雙手拿平板電腦或PDA操作錄入等問題，結(jié)合電網(wǎng)發(fā)展對電子化作業(yè)的需求，探索將虛擬成像技術(shù)與語音人機(jī)交互技術(shù)應(yīng)用于移動終端，詳細(xì)闡述了其技術(shù)原理與實(shí)現(xiàn)方式，采用成熟的Mediatek平臺與Android操作系統(tǒng)，配備高像素?cái)?shù)碼攝像頭、雙麥克風(fēng)降噪處理系統(tǒng)，同時實(shí)現(xiàn)WCDMA、GSM、GPS、藍(lán)牙和WiFi等通信定位功能，將所有功能集成于電力安全帽，形成移動作業(yè)的新平臺。解放電力工作人員雙手，實(shí)現(xiàn)了作業(yè)同時電子化辦公、電力系統(tǒng)內(nèi)的數(shù)據(jù)交換及遠(yuǎn)程可視指導(dǎo)作業(yè)等。在配網(wǎng)電力檢修操作中進(jìn)行新作業(yè)模式嘗試，摸索出了科技成果在員工操作培訓(xùn)模式的改進(jìn)方式，形成了全新的高效作業(yè)方式，具有良好的應(yīng)用前景。

關(guān)鍵詞：虛擬成像技術(shù)；語音人機(jī)交互；移動終端

近年來，隨著我國智能電網(wǎng)建設(shè)進(jìn)程的不斷推進(jìn)，對電力一線工作用安全頭盔的要求也日益提升。傳統(tǒng)的電力安全頭盔起著防止高空墜物，降低頭部傷害的作用，隨著電網(wǎng)自動化和智能化技術(shù)的發(fā)展，亟需便攜、智能和靈活的電子化作業(yè)移動終端，通過虛擬成像技術(shù)和語音人機(jī)交互技術(shù)，推動傳統(tǒng)頭盔向智能移動終端的升級。

1研究新型智能移動終端是電網(wǎng)發(fā)展的需要

1.1電力信息化發(fā)展現(xiàn)狀分析

近年來，隨著安卓系統(tǒng)的迅速普及，平板電腦和PDA在一線作業(yè)員工手上開始逐步使用。電力信息化系統(tǒng)從簡單的表單，發(fā)展到后來的流程化管理，從少數(shù)人使用發(fā)展到每一個人的辦公桌面上?，F(xiàn)在，正在努力從每一個人的桌面發(fā)展到電力檢修等作業(yè)一線。

然而，移動終端的普及還存在一些制約因素，包括：1)強(qiáng)光下查看時反光比較明顯，盡管現(xiàn)在液晶屏廠家推出了全視角的IPS電容屏，顯示效果還是不盡人意；2)平板電腦屏幕尺寸過小，顯示出來的字體過小，對于一線員工來講，辨別起來比較困難，尤其是對于那些年齡大的職工；3)操作不方便，尺寸小了，看不清，尺寸大了，端不了，攜帶也不方便；4)解放不了雙手，使用時，始終需要用雙手端著；5)遇到下雨天，屏幕一沾水，屏幕操作就會失靈。

1.2電網(wǎng)發(fā)展對電子化作業(yè)的需求

電力系統(tǒng)的信息化迫切地要求便于攜帶、方便使用的電子化作業(yè)移動終端，最終需要的是一種能解放雙手、便于攜帶、功能強(qiáng)大和完全不影響一線人員作業(yè)的智能移動終端。而將虛擬成像技術(shù)與語音人機(jī)交互系統(tǒng)的移動終端應(yīng)用于電力安全帽，使一線作業(yè)人員穿戴的人身防護(hù)工具擁有平板電腦、PDA等工具所有的功能，并在此基礎(chǔ)上形成具有及時通信、攝像和導(dǎo)航等功能的超級終端，既能解放雙手作業(yè)，又能通過語音交互完成電子化作業(yè)，這樣的設(shè)備是作業(yè)一線需要的。

基于上述分析，本文開展了基于虛擬成像技術(shù)與語音人機(jī)交互技術(shù)的移動終端的研究，開發(fā)出一種基于虛擬成像技術(shù)與語音人機(jī)交互系統(tǒng)的移動終端，將虛擬成像和語音人機(jī)交互技術(shù)應(yīng)用到電力員工的作業(yè)一線。不需要攜帶繁瑣的設(shè)備，走到哪里，工作到哪里；及時發(fā)現(xiàn)問題，迅速解決問題；規(guī)范電力檢修操作，推動智能電網(wǎng)的建設(shè)進(jìn)程[1]。

2虛擬成像技術(shù)與語音人機(jī)交互技術(shù)簡介和原理分析

2.1虛擬成像技術(shù)及其實(shí)現(xiàn)原理

虛擬成像技術(shù)是通過投影儀將影像投影到棱鏡上，然后在人的視網(wǎng)膜上聚焦，在看到的現(xiàn)實(shí)圖像上重疊圖層成像，所成的虛像距離焦點(diǎn)無限遠(yuǎn)，使得使用者可以同時看到現(xiàn)實(shí)的內(nèi)容與現(xiàn)實(shí)景物，虛擬成像技術(shù)最明顯的體現(xiàn)就是頭盔微顯示器。

虛擬成像實(shí)現(xiàn)需要微型投影儀、棱鏡，投影儀將圖像投影出來，通過棱鏡反射到人眼的視網(wǎng)膜上，形成一個遠(yuǎn)處的虛擬圖像(見圖1)。虛擬成像的具體原理如圖2所示，投影儀將圖像投影，投影光線經(jīng)過棱鏡反射，然后投入到人眼視網(wǎng)膜上形成虛擬圖像。由于投影光線和現(xiàn)實(shí)圖像光線是平行疊加，所以形成的虛擬圖像和現(xiàn)實(shí)圖像也是疊加在一起的。

圖1　虛擬成像技術(shù)

圖2　虛擬成像的具體原理

虛擬成像移動終端采用投影式光學(xué)系統(tǒng)，在現(xiàn)有的視頻眼鏡的基礎(chǔ)上，深入研究其成像原理，根據(jù)其電氣接口標(biāo)準(zhǔn)，外加對應(yīng)的橋接芯片連接到微型智能系統(tǒng)，并使其能正常運(yùn)行在當(dāng)前流行的Android系統(tǒng)中。由微型智能系統(tǒng)的視頻輸出至微型投影儀上，虛擬圖像通過投影透鏡折射后，再由與光軸成45°角的分光鏡反射到回射屏上，回射屏將入射光線沿與入射相反的方向反射回去，進(jìn)入人眼中；而來自真實(shí)環(huán)境的光線則直接通過回射屏和分光鏡進(jìn)入人眼，從而實(shí)現(xiàn)虛擬圖像與真實(shí)環(huán)境的疊加。虛擬成像技術(shù)可以解決小體積的大屏顯示技術(shù)，使微機(jī)的顯示系統(tǒng)很方便地應(yīng)用于穿戴式的移動終端上[2]。

2.2語音人機(jī)交互技術(shù)及其實(shí)現(xiàn)原理

語音人機(jī)交互技術(shù)的核心是語音的識別及人機(jī)的交互控制。

語音的識別可以采用現(xiàn)有成熟的語音識別引擎，將常用的語音指令通過語音建模形成矢量模型存入本地語音庫，例如，增加、刪除、更改、查找、打開、關(guān)閉及數(shù)字1、2、3、…、9等常見操作命令的語音庫，使其實(shí)現(xiàn)本地化[3]。

語音通過語音引擎識別后轉(zhuǎn)換成字符，字符與相應(yīng)的計(jì)算機(jī)指令匹配后，調(diào)用計(jì)算機(jī)指令集，通過計(jì)算機(jī)的指令接口，可以觸發(fā)計(jì)算機(jī)的相應(yīng)操作。從而實(shí)現(xiàn)計(jì)算的語音操作。

第三方軟件的語音操作可以通過統(tǒng)一的語音指令接口，由第三方軟件監(jiān)聽相應(yīng)的指令，從而實(shí)現(xiàn)對第三方軟件的語音操作。其實(shí)現(xiàn)方式如圖3所示。

圖3　語音人機(jī)交互系統(tǒng)的實(shí)現(xiàn)方式

通過上述方式，可以實(shí)現(xiàn)語音對系統(tǒng)及第三方軟件的控制，從而實(shí)現(xiàn)人機(jī)交互，解放雙手，提高一線員工的作業(yè)效率。

3基于虛擬成像技術(shù)與語音人機(jī)交互技術(shù)的移動終端的研究

3.1移動終端技術(shù)路線

首先，根據(jù)需要確認(rèn)以目前產(chǎn)業(yè)鏈最為成熟的Mediatek平臺，設(shè)計(jì)出基于Android操作系統(tǒng)的微型嵌入式移動終端。配備大容量鋰電池，支持移動適配器(Travel Adapter)充電，并設(shè)計(jì)高效合理的快速開關(guān)式充電方案,系統(tǒng)將優(yōu)化電源管理方案,使待機(jī)電流、關(guān)機(jī)電流以及工作電流盡可能小。

其次，考慮到現(xiàn)場作業(yè)可能需要拍照并上傳至系統(tǒng)，配備支持高像素?cái)?shù)碼拍照功能的攝像頭。為提高聲控的人機(jī)交互系統(tǒng)效果和用戶體驗(yàn)，采用雙麥克風(fēng)降噪處理系統(tǒng)。根據(jù)微型顯示器(HMD)模組的接口需求，采用LVDS轉(zhuǎn)接芯片，實(shí)現(xiàn)嵌入式移動終端的視頻輸出至HMD模組。其他的可通過Mediatek的手機(jī)移動芯片基帶實(shí)現(xiàn)WCDMA、GSM、GPS、藍(lán)牙和WiFi等常用的通信定位功能，為以后的移動作業(yè)通信奠定基礎(chǔ)[4]。

3.2移動終端實(shí)現(xiàn)方式

移動終端將目前世界最前沿的虛擬成像技術(shù)，并輔以可以連接無線網(wǎng)絡(luò)的微型化的嵌入式系統(tǒng)，應(yīng)用于電力安全帽中，形成一種全新的信息化移動終端，該終端相當(dāng)于將一臺擁有超大屏幕的大型計(jì)算機(jī)系統(tǒng)嵌入至電力安全帽里面，它將有利于解決電力工作人員攜帶筆記本或者平板電腦的不便捷問題，特別是惡劣環(huán)境下(比如環(huán)境光過亮以至于看不清電腦屏幕顯示，或者下大雨情況下)的戶外作業(yè)等，且極好地解決了便攜音視頻設(shè)備與超強(qiáng)功能的便攜設(shè)備的矛盾——大型屏幕顯示與極小的體積的矛盾。無線網(wǎng)絡(luò)則可有助于將現(xiàn)場調(diào)試的數(shù)據(jù)上傳至電力系統(tǒng)?？紤]到現(xiàn)場調(diào)試的便捷性，移動終端還將語音控制系統(tǒng)集成于電力安全帽中，并針對電力業(yè)務(wù)系統(tǒng)軟件實(shí)現(xiàn)語音控制，這在目前業(yè)界屬首創(chuàng)， 即使谷歌眼鏡亦未實(shí)現(xiàn)該功能。它將解放電力工作人員敲打鍵盤的雙手，實(shí)現(xiàn)更便捷的現(xiàn)場辦公，配合無線網(wǎng)絡(luò)還可以實(shí)現(xiàn)電力系統(tǒng)內(nèi)的數(shù)據(jù)交換,以及遠(yuǎn)程控制和遠(yuǎn)程調(diào)試?；谔摂M成像技術(shù)與語音人機(jī)交互技術(shù)的移動終端的外觀圖如圖4所示。

圖4　移動終端的外觀圖

3.3移動終端實(shí)現(xiàn)意義

基于虛擬成像技術(shù)與語音人機(jī)交互系統(tǒng)的移動終端在佛山順德供電局的某變電所演示了配網(wǎng)電力檢修操作，進(jìn)行了提高電力檢修質(zhì)量及安全性的新作業(yè)模式嘗試。摸索出了新科技成果在員工操作培訓(xùn)模式的改進(jìn)方式，形成了全新的高效作業(yè)方法。

4結(jié)語

隨著智能電網(wǎng)的發(fā)展，電力系統(tǒng)的信息化迫切地要求便于攜帶、方便使用的電子化作業(yè)移動終端?；谔摂M成像技術(shù)與語音人機(jī)交互技術(shù)的移動終端能夠較好地解決這些問題，不僅能夠解放一線人員的雙手，而且便于攜帶、功能強(qiáng)大和完全不影響一線人員作業(yè)；因此，具有良好的應(yīng)用前景。

參考文獻(xiàn)

[1] 江潔，王昊予，張廣軍．虛擬擴(kuò)展成像在大視場姿態(tài)角測量中的應(yīng)用[J].北京航空航天大學(xué)學(xué)報(bào)，2011，6(22)：6-8．

[2] 石磊，范志剛. 虛擬紅外成像器件的模擬輸出電路設(shè)計(jì)[J].自動化技術(shù)與應(yīng)用，2012，6(10)：66-69．

[3] 張哲超.成像系統(tǒng)中的光譜反射率重建[D].杭州：浙江大學(xué)，2010.

[4] 丁玲.考慮相位加權(quán)的鄰點(diǎn)濾波虛擬成像處理技術(shù)[J].科技通報(bào)，2014，6(12)：44-46．

* 中國南方電網(wǎng)有限責(zé)任公司科技項(xiàng)目(030600KK52140058)

責(zé)任編輯彭光宇

The Research of Mobile Terminals based on Virtual Imaging Technology and Voice Human-computer Interaction Research of Mobile Terminal

LIN Jun， CHEN Jinbiao

(Guangdong Power Grid Co.,Ltd.， Foshan Power Supply Bureau， Foshan 528000， China)

Abstract：Under the background of the smart grid development, the tablet computers and PDA when applied in the power line homework personnel have poor outdoor carrying convenience, can not simplify the original work, need hands to carry tablet PC or PDA. Combined with power grid development on the demand of electronic exploration, apply virtual imaging technology and speech interactive mobile terminals, elaborate on the technical principle and implementation way, use the mature Mediatek platform and Android operating system, equip with high pixel digital photo head and the double microphone down processing. Realize the WCDMA and GSM, GPS, bluetooth and WiFi positioning functions at the same time loith as communication and integrate functions in the power safety helmet to form the new platform of mobile operations. Hands liberation tapping at a keyboard power staff achieves the operating electronic office in the power system data exchange and remote visual guidance, etc. New operations are tried in the operation of the power distribution network maintenance mode, the scientific and technological achievements in the improvement of operation training mode are got, and form new practices with a good application prospect.

Key words:virtual imaging technology， voice human-computer interaction， mobile terminals

收稿日期：2015-06-05

作者簡介：林峻(1972-)，男，助理工程師，技師，主要從事電力系統(tǒng)自動化、軟件工程等方面的研究。

中圖分類號：TM 0

文獻(xiàn)標(biāo)志碼:A