虞永兵,高翠云
(1.安徽建筑大學(xué) 電子與信息工程學(xué)院,安徽 合肥 230601;2.安徽建筑大學(xué) 電能質(zhì)量及負(fù)荷檢測技術(shù)研究室,安徽 合肥 230601)
物聯(lián)網(wǎng)是以傳感網(wǎng)、互聯(lián)網(wǎng)、云計算等技術(shù)融合而成的創(chuàng)新應(yīng)用。進入“十三五”時期,物聯(lián)網(wǎng)將進入萬物互聯(lián)發(fā)展新階段,智能可穿戴設(shè)備、智能家電、智能網(wǎng)聯(lián)汽車、智能機器人等數(shù)以萬億計的新設(shè)備將接入網(wǎng)絡(luò),應(yīng)用呈現(xiàn)爆發(fā)式增長,將促進生產(chǎn)生活和社會管理方式進一步向智能化、精細(xì)化、網(wǎng)絡(luò)化方向轉(zhuǎn)變[1],面向普通家庭的低成本智能家居物聯(lián)網(wǎng)系統(tǒng)將擁有龐大的用戶需求、市場需求。
目前世面上基于智能手機的智能家居產(chǎn)品主要為遠程控制技術(shù)和安防技術(shù),利用手機遠程控制家電如空調(diào)的開啟和關(guān)斷,而對人體的健康狀況、家電健康狀況及家庭節(jié)能管理的關(guān)注較少。這幾方面的智能家居產(chǎn)品極具競爭力,對于家電的健康狀況進行免打擾式網(wǎng)絡(luò)化遠程監(jiān)測和故障預(yù)警有助于延長家電的全生命周期,減少環(huán)境污染[2]。更重要的是,對于智能家居的人機交互方式而言,只采用手機或其他終端進行相應(yīng)控制已不能滿足用戶的需求,用戶渴望多種交互方式的系統(tǒng),特別是語音人機交互。
國外利用語音技術(shù)發(fā)展智能家居的趨勢十分明顯。谷歌的Google Home、亞馬遜的Echo、蘋果公司的Siri是目前市場上最具代表性的三大人工智能語音助理技術(shù)[3],用戶可直接與機器對話,機器能閑聊、講笑話與故事、播放音樂、訂票訂餐、查詢天氣、控制智能設(shè)備等,滿足用戶的一系列需求。不僅如此,在車載系統(tǒng)、機器人、玩具等領(lǐng)域也見到了智能家居的身影。作為國內(nèi)語音產(chǎn)業(yè)領(lǐng)導(dǎo)者的科大訊飛早在2014年就推出了“訊飛超腦計劃”,集成了人工智能核心技術(shù),讓機器像人一樣能聽會說,會理解會思考[4]。訊飛開放的AIUI語音交互平臺就是其實現(xiàn)語音人工智能的重要載體之一[5],AIUI語音交互平臺對開發(fā)者開放了其核心能力,利用AIUI可進行全雙工持續(xù)交互,以此為基礎(chǔ)可開發(fā)一切基于語音的智能家居系統(tǒng)。
自2009年起,課題組所在的研究室一直致力于健康智能家居方向的研究,包括語音在智能家居方面的研究應(yīng)用[6-7],家電電氣工作狀態(tài)識別及節(jié)能研究[8-9],以脈搏、心電及呼吸為主的人體健康檢測技術(shù)[10-12]。在健康智能家居方面,實驗室團隊獲得了多項發(fā)明專利、實用新型專利及軟著。
團隊設(shè)計并開發(fā)了一套集人體健康、家電控制、家電健康、環(huán)境監(jiān)測、節(jié)能管理功能于一體的健康智能家居系統(tǒng)。系統(tǒng)具有以下特性:
(1)多種交互方式,具有智能互動特性;(2)關(guān)注環(huán)境與人體健康;
(3)實時監(jiān)控家電狀態(tài),合理管理用電。
系統(tǒng)組成如圖1所示,健康智能家居系統(tǒng)軟件包含四個層次。
硬件感知層包括AIUI評估板、家居環(huán)境參數(shù)檢測設(shè)備、人體生理參數(shù)檢測設(shè)備、家電工作參數(shù)檢測設(shè)備、家電及家電控制設(shè)備。
數(shù)據(jù)傳輸處理層包括網(wǎng)絡(luò)服務(wù)器、家庭服務(wù)器、ZigBee協(xié)調(diào)器、ZigBee終端。
應(yīng)用層包括家庭控制中心、移動APP客戶端、Web客戶端、微信公眾號。
圖1 系統(tǒng)組成框圖
系統(tǒng)利用科大訊飛含有麥克風(fēng)陣列的AIUI平臺進行人機語音交互;采用搭載Android系統(tǒng)的TQ210開發(fā)板作為家庭服務(wù)器以及家庭控制中心;使用ZigBee和低功耗單片機MSP430組建家庭無線局域網(wǎng);使用Ubuntu系統(tǒng)作為網(wǎng)絡(luò)服務(wù)器,并采用Apache Web服務(wù)器軟件與MySQL數(shù)據(jù)庫構(gòu)建了整個云服務(wù)環(huán)境,基于PHP開發(fā)的服務(wù)端接口為各客戶端(Android客戶端、Web客戶端、微信公眾號、家庭服務(wù)器)提供網(wǎng)絡(luò)服務(wù),并為第三方機構(gòu)(氣象平臺、電網(wǎng)公司、環(huán)保機構(gòu)、社區(qū)醫(yī)院、家電制造商等)提供數(shù)據(jù)接口[13-20]。
系統(tǒng)的基本工作模式:在家庭內(nèi)部,通過AIUI的麥克風(fēng)陣列拾取用戶的語音信號,然后將語音數(shù)據(jù)傳送給訊飛的語音云平臺進行識別,返回特定指令。與AIUI模塊相連的ZigBee主節(jié)點把控制指令發(fā)給相應(yīng)的子節(jié)點進行控制。此外,主節(jié)點還定時接收來自子節(jié)點如環(huán)境參數(shù)節(jié)點、人體健康參數(shù)檢測子節(jié)點、家電電能及健康采集節(jié)點的數(shù)據(jù),并且發(fā)送到租用的阿里云服務(wù)器平臺,形成數(shù)據(jù)庫,為后期進一步分析和閉環(huán)控制服務(wù)。該云服務(wù)器的資源對家庭用戶是完全開放的,可以采取不同用戶權(quán)限給第三方機構(gòu)電網(wǎng)公司、環(huán)保機構(gòu)、社區(qū)醫(yī)院、家電制造商開放不同資源的模式,后期第三方可以通過
該平臺反饋相應(yīng)信息,從而形成閉環(huán)的人體與家電健康監(jiān)護及節(jié)能控制等。通過手機APP,Web訪問與此類似,其不同之處在于初始指令獲得方式不同。
表1、表2所列分別為硬件通信協(xié)議與客戶端、服務(wù)端通信協(xié)議。其中,硬件通信協(xié)議表達方式為16進制字節(jié)流數(shù)據(jù),客戶端、服務(wù)端通信協(xié)議表達方式為JSON字符串。
表1 硬件通信協(xié)議幀組成表
表2 客戶端、服務(wù)端協(xié)議消息類型
AIUI內(nèi)部由三部分組成,分別為AIUIService,AIUIProductApplication,ControlService。
(1)AIUIService負(fù)責(zé)語音喚醒、語音識別、語義理解等;
(2)AIUIProductApplication負(fù)責(zé)進一步處理語音識別返回的結(jié)果(如語音合成、音樂播放等);
(3)ControlService負(fù)責(zé)與ZigBee協(xié)調(diào)器進行串口數(shù)據(jù)通信,從而實現(xiàn)對其他模塊的控制及數(shù)據(jù)處理。
三者相輔相成,以跨進程的方式進行數(shù)據(jù)交換。AIUI程序流程如圖2所示。
圖2 AIUI程序流程圖
家庭服務(wù)器主要通過界面方式與用戶進行交互動作,用戶不僅可以通過觸摸板控制家庭設(shè)備,還可以通過界面方式查看家庭內(nèi)部環(huán)境及人體健康相關(guān)參數(shù),并以圖表形式直觀展現(xiàn)在用戶面前。家庭服務(wù)器程序流程如圖3所示。
圖3 家庭服務(wù)器程序流程圖
Workerman框架可用來接收來自家庭服務(wù)器的Socket連接及家庭服務(wù)器發(fā)送的心跳包,以此判斷家庭服務(wù)器是否掉線。運行后等待客戶端連接,具有為APP客戶端與家庭服務(wù)器提供命令控制、數(shù)據(jù)存儲、數(shù)據(jù)轉(zhuǎn)發(fā)等功能。程序流程如圖4所示。
圖4 Workerman框架程序流程圖
微信接口、網(wǎng)站接口、APP接口通過獲取、解析客戶端數(shù)據(jù)后進行一系列操作,如數(shù)據(jù)庫存儲或轉(zhuǎn)發(fā)數(shù)據(jù)至Workerman,Workerman再將數(shù)據(jù)轉(zhuǎn)發(fā)至家庭服務(wù)器等。
客戶端包括APP客戶端、Web網(wǎng)頁客戶端、微信公眾號,其前端界面雖不相同,但大致流程相同。主要通過用戶的操作向服務(wù)器網(wǎng)站接口發(fā)送post請求,然后接收來自服務(wù)器的響應(yīng),從而完成全流程。
由于系統(tǒng)將AIUI作為家庭內(nèi)部的語音引擎主節(jié)點,故其性能至關(guān)重要。重點對AIUI及ZigBee的傳輸特性進行了測試。綜合考慮AIUI的特性,將與AIUI的距離作為參考點,對AIUI的語音喚醒成功率、語音識別率、串口通信正確率三項性能進行了50次測試,測試結(jié)果見表3所列。
表3 無障礙物下傳輸距離測試結(jié)果
本次實驗同時也對AIUI麥克風(fēng)陣列及ZigBee的穿墻情況進行了性能測試。在普通家庭內(nèi)部,利用50次重復(fù)測試,分別測試了隔一堵墻及隔兩堵墻的穿墻能力。測試結(jié)果見表4所列。
表4 穿墻能力測試結(jié)果
系統(tǒng)各軟件界面如圖5所示。分別對系統(tǒng)各層次進行了多次試驗與多次聯(lián)合調(diào)試。系統(tǒng)測試包括基于家庭服務(wù)器、基于Web、基于手機APP的控制方式,可實現(xiàn)對空調(diào)、家電渲染節(jié)點的控制,也具有接收環(huán)境采集節(jié)點數(shù)據(jù)、家電采集節(jié)點數(shù)據(jù)以及脈搏采集節(jié)點數(shù)據(jù)并將其傳送到云服務(wù)器的功能。系統(tǒng)整體聯(lián)調(diào)取得成功。
本文提出研發(fā)集智能交互、人體健康、家電控制、家電健康監(jiān)測、環(huán)境監(jiān)測、節(jié)能管理于一體的健康智能家居系統(tǒng)。系統(tǒng)主要包括硬件感知層、數(shù)據(jù)傳輸處理層、應(yīng)用層。采用科大訊飛含有麥克風(fēng)陣列的AIUI平臺進行人機語音交互,實現(xiàn)了面向Web、手機APP、家庭服務(wù)器的多種交互的健康智能家居系統(tǒng)雛形。系統(tǒng)通過家庭環(huán)境聯(lián)調(diào)和基本性能測試,表明該方案的合理性和先進性。該系統(tǒng)與現(xiàn)有智能家居相比,創(chuàng)新性表現(xiàn)在:既關(guān)注人體健康,又關(guān)注家電健康,并且可面向閉環(huán)管理提供云服務(wù)器給第三方機構(gòu),共享數(shù)據(jù)資源,為未來實現(xiàn)真正的智能用電、數(shù)字化醫(yī)療提供基礎(chǔ)平臺。
圖5 健康智能家居系統(tǒng)軟件部分界面圖
系統(tǒng)尚有許多需要改進的地方,未來可從以下幾個方面重新考量進行設(shè)計:
(1)通信協(xié)議的優(yōu)化,包括硬件之間的通信協(xié)議與客戶端、服務(wù)器端之間的通信協(xié)議;
(2)通信的安全性,包括對傳輸過程中的數(shù)據(jù)進行加密與對服務(wù)器端的程序進行漏洞修補;
(3)對云服務(wù)器端存儲的大量數(shù)據(jù)進行無損壓縮。