基于情緒驅(qū)動(dòng)的適老性智慧家居方案研究

穆明鑫，梁家振，姜大志*

（1.中國(guó)移動(dòng)通信集團(tuán)江蘇有限公司，江蘇 南京 210000；2.汕頭大學(xué)計(jì)算機(jī)系，廣東 汕頭 515063）

1 引 言

人口老齡化是影響著一個(gè)國(guó)家長(zhǎng)期經(jīng)濟(jì)增長(zhǎng)動(dòng)力的關(guān)鍵變量，也是影響21 世紀(jì)大國(guó)競(jìng)爭(zhēng)的重要因素之一.在2021 年5 月，國(guó)家統(tǒng)計(jì)局公布了第七次全國(guó)人口普查結(jié)果，預(yù)計(jì)1962-1976 年嬰兒潮人口在未來5-10 年進(jìn)入老齡化，2033 年左右進(jìn)入老年人占比超過20%的超級(jí)老齡化社會(huì)，此后持續(xù)攀升至2060 年的35%[1].

由于我國(guó)老齡化人群數(shù)量不斷增加，占比不斷提升，老齡化人群的養(yǎng)老問題也受到越來越多的關(guān)注和重視[2].尤其是在2021 年國(guó)家衛(wèi)生健康委召開例行新聞發(fā)布會(huì)上，國(guó)家衛(wèi)生健康委老齡健康司司長(zhǎng)表示，我國(guó)老年人大多數(shù)都將在居家和社區(qū)養(yǎng)老，形成“9073”的格局，即90%左右的老年人都在居家養(yǎng)老，7%左右的老年人依托社區(qū)支持養(yǎng)老，3%的老年人入住機(jī)構(gòu)養(yǎng)老[3].因此，提供醫(yī)養(yǎng)結(jié)合服務(wù)的重點(diǎn)應(yīng)該放在居家養(yǎng)老中.

于是，如何設(shè)計(jì)一個(gè)科學(xué)、高效、高質(zhì)量的居家養(yǎng)老方案成為學(xué)者們研究探討的重點(diǎn)問題.然而，想要解決這個(gè)問題需要具體問題具體分析，針對(duì)不同情況的老齡化人群來進(jìn)行不同的贍養(yǎng)標(biāo)準(zhǔn)的分類，保證社會(huì)養(yǎng)老資源分配平衡、利用合理，同時(shí)也能保證每一個(gè)老年人都能得到科學(xué)的，正確的贍養(yǎng)[4].

比起生理上的退化，高齡人群精神上的空虛同樣值得重視[5].本文基于人口老齡化的現(xiàn)實(shí)背景，從理論分析出發(fā)，探索一種基于多模態(tài)情緒感知的適老性智能家庭解決方案，減少高齡人群無助、孤獨(dú)、失落等負(fù)面情緒，滿足他們的心理情緒需求，讓高齡人群能更加積極健康的生活，助力更好地實(shí)現(xiàn)對(duì)高齡人群體賦能和賦值.研究結(jié)果將對(duì)智能型、服務(wù)型機(jī)器人的設(shè)計(jì)和互聯(lián)網(wǎng)智慧居家養(yǎng)老平臺(tái)的研發(fā)提供有益的參考.

本文的主要貢獻(xiàn)如下：

（1）基于老年用戶心理特征全面分析，深入老年人隨著年齡增長(zhǎng)的心理變化和對(duì)方案設(shè)計(jì)的指導(dǎo)作用.提出基于智慧大屏作為核心控制中心的智慧、安全的家居架構(gòu)設(shè)計(jì)，憑借智慧大屏的顯示和交互能力的提升，令家居控制功能變得更智能，實(shí)現(xiàn)發(fā)現(xiàn)、連接、狀態(tài)顯示以及設(shè)備控制的一體化操作.

（2）本文通過構(gòu)建一個(gè)多模態(tài)情緒識(shí)別的模型，對(duì)老年用戶的情緒歷時(shí)進(jìn)行定性定量分析，聚焦于老年用戶在日常生活中心理特征的負(fù)面變化，并及時(shí)做出反饋，引導(dǎo)老年人的心理往積極向上的方向前進(jìn).

（3）本文探討了情緒反饋的設(shè)計(jì)，在結(jié)合不同場(chǎng)景下和老年人的情緒波動(dòng)變化后，設(shè)計(jì)出智慧家居的動(dòng)態(tài)反饋.

2 研究現(xiàn)狀

智慧家居為養(yǎng)老模式提供新思路、新手段.智慧家居的定義最早被提出是在20 世紀(jì)80 年代，當(dāng)時(shí)家電市場(chǎng)上出現(xiàn)了大量的電器產(chǎn)品，初期的智能單品住宅開始形成. 后來，隨著技術(shù)的發(fā)展，民用住宅進(jìn)一步提高了住宅的智能性，開始實(shí)現(xiàn)家用電子設(shè)備和通信設(shè)備的服務(wù)整體化.80 年代后期，隨著信息技術(shù)的發(fā)展和互聯(lián)網(wǎng)技術(shù)的興起，美國(guó)一些商用企業(yè)開始嘗試家用信息設(shè)備，將智能電器和監(jiān)控設(shè)備通過電纜終端集成，實(shí)現(xiàn)家庭的統(tǒng)一智能管理，這就是智能家居的開端[6].

隨著現(xiàn)今大數(shù)據(jù)時(shí)代的到來以及5G 網(wǎng)絡(luò)和人工智能的發(fā)展，智慧家居這一概念也在得到普及與加強(qiáng).5G 技術(shù)帶來的智慧醫(yī)療、遠(yuǎn)程醫(yī)療、智能看護(hù)等一系列技術(shù)能為未來居家醫(yī)療的巨大壓力問題提供幫助.在這大背景下，以人工智能、云計(jì)算、物聯(lián)網(wǎng)等為代表的互聯(lián)網(wǎng)技術(shù)將帶動(dòng)智慧家居產(chǎn)業(yè)向高智能化、高創(chuàng)新化方向迅速邁進(jìn)，將新一代信息技術(shù)產(chǎn)品集成應(yīng)用于助老機(jī)器人的內(nèi)部構(gòu)造，促進(jìn)科技成果轉(zhuǎn)化，為老年人提供安全、便捷、舒適的服務(wù)，這是養(yǎng)老服務(wù)產(chǎn)業(yè)的一種創(chuàng)新模式[7].

目前，人們對(duì)使用創(chuàng)新技術(shù)和人工智能使智能家居技術(shù)支持老年人在自己的家中獨(dú)自生活越來越感興趣[8].石元伍、陳旺[9]結(jié)合助行機(jī)器人，設(shè)計(jì)出滿足獨(dú)居老人生理需求的智能家居方案.梁非凡等[10]提出了三項(xiàng)老年用戶智能燈具的設(shè)計(jì)原則和設(shè)計(jì)方法，為老年人提供了一個(gè)舒適的照明方案.郭弈妤等[11]針對(duì)老年人疼痛群體擴(kuò)大的社會(huì)現(xiàn)象，提出針對(duì)老年人疼痛評(píng)估工具界面信息的可視化設(shè)計(jì)策略.Baudisch Justin 等[12]提出了一種用于智能家居環(huán)境中異常檢測(cè)的學(xué)習(xí)事件序列的框架，將用戶行為建模為事件序列，由家庭居民與物聯(lián)網(wǎng)設(shè)備的交互觸發(fā).Lee Bogyeong 等[13]修改通過能量驅(qū)動(dòng)采樣提取的超像素算法和對(duì)高維時(shí)間傳感器數(shù)據(jù)有效的分層聚類方法，開發(fā)了無監(jiān)督數(shù)據(jù)分割過程，為通過高維傳感器數(shù)據(jù)有效評(píng)估日常生活習(xí)慣提供了方法學(xué)上的進(jìn)步，并支持智能家居技術(shù)的引入，使老年人能夠通過這門技術(shù)安全地獨(dú)自生活.Chang Soojung 等[14]總結(jié)了影響智能家居采用因素的可持續(xù)性價(jià)值，提高對(duì)智能家居應(yīng)用過程的總體理解，并為用戶對(duì)智能家居的性能條件、功能特征、服務(wù)操作和質(zhì)量的認(rèn)知提供參考資料.Senthil Prabu Ramalingam 和Prabhakar Karthikeyan Shanmugam[15]介紹了一個(gè)具有RES 功能和適應(yīng)性的家庭能源管理系統(tǒng)，以及一個(gè)用于設(shè)計(jì)和實(shí)施需求響應(yīng)程序的儲(chǔ)能裝置用于優(yōu)化家庭能源環(huán)境的能耗成本.Ghosh Soumyajit 等[16]提出非侵入性負(fù)載監(jiān)測(cè)應(yīng)用在住宅設(shè)備的識(shí)別和監(jiān)控上，進(jìn)一步的提高了家庭能源管理能力，降低耗能成本.

從以往的研究中發(fā)現(xiàn)，大部分研究者設(shè)計(jì)的適老性智慧家居通常都是從生理、行為、安全、技術(shù)或者造價(jià)成本方面出發(fā)的，而很少會(huì)考慮到老齡人的情緒.因此，本文希望將情緒識(shí)別和情緒反饋融入到智慧家居的設(shè)計(jì)中去，設(shè)計(jì)出真正符合老年用戶情緒和生理需求的智能家居產(chǎn)品，并以此加快適老性智慧家居的實(shí)現(xiàn)進(jìn)程.

3 方案設(shè)計(jì)

3.1 需求分析

老年人生理系統(tǒng)的老化對(duì)生活造成了一定程度的影響，加之隨著科技的進(jìn)步，智能設(shè)備和互聯(lián)網(wǎng)產(chǎn)品充斥著我們的生活，他們不得不接受一些新奇的事物，讓老年人有時(shí)會(huì)感到力不從心.另一方面，老年群體的生活水平提高，獨(dú)立生活能力增強(qiáng)，悅己心理逐漸凸顯，追求更高的生活品質(zhì)，尤其是精神層面的情緒需求.為滿足居家老年人的情緒需求，智能家居的設(shè)計(jì)在實(shí)現(xiàn)基本功能的基礎(chǔ)上還應(yīng)該考慮情緒驅(qū)動(dòng)設(shè)計(jì)，使其及時(shí)滿足老年人的情緒反饋需求，需求分析如下：

（1）智能家居系統(tǒng)可以通過傳感器采集老年人的生理信息、面部表情和語(yǔ)音信息，再將這些蘊(yùn)含著老年人情緒特征的信息作預(yù)處理后，通過多模態(tài)情緒識(shí)別模型時(shí)刻監(jiān)測(cè)老年人的情緒狀態(tài)；

（2）在監(jiān)測(cè)到老年人產(chǎn)生負(fù)面情緒狀態(tài)時(shí)，智能家居系統(tǒng)應(yīng)當(dāng)要主動(dòng)做出心理輔導(dǎo)、娛樂倡議等反饋，及時(shí)安撫老年人的心理情緒；

（3）在監(jiān)測(cè)到老年人產(chǎn)生負(fù)面情緒狀態(tài)時(shí)，原因有可能是室內(nèi)溫度和光線強(qiáng)度不適宜老年人的習(xí)慣.所以，智能家居系統(tǒng)應(yīng)當(dāng)根據(jù)傳感器中采集的室內(nèi)溫度、光線數(shù)據(jù)，根據(jù)老年人的具體習(xí)慣做出相對(duì)應(yīng)的調(diào)整；

（4）子女可以通過APP 端查看老年人居家時(shí)的情緒狀態(tài)，當(dāng)老年人的情緒狀態(tài)過于負(fù)面時(shí)，智能家居系統(tǒng)應(yīng)當(dāng)及時(shí)通知子女.

3.2 總體架構(gòu)

智能家居和傳統(tǒng)家居的區(qū)別在于智能家居使用數(shù)字技術(shù)來控制和管理家庭設(shè)備和系統(tǒng)，而傳統(tǒng)家居則依賴于人工控制和操作，對(duì)于高齡人群來說，復(fù)雜的傳統(tǒng)家居方式在操作上并不友好.

本文設(shè)計(jì)的基于情緒驅(qū)動(dòng)的適老性智慧家居方案由手環(huán)端、移動(dòng)端以及服務(wù)器端和智能家電組成，并采用了操作簡(jiǎn)單，字體偏大的老年人友好型關(guān)懷界面的智慧大屏作為老年人與系統(tǒng)交互的核心，智慧大屏是一種創(chuàng)新和可擴(kuò)展的智能電視進(jìn)化形態(tài)，是一種由人工智能和物聯(lián)網(wǎng)等新興技術(shù)提供動(dòng)力的交互式智能家庭終端.

基于提供高質(zhì)量的視頻和音頻娛樂功能，智能大屏幕可以通過AI、IoT 等新興技術(shù)實(shí)現(xiàn)多模態(tài)自然交互、互聯(lián)能力和智慧家居控制等功能，提供更個(gè)性化的使用體驗(yàn)，構(gòu)建家庭智慧中心.在本文的方案中，智慧大屏是采集數(shù)據(jù)、展示數(shù)據(jù)以及提供智慧控制功能的核心終端.智慧大屏內(nèi)置多種傳感器，包括溫濕度探測(cè)儀、空氣質(zhì)量探測(cè)儀、攝像頭和聲音采集傳感器等，通過這些傳感器，它可以采集老年人居家時(shí)刻的面部表情信息、語(yǔ)音特征信息、環(huán)境信息等作為識(shí)別老年人情緒的重要特征信息.除此之外，智慧大屏外連智能家電，能通過觸屏詳細(xì)控制智能家電的使用，還可以實(shí)時(shí)展示動(dòng)態(tài)情緒變化信息以及發(fā)郵件、微信聊天和網(wǎng)購(gòu)服務(wù)等常用移動(dòng)端功能.

智能手環(huán)端，通過WIFI 將采集的心率和體溫等生理信息上傳到信息處理中心中，結(jié)合傳感器端采集的信息共同識(shí)別老年人居家時(shí)的情緒變化.移動(dòng)端主要是用手機(jī)移動(dòng)端中的APP，在客戶端可以通過API 接口實(shí)時(shí)獲取老年人的情緒數(shù)據(jù)，以及遠(yuǎn)程操控智能家電.

服務(wù)器端主要包括兩個(gè)，一個(gè)是在室內(nèi)的信息處理中心，它負(fù)責(zé)的功能是將采集的數(shù)據(jù)做降噪整合等處理，然后通過5G 網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)的云存儲(chǔ). 大數(shù)據(jù)智能分析服務(wù)器接收從信息處理中心傳遞過來的特征數(shù)據(jù)，通過基于深度學(xué)習(xí)的情緒識(shí)別模型分析數(shù)據(jù)信息，得出情緒識(shí)別結(jié)論，并根據(jù)情緒識(shí)別結(jié)論下達(dá)策略指令，策略指令通過5G 網(wǎng)絡(luò)傳遞回信息處理中心，信息處理中心根據(jù)指令調(diào)用智能家電（如光線改變、室溫改變、情緒機(jī)器人陪伴聊天等），幫助老年人的情緒恢復(fù)積極正常. 具體架構(gòu)如圖1所示.

圖1 架構(gòu)方案圖

3.3 基于5G 的通信設(shè)計(jì)

5G 是第五代通信技術(shù)，其超高速率、極大容量、超低延時(shí)等優(yōu)勢(shì)支撐著海量設(shè)備互聯(lián)和人與設(shè)備之間的真正連接，使更多硬件能夠連接傳感器以實(shí)現(xiàn)快速的數(shù)據(jù)處理和智能操控[17].

智慧家庭控制系統(tǒng)需要利用多個(gè)傳感器將相互孤立的信息連接起來，而4G 網(wǎng)絡(luò)下設(shè)備交換信息傳輸間的延時(shí)問題一直是智能家居的短板，而5G 技術(shù)的超高速傳輸和低延遲為智慧家庭的設(shè)計(jì)帶來新的可能性[18].

通過5G 技術(shù)，老年人無論在室內(nèi)走到哪里，智慧家庭都能有效地感知，并隨著老人的指令做出適合他們需求的控制，以及能做到及時(shí)斷開設(shè)施設(shè)備，防止資源浪費(fèi).

3.4 多模態(tài)信息采集

隨著傳感器技術(shù)的不斷進(jìn)步和5G 新一代數(shù)字技術(shù)的發(fā)展，傳感器的數(shù)據(jù)信息傳輸速率不足以及各類傳感器終端連接數(shù)量有限的缺陷被打破[19]，為多模態(tài)情緒感知技術(shù)與智能家居系統(tǒng)的結(jié)合提供了新的可能性.如圖2 所示，本方案將通過各類傳感器采取多模態(tài)信息，并以此作為情緒識(shí)別的特征信息處理.并且，本方案通過文獻(xiàn)研究與歸納，梳理了各類傳感器采集的信息中蘊(yùn)含的情緒特征，如表1 所示.

表1 采集信息與提取的情緒識(shí)別相關(guān)特征

圖2 智能家居情景下的蘊(yùn)含情緒特征的信息處理

3.5 情緒分析模型

本文在情緒識(shí)別的設(shè)計(jì)上是以圖像和語(yǔ)音為主，并添加了環(huán)境信息和生理信息作為輔助，豐富了模態(tài)上的選擇，目標(biāo)讓情緒識(shí)別模型達(dá)到更優(yōu)的數(shù)據(jù)結(jié)果.在結(jié)構(gòu)設(shè)計(jì)上，本文采用了用圖結(jié)點(diǎn)來表達(dá)特征信息，并使用Graph-Transformer 作為訓(xùn)練模型，具體流程如圖3 所示，詳細(xì)設(shè)計(jì)可見第5 節(jié).

圖3 模型流程圖

4 情緒反饋的應(yīng)用情景

基于情緒驅(qū)動(dòng)的適老性智慧家庭的方案研究如何充分迎合老年人的情緒需求，給老年人帶來積極的情緒體驗(yàn)，是本文研究需要解決的重點(diǎn)內(nèi)容.因此在充分分析老年人的情緒后，智慧家居如何采取行動(dòng)，這才是重點(diǎn).我們根據(jù)感知到的不同情緒（正向情緒，中性情緒和負(fù)向情緒）結(jié)合老年用戶所在室內(nèi)位置（客廳、衛(wèi)生間、廚房、臥室等）做一個(gè)綜合考量，并反饋不同的處理.

4.1 客廳情緒反饋設(shè)計(jì)

一個(gè)適宜的環(huán)境是提升情緒正向性的重要因素，因此智能家居通過情緒分析模型在客廳中監(jiān)測(cè)到老人負(fù)面情緒時(shí)，首先考慮啟動(dòng)掃地機(jī)器人完成清潔家務(wù).同時(shí)，在客廳的智慧大屏通過實(shí)時(shí)語(yǔ)音對(duì)講、播放音樂、聊天互動(dòng)等功能緩解老年人的負(fù)面情緒，逐步引導(dǎo)到正向情緒上，實(shí)現(xiàn)以人為本的高品質(zhì)智能家居生活新體驗(yàn).

除此之外，可以通過智慧大屏控制的智能燈光照明系統(tǒng)，巧妙地把各種燈光的明暗變化、場(chǎng)景互換、電動(dòng)窗簾、背景音樂的變化舞動(dòng)等智能控制功能融為一體，讓家居由靜變動(dòng)，讓周邊環(huán)境更適宜，從而緩解老年人的負(fù)面情緒[20].

4.2 廚房情緒反饋設(shè)計(jì)

隨著老年人的時(shí)間愈發(fā)空閑，烹飪也成為老年人養(yǎng)老退休后的一大愛好.然而，老年人生理系統(tǒng)的老化對(duì)生活造成了一定程度的影響，加之智能廚房中的智能設(shè)備操作新奇，可能會(huì)讓老年人有時(shí)感到力不從心.

基于情緒驅(qū)動(dòng)的智能家居在廚房場(chǎng)景的應(yīng)用中，應(yīng)當(dāng)考慮老年人的情緒狀態(tài)，在監(jiān)測(cè)到老年人在操作智能設(shè)備進(jìn)行烹飪的過程中，如果監(jiān)測(cè)到煩惱、排斥等負(fù)面情緒，位于廚房的智慧大屏應(yīng)當(dāng)及時(shí)以服務(wù)的態(tài)度、貼心的婉轉(zhuǎn)提醒，引導(dǎo)老年人的使用，讓老年人感到友好，必要時(shí)提供人性化的幫助，避免他們有不適當(dāng)?shù)穆?lián)想和心理不平衡感，帶領(lǐng)老人跨越數(shù)字鴻溝[21].

4.3 臥室情緒反饋設(shè)計(jì)

在臥室設(shè)計(jì)中的重點(diǎn)是提高舒適性.所以，通過老人的情緒變化動(dòng)態(tài)調(diào)節(jié)臥室環(huán)境成為設(shè)計(jì)的關(guān)鍵點(diǎn).建立基于情緒驅(qū)動(dòng)的智慧家居，需要從情緒角度出發(fā)與智能家居進(jìn)行互動(dòng)，形成情緒共鳴. 交互是智能家居最重要的原則，智慧家居應(yīng)符合用戶行為習(xí)慣，提供個(gè)性化交互.

清晨時(shí)分，用戶在睡夢(mèng)中會(huì)被舒緩的背景音樂和輕松的鬧鈴聲喚醒新的一天.然而，如果此時(shí)，用戶的情緒被監(jiān)測(cè)到不耐煩的時(shí)候，說明老年人并不希望“起床”、“鬧鈴響起”等事件發(fā)生.如果老年人沒有早起的安排的話，這時(shí)，鬧鈴應(yīng)當(dāng)及時(shí)停止，或者使用安撫的、引人入睡的音樂代替，同時(shí)窗簾會(huì)緩緩地自動(dòng)關(guān)閉.當(dāng)老年人睜開眼，智慧大屏?xí)詣?dòng)感應(yīng)，燈的亮度會(huì)隨著老年人的情緒的變化而變化，讓室內(nèi)光線保持老年人最適宜的狀況，也就是老年人的情緒是愉悅的狀況.同樣，當(dāng)室內(nèi)空氣質(zhì)量不好引起老年人情緒波動(dòng)時(shí)，智慧大屏可自動(dòng)激活室內(nèi)的新風(fēng)系統(tǒng)對(duì)室內(nèi)空氣進(jìn)行循環(huán)，并根據(jù)老年人的情緒狀況調(diào)整.

4.4 衛(wèi)生間情緒反饋設(shè)計(jì)

智能家居中衛(wèi)生間的功能，已不再是傳統(tǒng)意義上的廁所概念，人們更加關(guān)注的是衛(wèi)生間的舒適與健康.在室內(nèi)設(shè)計(jì)中，可以通過老年人的情緒動(dòng)態(tài)調(diào)節(jié)衛(wèi)生間內(nèi)部的采光和通風(fēng).

除此之外，對(duì)于大多數(shù)人來說，洗個(gè)熱水澡是個(gè)不錯(cuò)的解壓方式，同時(shí)合適的水溫決定著解壓的成效.智慧大屏可以通過動(dòng)態(tài)檢測(cè)老年人的情緒波動(dòng)，從默認(rèn)的水溫開始，動(dòng)態(tài)調(diào)節(jié)水溫，直到老年人的情緒長(zhǎng)時(shí)間保持愉悅為止，也可以通過老年人的語(yǔ)音命令作為直接調(diào)控，并記錄此刻的水溫作為下一次洗澡的默認(rèn)水溫.

4.5 實(shí)際場(chǎng)景應(yīng)用分析

基于情緒驅(qū)動(dòng)的適老性智能家居可以根據(jù)家庭成員的行為和需求，自動(dòng)化分析家庭成員的情緒，動(dòng)態(tài)控制和管理家庭設(shè)備和系統(tǒng)，提高家庭的舒適度、安全性和便利性.

但是，通過收集和分析家庭成員的行為來實(shí)現(xiàn)自動(dòng)化控制，這可能會(huì)涉及到隱私問題. 智能家居的設(shè)備和系統(tǒng)需要聯(lián)網(wǎng)，存在被黑客攻擊和數(shù)據(jù)泄露的風(fēng)險(xiǎn). 除此之外，智能家居的設(shè)備和系統(tǒng)需要聯(lián)網(wǎng)，存在一定的故障風(fēng)險(xiǎn)和可靠性問題.

為了避免基于情緒驅(qū)動(dòng)的適老性智能家居應(yīng)用出現(xiàn)負(fù)面情況，系統(tǒng)應(yīng)該加強(qiáng)隱私保護(hù)和數(shù)據(jù)安全，采取措施防止數(shù)據(jù)泄露.

5 情緒分析模型

5.1 模型框架

如圖4 所示是我們提出的情緒分析模型的總體框架.由于人機(jī)語(yǔ)音交互和老人面部識(shí)別是機(jī)器識(shí)別老人情緒的重點(diǎn)，所以本文將文本模態(tài)、視覺模態(tài)和聽覺模態(tài)作為關(guān)鍵模態(tài)，其他模態(tài)的信息則作為輔助.

圖4 情緒分析模型總體框架圖

整體的流程是，首先根據(jù)智慧大屏采集的特征信息將生理特征和環(huán)境特征拼接到文本特征、視覺特征和聽覺特征上.然后利用多模態(tài)特征編碼器對(duì)融合了生理特征和環(huán)境特征的三個(gè)模態(tài)的特征進(jìn)行上下文的編碼，然后將語(yǔ)言中一句話對(duì)應(yīng)三個(gè)模態(tài)的特征和老年用戶信息嵌入向量分別進(jìn)行拼接來構(gòu)建多模態(tài)的圖的結(jié)點(diǎn)，之后通過構(gòu)建特征結(jié)構(gòu)圖來進(jìn)行編碼，并進(jìn)入Graph-Transformer 訓(xùn)練[22]，最后送入一個(gè)全連接層來完成情緒分類.

5.2 多模態(tài)編碼器

人機(jī)交互過程中的上下文信息是十分重要的，我們通過相應(yīng)的模態(tài)編碼器為每個(gè)模態(tài)生成上下文感知的話語(yǔ)特征編碼.具體而言，我們應(yīng)用廣泛使用的預(yù)訓(xùn)練模型Roberta對(duì)文本模態(tài)進(jìn)行編碼，對(duì)于聽覺模態(tài)和視覺模態(tài)，我們應(yīng)用完全連接的網(wǎng)絡(luò)[23].老年人每個(gè)話語(yǔ)的上下文感知特征編碼可以公式化如下：

5.3 老年用戶信息嵌入

老年人的性格愛好等信息對(duì)心理特征的識(shí)別也很重要，為了對(duì)這個(gè)特征也有充分的考量，我們?cè)谔卣髦幸肓死夏耆擞脩舻那度胄畔?，然后再?gòu)造圖.老年人的個(gè)人信息可以用一個(gè)one-hot 向量si表示，而嵌入向量Si的具體計(jì)算公式如下所示[24]：

5.4 特征圖結(jié)構(gòu)

在本方案中，情緒分析是重點(diǎn)，而在情緒分析中，我們提出用圖結(jié)構(gòu)來表示多模態(tài)特征.鑒于人機(jī)對(duì)話是適老性智慧家居中的重要組成部分，因此以對(duì)話為例，本文特構(gòu)建一個(gè)有向圖來模擬人機(jī)交互中話語(yǔ)之間的相互作用.

首先，定義圖G＝（V，E，R，A），其中表示vi∈V 表示一個(gè)話語(yǔ)結(jié)點(diǎn)，r∈R 表示邊的類型.ei，j＝（vi，r，vj）表示兩個(gè)節(jié)點(diǎn)i 和j 之間的邊，ai，j∈A 表示ei，j的邊屬性.

（1）結(jié)點(diǎn)：對(duì)于一個(gè)話語(yǔ)un，本文采取通過多模態(tài)編碼器處理過后的特征向量和這句話對(duì)應(yīng)的老年人信息的嵌入向量的拼接作為節(jié)點(diǎn)表示，每個(gè)模態(tài)可以分別表示為：

（2）邊類型：我們?cè)O(shè)計(jì)了精細(xì)的關(guān)系模型，從而可以模擬老年人用戶在人機(jī)交互過程中的行為和意圖.由于老年人的話語(yǔ)可能出現(xiàn)含糊不清的情況，所以可能需要重復(fù)語(yǔ)音命令.鑒于過去的話語(yǔ)可以引導(dǎo)當(dāng)前話語(yǔ)的行動(dòng)，而未來話語(yǔ)可以用來預(yù)測(cè)意圖.因此，對(duì)于局部時(shí)間內(nèi)的兩個(gè)話語(yǔ)ui和uj，由于他們共享一個(gè)說話對(duì)象——智慧家居機(jī)器人，這意味著在局部時(shí)間內(nèi)的同一對(duì)話中，老年用戶的意圖信息會(huì)從ui傳遞到uj，我們將正向傳遞的信息稱為引導(dǎo)信息，關(guān)系表示為xWant.同時(shí)，當(dāng)信息反向時(shí)，即意圖信息從uj傳遞到ui時(shí)，表示可以揣摩在ui狀態(tài)下的意圖，我們稱反向傳遞的信息為揣摩信息，定義為xSpeculate.此外，老年人的當(dāng)前話語(yǔ)本身對(duì)自己的情緒變化也是有一定的影響的，所以一個(gè)話語(yǔ)可以是自連接的關(guān)系，自影響關(guān)系記為xEffect.

（3）邊：一條在兩個(gè)話語(yǔ)之間節(jié)點(diǎn)vi和vj之間的邊定義為ei，j＝（vi，r，vj）.本文認(rèn)為話語(yǔ)對(duì)語(yǔ)境話語(yǔ)的影響是局部有效的.因此，本文將屬于同一對(duì)話中同一模態(tài)的結(jié)點(diǎn)連接一條邊作為上下文信息建模，而將同一對(duì)話同一語(yǔ)句不同模態(tài)的結(jié)點(diǎn)連接作為不同模態(tài)的信息相互補(bǔ)充建模.

（4）邊屬性：與以往工作（只給邊賦一個(gè)權(quán)重）不同，我們引入常識(shí)知識(shí)來豐富具有不同關(guān)系的邊.幸運(yùn)的是，常識(shí)轉(zhuǎn)換器COMET 模型可以為我們所有關(guān)系提供這樣的功能[25].我們利用ATOMIC（一個(gè)基于if-Then 推理知識(shí)庫(kù)）訓(xùn)練COMET模型. 我們以COMET 的輸入格式連接un和一個(gè)帶有掩碼標(biāo)記的關(guān)系，然后COMET 處理輸入.

5.5 Graph-Transformer 訓(xùn)練

我們利用L-layer Grapr-Transformer 來在圖中傳播上下文相關(guān)性信息、心理信息和不同模態(tài)之間的信息互補(bǔ).

我們?yōu)槊總€(gè)話語(yǔ)節(jié)點(diǎn)vi∈V 表示為更新為：

其中N（i）是與目標(biāo)節(jié)點(diǎn)i 相連的源節(jié)點(diǎn)集合，mj為這些節(jié)點(diǎn)傳遞的信息，ai，j為注意評(píng)分，βi為殘差連接[26]的門操作，Ws為映射權(quán)重參數(shù)值.

5.6 情緒分類器

我們利用一個(gè)線性層作為預(yù)測(cè)情緒分類的分類器：

然后利用交叉熵?fù)p失函數(shù)[27]來訓(xùn)練這個(gè)模型，計(jì)算方式如下：

其中，yi是一個(gè)one-hot vector 表示第i 個(gè)話語(yǔ)的情緒向量，e 是每個(gè)情緒向量的維度表示.

6 安全性設(shè)計(jì)

智能家居應(yīng)用場(chǎng)景的特殊性，其安全問題不容忽視，一旦出現(xiàn)問題，不僅會(huì)泄露用戶家庭住址、用戶視頻影像、談話內(nèi)容等隱私信息，還可能造成經(jīng)濟(jì)與人身安全威脅，其中尤為突出的安全終端有智能門鎖、攝像頭、音箱、電視機(jī)、家庭網(wǎng)關(guān)等諸多終端設(shè)備.存在諸如門鎖被遠(yuǎn)程開啟，遠(yuǎn)程控制攝像頭，遠(yuǎn)程控制音箱、控制家庭網(wǎng)關(guān)盜取用戶銀行賬號(hào)密碼以及HTTP 請(qǐng)求非法篡改顯示非法視頻圖片內(nèi)容，收集家人聲音信息等網(wǎng)絡(luò)與信息安全風(fēng)險(xiǎn).

智能家居安全防護(hù)主要從服務(wù)云端、設(shè)備終端、手機(jī)控制APP、通信協(xié)議四個(gè)方面加強(qiáng)：

服務(wù)云端：確保安全的身份驗(yàn)證和訪問控制，采取Web 防護(hù)措施并定期進(jìn)行漏洞掃描和滲透測(cè)試，對(duì)敏感信息進(jìn)行加密存儲(chǔ)和備份修復(fù).

設(shè)備終端：設(shè)計(jì)安全的身份驗(yàn)證和訪問控制，對(duì)固件進(jìn)行加固和混淆，進(jìn)行軟件開發(fā)和測(cè)試并默認(rèn)關(guān)閉不必要的服務(wù)和端口.

手機(jī)控制APP：設(shè)計(jì)安全的身份驗(yàn)證和訪問控制，加強(qiáng)身份驗(yàn)證，及時(shí)關(guān)注官方升級(jí)公告，必須從正規(guī)官方下載地址下載升級(jí)包.

通信協(xié)議：采取安全的加密算法和通信協(xié)議，加強(qiáng)認(rèn)證過程，防止越權(quán)獲取用戶隱私信息，并采取防止重放攻擊的措施.

在云端、設(shè)備終端、手機(jī)控制APP 和通信協(xié)議中，對(duì)于敏感信息如用戶密碼等需要進(jìn)行加密存儲(chǔ)，以避免用戶隱私泄露.同時(shí)，定期進(jìn)行已知漏洞掃描和滲透攻擊工作，以及默認(rèn)關(guān)閉不必要的服務(wù)和端口也可以提高安全性.在通信協(xié)議方面，使用成熟且安全強(qiáng)度較高的通信協(xié)議也能夠防止協(xié)議被破解.

綜上所述，本文采取多重安全措施充分提高了云端、設(shè)備終端、手機(jī)控制APP 和通信協(xié)議的安全性，足以保護(hù)用戶的隱私和數(shù)據(jù)安全.

7 總結(jié)與展望

本文在全面深入分析了老年人心理特征的基礎(chǔ)上，結(jié)合5G、大數(shù)據(jù)和人工智能情緒識(shí)別等互聯(lián)網(wǎng)前沿技術(shù)，初步完成了基于心理特征驅(qū)動(dòng)的適老性智慧家居方案的設(shè)計(jì)，主要特色如下：

（1）基于老年用戶心理特征全面分析，深入老年人隨著年齡增長(zhǎng)的心理變化和對(duì)方案設(shè)計(jì)的指導(dǎo)作用.提出基于智慧大屏作為核心控制中心的智慧家居架構(gòu)設(shè)計(jì)，依托智慧大屏的顯示和交互能力的提升，令家居控制功能變得更智能，實(shí)現(xiàn)發(fā)現(xiàn)、連接、狀態(tài)顯示以及設(shè)備控制的一體化操作.

（2）本文通過構(gòu)建一個(gè)多模態(tài)情緒識(shí)別的模型，對(duì)老年用戶的情緒時(shí)刻做定性定量分析，聚焦于老年用戶在日常生活中心理特征的負(fù)面變化，并及時(shí)做出反饋，引導(dǎo)老年人的心理往積極向上的方向前進(jìn).

（3）本文探討了情緒反饋的設(shè)計(jì)，在結(jié)合不同場(chǎng)景下和老年人的情緒波動(dòng)變化后，設(shè)計(jì)出智慧家居的動(dòng)態(tài)反饋.

在后續(xù)的研究中，我們將繼續(xù)完善適老性智慧家庭的設(shè)計(jì)體系，以更加交叉性的知識(shí)作為依據(jù)，將其他相關(guān)學(xué)科納入設(shè)計(jì)概念，利用不同學(xué)科的優(yōu)勢(shì)來幫助老年用戶居家養(yǎng)老設(shè)計(jì)，使得適老性智慧家庭設(shè)計(jì)體系更加完善.