(陜西國防工業(yè)職業(yè)技術學院,西安 710300)
20世紀末,隨著網(wǎng)絡技術和傳感器技術快速發(fā)展,部分可穿戴式設備已經從概念化進入商用化[1]。2010年智能可穿戴相關產品開始逐漸成為產業(yè)和學術熱點,2012年由于谷歌眼鏡的研發(fā),智能可穿戴設備成為了下一個熱點智能終端產業(yè),并廣泛得到市場各界人士認同[2]。隨著整個產業(yè)逐步成熟發(fā)展,智能可穿戴設備不斷推陳出新,產品形式更加豐富多樣。伴隨著生活節(jié)奏加快和我國逐漸進入老齡化社會,現(xiàn)代人更加注重身體健康,可穿戴設備能對人體進行長期控制,可為醫(yī)院治療提供數(shù)據(jù)支持,用戶對此類智能穿戴設備認知度大幅提高,其需求受到積極影響,而且移動互聯(lián)網(wǎng)技術快速發(fā)展,使大數(shù)據(jù)得以應用,為可穿戴人機交互設備信息控制提供了必要條件[3]。
傳感應用可穿戴人機交互設備日趨成熟,隨著傳感器高效化、智能集成化、可視化和多功能發(fā)展,采用傳統(tǒng)二維表面信息控制模型受到觸控交互局限性,導致控制效果較差,因此,以慣性傳感器為主,設計了可穿戴人機交互設備信息控制模型。
慣性傳感器通過作用力引起傳感器內部敏感元件發(fā)生變形,通過測量變形量,并利用相關電路轉化成電壓輸出,得到相應的加速度信號,進而了解運動物體的運動狀態(tài)[4]。帶上可穿戴人機交互設備在行走或跑步時,設備隨之移動,慣性傳感器能記錄移動頻率,根據(jù)步頻可估算出人的速度、一段時間內的前進距離和消耗熱量,從而達到人體步數(shù)、行走距離和消耗的卡路里等運動量和睡眠時間、睡眠周期等睡眠質量的監(jiān)控。通過監(jiān)測心率來追蹤運動強度,不同的運動訓練模式等,并可以據(jù)其推算睡眠周期等關聯(lián)健康行動數(shù)據(jù)。通常慣性傳感器分為二軸、三軸、六軸、九軸,其中二軸慣性傳感器采用游絲擺錘式機械式的,能夠同時檢測兩個方向(x,y)上的加速度,相對來說不夠準確;三軸慣性傳感器采用電子式的,能夠同時檢測設備在三個方向(x,y,z)上的加速度,能更精準地檢測出用戶的運動狀態(tài);六軸慣性傳感器可實時輸出陀螺儀和加速計讀取到的數(shù)據(jù);九軸慣性傳感器,是一種組合慣性傳感器,可提升可穿戴裝置性能[5]。
在理想狀態(tài)下,如果對人體運動追蹤足夠準確,其運動軌跡是在空間中的連續(xù)曲線上,具有時間和空間連續(xù)性[6]。進入交互空間后,時間是具有連續(xù)性的,根據(jù)該特點可對任何一個時間點進行軌跡信息記錄;而空間連續(xù)性可用三維空間一條連續(xù)的曲線所描述,不會出現(xiàn)間斷。人機交互設備接觸與控制動作實際上是整個空間連續(xù)性的表達結果,在進行人體工作識別時,應將多段交互行為上的軌跡作為整個空間交互行為中的一部分。充分考慮平面接觸前、后整個過程的交互行為,因此,基于時間和空間連續(xù)性,將表面觸控當作三維交互動作,形成人體在表面與空間內部的行為。在通常情況下,隨著慣性傳感器設備數(shù)量的增加,各個交互通道帶寬之和就是交互設備信息帶寬總計,受到傳輸速率影響,慣性傳感器數(shù)量越來越多,交互能力就越來越弱。為了滿足多個點的智能控制,需使用電容交互技術顯示在屏幕表面;而離開屏幕表面的節(jié)點,需利用自電容感應技術進行控制[7]。由于單個設備交互層可包括壓力、面積多個信息,具有較高精度,而多個設備交互層包含了交互表面和大部分連續(xù)空間,只有不斷進行切換,才會保證交互帶寬與起始帶寬大小一致。多個設備交互層的交互空間包含了表面空間,優(yōu)于最頂層,具備接近表面層的交互帶寬,能夠獲取更大交互自由度[8]。
傳感器是可穿戴設備的核心器件,是人與物溝通的 “芯”,是開啟“感知時代”的大門,是產品功能差異化的重要硬件。以運動腕帶的智能穿戴設備為例,可以實時記錄和評估人體活動和健康狀況,包括實時記錄運動量、消耗的卡路里、監(jiān)測心率、血壓、睡眠質量甚至是紫外線指數(shù),還可以支持藍牙通話、定位跟蹤等功能。
基于人機交互空間信息分層處理,是在連續(xù)交互空間內對表面行為和混合行為進行統(tǒng)一處理,具體處理流程如圖1所示。
圖1 連續(xù)交互空間分層處理流程
由圖1可知:層次模型的構建是在交互空間基礎上,分別對應空中動作形態(tài)輸入、表面動作形態(tài)輸入、多個設備形態(tài)輸入[9]。人機交互設備可負責獲取輸入感知和輸出反饋信息,通過多個傳感器能夠感應不同層次人體行為輸入的實時空間位置信息,對于同一動作行為輸入,需要使用多個慣性傳感器來感應,因此,只有多個慣性傳感器感知條件下,才可進行數(shù)據(jù)自由匹配,并對多個慣性傳感器下的不同層次空間手勢進行數(shù)據(jù)采集,進而對輸入位置點進行轉換。
緩存人機交互設備空間位置點信息,在一定條件內設置策略,使其形成輸入信息軌跡,并對軌跡進行切分處理。對切分后軌跡進行裝配與分類,并識別人體動作行為輸入類型,根據(jù)行為輸入類型的不同,連接分段軌跡,依據(jù)人機交互應用屬性分析軌跡信息,并對其進行表面投影操作,形成交互原語,為人機交互設備信息控制模型建立奠定基礎。
利用可穿戴技術可將多媒體信息與無線通信技術結合起來,并嵌入交互設備之中,對人的手勢和眼動操作交互方式進行控制。為了能夠更好理解人機交互過程,根據(jù)上述提供的分層處理結果,結合光學心率傳感器、皮電反應傳感器、血壓傳感器和生物電阻抗傳感器對慣性傳感器對可穿戴人機交互設備信息控制模型進行設計。該模型可分為4個具體傳感階段,7個控制步驟,如果控制模型能夠正確反映執(zhí)行者交互行為動作,則說明該模型能夠有效對人機交互設備信息進行控制。
1)具體傳感階段:光學心率傳感器可通過監(jiān)測心率來追蹤運動強度,不同的運動訓練模式等,并可以據(jù)其推算睡眠周期等關聯(lián)的健康行動數(shù)據(jù);由于人類皮膚是一種導電體,皮膚電阻隨著汗腺機能變化而變化,因此皮電反應傳感器工作原理為:人體由于交感神經興奮,導致汗腺活動加強,分泌汗液增多,因汗內鹽成分較多使皮膚導電能力增強。當流汗時,不管是因為運動還是其他原因,皮電反應傳感器都可以檢測出來。如果在流汗,皮電反應傳感器可以收集到更多的數(shù)據(jù),更加精準地測出用戶在做什么運動,從而更好地進行健身追蹤。
血壓可衡量人體是否健康,通常血壓傳感器分為有創(chuàng)測量和無創(chuàng)測量兩類,有創(chuàng)測量是直接進行血壓測量,利用穿刺技術實現(xiàn)血管內放置導管后的有創(chuàng)測量,例如在做心臟診斷和治療時,需要監(jiān)測患者是否能夠進行有創(chuàng)血壓測量,如果可以,則將外界干擾降到最低,保證測量的有效性;而無創(chuàng)測量是利用空氣為介質的一種血壓間接測量方式,易收到外界干擾,可穿戴人機交互設備就采用此方法測量??纱┐魅藱C交互設備的測量血壓技術實現(xiàn)了無袖帶、非壓迫、實時連續(xù)、無需校準測量,實現(xiàn)了血壓的隨時、隨地監(jiān)測??纱┐魅藱C交互設備通過內置光學傳感器測量血壓的原理是在某一時間段對用戶的皮膚進行連續(xù)信號收集,通過對某一時間段連續(xù)圖像進行信號處理,得出該時間點皮膚對光的吸收變化。只要測得皮膚對光的吸收變化,可推算出動脈血液的流速變化,再通過流體模型可計算得出血壓的變化值;
生物傳感器進行心率、出汗水率、血壓、血氧數(shù)據(jù)采集存在的普遍問題是測量數(shù)據(jù)不夠準確,主要因為傳感器硬件本身和搭載算法的不成熟導致的。在未來的設計中首先要提高感知層設備之間的兼容性和優(yōu)化軟件的算法來確保數(shù)據(jù)傳輸過程中的準確性,還要充分利用大數(shù)據(jù)和云端互聯(lián)的優(yōu)勢,實現(xiàn)對人體健康指標數(shù)據(jù)的真實性。
2)控制步驟:該模型共有7個步驟,分別是目標建立、意向形成、指定動作排序、動作執(zhí)行、感知狀態(tài)、解釋狀態(tài)和評估狀態(tài),其中輸入與輸出共同構成界面,在交互流程中具有四個步驟,各個步驟都有各自描述語言,模型按照描述語言進行狀態(tài)分析,通過最后執(zhí)行階段完成設備信息控制。
人機交互設備信息控制模型設計如圖2所示。
圖2 人機交互設備信息控制模型
在圖2所示人機交互控制模型中,反映交互能力和執(zhí)行績效,方便用戶理解交互過程。對用戶目標描述,可完成目標交互任務描述;設計按鍵、移動鼠標操作符,可為用戶目標執(zhí)行提供基本操作能力;選擇預測方式來分解子目標,為用戶目標狀態(tài)作出決策。從控制模型中導出具體執(zhí)行方法,使用短暫估計記憶方式,分析人體狀態(tài)行為。
該模型是一種低層次物理模型,可將高層次交互行為分解,通過再次映射可形成低層次物理操作行為,方便預測一個低層次交互任務執(zhí)行階段所耗費的時間,數(shù)據(jù)表達式如下所示:
Te=T1+T2+T3+T4+T5+T6
(1)
公式(1)中:T1表示按鍵或移動鼠標操作時間、T2表示人體狀態(tài)定位時間;T3表示復位時間;T4表示移動動作耗費時間;T5表示決策時間;T6表示響應時間。對于用戶執(zhí)行情況,需從人類各種操作行為中提取出來,保證模型輸出表征人類操作活動的特征指數(shù),通過分析不同階段時間,可有效控制基于慣性傳感器的可穿戴人機交互設備信息。
根據(jù)上述構建的基于慣性傳感器的可穿戴人機交互設備信息控制模型,受到身體抖動影響,導致控制效果較差,因此,需進行相應處理。利用慣性傳感數(shù)據(jù)對身體抖動進行處理,采用自適應膚色分割法進行膚色分割,形成“行為檢測→狀態(tài)跟蹤漫游→按鍵或移動鼠標操作”的人機交互過程。
利用雙指數(shù)平滑濾波擬合和預測時間序列,其中趨勢因數(shù)為:
αn=χ(Qn-Qn-1)+(1-χ)αn-1
(2)
公式(2)中:χ為比例系數(shù),αn表示趨勢因子,可對當前相鄰濾波數(shù)值更新;αn-1表示上一刻趨勢因子,平滑趨勢因數(shù)序列;Qn表示傳感器平滑輸出值。根據(jù)該趨勢因子,可獲取傳感器濾波輸出值:
(3)
采用FPGA平臺驗證基于慣性傳感器的可穿戴人機交互設備信息控制模型的有效性,并對主要功能進行驗證與分析。
可穿戴人機交互設備中應用最多的慣性傳感器是LIS3DH和MPU6500兩種,智能設備中還用到ADXL362,BMA250,四種慣性傳感器的參數(shù)設置如表1所示。
表1 傳感器參數(shù)設置
根據(jù)該參數(shù),對實驗結果進行對比分析。
在人機交互設備信息控制過程中,人體運動力學速度如圖3所示。
圖3 人體運動力學速度
由圖3可知:當時間為0.1~0.2 s時,人機交互處于反映階段,速度在0~20 mm/s范圍內變化;當時間為0.2~0.85 s時,人機交互處于初級階段,速度在20~380 mm/s范圍內變化;當時間為0.85~1.2 s時,人機交互處于第二階段,速度在50~170 mm/s范圍內變化;當時間為1.2~1.4 s時,人機交互處于驗證階段,速度在0~100 mm/s范圍內變化。
根據(jù)人體運動力學速度,將傳統(tǒng)控制模型與基于慣性傳感器信息控制模型的雙指數(shù)濾波效果進行對比分析,結果如圖4所示。
圖4 兩種控制模型雙指數(shù)濾波效果
由圖4可知:當時間為0.2 s時,傳統(tǒng)模型雙指數(shù)濾波為22 db,基于慣性傳感器模型雙指數(shù)濾波為35 db,與實際值一致;當時間為0.6 s時,傳統(tǒng)模型雙指數(shù)濾波為36 db,基于慣性傳感器模型雙指數(shù)濾波為42 db,實際值為41 db;當時間為0.8 s時,傳統(tǒng)模型雙指數(shù)濾波為38 db,基于慣性傳感器模型雙指數(shù)濾波為45 db,與實際值一致;當時間為1.0 s時,傳統(tǒng)模型雙指數(shù)濾波為53 db,基于慣性傳感器模型雙指數(shù)濾波為45 db,實際值為46 db;當時間為1.2 s時,傳統(tǒng)模型雙指數(shù)濾波為41 db,基于慣性傳感器模型雙指數(shù)濾波為52 db,實際值為50 db;當時間為1.6 s時,傳統(tǒng)模型雙指數(shù)濾波為51 db,基于慣性傳感器模型雙指數(shù)濾波為57 db,與實際值一致。
根據(jù)上述控制模型雙指數(shù)濾波對比效果可知,基于慣性傳感器模型雙指數(shù)濾波與實際值更為接近,說明該模型對設備信息控制能力較強,為了驗證該模型具有良好控制效果,將傳統(tǒng)模型與該模型進行對比分析,結果如圖5所示。
圖5 兩種模型控制效果對比分析
如圖5所示結果可知:傳統(tǒng)模型的控制效率呈下降趨勢,而基于慣性傳感器模型控制效率呈上升趨勢。當時間處于人機交互反映階段時,傳統(tǒng)模型控制效率最高為65%,最低為40%?;趹T性傳感器模型控制效率最高為82%,最低為71%;當時間處于人機交互初級階段時,傳統(tǒng)模型控制效率最高為71%,最低為25%。基于慣性傳感器模型控制效率最高為86%,最低為70%;當時間處于人機交互第二階段時,傳統(tǒng)模型控制效率最高為36%,最低為25%?;趹T性傳感器模型控制效率最高為88%,最低為75%;當時間處于人機交互驗證階段時,傳統(tǒng)模型控制效率最高為52%,最低為18%?;趹T性傳感器模型控制效率最高為91%,最低為72%。因此,基于慣性傳感器模型控制效率較高。
根據(jù)上述實驗結果可得出實驗結論,如表2所示。
表2 實驗結論 %
由表2可知,當時間為0.2 s時,兩種模型對可穿戴人機交互設備信息控制效率相差最??;當時間為1.2 s時,兩種模型對可穿戴人機交互設備信息控制效率相差最大。由此可知,基于慣性傳感器的可穿戴人機交互設備信息控制模型研究是具有有效性的。
通過運動傳感器可實時監(jiān)測運動狀態(tài),實時測量人體的脈搏、血壓等生理狀態(tài),完成健康預警和病情監(jiān)控功能,采用傳統(tǒng)控制模型尚不成熟,這是導致獲取數(shù)據(jù)不夠精確主要原因。提出基于慣性傳感器的可穿戴人機交互設備信息控制模型,經過實驗對比結果可知,基于慣性傳感器的可穿戴人機交互設備信息控制模型研究是具有有效性的,當時間為0.2 s時,基于慣性傳感器模型對可穿戴人機交互設備信息控制效率最低,為72%;當時間為1.6 s時,基于慣性傳感器模型對可穿戴人機交互設備信息控制效率最高,為91%。因此,該模型具有較高控制效率。只要不斷進行傳感器技術創(chuàng)新,相信可穿戴設備很有可能稱為下一代主流電子終端產品。