環(huán)繞智能環(huán)境多模態(tài)數(shù)據(jù)融合技術(shù)研究*

何 堅,宋 玥,沈坤花,劉金偉

(1.北京工業(yè)大學軟件學院,北京 100124;2.北京工業(yè)大學信息中心,北京 100124)

?

環(huán)繞智能環(huán)境多模態(tài)數(shù)據(jù)融合技術(shù)研究*

何 堅1*,宋 玥1,沈坤花1,劉金偉2

(1.北京工業(yè)大學軟件學院,北京 100124;2.北京工業(yè)大學信息中心,北京 100124)

針對環(huán)繞智能環(huán)境中感知數(shù)據(jù)類型不同、格式多樣問題,設計了基于XML的數(shù)據(jù)表示方法。其次,提出數(shù)據(jù)級和決策級相結(jié)合的數(shù)據(jù)融合架構(gòu),解決了環(huán)繞智能環(huán)境數(shù)據(jù)存在的異質(zhì)、弱關(guān)聯(lián)問題。最后,設計實現(xiàn)了基于加權(quán)自適應和模糊邏輯的數(shù)據(jù)融合算法,并應用于環(huán)繞智能環(huán)境監(jiān)測,實驗證明本技術(shù)可有效抑止傳感器精度差異及噪聲等因素導致的感知數(shù)據(jù)漂移問題,提高了系統(tǒng)決策的準確性。

環(huán)繞智能;數(shù)據(jù)融合;模糊邏輯;多模態(tài)

針對傳統(tǒng)計算模式以計算設備為中心、難以真正融入人們的工作和生活的問題,Mark Weiser提出了普適計算的思想,強調(diào)把計算機嵌入到生活、工作環(huán)境或日常工具中去,讓人們注意力的中心回歸到要完成的任務本身[1]。歐盟相應提出了環(huán)繞智能AmI(Ambient Intelligence)[2]的概念,強調(diào)“無所不在的計算”,“無所不在的通信”及“無所不在的接口”[3]。AmI系統(tǒng)以不同傳感器為紐帶,自動感知環(huán)境中溫度、濕度以及用戶的語音、手勢等多模態(tài)數(shù)據(jù),并融合這些多模態(tài)數(shù)據(jù)為用戶提供個性化的服務[4]。由于AmI環(huán)境中數(shù)據(jù)類型不同、格式多種多樣,如何高效描述并融合其中的數(shù)據(jù)是AmI研究的一個重點問題。

本文在分析AmI環(huán)境數(shù)據(jù)特點基礎上,建立了基于XML的數(shù)據(jù)表示方法,提出了數(shù)據(jù)級和決策級[5]結(jié)合的AmI數(shù)據(jù)融合架構(gòu),設計了基于加權(quán)自適應[6]和模糊邏輯[7]的數(shù)據(jù)融合算法,并應用于AmI環(huán)境監(jiān)測。

1 AmI中多模態(tài)數(shù)據(jù)融合模型

與用戶通過鼠標、鍵盤等設備被動與計算機交互的傳統(tǒng)模式不同,AmI環(huán)境能自動感知用戶所處環(huán)境狀態(tài)和交互的數(shù)據(jù)[8]。針對AmI中數(shù)據(jù)的類型、格式不盡相同的問題,本文建立了基于XML的感知數(shù)據(jù)表示方法,并提出了相應數(shù)據(jù)融合架構(gòu)。

1.1 AmI中感知數(shù)據(jù)表示

在AmI環(huán)境中,用戶通過移動手持設備(如智能手機等)及可穿戴計算設備(如活動感知背心等)同系統(tǒng)進行交互。同時,分布于AmI環(huán)境中的不同傳感器自動感知環(huán)境狀態(tài)(如環(huán)境的溫度、光線強度等)。因此,在AmI環(huán)境中存在著大量的數(shù)據(jù)感知設備,這些設備的類別、工作方式不盡相同,使得AmI環(huán)境中的數(shù)據(jù)具有與時空、設備等相關(guān)的多模態(tài)特性。例如,通過GPS感知的用戶位置信息包括時間、經(jīng)度、緯度;而三軸加速度感知的數(shù)據(jù)包括設備ID、時間以及在X、Y、Z三軸向的加速度。為了適應AmI數(shù)據(jù)的多模態(tài)特征,確保數(shù)據(jù)在感知節(jié)點和不同Agent間高效傳輸和解析[9],本文設計了基于XML的感知數(shù)據(jù)表示方法,如圖1所示。

圖1 基于XML的感知數(shù)據(jù)表示

以下是可穿戴計算背心上陀螺儀傳感器感知的3軸角速度數(shù)據(jù)示例。

encoding="ISO-8859-1"?>

…

1.2 AmI中多模態(tài)數(shù)據(jù)融合架構(gòu)

AmI環(huán)境中不同傳感器從物理空間獲得的原始數(shù)據(jù)具有異質(zhì)、弱關(guān)聯(lián)等特性[10],需要進行預處理和數(shù)據(jù)級融合,以抑制傳感器精度差異及噪聲等導致的感知數(shù)據(jù)漂移問題。同時,需要通過模糊變換將數(shù)據(jù)級融合產(chǎn)生的多維數(shù)值結(jié)果轉(zhuǎn)換為自然語言符號描述的定性結(jié)果,即通過決策融合建立物理空間與信息空間的對偶關(guān)系[11],進而為用戶提供個性化服務。

本文設計了數(shù)據(jù)級和決策級相結(jié)合的AmI多模態(tài)數(shù)據(jù)融合架構(gòu),如圖2所示。

其中,數(shù)據(jù)級融合針對相同類別傳感器的數(shù)據(jù)融合。由于自適應加權(quán)算法能克服單傳感器的不確定性,且不需要傳感器測量數(shù)據(jù)的任何先驗知識。因此本文采用自適應加權(quán)算法實現(xiàn)數(shù)據(jù)融合,進而通過抑制感知數(shù)據(jù)的漂移和噪聲來提高系統(tǒng)精度。決策級融合需要針對不同類別傳感器數(shù)據(jù)的相關(guān)因素進行綜合考慮,以獲得識別結(jié)果和權(quán)重進而做出最后決策。對此,本文選取模糊綜合評判方法實現(xiàn)決策級數(shù)據(jù)級融合。通過對不同類別傳感器數(shù)據(jù)進行模糊變換,生成自然語言符號描述的定性結(jié)果,并依據(jù)AmI中的規(guī)則和策略做出全局最優(yōu)決策。

圖2 AmI環(huán)境中多模態(tài)數(shù)據(jù)融合架構(gòu)

2 AmI中多模態(tài)數(shù)據(jù)融合算法

針對AmI環(huán)境數(shù)據(jù)存在異質(zhì)、弱關(guān)聯(lián)的特征,本文采用基于自適應加權(quán)和模糊邏輯的數(shù)據(jù)融合算法。下面介紹相關(guān)算法。

2.1 基于自適應加權(quán)的數(shù)據(jù)級融合算法

AmI環(huán)境存在類型不同的傳感器,造成感知數(shù)據(jù)的類型、精度不盡相同。對此,本文采用自適應加權(quán)算法對感知數(shù)據(jù)的均方差、測量精度等融合,通過抑制感知數(shù)據(jù)的漂移和噪聲來提高系統(tǒng)精度。如圖3所示,設有n個傳感器對被測對象進行數(shù)據(jù)采樣,各傳感器感知數(shù)據(jù)的權(quán)值不盡相同,在總均方差最小這一最優(yōu)條件下,通過自適應調(diào)整每個傳感器的權(quán)值使得融合后的數(shù)據(jù)達到最優(yōu)。

圖3 多傳感器自適應加權(quán)數(shù)據(jù)融合模型

(1)

(2)

總均方差為:

(3)

因為X1,X2,…,Xn彼此獨立且為X的無偏估計,所以E[(X-Xi)(X-Xj)]=0(i≠j;i=1,2,…,n;j=1,2,…,n),故σ2可寫為:

(4)

從式(4)可以看出,總均方差σ2是關(guān)于各加權(quán)系數(shù)W1,W2,…,Wn的多元二次函數(shù),因此σ2必然存在最小值。該最小值可由滿足式(2)的加權(quán)因子W1,W2,…,Wn求極值得到。依據(jù)拉格朗日定律,可計算出σ2取最小值時所對應的加權(quán)系數(shù)Wi為:

(5)

此時對應的最小均方差為:

(6)

當估計真值X為常量時,可通過各個傳感器歷史數(shù)據(jù)的均值來估計。其中,針對第i個傳感器的k次測量,其平均值為:

(7)

第i個傳感器的方差為:

(8)

此時的估計值為:

(9)

2.2 基于模糊邏輯的決策級融合算法

在AmI環(huán)境中,設V是m類傳感器的集合,即V=(v1,v2,…,vm);U是系統(tǒng)可能的n個決策,即U=(u1,u2,…,un)。對i類傳感器vi而言,對其決策結(jié)果歸一化后得到其對決策融合中心的輸入向量ri=(ri1,ri2,…,rin)。對?vi∈V,ri向量組成m×n決策矩陣R。

在決策級融合時,不同類傳感器的作用程度各不相同,因此每類傳感器的權(quán)重不盡相同,它是V上的模糊子集,即模糊向量子集A=(a1,a2,…,am),其中ai=μ(vi),i=(1,2,…,m),滿足:

(10)

在決策級融合中,傳感器權(quán)重向量A與決策矩陣R的合成結(jié)果為決策集上的模糊子集。即

(11)

在決策級融合的全局估計中,輸入為合成運算的結(jié)果B,采用最大隸屬度的方法最終確定全局估計A[12]。即

A∈F(ui),i=(1,2,…,n),ui∈U

(12)

若存在i0使得Ai0=max{A1,A1,…,An},則判定u∈Ai0。

3 系統(tǒng)實驗及結(jié)果分析

課題組以北京工業(yè)大學嵌入式計算研究所開發(fā)的環(huán)繞智能原型系統(tǒng)AmI-Space為基礎,采用ZigBee搭建了AmI環(huán)境監(jiān)測系統(tǒng)。分布于AmI環(huán)境中的多傳感器采集環(huán)境中的溫度、濕度、CO2數(shù)據(jù),通過上述多模態(tài)數(shù)據(jù)融合技術(shù)計算室內(nèi)環(huán)境綜合指數(shù),并依據(jù)計算結(jié)果執(zhí)行相關(guān)策略活動。例如,啟動、關(guān)閉空調(diào)等。

3.1 環(huán)繞智能中環(huán)境監(jiān)測系統(tǒng)實現(xiàn)

圖4所示為基于ZigBee的AmI環(huán)境監(jiān)測拓撲結(jié)構(gòu)。系統(tǒng)總體由負責數(shù)據(jù)采集、傳輸?shù)母兄糠趾瓦\行于服務器上的數(shù)據(jù)融合軟件構(gòu)成。感知部分由集成了ZigBee的溫度、濕度、CO2數(shù)據(jù)采集節(jié)點,以及基于ZigBee的路由節(jié)點和數(shù)據(jù)網(wǎng)關(guān)構(gòu)成;服務器端軟件實現(xiàn)基于自適應加權(quán)和模糊邏輯的數(shù)據(jù)融合算法。實驗中,溫度、濕度和CO2感知節(jié)點各包含3個節(jié)點,考慮到室內(nèi)各區(qū)域空氣的物理參數(shù)(如溫度、濕度、污染物濃度等)分布均勻一致[13],因此本文將每種傳感器的3個節(jié)點均勻分布于AmI環(huán)境(分別部屬于近窗、近門和室內(nèi)中心位置)。

圖4 基于ZigBee的AmI環(huán)境監(jiān)測拓撲圖

表1和表2所示為國家標準GB/T 18883—2002中部分室內(nèi)環(huán)境質(zhì)量評價指標建議值和相關(guān)等級標準[14]。

表1 我國部分室內(nèi)環(huán)境質(zhì)量評價指標建議值

表2 室內(nèi)環(huán)境質(zhì)量等級標準

3.2 實驗結(jié)果分析

表3所示為AmI環(huán)境中溫度、濕度和CO23類傳感器,共9個數(shù)據(jù)采集節(jié)點所采集的5組實驗數(shù)據(jù)。其中,溫度測量單位為℃,濕度測量單位為%RH,氣體測量單位為10-6。

表3 傳感器采集的溫度、濕度和CO2數(shù)據(jù)

表4 傳感器數(shù)據(jù)融合處理結(jié)果

表5為與表3相同時間點AmI環(huán)境數(shù)據(jù)的實際檢測值,以及數(shù)據(jù)融合值及平均值。由表5可知自適應加權(quán)融合數(shù)據(jù)值更接近于實際檢測值,說明該算法可減小數(shù)據(jù)測量的誤差和不穩(wěn)定性。

表5 室內(nèi)環(huán)境數(shù)據(jù)對比表

此外,表4實驗結(jié)果表明測量精度高的傳感器具有高的加權(quán)系數(shù),使得在硬件設計等因素不變情況下,提高了系統(tǒng)的檢測精度,為決策級融合提供更準確的數(shù)據(jù)。

本文采用幾何平均法作為AmI環(huán)境質(zhì)量綜合指數(shù)的計算方法。具體方法為:

(13)

其中,I為室內(nèi)環(huán)境質(zhì)量綜合指數(shù),xi為室內(nèi)環(huán)境質(zhì)量因素測量值,xmax為該因素允許的最大值。

以上述數(shù)據(jù)級融合數(shù)據(jù)為基礎,通過模糊變換并應用式(13)求得AmI環(huán)境質(zhì)量綜合指數(shù)I等于0.95。對比表2的綜合指數(shù),可知AmI環(huán)境等級為Ⅰ(很好);同時,將融合值25.17,49.368,722.043與表1對比,可知各檢測參數(shù)均不超標。

4 結(jié)論

針對AmI環(huán)境中感知數(shù)據(jù)類型不同、格式多樣等特征,本文在分析提煉AmI環(huán)境中數(shù)據(jù)特點的基礎上,設計了基于XML的數(shù)據(jù)表示方法。其次,針對AmI中感知數(shù)據(jù)具有異質(zhì)、弱關(guān)聯(lián)的特性,提出了數(shù)據(jù)級和決策級相結(jié)合的數(shù)據(jù)融合構(gòu)架,設計了基于加權(quán)自適應和模糊邏輯的數(shù)據(jù)融合算法,并應用于AmI環(huán)境監(jiān)測。實驗結(jié)果表明,本技術(shù)可有效抑止傳感器精度差異及噪聲等因素導致的感知數(shù)據(jù)漂移問題,提高系統(tǒng)決策的準確性。課題組下一階段將研究AmI中系統(tǒng)策略與服務的關(guān)聯(lián)技術(shù),進而為用戶提供個性化的服務。

[1] Mark Weiser.The Computer for the Twenty First Century[J].Scientific American,1991,265(3):94-104.

[2]Ducatel K,Bogdanowicz M,Scapolo F,et al.Scenarios for Ambient Intelligence in 2010[EB/OL].[20 10-08-28].http://www.philips.co.kr/Assets/Download-ablefile/eur19763en-1505.pdf.

[3]van der Poel C,Pessolano F,Roovers R,et al.On Ambient Intelligence,Needful Things and Process Technologies[C]//Proceeding of the 30th European Conforence on Solid-State Circuits.Belgium:[s.n.].2004:3-10.

[4]何堅,李輝,張勇,等.環(huán)繞智能中基于投票權(quán)重的HMM人臉識別系統(tǒng)[J].北京工業(yè)大學學報,2009,35(增刊):44-49.

[5]黃漫國,樊尚春,鄭德智,等.多傳感器數(shù)據(jù)融合技術(shù)研究進展[J].傳感器與微電子,2010,29(3):5-8.

[6]廖惜春,丘敏,麥漢榮.基于參數(shù)估計的多傳感器數(shù)據(jù)融合算法研究[J].傳感技術(shù)學報,2007,20(1),193-197.

[7]張兆禮,孫圣和,王祁.多傳感器數(shù)據(jù)融合中基于模糊邏輯和神經(jīng)網(wǎng)絡的傳感器管理[J].傳感器技術(shù)學報,2000,13(4):267-271.

[8]何堅,張勇,侯義斌,等.環(huán)繞智能系統(tǒng)結(jié)構(gòu)設計及身份感知Agent實現(xiàn)[J].北京航空航天大學學報,2008,34(10):1163-1167.

[9]張會兵,侯義斌,黃樟欽,等.環(huán)繞智能環(huán)境下自適應服務選擇方法研究[J].小型微型計算機系統(tǒng),2011,32(8):1599-1603.

[10]劉濤.信息融合算法及其應用研究[D].南京:南京郵電大學,2013.

[11]徐光祐,陶霖密,史元春,等.普適計算模式下的人機交互[J].計算機學報,2007,30(7):1041-1053.

[12]張曉亮,羅文廣.多傳感器數(shù)據(jù)融合技術(shù)在室內(nèi)環(huán)境品質(zhì)監(jiān)控系統(tǒng)中的應用[J].儀表技術(shù)與傳感器,2012(2):103-105.

[13]Inard C,Bouia H,Dalicieux P.Prediction of Air Temperature Distribution in Buildings with a Zonal Model[J].Energy and Buildings,1996,24:125-132.

[14]沈晉明.室內(nèi)空氣品質(zhì)的評價[J].暖通空調(diào),1997,27(4):22-25.

何堅(1969-),博士,北京工業(yè)大學副教授,主要研究領(lǐng)域為嵌入式系統(tǒng)、物聯(lián)網(wǎng)和軟件工程,Jianhee@bjut.edu.cn;

宋玥(1989-),北京工業(yè)大學碩士研究生,主要研究領(lǐng)域為嵌入式系統(tǒng)、多通道人機交互技術(shù),shellingfordsy@hotmail.com。

TechnologyonMulti-ModalityDataFusioninAmbientIntelligence*

HEJian1*,SONGYue1,SHENKunhua1,LIUJinwei2

(1.School of Software Engineering,Beijing University of Technology,Beijing 100124,China;2.Information Center,Beijing University of Technology,Beijing 100124,China)

According to the type and format diversity of Ambient Intelligent(AmI)environmental data,a XML-based representation for AmI data is firstly designed.Meanwhile,an architecture combining the data level and decision level data fusion is proposed to solve the AmI data problems on heterogeneity and weak association.Finally,a data fusion algorithm based on weighted adaptive and fuzzy logic is designed,and applied to AmI environmental monitoring.The experiment shows that this technology can reduce the error of data measurement and instability,and improve the decision accuracy of the system.

ambient intelligence;data fusion;fuzzy logic;multi-modality

項目來源:國家自然科學基金項目(61040039,61201361);北京市自然科學基金項目(4102005,4122010);北京市教委科研計劃項目(KM201210005029)

2014-03-23修改日期:2014-06-11

10.3969/j.issn.1004-1699.2014.07.010

TP391

:A

:1004-1699(2014)07-0905-05