信息物理融合系統(tǒng)中基于多模態(tài)數(shù)據(jù)的事件模型研究

高靜 李建中

摘 要：在信息物理融合系統(tǒng)中，通過(guò)部署在系統(tǒng)區(qū)域內(nèi)的傳感器節(jié)點(diǎn)來(lái)獲得物理世界的信息。信息物理融合系統(tǒng)通常包含若干個(gè)異構(gòu)的無(wú)線傳感器網(wǎng)絡(luò)。這些異構(gòu)網(wǎng)絡(luò)包含不同類型的傳感器節(jié)點(diǎn)，這些節(jié)點(diǎn)具有不同的感知、計(jì)算和通信能力。將異構(gòu)的傳感器節(jié)點(diǎn)獲得的不同類型的感知數(shù)據(jù)融合是一個(gè)十分重要并亟待解決的問(wèn)題。在本文中，我們提出了基于多模態(tài)數(shù)據(jù)的事件模型，以事件為載體將多種不

同模態(tài)的數(shù)據(jù)融合計(jì)算。文中描述并定義了信息物理融合系統(tǒng)中的事件，給出了基本事件和復(fù)合事件的定義，并提出了事件的合成規(guī)則。

關(guān)鍵詞：信息物理融合系統(tǒng)；多模態(tài)數(shù)據(jù)；事件

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)號(hào)：A 文章編號(hào)：2095-2163（2015-）02-

Research on Multi-Modal Data based Event Model in Cyber-Physical Systems

GAO Jing， LI Jianzhong

（School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China）

Abstract： In Cyber-Physical Systems（CPS）， the information about physical world is obtained by sensors deployed in the system area. Generally， a CPS is composed by several heterogeneous wireless sensor networks. Heterogeneous sensor nodes in these networks have different capabilities in terms of sensing， computing and communication. Jointly processing the multi-modal data generated by heterogeneous sensors is an important problem. This paper proposes multi-modal event model， which interstates multi-modal data by events. The definitions and descriptions of atomic event and complex event， the composition rules of the event are proposed in this paper.

Keywords： Cyber-Physical System； Multi-Modal Data； Event

0 引言

近年來(lái)，隨著信息技術(shù)的飛速發(fā)展和日益成熟，特別是通信技術(shù)、嵌入式計(jì)算技術(shù)、感知技術(shù)和自動(dòng)控制技術(shù)取得的巨大成就和長(zhǎng)足進(jìn)步，使得將計(jì)算過(guò)程與物理過(guò)程融合的信息物理融合系統(tǒng)（CPS，Cyber-Physical System）引起了各國(guó)政府、學(xué)術(shù)界和商業(yè)界的高度重視和廣泛關(guān)注[1-2]。

信息物理融合系統(tǒng)是一個(gè)包羅計(jì)算、網(wǎng)絡(luò)和物理環(huán)境在內(nèi)的多維綜合復(fù)雜系統(tǒng)，通過(guò)3Cs（Computation、Communication、Control）技術(shù)的有機(jī)融合與深度協(xié)作，實(shí)現(xiàn)信息世界與物理世界的緊密融合[3-10]。

CPS構(gòu)造了計(jì)算、通信與物理系統(tǒng)的一體化設(shè)計(jì)，即可使系統(tǒng)更加可靠、高效、實(shí)時(shí)協(xié)同，因而其應(yīng)用前景勢(shì)必廣闊而寬泛。CPS 的意義將物理設(shè)備聯(lián)網(wǎng)，特別是連接到互聯(lián)網(wǎng)上，使得物理設(shè)備具有計(jì)算、通信、精確控制、遠(yuǎn)程協(xié)調(diào)和自治等豐富功能。CPS 把通信放在與計(jì)算和控制同等地位上，有學(xué)者認(rèn)為，CPS將讓整個(gè)世界互聯(lián)起來(lái)。如同互聯(lián)網(wǎng)改變了人與人的互動(dòng)一樣，CPS將會(huì)改變?nèi)祟惻c物理世界的互動(dòng)。近年來(lái)，CPS不僅已成為國(guó)內(nèi)外學(xué)術(shù)界和科技界研究開發(fā)的重要方向，預(yù)計(jì)也將成為企業(yè)界著重發(fā)展的重點(diǎn)優(yōu)先產(chǎn)業(yè)領(lǐng)域。開展CPS研究與應(yīng)用對(duì)于加快我國(guó)培育推進(jìn)工業(yè)化與信息化融合具有重要意義。

CPS與人類的生活和社會(huì)的發(fā)展密切相關(guān)，并已在軍事和生活中獲得廣泛的應(yīng)用，具體包括航天航空、軍事偵察、智能電網(wǎng)系統(tǒng)、智能交通、智能醫(yī)療、環(huán)境監(jiān)測(cè)、工業(yè)控制等領(lǐng)域。相應(yīng)來(lái)說(shuō)，智能醫(yī)療系統(tǒng)是CPS的一種典型應(yīng)用，其將醫(yī)療設(shè)備作為節(jié)點(diǎn)，通過(guò)有線或者無(wú)線的方式互聯(lián)，可為人們提供實(shí)時(shí)、安全、可靠的醫(yī)療服務(wù)。在智能交通系統(tǒng)中，道路、橋梁、路口、交通信號(hào)等信息都會(huì)被實(shí)時(shí)監(jiān)控，這些海量信息也將通過(guò)系統(tǒng)進(jìn)行分析、發(fā)布、計(jì)算，使道路上的車輛能夠?qū)崟r(shí)共享道路信息，而道路管理人員則可通過(guò)該系統(tǒng)實(shí)時(shí)監(jiān)控各重點(diǎn)路段的情況，必要時(shí)甚至可以發(fā)布消息引導(dǎo)車輛行駛，從而改善現(xiàn)有的城市交通狀況。智能電網(wǎng)使用CPS系統(tǒng)實(shí)時(shí)監(jiān)測(cè)、遠(yuǎn)程控制等功能，使各種分布式電源精確、安全地接入電網(wǎng)，是典型的CPS應(yīng)用。在工業(yè)界被廣泛使用的物聯(lián)網(wǎng)也是CPS的一種簡(jiǎn)單應(yīng)用，通過(guò)將物品接入網(wǎng)絡(luò)，以實(shí)現(xiàn)物品識(shí)別、定位、監(jiān)控等功能?？傊?，CPS的深入研究和成果應(yīng)用將改變物理世界與信息世界的交互方式，其理論研究和關(guān)鍵技術(shù)具有重要的實(shí)際應(yīng)用價(jià)值。

在部分應(yīng)用中，CPS可以看作是事件驅(qū)動(dòng)的閉環(huán)過(guò)程，物理世界和對(duì)象的狀態(tài)變化觸發(fā)CPS的事件，系統(tǒng)通過(guò)感知部件獲得事件信息，并展開事件數(shù)據(jù)的融合過(guò)程，最后經(jīng)過(guò)分析產(chǎn)生決策，進(jìn)而控制執(zhí)行器完成對(duì)物理事件的作用。因此，事件模型是CPS系統(tǒng)模型研究中的重要組成部分。

本文提出基于多模態(tài)數(shù)據(jù)的事件模型。這些由多模態(tài)的數(shù)據(jù)組成的復(fù)雜事件能夠幫助我們更好地理解物理世界。

1 相關(guān)工作

文獻(xiàn)[11]提出了一種CPS架構(gòu)以及對(duì)應(yīng)的事件模型。該模型能夠統(tǒng)一信息物理融合系統(tǒng)中異構(gòu)的設(shè)備對(duì)事件的不同描述。根據(jù)信息物理融合系統(tǒng)的層次結(jié)構(gòu)，文中將事件也劃分出不同的層次，例如物理世界發(fā)生的事件、傳感器事件、信息系統(tǒng)事件等等。此外，文中還提出了考慮屬性信息、時(shí)間信息和空間信息的事件模型，使用該模型來(lái)刻畫物理世界和信息世界的交互。

文獻(xiàn)[12]提出了基于概念格的事件模型。該模型使用概念格來(lái)定義信息物理融合系統(tǒng)中事件的復(fù)合方式。文中提出的模型不僅能夠描述分布式的異構(gòu)事件的信息，還能夠刻畫事件在物理世界和信息世界的合成方法。文中提出的事件模型包括三個(gè)組成部分：事件的類別以及內(nèi)部和外部屬性，這些信息用來(lái)描述事件發(fā)生的時(shí)間和地點(diǎn)，以及時(shí)間的觀察者。文中將觀察者視為事件，并因此形成了完整的概念格。基于此，則使用和擴(kuò)展了概念格理論，并進(jìn)一步提出并定義了一系列滿足時(shí)間和空間約束的事件合成函數(shù)。同時(shí)，文中使用智能家居作為模型的典型應(yīng)用，并測(cè)試和實(shí)現(xiàn)了CPS 的事件模擬器。

文獻(xiàn)[13]提出了一種自適應(yīng)的CPS離散事件模型。文中指出，CPS涉及大量的事件，從底層的信號(hào)到高層的抽象事件。為了合成不同層次的事件，文獻(xiàn)[14]提出了基于概念格的事件模型，這種模型使用一階邏輯作為合成規(guī)則。但是文獻(xiàn)[14]仍然存在一階邏輯合成規(guī)則的不一致性問(wèn)題。初始設(shè)計(jì)中沒(méi)有考慮到的意外事件可能嚴(yán)重地影響系統(tǒng)的性能，甚至造成系統(tǒng)失效。為了解決這些問(wèn)題，文中提出了自適應(yīng)的離散事件模型，該模型使用離散事件演算（Discrete Event Calculus）來(lái)克服一階邏輯合成規(guī)則中的不一致問(wèn)題。另外，文中定義了異常事件規(guī)則作為CPS事件模型的自適應(yīng)部分，這些規(guī)則能夠解決意外事件的問(wèn)題。但是，文中系統(tǒng)的自診斷過(guò)程并沒(méi)有提煉為形式化規(guī)則，因而亟需進(jìn)一步的研究工作。

2事件模型

2.1 事件的定義

在信息物理融合系統(tǒng)中，一類事件E可以看作從時(shí)間和空間維到布爾變量{true， false}的映射：

E：（T， S） → {true， false}

其中，當(dāng)E（T， S）=true時(shí)，表示事件E在時(shí)間T和空間S上發(fā)生；E（T， S）=false表示在時(shí)間T和空間S上沒(méi)有事件E發(fā)生。

在上面定義中，E表示事件的類別，通常根據(jù)某些屬性上的數(shù)據(jù)信息來(lái)定義，也可用來(lái)區(qū)分各種不同的事件。

T表示事件發(fā)生的時(shí)間。在物理世界中，一些事件是瞬時(shí)事件，一些事件的發(fā)生卻具有一定的持續(xù)時(shí)間。對(duì)于瞬時(shí)事件，使用檢測(cè)到該事件的周期t來(lái)表示該事件的時(shí)間；對(duì)于連續(xù)事件，則可使用第一次檢測(cè)到事件的采樣周期tB和最后一次檢測(cè)該事件的周期t來(lái)表示時(shí)間區(qū)間[tB， tE]。

在信息物理融合系統(tǒng)中，S表示事件發(fā)生的地點(diǎn)，可是使用檢測(cè)到事件的節(jié)點(diǎn)的位置信息，即觀察者的位置，來(lái)確定S的具體位置。事件發(fā)生的真正位置卻還需要另外計(jì)算。例如，事件的位置可以通過(guò)觀測(cè)到該事件的所有節(jié)點(diǎn)的感知半徑的交集來(lái)近似確定。

在CPS系統(tǒng)中，將節(jié)點(diǎn)在某個(gè)屬性的感知數(shù)據(jù)看做一個(gè)數(shù)據(jù)流。使用表示節(jié)點(diǎn)s在t時(shí)刻attr屬性上的感知數(shù)據(jù)。其中，

s表示節(jié)點(diǎn)的位置信息，能夠唯一地標(biāo)識(shí)節(jié)點(diǎn)?？梢允构?jié)點(diǎn)編號(hào)，或者節(jié)點(diǎn)的位置坐標(biāo)等。t表示時(shí)間信息。由于CPS系統(tǒng)中時(shí)間是離散的，可以使用感知周期來(lái)表示。attr：value 表示在屬性attr上的感知數(shù)據(jù)值為value。不同的屬性對(duì)應(yīng)不同的數(shù)據(jù)類型，主要包括標(biāo)量、矢量、多媒體等等。

信息物理融合系統(tǒng)中的事件可以分為基本事件和復(fù)合事件兩種類型。

2.2 基本事件

基本事件e={t， s， attr： value}表示由物理世界的變化而帶來(lái)的系統(tǒng)狀態(tài)改變?；臼录鄬?duì)比較簡(jiǎn)單，可以使用單個(gè)節(jié)點(diǎn)或者同種模態(tài)的數(shù)據(jù)來(lái)確定。基本事件在不同模態(tài)的數(shù)據(jù)上的具體表現(xiàn)如下：

（1）對(duì)于標(biāo)量數(shù)據(jù)：

？ 大于/小于給定的閾值，即vt ≥ δ或vt ≤ δ。

？ 與歷史數(shù)據(jù)的均值差距超過(guò)給定的閾值，即。

？ 與鄰居節(jié)點(diǎn)的數(shù)據(jù)差距超過(guò)給定的閾值，即或者，其中表示節(jié)點(diǎn)s的一跳鄰居節(jié)點(diǎn)的集合。

（2）對(duì)于矢量數(shù)據(jù)來(lái)說(shuō)，基本事件可能涉及以下兩種變化：方向的改變或者數(shù)值的改變。

（3）對(duì)于多媒體數(shù)據(jù)來(lái)說(shuō)，基本事件可能意味著感興趣的模式的出現(xiàn)，例如目標(biāo)的出現(xiàn)等等。

2.3 復(fù)雜事件

使用e={t， s， attr： value}表示基本事件（或者稱為原子事件）。令是所有基本事件的集合，P為操作的集合，則在集合S中，反復(fù)使用P中的操作進(jìn)行合成，所形成的事件即為復(fù)雜事件。

復(fù)雜事件描述物理世界的復(fù)雜信息或者狀態(tài)，不能由單一模態(tài)的數(shù)據(jù)確定，一般需由滿足約束的多個(gè)基本事件復(fù)合而成。

事件的合成操作主要包括以下四類：

（1） 時(shí)間操作。定義在時(shí)間維上的操作，用來(lái)描述不同事件發(fā)生的時(shí)間之間的關(guān)系，例如順序發(fā)生、同時(shí)發(fā)生、相繼發(fā)生等。

（2） 空間操作。定義在空間維上的操作，用來(lái)描述不同的事件發(fā)生的地理位置之間的關(guān)系，例如相交、包含等。

（3） 數(shù)據(jù)操作。定義在數(shù)據(jù)維上的操作。主要包括相同模態(tài)的數(shù)據(jù)上的代數(shù)運(yùn)算以及一些不同模態(tài)數(shù)據(jù)上的運(yùn)算。例如： +，-，*， /， avg， sum， max， min等。

（4） 邏輯操作。與，或，非。

2.4 事件的檢測(cè)

基本事件比較簡(jiǎn)單，通常在單個(gè)傳感器節(jié)點(diǎn)上就能夠有效地檢測(cè)，例如定義在某個(gè)屬性值閾值上的事件，可以考察當(dāng)前的感知數(shù)據(jù)是否滿足閾值要求來(lái)判斷。

復(fù)雜事件涉及多模態(tài)數(shù)據(jù)，并且是由多種不同的基本事件構(gòu)成的，考慮到基本事件之間的復(fù)雜關(guān)系，因此，并不容易檢測(cè)。

對(duì)于給定的復(fù)雜事件模式，以及給定的基本事件之間的關(guān)系，可以在感知數(shù)據(jù)流上使用多態(tài)的不確定性有窮自動(dòng)機(jī)來(lái)檢測(cè)事件。例如，對(duì)于給定的覆蓋操作overlap，e1 overlap e2表示兩個(gè)基本事件e1和e2的發(fā)生時(shí)間是重疊的，e1 overlap e2可以分為兩種情況，如圖1所示。

（a）

（b）

圖1兩個(gè)基本事件e1和e2的重疊情況

Fig.1 Two basic events e1 and e2 overlap

那么，檢測(cè)e1 overlap e2的不確定性有窮自動(dòng)機(jī)可以設(shè)計(jì)為圖2的形式。

圖 2 識(shí)別e1 overlap e2的自動(dòng)機(jī)

Fig.2 Automata identifying e1 overlap e2

由于復(fù)雜事件可能涉及多種不同類型傳感器節(jié)點(diǎn)產(chǎn)生的異構(gòu)數(shù)據(jù)，復(fù)雜數(shù)據(jù)往往不能使用單一傳感器節(jié)點(diǎn)檢測(cè)。

3 結(jié)束語(yǔ)

在信息物理融合系統(tǒng)中，通過(guò)部署在系統(tǒng)區(qū)域內(nèi)的傳感器節(jié)點(diǎn)來(lái)獲得物理世界的信息。信息物理融合系統(tǒng)通常包含若干個(gè)異構(gòu)的無(wú)線傳感器網(wǎng)絡(luò)。上述的異構(gòu)網(wǎng)絡(luò)包含著不同類型的傳感器節(jié)點(diǎn)，而且這些節(jié)點(diǎn)也都具有不同的感知、計(jì)算和通信能力。將異構(gòu)的傳感器節(jié)點(diǎn)獲得的不同類型的感知數(shù)據(jù)融合是一個(gè)十分重要并亟待解決的熱點(diǎn)問(wèn)題。在本文中，研究提出了多模態(tài)事件融合模型，并以事件為載體將多種不同模態(tài)的數(shù)據(jù)實(shí)現(xiàn)了融合計(jì)算。

參考文獻(xiàn)：

[1] LEE E A. Computing foundations and practice for cyber-physical systems： A preliminary report[J]. University of California， Berkeley， Tech. Rep. UCB/EECS-2007-72， 2007.

[2] LEE E A. Cyber physical systems： Design challenges[C]//IEEE International Symposium on Object Oriented Real-Time Distributed Computing （ISORC）， Orlando： IEEE， 2008：363–369.

[3] GROUP C S， et al. Cyber-physical systems executive summary[J]. CPS Summit， 2008.

[4] LIN J， SEDIGH S， MILLER A. A general framework for quantitative modeling of dependability in cyber-physical systems： a proposal for doctoral research[C]//33rd Annual IEEE International Computer Software and Applications Conference（COMPSAC09）， Washington： IEEE， 2009，1：668–671.

[5] Sastry S. Networked embedded systems： from sensor webs to cyber-physical systems[M]. Hybrid Systems： Computation and Control. Springer， 2007：1–1.

[6] BAHETI R， GILL H. Cyber-physical systems[J]. The impact of control technology， 2011：161–166.

[7] BRANICKY M. CPS initiative overview[C]//Proceedings of the IEEE/RSJ International Conference on Robotics and Cyber-Physical Systems. Washington DC， USA： IEEE. 2008.

[8] Krogh B， Ilic M， Sastry S. Networked embedded control for Cyber-Physical Systems： research strategies and roadmap[R]. Team for Research in Ubiquitous Secure Technology， USA， 2007.

[9] TRICAUD C， CHEN Y Q. Optimal mobile actuator/sensor network motion strategy for parameter estimation in a class of cyber physical systems[C]//American Control Conference， 2009. ACC09， St. Louis： IEEE， 2009：367–372.

[10] 李建中， 高宏， 于博. 信息物理融合系統(tǒng)（CPS） 的概念， 特點(diǎn)， 挑戰(zhàn)和研究進(jìn)展[R].哈爾濱： 哈爾濱工業(yè)大學(xué)， 2010.

[11] TAN Y， VURA M C， GODDARD S. Spatio-temporal event model for cyber-physical systems[C]//29th IEEE International Conference on Distributed Computing Systems Workshops， 2009. ICDCS Workshops， Montreal： IEEE， 2009：44–50.

[12]TAN Y， VURAN M C， GODDARD S，et al. A concept lattice-based event model for Cyber-Physical Systems[C]//Proceedings of the 1st ACM/IEEE International Conference on Cyber-physical Systems， Stockholm： ACM， 2010：50–60.

[13] YUE K， WANG L， REN S， et al. An adaptive discrete event model for cyber-physical system[C]// Analytic Virtual Integration of Cyber-Physical Systems Workshop， USA.：[s.n.] 2010：9–15.

[14] XIE L， ILIC M D. Module-based modeling of cyber-physical power systems[C]//28th International Conference on Distributed Computing Systems Workshops， ICDCS08， Beijing： IEEE， 2008：513–518.

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目（61033015，61190115）

作者簡(jiǎn)介：高 靜（1985-），女，黑龍江大興安嶺人，博士研究生，主要研究方向： 無(wú)線傳感器網(wǎng)絡(luò)、算法設(shè)計(jì)；

李建中（1950-），男，黑龍江哈爾濱人，教授、博士生導(dǎo)師，主要研究方向：無(wú)線傳感器網(wǎng)絡(luò)、海量數(shù)據(jù)計(jì)算等。