◆楊涵越 王軍
無(wú)線(xiàn)通信與移動(dòng)互聯(lián)網(wǎng)安全
無(wú)線(xiàn)傳感器網(wǎng)絡(luò)數(shù)據(jù)融合技術(shù)研究
◆楊涵越 王軍
(沈陽(yáng)化工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 遼寧 110142)
隨著數(shù)據(jù)技術(shù)的蓬勃發(fā)展,無(wú)線(xiàn)傳感器網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)、整合和分析處理面臨大的發(fā)展機(jī)遇,從而使得無(wú)線(xiàn)傳感器網(wǎng)絡(luò)有可能向更全面、更實(shí)時(shí)的方向演進(jìn)。中大型客戶(hù)眾多,在證券行業(yè)等占有很大市場(chǎng)份額。通過(guò)無(wú)線(xiàn)傳感器網(wǎng)絡(luò)數(shù)據(jù)融合技術(shù)來(lái)對(duì)于大量的數(shù)據(jù)進(jìn)行分析處理有利于實(shí)現(xiàn)數(shù)據(jù)的共享使用,從而能夠提升數(shù)據(jù)的應(yīng)用價(jià)值。
無(wú)線(xiàn)傳感器;網(wǎng)絡(luò)數(shù)據(jù);融合
正因?yàn)樵跓o(wú)線(xiàn)傳感器網(wǎng)絡(luò)領(lǐng)域人才、技術(shù)、產(chǎn)品、客戶(hù)、資質(zhì)認(rèn)可、案例的積累,所以應(yīng)當(dāng)盡早發(fā)現(xiàn)自身及產(chǎn)業(yè)的不足,以立足本市、面向全國(guó)、放眼國(guó)際的姿態(tài),尋求產(chǎn)業(yè)新的發(fā)展機(jī)遇、有效需求,提早布局,形成技術(shù)優(yōu)勢(shì)。數(shù)據(jù)融合模型和分布式流計(jì)算有助于解決無(wú)線(xiàn)傳感器網(wǎng)絡(luò)面臨數(shù)據(jù)更龐大、診斷更全面、處理更實(shí)時(shí)、決策更智能的有效需求,為解決我們提煉出的關(guān)于無(wú)線(xiàn)傳感器網(wǎng)絡(luò)領(lǐng)域數(shù)據(jù)融合模型和分布式流計(jì)算的兩個(gè)問(wèn)題:(1)基于連接拓?fù)涞漠悩?gòu)時(shí)序數(shù)據(jù)融合模型;(2)多尺度多層次異型數(shù)據(jù)的流計(jì)算方案,通過(guò)突破重點(diǎn)技術(shù),推出完善產(chǎn)品方案,解決行業(yè)痛點(diǎn),實(shí)現(xiàn)經(jīng)濟(jì)價(jià)值。Gartner預(yù)計(jì)到2020年,全球聯(lián)網(wǎng)設(shè)備的數(shù)量將達(dá)到260億,并以每秒增加150臺(tái)的速度遞增。而研究機(jī)構(gòu)IMSResearch的數(shù)據(jù)稱(chēng)2020年全球聯(lián)網(wǎng)設(shè)備將達(dá)到300億臺(tái)。無(wú)論260億還是300億,都是非??捎^的數(shù)據(jù)。在萬(wàn)物互聯(lián)的大環(huán)境和時(shí)代背景下,越來(lái)越多的創(chuàng)新產(chǎn)品會(huì)嵌入環(huán)境技術(shù)感知功能,通過(guò)通信、溝通、分析、感知來(lái)實(shí)現(xiàn)快速發(fā)展。將來(lái)的企業(yè)從生產(chǎn)、管理、運(yùn)營(yíng)、維護(hù)到拓展,都會(huì)受到萬(wàn)物互聯(lián)互通的影響。
網(wǎng)絡(luò)數(shù)據(jù)融合可以解決用戶(hù)需要從監(jiān)控、管理到治理的一體化解決方案。徹底解決運(yùn)維產(chǎn)品各自為政、信息孤立、流程復(fù)雜的問(wèn)題,使數(shù)據(jù)和流程能集中管理,信息無(wú)障礙交互,全面解決無(wú)線(xiàn)傳感器網(wǎng)絡(luò)難題。數(shù)據(jù)化運(yùn)維服務(wù)管理系統(tǒng),提供質(zhì)量評(píng)價(jià)體系及各類(lèi)分析、統(tǒng)計(jì)、預(yù)測(cè)報(bào)告,使高層領(lǐng)導(dǎo)可準(zhǔn)確掌握資產(chǎn)利用情況、投資回報(bào)率;并掌握IT部門(mén)對(duì)外提供業(yè)務(wù)的連續(xù)性、運(yùn)行質(zhì)量,了解實(shí)際情況和預(yù)期的差距;根據(jù)資產(chǎn)、業(yè)務(wù)使用運(yùn)行情況動(dòng)態(tài)調(diào)整資源配置、投資方向。無(wú)線(xiàn)傳感器網(wǎng)絡(luò)數(shù)據(jù)量多,有設(shè)備增多,信息化服務(wù)增多的因素,也跟無(wú)線(xiàn)傳感器網(wǎng)絡(luò)業(yè)務(wù)及系統(tǒng)建設(shè)多元化有關(guān),強(qiáng)調(diào)運(yùn)維管理跟業(yè)務(wù)的結(jié)合,背后就有數(shù)據(jù)融合、數(shù)據(jù)驅(qū)動(dòng)和數(shù)據(jù)建模的驅(qū)動(dòng)因素。從數(shù)據(jù)領(lǐng)域的發(fā)展來(lái)看,數(shù)據(jù)融合技術(shù)和實(shí)時(shí)數(shù)據(jù)技術(shù),近年來(lái)隨著大數(shù)據(jù)和分布式技術(shù)發(fā)展,有了許多基礎(chǔ)性的框架,雖然無(wú)線(xiàn)傳感器網(wǎng)絡(luò)領(lǐng)域吸納和改進(jìn)此類(lèi)技術(shù)的舉措不多,本文動(dòng)機(jī)正有此因。
在WSN中,監(jiān)控環(huán)境中的傳感器節(jié)點(diǎn)通過(guò)多跳中繼將數(shù)據(jù)傳輸?shù)絽R聚節(jié)點(diǎn)。其規(guī)模相對(duì)較大,由幾個(gè)集群組成。在群集中選擇節(jié)點(diǎn),所有節(jié)點(diǎn)構(gòu)成匯聚節(jié)點(diǎn)的骨干網(wǎng)絡(luò)。集群中的節(jié)點(diǎn)將收集的數(shù)據(jù)發(fā)送到集群節(jié)點(diǎn)。節(jié)點(diǎn)通過(guò)骨干網(wǎng)絡(luò)將數(shù)據(jù)發(fā)送到匯聚節(jié)點(diǎn)。最后,整個(gè)區(qū)域的數(shù)據(jù)通過(guò)互聯(lián)網(wǎng)或衛(wèi)星傳輸?shù)竭h(yuǎn)程監(jiān)控中心進(jìn)行集中處理。典型的傳感器網(wǎng)絡(luò)架構(gòu)包括分布式傳感器節(jié)點(diǎn),聚合節(jié)點(diǎn),互聯(lián)網(wǎng)和用戶(hù)界面。無(wú)線(xiàn)傳感器網(wǎng)絡(luò)中的大多數(shù)節(jié)點(diǎn)傳輸范圍小,匯聚節(jié)點(diǎn)傳輸能力強(qiáng),功率大,處理能力強(qiáng)。
無(wú)線(xiàn)傳感器網(wǎng)絡(luò)很大,是自組織的,動(dòng)態(tài)的和可靠的,它們被部署在人力資源不易訪(fǎng)問(wèn)的地方。無(wú)線(xiàn)傳感器網(wǎng)絡(luò)在軍事,農(nóng)業(yè),環(huán)境檢測(cè),智能家居,醫(yī)療等領(lǐng)域具有廣闊的應(yīng)用前景。(1)功耗低,實(shí)現(xiàn)簡(jiǎn)單。這是其最重要的特性。該標(biāo)準(zhǔn)引入多種節(jié)能機(jī)制,最重要的是“超幀模式”,允許設(shè)備在沒(méi)有數(shù)據(jù)傳輸?shù)那闆r下進(jìn)入休眠狀態(tài)。(2)成本低。該標(biāo)準(zhǔn)的設(shè)備成本,安裝成本和維護(hù)成本較低。器件可在標(biāo)準(zhǔn)電池供電條件下工作,無(wú)須充電。該標(biāo)準(zhǔn)內(nèi)部可配置,降低維護(hù)費(fèi)用。(3)單個(gè)網(wǎng)絡(luò)能容納節(jié)點(diǎn)密度更高。ZigBee通過(guò)使用該標(biāo)準(zhǔn)的物理層和控制層,支持幾乎任意數(shù)量的設(shè)備,這對(duì)于大規(guī)模傳感器陣列和控制尤其重要。
無(wú)線(xiàn)傳感器網(wǎng)絡(luò)數(shù)據(jù)融合服務(wù)的內(nèi)容主要有以下幾方面:服務(wù)器監(jiān)控和管理、存儲(chǔ)監(jiān)控和管理、網(wǎng)絡(luò)監(jiān)控和管理、數(shù)據(jù)庫(kù)監(jiān)控和管理、性能監(jiān)控和調(diào)試、性能測(cè)試和報(bào)告、高可用性監(jiān)控和報(bào)告、備份計(jì)劃和監(jiān)控、備份恢復(fù)。
利用傳感器較多的物聯(lián)網(wǎng)行業(yè),多傳感器數(shù)據(jù)融合異常重要。各行業(yè)數(shù)據(jù)融合的發(fā)展迅速,無(wú)線(xiàn)傳感器網(wǎng)絡(luò)領(lǐng)域有引入數(shù)據(jù)融合架構(gòu)的必要。數(shù)據(jù)融合的字面含義比較直觀,業(yè)界即使在沒(méi)有理論和框架指導(dǎo)下,許多數(shù)據(jù)搜集、處理的常規(guī)處理也暗合了許多數(shù)據(jù)融合的理念。數(shù)據(jù)融合也有許多相近相似的名稱(chēng),比如數(shù)據(jù)合并(merge)、數(shù)據(jù)協(xié)同(synergy)、數(shù)據(jù)綜合(integration)、數(shù)據(jù)結(jié)合(combination)等。在機(jī)器學(xué)習(xí)范疇內(nèi),數(shù)據(jù)融合是指從多個(gè)信息源整合信息,從而對(duì)相關(guān)實(shí)體形成具體、全面、統(tǒng)一的數(shù)據(jù)積累。數(shù)據(jù)融合這一流程可以操作在幾個(gè)層面:數(shù)據(jù)級(jí)(特征提取以前)、特征層(屬性說(shuō)明之前),以及決策層(對(duì)數(shù)據(jù)獨(dú)立屬性說(shuō)明之后)。
在信息技術(shù)高速發(fā)展的今天,互聯(lián)網(wǎng)發(fā)展促使傳統(tǒng)物理設(shè)備(如服務(wù)器、網(wǎng)絡(luò)設(shè)備)的數(shù)量持續(xù)增長(zhǎng)。除此之外,更重要的趨勢(shì)是一個(gè)比互聯(lián)網(wǎng)覆蓋范圍更廣的物聯(lián)網(wǎng)已經(jīng)進(jìn)入了市場(chǎng)。物聯(lián)網(wǎng)以互聯(lián)網(wǎng)為核心,以智能傳感器技術(shù)為發(fā)展基礎(chǔ),延伸擴(kuò)展到物與物之間,形成一個(gè)巨大且又復(fù)雜的網(wǎng)絡(luò)來(lái)進(jìn)行信息交換與通信,從而帶來(lái)基于傳感數(shù)據(jù)的運(yùn)維管理需求。SDN網(wǎng)絡(luò)能采集的數(shù)據(jù)比傳統(tǒng)網(wǎng)絡(luò)內(nèi)采集的數(shù)據(jù)多。但SDN網(wǎng)絡(luò)更加動(dòng)態(tài)化,因此分析跟預(yù)測(cè)模型需要有更實(shí)時(shí)的響應(yīng)。所以需要針對(duì)全面的網(wǎng)絡(luò)運(yùn)行數(shù)據(jù)、具體的服務(wù)場(chǎng)景及用戶(hù)屬性進(jìn)行分析。綜合而言,數(shù)據(jù)融合作為一種框架思維,在很多領(lǐng)域得到了應(yīng)用。在無(wú)線(xiàn)傳感器網(wǎng)絡(luò)場(chǎng)景里也是非常真切的需求。IT系統(tǒng)普遍具備多個(gè)節(jié)點(diǎn)、多個(gè)環(huán)節(jié),采集的數(shù)據(jù)具備多來(lái)源、跨時(shí)期、結(jié)構(gòu)化各異的特點(diǎn)。一方面隨著物聯(lián)網(wǎng)時(shí)代來(lái)臨,數(shù)據(jù)中心、網(wǎng)絡(luò)中心、設(shè)備機(jī)房等,溫濕度電力等的傳感器部署日益密集。而各類(lèi)物理設(shè)備在系統(tǒng)、網(wǎng)絡(luò)及應(yīng)用層運(yùn)維數(shù)據(jù)監(jiān)控?cái)?shù)據(jù)格式與結(jié)構(gòu)化特征日趨多元。另外隨著云技術(shù)和虛擬化發(fā)展,特別是Docker類(lèi)容器虛擬化技術(shù)使得低端老舊設(shè)備虛擬化也漸趨普遍,它們高彈性擴(kuò)展及即用即起的特點(diǎn)使得虛擬化系統(tǒng)運(yùn)維數(shù)據(jù)更具瞬時(shí)性和爆發(fā)性。實(shí)現(xiàn)全局的運(yùn)維監(jiān)控與決策,對(duì)各類(lèi)半結(jié)構(gòu)、非結(jié)構(gòu)、時(shí)衰性數(shù)據(jù)的存儲(chǔ)、綜合、融合及檢索等顯得尤為必要。現(xiàn)在很多公司的在線(xiàn)系統(tǒng)每天都會(huì)產(chǎn)生數(shù)以TB甚至PB級(jí)的大數(shù)據(jù),很多數(shù)據(jù)是實(shí)時(shí)產(chǎn)生,并且需要實(shí)時(shí)處理,特別是大型集群的運(yùn)維監(jiān)控、電子商務(wù)的商品推薦、新聞熱點(diǎn)的實(shí)時(shí)推送和機(jī)器學(xué)習(xí)算法的在線(xiàn)學(xué)習(xí)等方面。
實(shí)時(shí)流計(jì)算在運(yùn)維領(lǐng)域也逐漸顯示價(jià)值。因?yàn)殡S著互聯(lián)網(wǎng)公司各個(gè)系統(tǒng)里的運(yùn)維相關(guān)數(shù)據(jù)越來(lái)越多,這些數(shù)據(jù)像滾雪球一樣,以幾何量級(jí)快速增長(zhǎng),它們正是做好業(yè)務(wù)質(zhì)量保障的所需要的。我們必須利用好這些運(yùn)維質(zhì)量數(shù)據(jù),甚至還需要從質(zhì)量保障的角度補(bǔ)充更多的數(shù)據(jù),并通過(guò)實(shí)時(shí)的計(jì)算和分析,全方位的、及時(shí)的發(fā)現(xiàn)問(wèn)題,甚至可以預(yù)防問(wèn)題的發(fā)生,從而更好地保障業(yè)務(wù)質(zhì)量。為了實(shí)現(xiàn)這個(gè)目標(biāo),就需要解決海量數(shù)據(jù)實(shí)時(shí)采集跟融合,以及計(jì)算方面的問(wèn)題。無(wú)線(xiàn)傳感器網(wǎng)絡(luò)圍繞監(jiān)測(cè)數(shù)據(jù)進(jìn)行診斷決策和管理。過(guò)往即使數(shù)據(jù)采集速度不低,但用于運(yùn)維的數(shù)據(jù)偏少,采用簡(jiǎn)單閥值自適應(yīng)性不強(qiáng),歷史數(shù)據(jù)多的算法模型更新又不夠及時(shí)??衫脭U(kuò)散模型、壓力模型,分析模擬圖結(jié)構(gòu)內(nèi)異常事件的傳導(dǎo),從而在全局、宏觀、整體的層面,理解、把握、監(jiān)控整個(gè)無(wú)線(xiàn)傳感器網(wǎng)絡(luò)環(huán)境?;谶B接拓?fù)涞漠悩?gòu)時(shí)序數(shù)據(jù)融合模型除了將數(shù)據(jù)進(jìn)行節(jié)點(diǎn)連接式融合,本項(xiàng)目還在常規(guī)數(shù)據(jù)融合框架下,針對(duì)無(wú)線(xiàn)傳感器網(wǎng)絡(luò)的數(shù)據(jù),進(jìn)行數(shù)據(jù)級(jí)(特征提取以前)、特征層(屬性說(shuō)明之前),以及決策層(對(duì)數(shù)據(jù)獨(dú)立屬性說(shuō)明之后)的融合創(chuàng)新。正因?yàn)檫\(yùn)維數(shù)據(jù),具備時(shí)序化細(xì)顆粒度特性,通過(guò)我們的數(shù)據(jù)融合,根據(jù)融合頻率的不同,獲得的圖、數(shù)據(jù)尺度不一。由于圖結(jié)構(gòu)內(nèi)節(jié)點(diǎn)有的隸屬于層級(jí)架構(gòu)內(nèi),它們還具備分層分片的特征。又可放置在圖結(jié)構(gòu)和層次結(jié)構(gòu)下,將圖結(jié)構(gòu)引入到流計(jì)算的操作DStream單元中。此外,本項(xiàng)目還重點(diǎn)研發(fā)適合無(wú)線(xiàn)傳感器網(wǎng)絡(luò)的離線(xiàn)機(jī)器學(xué)習(xí)訓(xùn)練模型。
隨著計(jì)算框架的進(jìn)步,目前在金融、互聯(lián)網(wǎng)廣告等領(lǐng)域興起的流式計(jì)算,具備能處理近期數(shù)據(jù)多、更新算法模型快、分布可擴(kuò)展能力強(qiáng)的特點(diǎn)。但無(wú)線(xiàn)傳感器網(wǎng)絡(luò)場(chǎng)景跟流式計(jì)算的結(jié)合,除少數(shù)互聯(lián)網(wǎng)巨頭內(nèi)部有一定程度的探索,國(guó)內(nèi)外尚無(wú)實(shí)質(zhì)的落地。但眾多中大型傳統(tǒng)企業(yè),在向互聯(lián)網(wǎng)+延伸時(shí)對(duì)無(wú)線(xiàn)傳感器網(wǎng)絡(luò)時(shí)效有廣泛需求。
[1]陶永才,張?chǎng)钨?,石磊,衛(wèi)琳.面向短文本情感分析的多特征融合方法研究[J].小型微型計(jì)算機(jī)系統(tǒng),2020,41(06):1126-1132.
[2]金豐,邵清.信號(hào)分解與融合神經(jīng)網(wǎng)絡(luò)的金融數(shù)據(jù)預(yù)測(cè)研究[J].小型微型計(jì)算機(jī)系統(tǒng),2020,41(06):1140-1146.
[3]華鋼,曹青峰,朱艾春,張賽,唐士宇,崔冉.多流卷積神經(jīng)網(wǎng)絡(luò)的骨架行為識(shí)別[J].小型微型計(jì)算機(jī)系統(tǒng),2020,41(06):1286-1290.
[4]劉桂玉,劉佩林,錢(qián)久超.基于3D骨架和RGB圖片的時(shí)空動(dòng)作識(shí)別[J].信息技術(shù),2020,44(05):121-124+130.
[5]朱永琴,解博江.現(xiàn)代物流服務(wù)業(yè)與互聯(lián)網(wǎng)融合發(fā)展研究[J].計(jì)算機(jī)產(chǎn)品與流通,2020(06):125.