云計算物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)的應(yīng)用系統(tǒng)分析

李虎群

【摘 要】本文提出基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘模型，以云計算作為技術(shù)支持平臺，在構(gòu)建面向物聯(lián)網(wǎng)的分布式時空數(shù)據(jù)庫的基礎(chǔ)上，搭建面向物聯(lián)網(wǎng)海量數(shù)據(jù)的數(shù)據(jù)挖掘模型。

【關(guān)鍵詞】物聯(lián)網(wǎng)；云計算；數(shù)據(jù)挖掘；并行算法

Things cloud computing data mining techniques for Applied Systems Analysis

Li Hu-qun

（Handan Purification Equipment Research Institute Handan Hebei 056107）

【Abstract】In this paper， data mining model based on cloud computing networking to cloud computing as a technical support platform， built on a distributed object-oriented networking on temporal databases， networking massive data structures for data mining models.

【Key words】Things；Cloud computing；Data mining；Parallel algorithms

根據(jù)物聯(lián)網(wǎng)中數(shù)據(jù)的特點，本文提出一種基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘模型。首先結(jié)合海計算技術(shù)建立基于云計算存儲構(gòu)架的面向物聯(lián)網(wǎng)的分布式時空數(shù)據(jù)庫，用以存儲物聯(lián)網(wǎng)中的數(shù)據(jù)，以此數(shù)據(jù)庫為基礎(chǔ)構(gòu)建保存歷史記錄的面向主題的數(shù)據(jù)倉庫。在此基礎(chǔ)上，構(gòu)建面向物聯(lián)網(wǎng)的數(shù)據(jù)挖掘框架，結(jié)合并行數(shù)據(jù)挖掘算法，完成各項數(shù)據(jù)挖掘任務(wù)，包括數(shù)據(jù)抽取、分類預(yù)測、聚類、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)等。

1. 物聯(lián)網(wǎng)數(shù)據(jù)挖掘的關(guān)鍵問題

1.1 物聯(lián)網(wǎng)系統(tǒng)中數(shù)據(jù)的特點。

（1）數(shù)據(jù)量大。每個物聯(lián)網(wǎng)系統(tǒng)擁有成千上萬甚至更多的傳感設(shè)備，這些傳感設(shè)備不斷向數(shù)據(jù)中心傳輸采集到的數(shù)據(jù)。數(shù)據(jù)中心不僅要存儲當(dāng)前接收到的采集數(shù)據(jù)，同時需要保存歷史數(shù)據(jù)，用以支持對象的狀態(tài)跟蹤、數(shù)據(jù)統(tǒng)計分析及數(shù)據(jù)挖掘。因此，物聯(lián)網(wǎng)系統(tǒng)中數(shù)據(jù)挖掘任務(wù)面臨的第一個關(guān)鍵問題是數(shù)據(jù)量大。

（2）數(shù)據(jù)類型復(fù)雜。物聯(lián)網(wǎng)系統(tǒng)監(jiān)控的對象種類繁多，包括交通、生物、森林、建筑等。不同監(jiān)控對象所采集的信息各不相同，例如交通系統(tǒng)中需要采集視頻信息，醫(yī)學(xué)監(jiān)控系統(tǒng)需要采集諸如脈搏、血壓等生理信息以及醫(yī)學(xué)立體影響信息等。可見物聯(lián)網(wǎng)系統(tǒng)采集的數(shù)據(jù)類型復(fù)雜，包括文本類型、圖像類型、視頻類型等。

（3）數(shù)據(jù)具有異構(gòu)性。物聯(lián)網(wǎng)系統(tǒng)中包含多種傳感終端，如GPS傳感終端、RFID傳感終端、視頻傳感終端、無線傳感器等。不同的傳感終端采集到的數(shù)據(jù)的格式和語義均不相同。數(shù)據(jù)的異構(gòu)性為數(shù)據(jù)存儲與挖掘增加難度。

（4）高度動態(tài)性。每個時刻都有不同的傳感終端添加到物聯(lián)網(wǎng)中或者從物聯(lián)網(wǎng)中移除。隨著傳感節(jié)點的增加，其采集到的數(shù)據(jù)要插人數(shù)據(jù)庫中。同樣當(dāng)一個傳感節(jié)點從物聯(lián)網(wǎng)中移除后，數(shù)據(jù)庫不應(yīng)再記錄該傳感節(jié)點采集到數(shù)據(jù)。一個物聯(lián)網(wǎng)系統(tǒng)含有大量的傳感節(jié)點，每個傳感節(jié)點動態(tài)變化頻繁，因此物聯(lián)網(wǎng)系統(tǒng)中的數(shù)據(jù)具有高度動態(tài)性。

（5）時空特性。物聯(lián)網(wǎng)系統(tǒng)的傳感終端分布在不同地區(qū)，每個傳感終端采集到的數(shù)據(jù)均反應(yīng)該時刻監(jiān)控對象的狀態(tài)及其他信息。感知數(shù)據(jù)在特定時間和特定空間內(nèi)才有意義，如果不在這個地點或過了這個時間，數(shù)據(jù)的意義可能就不大了。因此，復(fù)雜的時空特性是物聯(lián)網(wǎng)系統(tǒng)中數(shù)據(jù)的一個顯著特點。

（6）不完整性。物聯(lián)網(wǎng)系統(tǒng)的傳感終端在無人工監(jiān)控狀態(tài)下工作，每個傳感終端隨時可能受到自然因素或者人為因素的攻擊，包括雷電破壞、人工惡意破壞等，導(dǎo)致傳感終端數(shù)據(jù)接收不完整。另一方面，盡管傳感終端可以被廣泛的部署在不同地理位置，但是依然無法覆蓋每一個角落，因此空間數(shù)據(jù)收集不完整也是物聯(lián)網(wǎng)系統(tǒng)數(shù)據(jù)的特點之一。

1.2 物聯(lián)網(wǎng)對數(shù)據(jù)挖掘的要求。

（1）實時高效數(shù)據(jù)挖掘。物聯(lián)網(wǎng)系統(tǒng)中任何一個控制端均需要對環(huán)境進行實時分析并做出正確決策。因此實時、高效是物聯(lián)網(wǎng)系統(tǒng)對數(shù)據(jù)挖掘最為關(guān)鍵的要求之一。

（2）分布式數(shù)據(jù)挖掘。物聯(lián)網(wǎng)計算設(shè)備和數(shù)據(jù)天然分布，不得不采用分布式并行數(shù)據(jù)挖掘。

（3）數(shù)據(jù)質(zhì)量控制。多源、多模態(tài)、多媒體、多格式數(shù)據(jù)的存儲與管理是控制數(shù)據(jù)質(zhì)量，獲得真實結(jié)果的重要保證。

（4）決策控制。挖掘出的模式、規(guī)則、特征指標(biāo)用于預(yù)測、決策和控制。

（5）挖掘任務(wù)。主要包括數(shù)據(jù)抽取、分類預(yù)測、聚類、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)等。

圖1 基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)模型框架

1.3 物聯(lián)網(wǎng)環(huán)境數(shù)據(jù)挖掘存在的挑戰(zhàn)。

（1）數(shù)據(jù)挖掘算法的選擇。選擇合適的算法，并采取適當(dāng)?shù)牟⑿胁呗?，然后才能提高并行效率。因此算法的設(shè)計變得非常重要，參數(shù)的調(diào)節(jié)變得必不可少，而且參數(shù)的調(diào)節(jié)直接影響最終的結(jié)果。

（2）不確定性。首先數(shù)據(jù)挖掘任務(wù)的描述具有不確定性，數(shù)據(jù)采集和預(yù)處理也是帶有很多的不確定性。其次是數(shù)據(jù)挖掘方法和結(jié)果有不確定性。最后由于每個用戶所關(guān)注的最終的挖掘目標(biāo)不一樣，這就導(dǎo)致了對挖掘結(jié)果的評價也有不確定性。不確定性是數(shù)據(jù)挖掘在物聯(lián)網(wǎng)系統(tǒng)中面臨的最大挑戰(zhàn)。

（3）可信性與安全性。在云計算環(huán)境下做數(shù)據(jù)挖掘會導(dǎo)致數(shù)據(jù)挖掘云服務(wù)軟件可信性問題。首先是服務(wù)的正確性和服務(wù)的安全性；其次是服務(wù)的質(zhì)量，服務(wù)質(zhì)量由可用、可靠和商l生能這三個方面來度量。

2. 基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘模型

基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘模型構(gòu)架分為五層，分別是物聯(lián)網(wǎng)數(shù)據(jù)接入層、數(shù)據(jù)集成層、數(shù)據(jù)挖掘平臺層、業(yè)務(wù)控制層和交互層，如圖1所示。

2.1 結(jié)構(gòu)層次。

（1）物聯(lián)網(wǎng)數(shù)據(jù)接入層。 物聯(lián)網(wǎng)接人層實現(xiàn)數(shù)據(jù)采集、提取關(guān)鍵數(shù)據(jù)、將關(guān)鍵數(shù)據(jù)傳輸?shù)綌?shù)據(jù)集成層作用。物聯(lián)網(wǎng)數(shù)據(jù)接人層包括各種傳感終端，如GPS傳感終端、RFID傳感終端、視頻傳感終端、無線傳感器等。利用這些傳感終端監(jiān)控現(xiàn)實世界對象，采集反應(yīng)監(jiān)控對象的狀態(tài)及其他信息并發(fā)送到相應(yīng)的海計算節(jié)點。采集數(shù)據(jù)包括文本數(shù)據(jù)、圖像數(shù)據(jù)、視頻數(shù)據(jù)等。海計算節(jié)點對傳感數(shù)據(jù)進行預(yù)處理，提取 鍵數(shù)據(jù)并傳輸?shù)綌?shù)據(jù)集成層，即面向物聯(lián)網(wǎng)的分布式時空數(shù)據(jù)庫。

（2）數(shù)據(jù)集成層。 數(shù)據(jù)集成層存儲物聯(lián)網(wǎng)系統(tǒng)傳感終端采集到的關(guān)鍵數(shù)據(jù)，為數(shù)據(jù)挖掘提供數(shù)據(jù)源。面向物聯(lián)網(wǎng)的分布式時空數(shù)據(jù)庫存儲物聯(lián)網(wǎng)系統(tǒng)的關(guān)鍵數(shù)據(jù)，并為數(shù)據(jù)倉庫的構(gòu)造提供數(shù)據(jù)源。數(shù)據(jù)倉庫中的數(shù)據(jù)是按照主題來組織的，存儲的數(shù)據(jù)可以從歷史的觀點提供信息，面對多數(shù)據(jù)源，經(jīng)過清晰和轉(zhuǎn)換后的數(shù)據(jù)倉庫可以為數(shù)據(jù)挖掘提供面向歷史的發(fā)現(xiàn)知識的數(shù)據(jù)環(huán)境。

（3）數(shù)據(jù)挖掘平臺層。 數(shù)據(jù)挖掘平臺層是整個構(gòu)架的核心之一，提供數(shù)據(jù)挖掘階段業(yè)務(wù)需要的各個模塊，并具有較細的粒度。如數(shù)據(jù)預(yù)處理，模式評估，數(shù)據(jù)挖掘等功能模塊。這一層的主要任務(wù)是實現(xiàn)各種任務(wù)過程中算法的并行化，并將挖掘結(jié)果返回給業(yè)務(wù)控制層。

（4）業(yè)務(wù)控制層。 這一層提供業(yè)務(wù)邏輯并實現(xiàn)對各種業(yè)務(wù)流程的控制和調(diào)度。根據(jù)用戶提交的業(yè)務(wù)請求，任務(wù)控制調(diào)度模塊結(jié)合領(lǐng)域知識庫指導(dǎo)工作流程控制模塊控制和調(diào)度數(shù)據(jù)挖掘?qū)拥亩鄠€模塊來完成挖掘任務(wù)，并將挖掘結(jié)果返回給交互層。

（5）交互層 這一層主要提供系統(tǒng)和用戶之間的接口。通過提供具有良好表現(xiàn)形式的圖形界面，使得用戶可以登錄系統(tǒng)定制各種細粒度的業(yè)務(wù)，查看或者保存各種輸出結(jié)果。

2.2 功能模塊。

2.2.1 物聯(lián)網(wǎng)數(shù)據(jù)接入層模塊海計算模塊。 海計算模塊包含大量海計算節(jié)點。主要用以存儲傳感終端采集的各種數(shù)據(jù)，并對數(shù)據(jù)進行預(yù)處理，主要包括去除噪聲數(shù)據(jù)和重復(fù)數(shù)據(jù)、處理不完整數(shù)據(jù)、識別并提取關(guān)鍵數(shù)據(jù)、統(tǒng)一數(shù)據(jù)格式。最后將預(yù)處理后的關(guān)鍵數(shù)據(jù)傳輸給數(shù)據(jù)集成層。在物聯(lián)網(wǎng)數(shù)據(jù)接人層對數(shù)據(jù)進行預(yù)處理有利于節(jié)省網(wǎng)絡(luò)帶寬，同時有利于數(shù)據(jù)集成層的存儲和進一步應(yīng)用。

2.2.2 數(shù)據(jù)挖掘平臺層模塊。

（1）并行數(shù)據(jù)挖掘算法模塊：為數(shù)據(jù)挖掘各種任務(wù)提供并行算法。作為數(shù)據(jù)挖掘引擎，包含一個能夠提供各種基于云計算進行并行數(shù)據(jù)挖掘算法的庫，用于完成各種數(shù)據(jù)挖掘任務(wù)。

（2）并行ETL模塊：對數(shù)據(jù)進行預(yù)處理。輸入的數(shù)據(jù)來源于面向物聯(lián)網(wǎng)的分布式時空數(shù)據(jù)庫與數(shù)據(jù)倉庫，為數(shù)據(jù)挖掘過程進行數(shù)據(jù)清理，提取，轉(zhuǎn)換和加載。

（3）模式評估模塊：對產(chǎn)生的模式進行評估。符合用戶要求的結(jié)果存人領(lǐng)域知識庫，領(lǐng)域知識庫可以輔助業(yè)務(wù)控制邏輯指導(dǎo)數(shù)據(jù)挖掘過程。

（4）數(shù)據(jù)提取模塊：根據(jù)挖掘任務(wù)的不同，在面向物聯(lián)網(wǎng)的時空數(shù)據(jù)庫或數(shù)據(jù)倉庫中提取相關(guān)的數(shù)據(jù)。

2.2.3 業(yè)務(wù)控制層模塊。

（1）任務(wù)調(diào)度控制模塊：響應(yīng)上層的業(yè)務(wù)模塊，對完成業(yè)務(wù)所需的子業(yè)務(wù)進行調(diào)用、管理，并通過調(diào)用底層模塊完成業(yè)務(wù)。

（2）工作流程控制模塊：對業(yè)務(wù)狀態(tài)進行監(jiān)控、管理?？蓪⒕唧w的信息參數(shù)返回給本層的任務(wù)調(diào)度控制模塊。

2.2.4 交互層。

（1）用戶管理模塊：實現(xiàn)用戶身份的識別以及相應(yīng)權(quán)限的設(shè)置，同時也包括對用戶登錄或者注銷等常用的管理。

（2）業(yè)務(wù)模塊：實現(xiàn)細粒度的用戶業(yè)務(wù)需求的提交。用戶提交的各種業(yè)務(wù)通過業(yè)務(wù)模塊得到。

（3）結(jié)果展示模塊：實現(xiàn)用戶對業(yè)務(wù)結(jié)果的查看，分析和保存等功能。用來將系統(tǒng)的返回結(jié)果交付給用戶。

3. 結(jié)論

數(shù)據(jù)挖掘是物聯(lián)網(wǎng)應(yīng)用的重要環(huán)節(jié)，針對物聯(lián)網(wǎng)數(shù)據(jù)的特點，本文提出一種基于云計算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘模型。其中，數(shù)據(jù)挖掘平臺是整個模型的關(guān)鍵。下一步的工作重點在于設(shè)計各種面向物聯(lián)網(wǎng)的數(shù)據(jù)挖掘算法的并行化，以完成物聯(lián)網(wǎng)的各種數(shù)據(jù)挖掘任務(wù)。

參考文獻

[1] 王瑞剛.物聯(lián)網(wǎng)主要特征與基礎(chǔ)理論研究[J].計算機科學(xué)，2012，39（6A1：201～203.

[2] 李志寧.物聯(lián)網(wǎng)技術(shù)研究進展[J].計算機測量與控制，2012，20（6）：1445～1448.

[3] Arnon Rosenthal，Peter Mork.Cloud computing：A new business paradigm for biomedical information sharing[J].Future Generation Computer Systems，2010，26（7）：947～970.

[4] Zhikui Chen，Haozhe Wang.A Context-Aware Routing Protocol on Internet of Things Based on Sea computing Model[J].Journal of Computers，2012，7（1）：96～105.

[5] Bin Liu，Shu-Gui Cao.Machine Learning and Cybernetics[C].International Conference on Machine Learning and Cybernetics.Guilin，China，2011.40～44.

[6] Hong Yuehua，Xu Shuang，Wu Huajian.Study on distributed data mining model in Wireless Sensor Networks[C].International Conference on IntelligentComputingandIntegratedS-stemsGuilin，China，2010.866～869.

[文章編號]1619-2737（2015）05-22-359