基于物聯(lián)網(wǎng)的數(shù)據(jù)挖掘

吳章光+陳寶健+吳為民

摘 要： 智慧城市讓城市基礎(chǔ)設(shè)施更智能、互聯(lián)和有效，智能家居為居民提供了人性化的智能服務(wù)。物聯(lián)網(wǎng)為智慧城市及智能家居建設(shè)提供了感知能力，物聯(lián)網(wǎng)的數(shù)據(jù)收集、云計算及其上的智能決策為其提供了堅實的基礎(chǔ)和可靠的保障。物聯(lián)網(wǎng)針對不同的數(shù)據(jù)類型需要采用不同的技術(shù)進行分析，管理人員使用不同的物聯(lián)網(wǎng)應(yīng)用程序分析來自不同設(shè)備的數(shù)據(jù)，并整合相關(guān)數(shù)據(jù)，以便在智能家居應(yīng)用程序中對可能的機器故障或緊急情況進行預(yù)測。數(shù)據(jù)挖掘技術(shù)需要解決實時數(shù)據(jù)處理技術(shù)、優(yōu)化大數(shù)據(jù)及物聯(lián)網(wǎng)數(shù)據(jù)的異質(zhì)性處理?；诖耍疚奶岢隽嘶谖锫?lián)網(wǎng)信息的數(shù)據(jù)挖掘新模式。

關(guān)鍵詞： 物聯(lián)網(wǎng)；數(shù)據(jù)挖掘；預(yù)測分析、

智能家居作為如今科技發(fā)展的重要方向之一，不僅能夠給我們帶來方便的生活，而且能夠顛覆我們對于傳統(tǒng)住宅的認(rèn)知，越來越多的家庭都開始安裝智能家居系統(tǒng)。智慧城市是使用智能計算技術(shù)使得城市的關(guān)鍵基礎(chǔ)設(shè)施的組成和服務(wù)更智能、互聯(lián)和有效。對人力與社會資源和傳統(tǒng)及現(xiàn)代設(shè)施的投資，促進可持續(xù)經(jīng)濟發(fā)展和高質(zhì)量生活，同時通過提供參與治理的機會實現(xiàn)對自然資源的有效管理，這時一個城市就被稱為智慧城市。物聯(lián)網(wǎng)是智能家居與智慧城市網(wǎng)絡(luò)能力的基礎(chǔ)。物聯(lián)網(wǎng)包括傳感網(wǎng)、數(shù)據(jù)與內(nèi)容、物品與傳感器、用戶與知識等?；谖锫?lián)網(wǎng)信息的數(shù)據(jù)挖掘通過網(wǎng)絡(luò)匯集感知對象和感知的單元，然后通過應(yīng)用領(lǐng)域?qū)崿F(xiàn)更智慧的決策[1]。

一、物聯(lián)網(wǎng)技術(shù)概述

物聯(lián)網(wǎng)，就是基于實物的互聯(lián)網(wǎng)，它與無線通信、智能移動設(shè)備、大數(shù)據(jù)、處理器、傳感器等領(lǐng)域有緊密的聯(lián)系。物聯(lián)網(wǎng)和云計算為智慧城市或智能家居提供了核心技術(shù)應(yīng)用。云計算通常在分布式環(huán)境中提供共享計算資源和數(shù)據(jù)。云計算依賴于跨越多個領(lǐng)域和地理區(qū)域的多個數(shù)據(jù)中心。智慧城市和數(shù)字城市在協(xié)作環(huán)境中檢索信息并將其存儲到云端。

物聯(lián)網(wǎng)層結(jié)構(gòu)是一種便于設(shè)計和開發(fā)物聯(lián)網(wǎng)解決方案的架構(gòu)，不僅可以收集和監(jiān)控數(shù)據(jù)，而且可以實時響應(yīng)，警報和通知臨床決策支持。在物聯(lián)網(wǎng)監(jiān)控解決方案中，典型的設(shè)置包括智能傳感器，微控制器，網(wǎng)絡(luò)，普遍存在的設(shè)備和底層的軟件服務(wù)。其中使用傳感器，微控制器，MQTT和云計算來構(gòu)建物聯(lián)網(wǎng)。該架構(gòu)的每個組件使用最有效的硬件和軟件。每個組件都是可替換的，可以根據(jù)可用的替代方式進行替代。？該物聯(lián)網(wǎng)模型由以下四個層組成[2]：

（1）感測層

底層是物理設(shè)備所在的感測層，它們彼此相連形成傳感器網(wǎng)絡(luò)層。感測層的設(shè)備有智能傳感器，執(zhí)行器，智能手機，家用電器等。物聯(lián)網(wǎng)從智能傳感器收集數(shù)字?jǐn)?shù)據(jù)，從攝像機傳輸數(shù)據(jù)，從GPS設(shè)備收集交通路由信息。

（2）邊緣計算層

在其上的層稱為邊緣計算層，邊緣計算位于傳感器網(wǎng)絡(luò)的邊緣，通過處理源附近的數(shù)據(jù)來優(yōu)化云基礎(chǔ)設(shè)施，它可以對數(shù)據(jù)進行預(yù)處理和過濾，以節(jié)省帶寬和處理能力，只有優(yōu)化處理后的數(shù)據(jù)才被傳輸?shù)皆疲谀抢锎鎯?，分析和可視化。在邊緣計算層中，使用移動傳感器網(wǎng)絡(luò)、ZigBee、藍(lán)牙等，通過微控制器連接傳感器，允許發(fā)送和接收數(shù)據(jù)。微控制器將模擬信號轉(zhuǎn)換為數(shù)字值，并控制所有設(shè)備和傳感器。

（3）聯(lián)絡(luò)層

不同的物聯(lián)網(wǎng)設(shè)備通過特殊類型的物聯(lián)網(wǎng)協(xié)議連接，換句話說，機器對機器（M2M）是使用一種物聯(lián)網(wǎng)協(xié)議來支持實時通信。流行的M2M協(xié)議包括MQ遙測傳輸（MQTT）和約束應(yīng)用協(xié)議（CoAP）。MQTT被設(shè)計為一個非常輕量級的使用TCP的發(fā)布/訂閱消息傳輸。它對于需要較小代碼占用空間和/或網(wǎng)絡(luò)帶寬非常重要的遠(yuǎn)程位置的連接非常有用。CoAP是一種專門的Web傳輸協(xié)議，用于具有UDP協(xié)議的物聯(lián)網(wǎng)中的約束節(jié)點和受限網(wǎng)絡(luò)。

（4）應(yīng)用云

云計算可以用于遠(yuǎn)程存儲物聯(lián)網(wǎng)數(shù)據(jù)，這擴展了物聯(lián)網(wǎng)解決方案的范圍，以更分布和更動態(tài)的方式處理真實世界的事情?？梢允褂脤Ｓ行枨笤O(shè)置云服務(wù)器。然而，諸如Pachube，Nimbits和ThingSpeak等軟件包提供直接的API，微控制器可以使用這些軟件來發(fā)布數(shù)據(jù)。數(shù)據(jù)存儲在云上可以利用臨床決策支持算法，檢測異常，并建立觸發(fā)器發(fā)送警告，警報或信息。這可以通過使用第三方服務(wù)或使用M2M協(xié)議來觸發(fā)傳感器的動作來實現(xiàn)。

二、基于物聯(lián)網(wǎng)的數(shù)據(jù)挖掘技術(shù)

物聯(lián)網(wǎng)從傳感器，智能手機，可穿戴設(shè)備或其他啟用互聯(lián)網(wǎng)的設(shè)備收集大量數(shù)據(jù)，并將其存儲在云端。要將數(shù)據(jù)轉(zhuǎn)化為可利用的決策數(shù)據(jù)，必須使用合適的數(shù)據(jù)挖掘技術(shù)進行分析。例如，智能家居的傳感器數(shù)據(jù)用于老年人或殘疾人的安全監(jiān)控或家庭自動化，或者分析交通數(shù)據(jù)以計算救護車的最佳路線。物聯(lián)網(wǎng)數(shù)據(jù)通常是異構(gòu)的，以高速和大批量生成，需要實時分析。數(shù)據(jù)可以是連續(xù)數(shù)字形成溫度傳感器，或從相機或文本流式傳輸數(shù)據(jù)，數(shù)據(jù)必須以適當(dāng)?shù)姆绞竭M行預(yù)處理和相關(guān)，以獲得有意義的結(jié)果。因此，傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)不足以分析物聯(lián)網(wǎng)生成的數(shù)據(jù)。

在不同的空間和時間分辨率下從復(fù)雜的感測環(huán)境中提取有用的信息是人工智能的一個具有挑戰(zhàn)性的研究問題。為了檢測物聯(lián)網(wǎng)數(shù)據(jù)中的有效模式，需要使用合適的數(shù)據(jù)挖掘技術(shù)來分析數(shù)據(jù)。數(shù)據(jù)挖掘具有高度的域特異性。物聯(lián)網(wǎng)平臺在預(yù)測最佳流量路由或檢測即將失敗并需要維護的機器時可能會采用不同的方法，例如，一種預(yù)測維護應(yīng)用程序，需要在發(fā)生故障之前檢測機器故障，以便在生產(chǎn)中斷之前進行更換，從溫度，扭轉(zhuǎn)或磨損等機器收集和分析傳感器數(shù)據(jù)。家庭安全應(yīng)用程序可能會使用移動偵測器和相機數(shù)據(jù)來檢測可能的入侵者。兩個系統(tǒng)都使用不同類型的數(shù)據(jù)，并對不同的事情進行預(yù)測。

此外，在分析物聯(lián)網(wǎng)數(shù)據(jù)時，物聯(lián)網(wǎng)的某些特性可能影響其數(shù)據(jù)分析：①熱插拔物聯(lián)網(wǎng)設(shè)備的應(yīng)用，這意味著需要對新的數(shù)據(jù)源進行分析，并產(chǎn)生新的數(shù)據(jù)格式，例如，電子衛(wèi)生保健應(yīng)用程序可以測量血壓和血糖水平，使用該解決方案的患者有一個新的健身追蹤器，可以將健身數(shù)據(jù)添加到電子衛(wèi)生保健解決方案中；②設(shè)備可能會停止發(fā)送數(shù)據(jù)，例如，一輛汽車正在進入隧道，并丟失GPS信號，或者傳感器因為電池電量不足或無線通信中斷而停止發(fā)送數(shù)據(jù)；③傳感器或執(zhí)行器可以是幾種應(yīng)用的一部分，例如，運動檢測器可用于打開自動門并檢測未經(jīng)授權(quán)的入侵者，如果檢測器發(fā)生故障，則會影響多個應(yīng)用；④物聯(lián)網(wǎng)應(yīng)用程序可能必須在不同的情況下顯示不同的行為；例如，家庭安全系統(tǒng)必須能夠在白天和黑夜之間進行區(qū)分，因為在白天很多人類活動被檢測到，在晚上幾乎沒有。endprint

在物聯(lián)網(wǎng)應(yīng)用中，正常數(shù)據(jù)流量的偏差可能被解釋為異常，物聯(lián)網(wǎng)解決方案可能會發(fā)出虛假警報事件。用于物聯(lián)網(wǎng)的數(shù)據(jù)挖掘技術(shù)需要能夠適應(yīng)動態(tài)環(huán)境或改變的數(shù)據(jù)流，以避免在每次添加或刪除傳感器時重新設(shè)計數(shù)據(jù)挖掘規(guī)則。機器學(xué)習(xí)技術(shù)非常適合處理數(shù)據(jù)流中的模糊性，并且可以在環(huán)境變化時快速適應(yīng)。機器學(xué)習(xí)是人工智能的一個分支，旨在模擬計算機上的人類學(xué)習(xí)，而不需要明確編程。機器學(xué)習(xí)技術(shù)有幾個有利于物聯(lián)網(wǎng)的數(shù)據(jù)挖掘特點：①機器學(xué)習(xí)技術(shù)從歷史數(shù)據(jù)中學(xué)習(xí)數(shù)據(jù)挖掘規(guī)則，無需開發(fā)人員手動編程；②機器學(xué)習(xí)方法可以繼續(xù)學(xué)習(xí)新的規(guī)則，例如添加新的智能設(shè)備；③許多機器學(xué)習(xí)方案計算概率，這使得它們對數(shù)據(jù)流中的小變化是穩(wěn)健的，例如，當(dāng)設(shè)備停止發(fā)送數(shù)據(jù)并且還有其他發(fā)送數(shù)據(jù)時，概率僅稍微改變，并且不會發(fā)出假陽性。

三、基于物聯(lián)網(wǎng)的數(shù)據(jù)挖掘架構(gòu)

數(shù)據(jù)挖掘是高度迭代的，一些步驟可能會經(jīng)歷很多次。數(shù)據(jù)挖掘的主要步驟有：通常分為數(shù)據(jù)收集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘和預(yù)測分析階段[3]。

1、數(shù)據(jù)收集

物聯(lián)網(wǎng)中的數(shù)據(jù)收集發(fā)生在設(shè)備或事務(wù)級別。智能傳感器、智能手機或平板電腦測量與環(huán)境不同的價值，通常將其傳輸?shù)轿锫?lián)網(wǎng)云平臺進行分析和存儲。

2、數(shù)據(jù)預(yù)處理

物聯(lián)網(wǎng)設(shè)備會收集到大量數(shù)據(jù)，其中的數(shù)據(jù)格式并不全都適合于數(shù)據(jù)挖掘，將所有數(shù)據(jù)傳輸?shù)皆瓶赡懿⒉豢尚?。因此，?shù)據(jù)清理是獲得良好效果的關(guān)鍵步驟。為了節(jié)省帶寬和計算能力，只有一些觀察點被傳輸?shù)皆疲ǔＴ谶吘墝訉?shù)據(jù)存儲、預(yù)分析并進行預(yù)處理。

預(yù)處理步驟包括：①不同的傳感器收集不同格式的數(shù)據(jù)，通過數(shù)據(jù)轉(zhuǎn)換使之具有一致的數(shù)據(jù)格式并統(tǒng)一數(shù)據(jù)；②重復(fù)數(shù)據(jù)刪除和異常值去除；③選擇實體分辨率及相關(guān)性過濾是獲得良好的物聯(lián)網(wǎng)應(yīng)用性能，例如，一個應(yīng)用程序可能只需要行程的源和目標(biāo)坐標(biāo)，對于另一個應(yīng)用程序，整個路由可能是相關(guān)的；④特征選擇是重要的預(yù)處理步驟，并非所有數(shù)據(jù)對于特定的數(shù)據(jù)挖掘任務(wù)都是有用的，特征選擇將意味著選擇用作數(shù)據(jù)挖掘算法的輸入的觀測點。

3、機器學(xué)習(xí)技術(shù)

當(dāng)數(shù)據(jù)分析規(guī)則太復(fù)雜或者分析規(guī)則太多時，我們就會采用了機器學(xué)習(xí)這一種數(shù)據(jù)挖掘技術(shù)。機器學(xué)習(xí)模仿人類學(xué)習(xí)，人類從經(jīng)驗中學(xué)習(xí)，機器學(xué)習(xí)技術(shù)從過去的歷史數(shù)據(jù)中學(xué)習(xí)，對未來事件做出預(yù)測。例如，預(yù)測維護應(yīng)用程序使用歷史傳感器數(shù)據(jù)來收集關(guān)于智能建筑物狀態(tài)的信息，來預(yù)測空調(diào)系統(tǒng)或電梯是否將失效。機器學(xué)習(xí)分為監(jiān)督，半監(jiān)督和無監(jiān)督學(xué)習(xí)。監(jiān)督方法用于分類和回歸，這種方法需要標(biāo)記數(shù)據(jù)進行學(xué)習(xí)。典型的監(jiān)督學(xué)習(xí)者包括貝葉斯模型，決策樹感應(yīng)，支持向量機（SVM）和人工神經(jīng)網(wǎng)絡(luò)（ANN）。如果不使用標(biāo)記數(shù)據(jù)，則采用無監(jiān)督方法，當(dāng)少量標(biāo)記數(shù)據(jù)和大量未標(biāo)記數(shù)據(jù)時，使用半監(jiān)督方法。為了對機器故障或患者出現(xiàn)癥狀進行預(yù)測，必須對數(shù)據(jù)進行分類，然后，機器學(xué)習(xí)技術(shù)將針對新的不可見的數(shù)據(jù)進行分析并測算，并測量目標(biāo)機器的性能。

4、預(yù)測分析

在預(yù)測分析階段，必須選擇合適的數(shù)據(jù)挖掘方法，多個數(shù)據(jù)源集必須與預(yù)測問題相關(guān)，只有一個數(shù)據(jù)源的數(shù)據(jù)可能不足以進行有意義的預(yù)測，例如，在基于物聯(lián)網(wǎng)的醫(yī)療保健解決方案中，單一的血液水平數(shù)據(jù)組可能不足以用于預(yù)測來確定患者是否患有癥狀，此類數(shù)據(jù)挖掘必須同時分析與運動相關(guān)的數(shù)據(jù)，以便對人的健康狀態(tài)做出可靠的預(yù)測。數(shù)據(jù)挖掘相關(guān)分析技術(shù)有很多，常用的技術(shù)是時間序列分析。機器學(xué)習(xí)技術(shù)也可以用于相關(guān)和預(yù)測分析，許多機器學(xué)習(xí)技術(shù)計算概率，這種技術(shù)適合于易變的物聯(lián)網(wǎng)環(huán)境。此外，數(shù)據(jù)挖掘生成報告的數(shù)據(jù)通常要求是可視化的。

四、基于物聯(lián)網(wǎng)的數(shù)據(jù)挖掘面臨的問題

物聯(lián)網(wǎng)最大的挑戰(zhàn)之一是缺乏使不同設(shè)備的互操作性和互聯(lián)網(wǎng)連接困難的標(biāo)準(zhǔn)。為了實現(xiàn)標(biāo)準(zhǔn)化互聯(lián)，已經(jīng)有工作組建立了諸如消息隊列遙測傳輸和高級消息隊列協(xié)議的標(biāo)準(zhǔn)協(xié)議，這些輕量級的面向消息的中間件能夠解決大量的數(shù)據(jù)轉(zhuǎn)換問題。此外，許多智能設(shè)備的資源有限，帶寬和電池壽命有限。移動網(wǎng)絡(luò)覆蓋也是一個問題，這對醫(yī)療保健物聯(lián)網(wǎng)應(yīng)用尤為重要。安全仍然是物聯(lián)網(wǎng)的一個主要問題，因為許多設(shè)備的設(shè)計安全級別較低并容易受到網(wǎng)絡(luò)攻擊，當(dāng)前通過加密和入侵防御機制確保安全方面仍具有挑戰(zhàn)性[4]。隱私是一個主要的問題，特別是在收集了大量個人資料的物聯(lián)網(wǎng)云。由于物聯(lián)網(wǎng)設(shè)備的局限性和物聯(lián)網(wǎng)數(shù)據(jù)挖掘所面臨的其它問題，已有隱私保護數(shù)據(jù)挖掘技術(shù)在實際運用中通常不被采納。

參考文獻

[1] 劉思遠(yuǎn). 數(shù)據(jù)挖掘在社區(qū)智能家居系統(tǒng)中的應(yīng)用研究[J]. 電子科技大學(xué)學(xué)報，2016（2）： 56-58.

[2] Ma J， Nguyen H， Mirza F， et al. TWO WAY ARCHITECTURE BETWEEN 物聯(lián)網(wǎng) SENSORS AND CLOUD COMPUTING FOR REMOTE HEALTH CARE MONITORING APPLICATIONS[J]. 2017.

[3] Wlodarczak P， Ally M， Soar J. Data mining in 物聯(lián)網(wǎng)： data analysis for a new paradigm on the internet[C]//Proceedings of the International Conference on Web Intelligence. ACM， 2017： 1100-1103.

[4] 陳源泉.智慧城市中的大數(shù)據(jù)挖掘與應(yīng)用[J].工程技術(shù)：引文版[J]. 2016（4）：78-79.

作者簡介：吳章光（1972- ），男，福建福清人，副教授，碩士；研究方向：電子商務(wù)，數(shù)據(jù)挖掘，系統(tǒng)設(shè)計與分析。

陳寶?。?963- ），男，講師。吳為民（1970- ），男，副教授。endprint