云計算與物聯(lián)網技術的數(shù)據(jù)挖掘分析

李長鵬，程濤，梁建國

（青島港灣職業(yè)技術學院，山東青島，266400）

1 物聯(lián)網與云計算概述

1.1 物聯(lián)網概述

物聯(lián)網作為一種新興的網絡技術，其主要是以萬億節(jié)點作為表達對象，隨后通過不同的傳感器設備、網絡服務器以及超級計算機集群來進行數(shù)據(jù)的處理與應用，并且包含了計算機技術以及通信技術等多個學科。物聯(lián)網技術手段的應用，能夠在結合物理對象的實際情況進行無縫信息系統(tǒng)的構建，實現(xiàn)對各業(yè)務流程的規(guī)劃化與動態(tài)管理，保障業(yè)務流程的順利開展，從而解決用戶們的不同需求[1]。

1.2 云計算技術

云計算技術能夠在結合互聯(lián)網自治等性能基礎上，強化用戶的管理能力，隨后結合制定需求進行海量數(shù)據(jù)的分析與計算。在云計算技術應用過程中，多采用的是分布式的計算平臺，在海量數(shù)據(jù)內進行數(shù)據(jù)背后蘊含價值的挖掘工作，促進數(shù)據(jù)自身有效性進一步提升。通過分布式數(shù)據(jù)處理方法的應用，能夠從分布式存儲以及并行計算兩部分入手，對于數(shù)據(jù)存儲、計算以及容錯等內容問題起到良好的解決效果，對于數(shù)據(jù)自身高性能以及安全性的提升也有著重要意義。

通過分布式并行計算系統(tǒng)框架可以實現(xiàn)對海量數(shù)據(jù)的背后價值進行有效挖掘，用戶們在進行數(shù)據(jù)提取過程中，只需要關注任務的邏輯性，而不需要考慮到過多的技術細節(jié)，這樣也能夠促進數(shù)據(jù)的研發(fā)效率進一步提升，對于系統(tǒng)維護成本也能夠獲得良好的控制效果。在常見的分布式并行計算框架內，具體包含有MapReduce并行計算框架、Pregel迭代處理計算框架等等。

Hadoop平臺作為分布式系統(tǒng)構成的基礎性框架，其現(xiàn)階段也能夠為其他運算法提供良好的研發(fā)平臺，通過Hadoop平臺能夠為云計算工作的開展提供良好基礎，用戶們通過該數(shù)據(jù)的應用，能夠促進工作效率進一步提升。此外該軟件的應用還能夠為分布式程序的開發(fā)提供基礎，在Hadoop平臺中，主要是以集群方式，通過開源優(yōu)勢為使用者們進行強大的信息存儲以及數(shù)據(jù)運算功能。因此通過分布式Hadoop平臺的應用，可以為IT產業(yè)進行Linux系統(tǒng)的提供。而且Hadoop平臺主要包含有HDFS以及MapReduce兩部分構成，在良好的計算跟儲存環(huán)境下，促進數(shù)據(jù)應用功能得以提升。

HDFS具備有容錯率高以及伸縮性強的應用優(yōu)勢，能夠滿足用戶們對Hadoop平臺不同硬件系統(tǒng)中的具體要求，在此基礎上構成分布式文件系統(tǒng)，對于文件使用質量的提升也有著重要意義。在MapReduce編程模式下，部分系統(tǒng)底層用戶們能夠實現(xiàn)對應用程序的不斷研究跟開發(fā)，借助于相關數(shù)據(jù)信息實現(xiàn)對MapReduce系統(tǒng)的有效整合與完善，獲得良好的數(shù)據(jù)處理與分析效果[2]。

2 數(shù)據(jù)挖掘技術概述

2.1 數(shù)據(jù)挖掘技術概述

一般情況下數(shù)據(jù)挖掘自身存在有一定的局限性，其發(fā)展與形成時間比較短，自上個世紀90年代發(fā)展以來，其應用范圍也得到了進一步擴展，促進信息處理水平進一步提升，在生產生活等多個領域中也能夠獲得良好的應用效果?，F(xiàn)階段挖掘數(shù)據(jù)相關技術不僅屬于科學研究區(qū)域，也是多元化的技術交叉領域，通過數(shù)據(jù)挖掘技術的應用，能夠實現(xiàn)對海量數(shù)據(jù)的有效挖掘與分析，對于數(shù)據(jù)自身運行效能的發(fā)揮也有著重要意義。因此說數(shù)據(jù)挖掘技術在應用過程中包含有以下作用：一是在真實基礎上進行數(shù)據(jù)的不斷豐富與完善，在此基礎上進行海量數(shù)據(jù)資源庫的構建；二是通過對數(shù)據(jù)信息的挖掘跟匯集，可以實現(xiàn)對多行業(yè)服務的提供，為人們的生產生活提供便利性。

2.2 物聯(lián)網數(shù)據(jù)挖掘技術應用中面臨的挑戰(zhàn)

物聯(lián)網在運行過程中具備有一定的運營模式跟規(guī)律，但是在具體應用過程中還需要面臨以下幾點挑戰(zhàn)：

（1）物聯(lián)網技術缺乏有效的數(shù)據(jù)存儲章法，雜亂無章，因此現(xiàn)階段主要應用的是中央管理模式，對于分布式數(shù)據(jù)并沒有良好的探知能力。

（2）數(shù)據(jù)存儲規(guī)模比較大，可以對信息存在節(jié)點起到快速有效的處理效果，因此在結合了中央處理模式基礎上，對于計算機硬件設備的質量跟性能也提出了更高的要求。但是目前在互聯(lián)網技術應用中存在有基礎設備不完善的情況下，促進數(shù)據(jù)信息挖掘有效性進一步提升[3]。

（3）隨著大數(shù)據(jù)技術的到來，數(shù)據(jù)節(jié)點需求隨之增加，可滿足需求的節(jié)點也日漸減少，需求與供給之間矛盾隨之增加。因此還需要對現(xiàn)有數(shù)據(jù)與挖掘技術進行不但優(yōu)化與完善，及時采用新技術來對數(shù)據(jù)使用的實際問題進行明確。

（4）存在有較大的不穩(wěn)定影響因素，還會受到數(shù)據(jù)安全性以及網絡穩(wěn)定性等多種因素的影響，對于物聯(lián)網自身運行也會產生比較大的影響。

因此目前物聯(lián)網數(shù)據(jù)挖掘技術在應用過程中還存在有一定的局限性，從而讓物聯(lián)網的數(shù)據(jù)應用效益得以充分發(fā)揮，讓物聯(lián)網自身的使用價值充分發(fā)揮出來。

3 基于云計算的數(shù)據(jù)挖掘關鍵技術

3.1 云計算數(shù)據(jù)挖掘技術

近年來隨著社會經濟的不斷發(fā)展，數(shù)據(jù)的作用也變得越來越重要。各企業(yè)要想獲得良好的行業(yè)競爭優(yōu)勢，也就需要積極挖掘數(shù)據(jù)的價值并加以利用，實現(xiàn)數(shù)據(jù)價值的最大化。隨著云計算技術的不斷發(fā)展，在數(shù)據(jù)挖掘跟處理中也獲得了良好的應用效果，并且可以為數(shù)據(jù)資源價值的獲取提供便捷的途徑。通過云計算模式的應用，還可以實現(xiàn)各種數(shù)據(jù)的搜集、儲存以及有效運算，對于數(shù)據(jù)背后的深層價值進行明確，促進自身的數(shù)據(jù)應用能力進一步提高。

3.1.1 數(shù)據(jù)匯集調度技術

借助于云計算平臺的應用，能夠實現(xiàn)對多種類型數(shù)據(jù)的匯集以及調度工作，從而實現(xiàn)數(shù)據(jù)信息的綜合性管理與應用。通過數(shù)據(jù)匯集調度技術的應用，可以滿足不同格式跟類型數(shù)據(jù)之間的有效交流以及連接，并且能夠實現(xiàn)對多種數(shù)據(jù)的同步連接與處理。通過數(shù)據(jù)處理技術的應用，在設計問題解決方案時還能夠保障支撐不同系統(tǒng)數(shù)據(jù)的生成格式，具體包含有聯(lián)機事務處理系統(tǒng)形式數(shù)據(jù)、聯(lián)機分析處理系統(tǒng)形式數(shù)據(jù)以及各種日志數(shù)據(jù)等等，這樣才能夠實現(xiàn)數(shù)據(jù)信息的深度挖掘與分析，對于數(shù)據(jù)自身作用發(fā)揮也有著積極意義[4]。

3.1.2 服務調度與服務管理技術

為了滿足不同業(yè)務系統(tǒng)的實際服務需求，還需要在云計算平臺應用過程中，需要具備有良好的服務調度以及管理功能。在服務調度功能中，需要在分析服務等級、資源匹配基礎上，實現(xiàn)對優(yōu)先級服務的調度工作。在該過程之中，還需要對不同服務間的隔離以及互斥情況起到良好的解決效果，促進云服務的安全運行空間得到進一步提升。在云計算平臺的服務管理功能中，可以借助于服務注冊、服務暴露等多種功能，給予用戶們一體化的服務管理水平，促進云計算服務平臺的服務能力得到進一步提升。借助于服務調度以及服務管理技術的應用，還能夠實現(xiàn)第三方接入數(shù)據(jù)的有效挖掘，從而保障數(shù)據(jù)的挖掘功能得以充分發(fā)揮。

3.1.3 挖掘算法并行化技術

在云計算平臺中還可以將挖掘算法并行化有效的基礎能力技術，具體包含有可行化算法、并行化算法以及并行策略等多種技術水平。此外在數(shù)據(jù)挖掘算法應用過程中，其還包含有決策樹算法以及關聯(lián)規(guī)則算法等多種算法模式，能夠幫助用戶們實現(xiàn)對海量數(shù)據(jù)資源的充分挖掘以及利用。

3.2 云計算物聯(lián)網數(shù)據(jù)挖掘技術

近年來我國網絡技術得到了非常迅速的發(fā)展，通過云計算平臺的應用，能夠為服務平臺的主要運行提供良好的聯(lián)網數(shù)據(jù)平臺。在該數(shù)據(jù)挖掘平臺中可以在基于熱點Hadoop基礎上，實現(xiàn)對物聯(lián)網技術運行過程中的數(shù)據(jù)分析，關鍵技術水平如下。

3.2.1 物聯(lián)網感知層

通過在物聯(lián)網感知層內構件大量的采集節(jié)點，還可以借助于攝像頭、數(shù)據(jù)傳感器等多種設備，完成物聯(lián)網所需數(shù)據(jù)的有效采集跟傳輸工作，隨后借助于物聯(lián)網感知層獲得良好的通信效果，通過無線傳感網絡促進工作效率得以提升。該過程中要進行網絡匯聚節(jié)點數(shù)據(jù)的應用，在完成數(shù)據(jù)的匯總處理之后進行存儲工作，將相關信息朝著云平臺數(shù)據(jù)庫進行傳輸[5]。

3.2.2 傳輸層

在傳輸層中需要應用到不同形式的數(shù)據(jù)感知網絡形態(tài)，隨后在數(shù)據(jù)網絡中進行相關可靠信息的有效傳輸，對于數(shù)據(jù)自身高速性、靈活性的提升也有著非常重要的意義。通過傳輸層的應用，還可以實現(xiàn)對不同數(shù)據(jù)的有效處理，促進各種類型數(shù)據(jù)之間的連接效果。傳輸層的應用也能夠實現(xiàn)對不同數(shù)據(jù)傳輸設備之間的有效監(jiān)測，強化網絡監(jiān)測數(shù)據(jù)中的傳輸效果，對于數(shù)據(jù)挖掘技術水平的提升也有著重要意義。

3.2.3 數(shù)據(jù)層

數(shù)據(jù)層作為物聯(lián)網運行平臺中的重要組成部分，因為物聯(lián)網數(shù)據(jù)自身還具備有海量性以及異構性的特征，在數(shù)據(jù)層運行過程中需要結合數(shù)據(jù)的具體特征進行運行方案的合理制定，促進數(shù)據(jù)存儲的安全性以及可行性進一步提高。此外在數(shù)據(jù)層中包含的儲存以及轉化模塊，還可以實現(xiàn)科學化的轉化工作，對于數(shù)據(jù)自身應用效率的提升也有著積極作用。需要注意的是在進行數(shù)據(jù)轉化過程中，要進一步提高數(shù)據(jù)自身采集水平，隨后借助于相應的數(shù)據(jù)轉換器來進行數(shù)據(jù)的多樣化轉化工作。

比如借助于物聯(lián)網節(jié)點的應用，可以在結合了PML相關技術基礎上進行建模工作，來讓自身的數(shù)據(jù)存儲以及傳輸能力進一步提高，促進建模質量得以提升，在互聯(lián)網數(shù)據(jù)中還能夠實現(xiàn)對位置數(shù)據(jù)以及物體屬性兩者的有效涵蓋預處理，來實現(xiàn)對物品信息的科學化分析，對于物聯(lián)網技術應用水平的提升也有著至關重要的意義。

3.2.4 數(shù)據(jù)挖掘服務層

在數(shù)據(jù)挖掘服務層是由多系列的模塊構成，隨后在結合了不同類型數(shù)據(jù)基礎上，進行海量數(shù)據(jù)的有效挖掘。在結合數(shù)據(jù)挖掘引擎模塊基礎上，能夠實現(xiàn)海量數(shù)據(jù)特征的區(qū)分以及演化，對各種數(shù)據(jù)之間的關聯(lián)性進行明確，在此基礎上也能夠實現(xiàn)海量數(shù)據(jù)的偏差以及類似性分析工作。此外在數(shù)據(jù)挖掘過程中，還要積極引用引擎模塊中的算法集來進行數(shù)據(jù)價值的明確。通過Hadoop平臺也能夠實現(xiàn)傳統(tǒng)數(shù)據(jù)算法的優(yōu)化跟完善，并且可以實現(xiàn)并行化算法的優(yōu)化，獲得良好的數(shù)據(jù)處理效果[6]。

4 結束語

通過云計算與物聯(lián)網技術的聯(lián)合應用，能夠實現(xiàn)物聯(lián)網運行平臺中海量數(shù)據(jù)的有效處理，促進互聯(lián)網作用充分發(fā)揮，對于我國信息化社會的發(fā)展也有著積極意義。