物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理技術(shù)研究

尹志堅(jiān)

（大慶油田信息技術(shù)公司軟件分公司，黑龍江 大慶 163000）

物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理技術(shù)能夠?yàn)槿藗兊娜粘Ｉ钜约巴獠柯眯械葞砹艘欢ǖ谋憬?，那么結(jié)合此項(xiàng)技術(shù)的發(fā)展與優(yōu)化，就能看出物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理技術(shù)研究已經(jīng)取得了階段性的研究成果，本文從物聯(lián)網(wǎng)大數(shù)據(jù)的內(nèi)涵與特征出發(fā)，正確面對(duì)物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理新技術(shù)面臨的窘境，突出物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理技術(shù)的應(yīng)用，為今后物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理技術(shù)的實(shí)踐運(yùn)用提供有利的借鑒。

1 物聯(lián)網(wǎng)大數(shù)據(jù)的內(nèi)涵和特征

1.1 物聯(lián)網(wǎng)大數(shù)據(jù)

Internetofthings，通稱IoT，簡易地說，是一種與物有關(guān)的互聯(lián)網(wǎng)。而物聯(lián)網(wǎng)的關(guān)鍵技術(shù)基礎(chǔ)仍然是大數(shù)據(jù)技術(shù)，但在互聯(lián)網(wǎng)技術(shù)的前提上又持續(xù)拓展。物物連接產(chǎn)生了物聯(lián)網(wǎng)技術(shù)的主要用途。1990年，施樂公司創(chuàng)造發(fā)明了第一臺(tái)網(wǎng)上可樂自動(dòng)販賣機(jī)，這被視為物聯(lián)網(wǎng)的初次試驗(yàn)，物聯(lián)網(wǎng)技術(shù)伴隨著計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)發(fā)展而快速發(fā)展。我國物聯(lián)網(wǎng)的發(fā)展趨勢已展現(xiàn)出一種別具特色的現(xiàn)象，并慢慢變成我國經(jīng)濟(jì)的一大突破點(diǎn)。

據(jù)資料表明，現(xiàn)階段我國物聯(lián)網(wǎng)技術(shù)造成的經(jīng)濟(jì)收益已達(dá)千億以上，變成我國經(jīng)濟(jì)社會(huì)發(fā)展中不可忽視的一部分。

1.2 物聯(lián)網(wǎng)大數(shù)據(jù)信息特點(diǎn)

與其他行業(yè)對(duì)比，物聯(lián)網(wǎng)大數(shù)據(jù)信息在某些層面獨(dú)樹一幟。第一個(gè)是物聯(lián)網(wǎng)的信息量，我們都知道物聯(lián)網(wǎng)是優(yōu)化到事物的無線網(wǎng)絡(luò)覆蓋，很多的連接點(diǎn)還造成物聯(lián)網(wǎng)中的信息量遠(yuǎn)遠(yuǎn)地高過互聯(lián)網(wǎng)，伴隨著時(shí)間的變化，所積累的信息量可能越來越大。第二，物聯(lián)網(wǎng)中傳輸數(shù)據(jù)的效率，海量數(shù)據(jù)在物聯(lián)網(wǎng)中的散播，對(duì)數(shù)據(jù)信息傳輸速度的需求愈來愈高，促使物聯(lián)網(wǎng)技術(shù)不斷創(chuàng)新。第三，物聯(lián)網(wǎng)針對(duì)數(shù)據(jù)信息真實(shí)有效的要求，信息化時(shí)代比現(xiàn)實(shí)世界更“模糊化”，但它所作用的人與物是真實(shí)出現(xiàn)的。

2 物聯(lián)網(wǎng)大數(shù)據(jù)儲(chǔ)存和管理新技術(shù)的窘境

IIoT是一種以“物”為數(shù)據(jù)庫的互聯(lián)網(wǎng)，是工業(yè)物聯(lián)網(wǎng)的簡稱，而這一物聯(lián)網(wǎng)大數(shù)據(jù)的技術(shù)，需要傳感器和高帶寬無線網(wǎng)絡(luò)，只有實(shí)現(xiàn)二者的緊密結(jié)合，才能夠?yàn)榻窈笪锫?lián)網(wǎng)大數(shù)據(jù)技術(shù)的應(yīng)用提供更為豐富的場景，而且該項(xiàng)技術(shù)能夠?qū)⑽锫?lián)網(wǎng)大數(shù)據(jù)儲(chǔ)存以及管理新技術(shù)、設(shè)備等的資源相互鏈接起來，實(shí)現(xiàn)物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)以及管理信息技術(shù)的廣泛應(yīng)用,并與相應(yīng)的信息傳遞渠道相匹配，將感應(yīng)器獲得的數(shù)據(jù)信息傳輸給大數(shù)據(jù)中心，伴隨著物聯(lián)網(wǎng)互聯(lián)網(wǎng)大數(shù)據(jù)的發(fā)展，這對(duì)數(shù)據(jù)儲(chǔ)存和監(jiān)管技術(shù)產(chǎn)生了新的要求，其影響不容忽視。物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)和監(jiān)管技術(shù)已廣泛運(yùn)用于氣候分析、智慧城市建設(shè)、環(huán)保監(jiān)測等各行各業(yè)，可是，伴隨著信息量的提升，目前的數(shù)據(jù)儲(chǔ)存和數(shù)據(jù)庫管理技術(shù)越來越無法達(dá)到數(shù)據(jù)信息儲(chǔ)存與監(jiān)管的實(shí)際需要，在信息資源管理過程中顯現(xiàn)出的很多問題，要求技術(shù)人員及時(shí)開展技術(shù)革新。

3 物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)和管理技術(shù)的運(yùn)用

3.1 分布式存儲(chǔ)

在設(shè)計(jì)分布式存儲(chǔ)時(shí)，需要充分結(jié)合存儲(chǔ)的方式，而此種存儲(chǔ)方式能夠突出物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理技術(shù)的實(shí)用性，標(biāo)準(zhǔn)許可時(shí)，應(yīng)主動(dòng)選用專業(yè)的方式方法，以擴(kuò)張系統(tǒng)功能。一般情形下，在分布式存儲(chǔ)中，將HaDHDFS用以儲(chǔ)存數(shù)據(jù)信息，不僅能高效地提升信息的傳送和查找效率，并且還能合理地確保網(wǎng)絡(luò)信息安全。除此之外，HDFS自身在數(shù)據(jù)讀寫能力、大數(shù)據(jù)、混合開發(fā)兼容等層面都有較為顯著的優(yōu)點(diǎn)，當(dāng)然，它的不足之處是無法有效地融入低延遲時(shí)間數(shù)據(jù)信息瀏覽的規(guī)定，較少的儲(chǔ)存空間以及不能相對(duì)應(yīng)地改動(dòng)文檔，這對(duì)下一步工作會(huì)構(gòu)成一定的難度。

3.2 分布數(shù)據(jù)庫查詢

遍布數(shù)據(jù)庫查詢主要指HBase，數(shù)據(jù)庫查詢自身具備較高的穩(wěn)定性、優(yōu)良的擴(kuò)展性，可用以儲(chǔ)存非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)型整體規(guī)劃數(shù)據(jù)信息，并能使用多種不同的端口瀏覽，針對(duì)專業(yè)技術(shù)人員來講，需要對(duì)分布的數(shù)據(jù)庫中的資源進(jìn)行歸類，這樣做的優(yōu)勢之處在于，一方面能夠讓瀏覽者能夠快速的看到信息，能夠充分發(fā)揮數(shù)據(jù)庫的分布功能的作用，這樣就能夠?qū)Base數(shù)據(jù)庫的結(jié)構(gòu)更為簡單，它可以把數(shù)據(jù)轉(zhuǎn)換成字符串，最大程度地保證了信息的安全性。為了方便數(shù)據(jù)存儲(chǔ)，從用戶的角度出發(fā)，需要對(duì)數(shù)據(jù)類型開展科學(xué)合理的轉(zhuǎn)換，以確保將非結(jié)構(gòu)化數(shù)據(jù)和關(guān)系型數(shù)據(jù)庫轉(zhuǎn)換為對(duì)應(yīng)的字符串?dāng)?shù)組，進(jìn)而有利于數(shù)據(jù)儲(chǔ)存。此外，HBase還有著很多豐富的作用，如數(shù)據(jù)信息維護(hù)、數(shù)據(jù)信息數(shù)據(jù)庫索引、數(shù)據(jù)信息可拓展等，這些分布數(shù)據(jù)庫的查詢，能夠?qū)?shù)據(jù)進(jìn)行動(dòng)態(tài)性的轉(zhuǎn)化，這樣就能夠?qū)崿F(xiàn)對(duì)物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理技術(shù)提供信息等資源支撐。

3.3 云計(jì)算技術(shù)數(shù)據(jù)庫查詢

云數(shù)據(jù)庫在物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理技術(shù)的研究中發(fā)揮了相當(dāng)大的作用，對(duì)于我們而言，需要利用數(shù)據(jù)課信息系統(tǒng)的查詢功能，這樣就能夠借助云計(jì)算技術(shù)、虛擬化技術(shù)，一方面能夠提升數(shù)據(jù)庫的存儲(chǔ)功能，另一方面能夠防止計(jì)算數(shù)據(jù)中出現(xiàn)的問題，這樣就能夠逐漸降低物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理技術(shù)等的應(yīng)用，這樣就能夠不斷降低企業(yè)的資源消耗，也為硬件軟件的更新提供了更為廣闊的空間。云庫中儲(chǔ)存了大量的數(shù)據(jù)以及信息，對(duì)互聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)以及技術(shù)管理，就需要展開對(duì)數(shù)據(jù)等的相關(guān)理論與實(shí)踐的研究，使客戶可以在遠(yuǎn)程控制的基礎(chǔ)上，運(yùn)用阿里云數(shù)據(jù)庫的多種作用。對(duì)使用者而言，阿里云數(shù)據(jù)庫就好像一款簡潔的計(jì)算機(jī)技術(shù)，在應(yīng)用它時(shí)，不用掌握阿里云數(shù)據(jù)庫的基本原理和每個(gè)mac層的關(guān)鍵點(diǎn)，節(jié)約了大量的時(shí)間和精力。

3.4 NoSQL 數(shù)據(jù)庫

NoSQL數(shù)據(jù)庫是物聯(lián)網(wǎng)應(yīng)用大數(shù)據(jù)存儲(chǔ)和管理方法領(lǐng)域中一項(xiàng)主要內(nèi)容，它所代表的含義便是NotOnlySQL。在其中，我們可以用非關(guān)系模型替代傳統(tǒng)的關(guān)系模型，常見的非關(guān)系模型有鍵值實(shí)體模型、文本文檔實(shí)體模型和列族模型等。為后面數(shù)據(jù)儲(chǔ)存、數(shù)據(jù)統(tǒng)計(jì)分析、數(shù)據(jù)分析給予了良好的適用，確保了數(shù)據(jù)統(tǒng)計(jì)分析的實(shí)效性，保證了數(shù)據(jù)信息的合理應(yīng)用。依據(jù)當(dāng)今發(fā)展?fàn)顩r分析，NoSQL數(shù)據(jù)庫技術(shù)在具體運(yùn)用中普遍存在著成熟性差、運(yùn)用范疇窄、風(fēng)險(xiǎn)高等缺點(diǎn)，不能解決某些特殊情況。在此情況下，技術(shù)人員需要結(jié)合數(shù)據(jù)庫等相關(guān)資源，對(duì)物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理技術(shù)等進(jìn)行相關(guān)研究，這樣就能夠挑選出NoSQL數(shù)據(jù)庫，比如，包括BigTable、Dynamo等的鍵值數(shù)據(jù)庫查詢，列族數(shù)據(jù)庫包括HadoopDB、reenPLum等，從上述各種類型各異的數(shù)據(jù)庫，我們能夠看出不同類型的數(shù)據(jù)庫有著不同的功能以及作用，能夠?qū)τ谖锫?lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理技術(shù)等方面的研究提供建設(shè)性的意見以及建議。

4 實(shí)踐運(yùn)用

文中以空間高效率文本檢索系統(tǒng)為例子，對(duì)物聯(lián)網(wǎng)技術(shù)大數(shù)據(jù)存儲(chǔ)與管理技術(shù)進(jìn)行仔細(xì)的分析與深入的研究。在IoT環(huán)境下，我們能夠從數(shù)據(jù)庫索引的特性中發(fā)現(xiàn)，本系統(tǒng)運(yùn)行的規(guī)律，從而為文本檢索提供具體的操作性指南，結(jié)合文本檢索的信息，能夠熟悉數(shù)據(jù)庫索引構(gòu)造，這一點(diǎn)主要是因?yàn)镽adixTree具備一致的查看時(shí)間多元性，而該系統(tǒng)的突出性優(yōu)勢在于，是一個(gè)多功能的系統(tǒng)，而且該系統(tǒng)具有比其他的系統(tǒng)更加精密的夠造，這樣就能夠顯著提升該系統(tǒng)的RadixTree融入大容量數(shù)據(jù)信息，必須防止RadixTree中指針的空間開銷。

4.1 設(shè)計(jì)方案觀念

（1）產(chǎn)品結(jié)構(gòu)設(shè)計(jì)。對(duì)于RadixTree在具體運(yùn)用中碰到的各類問題，為保證信息的儲(chǔ)存和管理效果，根據(jù)物聯(lián)網(wǎng)互聯(lián)網(wǎng)大數(shù)據(jù)環(huán)境，明確提出了RadixKV性能卓越鍵值文本檢索系統(tǒng)，與此同時(shí)，為了更好地增強(qiáng)系統(tǒng)的數(shù)據(jù)信息數(shù)據(jù)庫索引升級(jí)速率，處理系統(tǒng)軟件空間開銷問題，創(chuàng)建了響應(yīng)式并行處理數(shù)據(jù)庫索引系統(tǒng)更新，在有效地設(shè)定數(shù)據(jù)庫索引子樹結(jié)構(gòu)的并行度的與此同時(shí)，設(shè)計(jì)了一種根據(jù)二維數(shù)組的RadixTree表達(dá)形式。RadixKV的數(shù)據(jù)庫索引都是在運(yùn)行內(nèi)存中，鍵值放到硬盤里，而系統(tǒng)可以分為3個(gè)不一樣的等級(jí)：HashStore、SortedStore和IndexedStore。RadixKV的特點(diǎn)是可以依據(jù)RadixTree查找特定的鍵值數(shù)據(jù)信息，得到對(duì)應(yīng)的查看時(shí)間開銷。在這個(gè)基礎(chǔ)上，運(yùn)用數(shù)據(jù)信息緩存中的二分查找和散列數(shù)據(jù)庫索引，實(shí)現(xiàn)對(duì)它的常數(shù)級(jí)查詢；當(dāng)面臨較小的數(shù)據(jù)量時(shí)，對(duì)于最近到達(dá)的數(shù)據(jù)，可以提供必要的實(shí)時(shí)響應(yīng)支持。二分法和散列在查詢性能上有很大優(yōu)勢。

（2）HashStore。HashStore的日志塊功能使它能夠提供額外的寫入支持，在這樣的情況下，數(shù)據(jù)流分析可以以一種附加的方法載入到對(duì)應(yīng)的儲(chǔ)存器中，進(jìn)而提升了寫的吞吐能力。除此之外，根據(jù)結(jié)構(gòu)哈希表數(shù)據(jù)庫索引的方式，完成了HashStore數(shù)據(jù)信息的快速查找。在HashStore中的信息量做到某一閥值以后，一定要向SortedStore載入相對(duì)應(yīng)的數(shù)據(jù)信息，要開展數(shù)據(jù)信息排列，使混亂鍵數(shù)據(jù)信息有序排序，可是考慮到數(shù)據(jù)信息排列的時(shí)間開銷非常大，可能會(huì)導(dǎo)致瓶頸，這個(gè)問題一定要處理。

（3）SortedStore。在操作系統(tǒng)系統(tǒng)架構(gòu)圖中，關(guān)鍵數(shù)據(jù)信息將以數(shù)據(jù)流分析的方法進(jìn)到操作系統(tǒng)，當(dāng)SortedStore數(shù)據(jù)信息排序提交成功之后，將向IndexedStore消息推送解決控制的數(shù)據(jù)信息在IndexedStore中，構(gòu)建sql索引子樹并進(jìn)行合拼實(shí)際操作。

當(dāng)數(shù)據(jù)信息子樹進(jìn)行構(gòu)建之后，原來存在于SortedStore中的一些數(shù)據(jù)信息將被清除，隨后SortedStore將再次接收新的數(shù)據(jù)信息，產(chǎn)生循環(huán)系統(tǒng)。結(jié)合操作系統(tǒng)的使用方法，這樣就能夠顯著提升數(shù)據(jù)信息的使用區(qū)域，在系統(tǒng)的使用過程之中，能夠?qū)崿F(xiàn)不同區(qū)域同時(shí)運(yùn)作。

4.2 信息內(nèi)容儲(chǔ)存

IndexedStore的核心作用根據(jù)SortedStore中的K數(shù)據(jù)信息塊，因?yàn)樾畔⒘看?、空間開銷大、最需處理的問題，結(jié)構(gòu)K棵數(shù)據(jù)庫索引子樹并合并為數(shù)據(jù)庫索引樹，怎樣實(shí)現(xiàn)空間高效的RadixTree，此處展示了一個(gè)表示RadixTree的空間效率方法——RadixArray。

（1）RadixArray設(shè)計(jì)。RadixArray可以依據(jù)葉子節(jié)點(diǎn)二維數(shù)組、內(nèi)部連接功能陣列和內(nèi)部連接功能sql索引來表明，運(yùn)用3點(diǎn)進(jìn)行對(duì)室內(nèi)空間設(shè)計(jì)開銷的提高：①在內(nèi)部連接功能sql索引陣列中，用數(shù)組下標(biāo)間隔表明內(nèi)部連接功能間的字節(jié)數(shù)，立即扔下了表針室內(nèi)空間花銷；②連接點(diǎn)字節(jié)的表述，在RadixArray搭建階段中，全部內(nèi)部連接點(diǎn)都儲(chǔ)存了父節(jié)點(diǎn)，完成了數(shù)據(jù)庫索引子樹搭建以后，對(duì)聯(lián)結(jié)點(diǎn)開展補(bǔ)齊，并提升了相對(duì)應(yīng)位圖索引，便于對(duì)子連接點(diǎn)的迅速搜索，運(yùn)用位圖索引，使內(nèi)部連接點(diǎn)不用記錄后面子結(jié)點(diǎn)的間距，進(jìn)而提升了空間利用率；③可以選用中序遍歷的方式，儲(chǔ)存內(nèi)部連接點(diǎn)，保證它可以完成與葉子節(jié)點(diǎn)的一對(duì)一投射，在葉子節(jié)點(diǎn)與前一層連接點(diǎn)中間不用字節(jié)儲(chǔ)存。

（2）IndexedStore數(shù) 據(jù) 庫 索 引 升 級(jí)。 向IndexedStore傳送數(shù)據(jù)塊到SortedStore以后，IndexedStore會(huì)升級(jí)數(shù)據(jù)庫索引，最先為每一個(gè)資料塊建立RadixArray，隨后又把它合拼到一個(gè)sql索引樹中，當(dāng)數(shù)據(jù)庫索引樹的數(shù)據(jù)量超過這一閥值時(shí)，便會(huì)把一片葉子節(jié)點(diǎn)放入電腦硬盤中。

創(chuàng)建一個(gè)新的sql索引樹。具體地說，第一步是創(chuàng)建數(shù)組。SortedStore中排列的數(shù)據(jù)信息塊做為葉子節(jié)點(diǎn)二維數(shù)組，在SortedStore中進(jìn)行多路快速排序的此外，還可以計(jì)算相鄰詞典順序關(guān)鍵字的LCP，解析xml葉連接點(diǎn)二維數(shù)組，與LCP緊密結(jié)合，完成比照位不一樣檢測方面的迅速獲得，完成了內(nèi)部連接點(diǎn)的建立；第二，路由器二維數(shù)組的創(chuàng)建。在得到內(nèi)部連接點(diǎn)以后，必須將它插進(jìn)到Treap中，以產(chǎn)生內(nèi)部連接點(diǎn)字節(jié)；第三，RadixArray合并操作。RadixArray合拼在對(duì)K個(gè)N/K的Treap開展合拼時(shí)，可以直接應(yīng)用Treap優(yōu)化算法，其算法復(fù)雜度為O。

5 結(jié)語

總而言之，信息化時(shí)代的大環(huán)境下，物聯(lián)網(wǎng)技術(shù)大數(shù)據(jù)存儲(chǔ)以及管理等方面的技術(shù)研究，是信息時(shí)代中的主要標(biāo)志之一，本文通過對(duì)物聯(lián)網(wǎng)大數(shù)據(jù)的內(nèi)涵與特征進(jìn)行分析，進(jìn)一步對(duì)物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理新技術(shù)的窘境進(jìn)行探討，得出物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理新技術(shù)的運(yùn)用，從而為物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)技術(shù)與管理技術(shù)的實(shí)踐提供參考，而且這些物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理技術(shù)等方面的研究可以普遍地應(yīng)用于各行各業(yè)，為社會(huì)經(jīng)濟(jì)平穩(wěn)、健康發(fā)展提供保障。