基于分布式處理技術(shù)探討物聯(lián)網(wǎng)數(shù)據(jù)庫的設(shè)計要點

段英杰

摘要：文章主要研究分布式物聯(lián)網(wǎng)數(shù)據(jù)庫設(shè)計的要點，分析總結(jié)了物聯(lián)網(wǎng)和分布式處理技術(shù)的主要特點，在此基礎(chǔ)上對分布式物聯(lián)網(wǎng)數(shù)據(jù)庫設(shè)計中事務(wù)處理并發(fā)控制策略和目錄設(shè)計與管理方法等關(guān)鍵問題進行了討論。

關(guān)鍵詞：分布式處理技術(shù)；物聯(lián)網(wǎng)；數(shù)據(jù)庫

物聯(lián)網(wǎng)是使用射頻識別、紅外感應(yīng)器、全球衛(wèi)星定位、激光掃描器等信息傳感設(shè)備技術(shù)，通過約定協(xié)議實現(xiàn)互聯(lián)網(wǎng)和物品之間連接和數(shù)據(jù)通信，用以進行智能化識別、定位、跟蹤監(jiān)控的網(wǎng)絡(luò)，是一種以規(guī)模性、廣泛性、技術(shù)性和管理性為典型特征，各個行業(yè)廣泛參與的網(wǎng)絡(luò)系統(tǒng)。物聯(lián)網(wǎng)規(guī)模逐漸擴大，甚至超過了互聯(lián)網(wǎng)，對物聯(lián)網(wǎng)中海量數(shù)據(jù)的高效管理成為一個具有挑戰(zhàn)性的問題，分布式處理技術(shù)作為一種優(yōu)秀的數(shù)據(jù)庫管理技術(shù)，在物聯(lián)網(wǎng)數(shù)據(jù)庫中的應(yīng)用能夠提高數(shù)據(jù)庫的性能，加快訪問速度，有著廣闊的應(yīng)用前景。

1 物聯(lián)網(wǎng)與分布式處理

1.1 物聯(lián)網(wǎng)系統(tǒng)

1.1.1 系統(tǒng)結(jié)構(gòu)

技術(shù)層面上，物聯(lián)網(wǎng)主要有感知層、網(wǎng)絡(luò)層和應(yīng)用層3層結(jié)構(gòu)，其中感知層以傳感器和傳感器網(wǎng)關(guān)為主，使用各種傳感器、二維碼標(biāo)簽、射頻標(biāo)簽、讀寫器、攝像頭實現(xiàn)數(shù)據(jù)的實時采集，并經(jīng)過傳感器網(wǎng)關(guān)將其傳送給數(shù)據(jù)中心，數(shù)據(jù)中心對海量數(shù)據(jù)進行處理，獲取有價值的信息。網(wǎng)絡(luò)層一般有有線網(wǎng)絡(luò)、無線網(wǎng)絡(luò)、下一代互聯(lián)網(wǎng)和云技術(shù)等，網(wǎng)絡(luò)層主要實現(xiàn)數(shù)據(jù)通訊和感知層數(shù)據(jù)的接收，應(yīng)用層則為用戶提供UI界面，通過這些接口，用戶可完成數(shù)據(jù)的各種處理。

1.1.2 物聯(lián)網(wǎng)數(shù)據(jù)處理技術(shù)

物聯(lián)網(wǎng)中的傳感器設(shè)備多種多樣，數(shù)據(jù)傳輸使用的網(wǎng)絡(luò)結(jié)構(gòu)類型也十分不同，物聯(lián)網(wǎng)中產(chǎn)生的海量數(shù)據(jù)的處理需要實現(xiàn)不同網(wǎng)絡(luò)類型、不同數(shù)據(jù)源、異構(gòu)數(shù)據(jù)之間的融合，高效率的對數(shù)據(jù)進行分析處理并篩選出有價值的信息，因此對物聯(lián)網(wǎng)系統(tǒng)來說，數(shù)據(jù)處理成為了一個關(guān)鍵的環(huán)節(jié)。

物聯(lián)網(wǎng)中使用了多源數(shù)據(jù)融合技術(shù)，提供了多源異構(gòu)海量數(shù)據(jù)融合的標(biāo)準(zhǔn)格式，建立了統(tǒng)一的層次化表達數(shù)據(jù)結(jié)構(gòu)和本體標(biāo)注，配合數(shù)據(jù)聚類、時空轉(zhuǎn)換和度量技術(shù)，實現(xiàn)了多源數(shù)據(jù)的一體化。與此同時，由于物聯(lián)網(wǎng)感知傳感設(shè)備實時生成了多源、多粒度、多維度流數(shù)據(jù)，其數(shù)據(jù)規(guī)模往往達到TB甚至PB級別，因此物聯(lián)網(wǎng)數(shù)據(jù)檢索查詢工作難度較大，所以物聯(lián)網(wǎng)數(shù)據(jù)庫往往采用就近存儲的原則，提供全局性摘要視圖節(jié)點，降低了檢索工作量，同時引入了數(shù)據(jù)回收機制。不同數(shù)據(jù)類型設(shè)置了不同的生存周期，超過生存時間期限，數(shù)據(jù)將被新數(shù)據(jù)覆蓋。物聯(lián)網(wǎng)數(shù)據(jù)庫中引入牽引機制，能夠結(jié)合數(shù)據(jù)種類創(chuàng)建最優(yōu)索引算法，提高數(shù)據(jù)庫訪問效率。

1.2 分布式處理技術(shù)

1.2.1 概述

分布式處理技術(shù)是數(shù)據(jù)的物理分布而邏輯集中的數(shù)據(jù)庫技術(shù)，分布式數(shù)據(jù)庫中的數(shù)據(jù)分布在通過網(wǎng)絡(luò)連接的地理位置上相對分散的不同站點上，但是在邏輯上，不同的數(shù)據(jù)庫站點同屬于一個數(shù)據(jù)庫，由統(tǒng)一的一個數(shù)據(jù)庫管理系統(tǒng)進行數(shù)據(jù)庫管理，而單個站點也具有處理本地數(shù)據(jù)的運算能力。分布式處理數(shù)據(jù)庫中不同的站點之間沒有地理上的聯(lián)系，可以分布在不同地方，不同城市，甚至不同國家，因此分布式數(shù)據(jù)庫結(jié)構(gòu)可以理解為是基于計算機網(wǎng)絡(luò)的數(shù)據(jù)庫系統(tǒng)，同時具有計算機的運算能力和數(shù)據(jù)庫數(shù)據(jù)存儲的功能。

1.3 分布式數(shù)據(jù)庫的基本特征

1.3.1 物理分散

分布式數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)存儲物理分散，數(shù)據(jù)存在于由計算機網(wǎng)絡(luò)相互連通的多個站點上，避免了數(shù)據(jù)集中存儲遭受災(zāi)難性物理攻擊的風(fēng)險，“雞蛋不裝在一個籃子里”。

1.3.2 邏輯整體性

分布式數(shù)據(jù)庫系統(tǒng)的不同數(shù)據(jù)節(jié)點都在統(tǒng)一的數(shù)據(jù)庫管理軟件下工作，邏輯上這些數(shù)據(jù)節(jié)點上的數(shù)據(jù)是共享的，所以分布式數(shù)據(jù)庫支持全局性應(yīng)用。

1.3.3 站點自治

不同的數(shù)據(jù)節(jié)點上的數(shù)據(jù)能夠?qū)崿F(xiàn)本地DBMS管理，同時應(yīng)用自身的運算能力支持本地局部應(yīng)用。

2 分布式物聯(lián)網(wǎng)數(shù)據(jù)設(shè)計要點

分布式系統(tǒng)中有分布式計算系統(tǒng)、分布式信息系統(tǒng)和分布式普適系統(tǒng)，根據(jù)物聯(lián)網(wǎng)數(shù)據(jù)處理工作的性能需求，選擇分布式計算系統(tǒng)作為物聯(lián)網(wǎng)數(shù)據(jù)庫的基本結(jié)構(gòu)形式比較合理，應(yīng)用相關(guān)開源軟件平臺就能夠完成分布式系統(tǒng)集群的建設(shè)，在物聯(lián)網(wǎng)數(shù)據(jù)處理過程中，應(yīng)用Mapreduce理論進行任務(wù)分割，將分割生成的小任務(wù)交由不同的數(shù)據(jù)節(jié)點進行處理，不同數(shù)據(jù)節(jié)點數(shù)據(jù)處理結(jié)果匯總后由主機生成最終結(jié)果，這是物聯(lián)網(wǎng)分布數(shù)據(jù)庫數(shù)據(jù)處理的基本思路。

事務(wù)主要是物聯(lián)網(wǎng)數(shù)據(jù)處理任務(wù)的調(diào)度和分配，包括任務(wù)的啟動和結(jié)束以及執(zhí)行情況監(jiān)督，在任務(wù)執(zhí)行過程中需要配合一系列技術(shù)措施維持分布事務(wù)性質(zhì)與數(shù)據(jù)庫的一致性以及事務(wù)數(shù)據(jù)自身的完整性，同時保證系統(tǒng)有較高的效率和理想的可靠性。物聯(lián)網(wǎng)數(shù)據(jù)庫上的原子性操作是系統(tǒng)的基本管理單位，單個事務(wù)有著原子性、持久性、可串行性的特點，物聯(lián)網(wǎng)分布式數(shù)據(jù)庫事務(wù)處理要經(jīng)過任務(wù)分割和分配以及結(jié)果匯總的流程，由于數(shù)據(jù)分布在自治數(shù)據(jù)節(jié)點上，所以事務(wù)處理和執(zhí)行需要在主機和管理系統(tǒng)的協(xié)調(diào)組織下進行。

分布式數(shù)據(jù)管理系統(tǒng)功能主要有單個數(shù)據(jù)節(jié)點的本地局部事務(wù)管理和站點間協(xié)作的全局性事務(wù)管理兩個層次，本地事務(wù)處理可將站點理解為一個集中式數(shù)據(jù)庫，采用常規(guī)數(shù)據(jù)庫事務(wù)管理方法技術(shù)實現(xiàn)，全局性事物的處理則面臨著分布環(huán)境導(dǎo)致的協(xié)同調(diào)度與管理困難，需要采取必要的技術(shù)措施來解決。

2.1.1 分布式事務(wù)執(zhí)行位置的透明化

分布式事務(wù)管理根據(jù)事務(wù)內(nèi)在邏輯，將其分為子事務(wù)，分配給不同的相關(guān)節(jié)點執(zhí)行，之后進行處理結(jié)果匯總，透明化的執(zhí)行位置方便全局?jǐn)?shù)據(jù)庫管理軟件對子事務(wù)執(zhí)行情況的監(jiān)督管理，從而解決了不同數(shù)據(jù)節(jié)點之間調(diào)度管理困難的問題。

2.1.2 實現(xiàn)事務(wù)性質(zhì)

尤其是事務(wù)原子性和可串行性的實現(xiàn)。分布式事務(wù)管理的關(guān)鍵是做好事務(wù)開始與結(jié)束的控制，因此分布式事務(wù)處理需要制定一個正確有效的協(xié)議，確保分布事務(wù)具有唯一且一致的處理結(jié)果，從而獲得事務(wù)結(jié)束的正確決定，同時要保持事務(wù)的原子性，使得事務(wù)結(jié)束指令能夠無條件執(zhí)行，還要形成一個并行控制策略，維持全局一致性和完整性，保證每個局部節(jié)點和全局事務(wù)都能夠并行執(zhí)行。endprint

2.2 并行控制

并行控制主要目的是維持事務(wù)和分布式數(shù)據(jù)的一致性，在確保事務(wù)可串行的同時，獲得理想的事務(wù)并發(fā)度，提高系統(tǒng)運行效率。

分布式事物并發(fā)控制和集中數(shù)據(jù)庫的并發(fā)控制在本質(zhì)上是一致的，分布式數(shù)據(jù)庫的局部數(shù)據(jù)節(jié)點就是一個集中式數(shù)據(jù)庫，所以局部數(shù)據(jù)節(jié)點上的事務(wù)并發(fā)是可以實現(xiàn)的，基于集中數(shù)據(jù)庫可串行理論進行事務(wù)控制，獲得單個站點上事務(wù)執(zhí)行序列。所有數(shù)據(jù)站點上事務(wù)執(zhí)行序列的集合就是全局事務(wù)處理順序，由于分布式系統(tǒng)中并不存在一個全局時鐘，因此需要使用事件時間戳描述事件發(fā)生序列，從而形成全局性的邏輯事件順序，得到事務(wù)發(fā)生順序，其結(jié)果是唯一的。

分布式物聯(lián)網(wǎng)數(shù)據(jù)庫的并行控制采用封鎖方法。事物的某項數(shù)據(jù)處理之前需要先申請該數(shù)據(jù)的封鎖，批準(zhǔn)之后才能夠執(zhí)行數(shù)據(jù)操作。如果該數(shù)據(jù)已經(jīng)處于其他事務(wù)的處理封鎖狀態(tài)中，則該事務(wù)將一直等待，直到其他事務(wù)對數(shù)據(jù)的鎖定結(jié)束。封鎖機制中，鎖有共享和互斥鎖兩種形式，共享鎖用于用戶對數(shù)據(jù)的讀操作，互斥對應(yīng)用戶對數(shù)據(jù)的寫操作。

數(shù)據(jù)項不能同時處于兩個寫操作中，因此兩個事務(wù)同時申請某數(shù)據(jù)對象的互斥鎖，則兩個事務(wù)相互沖突，某事務(wù)封鎖數(shù)據(jù)之后，直到事務(wù)執(zhí)行結(jié)束，該事務(wù)對數(shù)據(jù)的封鎖才能結(jié)束。如果事務(wù)申請某數(shù)據(jù)的共享鎖，其他事務(wù)也能夠共享封鎖權(quán)，但是不能獲取對數(shù)據(jù)的互斥鎖，直到所有申請共享鎖的事務(wù)處理結(jié)束。單個數(shù)據(jù)的讀操作是可以共享的，但是寫操作在同一時間只能由一個事務(wù)來執(zhí)行。

2.3 物聯(lián)網(wǎng)分布式數(shù)據(jù)庫目錄結(jié)構(gòu)體系構(gòu)建

物聯(lián)網(wǎng)分布數(shù)據(jù)庫目錄也稱為數(shù)據(jù)字典，是數(shù)據(jù)庫的數(shù)據(jù)庫，所有關(guān)于數(shù)據(jù)庫的操作都和數(shù)據(jù)目錄相關(guān)，數(shù)據(jù)目錄結(jié)構(gòu)的合理性對數(shù)據(jù)庫訪問的效率有著直接的影響，無論是存儲、讀取、授權(quán)、安全、管理等操作，都和目錄結(jié)構(gòu)與管理策略息息相關(guān)。物聯(lián)網(wǎng)分布數(shù)據(jù)庫數(shù)據(jù)類型復(fù)雜，目錄生成和管理工作難度要高于傳統(tǒng)數(shù)據(jù)庫。

2.3.1 全局式目錄

全局目錄體系邏輯上是一張表單或者關(guān)系表，支持分片和建立副本，并且目錄能夠分布在數(shù)據(jù)節(jié)點上。分布式物聯(lián)網(wǎng)數(shù)據(jù)庫的局部數(shù)據(jù)節(jié)點上可以保存其他數(shù)據(jù)節(jié)點的目錄副本，但是需要保持副本的最新性。全局性目錄和數(shù)據(jù)箱操作需要先讀取全局目錄或者本地目錄獲得數(shù)據(jù)項相關(guān)數(shù)據(jù)信息，而這個操作受到節(jié)點自治的約束，本地站點數(shù)據(jù)項目可能存儲在遠端節(jié)點上，全局關(guān)系的增加也會給目錄更新帶來很大的工作量。

2.3.2 分布式目錄結(jié)構(gòu)

分布式目錄結(jié)構(gòu)下，單個數(shù)據(jù)節(jié)點目錄上只生成站點上生成的數(shù)據(jù)項或者存儲在站點上數(shù)據(jù)項的目錄等級。如果數(shù)據(jù)對象不存在于其產(chǎn)生節(jié)點，產(chǎn)生節(jié)點的目錄上需要對該數(shù)據(jù)進行登記，注明其現(xiàn)在存放節(jié)點位置。目錄體系引入了SWN系統(tǒng)，為每一個數(shù)據(jù)都生成了系統(tǒng)內(nèi)唯一的標(biāo)記，為用戶名用戶所在站點數(shù)據(jù)名數(shù)據(jù)對象生成站點的復(fù)合結(jié)構(gòu)。不同用戶能夠使用不同對象名快速訪問不同站點上的不同數(shù)據(jù)對象。

相比之下，分布式目錄體系在物聯(lián)網(wǎng)分布式數(shù)據(jù)庫中的應(yīng)用實現(xiàn)了不同站點上不同數(shù)據(jù)對象的透明存取，同時保護了站點的自治性，單個站點能夠有效管理自身存儲的局部數(shù)據(jù)和目錄登記項。

3 結(jié)語

物聯(lián)網(wǎng)技術(shù)發(fā)展十分迅速，在工業(yè)、農(nóng)業(yè)、交通、環(huán)保等多個領(lǐng)域都得到了大規(guī)模的應(yīng)用，隨著物聯(lián)網(wǎng)規(guī)模的不斷擴大，每時每刻都在產(chǎn)生大量數(shù)據(jù)，海量數(shù)據(jù)處理與管理工作對數(shù)據(jù)庫性能提出了巨大的挑戰(zhàn)。應(yīng)用分布式處理技術(shù)，能夠有效提高物聯(lián)網(wǎng)數(shù)據(jù)處理、檢索速度，提高了數(shù)據(jù)處理的實時性，從而挖掘出更多有價值的信息，對行業(yè)發(fā)展將會做出更大的貢獻。endprint