于文婷
(柳州市地理信息中心,柳州 545001)
大數(shù)據(jù)的收集、傳輸與管理都需要依靠云平臺(tái)設(shè)施來實(shí)現(xiàn),當(dāng)數(shù)據(jù)被上傳到云端后,打破了數(shù)據(jù)存儲(chǔ)的形式,更加容易被收集和利用,通過這樣的形式可以讓大數(shù)據(jù)的價(jià)值得到更好的體現(xiàn)。通過云平臺(tái)數(shù)據(jù)庫(kù)對(duì)大數(shù)據(jù)進(jìn)行分析與整理,讓數(shù)據(jù)可以獲得更多的內(nèi)在價(jià)值。根據(jù)國(guó)土資源部對(duì)于建設(shè)云平臺(tái)的思路要求,根據(jù)實(shí)際的工作需求,全面啟動(dòng)國(guó)土大數(shù)據(jù)云平臺(tái)建設(shè)工作的研究。
對(duì)于硬件設(shè)計(jì),可以采用分層設(shè)計(jì)的方式,對(duì)系統(tǒng)進(jìn)行分解,找到最佳的服務(wù)環(huán)境,從而發(fā)揮出硬件設(shè)備的最佳性能。國(guó)土云通過云技術(shù),減少了數(shù)據(jù)冗余,節(jié)約了空間。根據(jù)用戶的實(shí)際需求對(duì)資源進(jìn)行合理分配,得到如圖1所示的架構(gòu)圖。
圖1 總體架構(gòu)
大數(shù)據(jù)中心數(shù)據(jù)庫(kù)分為物理層、邏輯層、字庫(kù)層。字庫(kù)層中包含了基礎(chǔ)類、管理類的數(shù)據(jù);邏輯層中包含了國(guó)土資源數(shù)據(jù)中的防災(zāi)數(shù)據(jù)、地政數(shù)據(jù)以及礦政數(shù)據(jù);物理層中包含了邏輯層和字庫(kù)層中的所有關(guān)鍵數(shù)據(jù)。
大數(shù)據(jù)核心數(shù)據(jù)庫(kù)中需要將符合要求的數(shù)據(jù)按照一定的順序進(jìn)行入庫(kù),并按照不同的專題進(jìn)行組織架構(gòu)構(gòu)建。在現(xiàn)行的國(guó)土資源數(shù)據(jù)庫(kù)管理體系中,市、區(qū)、縣都需要進(jìn)行不同的管理,而核心數(shù)據(jù)庫(kù)就是將縣級(jí)數(shù)據(jù)看成是一個(gè)很小的管理單元,并根據(jù)業(yè)務(wù)的發(fā)展需要,選擇合適的粒度對(duì)其進(jìn)行統(tǒng)一管理。大數(shù)據(jù)中心數(shù)據(jù)庫(kù)采用分層管理的形式,對(duì)于不同類型的數(shù)據(jù),所采用的格式也不同,與其對(duì)應(yīng)的數(shù)據(jù)元信息中含有多種格式,在進(jìn)行入庫(kù)管理之前,要先建立一套完整的數(shù)據(jù)庫(kù)管理標(biāo)準(zhǔn),保證所有的數(shù)據(jù)能夠準(zhǔn)確入庫(kù)。
在核心數(shù)據(jù)庫(kù)中,元數(shù)據(jù)所對(duì)應(yīng)的數(shù)據(jù)模式各有不同,創(chuàng)建數(shù)據(jù)集時(shí),要對(duì)相同的文件進(jìn)行解析,將獲取的數(shù)據(jù)加入到數(shù)據(jù)庫(kù)中,并在入庫(kù)的過程中完成對(duì)數(shù)據(jù)類型、格式的統(tǒng)計(jì),從而達(dá)到較高的準(zhǔn)確性。
采用GIS 平臺(tái)對(duì)空間大數(shù)據(jù)進(jìn)行管理,按照一定的方式對(duì)非空間大數(shù)據(jù)進(jìn)行歸并和存儲(chǔ),根據(jù)費(fèi)空間大數(shù)據(jù)的特點(diǎn),使用多種存儲(chǔ)形式完成空間大數(shù)據(jù)的存儲(chǔ)。采用Hadoop 分布式文件系統(tǒng),根據(jù)數(shù)據(jù)的特點(diǎn)進(jìn)行分類,將同類型的文件集合在一起,提高文件的讀寫速度,建立檢索系統(tǒng),對(duì)小文件進(jìn)行快速檢索,建立緩存體系,對(duì)數(shù)據(jù)進(jìn)行緩存,提高小文件訪問的效率。
構(gòu)建索引和數(shù)據(jù)兩個(gè)文件,對(duì)相同文檔下的文件進(jìn)行合并,在索引中存儲(chǔ)文件的路徑、名稱等基礎(chǔ)信息;數(shù)據(jù)區(qū)中存儲(chǔ)文件數(shù)據(jù)流。對(duì)于系統(tǒng)訪問較為頻繁的文件,根據(jù)緩存模塊,將索引緩存到內(nèi)存中,實(shí)現(xiàn)對(duì)文件的高效訪問,當(dāng)系統(tǒng)在讀取文件時(shí),會(huì)先從檢索中讀取信息,然后再獲取二進(jìn)制內(nèi)容。
2.3.1 安全防護(hù)措施
國(guó)土云分為內(nèi)部服務(wù)區(qū)域與外部服務(wù)區(qū)域,內(nèi)部區(qū)域和外部區(qū)域通過多層次隔離技術(shù)對(duì)服務(wù)器、數(shù)據(jù)庫(kù)等數(shù)據(jù)資源進(jìn)行隔離,相互之間無(wú)法進(jìn)行訪問;服務(wù)區(qū)域中的每一個(gè)信息系統(tǒng)都是一個(gè)單獨(dú)存在的域,在域中可以進(jìn)行相互訪問,同一個(gè)服務(wù)區(qū)域中的域,如果要進(jìn)行互相訪問,需要通過安全域防火墻授權(quán),才可以進(jìn)行訪問;設(shè)置入侵防御、網(wǎng)站安全防護(hù)保護(hù)互聯(lián)網(wǎng)信息的入口;國(guó)土云內(nèi)部的服務(wù)區(qū)可以通過涉密專線然接入到政務(wù)的內(nèi)網(wǎng)中,通過專線連接網(wǎng)閘,完成數(shù)據(jù)交互的功能。
2.3.2 框架設(shè)計(jì)
國(guó)土云平臺(tái)中,基礎(chǔ)設(shè)施層包含了認(rèn)證基礎(chǔ)設(shè)施、網(wǎng)絡(luò)安全設(shè)施,是一種面向網(wǎng)絡(luò)的體系架構(gòu),國(guó)土云中最根本的基礎(chǔ)設(shè)施就是認(rèn)證與網(wǎng)絡(luò)安全。網(wǎng)絡(luò)安全基礎(chǔ)設(shè)施能夠讓內(nèi)部的工作環(huán)境更加安全;認(rèn)證基礎(chǔ)設(shè)施可以提供最基本的認(rèn)證服務(wù),比如身份認(rèn)證、存儲(chǔ)認(rèn)證等;數(shù)據(jù)訪問層的主要作用就是起到一定的安全作用,比如內(nèi)容的安全性、信息調(diào)用的安全性以及獲取信息的安全性等。為了強(qiáng)化數(shù)據(jù)訪問層的安全性,需要通過安全基礎(chǔ)實(shí)現(xiàn)數(shù)據(jù)庫(kù)保存的功能,同時(shí)系統(tǒng)還可以按照不同的等級(jí)定制不同的權(quán)限,以實(shí)現(xiàn)對(duì)各個(gè)操作的工作開展;網(wǎng)絡(luò)具有一定的風(fēng)險(xiǎn)性,黑客可以通過竊取工具獲取關(guān)鍵數(shù)據(jù),從而引發(fā)數(shù)據(jù)破壞的惡性事件。所以,需要在交換層中保障數(shù)據(jù)共享的安全性,防止數(shù)據(jù)在傳輸過程中被惡意篡改;應(yīng)用層的作用就是為用戶的審查、信任提供安全保證,同時(shí)應(yīng)用層還具有較高的認(rèn)證體系,只有得到保證的用戶才能夠登錄到系統(tǒng)中開展相應(yīng)的應(yīng)用。應(yīng)用層可以保證服務(wù)器與客戶兩個(gè)終端的數(shù)據(jù)安全性,保證所有的應(yīng)用模塊可以在實(shí)際的操作過程中保持其完整性。
國(guó)土大數(shù)據(jù)體系建設(shè)在云平臺(tái)數(shù)據(jù)庫(kù)的幫助下,已經(jīng)逐步完善。落實(shí)互聯(lián)網(wǎng)+理念,將國(guó)土部門的土地利用與當(dāng)前的信息技術(shù)進(jìn)行融合,結(jié)合物聯(lián)網(wǎng)傳感器和視頻監(jiān)控等完成數(shù)據(jù)分析和管理,通過云平臺(tái)項(xiàng)目數(shù)據(jù)庫(kù)完成數(shù)據(jù)整合,對(duì)國(guó)土資源大數(shù)據(jù)開展實(shí)時(shí)調(diào)查分析與應(yīng)用,使其能夠成為國(guó)土資源信息化工作的重點(diǎn)。不斷推進(jìn)云平臺(tái)數(shù)據(jù)庫(kù)建設(shè),對(duì)電子政務(wù)平臺(tái)進(jìn)行升級(jí)改進(jìn),拓展數(shù)據(jù)來源人,為國(guó)土資源管理的發(fā)展提供技術(shù)支撐。