全國林業(yè)資源數(shù)據(jù)集群存儲(chǔ)技術(shù)研究

黃 穎，謝陽生

(1.北京林業(yè)大學(xué)水土保持學(xué)院，北京 100083;2.中國林業(yè)科學(xué)研究院資源信息研究所，北京 100091)

全國林業(yè)資源數(shù)據(jù)集群存儲(chǔ)技術(shù)研究

黃 穎1，2，謝陽生2

(1.北京林業(yè)大學(xué)水土保持學(xué)院，北京 100083;2.中國林業(yè)科學(xué)研究院資源信息研究所，北京 100091)

為解決全國大規(guī)模一體化林業(yè)資源管理，設(shè)計(jì)了適用于全國林業(yè)資源數(shù)據(jù)的分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)。通過數(shù)據(jù)分塊、索引分級(jí)、集群合并，將各省和國家的林業(yè)資源數(shù)據(jù)集群在邏輯上合并成一個(gè)大數(shù)據(jù)集群。分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)的應(yīng)用和全國數(shù)據(jù)集群的合并加快了數(shù)據(jù)處理速度，統(tǒng)一了數(shù)據(jù)管理過程，建立了全向的并發(fā)數(shù)據(jù)通道。為實(shí)現(xiàn)林業(yè)資源數(shù)據(jù)的全國一體化應(yīng)用做了積極探索。

林業(yè)資源;大數(shù)據(jù);集群數(shù)據(jù);集群數(shù)據(jù)存儲(chǔ);林地一張圖

0 引言

全國林業(yè)資源數(shù)據(jù)的一體化應(yīng)用是林業(yè)信息化發(fā)展的趨勢(shì)。目前我國的林業(yè)資源數(shù)據(jù)分散存儲(chǔ)在各地分別管理和應(yīng)用，難以實(shí)現(xiàn)林業(yè)資源數(shù)據(jù)的一體化應(yīng)用。在存儲(chǔ)和管理林業(yè)資源數(shù)據(jù)的部門中，多數(shù)將這些數(shù)據(jù)存儲(chǔ)在單一數(shù)據(jù)庫中，而且數(shù)據(jù)塊大小沒有統(tǒng)一標(biāo)準(zhǔn)，實(shí)際運(yùn)行中訪問大量的小數(shù)據(jù)塊或讀取過大的數(shù)據(jù)塊，都會(huì)導(dǎo)致系統(tǒng)速度急劇下降。有的部門由于數(shù)據(jù)容量的問題將數(shù)據(jù)塊存儲(chǔ)在磁盤陣列中，這樣雖擴(kuò)大了存儲(chǔ)量，但受限于硬件接口的吞吐能力，不能滿足大規(guī)模并發(fā)處理的需求。在數(shù)據(jù)的一體化應(yīng)用上，一些專家學(xué)者借助數(shù)據(jù)平臺(tái)解決跨省數(shù)據(jù)訪問的問題［1-4］。這樣能以統(tǒng)一的方式訪問數(shù)據(jù)，但數(shù)據(jù)經(jīng)過多層包裝轉(zhuǎn)換，會(huì)產(chǎn)生額外的時(shí)間開銷。在數(shù)據(jù)管理上，單一數(shù)據(jù)庫擴(kuò)容及數(shù)據(jù)遷移的成本也非常高［5-7］。

要解決這些問題只能改變數(shù)據(jù)的訪問機(jī)制，筆者分析了林業(yè)資源數(shù)據(jù)構(gòu)成、存儲(chǔ)及應(yīng)用特點(diǎn)以及數(shù)據(jù)集群的構(gòu)成，提出將國家級(jí)和省級(jí)的數(shù)據(jù)在集群內(nèi)按地理區(qū)域、時(shí)間和類型進(jìn)行分類，將數(shù)據(jù)塊按統(tǒng)一大小分割后均勻分布存儲(chǔ)在大量的數(shù)據(jù)服務(wù)器上，每個(gè)數(shù)據(jù)服務(wù)器上都運(yùn)行獨(dú)立的數(shù)據(jù)庫，然后建立數(shù)據(jù)、數(shù)據(jù)塊索引［8-10］，在不改變底層數(shù)據(jù)庫軟件結(jié)構(gòu)的基礎(chǔ)上實(shí)現(xiàn)數(shù)據(jù)處理過程的并發(fā)處理，最后通過索引同步將國家和各省的數(shù)據(jù)集群在邏輯上合并成一個(gè)大數(shù)據(jù)集群。實(shí)現(xiàn)了數(shù)據(jù)集群間的全向、并發(fā)的數(shù)據(jù)交互，大幅提高了數(shù)據(jù)處理速度，實(shí)現(xiàn)了國家和省級(jí)數(shù)據(jù)的統(tǒng)一管理。

1 林業(yè)資源數(shù)據(jù)分析

1 )林業(yè)資源數(shù)據(jù)構(gòu)成。林業(yè)資源數(shù)據(jù)從林業(yè)業(yè)務(wù)的角度主要由森林資源、濕地、荒漠化和生物多樣性四大類數(shù)據(jù)構(gòu)成。其中森林資源、濕地和荒漠化是連續(xù)或區(qū)域集中連續(xù)的數(shù)據(jù)，從全國的范圍來說，數(shù)據(jù)呈現(xiàn)連續(xù)且規(guī)模大的特點(diǎn)。例如全國林地“一張圖”中所使用的全國林地資源數(shù)據(jù)，數(shù)據(jù)量達(dá)到12.4 TByte。而生物多樣性數(shù)據(jù)則呈現(xiàn)數(shù)據(jù)分散且數(shù)據(jù)多的特點(diǎn)。因此從數(shù)據(jù)的管理上，林業(yè)資源數(shù)據(jù)構(gòu)成表現(xiàn)出兩種特點(diǎn)：數(shù)據(jù)文件少，但數(shù)據(jù)體量大;數(shù)據(jù)文件數(shù)量多，但數(shù)據(jù)分散。

2 )林業(yè)資源數(shù)據(jù)存儲(chǔ)及應(yīng)用特點(diǎn)。從數(shù)據(jù)存儲(chǔ)的角度，目前國家級(jí)林業(yè)資源數(shù)據(jù)主要集中在國家林業(yè)局及四大直屬院的相關(guān)部門中存儲(chǔ)和管理，省級(jí)林業(yè)資源數(shù)據(jù)有的相對(duì)集中存儲(chǔ)于省林業(yè)廳信息中心及省級(jí)林業(yè)規(guī)劃部門，同時(shí)也有的分散于省級(jí)各業(yè)務(wù)部門。在應(yīng)用上，由于國家、各省及各部門信息化程度的不同，數(shù)據(jù)的應(yīng)用程度也有區(qū)別。信息化程度相對(duì)較高的國家級(jí)及省級(jí)單位，已經(jīng)形成數(shù)據(jù)集群，能對(duì)數(shù)據(jù)庫進(jìn)行一定程度的并發(fā)訪問，但并發(fā)量有限。

3 )林業(yè)資源數(shù)據(jù)集群構(gòu)成。目前的數(shù)據(jù)集群一般由應(yīng)用服務(wù)器、功能服務(wù)器、數(shù)據(jù)庫服務(wù)器、磁盤陣列及三層內(nèi)部交換網(wǎng)絡(luò)構(gòu)成。核心服務(wù)器通常處于同一網(wǎng)段中，通過千兆局域網(wǎng)或光纖連接。磁盤陣列一般會(huì)進(jìn)行數(shù)據(jù)冗余保障數(shù)據(jù)安全，服務(wù)器進(jìn)行多機(jī)負(fù)載均衡提高并發(fā)性能，通過雙、多機(jī)備份保障應(yīng)用穩(wěn)定。隨著林業(yè)專網(wǎng)建設(shè)的推進(jìn)，目前已有一些國家級(jí)和省級(jí)單位接入專網(wǎng)，實(shí)現(xiàn)了數(shù)據(jù)的互通。

整體而言，我國森林資源數(shù)據(jù)類型多、總量大、存儲(chǔ)分散，各級(jí)管理單位有一定的硬件基礎(chǔ)，單位之間也有一定的網(wǎng)絡(luò)連通條件，這些是全國林業(yè)資源數(shù)據(jù)一體化應(yīng)用的基礎(chǔ)。

2 全國林業(yè)資源數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)

針對(duì)目前全國林業(yè)資源數(shù)據(jù)的存儲(chǔ)、應(yīng)用及管理情況，為解決全國大規(guī)模一體化林業(yè)資源數(shù)據(jù)管理，筆者設(shè)計(jì)了分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)管理全國的林業(yè)資源數(shù)據(jù)，通過數(shù)據(jù)分塊、分級(jí)索引和集群合并解決這些問題。

圖1 分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)與單庫存儲(chǔ)的比較Fig.1 Comparison of distributed spatial data storage system and single database storage

分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)與目前常用的單庫存儲(chǔ)模式不同，它在多個(gè)數(shù)據(jù)庫實(shí)例上同時(shí)處理數(shù)據(jù)，數(shù)據(jù)塊分布在多臺(tái)數(shù)據(jù)服務(wù)器上。如圖1所示，右側(cè)為分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)，數(shù)據(jù)處理在多個(gè)數(shù)據(jù)庫實(shí)例中同時(shí)進(jìn)行，數(shù)據(jù)庫軟件可從多個(gè)數(shù)據(jù)服務(wù)器上同時(shí)讀取數(shù)據(jù)。

2.1 數(shù)據(jù)分塊

應(yīng)用分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)，首先要將數(shù)據(jù)進(jìn)行分塊存儲(chǔ)。數(shù)據(jù)分塊是指將數(shù)據(jù)分類后，分成相同大小的數(shù)據(jù)塊，然后均勻分布存儲(chǔ)在所有的數(shù)據(jù)服務(wù)器上。分布存儲(chǔ)相同大小的數(shù)據(jù)塊可以提高單機(jī)讀取速度，也是數(shù)據(jù)庫軟件分布管理數(shù)據(jù)塊的基礎(chǔ)。在數(shù)據(jù)處理過程中，要訪問在磁盤中大小不同的數(shù)據(jù)塊就必須支持隨機(jī)讀寫，而訪問固定大小的數(shù)據(jù)塊則只需要支持順序讀寫。隨機(jī)讀寫過程涉及的數(shù)據(jù)操作比順序讀寫過程復(fù)雜得多，因此，在數(shù)據(jù)處理過程中減少數(shù)據(jù)操作耗時(shí)，能在很大程度上提高單次數(shù)據(jù)處理的速度，數(shù)據(jù)量越大，則速度差別越明顯。數(shù)據(jù)庫軟件可基于分布式文件存儲(chǔ)系統(tǒng)［11，12］管理分布存儲(chǔ)的數(shù)據(jù)塊。

將需要存儲(chǔ)的數(shù)據(jù)根據(jù)時(shí)間、地域、圖層分類后按照固定大小M分塊。如圖2所示，由于數(shù)據(jù)塊大小不可能都被M整除，分割后每類數(shù)據(jù)都可能產(chǎn)生一定的剩余小塊數(shù)據(jù)。為了能通過順序讀寫同一類數(shù)據(jù)，這些零散的數(shù)據(jù)不能混合，并且剩余數(shù)據(jù)不管大小都必須占用M大小的存儲(chǔ)空間。為了在應(yīng)用中盡可能并發(fā)處理數(shù)據(jù)，同類、連續(xù)的數(shù)據(jù)塊必須盡可能均勻地分布在不同的數(shù)據(jù)服務(wù)器上。

圖2 數(shù)據(jù)塊分割過程Fig.2 Process of data block partition

數(shù)據(jù)塊大小M在實(shí)際運(yùn)行環(huán)境中通過測(cè)試決定。實(shí)際情況較為復(fù)雜不可能通過公式計(jì)算出M的大小，只能在M的取值范圍內(nèi)驗(yàn)證測(cè)試一些取值，然后根據(jù)測(cè)試結(jié)果選取比較合適的值。假設(shè)在實(shí)際運(yùn)行環(huán)境中發(fā)起一次網(wǎng)絡(luò)連接的最長需時(shí)為t(s)，最慢的服務(wù)器平均每秒能處理Vs(MByte)的數(shù)據(jù)，網(wǎng)絡(luò)中平均每秒能傳輸Vn(MByte)的數(shù)據(jù)，則M＞t。M太小，則新建網(wǎng)絡(luò)連接的時(shí)間可能大于傳輸文件的時(shí)間開銷，處理數(shù)據(jù)所需的總時(shí)間反而增加;M太大，則處理時(shí)間接近傳輸時(shí)間，總體性能沒有得到提升。在筆者的測(cè)試環(huán)境中，選取的文件塊大小M為64 MByte。

2.2 建立分級(jí)索引

數(shù)據(jù)分布存儲(chǔ)到大量的數(shù)據(jù)服務(wù)器后，業(yè)務(wù)系統(tǒng)在處理數(shù)據(jù)時(shí)，必須知道需要訪問的數(shù)據(jù)服務(wù)器。因此，在分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)中需要主服務(wù)器對(duì)數(shù)據(jù)、數(shù)據(jù)塊建立索引。文獻(xiàn)［13］為分布存儲(chǔ)的林業(yè)資源數(shù)據(jù)管理設(shè)計(jì)了一種快速索引，該索引分為在主服務(wù)器索引和數(shù)據(jù)節(jié)點(diǎn)索引兩級(jí)，結(jié)構(gòu)上都由一棵SB樹和一棵RQ樹構(gòu)成，以實(shí)現(xiàn)空間與屬性數(shù)據(jù)的分布式存儲(chǔ)并行訪問。對(duì)分布式存儲(chǔ)的數(shù)據(jù)塊建立分級(jí)快速索引后，業(yè)務(wù)系統(tǒng)能通過主服務(wù)器上的第1級(jí)索引快速找到數(shù)據(jù)所在的數(shù)據(jù)服務(wù)器，并通過數(shù)據(jù)服務(wù)器上建立的第2級(jí)索引，快速判斷自己是否存有所需數(shù)據(jù)。經(jīng)過兩級(jí)索引的過濾，業(yè)務(wù)系統(tǒng)可同時(shí)向存在所需數(shù)據(jù)的多個(gè)數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)請(qǐng)求，同時(shí)避免在不存在所需數(shù)據(jù)的數(shù)據(jù)服務(wù)器中盲目查詢而影響系統(tǒng)的整體效率。

2.3 數(shù)據(jù)集群合并

經(jīng)過數(shù)據(jù)文件分塊和分級(jí)索引的建立，林業(yè)資源數(shù)據(jù)在集群內(nèi)可以進(jìn)行統(tǒng)一管理并在機(jī)制上解決并發(fā)處理問題。之后是通過國家、省級(jí)數(shù)據(jù)集群的合并解決全國一體化應(yīng)用的問題。

數(shù)據(jù)集群合并的過程如圖3所示，已經(jīng)進(jìn)行數(shù)據(jù)分塊并建立了數(shù)據(jù)索引的省級(jí)數(shù)據(jù)集群和國家級(jí)的數(shù)據(jù)集群，其主服務(wù)器通過林業(yè)專網(wǎng)遠(yuǎn)程實(shí)現(xiàn)索引同步。在進(jìn)行索引同步后，網(wǎng)絡(luò)中的所有主服務(wù)器都將同步存儲(chǔ)全國所有的數(shù)據(jù)索引，形成全國的主服務(wù)器群，物理分布的所有數(shù)據(jù)集群將在邏輯上形成全國的大數(shù)據(jù)集群。應(yīng)用程序可通過任一主服務(wù)器獲取到全國所有的數(shù)據(jù)文件訪問地址，并同時(shí)在全國所有的數(shù)據(jù)服務(wù)器上處理數(shù)據(jù)。

圖3 集群合并過程Fig.3 Process of clustermerging

3 應(yīng)用實(shí)現(xiàn)

為了驗(yàn)證分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)的效果，筆者設(shè)置了5臺(tái)服務(wù)器進(jìn)行測(cè)試，其中一臺(tái)使用較高配置，另外4臺(tái)配置使用相對(duì)較低的配置。首先按傳統(tǒng)方式，用配置較高的服務(wù)器安裝數(shù)據(jù)庫軟件和空間數(shù)據(jù)引擎，數(shù)據(jù)存儲(chǔ)在真實(shí)的磁盤陣列中，其次依次記錄查詢從50～10 000條林地小班邊界所需的時(shí)間，每條小班邊界數(shù)據(jù)包含約85個(gè)字段的屬性數(shù)據(jù);然后用筆者所建分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)，用配置較高的服務(wù)器作為主服務(wù)器，另外4臺(tái)服務(wù)器作為數(shù)據(jù)服務(wù)器，記錄查詢相同數(shù)據(jù)所需時(shí)間。測(cè)試結(jié)果如表1所示。

表1 兩種存儲(chǔ)方式的處理時(shí)間對(duì)比Tab.1 Comparison of processing time of two types of storage

結(jié)果表明，在查詢的數(shù)據(jù)量達(dá)到2007后，筆者所述分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)處理速度優(yōu)于單庫存儲(chǔ)方式，處理的數(shù)據(jù)量越大，優(yōu)勢(shì)越明顯。

通過測(cè)試驗(yàn)證后，將筆者設(shè)計(jì)的分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)應(yīng)用于管理全國林地保護(hù)利用規(guī)劃數(shù)據(jù)，建立了全國林地一張圖管理系統(tǒng)，成功實(shí)現(xiàn)全國林地?cái)?shù)據(jù)的統(tǒng)一管理以及快速的跨省數(shù)據(jù)訪問，系統(tǒng)界面如圖4所示。

圖4 全國林地一張圖管理系統(tǒng)Fig.4 National forestry land resourcesmanagement system

4 結(jié) 語

筆者設(shè)計(jì)的分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)在林地保護(hù)利用規(guī)劃數(shù)據(jù)的管理上得到了良好的應(yīng)用，進(jìn)一步接入森林資源、濕地、荒漠化和生物多樣性等數(shù)據(jù)，可實(shí)現(xiàn)對(duì)全國林業(yè)資源數(shù)據(jù)的統(tǒng)一管理和一體化應(yīng)用。分布存儲(chǔ)數(shù)據(jù)塊并通過兩級(jí)索引進(jìn)行管理和訪問，可以解決數(shù)據(jù)體量過大和數(shù)據(jù)零散導(dǎo)致的性能下降問題，能快速完成數(shù)據(jù)庫擴(kuò)容和遷移，為大規(guī)模并發(fā)計(jì)算提供支持。備份數(shù)據(jù)塊和大量的數(shù)據(jù)庫實(shí)例能保障數(shù)據(jù)的安全和服務(wù)的不間斷。合并數(shù)據(jù)集群可以全面管理調(diào)度在各地存儲(chǔ)的數(shù)據(jù)，實(shí)現(xiàn)全向的并發(fā)操作，真正實(shí)現(xiàn)林業(yè)資源數(shù)據(jù)的全國一體化應(yīng)用。

該分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)底層是支持分布式文件存儲(chǔ)系統(tǒng)的關(guān)系型數(shù)據(jù)庫，需要空間數(shù)據(jù)引擎支持空間數(shù)據(jù)的存儲(chǔ)管理。將來可以進(jìn)一步研究面向?qū)ο髷?shù)據(jù)庫對(duì)空間數(shù)據(jù)分布存儲(chǔ)的支持，同時(shí)也能通過在數(shù)據(jù)庫內(nèi)建立動(dòng)態(tài)空間索引，進(jìn)一步加快數(shù)據(jù)的處理速度。

［1］張冬有，臧淑英，馮仲科.黑龍江省林業(yè)地理信息公共服務(wù)平臺(tái)設(shè)計(jì)［J］.北京林業(yè)大學(xué)學(xué)報(bào)，2007，29(2)：26-30.

ZHANG Dongyou，ZANG Shuying，F(xiàn)ENG Zhongke.Design of Forestry Geographic Information Public Service Platform in Heilongjiang Province［J］.Journal of Beijing Forestry University，2007，29(2)：26-30.

［2］龐麗峰，唐小明，劉鵬舉.基于WebGIS省級(jí)林業(yè)信息共享平臺(tái)的研發(fā)［J］.西北林學(xué)院學(xué)報(bào)，2011，26(2)：180-184.

PANG Lifeng，TANG Xiaoming，LIU Pengju.Development of the Provincial Forestry Information Sharing Platform Based on WebGIS［J］.Journal of Northwest Forestry University，2011，26(2)：180-184.

［3］田波，丁麗霞，周云軒，等.多層分布式林業(yè)信息服務(wù)平臺(tái)的構(gòu)建［J］.浙江林學(xué)院學(xué)報(bào)，2006，23(4)：429-434.

TIAN Bo，DING Lixia，ZHOU Yunxuan，et al.Construction of a Multi-Layered Distributed Forestry Information Service Platform［J］.Journal of Zhejiang Forestry College，2006，23(4)：429-434.

［4］張旭，李增元，鄧廣，等.數(shù)字林業(yè)平臺(tái)技術(shù)研究與實(shí)現(xiàn)［J］.林業(yè)科學(xué)，2006，42(1)：37-40.

ZHANG Xu，LI Zengyuan，DENG Guang，et al.Research and Implementation on Digital Forestry Platform ［J］.Scientia Silvae Sinicae，2006，42(1)：37-40.

［5］張廣艷，丘建平.分級(jí)存儲(chǔ)系統(tǒng)中一種數(shù)據(jù)自動(dòng)遷移方法［J］.計(jì)算機(jī)研究與發(fā)展，2012，49(8)：1804-1810.

ZHANG Guangyan，QIU Jianping.An Approach for Migrating Data Adaptively in Hierarchical Storage Systems［J］.Journal of Computer Research and Development，2012，49(8)：1804-1810.

［6］NAHAR P，JOSHI A，SAUPP A.Cloud Computing in Emerging Markets(CCEM) ［C］∥2012 IEEE International Conference.Waltham，MA：［s.n.］，2012：11-12.

［7］ADAM JACOBS.The Pathologies of Big Data［J］.Communications of the ACM，2009，52(8)：36-44.

［8］SANJAY GHEMAWAT，HOWARD GOBIOFF，SHUN-TAK LEUNG.The Google File System［C］∥19th ACM Symposium on Operating Systems Principles.Lake George，NY：［s.n.］，2003.

［9］FRANKSCHMUCK，ROGER HASKIN.GPFS：A Shared-Diskfile System for Large Computing Clusters［C］∥Proceedings of the First USENIX Conference on File and Storage Technologies.Monterey，California：［s.n.］，2002.

［10］DHRUBA BORTHAKUR.The Hadoop Distributed File System：Architecture and Design［M］.［S.l.］：The Apache Software Foundation，2007.

［11］何林幫，李鋼，王孝強(qiáng)，等.在Unix與Oracle環(huán)境下ArcSDE的優(yōu)化［J］.測(cè)繪科學(xué)，2012，37(3)：178-180.

HE Linbang，LIGang，WANG Xiaoqiang，et al.ArcSDEOptimization in the Unix and Oracle Environment［J］.Science of Surveying and Mapping，2012，37(3)：178-180.

［12］師洪波，吳振新.基于HDFS的分布式長期保存系統(tǒng)實(shí)現(xiàn)研究［J］.圖書館學(xué)研究，2012(1)：29-35.

SHIHongbo，WU Zhenxin.A Study of Distributed Long-Term Preservation System Based on HDFS［J］.Research on Library Science，2012(1)：29-35.

［13］李惺穎，謝陽生，唐小明，等.林業(yè)資源數(shù)據(jù)集群的快速索引設(shè)計(jì)［J］.吉林大學(xué)學(xué)報(bào)：理學(xué)版，2013，51(6)：1111-1117.

LIXingying，XIE Yangsheng，TANG Xiaoming，etal.Design of Fast Index for Forest Resources Data Cluster［J］.Journal of Jilin University：Science Edition，2013，51(6)：1111-1117.

Study of Data Cluster Storage Technology of National Forestry Resources

HUANG Ying1，2，XIE Yangsheng2

(1.School of Soil and Water Conservation，Beijing Forestry University，Beijing 100083，China;2.Research Institute of Resource and Information，Chinese Academy of Forestry，Beijing 100091，China)

In order to solve large-scale integration of national forest resourcemanagement，a distributed spatial data storage system suitable for forestry resources data is designed.Through three steps，block data files，index classification and merge cluster，without changing the underlying database software structure，provinces'and national's data clusters are logically combined into a whole big data cluster.Application of the distributed spatial data storage system and merging of clusters increase the speed of data processing，unifiy data management process，establish omnidirectional concurrency data channel，is an active exploration for realizing forestry resources data for national integration application.

forestry resources;big data;data cluster;cluster data storage;forestry land resources on singlemap

TP311

A

1671-5896(2014)03-0316-05

2014-03-04

中央級(jí)公益性科研院所基本科研業(yè)務(wù)費(fèi)專項(xiàng)基金資助項(xiàng)目(IFRIT201101);林業(yè)公益性科研專項(xiàng)基金資助項(xiàng)目(201304215)

黃穎(1989— )，女，四川宜賓人，北京林業(yè)大學(xué)碩士研究生，主要從事GIS開發(fā)與應(yīng)用研究，(Tel)86-18600838756(E-mail)cafhuangying@gmail.com;通訊作者：謝陽生(1975— )，女，貴陽人，中國林業(yè)科學(xué)研究院助理研究員，博士，主要從事GIS開發(fā)與應(yīng)用研究，(Tel)86-010-62888453(E-mail)Xieys@caf.ac.cn。

劉東亮)