面向分片地圖的多分辨率格點(diǎn)數(shù)據(jù)統(tǒng)一存取方法

王葉晨梓, 杜震洪*, 張豐, 劉仁義

(1.浙江大學(xué) 浙江省資源與環(huán)境信息系統(tǒng)重點(diǎn)實(shí)驗(yàn)室， 浙江 杭州 310028；2.浙江大學(xué) 地理信息科學(xué)研究所， 浙江 杭州 310027)

面向分片地圖的多分辨率格點(diǎn)數(shù)據(jù)統(tǒng)一存取方法

王葉晨梓1,2, 杜震洪1,2*, 張豐1,2, 劉仁義1,2

(1.浙江大學(xué) 浙江省資源與環(huán)境信息系統(tǒng)重點(diǎn)實(shí)驗(yàn)室， 浙江 杭州 310028；2.浙江大學(xué) 地理信息科學(xué)研究所， 浙江 杭州 310027)

不同的海洋環(huán)境要素對(duì)象、數(shù)據(jù)文件格式及數(shù)據(jù)分辨率使得對(duì)異構(gòu)且離散的場(chǎng)數(shù)據(jù)訪問(wèn)和應(yīng)用受到了限制.設(shè)計(jì)了面向分片地圖的統(tǒng)一數(shù)據(jù)多級(jí)存儲(chǔ)組織架構(gòu)，定義了適用于不同分片地圖對(duì)象的海洋場(chǎng)數(shù)據(jù)組織方式，提出了多分辨率格點(diǎn)場(chǎng)數(shù)據(jù)分層和分塊方法，并通過(guò)建立索引編碼，實(shí)現(xiàn)將多要素、多時(shí)次、多深度、多高度的海洋環(huán)境場(chǎng)數(shù)據(jù)按統(tǒng)一維度的小區(qū)塊存儲(chǔ)并管理于多級(jí)組織架構(gòu)中.該方法在海洋環(huán)境預(yù)報(bào)綜合信息服務(wù)平臺(tái)的應(yīng)用中有效支持了異構(gòu)場(chǎng)數(shù)據(jù)的整合、時(shí)空統(tǒng)計(jì)分析及可視化表達(dá)等.

海洋環(huán)境；場(chǎng)數(shù)據(jù)；分片地圖；統(tǒng)一架構(gòu)；分層；分塊

0 引 言

快速發(fā)展的立體海洋環(huán)境監(jiān)測(cè)技術(shù)催生了空間覆蓋范圍廣、時(shí)空分辨率高、更新頻率快的超海量觀測(cè)數(shù)據(jù)，涵蓋了海洋表面及其表層以上大氣環(huán)境和以下水體環(huán)境.同時(shí)，基于獲取的多時(shí)空分辨率、點(diǎn)線面結(jié)合的實(shí)時(shí)觀測(cè)數(shù)據(jù)，可運(yùn)用多種有效的預(yù)報(bào)方法進(jìn)行不同模式下的數(shù)值模擬及反演，得到準(zhǔn)實(shí)時(shí)的多要素、多時(shí)次、多深度、多高度的海洋環(huán)境預(yù)報(bào)數(shù)據(jù).

海量異構(gòu)多維時(shí)空?qǐng)鰯?shù)據(jù)的復(fù)雜性與多樣性，對(duì)海洋數(shù)據(jù)本身的綜合應(yīng)用提出了更高的要求和挑戰(zhàn).為確保信息的完整性以及數(shù)據(jù)存儲(chǔ)和傳輸效率，原始的海洋環(huán)境時(shí)空?qǐng)鰯?shù)據(jù)基本以規(guī)則或非規(guī)則格點(diǎn)數(shù)值形式進(jìn)行組織.因此，如何對(duì)不同的描述對(duì)象、科學(xué)數(shù)據(jù)文件格式及數(shù)據(jù)分辨率的異構(gòu)離散數(shù)據(jù)進(jìn)行有效整合，并構(gòu)建統(tǒng)一的數(shù)據(jù)模型以實(shí)現(xiàn)異構(gòu)數(shù)據(jù)的統(tǒng)一存取是關(guān)鍵所在.中國(guó)科學(xué)院海洋環(huán)境研究所研發(fā)的“SDG”新型格網(wǎng)數(shù)據(jù)格式，在結(jié)構(gòu)層面上整合了數(shù)十家研究機(jī)構(gòu)的異構(gòu)數(shù)據(jù)資源，構(gòu)建了跨數(shù)據(jù)庫(kù)的海洋監(jiān)測(cè)數(shù)據(jù)統(tǒng)一訪問(wèn)平臺(tái)[1].張志遠(yuǎn)等[2]提出了以網(wǎng)絡(luò)通用數(shù)據(jù)格式(簡(jiǎn)稱(chēng)NetCDF)為核心的數(shù)據(jù)訪問(wèn)和存儲(chǔ)策略，將其他格式數(shù)據(jù)轉(zhuǎn)換成NetCDF標(biāo)準(zhǔn)格式后在不同模式間進(jìn)行通信，并利用數(shù)據(jù)切分算法實(shí)現(xiàn)并行讀寫(xiě)，最終生成結(jié)果文件用于存儲(chǔ).NetCDF Operators[3]可實(shí)現(xiàn)對(duì)NetCDF格式文件內(nèi)容的常用查詢，為支持時(shí)空監(jiān)測(cè)數(shù)據(jù)的組織和在線綜合分析服務(wù)，SWAMP項(xiàng)目[4]則在多計(jì)算節(jié)點(diǎn)內(nèi)實(shí)現(xiàn)NetCDF Operators的并行查詢.ZHAO等[5]將NetCDF等文件格式轉(zhuǎn)換成通用描述語(yǔ)言(CDL)格式，并將大規(guī)模CDL文件存放在Hadoop分布式文件系統(tǒng)(HDFS)中.但從某種意義上說(shuō)，轉(zhuǎn)換后的數(shù)據(jù)塊在頻繁訪問(wèn)原始數(shù)據(jù)時(shí)其相互間關(guān)聯(lián)性維持、解析應(yīng)用效率及可擴(kuò)展性并不優(yōu)于直接使用NetCDF接口函數(shù)庫(kù)[6].

本文著眼于異構(gòu)數(shù)據(jù)的一體化高效存儲(chǔ)和組織，提出了一種面向分片地圖服務(wù)的多分辨率格點(diǎn)數(shù)據(jù)統(tǒng)一存取方法，實(shí)現(xiàn)多分辨率格點(diǎn)場(chǎng)數(shù)據(jù)的統(tǒng)一分層、分塊、編碼管理，以打通跨數(shù)據(jù)文件和多數(shù)據(jù)塊的綜合應(yīng)用，有效支持分片地圖的相關(guān)數(shù)據(jù)服務(wù)和計(jì)算服務(wù).

1 面向分片地圖的統(tǒng)一數(shù)據(jù)多級(jí)存儲(chǔ)組織架構(gòu)

NetCDF、HDF(hierarchical data file)等是多時(shí)空分辨率格點(diǎn)場(chǎng)數(shù)據(jù)的主要文件存儲(chǔ)格式，均基于多維數(shù)組模型，雖可通過(guò)標(biāo)識(shí)在文件內(nèi)部的索引號(hào)對(duì)不同數(shù)據(jù)塊進(jìn)行快速定位[7]，但難以實(shí)現(xiàn)數(shù)據(jù)的有效壓縮、可擴(kuò)展存儲(chǔ)及高效傳輸[8].另一方面，部分?jǐn)?shù)據(jù)分析及綜合應(yīng)用須提取或合并若干個(gè)場(chǎng)數(shù)據(jù)文件中的相關(guān)邏輯單元.當(dāng)前大多采用跨原始場(chǎng)數(shù)據(jù)文件訪問(wèn)多個(gè)數(shù)據(jù)塊的方式實(shí)現(xiàn)按需實(shí)時(shí)調(diào)取數(shù)據(jù)，該過(guò)程須重復(fù)調(diào)用異構(gòu)文件數(shù)據(jù)訪問(wèn)接口，且無(wú)法真正克服數(shù)據(jù)分散、應(yīng)用割離、管理成本高等瓶頸問(wèn)題.

當(dāng)前海洋環(huán)境場(chǎng)數(shù)據(jù)的常用可視化表達(dá)形式大多采用單幅圖片格式的專(zhuān)題圖，因此缺少完整的地理空間信息，空間分析能力及應(yīng)用受到限制.運(yùn)用GIS技術(shù)可直觀描述多尺度多維度對(duì)象的空間分布特征和時(shí)間變化趨勢(shì).分片地圖技術(shù)在WebGIS及桌面端GIS中的應(yīng)用已十分廣泛，充分提高了地圖繪制和傳輸效率[9].為進(jìn)一步豐富地圖服務(wù)內(nèi)容，設(shè)計(jì)面向分片地圖服務(wù)的數(shù)據(jù)多級(jí)存儲(chǔ)架構(gòu)，可統(tǒng)一將多源異構(gòu)的海量場(chǎng)數(shù)據(jù)有機(jī)組織成與分片地圖相適應(yīng)的管理模式，并建立各場(chǎng)數(shù)據(jù)塊間的索引，高效支持海洋環(huán)境多要素間的時(shí)空關(guān)聯(lián)查詢分析和應(yīng)用服務(wù).

面向分片地圖服務(wù)的統(tǒng)一數(shù)據(jù)多級(jí)存儲(chǔ)組織架構(gòu)采用與地圖切片相似的組織方式，按照與目標(biāo)分片地圖相一致的空間分辨率進(jìn)行分級(jí)，各級(jí)別由若干行和列的小區(qū)塊容器構(gòu)成相同的完整區(qū)域.各層級(jí)容器包含的各小區(qū)塊容器具有既定的相同數(shù)據(jù)分辨率，且小區(qū)塊容器間符合一定的命名規(guī)則和組織順序，各級(jí)共同組成多分辨率層次的類(lèi)分片金字塔模型容器，用于映射和存放一定空間范圍內(nèi)不同海洋環(huán)境要素和不同分辨率的數(shù)據(jù)，從容器的底層到頂層，分辨率逐漸降低，而所覆蓋的空間范圍不變.

谷歌地圖、百度地圖、天地圖等均采用分片地圖技術(shù)進(jìn)行發(fā)布，雖然采用的縮放級(jí)別(包含各級(jí)分辨率)及索引方法各異，但是以上分片數(shù)據(jù)的地理空間覆蓋面廣，各類(lèi)分片均遵循TMS標(biāo)準(zhǔn)、WMTS標(biāo)準(zhǔn)或者經(jīng)簡(jiǎn)單變化后進(jìn)行組織.因此它們作為地理底圖被廣泛應(yīng)用于桌面端GIS和WebGIS.類(lèi)分片金字塔模型容器具備無(wú)縫、多尺度層級(jí)結(jié)構(gòu)特征，具有與目標(biāo)地理底圖相同的數(shù)據(jù)切分方法、坐標(biāo)原點(diǎn)、坐標(biāo)系統(tǒng)、層級(jí)關(guān)系及各層切片分辨率等組織形式，搭建架構(gòu)須定義以下內(nèi)容.

(1)完整模型容器的坐標(biāo)原點(diǎn)及全覆蓋的投影坐標(biāo)范圍[x1,y1,x2,y2]，其中，x1、x2分別為經(jīng)向最小、最大投影坐標(biāo)值，y1、y2分別為緯向最小、最大投影坐標(biāo)值.以Google切片地圖作為目標(biāo)地理底圖為例，將容器在Web Mercator投影下經(jīng)緯度均為0°的方位點(diǎn)定義為坐標(biāo)原點(diǎn)(0,0)；完整容器具有完整經(jīng)緯度地理空間，范圍為[-85.05, -180.00, 85.05, 180.00]，對(duì)應(yīng)Web Mercator投影下的坐標(biāo)范圍為[-20 037 508.34, -20 037 508.34, 20 037 508.34, 20 037 508.34].

(2)各層級(jí)的所有小區(qū)塊容器默認(rèn)具有統(tǒng)一的像素分辨率px*py，單個(gè)像素代表的實(shí)際空間范圍為d*d，且滿足下列條件：

(1)

以Google切片地圖作為目標(biāo)地理底圖為例，默認(rèn)容器中各小區(qū)塊容器均為正方形，其像素分辨率均為256pixel*256pixel；單像素代表的實(shí)際距離為156 543.033 9 m.

(3)完整模型容器的層級(jí)數(shù)、層級(jí)編號(hào)及層級(jí)間關(guān)系.一般對(duì)僅包含完整區(qū)域范圍的單個(gè)小區(qū)塊容器所在層級(jí)進(jìn)行初始編號(hào)，隨著空間分辨率的增大，層級(jí)號(hào)依次增加.確定層級(jí)間關(guān)系即是對(duì)各層級(jí)容器的空間分辨率進(jìn)行定義.以Google切片地圖作為目標(biāo)地理底圖為例，模型容器分為20個(gè)層級(jí)，且在相同區(qū)域范圍內(nèi)第L級(jí)正方形小區(qū)塊容器經(jīng)向與緯向的空間分辨率分別是第(L-1)級(jí)的2倍.

圖1 數(shù)據(jù)多級(jí)存儲(chǔ)組織架構(gòu)

(4)小區(qū)塊容器間索引機(jī)制按照行列順序?qū)Ω鲗蛹?jí)小區(qū)塊容器進(jìn)行遞增編碼.以Google切片地圖作為目標(biāo)地理底圖為例，各層分別以左上角的第1個(gè)小正方形作為起始區(qū)塊，起始?jí)K編碼為(0,0)，則經(jīng)向第m列、緯向第n行的小區(qū)塊可編碼為(m-1,n-1).圖1所示為類(lèi)金字塔模型的數(shù)據(jù)多級(jí)存儲(chǔ)組織架構(gòu)示意圖.

2 多分辨率格點(diǎn)數(shù)據(jù)分層分塊方法

結(jié)合分片地圖的具體應(yīng)用，建立統(tǒng)一的數(shù)據(jù)多級(jí)存儲(chǔ)組織架構(gòu)后，地理空間范圍和數(shù)據(jù)分辨率各異的多時(shí)次、多高度、多深度、多環(huán)境要素格點(diǎn)場(chǎng)數(shù)據(jù)可有機(jī)整合至該統(tǒng)一架構(gòu)中.圖2為對(duì)任意分辨率格點(diǎn)數(shù)據(jù)進(jìn)行分層分塊處理的流程圖.

圖2 格點(diǎn)數(shù)據(jù)分層分塊處理方法

對(duì)任意空間分辨率的格點(diǎn)數(shù)據(jù)，首先，獲取數(shù)據(jù)所覆蓋的地理空間范圍，然后，在不缺失原始格點(diǎn)數(shù)據(jù)精度的基礎(chǔ)上，計(jì)算最小分辨率層級(jí)作為格點(diǎn)數(shù)據(jù)塊在統(tǒng)一數(shù)據(jù)存儲(chǔ)組織架構(gòu)中的存放層級(jí)，確定該層級(jí)下存放數(shù)據(jù)塊內(nèi)容的小區(qū)塊容器編號(hào)范圍，最后，在相同空間范圍內(nèi)將插值和缺省值填充后的數(shù)據(jù)矩陣按照統(tǒng)一分辨率的小區(qū)塊容器邊界劃分進(jìn)行組織和存儲(chǔ).該多分辨率格點(diǎn)數(shù)據(jù)分層分塊方法實(shí)現(xiàn)了不同分辨率格點(diǎn)數(shù)據(jù)的統(tǒng)一分層、分塊、編碼管理，以支持多源數(shù)據(jù)的快速檢索、復(fù)雜分析及并行處理.

3 最小分辨率層級(jí)下的覆蓋范圍計(jì)算

獲取任意空間分辨率的格點(diǎn)數(shù)據(jù)經(jīng)緯度范圍，將經(jīng)緯度坐標(biāo)轉(zhuǎn)換為目標(biāo)分片地圖所使用的投影坐標(biāo)，并計(jì)算格點(diǎn)數(shù)據(jù)所覆蓋空間區(qū)域在最小分辨率層級(jí)容器上包含的像素范圍.

假設(shè)獲取任意一個(gè)空間分辨率為n行m列的規(guī)則格點(diǎn)數(shù)據(jù)，該數(shù)據(jù)的經(jīng)度范圍為[Lonmin, Lonmax]，緯度范圍為[Latmin, Latmax].以Google切片地圖作為目標(biāo)地理底圖為例，將元數(shù)據(jù)中描述的WGS84地理坐標(biāo)轉(zhuǎn)換為Web Mercator投影坐標(biāo)，坐標(biāo)范圍分別為[wLonmin,wLonmax]及[wLatmin,wLatmax].利用公式(1)～ (3)計(jì)算格點(diǎn)數(shù)據(jù)所覆蓋空間區(qū)域在最小分辨率層級(jí)容器上包含的像素范圍.

(2)

(3)

p代表該格點(diǎn)數(shù)據(jù)在最小分辨率層級(jí)容器經(jīng)向的像素列數(shù)，q代表數(shù)據(jù)在最小分辨率層級(jí)容器緯向的像素行數(shù)，對(duì)p、q暫不進(jìn)行取整操作.

4 基于精度維持的數(shù)據(jù)塊存放層級(jí)及分塊集合核定

根據(jù)統(tǒng)一存儲(chǔ)組織架構(gòu)的層級(jí)關(guān)系，從最小分辨率層級(jí)起依次計(jì)算在不同層級(jí)容器上覆蓋的像素范圍，直至經(jīng)向及緯向的像素分辨率均不小于原始格點(diǎn)數(shù)據(jù)的分辨率.滿足以上條件時(shí)將所對(duì)應(yīng)的層級(jí)作為格點(diǎn)數(shù)據(jù)塊存放層級(jí)，同時(shí)應(yīng)確保不缺失原始數(shù)據(jù)精度.以Google切片地圖作為目標(biāo)地理底圖為例，相同區(qū)域范圍內(nèi)第L級(jí)正方形小區(qū)塊容器經(jīng)向與緯向的空間分辨率分別是第(L-1)級(jí)的2倍.通過(guò)計(jì)算格點(diǎn)數(shù)據(jù)所覆蓋空間區(qū)域在最小分辨率層級(jí)容器上包含的像素范圍得到p、q，并取最小整數(shù)level的值作為數(shù)據(jù)塊存放層級(jí)號(hào)，當(dāng)且僅當(dāng)同時(shí)滿足式(4)和(5)：

p*Pow(2,level)≮m,

(4)

q*Pow(2,level)≮n.

(5)

根據(jù)格點(diǎn)數(shù)據(jù)地理空間范圍及數(shù)據(jù)塊存放層級(jí)，確定在level層級(jí)下涵蓋原始數(shù)據(jù)范圍的所有小區(qū)塊容器編碼集合.利用式(6)～(9)計(jì)算該層級(jí)下小區(qū)塊容器編碼最值，以快速定位邊界小區(qū)塊的相對(duì)位置.

，

(6)

(7)

(8)

(9)

其中，ymin為所有小區(qū)塊容器中最小行編號(hào)，ymax為小區(qū)塊容器中最大行編號(hào)，xmin為小區(qū)塊容器中最小列編號(hào)，xmax為小區(qū)塊容器中最大列編號(hào)；Floor(x)為向下取整函數(shù).則涵蓋原始數(shù)據(jù)空間范圍的所有小區(qū)塊容器編號(hào)分別為(xmin,ymin)，(xmin+1,ymin)，…，(xmax,ymin)，(xmin,ymin+1)，…，(xmax,ymin+1)，…，(xmin,ymax)，…，(xmax,ymax)，即由(xmax-xmin+1)*(ymax-ymin+1)個(gè)連續(xù)且無(wú)縫的小區(qū)域分塊組成規(guī)則大數(shù)據(jù)塊[xmin,ymin,xmax,ymax].

5 可存取的統(tǒng)一分辨率數(shù)據(jù)切片構(gòu)造

由于各格點(diǎn)數(shù)據(jù)的原始數(shù)據(jù)精度存在差異，為實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一整合及存放，基于相同地理空間范圍，將原始格點(diǎn)數(shù)據(jù)空間插值成與統(tǒng)一數(shù)據(jù)多級(jí)存儲(chǔ)組織架構(gòu)相一致的數(shù)據(jù)矩陣.

通過(guò)運(yùn)用上述分層分塊方法，可得到不小于數(shù)據(jù)塊實(shí)際空間覆蓋范圍的小區(qū)塊容器集合，且各小區(qū)塊容器具有統(tǒng)一的數(shù)據(jù)存儲(chǔ)維度和容量.以Google切片地圖作為目標(biāo)地理底圖為例，可選用不同的空間插值方式，在相同空間范圍內(nèi)將n行m列的原始格點(diǎn)數(shù)據(jù)插值成(q*2level)行(p*2level)列的數(shù)據(jù)矩陣.

依照各小區(qū)塊容器的地理區(qū)位及邊界，將插值后得到的數(shù)據(jù)矩陣分割成若干鄰接的數(shù)據(jù)分塊，對(duì)應(yīng)存放在各小區(qū)塊容器中.并且在各小區(qū)塊容器中剩余的無(wú)值區(qū)域使用缺省值進(jìn)行填充，使得包含數(shù)據(jù)的小區(qū)塊容器均按照統(tǒng)一分辨率的數(shù)據(jù)矩陣進(jìn)行組織和存儲(chǔ).以Google切片地圖作為目標(biāo)地理底圖為例，所有數(shù)據(jù)切片通過(guò)插值和缺省值填充后均為256*256的數(shù)據(jù)矩陣.經(jīng)切片分割后的相鄰切片邊界過(guò)渡自然，保持了良好的數(shù)值穩(wěn)定性[10].

最終，以提取時(shí)間、高度/深度、環(huán)境要素、層級(jí)、列號(hào)、行號(hào)等作為編碼信息建立數(shù)據(jù)切片間的索引機(jī)制.由于與目標(biāo)分片地圖的組織方式相似，構(gòu)造的數(shù)據(jù)切片無(wú)須再經(jīng)預(yù)處理即可支持基于多級(jí)比例尺地圖的多關(guān)鍵字檢索、跨數(shù)據(jù)塊的時(shí)空分析、并行化高效處理以及多維多尺度可視化表達(dá).圖3為數(shù)據(jù)切片構(gòu)造效果示意圖.

圖3 數(shù)據(jù)切片構(gòu)造過(guò)程

6 應(yīng)用實(shí)例

基于面向分片地圖服務(wù)的多分辨率格點(diǎn)數(shù)據(jù)統(tǒng)一存取方法已應(yīng)用于中國(guó)近海海洋環(huán)境預(yù)報(bào)綜合信息服務(wù)平臺(tái).海洋環(huán)境數(shù)值預(yù)報(bào)對(duì)象各異、參數(shù)繁多、預(yù)報(bào)更新速度快，平臺(tái)基于Google分片地圖，運(yùn)用HBase分布式數(shù)據(jù)庫(kù)建立預(yù)報(bào)對(duì)象元信息表(MEF_OBJ_CLASS)用于存儲(chǔ)各類(lèi)數(shù)值預(yù)報(bào)數(shù)據(jù)元信息；建立預(yù)報(bào)數(shù)據(jù)元信息表(MEF_FILE_LRYSET)用于記錄各類(lèi)預(yù)報(bào)數(shù)據(jù)塊存儲(chǔ)及預(yù)報(bào)產(chǎn)品制作情況；以不同的目標(biāo)預(yù)報(bào)對(duì)象為獨(dú)立單位動(dòng)態(tài)建立預(yù)報(bào)對(duì)象數(shù)據(jù)表(MEF_OBJ_VAR)，分別用于記錄各類(lèi)數(shù)據(jù)多個(gè)預(yù)報(bào)對(duì)象參數(shù)的數(shù)據(jù)切片內(nèi)容及產(chǎn)品訪問(wèn)路徑.此表結(jié)構(gòu)可一體化存儲(chǔ)海洋環(huán)境預(yù)報(bào)數(shù)據(jù)的元數(shù)據(jù)信息及具體數(shù)據(jù)塊內(nèi)容，具體表結(jié)構(gòu)和相互間的邏輯關(guān)系如圖4所示.

圖4 數(shù)據(jù)庫(kù)表結(jié)構(gòu)及邏輯關(guān)系Fig.4 The structure and logical relationship of tables in database

該平臺(tái)中分別存儲(chǔ)和整合了4類(lèi)不同經(jīng)緯度范圍及不同數(shù)據(jù)分辨率的海洋氣象數(shù)值預(yù)報(bào)格點(diǎn)數(shù)據(jù)，涵蓋了我國(guó)周邊海域、印度洋北部海域等地區(qū)不同海面高度的風(fēng)速風(fēng)向及不同水深的流速流向信息， 表1所示為4類(lèi)海洋氣象預(yù)報(bào)數(shù)據(jù)基本信息.分別將4類(lèi)數(shù)據(jù)的WGS84地理坐標(biāo)轉(zhuǎn)換為Web Mercator投影坐標(biāo)，計(jì)算數(shù)據(jù)各自所包含的空間區(qū)域在第0級(jí)分片地圖上覆蓋的像素范圍，直至經(jīng)向及緯向的像素分辨率均大于原始格點(diǎn)數(shù)據(jù)的分辨率，確定所對(duì)應(yīng)的數(shù)據(jù)塊存放層級(jí)，以及涵蓋原始數(shù)據(jù)空間范圍的小區(qū)塊容器集合，最終構(gòu)造數(shù)據(jù)切片存儲(chǔ)至分布式數(shù)據(jù)庫(kù)中.如第1類(lèi)數(shù)據(jù)塊存放在第3級(jí)，其小區(qū)塊集合內(nèi)編號(hào)分別是(6,2)、(6,3)、(6,4)、(7,2)、(7,3)、(7,4).

在統(tǒng)一的數(shù)據(jù)多級(jí)存取架構(gòu)下，平臺(tái)客戶端可快速檢索不同地理范圍海域和數(shù)據(jù)分辨率的數(shù)值預(yù)報(bào)產(chǎn)品，實(shí)現(xiàn)了多源數(shù)據(jù)的綜合應(yīng)用和一體化信息服務(wù).圖5和6分別為第1類(lèi)和第3類(lèi)海洋環(huán)境氣象預(yù)報(bào)數(shù)據(jù)在某預(yù)報(bào)時(shí)次下海面10 m高處的風(fēng)向標(biāo)產(chǎn)品及大風(fēng)區(qū)域產(chǎn)品的疊加可視化表達(dá)效果.

圖5 第1類(lèi)風(fēng)場(chǎng)數(shù)據(jù)檢索及可視化表達(dá)Fig.5 The retrieve and visualization of the first type of wind field data

另一方面，數(shù)據(jù)統(tǒng)一存儲(chǔ)架構(gòu)同樣可靈活支持基于地圖的交互式、跨數(shù)據(jù)塊時(shí)空檢索分析.例如，基于起報(bào)時(shí)間和空間位置信息，按需獲取或通過(guò)空間插值計(jì)算得到目標(biāo)預(yù)報(bào)參數(shù)在多目標(biāo)層次下的預(yù)報(bào)信息，并以統(tǒng)計(jì)圖表的形式展示該地理位置的相關(guān)預(yù)報(bào)參數(shù)在不同層次下隨預(yù)報(bào)時(shí)間的變化情況.圖7為中國(guó)近海地區(qū)某方位點(diǎn)水體在不同深度時(shí)的海流流速及流向預(yù)報(bào)時(shí)序圖.

表1 4類(lèi)海洋氣象預(yù)報(bào)數(shù)據(jù)相關(guān)參數(shù)信息

圖6 第3類(lèi)風(fēng)場(chǎng)數(shù)據(jù)檢索及可視化表達(dá)

圖7 跨多時(shí)次、多深度場(chǎng)數(shù)據(jù)檢索及統(tǒng)計(jì)分析

7 結(jié) 語(yǔ)

針對(duì)多源異構(gòu)數(shù)據(jù)難以整合的問(wèn)題，提出了一種面向分片地圖服務(wù)的多分辨率格點(diǎn)數(shù)據(jù)統(tǒng)一存取方法，通過(guò)多分辨率格點(diǎn)數(shù)據(jù)的分層、分塊、編碼管理，實(shí)現(xiàn)將異構(gòu)多分辨率場(chǎng)數(shù)據(jù)融合至統(tǒng)一數(shù)據(jù)存取模型中，以更靈活的方式支持時(shí)空統(tǒng)計(jì)分析及復(fù)雜應(yīng)用處理，有效解決了在存儲(chǔ)和處理海量異構(gòu)場(chǎng)數(shù)據(jù)方面的局限性.該方法所建立的統(tǒng)一場(chǎng)數(shù)據(jù)存取模型適用于不同分片地圖，根據(jù)分片地圖對(duì)象可相應(yīng)調(diào)整和確定模型的組織方式.下一步，筆者將在此基礎(chǔ)上著手研究并優(yōu)化海量場(chǎng)數(shù)據(jù)塊檢索策略[11]，進(jìn)一步擴(kuò)展數(shù)據(jù)的高性能處理和場(chǎng)數(shù)據(jù)動(dòng)態(tài)可視化[12]應(yīng)用.

[1] 邵黨國(guó).網(wǎng)格數(shù)據(jù)庫(kù)系統(tǒng)的設(shè)計(jì)及應(yīng)用研究[D].成都：四川大學(xué),2006. SHAO D Y.GridDatabaseSystemDesignandAppliedResearch[D].Chengdu: Sichuan University,2006.

[2] 張志遠(yuǎn),張翔,張權(quán),等.面向海洋環(huán)境數(shù)值預(yù)報(bào)的支撐平臺(tái)框架設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與科學(xué),2014(12):2251-2256. ZHANG Z Y, ZHANG X, ZHANG Q, et al.Design and implementation of supporting platform construction oriented to numerical marine environment forecast[J].ComputerEngineeringandScience,2014(12):2251-2256.

[3] SEO S, YOON E J, KIM J, et al.HAMA: An efficient matrix computation with the MapReduce framework[C]//CloudComputing,SecondInternationalConference-CloudCom2010. Indiana: IEEE Computer Society,2010:721-726.

[4] WANG D L, ZENDER C S, JENKS S F.Clustered workflow execution of retargeted data analysis scripts[C]//IEEEInternationalSymposiumonCLUSTERComputingandtheGrid.Lyon：IEEE，2008:449-458.

[5] ZHAO H, AI S Y, LYU Z H, et al.Parallel accessing massive NetCDF data based on MapReduce[C]//WebInformationSystemsandMining.Berlin /Heidelberg： Springer，2010:425-431.

[6] GENG Y, HUANG X, ZHU M, et al.SciHive: Array-based query processing with HiveQL[C]//201312thIEEEInternationalConferenceonTrust,SecurityandPrivacyinComputingandCommunications.Melbourne：IEEE Computer Society,2013:887-894.

[7] 胡勇,羅文,俞肇元,等．多維時(shí)空?qǐng)鰯?shù)據(jù)的多模式張量表達(dá)模型[J]．武漢大學(xué)學(xué)報(bào):信息科學(xué)版,2015,40(7):977-982. HU Y, LUO W, YU Z Y, et al.Multi-mode tensor expression model of multidimensional spatio-temporal field data[J].GeomaticsandInformationScienceofWuhanUniversity,2015,40(7):977-982.

[8] 徐勝華,劉紀(jì)平,王想紅,等.基于三維GIS的海洋標(biāo)量場(chǎng)數(shù)據(jù)動(dòng)態(tài)可視化[J].測(cè)繪通報(bào),2014(10):50-53.

XU S H, LIU J P, WANG X H, et al.Three dimensional dynamic visualization for marine scalar field data based on 3D GIS[J].BulletinofSurveyingandMapping,2014(10):50-53.

[9] 黃夢(mèng)龍.瓦片地圖技術(shù)在桌面端GIS中的應(yīng)用[J].地理空間信息,2011(4):149-151. HUANG M L.Application of tile map technology in desktop GIS[J].GeospatialInformation,2011(4):149-151.

[10] 李將云,楊勛年,汪國(guó)昭.分割圖像插值的一種局部算法[J].浙江大學(xué)學(xué)報(bào):理學(xué)版,2002,29(1):55-62. LI J Y, YANG X N, WANG G Z.Local algorithm for segmented image interpolation[J].JournalofZhejiangUniversity：ScienceEdition,2002,29(1):55-62.

[11] ELDAWY A, MOKBEL M F, ALHARTHI S, et al.SHAHED: A MapReduce-based system for querying and visualizing spatio-temporal satellite data[C]//IEEEInternationalConferenceonDataEngineering. Seoul: IEEE,2015:1585-1596.

[12] DU Z, FANG L, BAI Y, et al.Spatio-temporal visualization of air-sea CO2, flux and carbon budget using volume rendering[J].Computers&Geosciences,2015,77:77-86.

WANG Yechenzi1,2, DU Zhenhong1,2, ZHANG Feng1,2, LIU Renyi1,2

(1. Zhejiang Provincial Key Lab of GIS, Zhejiang University, Hangzhou 310028, China; 2. Department of Geographic Information Science, Zhejiang University, Hangzhou 310027, China)

The wide variety of marine environmental objects and multi-resolution scientific data bring challenges to the current approaches of data storage and processing. This paper proposes a unified architecture of marine environmental field data storage and organization for tiled map. The diversified multi-resolution field data can be organized into multiple blocks with the unified dimensions after stratification and partitioning. These blocks can be stored and managed in the architecture by index encoding. Its application to the service platform for marine environmental forecasting information shows that the proposed method supports efficiently the heterogeneous data integration, temporal-spatial statistical analysis and visualization.

marine environment; field data; tiled map; unified architecture; stratification; partitioning

P 208

：A

：1008-9497(2017)05-584-07

2016-06-17.

國(guó)家自然科學(xué)基金資助項(xiàng)目(41471313)；國(guó)家科技基礎(chǔ)性工作專(zhuān)項(xiàng)(2012FY112300)；海洋公益性行業(yè)科研專(zhuān)項(xiàng)經(jīng)費(fèi)資助(201505003，201305012)；浙江省科技攻關(guān)項(xiàng)目(2015C33021)；中央高?；究蒲袠I(yè)務(wù)費(fèi)專(zhuān)項(xiàng)(2016XZZX004-02，2016QNA3015).

王葉晨梓(1991-)，ORCID：http://orcid.org/0000-0003-4310-2691,男，碩士研究生，主要從事時(shí)空數(shù)據(jù)管理及可視化等相關(guān)技術(shù)研究.

*通信作者，ORCID：http://orcid.org/0000-0001-9449-0415,E-mail：duzhenhong@zju.edu.cn.

10.3785/j.issn.1008-9497.2017.05.014

Aunifiedaccessingmethodofmulti-resolutiongridpointdatafortiledmapservices.Journal of Zhejiang University (Science Edition)2018，44(5)：584-590