基于數(shù)據(jù)湖的智能網(wǎng)格氣象預(yù)報(bào)業(yè)務(wù)產(chǎn)品服務(wù)模式初探
——以江西省為例

劉海燕, 周雪瑩, 李顯風(fēng), 胡麗麗

江西省氣象信息中心， 江西 南昌 330096

0 引 言

天氣預(yù)報(bào)實(shí)現(xiàn)了從傳統(tǒng)站點(diǎn)預(yù)報(bào)向滾動(dòng)制作、實(shí)時(shí)同步、協(xié)同一致的智能網(wǎng)格預(yù)報(bào)發(fā)展，對(duì)公眾和各行業(yè)領(lǐng)域的精細(xì)化天氣預(yù)報(bào)服務(wù)具有重要的作用，是發(fā)展現(xiàn)代氣象業(yè)務(wù)的重要業(yè)務(wù)體系(金榮花等，2019)。面向精細(xì)化氣象業(yè)務(wù)服務(wù)需求，智能網(wǎng)格氣象預(yù)報(bào)業(yè)務(wù)不斷發(fā)展，其產(chǎn)品的時(shí)空分辨率不斷提升，導(dǎo)致產(chǎn)品數(shù)據(jù)量逐年大幅度增長(zhǎng)。業(yè)務(wù)產(chǎn)品通過(guò)寫入氣象大數(shù)據(jù)云平臺(tái)以統(tǒng)一數(shù)據(jù)接口提供用戶共享訪問(wèn)，由于用戶本地存儲(chǔ)空間有限，用戶通過(guò)數(shù)據(jù)接口獲取的數(shù)據(jù)文件通常不能完整保存，無(wú)法滿足人工智能等大數(shù)據(jù)應(yīng)用對(duì)長(zhǎng)時(shí)間序列產(chǎn)品文件的需求。因此，迫切需要建設(shè)統(tǒng)一的文件級(jí)數(shù)據(jù)共享環(huán)境。數(shù)據(jù)湖可以用于存儲(chǔ)任意類型的海量數(shù)據(jù)，并具有可擴(kuò)展的大規(guī)模數(shù)據(jù)處理能力。用戶通過(guò)數(shù)據(jù)湖引擎可實(shí)現(xiàn)直接訪問(wèn)集中存儲(chǔ)的數(shù)據(jù)文件，并能夠根據(jù)業(yè)務(wù)、科研等不同需求解析數(shù)據(jù)，挖掘價(jià)值，減少數(shù)據(jù)的重復(fù)存儲(chǔ)(陳永南等，2019)，可以顯著提升大數(shù)據(jù)應(yīng)用支撐能力。

隨著大數(shù)據(jù)技術(shù)的快速發(fā)展，數(shù)據(jù)湖技術(shù)在眾多行業(yè)領(lǐng)域得到應(yīng)用和發(fā)展。國(guó)內(nèi)檔案文獻(xiàn)領(lǐng)域?qū)W者通過(guò)整合多樣性檔案數(shù)據(jù)資源，基于數(shù)據(jù)湖架構(gòu)構(gòu)建了智慧檔案館生態(tài)系統(tǒng)(趙生輝等，2021)；國(guó)內(nèi)民用航空研究人員針對(duì)傳統(tǒng)數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)無(wú)法滿足航空數(shù)據(jù)指數(shù)級(jí)增長(zhǎng)的需求，提出了一種基于Lambda的運(yùn)行支持?jǐn)?shù)據(jù)湖系統(tǒng)設(shè)計(jì)方法(馬馳，2021)；中國(guó)電信基于“新基建”對(duì)統(tǒng)一數(shù)據(jù)湖做了有益的探索和實(shí)踐，并提出了基于BSS/MSS/OSS跨域融合的統(tǒng)一數(shù)據(jù)湖建設(shè)方案(胡軍軍等，2019；劉志勇等，2021)；針對(duì)我國(guó)水陸聯(lián)運(yùn)領(lǐng)域高復(fù)雜程度的自動(dòng)化集裝箱碼頭運(yùn)營(yíng)數(shù)據(jù)混亂及可視化程度低等問(wèn)題，提出一種自動(dòng)化集裝箱碼頭數(shù)據(jù)湖系統(tǒng)設(shè)計(jì)與管理方法(孔席超等，2022)。根據(jù)氣象數(shù)據(jù)集約化管理需求，中國(guó)氣象局依托氣象大數(shù)據(jù)云平臺(tái)建設(shè)了氣象數(shù)據(jù)湖，實(shí)現(xiàn)對(duì)國(guó)家級(jí)多套氣象文件存儲(chǔ)系統(tǒng)集成，并提供統(tǒng)一目錄視圖服務(wù)，可以滿足不同業(yè)務(wù)對(duì)數(shù)據(jù)的存儲(chǔ)需求，為挖掘數(shù)據(jù)價(jià)值提供高性能的服務(wù)支撐。

文中結(jié)合江西業(yè)務(wù)建設(shè)和實(shí)際業(yè)務(wù)需求，采用數(shù)據(jù)湖技術(shù)建設(shè)全省統(tǒng)一的文件級(jí)數(shù)據(jù)環(huán)境，實(shí)現(xiàn)智能網(wǎng)格預(yù)報(bào)業(yè)務(wù)產(chǎn)品共享服務(wù)，以滿足江西省精細(xì)化預(yù)報(bào)業(yè)務(wù)對(duì)國(guó)內(nèi)外模式產(chǎn)品以及實(shí)況網(wǎng)格產(chǎn)品等多數(shù)據(jù)源長(zhǎng)時(shí)間序列產(chǎn)品文件的需求，為海量氣象數(shù)據(jù)的存儲(chǔ)管理和共享服務(wù)提供思路和參考。

1 產(chǎn)品介紹

江西省氣象局通過(guò)國(guó)內(nèi)氣象通信系統(tǒng)(CTS)、中國(guó)氣象衛(wèi)星廣播系統(tǒng)(CMACast)和智能網(wǎng)格氣象預(yù)報(bào)云平臺(tái)等不同渠道收集全國(guó)智能網(wǎng)格預(yù)報(bào)指導(dǎo)產(chǎn)品、全國(guó)智能網(wǎng)格實(shí)況融合分析產(chǎn)品和高分辨率數(shù)值預(yù)報(bào)模式產(chǎn)品(表1)等產(chǎn)品。全國(guó)智能網(wǎng)格預(yù)報(bào)指導(dǎo)產(chǎn)品包括陸面格點(diǎn)預(yù)報(bào)指導(dǎo)產(chǎn)品(含基本要素、環(huán)境、強(qiáng)對(duì)流)、全國(guó)格點(diǎn)預(yù)報(bào)逐時(shí)滾動(dòng)更新產(chǎn)品和省級(jí)格點(diǎn)預(yù)報(bào)產(chǎn)品(含定時(shí)、實(shí)時(shí))等各業(yè)務(wù)環(huán)節(jié)產(chǎn)品，時(shí)空分辨率最高為5 km/h(胡爭(zhēng)光等，2020)。全國(guó)智能網(wǎng)格實(shí)況融合分析產(chǎn)品包括降水融合實(shí)況分析產(chǎn)品、陸面融合實(shí)況分析產(chǎn)品與三維云融合實(shí)況分析產(chǎn)品，時(shí)空分辨率最高為1 km/h(韓帥等，2018；師春香等,2019；朱智等,2021)。上述兩種產(chǎn)品的空間范圍包括中國(guó)區(qū)域(0°—60°N，70°—140°E)和江西區(qū)域(24°—31°N，113°—119°E)兩種，數(shù)據(jù)格式包括MICAPS格式和GRIB2兩種存儲(chǔ)格式。高分辨率數(shù)值預(yù)報(bào)模式產(chǎn)品包括中國(guó)氣象局研發(fā)的全球數(shù)值預(yù)報(bào)模式產(chǎn)品(GRAPES)和上海、廣東、北京三個(gè)區(qū)域氣象中心研發(fā)的區(qū)域數(shù)值預(yù)報(bào)模式(李婷苑,2021)。

表1 高分辨率數(shù)值預(yù)報(bào)模式產(chǎn)品說(shuō)明

圖1為2017—2021年江西省氣象局年均日接收數(shù)據(jù)量，可見(jiàn)產(chǎn)品平均日接收數(shù)據(jù)量呈逐年增長(zhǎng)趨勢(shì)。2017年平均日接收數(shù)據(jù)量為14.58 GB，2018—2020年由于產(chǎn)品頻次、分辨率提升，年平均日接收數(shù)據(jù)量小幅增加。根據(jù)第八屆全國(guó)氣象行業(yè)天氣預(yù)報(bào)職業(yè)技能競(jìng)賽數(shù)據(jù)環(huán)境需求，2021年江西省將國(guó)家級(jí)格點(diǎn)預(yù)報(bào)指導(dǎo)產(chǎn)品由分省區(qū)域切換為全國(guó)區(qū)域，導(dǎo)致該產(chǎn)品年平均日接收數(shù)據(jù)量由0.2 GB提升至35 GB左右，并且2021年新增了華南熱帶區(qū)域模式-TRAMS-9公里產(chǎn)品和國(guó)家氣象中心-GRAPES_REPS模式產(chǎn)品，年平均日接收數(shù)據(jù)量增加至46 GB左右。受存儲(chǔ)空間限制，產(chǎn)品文件保留天數(shù)最長(zhǎng)近30 d，最短近3 d，無(wú)法滿足日益增長(zhǎng)的業(yè)務(wù)需求。

圖1 2017—2021年江西省氣象局年均日接收數(shù)據(jù)量

目前，智能網(wǎng)格預(yù)報(bào)業(yè)務(wù)產(chǎn)品通過(guò)智能網(wǎng)格共享平臺(tái)和氣象大數(shù)據(jù)云平臺(tái)兩種方式提供產(chǎn)品的存儲(chǔ)管理，并通過(guò)氣象統(tǒng)一服務(wù)接口(MUSIC)向省市縣提供共享服務(wù)。圖2為2021年智能網(wǎng)格預(yù)報(bào)業(yè)務(wù)產(chǎn)品接口調(diào)用情況，接口調(diào)用最長(zhǎng)耗時(shí)小于1 s的次數(shù)占總調(diào)用次數(shù)的95.34%，1—5 s的比例為3.97%，大于5 s的比例為0.69%，其中獲取中國(guó)0.05°×0.05°逐小時(shí)總云量融合實(shí)況分析產(chǎn)品的接口調(diào)用耗時(shí)最長(zhǎng)，達(dá)19.98 s，獲取省級(jí)格點(diǎn)預(yù)報(bào)訂正產(chǎn)品的接口調(diào)用耗時(shí)最短，耗時(shí)在毫秒內(nèi)。

圖2 2021年江西省氣象局智能網(wǎng)格接口調(diào)用耗時(shí)

2 氣象數(shù)據(jù)湖設(shè)計(jì)與實(shí)現(xiàn)

目前業(yè)務(wù)用戶獲取智能網(wǎng)格預(yù)報(bào)業(yè)務(wù)產(chǎn)品需要訪問(wèn)多個(gè)數(shù)據(jù)源，面對(duì)這種共享服務(wù)現(xiàn)狀，需要尋找一種用戶可以更便捷地獲取產(chǎn)品文件的方式?；跉庀蟠髷?shù)據(jù)云平臺(tái)構(gòu)建的氣象數(shù)據(jù)湖，集成現(xiàn)有的文件存儲(chǔ)系統(tǒng)，屏蔽底層架構(gòu)的復(fù)雜性，通過(guò)目錄管理統(tǒng)一標(biāo)識(shí)各項(xiàng)數(shù)據(jù)，在分布式系統(tǒng)架構(gòu)基礎(chǔ)上實(shí)現(xiàn)用戶管理、目錄掛載、目錄授權(quán)和日志審計(jì)等。借助氣象數(shù)據(jù)湖，授權(quán)用戶直接獲取已入湖的業(yè)務(wù)產(chǎn)品，滿足氣象業(yè)務(wù)對(duì)多數(shù)據(jù)源長(zhǎng)時(shí)間序列產(chǎn)品文件的需求。

2.1 數(shù)據(jù)湖介紹及關(guān)鍵技術(shù)

數(shù)據(jù)湖是一個(gè)以原始格式存儲(chǔ)數(shù)據(jù)的大型數(shù)據(jù)存儲(chǔ)庫(kù)或系統(tǒng)，以數(shù)據(jù)為導(dǎo)向，實(shí)現(xiàn)任意來(lái)源、任意速度、任意規(guī)模、任意類型數(shù)據(jù)的全量獲取、全量存儲(chǔ)、多模式處理與全生命周期管理，具有靈活性，可擴(kuò)展性，低成本性等特性。它按原生模型存儲(chǔ)數(shù)據(jù)，能夠大量存儲(chǔ)各種類型的數(shù)據(jù)，如結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)以及二進(jìn)制數(shù)據(jù)等。數(shù)據(jù)湖中的數(shù)據(jù)是業(yè)務(wù)數(shù)據(jù)的完整副本，僅對(duì)數(shù)據(jù)進(jìn)行適當(dāng)?shù)亟M織，保證數(shù)據(jù)真實(shí)可靠，能更好滿足業(yè)務(wù)應(yīng)用對(duì)長(zhǎng)時(shí)間序列數(shù)據(jù)的需求。作為海量數(shù)據(jù)的存儲(chǔ)和傳輸載體，用戶通過(guò)統(tǒng)一的數(shù)據(jù)環(huán)境，能夠根據(jù)業(yè)務(wù)、科研等不同需求解析數(shù)據(jù)，挖掘價(jià)值，并且減少重復(fù)性工作。

數(shù)據(jù)湖技術(shù)的使用，可以具備以下幾個(gè)優(yōu)勢(shì)：

1) 數(shù)據(jù)湖基于現(xiàn)有硬件資源，采用開(kāi)源技術(shù)，降低了建設(shè)和維護(hù)成本。數(shù)據(jù)湖的存儲(chǔ)一般采用分布式對(duì)象存儲(chǔ)或分布式文件系統(tǒng)來(lái)存儲(chǔ)數(shù)據(jù)，具有可擴(kuò)展性和敏捷性等特性，存儲(chǔ)空間巨大，能極大提高數(shù)據(jù)存儲(chǔ)總量。

2) 把不同種類的數(shù)據(jù)匯聚是數(shù)據(jù)湖的價(jià)值之一。數(shù)據(jù)湖中的數(shù)據(jù)類型依賴于數(shù)據(jù)源系統(tǒng)的原始數(shù)據(jù)格式，可以快速高效地存儲(chǔ)大量來(lái)源不同、格式不同的業(yè)務(wù)原始數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的匯聚和集中管理，有利于優(yōu)化數(shù)據(jù)服務(wù)。

3) 數(shù)據(jù)湖實(shí)現(xiàn)海量原始數(shù)據(jù)集中存儲(chǔ)。存儲(chǔ)任意類型的數(shù)據(jù)，只有在使用時(shí)才會(huì)處理和轉(zhuǎn)換數(shù)據(jù)，適合為人工智能提供海量小文件存取和數(shù)據(jù)共享等，采用這種模式，能為數(shù)據(jù)挖掘、數(shù)據(jù)分析和深度學(xué)習(xí)提供有效服務(wù)，使得數(shù)據(jù)分析人員更專注于數(shù)據(jù)、算法和業(yè)務(wù)，實(shí)現(xiàn)數(shù)據(jù)價(jià)值增值化。

2.2 氣象數(shù)據(jù)湖建設(shè)及規(guī)劃

根據(jù)氣象業(yè)務(wù)的實(shí)際需求，充分考慮處理流程及業(yè)務(wù)系統(tǒng)現(xiàn)狀等因素，堅(jiān)持簡(jiǎn)單、敏捷和靈活的理念，采用PostgreSQL、Kibana、Elasticsearch等開(kāi)源技術(shù)設(shè)計(jì)氣象數(shù)據(jù)湖，其架構(gòu)如圖3所示。在氣象大數(shù)據(jù)云平臺(tái)上進(jìn)行快速搭建，將產(chǎn)品加工系統(tǒng)的消息集群和調(diào)度集群分別作為氣象數(shù)據(jù)湖的管理和計(jì)算節(jié)點(diǎn)，管理節(jié)點(diǎn)實(shí)現(xiàn)服務(wù)高可用性，授權(quán)管理文件系統(tǒng)；計(jì)算節(jié)點(diǎn)管理存儲(chǔ)資源，提供分布式緩存能力和高性能緩存加速，實(shí)現(xiàn)存儲(chǔ)后端可以同時(shí)對(duì)接分布式NAS、HDFS等。該設(shè)計(jì)可以滿足大數(shù)據(jù)框架各種海量、高性能的訪問(wèn)需求，以及AI/機(jī)器學(xué)習(xí)的低延時(shí)、高吞吐的使用需求，同時(shí)簡(jiǎn)化運(yùn)維管理。

圖3 氣象數(shù)據(jù)湖架構(gòu)

3 產(chǎn)品入湖存儲(chǔ)

目前智能網(wǎng)格預(yù)報(bào)業(yè)務(wù)產(chǎn)品主要通過(guò)氣象數(shù)據(jù)統(tǒng)一服務(wù)接口(MUSIC)、MICAPS4和產(chǎn)品共享平臺(tái)等方式為業(yè)務(wù)用戶提供共享服務(wù)。該產(chǎn)品接入氣象數(shù)據(jù)湖后，授權(quán)用戶可以通過(guò)數(shù)據(jù)湖客戶端連接至數(shù)據(jù)湖文件管理系統(tǒng)，采用掛載盤符的方式獲取以時(shí)間為粒度的長(zhǎng)時(shí)間序列產(chǎn)品文件。

3.1 入湖產(chǎn)品

智能網(wǎng)格預(yù)報(bào)業(yè)務(wù)產(chǎn)品采用物理入湖的方式匯總至氣象數(shù)據(jù)湖內(nèi)，分為半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。半結(jié)構(gòu)化數(shù)據(jù)包括智能網(wǎng)格二源快速融合降水產(chǎn)品(小時(shí)、日)、智能網(wǎng)格三源實(shí)時(shí)融合降水產(chǎn)品(小時(shí)、日)、智能網(wǎng)格逐10 min降水產(chǎn)品、國(guó)家級(jí)網(wǎng)格預(yù)報(bào)指導(dǎo)產(chǎn)品(全國(guó)、分省)、全國(guó)網(wǎng)格預(yù)報(bào)服務(wù)產(chǎn)品(定時(shí)拼接-全國(guó))、全國(guó)網(wǎng)格預(yù)報(bào)服務(wù)產(chǎn)品(逐時(shí)滾動(dòng)-分省)、省級(jí)網(wǎng)格預(yù)報(bào)訂正產(chǎn)品和3DCloudA中國(guó)逐小時(shí)三維云量融合實(shí)況分析產(chǎn)品；非結(jié)構(gòu)化數(shù)據(jù)包括CMPAS 0.01°×0.01°逐小時(shí)降水實(shí)時(shí)融合實(shí)況分析產(chǎn)品(分省)、CMPAS 0.01°×0.01°逐小時(shí)降水近實(shí)時(shí)融合實(shí)況分析產(chǎn)品(分省)、HRCLDAS中國(guó)0.01°×0.01°逐小時(shí)實(shí)時(shí)融合實(shí)況分析產(chǎn)品(分省)、3DCloudA 0.05°×0.05°逐小時(shí)總云量融合實(shí)況分析產(chǎn)品。半結(jié)構(gòu)化數(shù)據(jù)拆分、重組要素后，索引存入文件索引庫(kù)，文件體存入分布式NAS；非結(jié)構(gòu)化數(shù)據(jù)根據(jù)索引策略和存儲(chǔ)規(guī)則把數(shù)據(jù)存入分布式文件索引庫(kù)+分布式NAS，同時(shí)文件實(shí)體存入分布式表格系統(tǒng)。

氣象數(shù)據(jù)湖存儲(chǔ)長(zhǎng)時(shí)間序列的數(shù)據(jù)集，為業(yè)務(wù)用戶提供一個(gè)統(tǒng)一的數(shù)據(jù)共享平臺(tái)。在初始化階段，根據(jù)“/根目錄/{大類簡(jiǎn)碼}/{產(chǎn)品屬性[加工中心]/[產(chǎn)品種類]/[加工系統(tǒng)]/[產(chǎn)品等級(jí)]/[產(chǎn)品代碼]/[產(chǎn)品格式]/[空間屬性]/[要素]/[時(shí)間屬性]}”形成存儲(chǔ)目錄(表2)，{}內(nèi)為必選，[]內(nèi)為可選，確定業(yè)務(wù)產(chǎn)品存儲(chǔ)位置，完成相應(yīng)數(shù)據(jù)的全量抽取或增量接入，并且長(zhǎng)期存儲(chǔ)不會(huì)隨意遷移。

表2 存儲(chǔ)目錄說(shuō)明

3.2 訪問(wèn)控制

訪問(wèn)控制包括主體(業(yè)務(wù)用戶)、客體(氣象數(shù)據(jù)湖)和安全控制規(guī)則集(安全策略)三個(gè)基本要素，用來(lái)控制和管理業(yè)務(wù)用戶對(duì)氣象數(shù)據(jù)湖進(jìn)行不同的授權(quán)訪問(wèn)。氣象數(shù)據(jù)湖的安全策略包括基于身份的策略和基于組的策略，只有能通過(guò)認(rèn)證的業(yè)務(wù)用戶才能連接氣象數(shù)據(jù)湖，由安全管理員對(duì)氣象數(shù)據(jù)湖進(jìn)行統(tǒng)一的強(qiáng)制性控制，并且對(duì)認(rèn)證、授權(quán)和使用過(guò)程中產(chǎn)生的流水進(jìn)行記錄和監(jiān)控，包括用戶使用的產(chǎn)品、使用的時(shí)間、以及執(zhí)行的操作等。訪問(wèn)控制有助于保障業(yè)務(wù)用戶正常使用湖內(nèi)數(shù)據(jù)，確保氣象數(shù)據(jù)湖免遭非法授權(quán)用戶的侵害，同時(shí)對(duì)數(shù)據(jù)恢復(fù)提供幫助。

在氣象數(shù)據(jù)湖文件管理系統(tǒng)上，通過(guò)入湖模板建立業(yè)務(wù)產(chǎn)品對(duì)應(yīng)虛擬表的集成方式，實(shí)現(xiàn)虛擬文件與存儲(chǔ)目錄映射，并且定義安全授權(quán)的安全策略，按照確定的規(guī)則控制用戶組可以訪問(wèn)指定的目錄、子目錄和文件，以及適當(dāng)?shù)牟僮鳈?quán)限，使用邏輯機(jī)制實(shí)現(xiàn)業(yè)務(wù)用戶更安全、更便捷地獲取長(zhǎng)時(shí)間序列、多類型細(xì)粒度的產(chǎn)品文件，并有效地控制用戶對(duì)湖內(nèi)數(shù)據(jù)的使用。安全策略允許用戶在目錄一級(jí)的操作對(duì)目錄中的所有文件和子目錄均有效，以陸面格點(diǎn)預(yù)報(bào)指導(dǎo)產(chǎn)品為例，產(chǎn)品根據(jù)加工中心和時(shí)間屬性分塊存儲(chǔ)在目錄SCMOC下(圖4)，如果安全管理員將目錄SCMOC授權(quán)給業(yè)務(wù)用戶，則授權(quán)用戶可以獲取該目錄下所有子目錄的產(chǎn)品；如果安全管理員將目錄BABJ或BENC授權(quán)給業(yè)務(wù)用戶，則授權(quán)用戶可以獲取目錄BABJ或BENC下所有日期的產(chǎn)品。

圖4 陸面格點(diǎn)預(yù)報(bào)指導(dǎo)產(chǎn)品目錄視圖

4 小 結(jié)

本文在詳細(xì)介紹智能網(wǎng)格預(yù)報(bào)業(yè)務(wù)產(chǎn)品現(xiàn)狀基礎(chǔ)上，提出了一種采用氣象數(shù)據(jù)湖技術(shù)的產(chǎn)品共享思路，從智能網(wǎng)格預(yù)報(bào)業(yè)務(wù)產(chǎn)品、氣象數(shù)據(jù)湖設(shè)計(jì)與實(shí)現(xiàn)、智能網(wǎng)格預(yù)報(bào)業(yè)務(wù)產(chǎn)品入湖存儲(chǔ)等方面進(jìn)行了詳細(xì)闡述。采用開(kāi)源技術(shù)設(shè)計(jì)與建設(shè)了基于氣象大數(shù)據(jù)云平臺(tái)的氣象數(shù)據(jù)湖，實(shí)現(xiàn)了數(shù)據(jù)產(chǎn)品的高效采集和存儲(chǔ)管理，能夠減少數(shù)據(jù)的重復(fù)存儲(chǔ)，避免數(shù)據(jù)孤島的產(chǎn)生，保障了數(shù)據(jù)可訪問(wèn)性和正確性。通過(guò)統(tǒng)一的目錄管理、強(qiáng)制性訪問(wèn)控制和權(quán)限控制等安全方法，確保湖內(nèi)數(shù)據(jù)在合法的范圍內(nèi)使用，為氣象大數(shù)據(jù)的挖掘分析和智慧氣象業(yè)務(wù)的發(fā)展提供精準(zhǔn)高效的支撐數(shù)據(jù)資源。本文僅是針對(duì)智能網(wǎng)格預(yù)報(bào)業(yè)務(wù)產(chǎn)品進(jìn)行氣象數(shù)據(jù)湖共享技術(shù)的初步探索和實(shí)踐，如何實(shí)現(xiàn)氣象數(shù)據(jù)全集的統(tǒng)一存儲(chǔ)管理和共享服務(wù)還有待進(jìn)一步深入研究。