水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警大數(shù)據(jù)平臺(tái)研究

馬金鋒,鄭 華,2,彭福利,鄧 力,張曉嶺,黃 程,李若男,2,饒凱鋒

1.中國(guó)科學(xué)院生態(tài)環(huán)境研究中心 a.城市與區(qū)域生態(tài)國(guó)家重點(diǎn)實(shí)驗(yàn)室;b.環(huán)境水質(zhì)學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室,北京 100085

2.中國(guó)科學(xué)院大學(xué),北京 100049

3.中國(guó)環(huán)境監(jiān)測(cè)總站,國(guó)家環(huán)境保護(hù)環(huán)境監(jiān)測(cè)質(zhì)量控制重點(diǎn)實(shí)驗(yàn)室,北京 100012

4.重慶市生態(tài)環(huán)境監(jiān)測(cè)中心,重慶 401120

水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警是以流域?yàn)閱卧?以定量的模型或方法模擬污染物在流域范圍內(nèi)的遷移轉(zhuǎn)化過程,確定水環(huán)境演變趨勢(shì),從而實(shí)現(xiàn)對(duì)水質(zhì)的常規(guī)預(yù)測(cè)和對(duì)突發(fā)污染情況的預(yù)警[1]。 水環(huán)境質(zhì)量預(yù)測(cè)是實(shí)現(xiàn)流域水環(huán)境精細(xì)化、科學(xué)化管理的核心。 國(guó)務(wù)院2015 年印發(fā)的《水污染防治行動(dòng)計(jì)劃》對(duì)水環(huán)境監(jiān)控預(yù)警提出了明確要求,如實(shí)行水環(huán)境承載能力監(jiān)測(cè)預(yù)警、明確突發(fā)水環(huán)境污染事件預(yù)警預(yù)報(bào)與響應(yīng)程序、加強(qiáng)水環(huán)境監(jiān)控預(yù)警國(guó)際交流合作等[2]。 2020 年《關(guān)于構(gòu)建現(xiàn)代環(huán)境治理體系的指導(dǎo)意見》再次明確提出,要強(qiáng)化監(jiān)測(cè)能力建設(shè),推動(dòng)實(shí)現(xiàn)環(huán)境質(zhì)量預(yù)報(bào)預(yù)警[3]。 水環(huán)境質(zhì)量預(yù)測(cè)對(duì)于提供水質(zhì)變化早期預(yù)警,以及通過提前采取行動(dòng)從而減輕污染至關(guān)重要[4]。 其核心是數(shù)值模擬技術(shù),即構(gòu)建水環(huán)境模型。 水環(huán)境模型是對(duì)水體中的污染物(營(yíng)養(yǎng)物質(zhì)、懸浮物、藻類、有毒物質(zhì)等)隨水流遷移過程中,因水動(dòng)力和生物化學(xué)等因素的影響而發(fā)生的物理、化學(xué)和生物反應(yīng)的數(shù)學(xué)描述和模擬[5]。 水環(huán)境數(shù)學(xué)模型在國(guó)內(nèi)外已得到非常廣泛的應(yīng)用,成為國(guó)內(nèi)外學(xué)者研究的熱點(diǎn)[6-7],被廣泛應(yīng)用于水質(zhì)預(yù)測(cè)、水質(zhì)預(yù)警、流域規(guī)劃和水環(huán)境治理等研究。 但在水環(huán)境數(shù)學(xué)模型的實(shí)際應(yīng)用中,普遍面臨著單個(gè)模型計(jì)算耗時(shí)較長(zhǎng)的問題,而在模型的率定、驗(yàn)證和情景決策過程中,需要進(jìn)行大量迭代計(jì)算,進(jìn)一步加劇了計(jì)算過程的負(fù)擔(dān),極大地限制了水環(huán)境數(shù)學(xué)模型的廣泛應(yīng)用。 而大數(shù)據(jù)技術(shù)在分布式計(jì)算、存儲(chǔ)及分析方面顯示出強(qiáng)大的技術(shù)優(yōu)勢(shì),可為水環(huán)境模型高計(jì)算負(fù)荷問題提供一種潛在的解決方案。

基于大數(shù)據(jù)技術(shù)構(gòu)建水質(zhì)預(yù)報(bào)預(yù)警大數(shù)據(jù)平臺(tái)是一項(xiàng)艱巨而復(fù)雜的系統(tǒng)工程。 由于平臺(tái)構(gòu)建需要將數(shù)值模擬技術(shù)與大數(shù)據(jù)技術(shù)深度融合,即需要交叉應(yīng)用多學(xué)科的基礎(chǔ)理論和技術(shù)方法,目前國(guó)內(nèi)外關(guān)于此方面的研究極少。 鑒于目前國(guó)家水生態(tài)環(huán)境管理工作對(duì)水質(zhì)預(yù)報(bào)預(yù)警系統(tǒng)的迫切需求,本文以解決水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警自動(dòng)化和自定義化業(yè)務(wù)需求為導(dǎo)向,圍繞水環(huán)境模型與大數(shù)據(jù)技術(shù)的深度融合,提出以水環(huán)境模型體系為基礎(chǔ),以大數(shù)據(jù)計(jì)算體系為核心,由空間建模、參數(shù)率定、邊界條件預(yù)測(cè)、規(guī)模計(jì)算、規(guī)模存儲(chǔ)、通用服務(wù)和專用服務(wù)7 個(gè)部分組成的大數(shù)據(jù)平臺(tái)框架。 按照水環(huán)境模型過程模擬、趨勢(shì)預(yù)測(cè)和應(yīng)對(duì)決策的應(yīng)用流程,明確水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警大數(shù)據(jù)平臺(tái)的建設(shè)流程。 針對(duì)框架的每個(gè)組成部分,分別解析其含義,提出實(shí)現(xiàn)思路,并以案例實(shí)證其可行性,以期為重新審視復(fù)雜水環(huán)境模型與大數(shù)據(jù)技術(shù)的關(guān)系提供新的見解,也為基于大數(shù)據(jù)技術(shù)的水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警平臺(tái)的構(gòu)建提供思路和參考。

1 水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警研究進(jìn)展

目前,大量研究主要集中于對(duì)新型水質(zhì)、水文模型的開發(fā)[8-9],或?qū)σ延心Ｐ偷膮?shù)不確定性分析、敏感性分析、參數(shù)率定或場(chǎng)景分析[10-11],而基于數(shù)學(xué)模型研發(fā)水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警系統(tǒng)的研究相對(duì)較少[12-13],且已有的少量研究多集中于突發(fā)污染事件水質(zhì)預(yù)警系統(tǒng)[14-15],缺乏對(duì)常規(guī)水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警功能的應(yīng)用。 預(yù)警技術(shù)可以科學(xué)表征風(fēng)險(xiǎn)變化、提高應(yīng)急響應(yīng)水平和規(guī)避污染風(fēng)險(xiǎn),已成為水環(huán)境研究及管理領(lǐng)域的主要關(guān)注點(diǎn)[16-17]。 在基于現(xiàn)有水環(huán)境軟件[18-22]或者獨(dú)立開發(fā)的數(shù)學(xué)模型[23-24]開展溢油或泄漏情景下的事故污染過程模擬方面,相關(guān)研究已經(jīng)取得了豐富的研究成果[25]。 描述和模擬水質(zhì)污染事故的最常見方法是基于過程的流體動(dòng)力學(xué)模型和水質(zhì)模型的耦合模型[26]。 其中:水動(dòng)力學(xué)模型用于模擬現(xiàn)實(shí)世界中可觀察到的物理上的水系統(tǒng);水質(zhì)模型用于模擬、分析和預(yù)測(cè)污染物在水體中的遷移和轉(zhuǎn)化過程,已成為預(yù)測(cè)水質(zhì)的主要方法[4]。應(yīng)用Delft3D、EFDC、WASP、QUAL2K、Aquatox、MIKE 等多種流體動(dòng)力學(xué)和水質(zhì)模型及相關(guān)配套軟件開展水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警,已經(jīng)成為該領(lǐng)域發(fā)展的必然趨勢(shì)。 國(guó)外相關(guān)研究及應(yīng)用開展較早,如美國(guó)、英國(guó)和法國(guó)分別建立了突發(fā)水污染事故預(yù)警系統(tǒng),多個(gè)歐洲國(guó)家共同研發(fā)了多瑙河事故應(yīng)急預(yù)警系統(tǒng),上述系統(tǒng)在預(yù)測(cè)預(yù)報(bào)流域水質(zhì)變化和保障居民飲水安全等方面發(fā)揮了重要作用。 在國(guó)內(nèi),不少省級(jí)監(jiān)測(cè)站和部分地級(jí)監(jiān)測(cè)站基于現(xiàn)有水質(zhì)自動(dòng)監(jiān)測(cè)站實(shí)時(shí)數(shù)據(jù),建立了水質(zhì)異常報(bào)警系統(tǒng)。 以四川、浙江、廣東和江蘇為代表的省份對(duì)基于數(shù)值模擬的水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警技術(shù)進(jìn)行了探索性研究。 近幾年,中國(guó)環(huán)境監(jiān)測(cè)總站和重慶市生態(tài)環(huán)境監(jiān)測(cè)中心也在開展水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警系統(tǒng)的研發(fā)工作。

綜合國(guó)內(nèi)外研究進(jìn)展可以看出:①基于水質(zhì)模型研發(fā)水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警系統(tǒng)是水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警研究的必然趨勢(shì)。 目前主要以國(guó)家或地方水質(zhì)監(jiān)測(cè)站點(diǎn)數(shù)據(jù)為基礎(chǔ)數(shù)據(jù),采用國(guó)外成熟、開源的水質(zhì)模型作為基礎(chǔ)模型(以下統(tǒng)稱為計(jì)算引擎)。 ②二/三維水質(zhì)模型的推廣應(yīng)用是未來發(fā)展的趨勢(shì)。 水質(zhì)模型從空間尺度可以分為零維、一維、二維和三維。 零維模型假設(shè)水體充分混合,因此無法同時(shí)獲得河流橫向和縱向的水質(zhì)變化。 一維水質(zhì)模型的運(yùn)行時(shí)間較短,從而得到廣泛應(yīng)用[18-19]。 盡管一維模型可以實(shí)現(xiàn)快速運(yùn)算,但是以空間高度概化為代價(jià),使其無法捕捉敏感區(qū)域的關(guān)鍵信息,比如重要取水口位置。 二維模型具有同時(shí)模擬橫向和縱向空間的能力。 三維模型則可以描述所有三個(gè)空間維度的變化,提供了最詳細(xì)的污染物分布信息。 相比三維模型,二維模型充分考慮了污染物的時(shí)空分布特征,且運(yùn)行時(shí)間較短,彌補(bǔ)了一維模型的不足。 因此,二維和三維水質(zhì)模型的廣泛應(yīng)用是未來發(fā)展的趨勢(shì)[19]。③現(xiàn)有預(yù)報(bào)預(yù)警系統(tǒng)的研發(fā)主要是基于傳統(tǒng)客戶端/服務(wù)器端架構(gòu)或傳統(tǒng)瀏覽器端/服務(wù)器端架構(gòu),尚未見到基于大數(shù)據(jù)架構(gòu)開發(fā)預(yù)報(bào)預(yù)警系統(tǒng)的研究。

盡管國(guó)內(nèi)外已開展了廣泛的水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警研究,但總體上并未形成可為水污染防治提供決策支撐的預(yù)報(bào)預(yù)警能力。 究其原因,除了缺乏必要的水文監(jiān)測(cè)數(shù)據(jù)、水下地形數(shù)據(jù)外,一方面,我國(guó)工業(yè)軟件基礎(chǔ)與核心技術(shù)薄弱,尤其是流體力學(xué)類計(jì)算機(jī)輔助工程(Computer Aided Engineering,CAE)求解器技術(shù)匱乏,CAE 工業(yè)軟件研發(fā)企業(yè)缺失、研發(fā)人員嚴(yán)重不足。 另一方面,構(gòu)建水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警系統(tǒng)存在著固有的復(fù)雜性。 從模型構(gòu)建過程的角度來看,系統(tǒng)建設(shè)涉及空間建模(前處理)、邊界條件獲取、模型模擬運(yùn)行、模擬結(jié)果存儲(chǔ)、模型參數(shù)率定、模擬結(jié)果分析和可視化(后處理)等多個(gè)環(huán)節(jié),每個(gè)環(huán)節(jié)都可單獨(dú)作為一項(xiàng)技術(shù)研發(fā)主題,而多項(xiàng)技術(shù)研發(fā)的有機(jī)集成更是一項(xiàng)復(fù)雜的系統(tǒng)工程。 再一方面,傳統(tǒng)的高性能計(jì)算體系并不能有效支撐水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警業(yè)務(wù)。 作為水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警系統(tǒng)的核心,水環(huán)境模型的高性能計(jì)算研究廣受關(guān)注,通常采用并行技術(shù)和集群技術(shù)來提高計(jì)算效率[27-31]。 由于水環(huán)境模型是一種典型的計(jì)算密集型復(fù)雜模型,其計(jì)算過程通常需要耗費(fèi)大量的時(shí)間。 在單個(gè)模型計(jì)算非常耗時(shí)的情況下,自動(dòng)率定、情景分析等批量的模型計(jì)算甚至是被禁止的[32]。 現(xiàn)有并行計(jì)算體系能夠很好地解決模型的高性能計(jì)算問題,但未考慮結(jié)果存儲(chǔ)和結(jié)果分析的需求。 因此,水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警業(yè)務(wù)需要一種能夠緊密銜接模型計(jì)算、存儲(chǔ)和分析的全鏈條技術(shù)支撐體系。 大數(shù)據(jù)技術(shù)體系因其完善的分布式計(jì)算、存儲(chǔ)和分析框架,有希望成為一種可有效解決當(dāng)前水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警業(yè)務(wù)所面臨的問題的理想選擇。

2 水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警業(yè)務(wù)解析

水環(huán)境模型從流程角度可以分為對(duì)歷史過程的模擬、對(duì)未來趨勢(shì)的預(yù)測(cè)和對(duì)預(yù)測(cè)趨勢(shì)的應(yīng)對(duì)決策3 個(gè)階段,即過程模擬—趨勢(shì)預(yù)測(cè)—應(yīng)對(duì)決策;從應(yīng)用角度可以分為常規(guī)水質(zhì)預(yù)報(bào)預(yù)警業(yè)務(wù)和突發(fā)污染事故應(yīng)急處置業(yè)務(wù),體現(xiàn)了“平戰(zhàn)結(jié)合”的理念;從用戶使用角度則可以分為自動(dòng)化和自定義化兩種模式。 表1 分別從流程角度、應(yīng)用角度和用戶使用角度解析了水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警業(yè)務(wù)。

表1 水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警業(yè)務(wù)解析Table 1 Requirement analysis of water environment quality forecast and early warning system

在常規(guī)水質(zhì)預(yù)警預(yù)報(bào)業(yè)務(wù)中,過程模擬階段旨在評(píng)估并確保模型具有重現(xiàn)歷史過程的能力,即模型重現(xiàn)歷史的能力。 在這一階段,水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警業(yè)務(wù)可以概括為常規(guī)空間建模和模型參數(shù)率定(也稱模型校準(zhǔn))兩部分,其目標(biāo)是確保模型可得和可用,保證模擬結(jié)果具有可信度。 只有具備重現(xiàn)歷史過程能力的模型方可用于對(duì)未來趨勢(shì)開展預(yù)測(cè)。

趨勢(shì)預(yù)測(cè)是水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警業(yè)務(wù)的核心內(nèi)容,其目標(biāo)是預(yù)測(cè)流域水文和水體水質(zhì)的未來變化趨勢(shì)。 在這一階段,水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警業(yè)務(wù)可以概括為包括流域水文、水體水質(zhì)、水華在內(nèi)的常規(guī)預(yù)報(bào)預(yù)警產(chǎn)品。 其中:水文預(yù)報(bào)提供流域水位、流速、流量、水溫等預(yù)報(bào)產(chǎn)品;水質(zhì)預(yù)報(bào)提供懸浮物、溶解氧、高錳酸鹽指數(shù)、氨氮、總磷、總氮、五日生化需氧量、化學(xué)需氧量、重金屬等主要指標(biāo)濃度,以及水質(zhì)類別、首要污染物等預(yù)報(bào)產(chǎn)品;水華預(yù)報(bào)提供葉綠素a、藍(lán)藻、綠藻、硅藻濃度,以及水華暴發(fā)時(shí)間和面積等預(yù)報(bào)產(chǎn)品。 預(yù)警產(chǎn)品則是根據(jù)業(yè)務(wù)需求設(shè)置預(yù)警指標(biāo)及參數(shù)范圍,基于實(shí)測(cè)數(shù)據(jù)和預(yù)報(bào)數(shù)據(jù),對(duì)超過設(shè)定范圍的水質(zhì)大幅變化、水質(zhì)趨勢(shì)性異常變化等進(jìn)行實(shí)時(shí)預(yù)警。

應(yīng)對(duì)決策是指通過情景分析評(píng)估調(diào)控措施對(duì)未來變化趨勢(shì)的影響,其目標(biāo)是識(shí)別較優(yōu)或最優(yōu)水環(huán)境管理措施,為環(huán)境治理決策的科學(xué)化、精細(xì)化提供支撐。 在這一階段,水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警業(yè)務(wù)可以概括為水環(huán)境風(fēng)險(xiǎn)評(píng)估、水環(huán)境容量核算、環(huán)境治理決策分析和污染溯源分析。 水環(huán)境風(fēng)險(xiǎn)評(píng)估包括點(diǎn)源和面源兩類,其中:前者旨在建立流域點(diǎn)源排放清單,集成整合污染源位置、排污口位置、特征污染物種類、污染排放量等信息,確定污染源與流域的匯合點(diǎn)位置、污染源影響范圍等,可根據(jù)業(yè)務(wù)需求設(shè)置風(fēng)險(xiǎn)評(píng)價(jià)指標(biāo)體系,定量評(píng)估點(diǎn)源風(fēng)險(xiǎn);后者旨在針對(duì)面源污染負(fù)荷進(jìn)行匡算,核算面源污染負(fù)荷的入河量,計(jì)算其對(duì)水體污染的貢獻(xiàn)量及貢獻(xiàn)率,可通過設(shè)定閾值參數(shù)識(shí)別面源污染關(guān)鍵源區(qū)和高風(fēng)險(xiǎn)區(qū)。 水環(huán)境容量核算旨在模擬受納水體在一定的環(huán)境質(zhì)量目標(biāo)規(guī)劃設(shè)定條件下的水環(huán)境容量,依據(jù)水環(huán)境容量和污染負(fù)荷現(xiàn)狀,對(duì)目標(biāo)水體的環(huán)境承載力開展風(fēng)險(xiǎn)評(píng)估和超載預(yù)警。 環(huán)境治理決策分析旨在根據(jù)重點(diǎn)流域控制單元、河湖長(zhǎng)制管理需求,分析主要污染物及其來源,并通過情景分析評(píng)估各種污染治理措施的水質(zhì)改善效果,幫助制定流域、湖庫或行政區(qū)污染負(fù)荷削減方案和空間分配方案。 污染溯源分析旨在掌握污染物的擴(kuò)散及空間變化路徑,解析各類污染來源對(duì)重點(diǎn)斷面主要污染物通量的貢獻(xiàn)量、貢獻(xiàn)率。 在水質(zhì)大幅變化觸發(fā)超標(biāo)預(yù)警、偷排預(yù)警時(shí),可結(jié)合空間拓?fù)浼夹g(shù)和超標(biāo)污染物特征,對(duì)污染來源進(jìn)行篩查和定位。

在突發(fā)污染事故水質(zhì)預(yù)報(bào)預(yù)警業(yè)務(wù)中,由于事故發(fā)生的隨機(jī)性和突發(fā)性,通常忽略過程模擬部分。 在此情況下,水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警業(yè)務(wù)可以概括為突發(fā)水污染事故仿真模擬和突發(fā)水污染事故應(yīng)急處置決策兩部分。 前者旨在動(dòng)態(tài)模擬污染物的時(shí)空遷移轉(zhuǎn)化過程,計(jì)算污染物濃度的時(shí)空分布,評(píng)估污染事件所影響地區(qū)的人口數(shù)量和水質(zhì)超標(biāo)程度等。 后者旨在結(jié)合風(fēng)險(xiǎn)大小、環(huán)境條件,提供交互式的情景分析手段,輔助制定快速應(yīng)急處置方案。

水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警的自動(dòng)化通常涵蓋常規(guī)水質(zhì)預(yù)報(bào)預(yù)警業(yè)務(wù)中的過程模擬、趨勢(shì)預(yù)測(cè)兩個(gè)階段,旨在實(shí)現(xiàn)模型的自動(dòng)率定和定時(shí)自動(dòng)生成預(yù)報(bào)產(chǎn)品。 水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警的自定義化則涵蓋常規(guī)水質(zhì)預(yù)報(bào)預(yù)警業(yè)務(wù)中的應(yīng)對(duì)決策階段和突發(fā)污染事故預(yù)報(bào)預(yù)警業(yè)務(wù)的全過程,旨在提供交互式的探索手段,輔助用戶識(shí)別較優(yōu)或最優(yōu)環(huán)境管理措施。

3 水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警大數(shù)據(jù)平臺(tái)框架

為了解決水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警業(yè)務(wù)的自動(dòng)化和自定義化問題,結(jié)合業(yè)務(wù)流程和信息化建設(shè)流程,本研究提出了水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警大數(shù)據(jù)平臺(tái)框架,如圖1 所示。 該框架以模型體系為基礎(chǔ),以計(jì)算體系為核心,以服務(wù)體系為目標(biāo)。

模型體系包括空間建模、參數(shù)率定和邊界條件預(yù)測(cè)3 部分,實(shí)現(xiàn)了靜態(tài)建模和動(dòng)態(tài)更新的有機(jī)結(jié)合。 靜態(tài)是指空間建模后的模型主體總體保持不變;動(dòng)態(tài)是指在參數(shù)率定過程可以動(dòng)態(tài)調(diào)整模型的局部參數(shù),在邊界條件預(yù)測(cè)過程則可以更新模型局部邊界條件。 以Delft3D 和EFDC 模型為例,典型的水體水質(zhì)模擬的空間建模過程包括網(wǎng)格剖分、地形插值、初始條件設(shè)置、反應(yīng)過程設(shè)置和運(yùn)行設(shè)置等,如圖1 所示。 以SWAT 模型為例,典型的流域水文模擬的空間建模過程則包括子流域剖分、土壤數(shù)據(jù)庫制備、土地利用數(shù)據(jù)制備、氣象數(shù)據(jù)庫制備、水文響應(yīng)單元?jiǎng)澐帧⒛M條件設(shè)置。 空間建模旨在生成一系列模型計(jì)算引擎所需的配置文件;參數(shù)率定旨在通過調(diào)整模型參數(shù),擬合模擬結(jié)果與實(shí)測(cè)監(jiān)測(cè)值,確保模型具備模擬歷史過程的能力。 在實(shí)際應(yīng)用中,空間建模和參數(shù)率定需要大量數(shù)據(jù)作為支撐,且開發(fā)過程耗時(shí)較長(zhǎng)。 此外,模型預(yù)測(cè)精度在很大程度上取決于對(duì)邊界條件(比如水文條件、水質(zhì)條件和天氣條件等)的預(yù)測(cè),而邊界條件通常難以預(yù)測(cè),因此,率定之后的水文和水質(zhì)模型在生成預(yù)報(bào)產(chǎn)品之前,需要開展邊界條件預(yù)測(cè)。 由于邊界條件數(shù)據(jù)屬于典型的時(shí)間序列數(shù)據(jù),目前通常采用時(shí)間序列預(yù)測(cè)方法來解決邊界條件預(yù)測(cè)問題。

圖1 水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警大數(shù)據(jù)平臺(tái)框架Fig.1 Framework of water environment quality forecast and early warning big data platform

計(jì)算體系是水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警大數(shù)據(jù)平臺(tái)框架的核心,包括規(guī)模計(jì)算和規(guī)模存儲(chǔ)兩部分,可實(shí)現(xiàn)計(jì)算過程與存儲(chǔ)過程的綁定。 傳統(tǒng)的并行計(jì)算體系側(cè)重單個(gè)模型算例的高性能計(jì)算,不適用于模型率定、情景分析情況下的規(guī)模計(jì)算模式。此外,傳統(tǒng)并行計(jì)算體系并未考慮計(jì)算結(jié)果存儲(chǔ),不能滿足計(jì)算結(jié)果的存儲(chǔ)需要,而自動(dòng)化率定和情景分析進(jìn)一步加劇了規(guī)模計(jì)算和規(guī)模存儲(chǔ)的負(fù)荷。 大數(shù)據(jù)技術(shù)為復(fù)雜模型的規(guī)模計(jì)算、規(guī)模存儲(chǔ)和規(guī)模分析提供了成熟的解決方案,依托大數(shù)據(jù)技術(shù)實(shí)現(xiàn)規(guī)模計(jì)算與規(guī)模存儲(chǔ)綁定已成為必然趨勢(shì)。 先前的研究[33]已經(jīng)提出了將模型與大數(shù)據(jù)計(jì)算框架融合的技術(shù)思路并證明了其可行性。通過將復(fù)雜的機(jī)理模型融合在分布式計(jì)算框架中,可在計(jì)算節(jié)點(diǎn)執(zhí)行分布式計(jì)算,并將原始模擬結(jié)果以 Hadoop 分布式文件系統(tǒng)( Hadoop Distributed File System,HDFS)存儲(chǔ),解析結(jié)果以Hadoop 數(shù)據(jù)庫(Hadoop Database,HBase)存儲(chǔ),取得良好的應(yīng)用效果[33]。

服務(wù)體系包括通用服務(wù)和專用服務(wù)兩部分,以滿足水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警業(yè)務(wù)的自動(dòng)化和自定義化需求。 通用服務(wù)包括交互式分析、濃度場(chǎng)可視化、流場(chǎng)可視化和GIS 可視化。 交互和可視化在知識(shí)發(fā)現(xiàn)中非常重要,旨在利用直觀的可視化技術(shù)手段探索隱藏在數(shù)據(jù)中的規(guī)律,形成專業(yè)應(yīng)用功能。 專用服務(wù)提供面向用戶的預(yù)報(bào)預(yù)警產(chǎn)品和決策支持服務(wù),其中,前者包括流域水文預(yù)報(bào)預(yù)警和水體水質(zhì)預(yù)報(bào)預(yù)警,后者包括污染源風(fēng)險(xiǎn)評(píng)估、水環(huán)境容量核算、環(huán)境治理決策分析、污染溯源分析和污染事故應(yīng)急。

4 水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警大數(shù)據(jù)平臺(tái)應(yīng)用案例

總體上,水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警大數(shù)據(jù)平臺(tái)采用SpringBoot 框架主導(dǎo)開發(fā)。 在SpringBoot 框架內(nèi)集成Quartz 啟動(dòng)自動(dòng)化業(yè)務(wù),自定義化業(yè)務(wù)則經(jīng)SpringBoot 前端由用戶交互式觸發(fā)。 兩種業(yè)務(wù)均以Hadoop MapReduce 作業(yè)的形式執(zhí)行模型計(jì)算。 將水環(huán)境模型融合于MapReduce 計(jì)算框架之中,其原始和解析模擬結(jié)果分別被存儲(chǔ)到HDFS 和HBase 中。 采用Zeppelin 框架實(shí)現(xiàn)解析結(jié)果的交互式和可視化分析。 圖2 為水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警大數(shù)據(jù)平臺(tái)應(yīng)用案例。

圖2 水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警大數(shù)據(jù)平臺(tái)應(yīng)用案例Fig.2 Case study of water environment quality forecast and early warning big data platform

具體來講,基于Quartz 定時(shí)任務(wù)框架實(shí)現(xiàn)水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警業(yè)務(wù)自動(dòng)化,Quartz 充當(dāng)作業(yè)調(diào)度器角色。 除了定期(每月)啟動(dòng)水環(huán)境模型自動(dòng)率定過程和定時(shí)(每天)啟動(dòng)水文、水質(zhì)和水華預(yù)報(bào)預(yù)警業(yè)務(wù)外,Quartz 還負(fù)責(zé)定時(shí)啟動(dòng)提取-轉(zhuǎn) 換-上 載(Extract-Transform-Load, ETL) 過 程。ETL 以腳本語言形式從水質(zhì)監(jiān)測(cè)數(shù)據(jù)庫中定時(shí)提取、清洗、轉(zhuǎn)換和裝載最新數(shù)據(jù)到HBase 中。 這些數(shù)據(jù)既被用作模型參數(shù)率定過程所需的觀測(cè)數(shù)據(jù),也被用作邊界條件預(yù)測(cè)中的訓(xùn)練數(shù)據(jù)。

為了兼容大數(shù)據(jù)平臺(tái)開發(fā)環(huán)境,水環(huán)境模型應(yīng)選用成熟且開源的計(jì)算引擎,其空間建模則應(yīng)依托已有建模工具或研發(fā)專用軟件。 以模型為核心的自動(dòng)化和自定義化業(yè)務(wù)均以MapReduce 作業(yè)的形式被封裝并提交到另外一個(gè)資源管理器(Yet Another Resource Negotiator,YARN)。 YARN通過合理分配計(jì)算資源,實(shí)現(xiàn)作業(yè)執(zhí)行的負(fù)載均衡。 多個(gè)MapReduce 作業(yè)并發(fā)計(jì)算,原始模擬結(jié)果和解析計(jì)算結(jié)果在所在計(jì)算節(jié)點(diǎn)被分別存儲(chǔ)到HDFS 和HBase 中。 用戶可通過Zeppelin 交互式可視化分析工具獲取HDFS 和HBase 中的解析數(shù)據(jù),以深度探索數(shù)據(jù)潛在規(guī)律。

綜上所述,本文基于成熟大數(shù)據(jù)平臺(tái)Hadoop生態(tài)系統(tǒng),構(gòu)建了水環(huán)境模型計(jì)算體系、存儲(chǔ)體系和快速分析體系。 其中,采用MapReduce 計(jì)算框架實(shí)現(xiàn)水環(huán)境模型并發(fā)計(jì)算,采用YARN 實(shí)現(xiàn)計(jì)算資源調(diào)度和負(fù)載均衡,采用HDFS 存儲(chǔ)水環(huán)境模型原始模擬結(jié)果,采用HBase 列式數(shù)據(jù)庫存取水環(huán)境模型模擬結(jié)果解析數(shù)據(jù),采用Zeppelin 實(shí)現(xiàn)解析數(shù)據(jù)的快速獲取、高效組織、交互式可視化分析。

下文將以實(shí)際案例驗(yàn)證水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警大數(shù)據(jù)平臺(tái)部分核心模塊的可實(shí)現(xiàn)性。 受篇幅所限,僅介紹空間建模、參數(shù)率定、規(guī)模計(jì)算和污染事故應(yīng)急模塊。

4.1 水環(huán)境模型空間建模

該案例采用SWAT 模型模擬流域水文水質(zhì)過程,采用Delft3D 和EFDC 模型模擬水體水動(dòng)力水質(zhì)過程。 SWAT 空間建模通常直接采用ArcSWAT 或QSWAT 軟件工具。 對(duì)于Delft3D 和EFDC,雖然有商業(yè)版的建模工具可供選擇,比如EFDC-Explorer,但是這些工具屬于單機(jī)(Stand-Alone)模式:一方面,不具備GIS 可視化交互功能,缺乏良好的用戶體驗(yàn),并且學(xué)習(xí)曲線相對(duì)較長(zhǎng);另一方面,也不滿足Web 應(yīng)用系統(tǒng)的交互需要。 因此,開發(fā)基于GIS 的單機(jī)版和Web 版建模工具可以改善水動(dòng)力水質(zhì)建模過程,促進(jìn)水環(huán)境模型的業(yè)務(wù)化運(yùn)行。

圖3 展示了單機(jī)版Delft3D 空間建模系統(tǒng)軟件。 該軟件集成了網(wǎng)格生成工具、地形插值、邊界條件設(shè)置、初始條件設(shè)置、傳輸條件設(shè)置及模擬過程設(shè)置等完整的建模流程,此外還集成了計(jì)算引擎并行計(jì)算和模擬結(jié)果可視化分析功能,實(shí)現(xiàn)了水環(huán)境模型的業(yè)務(wù)化運(yùn)行,降低了模型的應(yīng)用門檻,大大提升了水環(huán)境管理工作的科學(xué)化、智能化水平。

圖3 單機(jī)版Delft3D 模型空間建模軟件工具Fig.3 Stand-along Deflt3D modeling system software

圖4 展示了Web 版Delft3D 模型空間建模系統(tǒng)。 該系統(tǒng)提供類似單機(jī)版的建模流程和功能,用戶無需安裝專業(yè)的建模軟件,僅通過訪問瀏覽器便可開展復(fù)雜空間建模、執(zhí)行模型計(jì)算和可視化分析模擬結(jié)果,極大地促進(jìn)了Delft3D 等模型工具與Web 應(yīng)用系統(tǒng)的集成。

圖4 Web 版Delft3D 模型空間建模軟件工具Fig.4 Web-based Deflt3D modeling system software

4.2 水環(huán)境模型參數(shù)自動(dòng)率定

該案例[32]采用貝葉斯優(yōu)化算法對(duì)SWAT 模型進(jìn)行參數(shù)自動(dòng)率定,其主要過程包括參數(shù)敏感性分析、參數(shù)率定過程和Hadoop 集群計(jì)算3 部分,如圖5 所示。 參數(shù)敏感性分析采用Morris 方法,Hadoop MapReduce 計(jì)算體系則承擔(dān)了Morris方法所需的批量模型計(jì)算任務(wù)。 由Hadoop 執(zhí)行模型計(jì)算并將結(jié)果返回給Morris,然后由Morris對(duì)重要參數(shù)進(jìn)行敏感性排序并篩選出敏感參數(shù)。參數(shù)率定過程采用貝葉斯優(yōu)化算法,所需批量計(jì)算同樣委托給框架的Hadoop 大數(shù)據(jù)計(jì)算體系,由Hadoop 執(zhí)行模型計(jì)算并將結(jié)果返回給貝葉斯優(yōu)化算法。 整個(gè)率定過程自動(dòng)循環(huán),不需人為干預(yù),直至達(dá)到算法收斂條件或者最大優(yōu)化迭代次數(shù)。納 什 效 率 系 數(shù) ( Nash-SutcliffeEfficiency Coefficient,NSE)被作為目標(biāo)函數(shù)進(jìn)行水文參數(shù)敏感性及收斂性分析,定性分析度量方式的影響。該案例證明了大數(shù)據(jù)技術(shù)框架內(nèi)的水環(huán)境模型參數(shù)自動(dòng)率定的可行性和高效性。

圖5 SWAT 模型參數(shù)自動(dòng)率定過程[32]Fig.5 Flowchart of automatic calibration of SWAT model parameters

4.3 水環(huán)境模型規(guī)模計(jì)算

水環(huán)境數(shù)值模型模擬計(jì)算是典型的中央處理器(Central Processing Unit)密集型運(yùn)算,具有計(jì)算資源需求高、運(yùn)行時(shí)間長(zhǎng)、模擬結(jié)果文件大的特點(diǎn)。 該案例[33]在框架中選用Hadoop MapReduce分布式計(jì)算框架(圖6),以Delft3D 模型規(guī)模計(jì)算為例,驗(yàn)證集群運(yùn)算模式的可行性。 水環(huán)境模型規(guī)模計(jì)算的設(shè)計(jì)思路是將Delft3D 模型的批量算例工程文件分發(fā)到各個(gè)數(shù)據(jù)節(jié)點(diǎn),Hadoop 集群通過位置感知機(jī)制將計(jì)算引擎程序(Delft3D 可執(zhí)行程序)定位并下載到數(shù)據(jù)節(jié)點(diǎn),在節(jié)點(diǎn)上通過讀取算例工程文件重構(gòu)模型配置文件,并完成模型計(jì)算過程。 案例結(jié)果表明,Hadoop 集群運(yùn)算模式可有效加快模型的規(guī)模計(jì)算過程。 該模式具有通用性,適用于其他復(fù)雜模型的批量計(jì)算,可為水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警業(yè)務(wù)中的大規(guī)模批量計(jì)算問題提供一種可行的解決方案。

圖6 基于Hadoop MapReduce 的水環(huán)境模型規(guī)模計(jì)算框架[33]Fig.6 Large-scale calculation framework of water environment model based on Hadoop MapReduce

4.4 突發(fā)水污染事故應(yīng)急

該案例采用Delft3D 模型為基礎(chǔ)模型進(jìn)行二次開發(fā),以實(shí)現(xiàn)快速、高效、可定制的污染物遷移擴(kuò)散過程模擬。 其計(jì)算網(wǎng)格采用曲面結(jié)構(gòu)化交錯(cuò)網(wǎng)格,具有高度貼邊、計(jì)算高效的特點(diǎn)。此外,可根據(jù)實(shí)際應(yīng)用需求對(duì)提前生成的研究區(qū)網(wǎng)格進(jìn)行快速合并和裁剪,以滿足自定義研究區(qū)的需求。 通過參數(shù)設(shè)置可對(duì)污染物進(jìn)行自定義定制,以滿足自定義污染物的需求。 通過對(duì)Delft3D 計(jì)算引擎的封裝,可以適應(yīng)Web 應(yīng)用程序系統(tǒng)集成的需要。 用戶可在Web 應(yīng)用中自定義添加、刪除、編輯邊界條件、排放條件、觀測(cè)點(diǎn)和觀測(cè)斷面,以滿足不同污染物類型、不同突發(fā)場(chǎng)景、不同污染階段下的突發(fā)污染事故預(yù)報(bào)預(yù)警要求。 圖7 為突發(fā)水污染事故應(yīng)急模塊示意圖。

圖7 基于Delft3D 模型的突發(fā)水污染事故應(yīng)急模塊Fig.7 Emergency module for sudden water pollution accident simulation based on Delft3D model

5 結(jié)論與展望

水環(huán)境模型的深入應(yīng)用,尤其是模型參數(shù)的自動(dòng)化率定和自定義場(chǎng)景分析,需要滿足模型大規(guī)模計(jì)算及其引起的規(guī)模存儲(chǔ)和規(guī)模分析的需求,這是當(dāng)前限制水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警業(yè)務(wù)取得進(jìn)一步發(fā)展的重要因素。 大數(shù)據(jù)技術(shù)提供了融合高性能計(jì)算、分布式存儲(chǔ)和全過程快速分析的解決方案,克服了水環(huán)境模型常規(guī)并行計(jì)算模式未考慮其引發(fā)的模擬結(jié)果的持久化存儲(chǔ)和快速分析需求的不足。 本文提出了水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警大數(shù)據(jù)平臺(tái)框架,該框架以水環(huán)境模型體系為基礎(chǔ),以大數(shù)據(jù)計(jì)算體系為核心,以實(shí)現(xiàn)水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警應(yīng)用服務(wù)為目標(biāo),通過水環(huán)境模型融合大數(shù)據(jù)技術(shù),解決了預(yù)報(bào)預(yù)警業(yè)務(wù)的自動(dòng)化和自定義化問題。 研究結(jié)果可為重新審視復(fù)雜水環(huán)境模型與大數(shù)據(jù)技術(shù)的關(guān)系提供新的見解,也可為基于大數(shù)據(jù)技術(shù)的水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警平臺(tái)的構(gòu)建提供思路和參考。 當(dāng)前,國(guó)家不斷加強(qiáng)水環(huán)境綜合治理,推進(jìn)水生態(tài)環(huán)境保護(hù),這就對(duì)水生態(tài)環(huán)境預(yù)報(bào)預(yù)警提出了更高的要求。 構(gòu)建水環(huán)境質(zhì)量預(yù)報(bào)預(yù)警大數(shù)據(jù)平臺(tái),可為管理部門掌握水文水質(zhì)總體變化態(tài)勢(shì)提供科學(xué)的分析工具,更好地指導(dǎo)環(huán)境管理過程的精準(zhǔn)施策和科學(xué)管控。