利用云計(jì)算技術(shù)構(gòu)建水文大數(shù)據(jù)平臺(tái)應(yīng)用前景探討

雷成茂，郭 銀，楊國(guó)德，張 靜

（1.黃河水利委員會(huì)水文局，河南 鄭州 450004；2.黃河水利委員會(huì)中游水文水資源局，山西 晉中 030600）

利用云計(jì)算技術(shù)構(gòu)建水文大數(shù)據(jù)平臺(tái)應(yīng)用前景探討

雷成茂1，郭 銀2，楊國(guó)德2，張 靜2

（1.黃河水利委員會(huì)水文局，河南 鄭州 450004；2.黃河水利委員會(huì)中游水文水資源局，山西 晉中 030600）

黃河水文測(cè)報(bào)整工作是保證黃河安瀾的一項(xiàng)重要工作，為有效利用互聯(lián)網(wǎng)技術(shù)改變傳統(tǒng)的工作模式，使黃河水文測(cè)報(bào)整工作中的數(shù)據(jù)傳輸、存儲(chǔ)、處理計(jì)算和共享更方便、更快捷、更安全，提出利用云計(jì)算技術(shù)構(gòu)建水文大數(shù)據(jù)平臺(tái)的設(shè)想。

互聯(lián)網(wǎng)；云計(jì)算；水文測(cè)報(bào)整；數(shù)據(jù)共享；數(shù)據(jù)安全

云計(jì)算是互聯(lián)網(wǎng)技術(shù)中的一大支柱技術(shù)，而且已經(jīng)基本成熟，電腦、智能手機(jī)上的眾多與互聯(lián)網(wǎng)相關(guān)的軟件都離不開(kāi)云計(jì)算。云計(jì)算為建立強(qiáng)大高效的大數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理計(jì)算與分析、數(shù)據(jù)共享的集成環(huán)境提供了強(qiáng)有力的技術(shù)與物理基礎(chǔ)。

采用云計(jì)算技術(shù)建立大數(shù)據(jù)平臺(tái)，黃河水文測(cè)報(bào)工作中數(shù)據(jù)的采集、傳輸、計(jì)算處理分析、存儲(chǔ)、安全、共享等，就會(huì)變得非常方便、快捷、經(jīng)濟(jì)、安全。

1 需求分析

1.1 水文工作常規(guī)模式

黃河水文業(yè)務(wù)工作包含水文測(cè)驗(yàn)、水情報(bào)汛、水文資料整編，即通常指的黃河水文測(cè)、報(bào)、整。

1.1.1 水文測(cè)驗(yàn)工作常規(guī)模式

水文測(cè)驗(yàn)是黃河水文測(cè)報(bào)整工作中最基礎(chǔ)的工作，目的是取得原始的水文數(shù)據(jù)，經(jīng)過(guò)初步計(jì)算分析，為水情信息提供數(shù)據(jù)依據(jù)，為水文資料整編提供基礎(chǔ)資料。

近年來(lái)，隨著我國(guó)科技的飛速發(fā)展，水文測(cè)驗(yàn)方式也在不斷改善，降水觀(guān)測(cè)采用了遙測(cè)自記固態(tài)雨量計(jì)，水位觀(guān)測(cè)采用了超聲波水位計(jì)、電子水尺、雷達(dá)水位計(jì)等，基本實(shí)現(xiàn)了數(shù)據(jù)自動(dòng)采集、存儲(chǔ)、傳輸，但還未實(shí)現(xiàn)數(shù)據(jù)自動(dòng)分析、計(jì)算、共享，而水溫、蒸發(fā)、流量、含沙量測(cè)量大部分還是通過(guò)人工觀(guān)測(cè)記載的方式來(lái)完成，雖然部分?jǐn)?shù)據(jù)的分析處理通過(guò)各單位自行研發(fā)的軟件來(lái)進(jìn)行，但最后的數(shù)據(jù)成果的提交仍需通過(guò)紙介質(zhì)來(lái)完成。

1.1.2 水情報(bào)汛工作

水情報(bào)汛承擔(dān)著為黃河防汛決策提供科學(xué)數(shù)據(jù)的重責(zé)，實(shí)時(shí)性強(qiáng)。通常采用電臺(tái)、電話(huà)抄報(bào)方式發(fā)送、接收水情報(bào)文，耗時(shí)長(zhǎng)，且容易出錯(cuò)。近年來(lái)全面建成了以北斗衛(wèi)星、亞洲五號(hào)衛(wèi)星、計(jì)算機(jī)網(wǎng)絡(luò)和移動(dòng)通信相結(jié)合的水情報(bào)汛網(wǎng)絡(luò)，實(shí)現(xiàn)了全流域雨水情實(shí)時(shí)傳輸，但還未達(dá)到大數(shù)據(jù)自動(dòng)分析計(jì)算、共享。

1.1.3 水文資料整編工作

水文資料整編是對(duì)原始的水文資料按科學(xué)方法和統(tǒng)一格式，進(jìn)行分析、統(tǒng)計(jì)、存儲(chǔ)，最后匯編、刊印的總稱(chēng)。

過(guò)去水文資料整編工作都是通過(guò)純手工的方式，需要人員多、歷時(shí)長(zhǎng)，又容易出錯(cuò)。隨著計(jì)算機(jī)的普及，北方片水文資料整編軟件的使用，極大地降低了水文資料整編工作強(qiáng)度，提高了水文資料整編精度，但最終資料結(jié)果仍需采用紙介質(zhì)來(lái)存儲(chǔ)，未實(shí)現(xiàn)全流域資料自動(dòng)電子存儲(chǔ)、共享。

1.2 云計(jì)算優(yōu)勢(shì)

1.2.1 云計(jì)算概念

云計(jì)算是一種利用互聯(lián)網(wǎng)實(shí)現(xiàn)隨時(shí)隨地、按需、便捷地訪(fǎng)問(wèn)共享資源池（如計(jì)算設(shè)施、存儲(chǔ)設(shè)備、應(yīng)用程序等）的計(jì)算模式。計(jì)算機(jī)資源化服務(wù)是云計(jì)算重要的表現(xiàn)形式，它為用戶(hù)屏蔽了數(shù)據(jù)中心管理、大規(guī)模數(shù)據(jù)處理、應(yīng)用程序部署等問(wèn)題。通過(guò)云計(jì)算，用戶(hù)可以根據(jù)其業(yè)務(wù)負(fù)載快速申請(qǐng)或釋放資源，并以按需支付的方式對(duì)所使用的資源付費(fèi)，在提高服務(wù)質(zhì)量的同時(shí)降低運(yùn)維成本。

1.2.2 云計(jì)算特點(diǎn)

云計(jì)算采用計(jì)算機(jī)集群構(gòu)成數(shù)據(jù)中心，并以服務(wù)的形式交付給用戶(hù)使用，使得用戶(hù)可以像使用水電一樣按需購(gòu)買(mǎi)資源。首先，云計(jì)算能根據(jù)工作負(fù)載大小動(dòng)態(tài)分配資源，而部署于云計(jì)算平臺(tái)上的應(yīng)用根據(jù)需要使用資源的變化，并能根據(jù)變化做出響應(yīng)；其次，相對(duì)于強(qiáng)調(diào)異構(gòu)資源共享的網(wǎng)格計(jì)算，云計(jì)算更強(qiáng)調(diào)大規(guī)模的資源池的分享，通過(guò)分享提高資源復(fù)用率，并利用規(guī)模經(jīng)濟(jì)降低成本，總體可概括為彈性服務(wù)、資源池化、按需服務(wù)、服務(wù)可計(jì)費(fèi)、泛在接入等特點(diǎn)。

2 黃河水文測(cè)報(bào)整大數(shù)據(jù)平臺(tái)構(gòu)建設(shè)想

2.1 框架結(jié)構(gòu)

黃河水文測(cè)報(bào)整大數(shù)據(jù)平臺(tái)由云計(jì)算服務(wù)器和軟件構(gòu)成。其中，云計(jì)算服務(wù)器中集成了各種水文原始數(shù)據(jù)及經(jīng)過(guò)分析加工、處理的中間數(shù)據(jù)以及數(shù)據(jù)上傳軟件和資源分享軟件。

云服務(wù)器中有大型sqlserver數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)根據(jù)數(shù)據(jù)分類(lèi)建立相應(yīng)的數(shù)據(jù)表，其格式類(lèi)似目前使用的北方片水文資料整編軟件，其中原始數(shù)據(jù)可以由各個(gè)水文測(cè)站直接通過(guò)相關(guān)軟件上傳到云服務(wù)器中，中間數(shù)據(jù)是經(jīng)過(guò)分析加工、處理由相關(guān)部門(mén)通過(guò)相關(guān)軟件傳輸?shù)皆品?wù)器中，這些構(gòu)成了云服務(wù)器中的水文資料數(shù)據(jù)集成系統(tǒng)。

與此同時(shí)，開(kāi)發(fā)用戶(hù)訪(fǎng)問(wèn)相關(guān)軟件，用戶(hù)可以根據(jù)自己所需調(diào)用相關(guān)軟件，相關(guān)軟件調(diào)用數(shù)據(jù)庫(kù)中的相關(guān)數(shù)據(jù)經(jīng)過(guò)分析、計(jì)算、加工后通過(guò)用戶(hù)終端呈現(xiàn)在用戶(hù)面前。

為了提高服務(wù)的靈活性，云服務(wù)器的數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù)都是原始數(shù)據(jù)和半成品數(shù)據(jù)，沒(méi)有成品數(shù)據(jù)，成品數(shù)據(jù)是用戶(hù)在終端調(diào)用相應(yīng)軟件和數(shù)據(jù)后，由軟件將數(shù)據(jù)實(shí)時(shí)加工成成品數(shù)據(jù)呈現(xiàn)在用戶(hù)面前。

2.2 數(shù)據(jù)安全

云計(jì)算數(shù)據(jù)平臺(tái)的數(shù)據(jù)安全稱(chēng)為云安全。黃河水文測(cè)報(bào)整大數(shù)據(jù)平臺(tái)的云安全策略有以下幾點(diǎn)：建立嚴(yán)格的權(quán)限管理系統(tǒng)和權(quán)限監(jiān)測(cè)系統(tǒng)；內(nèi)部使用的軟件屏蔽搜索引擎；加強(qiáng)病毒、木馬的監(jiān)測(cè)與清除；數(shù)據(jù)備份，根據(jù)需要多臺(tái)服務(wù)器交互備份數(shù)據(jù)；提供數(shù)據(jù)服務(wù)的軟件加強(qiáng)權(quán)限審查與監(jiān)測(cè)，對(duì)失效用戶(hù)及時(shí)清除信息。

3 黃河水文測(cè)報(bào)整大數(shù)據(jù)平臺(tái)應(yīng)用

黃河水文的測(cè)、報(bào)、整這三個(gè)項(xiàng)目在實(shí)現(xiàn)云計(jì)算大數(shù)據(jù)平臺(tái)服務(wù)中要區(qū)別設(shè)計(jì)。

3.1 水文測(cè)驗(yàn)實(shí)時(shí)數(shù)據(jù)的傳輸與共享

隨著時(shí)代的發(fā)展，目前各水文站都配備了臺(tái)式電腦、筆記本電腦，95%以上的水文測(cè)站都可以上網(wǎng)，具備了將水文原始觀(guān)測(cè)數(shù)據(jù)實(shí)時(shí)傳輸?shù)皆朴?jì)算服務(wù)器數(shù)據(jù)庫(kù)中的基本條件。

為此，可以開(kāi)發(fā)一組水文測(cè)驗(yàn)實(shí)時(shí)數(shù)據(jù)傳輸軟件，通過(guò)移動(dòng)靈活的平板電腦、智能手機(jī)，利用有線(xiàn)、無(wú)線(xiàn)網(wǎng)絡(luò)，實(shí)時(shí)將野外測(cè)驗(yàn)原始數(shù)據(jù)傳輸?shù)皆朴?jì)算服務(wù)器中。這樣測(cè)站可以實(shí)時(shí)調(diào)用本站的數(shù)據(jù)進(jìn)行分析處理。另外，其他單位可以通過(guò)互聯(lián)網(wǎng)經(jīng)過(guò)一定權(quán)限直接共享這些數(shù)據(jù)，從而進(jìn)行數(shù)據(jù)分析、加工、處理等。

3.2 水情信息服務(wù)社會(huì)的傳輸與共享

采用云計(jì)算技術(shù)傳輸、存儲(chǔ)水情信息，會(huì)更直接快捷。一是將水文測(cè)站提供的水情報(bào)文實(shí)時(shí)存儲(chǔ)在云計(jì)算服務(wù)器中，包括水文測(cè)站本身、水情報(bào)文使用單位可以通過(guò)云計(jì)算服務(wù)器直接共享水情信息數(shù)據(jù)，實(shí)時(shí)性更強(qiáng)。并可以根據(jù)用戶(hù)使用的權(quán)限及使用數(shù)據(jù)量直接計(jì)費(fèi)或免費(fèi)，管理更方便。二是在云計(jì)算服務(wù)器中布置相應(yīng)軟件，水文測(cè)站調(diào)用相應(yīng)軟件，由軟件根據(jù)相關(guān)數(shù)據(jù)自動(dòng)生成相應(yīng)報(bào)文，然后傳輸?shù)皆朴?jì)算服務(wù)器中，避免了目前人工擬定報(bào)文、然后輸入到相關(guān)設(shè)備中傳輸?shù)沫h(huán)節(jié)，大大降低錯(cuò)報(bào)率。同時(shí)，測(cè)站可以隨時(shí)調(diào)用自己發(fā)送的報(bào)文進(jìn)行校驗(yàn)，發(fā)現(xiàn)問(wèn)題立即糾正。三是各測(cè)站可以隨時(shí)共享流域內(nèi)各站點(diǎn)原始或經(jīng)過(guò)分析的降雨、流量、含沙量等資料，從而為本站測(cè)驗(yàn)做好充分準(zhǔn)備。

3.3 水文資料整編成果共享

水文資料整編目前有很多環(huán)節(jié)，首先是水文測(cè)站在站整編，然后勘測(cè)局集中整編、技術(shù)部門(mén)組織審查、水文局匯編，如果采用云計(jì)算技術(shù)可以一步到位。

由于云計(jì)算服務(wù)器中已經(jīng)有水文測(cè)站直接上傳的原始數(shù)據(jù)，相關(guān)軟件將把原始數(shù)據(jù)加工成可以直接生成成果的半成品，然后用戶(hù)可以根據(jù)需要調(diào)用相應(yīng)軟件，由軟件直接生成成果資料呈現(xiàn)在用戶(hù)面前。

大數(shù)據(jù)平臺(tái)建立后，設(shè)計(jì)嚴(yán)格的權(quán)限系統(tǒng)和計(jì)費(fèi)系統(tǒng)，將打破目前使用資料單位直接上門(mén)，手工抄錄資料，計(jì)算費(fèi)用的模式。

采用大數(shù)據(jù)平臺(tái)管理模式后，用戶(hù)網(wǎng)上申請(qǐng)，然后系統(tǒng)審查后授予相應(yīng)權(quán)限，用戶(hù)直接根據(jù)授權(quán)付費(fèi)然后調(diào)用相應(yīng)資料，即云計(jì)算服務(wù)。

P333.9 ［

］C ［

］1004-7042（2016）11-0034-02

雷成茂（1970-），男，1991年畢業(yè)于黃河水利學(xué)校陸地水文專(zhuān)業(yè)，高級(jí)工程師。

2016-09-14；

2016-10-19