基于大數(shù)據(jù)的甘肅省農(nóng)村飲水安全信息管理系統(tǒng)開發(fā)研究

馬國印

（甘肅省農(nóng)村飲水安全管理辦公室，730046，蘭州）

為加強(qiáng)農(nóng)村飲水安全工程運(yùn)行管理，2016年甘肅省水利廳利用互聯(lián)網(wǎng)及大數(shù)據(jù)技術(shù)，建成了“橫向到工程、縱向到農(nóng)戶”的農(nóng)村飲水安全管理信息系統(tǒng)。通過系統(tǒng)建設(shè)，摸清了全省飲水工程和供水人口的底數(shù)，建立了供水工程與供水戶間的動(dòng)態(tài)數(shù)據(jù)架構(gòu)，實(shí)現(xiàn)了甘肅省486萬農(nóng)村用水戶、2 076萬農(nóng)村人口和近1萬處集中供水工程、42萬處分散供水工程信息的相互關(guān)聯(lián)?；凇耙粡垐D、一個(gè)庫、一張網(wǎng)”，完成了全省供水工程的分布及相應(yīng)覆蓋區(qū)的查詢和展示；基于移動(dòng)端開發(fā)了工程及戶信息查詢，任何時(shí)候任何地點(diǎn)均能查詢工程基本信息及用水戶的基本情況，對(duì)全省農(nóng)村用水戶實(shí)行清單式動(dòng)態(tài)管理。該系統(tǒng)與全省精準(zhǔn)扶貧大數(shù)據(jù)管理平臺(tái)進(jìn)行了數(shù)據(jù)共享，信息平臺(tái)以戶為單元，明確了扶貧對(duì)象和解決問題的措施、時(shí)間節(jié)點(diǎn)及責(zé)任單位。

一、系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

系統(tǒng)采用B/S方式架構(gòu)進(jìn)行構(gòu)建。系統(tǒng)總體架構(gòu)分為4個(gè)層，即應(yīng)用層、服務(wù)層、支撐層、數(shù)據(jù)層，其中應(yīng)用層包括客戶端控件層和應(yīng)用系統(tǒng)層，客戶端控件層主要包括Flex控件和富客戶端RIA。富客戶端是一種增強(qiáng)用戶界面、提高交互能力，增強(qiáng)用戶體驗(yàn)的新型多媒體網(wǎng)絡(luò)應(yīng)用客戶端。服務(wù)層分為應(yīng)用服務(wù)層和WEB服務(wù)層。應(yīng)用服務(wù)層主要作用為實(shí)現(xiàn)人飲工程信息管理業(yè)務(wù)。WEB服務(wù)層包括平臺(tái)提供的標(biāo)準(zhǔn)服務(wù)，包括OGC標(biāo)準(zhǔn)的WMS、WFS等以及 REST標(biāo)準(zhǔn)。支撐層主要作用為保障系統(tǒng)功能正常運(yùn)行，系統(tǒng)采用Windows Server系列服務(wù)器操作系統(tǒng)，數(shù)據(jù)庫及WEB GIS采用開源免費(fèi)的PostgreSQL及PostGIS，部分?jǐn)?shù)據(jù)采集處理將使用ArcGIS及Supermap桌面軟件。數(shù)據(jù)層主要用于數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)管理。從總體上分為行政區(qū)劃代碼庫、人口信息庫、已建工程庫、在建工程庫、擬建工程庫、分散式工程庫、工程覆蓋區(qū)庫等。系統(tǒng)架構(gòu)如圖1所示。

圖1　系統(tǒng)總體架構(gòu)

二、大數(shù)據(jù)處理技術(shù)

2017年6月底，甘肅省農(nóng)村飲水安全管理信息系統(tǒng)共采集和錄入各類數(shù)據(jù)信息13 670萬個(gè)，其中供水工程信息387萬個(gè)，覆蓋區(qū)信息46萬個(gè)，用水戶信息13 001萬個(gè)，各類聯(lián)系人信息21萬個(gè)，地理坐標(biāo)信息3萬個(gè)，其他相關(guān)信息212萬個(gè)。這些信息數(shù)據(jù)覆蓋全省14個(gè)市州87個(gè)縣區(qū)1 276個(gè)鄉(xiāng)鎮(zhèn)16 280個(gè)行政村88 595個(gè)自然村，涉及全省農(nóng)村用水戶487萬戶2 000萬人，其中貧困戶（含已脫貧）104萬戶432萬人，非農(nóng)村人口65萬人；集中供水工程9 434處、受益人口1 809萬人，分散工程42萬處、受益人口191萬人。

系統(tǒng)主要經(jīng)過數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)清洗、數(shù)據(jù)挖掘及數(shù)據(jù)可視化處理等5個(gè)步驟完成海量數(shù)據(jù)的更新。

1.數(shù)據(jù)采集

（1）行政區(qū)劃編碼采集

利用現(xiàn)行的行政村及以上標(biāo)準(zhǔn)代碼模式，建立了樹形結(jié)構(gòu)的行政區(qū)劃編碼體系，核實(shí)清理了現(xiàn)狀無居住戶的自然村，將省、市、縣、鄉(xiāng)、村、自然村的行政區(qū)劃名稱用編碼有機(jī)地串聯(lián)起來，便于數(shù)據(jù)的維護(hù)、查詢及統(tǒng)計(jì)。同時(shí)動(dòng)態(tài)核實(shí)自然村聯(lián)系人及聯(lián)系方式，便于系統(tǒng)數(shù)據(jù)的抽查核實(shí)。

（2）農(nóng)戶信息采集

收集、處理了全省486萬農(nóng)戶、104萬貧困戶 （含已脫貧）的基本信息。用農(nóng)戶戶主的身份證號(hào)作為唯一識(shí)別號(hào)，甄別戶主所在的自然村。數(shù)據(jù)處理主要包括戶主信息的有效性、準(zhǔn)確性、家庭人數(shù)、移民所處行政區(qū)劃的唯一性。同時(shí)與省扶貧辦共享的104萬貧困戶信息進(jìn)行對(duì)接，將全省貧困戶完全包含在農(nóng)村用水戶信息中。

（3）工程信息采集

收集處理了全省9 400多處集中式供水工程、42萬處分散式供水工程的信息。

（4）農(nóng)戶與供水工程的關(guān)聯(lián)采集

將用水戶與實(shí)際的供水工程建立關(guān)聯(lián)關(guān)系，使得每一戶均有相應(yīng)的供水工程與之對(duì)應(yīng) （集中式或分散式），每一處集中式供水工程均有其相應(yīng)的覆蓋區(qū)及覆蓋人口。

（5）地理信息處理采集

對(duì)系統(tǒng)數(shù)據(jù)進(jìn)行概化處理，將工程、用水戶及人口信息匯總到行政村級(jí)，以在線天地圖的電子圖和影像圖為基礎(chǔ)工作底圖，將全省9 400多處集中式供水工程、16 000多處行政村在底圖上進(jìn)行核實(shí)、標(biāo)繪，完成了系統(tǒng)的空間數(shù)據(jù)采集工作。

2.數(shù)據(jù)存儲(chǔ)

甘肅省農(nóng)村飲水安全信息系統(tǒng)主要面對(duì)的是大規(guī)模的結(jié)構(gòu)化數(shù)據(jù)。針對(duì)這類大數(shù)據(jù)，通常采用新型數(shù)據(jù)庫集群。它們通過列存儲(chǔ)或行列混合存儲(chǔ)以及粗粒度索引等技術(shù)，結(jié)合MPP(Massive Parallel Processing)架構(gòu)高效的分布式計(jì)算模式，實(shí)現(xiàn)對(duì)PB量級(jí)數(shù)據(jù)的存儲(chǔ)和管理。

3.數(shù)據(jù)清洗

甘肅省農(nóng)村飲水安全信息系統(tǒng)數(shù)據(jù)清洗主要是通過批量處理及人工處理相結(jié)合的方式進(jìn)行。其中，批量數(shù)據(jù)是利用服務(wù)器空閑時(shí)間對(duì)成批數(shù)據(jù)進(jìn)行一次性自動(dòng)清洗，適合批量清理無用數(shù)據(jù)；人工處理是指對(duì)一些需要人工進(jìn)行判斷的數(shù)據(jù)交由全省各縣區(qū)系統(tǒng)操作人員進(jìn)行清理維護(hù)。

4.數(shù)據(jù)挖掘

所謂大數(shù)據(jù)計(jì)算模式，即根據(jù)大數(shù)據(jù)的不同數(shù)據(jù)特征和計(jì)算特征，從多樣性的大數(shù)據(jù)計(jì)算問題和需求中提煉并建立的各種高層抽象或模型。例如，將系統(tǒng)中海量戶信息以工程或者市、縣、鄉(xiāng)鎮(zhèn)、行政村、自然村等不同級(jí)別進(jìn)行抽象匯總處理，生成可面對(duì)公眾的數(shù)據(jù)。傳統(tǒng)的并行計(jì)算方法，主要從體系結(jié)構(gòu)和編程語言的層面定義了一些較為底層的并行計(jì)算抽象和模型，但由于大數(shù)據(jù)處理問題具有很多高層的數(shù)據(jù)特征和計(jì)算特征，因此大數(shù)據(jù)處理需要更多地結(jié)合這些高層特征考慮更為高層的計(jì)算模式。根據(jù)大數(shù)據(jù)處理多樣性的需求和以上不同的特征維度，目前出現(xiàn)了多種典型和重要的大數(shù)據(jù)計(jì)算模式。與這些計(jì)算模式相適應(yīng)，出現(xiàn)了很多對(duì)應(yīng)的大數(shù)據(jù)計(jì)算系統(tǒng)和工具。由于單純描述計(jì)算模式比較抽象和空洞，因此在描述不同計(jì)算模式時(shí)，將同時(shí)給出相應(yīng)的典型計(jì)算系統(tǒng)和工具。

5.數(shù)據(jù)可視化

大規(guī)模數(shù)據(jù)的可視化主要是基于并行算法設(shè)計(jì)的技術(shù)，合理利用有限的計(jì)算資源，高效地處理和分析特定數(shù)據(jù)集的特性。通常情況下，大規(guī)模數(shù)據(jù)可視化的技術(shù)會(huì)結(jié)合多分辨率表示等方法，以獲得足夠的互動(dòng)性能。甘肅省農(nóng)村飲水安全信息系統(tǒng)大數(shù)據(jù)可視化主要是通過表格形式進(jìn)行展現(xiàn)，輔以圖表和地圖形式進(jìn)行數(shù)據(jù)展示。

三、技術(shù)成果

1.建立了基于“互聯(lián)網(wǎng)+”的“橫向到工程、縱向到戶”的農(nóng)村飲水安全信息管理平臺(tái)

針對(duì)甘肅省農(nóng)村飲水安全工程管理實(shí)際情況，基于 “互聯(lián)網(wǎng)+”，在PC端和移動(dòng)端（安卓、蘋果系統(tǒng)）同時(shí)實(shí)現(xiàn)了“橫向到工程、縱向到戶”的甘肅省農(nóng)村飲水安全信息管理平臺(tái)，通過從供水工程到覆蓋區(qū)、從行政區(qū)劃到人口這兩條主線的串聯(lián)，將工程和人口以及行政區(qū)劃緊密結(jié)合到一起；實(shí)現(xiàn)了全省所有農(nóng)戶信息與工程的關(guān)聯(lián)，并包含所有貧困戶信息，方便通過工程查人口、通過人口查工程的數(shù)據(jù)管理模式。

2.實(shí)現(xiàn)了基于“一張圖”的地理信息查詢展示功能

系統(tǒng)以在線天地圖的電子圖和影像圖為基礎(chǔ)工作底圖，輔以全省各縣的行政區(qū)劃邊界，全面展示工程分布、行政村分布以及工程的覆蓋區(qū)展示，方便使用者基于瀏覽器通過一張地圖查詢工程信息及行政村級(jí)的人口、貧困戶等信息。

3.開發(fā)了基于移動(dòng)互聯(lián)網(wǎng)的信息查詢系統(tǒng)

針對(duì)安卓、蘋果系統(tǒng)，實(shí)現(xiàn)了行政區(qū)劃、集中式工程、分散式工程的匯總統(tǒng)計(jì)，可通過輸入用水戶身份證號(hào)或姓名查詢用水戶及相應(yīng)供水工程的情況，具有身份證拍照識(shí)別功能，通過拍攝身份證照片，可以查詢用水戶基本情況。

4.分別基于內(nèi)網(wǎng)、公眾網(wǎng)完成系統(tǒng)的數(shù)據(jù)維護(hù)和查詢功能

由于系統(tǒng)中存有大量農(nóng)戶身份信息，為了安全考慮，分別基于內(nèi)網(wǎng)（VPN）、公眾網(wǎng)實(shí)現(xiàn)了數(shù)據(jù)的維護(hù)和查詢功能?；趦?nèi)網(wǎng)，對(duì)全口徑農(nóng)戶信息及工程進(jìn)行維護(hù)和查詢；基于公眾互聯(lián)網(wǎng)，允許查詢到自然村或行政村的人口數(shù)據(jù)、工程情況及覆蓋區(qū)。

5.建立水質(zhì)檢測工作數(shù)據(jù)模型，促進(jìn)管理科學(xué)化

系統(tǒng)以每個(gè)縣的用水戶、供水工程的分布為基礎(chǔ)，按照水源、水廠、末梢水等關(guān)鍵節(jié)點(diǎn)，建立水質(zhì)檢測任務(wù)數(shù)據(jù)模型。每個(gè)水質(zhì)檢測中心每月需要提取水樣進(jìn)行化驗(yàn)，并將檢測結(jié)果上報(bào)系統(tǒng)，隨后系統(tǒng)自動(dòng)產(chǎn)生報(bào)表，動(dòng)態(tài)分析水質(zhì)狀況，為全省水質(zhì)檢測工作管理科學(xué)化、高效化、長效化奠定了基礎(chǔ)。

四、系統(tǒng)的創(chuàng)新性

1.實(shí)現(xiàn)基于“兩條主線”的數(shù)據(jù)關(guān)聯(lián)

針對(duì)甘肅省農(nóng)村飲水安全工程管理實(shí)際情況，基于“兩條主線”（從供水工程到覆蓋區(qū)主線、從行政區(qū)劃到人口主線），將工程和人口以及行政區(qū)劃緊密結(jié)合到一起，建立了通過工程查人口、通過人口查工程的縱向和橫向數(shù)據(jù)關(guān)聯(lián)。

2.低投入、高產(chǎn)出

一般的應(yīng)用系統(tǒng)，只數(shù)據(jù)庫購置費(fèi)就已遠(yuǎn)遠(yuǎn)超出項(xiàng)目的總投資額，而本系統(tǒng)采用開源免費(fèi)的數(shù)據(jù)庫PostgreSQL，其功能先進(jìn)，效率極高，性能滿足系統(tǒng)要求，以低資金投入產(chǎn)生了較大的經(jīng)濟(jì)效益和社會(huì)效益。

五、結(jié)語

甘肅省農(nóng)村飲水安全大數(shù)據(jù)庫，在實(shí)現(xiàn)省、市、縣各級(jí)相關(guān)部門信息共享的基礎(chǔ)上，以縣級(jí)平臺(tái)為基礎(chǔ)，向社會(huì)公開縣域內(nèi)所有供水工程的覆蓋范圍、供水人口飲水現(xiàn)狀，以及管理責(zé)任人名單和聯(lián)系方式等信息，既可為群眾反映、咨詢和解決飲水方面的問題提供方便，又能廣泛接受社會(huì)各界的監(jiān)督。同時(shí)在已收集整理的村級(jí)聯(lián)系人的基礎(chǔ)上，建立信息清單，對(duì)后期的抽查和調(diào)查工作將會(huì)發(fā)揮巨大的作用。

參考文獻(xiàn)：

[1]段少遠(yuǎn).論信息系統(tǒng)項(xiàng)目的范圍管理——以拜城縣農(nóng)村飲水安全管理信息系統(tǒng)項(xiàng)目實(shí)施為例[J].新疆農(nóng)墾科技，2017（1）.

[2]張浩.省級(jí)農(nóng)村飲水安全管理信息系統(tǒng)的設(shè)計(jì)[J].海河水利，2012（6）.

[3]李曉琴，楊繼富，劉文朝.農(nóng)村飲水安全信息管理系統(tǒng)構(gòu)建的思考[J].現(xiàn)代節(jié)水高效農(nóng)業(yè)與生態(tài)灌區(qū)建設(shè)，2010（8）.

[4]貴州師范大學(xué)，貴州財(cái)經(jīng)大學(xué).大數(shù)據(jù)時(shí)代農(nóng)村信息服務(wù)實(shí)證研究——基于貴陽市的調(diào)查[J].貴州師范大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2016（4）.

[5]趙樂詩，周玉，曲炳良.各地加強(qiáng)農(nóng)村飲水安全工程建設(shè)管理政策綜述[J].中國水利，2014（11）.

[6]楊繼富，李斌，趙翠，孫毅.小康社會(huì)農(nóng)村安全供水評(píng)價(jià)指標(biāo)體系研究[J].中國水利，2015（17）.

[7]金麗，冷曼曼，李慶國，李斌.農(nóng)村供水安全預(yù)警模糊綜合評(píng)價(jià)研究[J].中國水利，2015（5）.

[8]胡孟，李曉琴.農(nóng)村飲水安全自動(dòng)化監(jiān)控技術(shù)研究及應(yīng)用前景分析[J].中國水利，2013（8）.