大數(shù)據(jù)背景下精準扶貧管理系統(tǒng)的設計與優(yōu)化

盧麗

（廣西金融職業(yè)技術學院 廣西壯族自治區(qū)南寧市 530000）

1 課題研究的背景和意義

廣西壯族自治區(qū)是全國貧困人口超過500 萬人的6 個省區(qū)之一，涉及全國集中連片特困地區(qū)的滇桂黔石漠化片區(qū)，一直以來都是全國扶貧攻堅的主戰(zhàn)場[1]。在各項政策、制度、資金保障的同時，扶貧工作提出了強化大數(shù)據(jù)支撐的建設要求。依托國家扶貧開發(fā)建檔立卡系統(tǒng)，建立精準扶貧大數(shù)據(jù)管理系統(tǒng)，定期對貧困村、建檔立卡貧困戶進行全面核查，精準識別，動態(tài)管理；加強農(nóng)村貧困監(jiān)測調(diào)查與數(shù)據(jù)統(tǒng)計分析，為領導決策、完善政策提供科學依據(jù)。據(jù)此我們將大數(shù)據(jù)應用到精準扶貧中，設計了精準扶貧管理系統(tǒng)。

2 系統(tǒng)功能設計

精準扶貧管理系統(tǒng)主要搭建扶貧信息管理、數(shù)據(jù)審計、貧困分析、扶貧考評系統(tǒng)四大功能模塊，通過大數(shù)據(jù)、人工智能、深度學習等技術，實現(xiàn)智慧決策、智慧幫扶、智慧預警。

2.1 扶貧信息管理

扶貧信息管理系統(tǒng)主要用來統(tǒng)計貧困戶信息、貧困村信息、貧困縣及扶貧單位信息并對數(shù)據(jù)進行直觀的呈現(xiàn)，能按照條件進行查詢。例如對貧困戶信息進行查詢：按照查詢條件——所屬省、市、縣、鄉(xiāng)、村，與戶主關系，貧困戶屬性，識別標準，脫貧屬性，貧困人口姓名，證件號碼，或其他自定義查詢條件。

2.2 數(shù)據(jù)審計

通過數(shù)據(jù)對接，實現(xiàn)貧困對象信息與公安戶籍數(shù)據(jù)的對比以及貧困對象銀行存款、機動車、不動產(chǎn)、殘疾人員等數(shù)據(jù)的審計，并能呈現(xiàn)上述數(shù)據(jù)審計信息的綜合對比情況。

2.3 貧困分析

對貧困人口的年齡分組、健康狀況、文化程度、勞動能力、務工狀況、貧困戶進行分析、貧困村、貧困縣的貧困類型、致貧原因、經(jīng)濟狀況、人口分布狀況等進行統(tǒng)計和分析。

2.4 扶貧考核評價

對全省貧困縣黨政領導班子和領導干部的幫扶工作開展、幫扶成效、幫扶單位工作情況等進行考評。對定量考核指標進行新增、修改、刪除、查看操作，根據(jù)定量考核指標體系，將各考核內(nèi)容錄入系統(tǒng)中，作為考評依據(jù)。

3 云平臺部署設計

3.1 網(wǎng)絡結構

一般內(nèi)網(wǎng)工作用戶通過PC 或PAD 移動設備接入政務內(nèi)網(wǎng)訪問系統(tǒng)，手機用戶通過SSL VPN 虛擬網(wǎng)接入系統(tǒng)，其它外網(wǎng)用戶通過互聯(lián)網(wǎng)接入外網(wǎng)網(wǎng)站，并通過網(wǎng)閘和防火墻進行內(nèi)外網(wǎng)隔離，以保證數(shù)據(jù)中心的安全。

通過部署SSL VPN，可滿足電腦、移動終端的隨時隨地安全加入，同時借助SSL VPN 設備中的EMM 模塊可以實現(xiàn)針對移動終端的統(tǒng)一設備管理、統(tǒng)一身份認證、統(tǒng)一內(nèi)容管理，既保證安全接入，同時又可實現(xiàn)移動設備統(tǒng)一管理。

3.2 雙活數(shù)據(jù)中心

大數(shù)據(jù)時代，數(shù)據(jù)已成為企業(yè)和機構最為重要的資產(chǎn)。數(shù)據(jù)的安全，應用的連續(xù)性成為企業(yè)運營的關鍵，主要解決如下問題：

業(yè)務連續(xù)性：業(yè)務無法無縫遷移；生產(chǎn)服務器出現(xiàn)宕機或者出現(xiàn)數(shù)據(jù)丟失狀況時，業(yè)務連續(xù)性難以保證。RPO（恢復點目標）和RTO（恢復時間目標）無法達到預期目標。

異構存儲管理難題：大量異構的存儲設備和管理系統(tǒng)無法兼容，造成管理難題；系統(tǒng)擴展時，現(xiàn)有資源無法利舊，造成資源浪費。

性能瓶頸：應用集中和數(shù)據(jù)量增加導致出現(xiàn)存儲性能瓶頸，影響業(yè)務體驗。

基于存儲虛擬化網(wǎng)關的雙活數(shù)據(jù)中心解決方案是定位于高性能、高可用的存儲解決方案。該方案可實現(xiàn)在任意存儲節(jié)點及存儲虛擬化網(wǎng)關節(jié)點出現(xiàn)故障時，保證業(yè)務系統(tǒng)的數(shù)據(jù)安全性和業(yè)務連續(xù)性；混合存儲池及虛擬卷精簡配置功能可滿足大數(shù)據(jù)環(huán)境下在線增加容量和存儲節(jié)點以及在線維護、維修以及更換存儲陣列的需求。分布式的雙向雙活存儲虛擬化鏡像技術實現(xiàn)多節(jié)點存儲集群負載均衡，以滿足私有云及公有云環(huán)境存儲大I/O 和冗余的需求。

系統(tǒng)采用Browser/Application server/DB Server 三層軟件體系結構，即“前端HTTP 服務器--應用服務器--數(shù)據(jù)庫服務器”模式，其中前端HTTP 服務器負責做靜態(tài)內(nèi)容服務和流量分發(fā)，將動態(tài)請求轉(zhuǎn)移到后面的應用服務器Tomcat 上。這樣的架構的優(yōu)點是具有良好的線性擴展能力，當訪問流量繼續(xù)擴大時能夠方便的進行擴展。如果前面的http 請求過大，可增加http 服務器，若業(yè)務處理能力不足時，可將擴大Tomcat 集群服務器數(shù)量；另一方面，可以增強內(nèi)部應用和內(nèi)部網(wǎng)絡的安全性。

3.3 HTTP服務

一般情況下，一個網(wǎng)頁會產(chǎn)生3-20 個并發(fā)連接，如果我們使用應用中間件直接作為HTTP 服務器，會導致并發(fā)連接方面效率較差，容易存在性能瓶頸。

為此系統(tǒng)將專門使用Nginx 來負責靜態(tài)頁面，圖片及flash 等的發(fā)布。Nginx 是一個高性能的 HTTP 和反向代理服務器，在高連接并發(fā)的情況下，Nginx 是目前頂尖的軟件平臺之一，能夠支持高達 50,000 個并發(fā)連接數(shù)的響應。采用Nginx 技術可以提高靜態(tài)內(nèi)容發(fā)布效率，縮短靜態(tài)內(nèi)容訪問時間，也減少了應用中間件線程的占用。在靜態(tài)化頁面的基礎上又大大的提高系統(tǒng)的可用性能。

4 系統(tǒng)性能優(yōu)化

4.1 分布式技術應用

4.1.1 分布式緩存技術

使用緩存技術的目的是為了提高數(shù)據(jù)利用率和檢索效率。設想如果每次讀取數(shù)據(jù)都去訪問數(shù)據(jù)庫，對數(shù)據(jù)庫服務器的磁盤IO 的壓力是很大的，尤其是高并發(fā)系統(tǒng)，如果不借用緩存技術，系統(tǒng)將會無法上線運行。

使用緩存技術，就不需要頻繁地訪問存儲在內(nèi)存或硬盤中的數(shù)據(jù)。當讀取數(shù)據(jù)時，將結果放在緩存中，下次可以直接訪問緩存，從而帶來系統(tǒng)性能的提升。

4.1.2 負載均衡技術

負載均衡技術的應用主要解決網(wǎng)絡擁塞問題、為用戶提供更好的訪問質(zhì)量、提高服務器響應速度及提高服務器及其他資源的利用效率。

網(wǎng)絡負載平衡允許傳入的請求傳播到最多達32臺的服務器上，即可以使用最多32 臺服務器共同分擔對外的網(wǎng)絡請求服務。網(wǎng)絡負載平衡技術保證即使是在負載很重的情況下它們也能作出快速響應。如果網(wǎng)絡負載平衡中的一臺或幾臺服務器不可用時，服務不會中斷。網(wǎng)絡負載平衡自動檢測到服務器不可用時，能夠迅速在剩余的服務器中重新指派客戶機通訊。此保護措施能夠為關鍵的業(yè)務程序提供不中斷的服務。

4.2 AJAX局部更新

Ajax 的主要優(yōu)勢是異步刷新，從而減少了用戶等待時間，同時局部刷新技術給Web 頁面帶來的變化有：頁面版式更加豐富、版塊化更加明顯、結構更加復雜，從而使得Web 頁面能夠承載更多的內(nèi)容。Ajax 和其他技術的結合能夠使前端更加豐富，即所謂的富客戶端，結合JS 可以設計出如QQ 空間之類的復雜豐富的頁面，結合Comet 技術可以實現(xiàn)微博的主動推送功能。

Ajax 前端設計時，也需要考慮以下因素：

（1）Ajax 請求的數(shù)據(jù)量不宜過大；

（2）對頁面的刷新面積根據(jù)實際情況設定；

（3）盡量少的alert 提示信息；

（4）一定的容錯機制使得頁面在請求失敗的時候不至于變形過于嚴重；

（5）適當?shù)臄?shù)據(jù)緩存機制等。

4.3 預加載技術

WEB 應用程序區(qū)別于桌面應用程序，響應速度才是最好的用戶體驗。如果想要速度與優(yōu)雅兼得，那就必須提前獲得圖片尺寸，如何在圖片沒有加載完畢就能獲取圖片尺寸。

瀏覽器在加載圖片的時候，圖片會先占用一塊地然后才慢慢加載完畢，并且這里大部分的圖片都是沒有預設width 與height 屬性的。因為瀏覽器能夠獲取圖片的頭部數(shù)據(jù)，基于此，只需要使用javascript 定時偵測圖片的尺寸狀態(tài)便可得知圖片尺寸就緒的狀態(tài)。

5 安全保密設計

5.1 應用系統(tǒng)安全

5.1.1 基于資源的訪問

在程序設計過程中，我們根據(jù)用戶的具體業(yè)務，利用基于資源的訪問的思路，將權限控制到字段級別，控制頁面上的所有域可以根據(jù)用戶不同，而具備不同的權限，例如：審核意見欄只能審核人填寫，其他人只能瀏覽。

5.1.2 崗位與角色安全設計

從權限管理模型上看，目前實際應用中比較常見的模型還是基于角色的權限管理模型（RBAC），其基本思想是根據(jù)工作中的職能崗位劃分出不同角色，將系統(tǒng)資源的訪問權限附加到角色上，并為用戶分配相應的角色，從而實現(xiàn)對用戶訪問資源的控制。如圖1所示。

基于角色的訪問控制方法是目前公認的解決大型系統(tǒng)的統(tǒng)一資源訪問控制的有效方法。其顯著的兩大特征是：

（1）減小授權管理的復雜性，降低管理開銷；

（2）靈活地支持系統(tǒng)的安全策略，并對管理要求的變化有很大的伸縮性。

在應用安全的設計中將應用系統(tǒng)的權限按照用戶的工作崗位、行政職務等要素分為系統(tǒng)權限、數(shù)據(jù)權限、系統(tǒng)角色。通過這種設計將應用系統(tǒng)的使用權與數(shù)據(jù)的所有權、訪問權分割開來，以確保各工作崗位的用戶之間、相同工作崗位的用戶之間能夠按部就班、各行其職，在信息高度共享和信息高度保密工作上能夠達到收發(fā)自如的控制、管理。

圖1：基于角色的訪問控制模型

5.2 數(shù)據(jù)安全

雖然本項目采用雙活數(shù)據(jù)中心設計，考慮了數(shù)據(jù)和系統(tǒng)的備份，但也要采取離線存儲的備份措施。由于運行環(huán)境和使用過程中出現(xiàn)的各種故障，使整個數(shù)據(jù)的完整性和許多因素相關，主要包括計算機本身軟硬件的故障，使用過程中的誤操作和各種計算機病毒的破壞，還有各種不可預測的自然因素也會造成數(shù)據(jù)的損壞和丟失。所以制定合理的備份方案十分必要。

目前系統(tǒng)數(shù)據(jù)庫的備份方案主要有如下兩種：

第一種為物理備份，該方法實現(xiàn)數(shù)據(jù)庫的完整恢復，且需要大容量的外部存儲設備，例如磁帶庫；

第二種備份方案為邏輯備份，業(yè)務數(shù)據(jù)庫采用此種方案，此方法不需要數(shù)據(jù)庫運行在歸檔模式下，備份簡單。

數(shù)據(jù)備份策略擬建立一套容災備份系統(tǒng)，通過專業(yè)備份軟件，制定策略進行系統(tǒng)定期備份。周一到周六執(zhí)行增量備份，周日進行完全備份，保障系統(tǒng)的容災冗余，保護系統(tǒng)安全。

6 結束語

本文針對精準扶貧大數(shù)據(jù)管理系統(tǒng)，介紹了系統(tǒng)扶貧信息管理、數(shù)據(jù)審計、貧困分析、扶貧考評系統(tǒng)四大功能模塊，對云平臺的部署、性能優(yōu)化及安全保密設計進行詳細的闡述。下一步的工作將在進一步完善平臺頂層設計和功能的基礎上，積極與各級政府進行深入合作，建設市縣級特色服務平臺，提供更具個性化的服務，推動產(chǎn)業(yè)扶貧項目發(fā)展。