基于“眾包”的扶貧大數(shù)據(jù)采集方案研究

曹健，李達，蔡忠亮，余謙

(1.武漢智圖科技有限責(zé)任公司，湖北 武漢 430200； 2.武漢大學(xué)資源與環(huán)境科學(xué)學(xué)院，湖北 武漢 430079)

1 引 言

“眾包”的概念于2006年在美國被首次提及，是指通過整合計算機和互聯(lián)網(wǎng)上未知的大眾來完成機器單獨難以處理的任務(wù)，從2009年開始，眾包得到了各個領(lǐng)域的廣泛關(guān)注，包括人機交互、信息檢索、機器學(xué)習(xí)、數(shù)據(jù)庫、人工智能、計算機理論等，已經(jīng)逐漸成為一個新的研究熱點。隨著移動互聯(lián)技術(shù)的興起與流行，將眾包模式與移動互聯(lián)結(jié)合，應(yīng)用于空間要素的獲取和更新領(lǐng)域，通過公眾參與形式快速獲取熱點信息、更新地理要素，可以低成本、快速地提供翔實、高效地理信息數(shù)據(jù)來源。

為全面貫徹黨中央國務(wù)院和湖北省委省政府的重大戰(zhàn)略部署，湖北省測繪地理信息局主動服務(wù)精準扶貧大局，圍繞“精準”二字，突出精準定位，整合專業(yè)數(shù)據(jù)，積極提供基于地理信息技術(shù)的精準服務(wù)，于2015年編印完成《湖北省精準扶貧作戰(zhàn)地圖》，2016年與省扶貧開發(fā)辦公室簽訂精準扶貧戰(zhàn)略合作框架協(xié)議，共同完成全省約300萬貧困戶的“精準扶貧、導(dǎo)航到戶”地理信息采集任務(wù)，并列入2016年基礎(chǔ)測繪項目。

精準扶貧是21世紀國家提出的落實全面建成小康社會發(fā)展目標的重要一步，而精準扶貧的重要依據(jù)是全國范圍內(nèi)精準的貧困戶數(shù)據(jù)與信息的采集與統(tǒng)計。為快速響應(yīng)和落實國家關(guān)于精準扶貧工作中貧困戶信息采集建庫工作要求，傳統(tǒng)外業(yè)信息采集模式無法滿足空間定位與導(dǎo)航到戶的應(yīng)用需求，因此，探索基于移動測繪技術(shù)的現(xiàn)代信息化采集、生成與管理的新模式具有重要意義。而基于云和移動GIS技術(shù)，采用眾包模式的大眾參與式信息采集與專業(yè)人員審核生產(chǎn)管理的工作模式，克服了信息采集中采集目標及環(huán)境不了解、效率低下等問題，新模式可大大提高貧困戶信息采集、生產(chǎn)、管理的效率和質(zhì)量。

2 數(shù)據(jù)采集的現(xiàn)狀

(1)傳統(tǒng)數(shù)據(jù)采集方式

傳統(tǒng)的數(shù)據(jù)采集方式由專業(yè)的數(shù)據(jù)采集人員，依據(jù)測量儀器或者移動采集設(shè)備進行數(shù)據(jù)采集。采用這種數(shù)據(jù)采集模式，需要投入大量的專業(yè)的數(shù)據(jù)采集人員，效率較低、成本較高，湖北省精準扶貧大數(shù)據(jù)采集的任務(wù)是在較短的時間內(nèi)，完成約300萬貧困戶的基本信息、多媒體信息及精確地理數(shù)據(jù)的采集，采集任務(wù)重、內(nèi)容多、精度要求高、時間要求緊，貧困戶所處地區(qū)以山地地貌居多、分布較散，山高路險、交通條件較差，所以采用傳統(tǒng)的采集方式很難在規(guī)定的時間內(nèi)完成任務(wù)。

(2)“眾包”模式的采集方式

文獻[1]探討了基于眾包模式、采用移動互聯(lián)技術(shù)為主要手段的地理信息數(shù)據(jù)采集、更新流程機制與方式方法，文獻[2]提出基于眾包模式的POI數(shù)據(jù)采集思路，文獻[3]提出了一個基于移動計算技術(shù)的道路數(shù)據(jù)采集系統(tǒng)，文獻[4]提出了基于天地圖的POI數(shù)據(jù)采集思路，實現(xiàn)了POI數(shù)據(jù)的采集與動態(tài)更新，文獻[5]將眾包采集流程集成到災(zāi)害信息管理中，提高了災(zāi)害信息采集效率。文獻[6]介紹了基于Web平臺的志愿者地名地址數(shù)據(jù)采集方案，文獻[7]構(gòu)建了一個百度眾測數(shù)據(jù)標注子系統(tǒng)，降低了數(shù)據(jù)生產(chǎn)成本，文獻[8]利用眾包模式，將非特定社會大眾引入到農(nóng)業(yè)大數(shù)據(jù)采集中，能有效擴充數(shù)據(jù)采集隊伍。

“眾包”模式充分利用了人多力量大的特點，采用并發(fā)機制，來解決繁雜的任務(wù)。利用“大數(shù)據(jù)協(xié)同采集”的貧困戶地理信息采集模式，利用互聯(lián)網(wǎng)思維，發(fā)動全省各地數(shù)萬基層扶貧工作者，借助他們的地緣優(yōu)勢，利用他們的手機設(shè)備，突破數(shù)據(jù)采集在專業(yè)、地理、時間上的限制，完成采集任務(wù)，實現(xiàn)數(shù)據(jù)實時上傳，多用戶共同協(xié)作，對大數(shù)據(jù)的存儲、處理、分析、可視化等功能的實現(xiàn)有極大的幫助。

3 數(shù)據(jù)采集流程

圖1 數(shù)據(jù)采集流程圖

(1)扶貧大數(shù)據(jù)采集

無須額外采購移動采集設(shè)備，采集軟件直接安裝到基層扶貧工作者的手機中，通過簡單培訓(xùn)后即可進行扶貧數(shù)據(jù)的采集。到達貧困戶實地以后，進行貧困戶的定位并采集其位置信息、采集貧困戶的房屋照片等多媒體信息、錄入貧困戶的其他屬性信息并保存。

(2)數(shù)據(jù)傳輸

數(shù)據(jù)采集完成后，用戶可以將采集的數(shù)據(jù)傳輸至楚天云服務(wù)器，軟件提供兩種同步方式，即在線傳輸方式和無線傳輸方式：在網(wǎng)絡(luò)信號覆蓋地區(qū)，用戶可以直接將采集的數(shù)據(jù)傳輸至服務(wù)器；沒有網(wǎng)絡(luò)信號覆蓋的地區(qū)，用戶可以到有網(wǎng)絡(luò)覆蓋的地區(qū)利用網(wǎng)絡(luò)或者WiFi信號進行數(shù)據(jù)傳輸。鑒于楚天云在數(shù)據(jù)安全、效率的優(yōu)勢，本方案采用楚天云服務(wù)器。

(3)數(shù)據(jù)審核同步

數(shù)據(jù)管理人員依據(jù)事先制定的規(guī)則，對傳輸回來的數(shù)據(jù)進行各種檢查，通過審核的數(shù)據(jù)直接同步到扶貧大數(shù)據(jù)數(shù)據(jù)庫中，未通過采集的數(shù)據(jù)則返回移動采集人員處修改，直至符合數(shù)據(jù)質(zhì)量標準。

4 方案設(shè)計

4.1 總體架構(gòu)設(shè)計

基于云環(huán)境下扶貧大數(shù)據(jù)的協(xié)同采集和傳輸模式，實現(xiàn)對扶貧數(shù)據(jù)采集系統(tǒng)的總體架構(gòu)設(shè)計，如圖2所示，該架構(gòu)中，所有的業(yè)務(wù)邏輯轉(zhuǎn)移到了服務(wù)器端，僅在客戶端保留視圖層，完成顯示和交互任務(wù)，降低客戶端的復(fù)雜度和維護難度。客戶端不直接訪問數(shù)據(jù)庫，通過引入中間的業(yè)務(wù)邏輯，實現(xiàn)數(shù)據(jù)的分布處理，加強了平臺的伸縮性，減少數(shù)據(jù)庫服務(wù)器的負載。

圖2 軟件總體架構(gòu)圖

(1)數(shù)據(jù)服務(wù)層

包括基礎(chǔ)地理信息數(shù)據(jù)、扶貧專題數(shù)據(jù)等空間信息數(shù)據(jù)和其他的屬性數(shù)據(jù)，平臺根據(jù)業(yè)務(wù)需求定義數(shù)據(jù)結(jié)構(gòu)，選擇基礎(chǔ)數(shù)據(jù)源和服務(wù)。數(shù)據(jù)服務(wù)層可通過服務(wù)接口直接與客戶端交互，也可經(jīng)過服務(wù)器邏輯運算引擎，與其他關(guān)聯(lián)數(shù)據(jù)資料融合處理后，返回結(jié)果在客戶端展現(xiàn)。

(2)邏輯事務(wù)層

以Webservice方式公開的數(shù)據(jù)訪問接口，并通過Web服務(wù)器發(fā)布和管理各類接口方法，為移動終端訪問數(shù)據(jù)庫服務(wù)提供通道。主要由Web服務(wù)器、空間信息服務(wù)接口、服務(wù)器邏輯運算引擎組成，主要是響應(yīng)移動客戶端的各種請求和查詢操作，并調(diào)用相關(guān)的空間信息服務(wù)實現(xiàn)。

(3)通訊網(wǎng)絡(luò)層

提供業(yè)務(wù)邏輯層和終端展現(xiàn)層的數(shù)據(jù)交互媒介。業(yè)務(wù)邏輯層的訪問接口在網(wǎng)絡(luò)上發(fā)布，iOS、Android等移動終端借助3G/WIFI/GPRS等無線網(wǎng)絡(luò)與Webservice訪問接口進行通訊。

(4)終端展現(xiàn)層

提供最終的人機交互界面，將業(yè)務(wù)邏輯層提供的各類數(shù)據(jù)進行最終的展現(xiàn)，終端設(shè)備采用移動智能設(shè)備，進行扶貧數(shù)據(jù)的采集、編輯、提交等；桌面端完成數(shù)據(jù)的檢查、同步，進行數(shù)據(jù)的統(tǒng)計分析等。

4.2 軟件功能設(shè)計

基于精準扶貧信息化的需求，實現(xiàn)了貧困戶信息精準采集、快速編輯、直觀可視化、核查巡檢導(dǎo)航到戶等功能，包含四個模塊：導(dǎo)航到戶模塊、信息采集模塊、數(shù)據(jù)管理模塊和統(tǒng)計應(yīng)用模塊，主要功能如圖3所示。

圖3 軟件功能圖

導(dǎo)航到戶模塊和信息采集模塊包含在移動端的扶貧數(shù)據(jù)采集軟件中，數(shù)據(jù)管理模塊和統(tǒng)計應(yīng)用模塊包含在扶貧桌面應(yīng)用中。扶貧數(shù)據(jù)采集軟件分為安卓版和蘋果版，分別基于ArcGIS API for JavaScript和ArcGIS API for iOS進行開發(fā)，鑒于天地圖數(shù)據(jù)在不發(fā)達地區(qū)的數(shù)據(jù)優(yōu)勢，數(shù)據(jù)采集的底圖調(diào)用天地圖的數(shù)據(jù)服務(wù)。實現(xiàn)了查詢、信息展示、定位、導(dǎo)航等功能。在信息采集模塊中，為防止采集人員偽造數(shù)據(jù)，采集軟件開發(fā)了保存貧困戶空間位置和采集人員運動軌跡的功能，實現(xiàn)了貧困戶各類信息的采集與錄入，并根據(jù)當時的網(wǎng)絡(luò)條件通過在線或離線的方式將數(shù)據(jù)上傳至楚天云服務(wù)器中。

數(shù)據(jù)管理模塊和統(tǒng)計應(yīng)用模塊包含在桌面端應(yīng)用系統(tǒng)中，數(shù)據(jù)管理模塊完成數(shù)據(jù)的下載、審核等功能，并將通過審核的數(shù)據(jù)同步到精準扶貧大數(shù)據(jù)庫中，審核未通過的數(shù)據(jù)返回移動采集端進行重新采集。統(tǒng)計應(yīng)用模塊包含統(tǒng)計圖表、專題圖表制作和打印等功能。

5 實踐與結(jié)論

通過基于眾包的數(shù)據(jù)采集模式，開發(fā)了iOS和Android版的扶貧數(shù)據(jù)采集軟件，軟件的部分效果如圖4所示：

圖4 軟件效果圖

采集軟件廣泛應(yīng)用于湖北省13個市州、98個縣市區(qū)扶貧辦， 1 131個鄉(xiāng)鎮(zhèn)、 25 763個村的扶貧工作人員，完成了300萬精準扶貧貧困戶的數(shù)據(jù)采集、檢查、校正、入庫工作。通過政府領(lǐng)導(dǎo)下的廣大基層扶貧工作人員作為志愿者進行扶貧地理信息采集與更新，圓滿完成了湖北省政府下達的數(shù)據(jù)采集任務(wù)，突破了數(shù)據(jù)采集在專業(yè)、地理、時間上的限制，減少專業(yè)人員的采集成本，提高了信息采集的效率，并完成采集數(shù)據(jù)的實時同步更新。該采集模式不僅在工期、花費上占優(yōu)，且外業(yè)采集只需要一般工作人員經(jīng)過簡單培訓(xùn)，使用智能手機即可，不需要專業(yè)人員和專業(yè)設(shè)備，作業(yè)流程簡單，解決了短時間內(nèi)難以組織大量的專業(yè)技術(shù)人員的問題。依據(jù)項目經(jīng)驗，每個市同時開展，在全面開始采集時，單日采集人員可達到 1 000多采集人員，單日信息上傳峰值超過8萬條，相對于傳統(tǒng)的數(shù)據(jù)采集模式，提高采集效率約十倍，驗證了軟件系統(tǒng)的穩(wěn)定性和方案的可行性，基于眾包的數(shù)據(jù)采集模式可以在類似數(shù)據(jù)采集任務(wù)中進行推廣。