土壤調(diào)查成果制圖軟件設(shè)計與實(shí)現(xiàn)*

車紫進(jìn)，李會賓，賈 曲，宋佳運(yùn)，史 云

（中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)資源與農(nóng)業(yè)區(qū)劃研究所）

0 引言

在全國第三次土壤普查任務(wù)有序開展的背景下，根據(jù)廳級會議要求及相關(guān)文件《第三次全國土壤普查試點(diǎn)縣成果清單及方法》，各省級單位以及縣域級單位均需要根據(jù)三普采集樣點(diǎn)成果清單進(jìn)行成果提交，其中包含數(shù)據(jù)成果，數(shù)字化圖件成果，文字成果，數(shù)據(jù)庫成果，樣品庫成果。

其中數(shù)據(jù)成果與樣品庫是隨樣點(diǎn)采集過程自動形成，數(shù)據(jù)庫成果是其他成果的數(shù)字化匯總，唯獨(dú)數(shù)字圖件成果的制作在基礎(chǔ)數(shù)據(jù)完備的基礎(chǔ)上還需要土壤學(xué)背景專家支撐和專業(yè)GIS 軟件的輔助才能產(chǎn)出，是眾多成果中得到性最困難的，偏偏這部分成果的質(zhì)量好壞直接決定著“土壤家底的普查”的效果，又是最重要的。

目前根據(jù)與實(shí)際用戶的訪談對接材料，發(fā)現(xiàn)在省級和縣域級兩級單位里存在這樣問題：縣域級缺少專家資源和財力，客觀上無法在規(guī)定時間內(nèi)完成數(shù)字成果產(chǎn)出，而省級雖然有農(nóng)科院等專家支持，但是制圖的效率是有限的，無法滿足大量的縣域要求。因此，需要一套流水線化的工具軟件，來提高制圖效率，降低使用門檻，同時，保證軟件能夠支持多人協(xié)同，在保證數(shù)據(jù)安全的前提下，進(jìn)行便捷地數(shù)據(jù)共享，有效助力采樣數(shù)據(jù)的成果產(chǎn)出。

土壤調(diào)查通常包括調(diào)查方案設(shè)計、土壤采樣、土壤理化性狀觀測與分析、結(jié)果表達(dá)四部分內(nèi)容，四部分工作內(nèi)容中均涉及到方法問題。對于土壤調(diào)查，經(jīng)過長期探索和實(shí)踐，許多國家已經(jīng)建立了規(guī)范性方法，以工作手冊或國標(biāo)形式對調(diào)查方案設(shè)計、土壤采樣、土壤理化性狀觀測與分析方法、結(jié)果表達(dá)進(jìn)行了規(guī)范［1-2］。近年來隨著計算機(jī)技術(shù)的發(fā)展，在土壤調(diào)查過程中逐步以數(shù)字土壤制圖的方法替代人工綜合判圖和繪圖［3-4］。

數(shù)字土壤制圖包括4個環(huán)節(jié)［5］：環(huán)境協(xié)同變量信息的生成，樣點(diǎn)數(shù)據(jù)的獲取，制圖模型和方法的建立，土壤（調(diào)查）制圖及驗(yàn)證。在4個環(huán)節(jié)中：①環(huán)境協(xié)同變量信息生成環(huán)節(jié)的效率瓶頸在于數(shù)據(jù)的清洗與準(zhǔn)備，這個過程由于過于靈活，且面對的情況十分具體，尚無流程固化的可能；②樣點(diǎn)數(shù)據(jù)的獲取過程傳統(tǒng)方式是通過文件交換，典型的有shapefile 文件，csv 文件，geopackage 文件等，在這個過程中可以通過網(wǎng)絡(luò)接口同步的方式，提高數(shù)據(jù)交換的效率；③制圖模型和方法的建立，這個環(huán)節(jié)需要較多的參數(shù)配置，且操作步驟繁瑣，不僅對制圖人員有較高的要求，而且往往也是效率瓶頸，因此如果能將計算參數(shù)固化和操作步驟原子化，理論上能夠節(jié)約參數(shù)和計算流程配置的時間，從而提高制圖效率［6］；④土壤（調(diào)查）制圖及驗(yàn)證也是一個必不可少的環(huán)節(jié)，在這個環(huán)節(jié)中，自動地進(jìn)行計算結(jié)果的可視化，能夠便于制圖人員做結(jié)果確認(rèn)和校準(zhǔn)，從這個角度來說，也能夠?qū)φw制圖效率起到提升作用。

土壤推理制圖是以數(shù)學(xué)方法和空間分析為手段，利用土壤屬性的空間自相關(guān)性和土壤-環(huán)境協(xié)變量關(guān)系，將點(diǎn)映射至面以體現(xiàn)土壤空間分布特征和規(guī)律的過程［7］。盡管大尺度數(shù)字土壤制圖更多地借助于土壤近地傳感、土壤光譜和衛(wèi)星遙感技術(shù)，但野外采樣點(diǎn)仍是至關(guān)重要的數(shù)據(jù)源。土壤樣點(diǎn)的數(shù)量和布設(shè)規(guī)則將影響土壤空間推理模型的選擇［8］。

數(shù)字土壤制圖涉及比較復(fù)雜的土壤推測模型及數(shù)據(jù)準(zhǔn)備過程，用戶實(shí)際應(yīng)用時通常需要借助特定的工具軟件，根據(jù)其適用范圍可將數(shù)字土壤制圖軟件分為兩類。①通用的地統(tǒng)計軟件工具，如Gstat，ArcGIS Geostatistical Analyst，GS plus等，這類軟件是面向?qū)I(yè)的地理信息系統(tǒng)分析人員設(shè)計和研發(fā)的，具有功能全面，強(qiáng)大的特點(diǎn)，如ArcGIS分析軟件有500多個分析工具，并且支持使用python等語言進(jìn)行定制化二次開發(fā)，能完成復(fù)雜的地理信息系統(tǒng)分析與制圖需求。②專門用于數(shù)字土壤制圖的軟件，如FuzME，SoLIM Solutions，ArcSIE，TAL等，這類軟件一般采用桌面端單機(jī)軟件的設(shè)計方式，具有一定的定制化特點(diǎn)，但是面向用戶對象仍然是以領(lǐng)域?qū)＜覟橹?，同樣具有很高的使用和學(xué)習(xí)成本［9］。

基于以上分析可以得出結(jié)論，已有的基于ArcGIS等專業(yè)的地理信息系統(tǒng)軟件的制圖方法具有專業(yè)性強(qiáng)、精度高、速度慢、效率低的特點(diǎn)，建模過程主要依賴于用戶專業(yè)知識，導(dǎo)致非專家用戶難以完成；軟件的實(shí)現(xiàn)通常為單機(jī)版，用戶安裝配置較為繁瑣，且算法庫不易擴(kuò)展，難以對固化算法有針對性地改進(jìn)，而定制化開發(fā)軟件又普遍缺少標(biāo)準(zhǔn)規(guī)范和工程化管理，無法滿足廣泛區(qū)域的土壤制圖能力，尚缺少一款針對土壤調(diào)查數(shù)據(jù)且能夠便捷部署，高效使用的制圖軟件系統(tǒng)。因此該文基于容器化技術(shù)、前后同構(gòu)技術(shù)和WebGIS相關(guān)技術(shù)，開發(fā)高精度、自主可控的土壤調(diào)查成果制圖軟件，用于實(shí)現(xiàn)土壤調(diào)查成果的高效制圖。

1 系統(tǒng)構(gòu)建方法

該文中的制圖軟件需要滿足兩方面需求：①降低制圖工作門檻，將圖件成果的產(chǎn)出“流水線”化，只需投入操作員，按照流水線流程準(zhǔn)備好相關(guān)數(shù)據(jù)，按部就班執(zhí)行，就能夠得到經(jīng)過驗(yàn)證的規(guī)范制圖成果；②提高制圖效率，分析制圖效率低的環(huán)節(jié)，有針對性地進(jìn)行優(yōu)化，固化計算流程和計算參數(shù)，能夠顯著提高制圖效率。

基于樣點(diǎn)的土壤制圖方法，大致可概括為利用土壤—環(huán)境因子關(guān)系和土壤屬性空間自相關(guān)性推測區(qū)域土壤的空間分布。利用土壤—環(huán)境因子關(guān)系進(jìn)行制圖主要利用機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘和數(shù)學(xué)模型等方法挖掘土壤屬性與環(huán)境協(xié)變量的關(guān)系知識作為制圖依據(jù)，利用土壤屬性空間自相關(guān)性推測區(qū)域土壤的空間分布進(jìn)行制圖則利用給定的一組離散土壤樣點(diǎn)建立目標(biāo)屬性的空間自相關(guān)模型，通過空間插值模型，如趨勢面分析、克里金插值、樣條函數(shù)、反距離加權(quán)法和最鄰近法等制圖。以上兩者結(jié)合的制圖法同時考慮了土壤屬性的空間自相關(guān)特征和土壤與環(huán)境因子的關(guān)系，主要方法包括回歸克里金插值、協(xié)同克里金插值和地理加權(quán)回歸模型［10］。從模型的精度角度分析，土壤—環(huán)境模型制圖法相對普通克里金法和線性回歸模型更有效，回歸克里金法能有效結(jié)合土壤—環(huán)境模型法和空間插值的優(yōu)勢，制度精度優(yōu)于普通克里金法?；谕寥馈h(huán)境因子間線性或非線性假設(shè)，近年來，廣泛使用的方法包括線性回歸模型、隨機(jī)森林、決策樹和人工神經(jīng)網(wǎng)絡(luò)模型等，這些模型的描述能力較低統(tǒng)計學(xué)方式更強(qiáng)，對于大量的樣點(diǎn)數(shù)據(jù)具有很好的擬合效果［11］。文章中的土壤調(diào)查成果制圖軟件，基于python與typescript開發(fā)語言，對以上算法模型進(jìn)行了重構(gòu)實(shí)現(xiàn)，目的是能從更細(xì)粒度上把握算法執(zhí)行細(xì)節(jié)，從而優(yōu)化算法計算效率。

土壤調(diào)查成果制圖軟件的總體技術(shù)路線是在計算參數(shù)庫、過程庫和結(jié)果庫基礎(chǔ)上，采用矢量數(shù)據(jù)讀寫，公式計算，矢量與柵格互轉(zhuǎn)化與結(jié)果可視化等技術(shù)步驟，進(jìn)行土壤調(diào)查成果的分析與制圖，形成一系列能夠反映土壤質(zhì)量，適宜性，肥力，物理與化學(xué)屬性，障礙因素等信息的成果，整體技術(shù)路線圖如圖1所示。

圖1 整體技術(shù)路線Fig.1 Technical route

2 系統(tǒng)實(shí)現(xiàn)

2.1 系統(tǒng)功能設(shè)計

該軟件包含“土壤屬性制圖模塊”“土壤質(zhì)量評價模塊”“農(nóng)業(yè)利用適宜性評價模塊”“土壤肥力評價模塊”，等能夠獨(dú)立工作的功能模塊，并且針對單一屬性插值類型成果，集成改造了跨平臺高效率算法（反比例加權(quán)，克里格插值，隨機(jī)森林），研發(fā)形成了可獨(dú)立部署的軟件制圖工具，滿足“土壤類型圖”“土壤屬性圖”“土壤障礙圖”“土壤酸化圖”“土壤鹽堿地圖”圖件的制作，研發(fā)形成了組合性數(shù)據(jù)分析與制圖總體系統(tǒng)，集成各個工具，形成總體系統(tǒng)平臺產(chǎn)品，達(dá)到組合后的系統(tǒng)產(chǎn)品能夠全面滿足制圖成果的產(chǎn)出，各個功能模塊單獨(dú)部署也能夠獨(dú)立完成某種特定圖件制作，從而有效提高制圖效率，系統(tǒng)的功能邏輯架構(gòu)如圖2所示。

圖 2 功能邏輯架構(gòu)Fig.2 Functional logic architecture

2.2 系統(tǒng)實(shí)現(xiàn)關(guān)鍵環(huán)節(jié)

2.2.1 核心算法實(shí)現(xiàn)

系統(tǒng)實(shí)現(xiàn)的關(guān)鍵環(huán)節(jié)之一是核心算法的實(shí)現(xiàn)，目前在土壤調(diào)查采樣制圖領(lǐng)域內(nèi)，最經(jīng)典的插值算法是反距離加權(quán)算法，該算法基于相近相似原理，其數(shù)學(xué)表示如下，反距離加權(quán)算法具有計算簡單，易于理解解釋的優(yōu)點(diǎn)，但是其插值運(yùn)算的方式會導(dǎo)致插值結(jié)果一般會圍繞著采樣點(diǎn)附近出現(xiàn)劇烈的數(shù)值突變，連續(xù)性較差，適用于洋點(diǎn)數(shù)量多且密集的采樣情況［12］。

式（1）中，z0為某空間點(diǎn)上的插值結(jié)果，D為該空間點(diǎn)與第i個樣點(diǎn)的距離，p為距離系數(shù)，n為樣點(diǎn)個數(shù)；式（2）中x0與y0分別為某空間點(diǎn)在笛卡爾空間坐標(biāo)系中的位置坐標(biāo)，xi與yi分別是第i個樣點(diǎn)在笛卡爾空間坐標(biāo)系中的位置坐標(biāo)

在此基礎(chǔ)上，基于地統(tǒng)計學(xué)的克里格系列算法能夠克服插值結(jié)果波動的問題，克里格插值算法是一種空間局部插值法，是以變異函數(shù)理論及其結(jié)構(gòu)分析為基礎(chǔ)，在有限區(qū)域內(nèi)對區(qū)域化變量進(jìn)行線性無偏最優(yōu)估計的一種方法，其插值結(jié)果更加平滑，其核心原理的數(shù)學(xué)表示如下。

式（3）中，z0為某空間點(diǎn)上的插值結(jié)果，λi為第i個樣點(diǎn)的計算權(quán)重，zi為第i個樣點(diǎn)的觀測值，n為樣點(diǎn)個數(shù)；式（4）中，r為變異函數(shù)，λi為樣點(diǎn)權(quán)重，Φ為計算常數(shù)項。

克里格算法已經(jīng)能夠較好的擬合采樣結(jié)果，然而隨著機(jī)器學(xué)習(xí)算法的發(fā)展，描述能力更強(qiáng)的算法模型如隨機(jī)森林算法，在樣點(diǎn)插值回歸任務(wù)中也有了更好的表現(xiàn)，隨機(jī)森林的本質(zhì)是一種集成學(xué)習(xí)算法，是對原始數(shù)據(jù)進(jìn)行S次等概率的有放回抽樣得到的和原數(shù)據(jù)集大小相等的S個新的數(shù)據(jù)集集合，再將某個學(xué)習(xí)算法作用于這S個數(shù)據(jù)集得到S個分類器，綜合這S個分類器進(jìn)行投票決策即可得到最終的分類或回歸的結(jié)果，其核心原理的數(shù)學(xué)表示如下［13］。

式（5）中，H代表目標(biāo)分類器函數(shù)，T代表訓(xùn)練總次數(shù)，ht代表第t次訓(xùn)練的分類回歸決策器函數(shù)，y代表樣點(diǎn)的觀測值。

系統(tǒng)采用了python開發(fā)語言實(shí)現(xiàn)了以上3種算法，并通過docker容器化方案進(jìn)行了算法之間的依賴隔離，最后通過node.js 構(gòu)建了算法的服務(wù)化接口用于基于HTTP/HTTPS 傳輸協(xié)議的算法調(diào)用。3 種算法為插值回歸的基礎(chǔ)，能夠支撐多種土壤數(shù)據(jù)制圖場景的開發(fā)。

2.2.2 可視化技術(shù)方案

為了能夠直觀地得到評價的可視化結(jié)果，需要有一套技術(shù)流程支持?jǐn)?shù)據(jù)的計算，服務(wù)化，渲染，著色和最終呈現(xiàn)，技術(shù)路線圖如圖3所示。

圖3 成果可視化技術(shù)路線Fig.3 Results visualization technology route

2.2.3 成果報告設(shè)計

為了讓軟件產(chǎn)出的分析成果報告能夠在不同的數(shù)據(jù)使用場景中起到助力作用，讓使用者能夠利用多種GIS數(shù)據(jù)分析軟件進(jìn)行數(shù)據(jù)分析，軟件設(shè)計了4種數(shù)據(jù)產(chǎn)出成果：①可視化結(jié)果，利用軟件自帶的渲染與數(shù)據(jù)處理引擎直觀地可視化數(shù)據(jù)成果，支持自動與自定義兩種區(qū)間著色方式，并能夠通過監(jiān)聽鼠標(biāo)在地圖上的點(diǎn)擊事件，獲得某個評價單元上的綜合評分信息；②技術(shù)報告，將評價過程所有中間參數(shù)存儲下來，以技術(shù)報告形式展現(xiàn)出來，保證評價結(jié)果具有重放性；③綜合報告，是綜合評價過程中軟件系統(tǒng)錄入的信息，顯示可編輯的結(jié)果報告，用于提高工具使用者的報告撰寫效率；④以標(biāo)準(zhǔn)的數(shù)據(jù)共享格式存儲的原始數(shù)據(jù)以及計算結(jié)果數(shù)據(jù)，用于數(shù)據(jù)存檔以及與其他系統(tǒng)進(jìn)行數(shù)據(jù)交換。

2.3 系統(tǒng)測試

“土壤調(diào)查成果制圖軟件”采用黑盒測試中等價類劃分，邊界值分析，錯誤推測等測試方法，分別通過了功能性測試，可靠性測試，易用性測試及用戶界面測試，在軟件的安全性，兼容性方面均得到了充分地測試和驗(yàn)證。

3 結(jié)論與討論

土壤調(diào)查成果制圖軟件能夠提高土壤調(diào)查數(shù)據(jù)分析與成果圖產(chǎn)出的效率，本文的設(shè)計與實(shí)現(xiàn)表明：①土壤調(diào)查成果制圖具有統(tǒng)一的模式，可以通過“插值回歸—數(shù)據(jù)計算—渲染分析”3個環(huán)節(jié)統(tǒng)一描述。②土壤調(diào)查成果軟件能夠針對以上3個環(huán)節(jié)，通過固化計算過程的方式簡化數(shù)據(jù)計算與數(shù)據(jù)處理的鏈路，從而提高制圖過程的效率，降低軟件使用的成本，擴(kuò)大的軟件使用對象的范圍。

在“土壤調(diào)查成果制圖軟件”的開發(fā)中，主要應(yīng)用了3種關(guān)鍵技術(shù)：①基于虛擬化的算法依賴隔離技術(shù)，該技術(shù)解決了算法開發(fā)難以跨平臺和部署遷移困難的問題。②基于流處理的矢量與柵格文件讀寫技術(shù)，該技術(shù)解決了大文件讀寫時內(nèi)存容量限制的問題。③基于webgl的柵格數(shù)據(jù)渲染著色技術(shù)，該技術(shù)縮短了柵格數(shù)據(jù)服務(wù)化過程中樣式設(shè)置流程，解決了web應(yīng)用中柵格數(shù)據(jù)樣式更新的時效性問題。以上3種技術(shù)的組合成功地將算法及其執(zhí)行環(huán)境的封裝，大文件數(shù)據(jù)處理，和結(jié)果可視化3個維度統(tǒng)一組織起來，構(gòu)建出了該軟件的技術(shù)框架。

土壤調(diào)查成果制圖軟件研發(fā)過程中沉淀的關(guān)鍵技術(shù)在智慧農(nóng)業(yè)的其他應(yīng)用場景下均具有很強(qiáng)的應(yīng)用潛力：①基于虛擬化的算法依賴隔離技術(shù)，該技術(shù)能夠支撐多源算法的管理。②基于流處理的矢量與柵格文件讀寫技術(shù)，該技術(shù)能夠支撐多種GIS 數(shù)據(jù)處理自動化流程的研發(fā)。③基于webgl的柵格數(shù)據(jù)渲染著色技術(shù)，該技術(shù)能夠支撐不同的數(shù)據(jù)可視化模塊的研發(fā)。