人機協(xié)同的自然資源要素智能提取方法

張繼賢，李海濤，顧海燕，張 鶴，楊 懿，譚相瑞，李 淼，沈 晶

1.國家測繪產(chǎn)品質(zhì)量檢驗測試中心，北京 100830；2.中國測繪科學(xué)研究院，北京 100830

為加快建立自然資源統(tǒng)一調(diào)查、評價、監(jiān)測制度，健全自然資源監(jiān)管體制，切實履行自然資源統(tǒng)一調(diào)查監(jiān)測職責(zé)，2020年初，國家發(fā)布了《自然資源調(diào)查監(jiān)測體系構(gòu)建總體方案》，明確了自然資源調(diào)查監(jiān)測的總體目標(biāo)、工作任務(wù)、業(yè)務(wù)體系建設(shè)內(nèi)容，提出開展自然資源統(tǒng)一調(diào)查監(jiān)測，查清我國土地、礦產(chǎn)、森林、草原、水、濕地、海域海島等各類自然資源家底和變化情況，為科學(xué)編制國土空間規(guī)劃，逐步實現(xiàn)山水林田湖草的整體保護、系統(tǒng)修復(fù)和綜合治理，保障國家生態(tài)安全提供基礎(chǔ)支撐，為實現(xiàn)國家治理體系和治理能力現(xiàn)代化提供服務(wù)保障。方案同時指出，要實現(xiàn)對自然資源全要素、全流程、全覆蓋的現(xiàn)代化監(jiān)管，必須充分利用現(xiàn)代測量、信息網(wǎng)絡(luò)及空間探測等技術(shù)手段，構(gòu)建“天-空-地-網(wǎng)”為一體的自然資源調(diào)查監(jiān)測技術(shù)體系[1]。

基于遙感影像開展自然資源要素提取，是調(diào)查監(jiān)測工作中最基礎(chǔ)、應(yīng)用最普遍、投入工作量最大、技術(shù)難度最高的工作。目前主要依賴人海戰(zhàn)術(shù)、通過人機交互的目視解譯與外業(yè)逐圖斑核查的方法，勞動強度大、生產(chǎn)效率低、主觀因素多，已不能適應(yīng)新時代自然資源全要素、全流程、全覆蓋一體化調(diào)查監(jiān)測的新要求和自然資源自動化、智能化、精細化、實時化管理的需求[1]，迫切需要一種高效、智能、經(jīng)濟的工作方式。

因此，如何自動、高效地實現(xiàn)自然資源要素的提取已成為亟待解決的重大技術(shù)難題。近年來，隨著人工智能技術(shù)的快速發(fā)展，采用機器學(xué)習(xí)方法實現(xiàn)高分辨率遙感影像自動、快速、精確的解譯已經(jīng)成為主流的研究方向，主要包括全監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、弱監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和深度學(xué)習(xí)[2]，這些方法各有優(yōu)缺但距離實用尚有較大差距。例如，全監(jiān)督學(xué)習(xí)方法(支持向量機、決策樹、隨機森林等)需要強監(jiān)督信息，算法的性能多依賴于訓(xùn)練數(shù)據(jù)的標(biāo)注質(zhì)量，而高質(zhì)量的強監(jiān)督標(biāo)注數(shù)據(jù)難以獲取或代價高昂，且標(biāo)注數(shù)據(jù)需求量大，很難應(yīng)用于缺乏訓(xùn)練數(shù)據(jù)的任務(wù)；面向?qū)ο笠?guī)則集方法要求多源數(shù)據(jù)的支撐，對專家知識要求高，針對不同地區(qū)不同時相的影像，規(guī)則集需要根據(jù)具體情況進行調(diào)整，難以工程化應(yīng)用。深度學(xué)習(xí)方法缺乏嚴(yán)格的理論支撐，依賴大量高精度的樣本數(shù)據(jù)，從算法實現(xiàn)到工程化應(yīng)用還存在很大挑戰(zhàn)[2]。

人機協(xié)同是人工智能新階段的發(fā)展方向，人類和人工智能深度融合、協(xié)同共進，即將進入一個大集成、大變革的時代[3]。本文提出人機協(xié)同的自然資源要素智能提取方法，針對自然資源要素提取的復(fù)雜性，集成人類知識與機器智能，實現(xiàn)人類解譯知識的實時利用與機器智能提升，從而提升要素提取的效率、精度與自動化程度。

1 智能提取研究進展

從遙感影像信息提取的發(fā)展歷程來看，經(jīng)歷了人工目視判讀、半自動提取階段，隨著日新月異的遙感應(yīng)用需求、高分辨率遙感衛(wèi)星的發(fā)射、人工智能技術(shù)的發(fā)展，目前正在向自動化、智能化方向發(fā)展。以下從深度學(xué)習(xí)智能提取、人機協(xié)同智能兩個方面分析智能提取研究進展。

1.1 深度學(xué)習(xí)智能提取

近年來，深度學(xué)習(xí)以其海量數(shù)據(jù)的學(xué)習(xí)能力和高度的特征抽象能力，在遙感影像信息提取中表現(xiàn)出顯著優(yōu)勢，網(wǎng)絡(luò)模型朝著弱監(jiān)督方向發(fā)展、要素提取軟件朝著智能化方向發(fā)展。

1.1.1 網(wǎng)絡(luò)模型朝著弱監(jiān)督方向發(fā)展

典型的深度學(xué)習(xí)網(wǎng)絡(luò)模型包括堆棧自編碼機、深度信念網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和生成對抗網(wǎng)絡(luò)，往往根據(jù)遙感影像解譯應(yīng)用特點進行改進，雖然取得了較好的效果，但依賴大量高質(zhì)量的人工標(biāo)注數(shù)據(jù)，網(wǎng)絡(luò)模型復(fù)雜度高、可解釋性不強，容易出現(xiàn)局部最優(yōu)解或過擬合問題[3-5]。此外，遙感影像的多尺度、多波段、多時相等特征，限制了常規(guī)網(wǎng)絡(luò)模型的應(yīng)用。如何在少量有標(biāo)注數(shù)據(jù)的條件下實現(xiàn)要素智能提取成為熱點，很多學(xué)者針對數(shù)據(jù)依賴小的弱監(jiān)督方法開展研究，出現(xiàn)了小樣本學(xué)習(xí)、遷移學(xué)習(xí)、主動學(xué)習(xí)等方法。典型方法的特點見表1。

表1 弱監(jiān)督方法特點

1.1.2 要素提取軟件朝著智能化方向發(fā)展

伴隨著人工智能技術(shù)近年來的蓬勃發(fā)展和廣泛應(yīng)用，國內(nèi)外涌現(xiàn)出一批新興科技公司，相繼出現(xiàn)了系列智能提取軟件。這些軟件呈現(xiàn)如下特征：①集成“樣本采集、樣本管理、模型訓(xùn)練、模型管理、交互精編”深度學(xué)習(xí)智能解譯全流程，如吉威數(shù)源的SmartRS、中國測繪科學(xué)研究院的FeatureStation-AI。②提供基于深度學(xué)習(xí)的目標(biāo)檢測、要素提取、影像分類、變化檢測等云服務(wù)，能夠?qū)崿F(xiàn)大批量遙感影像的快速解譯，如阿里巴巴達摩院的AI Earth、商湯的SenseEarth。③提供多種深度學(xué)習(xí)模型及開源計算平臺，如微軟的AI for Earth、Google的GEE。軟件特點見表2。

表2 軟件特點

1.1.3 存在問題

雖然深度學(xué)習(xí)技術(shù)的興起與發(fā)展為自然資源要素智能提取技術(shù)進步創(chuàng)造了條件，但技術(shù)還不夠成熟，與實際應(yīng)用要求存在差距，不足以支撐在更大規(guī)模、更深層次應(yīng)用的發(fā)展，存在如下問題：①網(wǎng)絡(luò)模型復(fù)雜度高、可解釋性不強、超參數(shù)選擇多依賴于經(jīng)驗和技巧、訓(xùn)練耗時、計算量大、容易出現(xiàn)局部最優(yōu)解或過擬合現(xiàn)象；②依賴大量樣本，缺乏大規(guī)模標(biāo)簽數(shù)據(jù)、標(biāo)簽數(shù)據(jù)獲取成本高、人類知識未有效利用；③由于遙感影像觀測尺度大、場景復(fù)雜，現(xiàn)有網(wǎng)絡(luò)模型無法深入挖掘遙感影像蘊含的輻射、光譜及地物理化參數(shù)等信息。

因此，亟須面向自然資源要素提取應(yīng)用場景，在人工智能、大數(shù)據(jù)、云計算等新一代信息技術(shù)支撐下，研究新一代人工智能技術(shù)，提升自然資源要素提取自動化智能化水平與業(yè)務(wù)支撐能力。

1.2 人機協(xié)同智能提取

人機協(xié)同智能是人工智能發(fā)展的新階段，內(nèi)涵是人與機器協(xié)同配合，通過自動化技術(shù)讓大部分業(yè)務(wù)流程實現(xiàn)自動化，讓人類從重復(fù)枯燥的工作流程中解放出來，通過智能化技術(shù)補充和增強人的能力邊界，協(xié)助人類做出更精準(zhǔn)、更清晰和更理性的判斷，通過人類視覺感知及認知決策技術(shù)進行綜合判斷與驗證，反饋給機器進行自主學(xué)習(xí)，提升機器智能水平，形成閉環(huán)[13-15]。文獻[16]提出，計算機與人之間可以成為同事，人與機器做各自擅長的工作。文獻[17]首次正式提出了“人機系統(tǒng)”概念，強調(diào)在系統(tǒng)中人和機器發(fā)揮各自優(yōu)勢，相互合作，標(biāo)志著人機協(xié)同的正式提出。

人機協(xié)同已經(jīng)成為發(fā)達國家戰(zhàn)略計劃，德國2013年提出了工業(yè)4.0戰(zhàn)略，隨后美國提出了工業(yè)互聯(lián)網(wǎng)戰(zhàn)略，強調(diào)“智能工廠”和“智能生產(chǎn)”，實質(zhì)是利用人機協(xié)同技術(shù)實現(xiàn)信息化與自動化的高度集成[18]。2019年美國國家技術(shù)科學(xué)委員會發(fā)布的《國家人工智能研究和發(fā)展戰(zhàn)略計劃》中明確提出“開發(fā)有效的人工智能協(xié)作方法”的戰(zhàn)略，人與人工智能合作將成為改變生產(chǎn)模式的新趨勢[19]。國際計算社區(qū)聯(lián)盟(Computing Community Consortium)呼吁全社會加強人工智能和人類合作研究[20]。我國開始關(guān)注人機協(xié)同，《中國制造2025》《國家信息化發(fā)展戰(zhàn)略綱要》《新一代人工智能發(fā)展規(guī)劃》等戰(zhàn)略規(guī)劃中，人工智能、智能機器人、5G通信、航空航天裝備等重點攻關(guān)領(lǐng)域的關(guān)鍵技術(shù)創(chuàng)新和落地應(yīng)用，均需要用到高效、自然、智能的人機協(xié)同技術(shù)[21]。

人機協(xié)同在遙感信息提取領(lǐng)域具有應(yīng)用潛力，是要素提取智能化發(fā)展的主要驅(qū)動力?；舅悸肥峭ㄟ^人機協(xié)同技術(shù)把遙感數(shù)據(jù)處理與目視判讀、機器學(xué)習(xí)與專家知識、人腦與電腦的優(yōu)勢結(jié)合起來，電腦負責(zé)自動化處理，將處理結(jié)果推送給解譯人員，解譯人員根據(jù)經(jīng)驗和自動處理結(jié)果進行綜合判斷與確認，再將綜合決策結(jié)果反饋給電腦，使得系統(tǒng)被訓(xùn)練得更智能，解決問題的能力越來越強。

2 人機協(xié)同智能提取方法

2.1 自然資源要素特點

自然資源要素指以物質(zhì)形式存在、看得見、摸得著，可以實施調(diào)查、監(jiān)測和控制的自然資源實體。涵蓋陸地和海洋、地上和地下，包括土地、礦產(chǎn)、森林、草原、水、濕地、海域海島等，具有自然、經(jīng)濟、社會、生態(tài)、空間立體等多重基本屬性特征。

(1)具有多類型立體分布特征。從空間分布上看，《自然資源調(diào)查監(jiān)測體系構(gòu)建總體方案》提出自然資源的4個空間層，分別為地表覆蓋層、地表基質(zhì)層、地下資源層、管理層，體現(xiàn)出自然資源是占據(jù)一定空間位置和范圍，具有一定的外觀和形狀的復(fù)雜立方體；從要素類別看，自然資源要素包括濕地、耕地、林地、草地、工礦用地、住宅用地、交通運輸用地、水域與水利設(shè)施用地等，是一個龐大且相互關(guān)聯(lián)的生命共同體。針對自然資源調(diào)查監(jiān)測的目標(biāo)、對象、覆蓋面和頻率，需要集成人類知識與機器智能，按照分類分層提取思想，實現(xiàn)對自然資源要素的流水線精準(zhǔn)化提取。

(2)具有多時相多尺度時空結(jié)構(gòu)特征。山水林田湖草自然資源具有典型的時相結(jié)構(gòu)特征，不同季節(jié)不同時相，其特征變化比較大，需要根據(jù)多時相影像的特征進行要素的提取，從時間、空間、數(shù)量及質(zhì)量方面分析自然資源動態(tài)變化特征和未來發(fā)展趨勢[22]。同時，不同要素都有其特定的空間尺度，尺度選擇的不同，會導(dǎo)致對地表要素空間格局和過程及其相互作用規(guī)律不同程度的把握，影響要素提取的科學(xué)性和實用性，這就要求選擇合適的尺度來最優(yōu)反映地物目標(biāo)的空間分布結(jié)構(gòu)特征[23]。

(3)具有自然經(jīng)濟社會生態(tài)權(quán)屬多重屬性。自然資源之所以是資源，是因為其具有經(jīng)濟等多重屬性和價值。自然資源具有有效(用)性、有限性、稀缺性和區(qū)域性，不同類型自然資源本質(zhì)特點和相互之間的關(guān)聯(lián)性決定其時空分布的不均勻性及其稟賦特征。同時人類在開發(fā)、使用自然資源過程中融入社會勞動，又會對自然資源的本底特征和自然屬性施加影響，從而改變其時空結(jié)構(gòu)和質(zhì)量狀態(tài)，是其社會屬性的具體反映[24]。此外，權(quán)屬清晰、權(quán)責(zé)明確是自然資源資產(chǎn)管理和生態(tài)環(huán)境監(jiān)管的前提和基礎(chǔ)，自然資源不受人為劃定的行政界限或者權(quán)利界限影響，不會有明確的界限，從而在客觀上造成同一單元上存在多種自然資源類型，如高大樹木與高草重疊、高大樹木與低草重疊、成簇灌木與草重疊等，無法通過自動化的遙感信息提取手段確定權(quán)屬界限，需要結(jié)合勘測定界、高分辨率遙感影像等多源數(shù)據(jù)，利用人機協(xié)同方式確定權(quán)屬邊界。

2.2 人機協(xié)同智能提取技術(shù)框架

自然資源具有多類型立體分布特征、多時相多尺度時空結(jié)構(gòu)特征、自然經(jīng)濟社會生態(tài)權(quán)屬多重屬性，決定了單純依靠自動化手段難以滿足生產(chǎn)要求，需要順應(yīng)人工智能協(xié)作方法智能化發(fā)展新方向，從自然資源要素的特點出發(fā)，集成人類知識與機器智能，提升自然資源要素提取的效率與精度。

圖1為本文提出的“智能計算后臺+智能引擎+人機交互前臺”人機協(xié)同智能提取方法技術(shù)框架，后臺運用深度學(xué)習(xí)等方法進行智能計算，將自動提取結(jié)果通過智能引擎推送到前臺，前臺利用半自動提取、人機交互采集編輯技術(shù)手段進行人機交互式綜合判斷與驗證。這一方法通過人類與智能機器共同協(xié)作，利用自動化技術(shù)讓大部分業(yè)務(wù)流程實現(xiàn)自動化，利用人類視覺感知及認知決策技術(shù)進行綜合判斷與驗證，反饋給機器，提升機器智能水平，從而實現(xiàn)人的解譯知識的實時利用與機器智能提升，提升自然資源要素提取的自動化與智能化水平。

圖1 人機協(xié)同智能提取技術(shù)

智能計算后臺負責(zé)要素提取網(wǎng)絡(luò)模型訓(xùn)練與驗證，以及要素自動提取，可得到較為精準(zhǔn)的地物邊界及類別信息。人機交互前臺由解譯人員根據(jù)經(jīng)驗及先驗知識對自動提取結(jié)果進行綜合判斷與驗證，判斷自動提取的邊界是否與實際地物邊界精準(zhǔn)吻合，自動提取的類別信息是否符合實際地物類別，如有不當(dāng)之處，選擇相應(yīng)人機交互工具進行人機交互采集編輯，直到得到符合生產(chǎn)要求的解譯結(jié)果。

2.2.1 智能計算后臺

針對自然資源要素提取、地表覆蓋分類、變化檢測等業(yè)務(wù)，研究需求驅(qū)動的具有“大規(guī)模樣本量、多類型算法模型、自主學(xué)習(xí)”的迭代式智能計算后臺，如圖2所示。以深度卷積語義分割網(wǎng)絡(luò)(如FCN、SegNet、ResNet、DenseNet、VGGNet、UNet、DeepLab等)為基礎(chǔ)，提出適用于遙感影像信息提取的“編碼器-特征強化-解碼器”網(wǎng)絡(luò)模型，根據(jù)不同的應(yīng)用場景反復(fù)訓(xùn)練得到適合該場景的預(yù)訓(xùn)練模型[25-26]。將樣本數(shù)據(jù)劃分為訓(xùn)練數(shù)據(jù)、測試數(shù)據(jù)和驗證數(shù)據(jù)，采用“訓(xùn)練-驗證-測試”方法，驗證網(wǎng)絡(luò)模型的可行性。樣本與模型相互協(xié)同能夠不斷增強智能計算能力[27]，能夠?qū)崿F(xiàn)要素智能提取，得到自然資源要素的參考位置、邊界、出現(xiàn)概率等信息。關(guān)鍵技術(shù)包括樣本庫構(gòu)建、要素自動提取等。

圖2 迭代式智能計算后臺

2.2.2 智能引擎

智能引擎類似大腦神經(jīng)中樞，負責(zé)智能計算后臺與人機交互前臺的信息傳遞[28]。設(shè)計推送單元(如區(qū)域、格網(wǎng)、圖斑)、推送規(guī)則(如圖斑面積占比優(yōu)先、準(zhǔn)確率優(yōu)先、概率優(yōu)先)，根據(jù)要素邊界的準(zhǔn)確性、圖斑面積占比大小、概率大小等推送規(guī)則將自動提取結(jié)果按照推送單元推送到前臺。關(guān)鍵技術(shù)包括推送規(guī)則構(gòu)建、單元自動推送等。

推送規(guī)則由多個指標(biāo)的加權(quán)和來確定，計算公式如下

f=ωA·A+ωP·P+ωC·C

式中，ωA、ωP、ωC分別為面積占比、概率、準(zhǔn)確率的權(quán)重，ωA+ωP+ωC=1；A、P、C分別表示面積占比、概率、準(zhǔn)確率，取值區(qū)間為[0,1]。

2.2.3 人機交互前臺

主動學(xué)習(xí)是通過啟發(fā)式方法獲得領(lǐng)域?qū)＜抑R和提高學(xué)習(xí)算法信任度的關(guān)鍵方法[29-30]。研究主動學(xué)習(xí)式人機迭代交互模式，利用半自動提取、人機交互采集編輯等技術(shù)手段，對后臺計算的結(jié)果進行綜合判斷與確認，將確認后的結(jié)果反饋給后臺，更新后臺的樣本數(shù)據(jù)，促進后臺計算算法的優(yōu)化與改進。關(guān)鍵技術(shù)包括多維可視化交互提取、要素半自動提取、人機交互主動學(xué)習(xí)等，如圖3所示。

圖3 人機交互主動學(xué)習(xí)技術(shù)流程

解譯人員對智能計算后臺自動推送的結(jié)果進行綜合判斷與確認，如有不當(dāng)之處，選擇采集工具進行人機交互采集編輯，完成所有解譯任務(wù)。檢查人員同時選擇檢查工具對解譯結(jié)果進行檢查，若審核通過，則標(biāo)注為已審核；若沒通過，則反饋給解譯人員繼續(xù)修改。經(jīng)過驗證確認后的結(jié)果通過智能引擎反饋到后臺，更新后臺的樣本數(shù)據(jù)，促進后臺計算算法的優(yōu)化與改進。

2.3 關(guān)鍵技術(shù)及解決途徑

2.3.1 基于規(guī)則的圖斑自動推送

定義推送單元及推送規(guī)則，引入規(guī)則引擎，用于接受數(shù)據(jù)輸入、解釋推送規(guī)則、并根據(jù)推送規(guī)則做出決策。該方法能夠根據(jù)推送規(guī)則將后臺自動提取的結(jié)果推送給前臺解譯員，并及時通知更新和更改內(nèi)容，使解譯員在交互時更加方便和快捷，滿足人機交互的智能化需求。

圖4為基于規(guī)則的圖斑自動推送技術(shù)。解決途徑包括以下步驟：①定義區(qū)域、格網(wǎng)、圖斑等推送單元，以及圖斑面積優(yōu)先、概率優(yōu)先、鄰近優(yōu)先等規(guī)則，構(gòu)建規(guī)則庫；②根據(jù)要素提取任務(wù)，從規(guī)則庫中獲取與任務(wù)對應(yīng)的規(guī)則，調(diào)用規(guī)則引擎做出決策，將滿足規(guī)則的圖斑自動推送給前臺解譯員；③解譯員對自動推送的圖斑進行綜合判斷和確認；④解譯結(jié)果通過智能引擎反饋到后臺，更新后臺的數(shù)據(jù)。

圖4 基于規(guī)則的圖斑自動推送技術(shù)

2.3.2 多維可視化交互場景

可視化分析綜合了人腦感知、假設(shè)、推理的優(yōu)勢與計算機對海量數(shù)據(jù)高速、準(zhǔn)確計算的能力，通過可視交互界面，將人的智慧，特別是“只可意會，不能言傳”的人類知識和個性化經(jīng)驗可視地融入整個數(shù)據(jù)分析和推理決策過程中成為最有潛力的方向[31-32]。借鑒游戲引擎可視化技術(shù)，構(gòu)建多維可視化交互環(huán)境，使自然資源信息更加形象、逼真地展示出來，有利于解譯人員進行多視角解譯與分析，能夠清晰準(zhǔn)確地提取自然資源實體的結(jié)構(gòu)、幾何等信息。

圖5為多維可視化交互場景。解決途徑包括以下步驟：首先，采用金字塔模型制作瓦片數(shù)據(jù)，實時在線三維渲染展示，構(gòu)建三維可視化環(huán)境；然后，利用裸眼三維采集、立面采集、地物輪廓自動提取等智能化要素采集技術(shù)，實現(xiàn)要素的精準(zhǔn)采集與編輯；最后，形成二三維一體化解譯成果。

圖5 多維可視化交互場景

2.3.3 樣本庫構(gòu)建技術(shù)

根據(jù)已有的地理國情普查、第三次全國國土調(diào)查等歷史解譯數(shù)據(jù)，按照全面性、代表性、均衡性、正確性、負樣本等原則，構(gòu)建針對不同傳感器、不同地區(qū)的自然資源要素樣本數(shù)據(jù)集。

圖6為樣本庫構(gòu)建技術(shù)，解決途徑如下。

圖6 樣本庫構(gòu)建技術(shù)

(1)時空樣本庫設(shè)計：根據(jù)信息全、易讀取、查詢快、易擴展等原則，設(shè)計具有區(qū)域性、時序性、尺度性、多類型的樣本庫。

(2)數(shù)據(jù)集格式規(guī)范制定：制定統(tǒng)一、規(guī)范格式的數(shù)據(jù)集，該數(shù)據(jù)集由同名的影像文件夾和標(biāo)簽影像文件夾組成。

(3)增量樣本庫構(gòu)建：充分利用公開數(shù)據(jù)集及已有的多源調(diào)查與監(jiān)測成果，結(jié)合人工解譯模式，采集要素標(biāo)簽樣本以及對應(yīng)的遙感影像，運用數(shù)據(jù)挖掘、深度學(xué)習(xí)技術(shù)驗證樣本標(biāo)注的有效性，得到純凈有價值的樣本，形成樣本庫本底；針對新的應(yīng)用，采用人工或半自動方法采集一定數(shù)量的樣本，作為本底庫的增量。

(4)樣本擴充：利用旋轉(zhuǎn)變換、仿射變換、色彩變換、尺度變換等方法進行樣本擴充。

2.3.4 基于深度學(xué)習(xí)的自然資源要素自動提取

深度學(xué)習(xí)以其特征自動提取與自學(xué)習(xí)能力在遙感影像智能解譯中得到應(yīng)用，針對遙感影像大規(guī)模、高分辨率、多尺度、多波段等特征，研究水體、道路、耕地等自然資源要素自動提取的深度學(xué)習(xí)網(wǎng)絡(luò)模型，利用該模型實現(xiàn)要素的自動提取。技術(shù)路線如圖7所示。

圖7 要素智能提取技術(shù)

(1)多策略融合的要素提取網(wǎng)絡(luò)模型構(gòu)建：針對遙感影像的多尺度特征，對遙感影像進行多尺度變換；針對光譜、幾何、時相等特征，對遙感影像進行多維特征提??；利用集成方法，將SegNet、U-Net、LinkNet、PSPNet、RefineNet、DeepLab、FastFCN等語義分割網(wǎng)絡(luò)進行集成，依據(jù)結(jié)構(gòu)可靈活表示、內(nèi)部結(jié)構(gòu)可配置、模塊結(jié)構(gòu)可組合原則，設(shè)計適用于要素提取的多策略融合的語義分割網(wǎng)絡(luò)模型。

(2)水體、道路等要素自動提?。横槍Σ煌淖匀毁Y源要素，調(diào)整多策略融合的語義分割網(wǎng)絡(luò)模型，利用樣本庫進行訓(xùn)練，得到預(yù)訓(xùn)練模型，利用預(yù)訓(xùn)練模型實現(xiàn)水體、道路等要素的自動提取。

(3)精度評價：利用像素精度(pixel accuracy,PA)、均像素精度(mean pixel accuracy,MPA)、平均交并比(mean intersection over union,MIoU)、頻率加權(quán)交并比(frequency weighted intersection over union,FWIoU)對自動提取結(jié)果進行精度評價。

2.3.5 人機交互半自動解譯

結(jié)合人的認知能力和計算機的處理能力，利用點選、魔棒、邊緣跟蹤等交互式采集編輯工具，在矢量柵格一體化環(huán)境下，進行自然資源要素的半自動解譯。

圖8為人機交互半自動解譯技術(shù)。解決途徑包括以下步驟：首先，目視確定要素對象的位置；然后，通過人機交互設(shè)備給出對象在影像中的位置、形狀、范圍等初始信息，計算機自動計算出該對象或者該類對象的精確位置和形狀。人機交互設(shè)備包括鼠標(biāo)、鍵盤、顯示設(shè)備、觸摸筆、觸摸屏等。給出要素對象初始信息的類型包括種子點、種子線、矩形(或其他形狀)所限定的在影像上的空間范圍等。

圖8 人機交互半自動解譯技術(shù)

3 人機協(xié)同智能提取云平臺總體架構(gòu)

采用云原生架構(gòu)，以分布式融合存儲計算與智能化調(diào)度為基礎(chǔ)，整合計算資源、數(shù)據(jù)資源、技術(shù)資源和應(yīng)用資源，構(gòu)建高可擴展、易管理的高性能人機協(xié)同智能提取云平臺，提供“后臺智能計算-智能引擎-人機交互”全流程業(yè)務(wù)引擎，基于統(tǒng)一平臺提供包括統(tǒng)一賬戶權(quán)限、業(yè)務(wù)功能服務(wù)、數(shù)據(jù)資源服務(wù)等在內(nèi)的應(yīng)用支撐能力，滿足自然資源要素提取的智能、協(xié)同、高效需要。云平臺構(gòu)建總體架構(gòu)如圖9所示。

圖9 云平臺構(gòu)建總體架構(gòu)

3.1 超融合智能計算平臺

通過超融合智能計算平臺，實現(xiàn)云上多源異構(gòu)遙感數(shù)據(jù)處理流程的靈活搭建、數(shù)據(jù)快速處理、數(shù)據(jù)自動流轉(zhuǎn)，以及任務(wù)全程監(jiān)控的云上業(yè)務(wù)調(diào)度與管理，滿足多樣化業(yè)務(wù)對于超大規(guī)模分布式融合計算與存儲協(xié)同的需求。同時，面向場景應(yīng)用需求，實現(xiàn)基于容器粒度的計算業(yè)務(wù)動態(tài)混合編排與分布式任務(wù)智能調(diào)度，向上提供微服務(wù)接口，為各類業(yè)務(wù)開展提供云原生支持。具體包括計算/存儲集群管理、節(jié)點管理、鏡像管理、流程編排、任務(wù)管理、資源監(jiān)控等。

3.2 全流程業(yè)務(wù)引擎

設(shè)計“后臺智能計算-智能引擎-前臺”全流程業(yè)務(wù)引擎，為上層場景提供業(yè)務(wù)支持。

后臺智能計算主要包括數(shù)據(jù)管理、樣本管理、模型管理、微服務(wù)管理、深度學(xué)習(xí)等功能。數(shù)據(jù)管理是針對存儲服務(wù)器中的數(shù)據(jù)進行可視化管理和統(tǒng)計分析，包括數(shù)據(jù)組織管理、數(shù)據(jù)可視化、數(shù)據(jù)統(tǒng)計分析；樣本管理主要負責(zé)為深度學(xué)習(xí)算法提供訓(xùn)練樣本，包括樣本采集、樣本生成、樣本篩選等；模型管理負責(zé)管理深度學(xué)習(xí)中的預(yù)訓(xùn)練模型，包括模型訓(xùn)練、模型微調(diào)、模型發(fā)布等；微服務(wù)管理主要實現(xiàn)對容器化服務(wù)程序的統(tǒng)一管理、生成、發(fā)布、監(jiān)控與調(diào)度，包括微服務(wù)生成、微服務(wù)發(fā)布、微服務(wù)調(diào)度等；深度學(xué)習(xí)主要提供模型訓(xùn)練與模型預(yù)測，包括目標(biāo)識別、要素提取、地表覆蓋分類、變化檢測等功能。

智能引擎主要包括定義推送單元、定義推送規(guī)則、單元自動推送、結(jié)果自動反饋等功能。推送單元可以是區(qū)域、格網(wǎng)、圖斑等；推送規(guī)則包括圖斑面積占比優(yōu)先、準(zhǔn)確率優(yōu)先、概率優(yōu)先等指標(biāo)，可以由單個指標(biāo)確定，也可以由多個指標(biāo)的加權(quán)和確定；單元自動推送負責(zé)根據(jù)推送規(guī)則進行單元自動推送，并實時進行單元自動流轉(zhuǎn)；結(jié)果自動反饋負責(zé)將前臺確認后的圖斑反饋到后臺，豐富后臺樣本庫。

前臺主要包括多維可視化、圖斑判別與確認、矢量智能采集編輯、要素半自動提取等功能。多維可視化主要實現(xiàn)多維、時序、疊加、分屏、卷簾、閃爍、特效等可視化效果；圖斑判別與確認負責(zé)統(tǒng)籌兼顧全局和局部、大概率和小概率、大面積和小面積、未解譯和已解譯等次序，實現(xiàn)圖斑的判別與確認；矢量智能采集編輯包括拓撲聯(lián)動修測、智能面切割合并、采集新面等功能；要素半自動提取包括水域、建筑物、道路等半自動提取工具。

3.3 共享應(yīng)用在線支撐平臺

共享應(yīng)用在線支撐平臺是對外業(yè)務(wù)承載窗口，包括開放接入平臺與應(yīng)用支撐平臺。開放接入平臺主體面向各類應(yīng)用與用戶提供基于調(diào)查監(jiān)測數(shù)據(jù)業(yè)務(wù)引擎的各類標(biāo)準(zhǔn)化服務(wù)接口與配套的軟件開發(fā)工具包，支持業(yè)務(wù)應(yīng)用快速構(gòu)建；同時，提供應(yīng)用/算法快速集成接入能力，實現(xiàn)調(diào)查監(jiān)測業(yè)務(wù)能力擴展共享。應(yīng)用支撐平臺支持以多租戶形式提供多應(yīng)用在線訂閱、持續(xù)運維與運營能力，滿足多樣化業(yè)務(wù)需求與多樣化用戶應(yīng)用需求。支持多應(yīng)用在線托管運維與訂閱開通、多租戶管理及租戶個性化授權(quán)與應(yīng)用配置，以及多服務(wù)協(xié)議接入模式。

4 結(jié)論與展望

本文分析了自然資源要素的特點，針對自然資源調(diào)查監(jiān)測的需求，綜合利用多時相遙感影像、人類先驗知識、自動化智能化技術(shù)方法，集成人類知識與機器智能，提出了人機協(xié)同的自然資源要素智能提取方法，構(gòu)建了“智能計算后臺+智能引擎+人機交互前臺”的人機協(xié)同解譯技術(shù)框架，給出了關(guān)鍵技術(shù)及其解決途徑，探討了人機協(xié)同智能提取云平臺構(gòu)建思路，旨在為人機協(xié)同的自然資源要素智能提取技術(shù)研究及平臺研制提供參考。

隨著人工智能技術(shù)的實踐應(yīng)用，單獨依賴機器難以滿足生產(chǎn)要求，深層次的知識和經(jīng)驗具有重要作用[33-34]，人機協(xié)同能夠融合專家能力和機器能力，將專家的知識模型化、自動化，自動判斷分析絕大部分信息，專家僅需集中處理少數(shù)關(guān)鍵性問題，是實現(xiàn)人類與智能機器共同協(xié)作的新型工作方式，為自然資源要素智能提取研究提供了新的發(fā)展方向，有助于推動自然資源調(diào)查監(jiān)測的質(zhì)量變革、效率變革。