多源衛(wèi)星影像的攝影測(cè)量遙感智能處理技術(shù)框架與初步實(shí)踐

張永軍，萬(wàn) 一，史文中，張祖勛，李彥勝，季順平，郭浩宇，李 禮

1.武漢大學(xué)遙感信息工程學(xué)院，湖北 武漢 430079；2.香港理工大學(xué)土地測(cè)量及地理資訊學(xué)系，香港 999077

1 攝影測(cè)量與遙感學(xué)科發(fā)展歷程

攝影測(cè)量學(xué)是通過(guò)影像研究信息的獲取、處理、提取和成果表達(dá)的一門信息科學(xué)，通常利用攝影或遙感的手段獲取被攝物體的影像，研究和確定被攝物體的形狀、大小、位置、性質(zhì)和相互關(guān)系[1-2]。攝影測(cè)量具有悠久的發(fā)展歷史，起始于19世紀(jì)中葉攝影機(jī)的發(fā)明和立體視覺的發(fā)現(xiàn)。從18世紀(jì)數(shù)學(xué)家蘭勃特首次論述透視幾何理論，到1839年尼普斯和達(dá)意爾發(fā)明攝影技術(shù)，再到19世紀(jì)中葉“攝影測(cè)量之父”勞賽達(dá)利用“明箱”裝置測(cè)制萬(wàn)森城堡圖，攝影測(cè)量學(xué)開始蓬勃發(fā)展。此時(shí)的攝影測(cè)量學(xué)，完全由人工進(jìn)行操作，普遍借助于光學(xué)投影或機(jī)械投影或光學(xué)-機(jī)械投影來(lái)“模擬”攝影的過(guò)程[2]，因此也稱為模擬攝影測(cè)量時(shí)代。隨著模數(shù)轉(zhuǎn)換、電子計(jì)算機(jī)與自動(dòng)控制技術(shù)的發(fā)展，“數(shù)字投影”的概念開始取代“物理投影”。1961年第一臺(tái)解析測(cè)圖儀AP/1問(wèn)世，解析測(cè)圖逐步成為攝影測(cè)量的主要方式，也標(biāo)志著攝影測(cè)量的發(fā)展踏入了解析攝影測(cè)量階段。此后，攝影測(cè)量學(xué)家對(duì)“攝影測(cè)量自動(dòng)化、真正的自動(dòng)化測(cè)圖”進(jìn)行不懈的追求，推動(dòng)了數(shù)字?jǐn)z影測(cè)量時(shí)代的到來(lái)。美國(guó)20世紀(jì)60年代研制的DAMC系統(tǒng)，國(guó)內(nèi)1985年完成的WUDAMS全數(shù)字自動(dòng)化測(cè)圖系統(tǒng)、21世紀(jì)初完成的DPGrid系統(tǒng)等都是代表性產(chǎn)物。目前，數(shù)字測(cè)圖的核心技術(shù)，如影像自動(dòng)匹配[3]、正射影像制作[4]等均已較為成熟。在經(jīng)歷了3個(gè)重要階段，即模擬法、解析法、數(shù)字法后[5]，攝影測(cè)量學(xué)已廣泛應(yīng)用于國(guó)民經(jīng)濟(jì)發(fā)展和建設(shè)中，并隨著智能化測(cè)繪新時(shí)代的到來(lái)，進(jìn)入智能攝影測(cè)量新階段，發(fā)展為廣義攝影測(cè)量學(xué)[1]。

遙感是以航空攝影測(cè)量為原型過(guò)程發(fā)展起來(lái)的。除測(cè)圖模式和處理方法不斷發(fā)展之外，從空中和太空觀測(cè)地球并獲取影像，是20世紀(jì)的重大成果之一[6-7]。1960年，文獻(xiàn)[8]率先提出了“遙感”這一名詞，用于取代傳統(tǒng)的術(shù)語(yǔ)“相片判讀”。自1960年TIROS-1氣象衛(wèi)星成功發(fā)射，1961年“東方號(hào)”宇宙飛船進(jìn)入太空開始，再到1972年美國(guó)第一顆地球資源技術(shù)衛(wèi)星ERTS-1的成功發(fā)射，遙感技術(shù)在世界范圍內(nèi)迅速發(fā)展并廣泛使用。20世紀(jì)70年代中期，國(guó)際上許多國(guó)家測(cè)繪部門開始介入到遙感事業(yè)中，并逐漸把攝影測(cè)量與遙感的概念融為一體。1979年，王之卓院士率先指明了攝影測(cè)量與遙感的密切關(guān)系，指出遙感是攝影測(cè)量學(xué)的發(fā)展和擴(kuò)充，攝影測(cè)量必將向遙感發(fā)展的趨勢(shì)[9]。隨著遙感成像方式多樣化及遙感數(shù)據(jù)獲取能力的增強(qiáng)，利用遙感平臺(tái)可獲取多尺度、多時(shí)相、多傳感器、多光譜影像數(shù)據(jù)，打破了傳統(tǒng)航拍影像數(shù)據(jù)的局限性，極大地促進(jìn)了攝影測(cè)量與遙感學(xué)科的發(fā)展，以及在農(nóng)業(yè)[10]、林業(yè)[11]、水利[12]等領(lǐng)域的廣泛應(yīng)用。在王之卓院士等的倡導(dǎo)下，國(guó)內(nèi)開始注重遙感技術(shù)的發(fā)展與應(yīng)用。1980年，武漢測(cè)繪學(xué)院航測(cè)與遙感系正式成立遙感技術(shù)教研室，并針對(duì)性地開設(shè)遙感課程，原航空攝影測(cè)量專業(yè)于1984年經(jīng)教育部批準(zhǔn)更改為“攝影測(cè)量與遙感”專業(yè)[13]。近20年來(lái)，在眾多學(xué)者的共同努力下，新生的“遙感科學(xué)與技術(shù)”學(xué)科取得了長(zhǎng)足發(fā)展，在多傳感器數(shù)據(jù)獲取、多源影像幾何處理、語(yǔ)義信息反演提取等方面都取得了卓越成就，并于2019年獲批首批博士學(xué)位授權(quán)交叉學(xué)科。

在實(shí)時(shí)化、智能化、知識(shí)化為代表的智能化測(cè)繪新時(shí)代，攝影測(cè)量與遙感的發(fā)展也面臨新的挑戰(zhàn)。如何把握機(jī)遇實(shí)現(xiàn)空間感知和空間認(rèn)知的智能化[5]，以更高的效率和更智能的手段，獲得更精準(zhǔn)的處理結(jié)果，是智能化測(cè)繪新時(shí)代攝影測(cè)量與遙感學(xué)者需要考慮和解決的問(wèn)題。目前，遙感影像的幾何處理(屬于攝影測(cè)量范疇)和語(yǔ)義信息反演提取(屬于遙感范疇)仍然在很大程度上互相獨(dú)立。很多學(xué)者都將二者看成兩個(gè)獨(dú)立的問(wèn)題，并分別進(jìn)行了大量研究，也產(chǎn)生了豐碩的成果，但二者的融合處理應(yīng)用并未引起足夠重視。部分原因在于攝影測(cè)量幾何處理難度大、流程長(zhǎng)，研究群體相對(duì)有限；而遙感信息提取反演與行業(yè)應(yīng)用結(jié)合非常緊密，需求旺盛，研究者們通常無(wú)暇也無(wú)力顧及幾何處理問(wèn)題，導(dǎo)致大部分?jǐn)z影測(cè)量研究者不懂遙感、遙感研究者不懂?dāng)z影測(cè)量的現(xiàn)狀。另一個(gè)原因是應(yīng)用需求和發(fā)展時(shí)機(jī)尚未成熟，例如在各類公眾地理信息和基礎(chǔ)地理信息產(chǎn)品廣泛應(yīng)用于遙感影像全自動(dòng)幾何處理前，決定幾何處理精度的控制資料基本依靠人機(jī)交互手段進(jìn)行獲取，遙感語(yǔ)義分割結(jié)果對(duì)于提升攝影測(cè)量幾何處理精度和效率的作用非常有限。近10年來(lái)，隨著計(jì)算機(jī)技術(shù)的進(jìn)步和大數(shù)據(jù)時(shí)代的到來(lái)，多源廣義控制信息(或稱為泛在控制或云控制)[1，14]在自動(dòng)化幾何處理方面發(fā)揮了重要作用。但是，遙感影像分辨率越來(lái)越高，尤其是亞米級(jí)影像中存在大量的云區(qū)、水體等時(shí)變地物和建筑物、樹木等高出地面的物體，其與已有地理信息的自動(dòng)匹配結(jié)果往往存在顯著的平面和高程誤差，已經(jīng)嚴(yán)重制約高分辨率影像的幾何處理精度和效率；而幾何處理精度有限的多源多時(shí)相影像，會(huì)影響語(yǔ)義信息提取結(jié)果的完整性和可靠性，因此必須尋求新的科學(xué)途徑。

2 攝影測(cè)量遙感的概念及研究領(lǐng)域

在智能化測(cè)繪新時(shí)代，數(shù)據(jù)處理服務(wù)的實(shí)時(shí)化、智能化、知識(shí)化是典型特征，而如何順應(yīng)科技發(fā)展的潮流，思考所面臨的挑戰(zhàn)和問(wèn)題并尋求科學(xué)解決方案，是研究者們的歷史使命。文獻(xiàn)[15]指出，大數(shù)據(jù)挖掘的核心是“垃圾進(jìn)，黃金出”，簡(jiǎn)明扼要地指出了其核心要義是如何自動(dòng)化智能化地發(fā)掘有用信息。同樣，智能化測(cè)繪的實(shí)時(shí)化、智能化發(fā)展趨勢(shì)也催生了攝影測(cè)量與遙感的一體化。多源遙感影像的快速智能處理，迫切需要從廣義控制資料中通過(guò)語(yǔ)義信息的輔助自動(dòng)挖掘出高精度有效幾何控制，并充分利用實(shí)現(xiàn)精確配準(zhǔn)的多源遙感數(shù)據(jù)的信息互補(bǔ)性，實(shí)現(xiàn)高可靠性語(yǔ)義信息提取?；谏鲜鰧?duì)攝影測(cè)量與遙感學(xué)科發(fā)展歷程的回顧與分析，以及其所面臨的挑戰(zhàn)性問(wèn)題和發(fā)展趨勢(shì)的理解，本文提出攝影測(cè)量遙感的概念，并試圖探討所涉及的若干科學(xué)問(wèn)題和主要研究領(lǐng)域，為建立攝影測(cè)量遙感智能處理框架和研發(fā)自主可控核心技術(shù)奠定基礎(chǔ)。

2.1 攝影測(cè)量遙感的基本概念

攝影測(cè)量遙感，是指利用多傳感器觀測(cè)技術(shù)，非接觸式地獲取地表或被攝物體的輻射或反射特性影像數(shù)據(jù)，通過(guò)幾何語(yǔ)義一體化的智能處理模式，自動(dòng)化智能化地同步探測(cè)其幾何位置、物理屬性、語(yǔ)義信息及時(shí)序變化關(guān)系等的一門新型交叉科學(xué)和技術(shù)。

攝影測(cè)量遙感主要由攝影測(cè)量和遙感兩個(gè)學(xué)科的交叉融合而形成，如圖1所示，致力于研究解決兩個(gè)學(xué)科共同關(guān)注的理論方法及技術(shù)問(wèn)題，通過(guò)三維(或2.5維)幾何模型與光譜輻射反射信息的深度融合，實(shí)現(xiàn)幾何語(yǔ)義一體化智能處理，同步探測(cè)被攝目標(biāo)的幾何位置、物理屬性、語(yǔ)義信息及時(shí)序變化關(guān)系，其理論基礎(chǔ)和支撐學(xué)科主要包括攝影測(cè)量、遙感、人工智能、大數(shù)據(jù)處理與高性能計(jì)算等。區(qū)別于現(xiàn)有攝影測(cè)量與遙感學(xué)科在多源影像處理應(yīng)用時(shí)一般將幾何處理和語(yǔ)義信息提取視為兩個(gè)相對(duì)獨(dú)立的工作，攝影測(cè)量遙感交叉學(xué)科則充分利用多源廣義控制資料和深度學(xué)習(xí)等人工智能技術(shù)，將語(yǔ)義信息提取與精準(zhǔn)幾何處理深度交叉融合構(gòu)成閉環(huán)機(jī)制，進(jìn)行幾何語(yǔ)義一體化處理，在提升多源遙感影像幾何處理精準(zhǔn)度和自動(dòng)化水平的同時(shí)，促進(jìn)語(yǔ)義信息提取和遙感反演結(jié)果的完整性和可靠性。

圖1 攝影測(cè)量遙感是由攝影測(cè)量和遙感構(gòu)成的交叉學(xué)科

2.2 攝影測(cè)量遙感的科學(xué)問(wèn)題

每個(gè)學(xué)科都有其需要解決的主要科學(xué)問(wèn)題，攝影測(cè)量遙感也不例外。例如，定量遙感主要解決遙感目標(biāo)的定量地學(xué)描述反演問(wèn)題，高光譜遙感主要解決地物反射特性的精細(xì)分類表達(dá)問(wèn)題，而攝影測(cè)量遙感則主要致力于解決遙感影像中地形地物目標(biāo)的幾何語(yǔ)義同步精準(zhǔn)刻畫及其時(shí)序變化問(wèn)題，即回答何時(shí)(when)、何地(where)、何目標(biāo)(what object)及何變化(what change)等問(wèn)題。因此，攝影測(cè)量遙感學(xué)科所面臨的主要科學(xué)問(wèn)題是如何充分挖掘多源影像中的幾何及語(yǔ)義信息，回答好上述4W問(wèn)題。

2.2.1 多傳感器集成多源遙感數(shù)據(jù)同步獲取

攝影測(cè)量遙感數(shù)據(jù)來(lái)源豐富，但數(shù)據(jù)存在空間和時(shí)間上的不一致性。要實(shí)現(xiàn)對(duì)全色影像、多光譜影像、高光譜影像、LiDAR點(diǎn)云、視頻流等多源或多模態(tài)遙感數(shù)據(jù)的聯(lián)合處理應(yīng)用[16]，必須先對(duì)數(shù)據(jù)以時(shí)間為第一維度進(jìn)行對(duì)齊管理。通過(guò)GNSS和IMU集成系統(tǒng)可直接確定傳感器的空間位置和姿態(tài)，并輔助數(shù)據(jù)時(shí)間同步。但在現(xiàn)實(shí)應(yīng)用中，各種傳感器的定位定姿精度不同、時(shí)鐘同步精度不同，且由于平臺(tái)顛振等原因?qū)е掠^測(cè)數(shù)據(jù)質(zhì)量不穩(wěn)定，如何有效采用多種傳感器實(shí)現(xiàn)多源或多模態(tài)遙感數(shù)據(jù)高精度同步獲取仍是攝影測(cè)量遙感的重要問(wèn)題。

2.2.2 語(yǔ)義信息約束多源影像精準(zhǔn)幾何處理

多源遙感影像數(shù)據(jù)的精準(zhǔn)幾何處理需依賴高精度的匹配控制點(diǎn)對(duì)[14]。例如，多源遙感影像匹配容易受云區(qū)、水體等時(shí)變地物和建筑物、樹木等凸起地物的干擾，匹配控制點(diǎn)的質(zhì)量難以保障。隨著深度學(xué)習(xí)等智能遙感影像解譯技術(shù)的發(fā)展，遙感影像語(yǔ)義分割的性能得到了極大改善，是否有可能在匹配前將不利于匹配的時(shí)變地物和凸起地物從遙感影像中自動(dòng)確定并排除？如何利用遙感影像語(yǔ)義信息來(lái)提高匹配質(zhì)量、進(jìn)而提升幾何平差的精度和效率是多源遙感影像精準(zhǔn)幾何處理的關(guān)鍵。

2.2.3 幾何語(yǔ)義聯(lián)合約束多源影像鑲嵌合成

在多源影像鑲嵌合成中，受成像角度和數(shù)字表面模型精度等因素影響，經(jīng)過(guò)正射糾正后的影像仍然存在一定的投影差，特別是建筑物、樹木及其他明顯高于場(chǎng)景的障礙目標(biāo)，會(huì)導(dǎo)致鑲嵌影像在拼接處產(chǎn)生明顯錯(cuò)位[4]。是否能夠通過(guò)幾何及語(yǔ)義信息的聯(lián)合約束，在進(jìn)行鑲嵌線選取時(shí)避開影像重疊區(qū)域內(nèi)的障礙目標(biāo)，實(shí)現(xiàn)多源影像無(wú)縫鑲嵌合成？這是鑲嵌線智能選取優(yōu)化面臨的挑戰(zhàn)性問(wèn)題。

2.2.4 人工智能技術(shù)輔助目標(biāo)語(yǔ)義識(shí)別提取

從遙感影像中自動(dòng)準(zhǔn)確識(shí)別提取地物和其他目標(biāo)的語(yǔ)義信息一直是具有挑戰(zhàn)性的難題。深度學(xué)習(xí)技術(shù)是語(yǔ)義信息提取的重要途徑，但該技術(shù)遠(yuǎn)未完善，其矢量提取精度還難以滿足用戶需求[17]。將深度學(xué)習(xí)方法應(yīng)用于語(yǔ)義信息提取尚需綜合考慮多時(shí)相、多尺度、多譜段、多角度的遙感數(shù)據(jù)。是否能夠?qū)⒌匚锘驁?chǎng)景目標(biāo)的先驗(yàn)知識(shí)融入深度學(xué)習(xí)，提升語(yǔ)義識(shí)別提取網(wǎng)絡(luò)的遷移性和可解釋性？總體來(lái)說(shuō)，利用人工智能領(lǐng)域的前沿技術(shù)實(shí)現(xiàn)目標(biāo)識(shí)別和語(yǔ)義信息提取仍是一個(gè)值得探索的科學(xué)問(wèn)題。

2.2.5 精準(zhǔn)幾何信息輔助遙感影像動(dòng)態(tài)監(jiān)測(cè)

遙感影像具有周期性特點(diǎn)，精準(zhǔn)幾何處理后的多時(shí)相影像，可為衛(wèi)星遙感監(jiān)測(cè)、城市視頻場(chǎng)景動(dòng)態(tài)識(shí)別監(jiān)控、星地影像實(shí)時(shí)動(dòng)態(tài)定位等應(yīng)用提供支撐[18]。然而，多源、多時(shí)相遙感數(shù)據(jù)的綜合利用及動(dòng)態(tài)監(jiān)測(cè)應(yīng)用尚未形成成熟的理論和技術(shù)體系，其中還有幾何定位軌跡及圖像坐標(biāo)軌跡的聯(lián)合優(yōu)化等許多關(guān)鍵技術(shù)需要攻克。如何通過(guò)多時(shí)相精準(zhǔn)幾何信息輔助進(jìn)行目標(biāo)動(dòng)態(tài)監(jiān)測(cè)，仍是攝影測(cè)量遙感的重要科學(xué)問(wèn)題。

2.3 攝影測(cè)量遙感的研究領(lǐng)域

隨著通信技術(shù)和高性能運(yùn)算技術(shù)的發(fā)展，傳感器、無(wú)人平臺(tái)與芯片等關(guān)鍵產(chǎn)品生產(chǎn)成本的下降，多源遙感數(shù)據(jù)語(yǔ)義幾何一體化處理的應(yīng)用領(lǐng)域乃至市場(chǎng)需求呈現(xiàn)出爆炸性增長(zhǎng)的態(tài)勢(shì)。本文拋磚引玉，僅列出攝影測(cè)量遙感學(xué)科在智能化測(cè)繪新時(shí)代若干亟須和正在突破的研究和應(yīng)用領(lǐng)域，包括多源遙感影像精準(zhǔn)幾何處理、大范圍多源遙感影像鑲嵌合成、多時(shí)相遙感影像智能監(jiān)測(cè)、實(shí)景三維幾何語(yǔ)義聯(lián)合建模、智能無(wú)人視覺系統(tǒng)自主導(dǎo)航等。

2.3.1 多源遙感影像精準(zhǔn)幾何處理

多源遙感影像精準(zhǔn)幾何處理是攝影測(cè)量遙感領(lǐng)域的基礎(chǔ)研究工作。多源遙感影像數(shù)據(jù)的精準(zhǔn)幾何處理，包括影像匹配、幾何檢校和區(qū)域網(wǎng)平差等研究?jī)?nèi)容，需要考慮不同傳感器、不同視角數(shù)據(jù)特性，充分發(fā)揮多源廣義控制資料的輔助作用。如何充分利用語(yǔ)義信息(包括云區(qū)、水體等時(shí)變地物和建筑物、樹木等凸起地物)來(lái)實(shí)現(xiàn)針對(duì)性的同名幾何特征獲取和幾何約束條件設(shè)置，進(jìn)而提升平差精度和效率，是多源遙感影像精準(zhǔn)幾何處理的重要研究方向。

2.3.2 大范圍多源影像鑲嵌合成

生成大范圍時(shí)間有序、空間對(duì)齊、輻射一致的高質(zhì)量合成遙感影像產(chǎn)品是攝影測(cè)量遙感的重要任務(wù)之一。在進(jìn)行影像鑲嵌合成時(shí)需要利用鄰近時(shí)段影像間良好的互補(bǔ)性修補(bǔ)無(wú)效像元，選取最優(yōu)鑲嵌線并實(shí)現(xiàn)影像間輻射和光譜信息一致化，其中如何利用多源影像數(shù)據(jù)的語(yǔ)義分割結(jié)果約束幾何鑲嵌拼接及空洞修補(bǔ)合成是優(yōu)化影像鑲嵌合成效果的重要方向。

2.3.3 多時(shí)相遙感影像智能監(jiān)測(cè)

基于多時(shí)相影像進(jìn)行地形地物信息的動(dòng)態(tài)監(jiān)測(cè)，是智能化測(cè)繪時(shí)代遙感影像信息服務(wù)的重要途徑。如何充分發(fā)揮經(jīng)過(guò)前述精準(zhǔn)幾何處理后的多時(shí)相遙感影像的作用，基于人工智能等前沿技術(shù)進(jìn)行地物信息自動(dòng)提取、自然資源監(jiān)測(cè)評(píng)估、土地利用動(dòng)態(tài)監(jiān)測(cè)、森林火災(zāi)監(jiān)測(cè)、農(nóng)作物種植面積和估產(chǎn)監(jiān)測(cè)、視頻數(shù)據(jù)目標(biāo)識(shí)別與動(dòng)態(tài)監(jiān)控、建筑物墻面熱紅外監(jiān)測(cè)等，是攝影測(cè)量遙感動(dòng)態(tài)監(jiān)測(cè)的重要研究方向。

2.3.4 實(shí)景三維幾何語(yǔ)義聯(lián)合建模

傳統(tǒng)的實(shí)景三維建模缺乏語(yǔ)義信息且數(shù)據(jù)量巨大，極大地限制了其應(yīng)用范圍。深入分析和理解三維模型中蘊(yùn)含的語(yǔ)義信息，更加有效地處理和使用三維模型，以及利用語(yǔ)義信息合成新的三維模型，逐漸成為熱點(diǎn)問(wèn)題。在結(jié)合點(diǎn)云和影像數(shù)據(jù)進(jìn)行部件級(jí)幾何建模的同時(shí)，進(jìn)行紋理語(yǔ)義提取、優(yōu)化和分析，生成幾何語(yǔ)義一體化的部件級(jí)三維模型，屬于攝影測(cè)量遙感的重要研究方向。

2.3.5 智能無(wú)人視覺系統(tǒng)自主導(dǎo)航

近年來(lái)，無(wú)人機(jī)、無(wú)人車、無(wú)人船等無(wú)人系統(tǒng)取得了極大進(jìn)步，但其真正智能化與實(shí)用化尚需要突破完全自主的高精度、高可靠實(shí)時(shí)導(dǎo)航和避障運(yùn)動(dòng)等核心技術(shù)。智能無(wú)人視覺系統(tǒng)的自主導(dǎo)航是攝影測(cè)量遙感的前沿領(lǐng)域，具有廣泛的應(yīng)用前景，需要充分結(jié)合攝影測(cè)量遙感、人工智能、衛(wèi)星導(dǎo)航等研究領(lǐng)域的先進(jìn)理論和技術(shù)，才能在無(wú)人機(jī)三維環(huán)境實(shí)時(shí)建模及自動(dòng)避障飛行、車載傳感器實(shí)時(shí)道路建模、無(wú)人車輛自動(dòng)駕駛、室內(nèi)機(jī)器人自主視覺導(dǎo)航定位等方面取得突破。

3 攝影測(cè)量遙感智能處理技術(shù)框架

本節(jié)以多源遙感衛(wèi)星影像為例，討論攝影測(cè)量遙感智能處理的技術(shù)框架。國(guó)際上現(xiàn)有的衛(wèi)星遙感影像處理研究成果大都采用如圖2所示的串行處理技術(shù)路線，即首先基于攝影測(cè)量軟件進(jìn)行多源遙感衛(wèi)星影像幾何精校正、三維地形提取和正射影像制作，然后再由遙感軟件進(jìn)行語(yǔ)義信息提取，也即攝影測(cè)量處理的輸出，作為遙感信息提取的輸入，二者本身并無(wú)交叉反饋機(jī)制，且每個(gè)環(huán)節(jié)都需要一定的人機(jī)交互?，F(xiàn)有互相獨(dú)立的技術(shù)體系基本滿足2 m以下分辨率衛(wèi)星影像的自動(dòng)化處理和應(yīng)用需求，但是在采用多源地理信息進(jìn)行米級(jí)尤其是亞米級(jí)高分辨率遙感影像處理應(yīng)用時(shí)，由于影像分辨率提升導(dǎo)致地物變形顯著、已有地理信息精度不均勻且DEM無(wú)法準(zhǔn)確反映地物高程，以及普遍存在的攝影測(cè)量研究者不懂遙感、遙感研究者不懂?dāng)z影測(cè)量等原因，導(dǎo)致互相獨(dú)立的現(xiàn)有處理技術(shù)體系在應(yīng)對(duì)亞米級(jí)影像時(shí)面臨難度大、精度低和效率差等突出問(wèn)題。

圖2 現(xiàn)有攝影測(cè)量及遙感軟件系統(tǒng)所采用的多源衛(wèi)星影像串行處理技術(shù)路線

在攝影測(cè)量遙感科學(xué)概念的指導(dǎo)下，本文提出多源衛(wèi)星影像一體化攝影測(cè)量遙感智能處理的思想，基于攝影測(cè)量、遙感、人工智能等領(lǐng)域的最新研究成果，將快速語(yǔ)義分割、幾何語(yǔ)義聯(lián)合約束的精準(zhǔn)處理與鑲嵌合成、多源影像語(yǔ)義信息提取等步驟有機(jī)融合，形成幾何語(yǔ)義一體化智能處理機(jī)制，從而連通攝影測(cè)量和遙感兩個(gè)相互獨(dú)立的處理過(guò)程，可望顯著提升多源衛(wèi)星影像一體化處理的智能化和自動(dòng)化水平。攝影測(cè)量遙感處理的技術(shù)思路如圖3所示，輸入數(shù)據(jù)為多源遙感衛(wèi)星影像、已有多源廣義地理信息(如控制點(diǎn)、參考影像、矢量數(shù)據(jù)、高程數(shù)據(jù))及其他輔助數(shù)據(jù)，處理過(guò)程分為快速語(yǔ)義分割、語(yǔ)義輔助精準(zhǔn)幾何處理、三維地形及影像合成、語(yǔ)義信息智能提取4個(gè)有機(jī)融合的環(huán)節(jié)，輸出產(chǎn)品包括衛(wèi)星影像高精度幾何定向模型、三維地形產(chǎn)品、大范圍多源合成影像、高精度地物覆蓋和目標(biāo)信息專題圖等。

圖3 多源衛(wèi)星影像一體化攝影測(cè)量遙感智能處理技術(shù)框架

(1)單源遙感衛(wèi)星影像快速語(yǔ)義分割：該環(huán)節(jié)通過(guò)傳統(tǒng)手段或深度學(xué)習(xí)方法對(duì)遙感數(shù)據(jù)進(jìn)行語(yǔ)義信息提取，從而實(shí)現(xiàn)地面和非地面目標(biāo)、人工與自然地物等少量類別的快速語(yǔ)義分割，例如從衛(wèi)星遙感影像中快速分割云區(qū)、水體、建筑物、樹木等對(duì)幾何處理具有較大影響的目標(biāo)地物，為后續(xù)幾何處理和測(cè)繪產(chǎn)品生產(chǎn)提供有效輔助。這一階段尚未實(shí)現(xiàn)多源數(shù)據(jù)的配準(zhǔn)和融合，因此需要對(duì)每一種來(lái)源的遙感數(shù)據(jù)按景進(jìn)行獨(dú)立處理。

(2)語(yǔ)義輔助多源影像精準(zhǔn)幾何處理：該環(huán)節(jié)在傳統(tǒng)攝影測(cè)量幾何處理手段的基礎(chǔ)上，增加了語(yǔ)義信息輔助機(jī)制，旨在通過(guò)語(yǔ)義信息輔助實(shí)現(xiàn)多源衛(wèi)星影像的高可靠性全自動(dòng)區(qū)域網(wǎng)平差與配準(zhǔn)，大幅度提升傳統(tǒng)幾何處理手段的精度、效率和自動(dòng)化程度。充分利用前述環(huán)節(jié)的語(yǔ)義分割信息剔除廣義幾何控制資料中的非地面目標(biāo)特征點(diǎn)，實(shí)現(xiàn)高精度DEM輔助的衛(wèi)星影像幾何精校正，或利用語(yǔ)義信息識(shí)別出人工地物，從而快速提取線段特征用于多源異構(gòu)遙感數(shù)據(jù)高精度配準(zhǔn)。

(3)三維信息提取及多影像時(shí)序合成：該環(huán)節(jié)利用前期地類語(yǔ)義分割結(jié)果及高精度幾何模型，實(shí)現(xiàn)三維地形的快速提取和大范圍多源影像的鑲嵌、修補(bǔ)與合成。利用語(yǔ)義分割環(huán)節(jié)獲得的人工地物、植被、水體、云等語(yǔ)義信息，可以對(duì)不同的地類采用不同的三維重建手段，獲得更加精準(zhǔn)可靠的三維地形數(shù)據(jù)，也可以為多時(shí)相影像的修補(bǔ)提供范圍參考，輔助實(shí)現(xiàn)影像鑲嵌線構(gòu)建過(guò)程中的自動(dòng)避障，從而大幅減少人工編輯的工作量。

(4)多源遙感影像語(yǔ)義信息智能提?。航?jīng)過(guò)前述自動(dòng)化處理后，多源、異構(gòu)遙感數(shù)據(jù)已經(jīng)實(shí)現(xiàn)了精確配準(zhǔn)與融合，因此可以借助于人工智能等先進(jìn)技術(shù)手段，利用多源數(shù)據(jù)的差異性和互補(bǔ)性，從高精度多源/多時(shí)相合成影像中準(zhǔn)確提取地物目標(biāo)的幾何信息、語(yǔ)義信息、物理信息及其時(shí)序變化信息，從而得到精確的語(yǔ)義地圖、各類專題圖及變化信息圖，例如道路網(wǎng)拓?fù)涫噶?、建筑物輪廓矢量、農(nóng)作物長(zhǎng)勢(shì)、水體范圍，以及各類地形地物目標(biāo)的多時(shí)相變化圖等。

其中，步驟(4)通過(guò)多源遙感數(shù)據(jù)和人工智能技術(shù)提取得到的語(yǔ)義信息精度遠(yuǎn)高于步驟(1)中從單景遙感數(shù)據(jù)中獨(dú)立提取的信息，因此可以反饋到前端的快速語(yǔ)義分割過(guò)程作為步驟(1)中分類器的高精度訓(xùn)練樣本，從而構(gòu)成交叉閉環(huán)融合的智能處理理論和技術(shù)體系，進(jìn)一步提升一體化處理效果和智能化水平。

4 攝影測(cè)量遙感智能處理應(yīng)用實(shí)踐

在上述多源衛(wèi)星影像攝影測(cè)量遙感智能處理技術(shù)框架的指導(dǎo)下，筆者所在課題組進(jìn)行了多年的一體化處理研究與實(shí)踐，開發(fā)了多模態(tài)衛(wèi)星遙感影像自動(dòng)化智能處理系統(tǒng)(MIPS1.0)?，并在全球地理信息資源建設(shè)、地理國(guó)情普查、自然資源監(jiān)測(cè)等多項(xiàng)國(guó)家重大工程及各省市衛(wèi)星遙感影像產(chǎn)品生產(chǎn)中取得了良好的應(yīng)用效果。以下分別就衛(wèi)星遙感影像快速語(yǔ)義分割、語(yǔ)義輔助多源影像幾何處理、語(yǔ)義輔助多源影像時(shí)序合成、多源影像地物信息智能提取等4個(gè)環(huán)節(jié)的部分典型試驗(yàn)結(jié)果和應(yīng)用案例進(jìn)行闡述。

4.1 衛(wèi)星遙感影像快速語(yǔ)義分割

由于已有地理信息DEM數(shù)據(jù)中不包含云區(qū)、建筑物、植被等高出地面的物體，因此DEM輔助的衛(wèi)星影像區(qū)域網(wǎng)平差時(shí)，嚴(yán)格意義上來(lái)說(shuō)必須濾除全自動(dòng)匹配的控制點(diǎn)中的非地面點(diǎn)，才能獲得準(zhǔn)確的高程精度，因此首先需要進(jìn)行云區(qū)、建筑物、植被等目標(biāo)的快速語(yǔ)義分割。

傳統(tǒng)機(jī)器學(xué)習(xí)方法在云檢測(cè)精度、適用性、穩(wěn)健性方面有待提高；而深度學(xué)習(xí)在硬件條件和數(shù)據(jù)樣本滿足要求的前提下，能取得顯著優(yōu)于傳統(tǒng)方法的檢測(cè)結(jié)果，因此可采用深度學(xué)習(xí)全卷積神經(jīng)元網(wǎng)絡(luò)實(shí)現(xiàn)高分辨率光學(xué)衛(wèi)星影像云檢測(cè)。通過(guò)制作地理場(chǎng)景多、樣本種類豐富、標(biāo)注準(zhǔn)確的云雪檢測(cè)數(shù)據(jù)集，用于卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)訓(xùn)練和學(xué)習(xí)，從而構(gòu)建適用于高分辨率光學(xué)衛(wèi)星影像云雪檢測(cè)的語(yǔ)義分割網(wǎng)絡(luò)，并利用全局語(yǔ)義信息提高云檢測(cè)精度。采用多源數(shù)據(jù)標(biāo)簽訓(xùn)練后的UNet模型和36景高分二號(hào)衛(wèi)星4波段多光譜影像進(jìn)行云區(qū)檢測(cè)測(cè)試，采用人工標(biāo)記數(shù)據(jù)進(jìn)行精度評(píng)價(jià)的結(jié)果表明，云檢測(cè)結(jié)果的整體像素精度可達(dá)97.62%。部分云檢測(cè)結(jié)果如圖4所示，其中第1列為多光譜測(cè)試影像，第2列為人工標(biāo)注的云掩膜，第3列為深度學(xué)習(xí)網(wǎng)絡(luò)模型預(yù)測(cè)結(jié)果，可以看出影像中不同大小和反射強(qiáng)度的云區(qū)都能夠準(zhǔn)確提取出來(lái)。

圖4 基于深度學(xué)習(xí)網(wǎng)絡(luò)的高分二號(hào)衛(wèi)星影像云檢測(cè)結(jié)果

建筑物檢測(cè)方面，則采用聯(lián)合無(wú)監(jiān)督-半監(jiān)督約束的深度語(yǔ)義分割網(wǎng)絡(luò)進(jìn)行，該方法在利用適當(dāng)訓(xùn)練樣本進(jìn)行模型參數(shù)訓(xùn)練后，僅需極少量的目標(biāo)域樣本即可實(shí)現(xiàn)跨域衛(wèi)星影像的建筑物智能檢測(cè)。例如阿里天巡業(yè)務(wù)中，需要實(shí)現(xiàn)跨地域建筑物檢測(cè)任務(wù)，采用所研究的深度語(yǔ)義分割網(wǎng)絡(luò)僅利用10%的目標(biāo)域標(biāo)簽數(shù)據(jù)，即可獲得非常理想的建筑物語(yǔ)義分割效果，比Deeplab V3+[19]等主流基線方法的IoU指標(biāo)提升5%以上(從73.0提高到79.62)。植被檢測(cè)可采用經(jīng)典的NDVI方法進(jìn)行，本文不再贅述。

圖5所示為廣州測(cè)區(qū)高分七號(hào)衛(wèi)星影像的部分語(yǔ)義分割結(jié)果，其中圖5(a)為高分七號(hào)后視融合影像，圖5(b)為對(duì)應(yīng)的快速語(yǔ)義分割結(jié)果，其中紅色、綠色和白色分別表示建筑物、植被、云區(qū)，可以看出語(yǔ)義分割結(jié)果能夠較為準(zhǔn)確地提取上述地類目標(biāo)，且剩余未分割像素均為裸地或道路等地表區(qū)域。

注：紅色為建筑物、綠色為植被、白色為云區(qū)。

4.2 語(yǔ)義輔助多源影像幾何處理

4.2.1 幾何語(yǔ)義聯(lián)合約束立體影像處理

目前，全國(guó)大部分省份都構(gòu)建了1∶1萬(wàn)DEM/DOM等基礎(chǔ)地理信息。如果能夠充分發(fā)揮這些已有地理信息的作用，進(jìn)行亞米級(jí)立體衛(wèi)星影像的全自動(dòng)處理，并達(dá)到1∶1萬(wàn)比例尺測(cè)圖精度要求，將會(huì)帶來(lái)生產(chǎn)方式的革命性變化，具有極大的實(shí)踐意義和推廣應(yīng)用價(jià)值。本節(jié)將采用前述攝影測(cè)量遙感智能處理技術(shù)路線，通過(guò)幾何語(yǔ)義聯(lián)合約束實(shí)現(xiàn)高分七號(hào)衛(wèi)星立體影像自動(dòng)化處理，以驗(yàn)證其所能達(dá)到的平面和高程精度。試驗(yàn)測(cè)區(qū)為廣州市某區(qū)域4景高分七號(hào)衛(wèi)星立體像對(duì)，每個(gè)立體像對(duì)包含一景前視全色影像、一景后視全色影像及其對(duì)應(yīng)的多光譜影像。處理流程包括影像融合、影像匹配、語(yǔ)義約束的非地面點(diǎn)剔除、幾何語(yǔ)義聯(lián)合約束平差、DOM/DEM生產(chǎn)等，其中影像融合及匹配可采用現(xiàn)有技術(shù)，本文不再贅述。

(1)語(yǔ)義分割約束的非地面點(diǎn)剔除。采用圖5所示的快速語(yǔ)義分割結(jié)果，即可用于非地面點(diǎn)剔除，同名點(diǎn)局部濾除情況如圖6所示，可以看出大量原始同名點(diǎn)位于建筑物和植被區(qū)域，而經(jīng)語(yǔ)義分割結(jié)果約束后，非地面點(diǎn)被成功濾除且地面點(diǎn)得以準(zhǔn)確保留。圖7所示為4景高分七號(hào)立體像對(duì)區(qū)域網(wǎng)的非地面同名點(diǎn)剔除結(jié)果，從左至右依次為原始影像語(yǔ)義分割結(jié)果、原始匹配點(diǎn)分布圖、語(yǔ)義約束后保留匹配點(diǎn)分布圖。4景前后視立體像對(duì)中語(yǔ)義信息濾除的連接點(diǎn)數(shù)量和比例見表1，可以看出約88%～96%的同名點(diǎn)被成功濾除，且語(yǔ)義約束技術(shù)能夠在保證控制點(diǎn)高程精度的同時(shí)，極大地減小區(qū)域網(wǎng)平差的數(shù)據(jù)量。

圖6 語(yǔ)義分割約束的非地面點(diǎn)濾除效果

圖7 語(yǔ)義分割約束的非地面點(diǎn)剔除結(jié)果

表1 4組高分七號(hào)立體像對(duì)匹配點(diǎn)濾除數(shù)量統(tǒng)計(jì)

(2)幾何語(yǔ)義聯(lián)合約束區(qū)域網(wǎng)平差。為了驗(yàn)證幾何語(yǔ)義聯(lián)合約束平差處理的有效性，采用4種方案進(jìn)行結(jié)果對(duì)比，即原始影像直接前方交會(huì)、基于原始匹配點(diǎn)的平高控制點(diǎn)平差(不用語(yǔ)義信息剔除非地面點(diǎn))和基于語(yǔ)義約束剔除非地面點(diǎn)的平高控制點(diǎn)平差以及帶控制點(diǎn)平差，需要說(shuō)明的是所有平差方案中的控制點(diǎn)均來(lái)自于1∶1萬(wàn)DEM和控制點(diǎn)影像庫(kù)中自動(dòng)匹配的同名點(diǎn)，未施加任何人工干預(yù)。為了驗(yàn)證平差精度，采用39個(gè)人工量測(cè)的檢查點(diǎn)進(jìn)行平面高程精度檢查，其中檢查點(diǎn)平面位置來(lái)源于高精度控制影像，高程來(lái)自1∶1萬(wàn)DEM數(shù)據(jù)，精度均優(yōu)于0.5 m。4種不同方案平差后檢查點(diǎn)精度見表2。

表2 3種不同控制策略的全自動(dòng)平差精度對(duì)比

可以看出，該組高分七號(hào)衛(wèi)星影像的直接定位精度較差，平面為8 m左右，高程達(dá)到22 m，主要原因在于影像獲取時(shí)間較早，在軌幾何檢校過(guò)程尚未全部完成。使用原始匹配點(diǎn)進(jìn)行平高控制區(qū)域網(wǎng)平差后，檢查點(diǎn)高程中誤差提高到7.70 m，但仍遠(yuǎn)低于高分七號(hào)衛(wèi)星的理想定位精度，說(shuō)明高層建筑、樹木等凸起地物的DEM高程錯(cuò)誤問(wèn)題給平差結(jié)果帶來(lái)顯著影響。采用語(yǔ)義分割結(jié)果剔除非地面控制點(diǎn)后，基于保留的全自動(dòng)匹配平面高程控制進(jìn)行區(qū)域網(wǎng)平差，平面定位精度大幅提升至2 m以內(nèi)，高程精度優(yōu)于0.7 m，充分驗(yàn)證了語(yǔ)義約束對(duì)于提升亞米級(jí)立體影像高程精度的顯著效果。從39個(gè)檢查點(diǎn)中選取均勻分布的20個(gè)作為控制點(diǎn)、其余19個(gè)作為檢查點(diǎn)進(jìn)行平差后，檢查點(diǎn)平面和高程精度均有一定提升，但幅度并不明顯，說(shuō)明語(yǔ)義信息輔助的全自動(dòng)平差技術(shù)完全有潛力代替?zhèn)鹘y(tǒng)的人工刺點(diǎn)生產(chǎn)模式?？紤]到1∶1萬(wàn)DEM數(shù)據(jù)的高程精度約0.5 m，因此根據(jù)誤差傳播規(guī)律可知，最后兩種區(qū)域網(wǎng)平差方案的實(shí)際高程精度也應(yīng)該在0.5 m左右，完全滿足1∶1萬(wàn)比例尺地圖制作和更新的精度要求。

(3)立體影像DOM/DEM生產(chǎn)。利用上述第3種平差策略得到的高精度RPC模型與1∶1萬(wàn)DEM數(shù)據(jù)對(duì)高分七號(hào)前視和后視全色影像進(jìn)行正射糾正，得到的DOM接邊精度如圖8所示。可以發(fā)現(xiàn)，雖然前后視影像具有約33°的成像視角差異，導(dǎo)致建筑物和樹木等突起地物具有顯著的鑲嵌誤差，但是機(jī)場(chǎng)跑道、運(yùn)動(dòng)場(chǎng)等地面目標(biāo)的鑲嵌誤差極小，進(jìn)一步驗(yàn)證了區(qū)域網(wǎng)平差結(jié)果具有很好的高程精度。

圖8 語(yǔ)義信息輔助平差后高分七號(hào)前后視全色DOM鑲嵌精度卷簾示意圖

以上述精準(zhǔn)幾何處理方式獲取的高精度RPC模型作為輸入，采用立體衛(wèi)星影像近似核線影像生成算法[20]，以SRTM數(shù)據(jù)為輔助進(jìn)行核線立體影像生產(chǎn)，核線重采樣后殘余上下視差中誤差優(yōu)于0.05像素。然后采用粗略地形引導(dǎo)的物方半全局密集匹配SGVLL算法進(jìn)行密集匹配[21]，經(jīng)自動(dòng)濾波后獲取的丘陵和山區(qū)DEM產(chǎn)品如圖9所示，精度分別為2.33 m和3.23 m，均滿足1∶1萬(wàn)比例尺DEM產(chǎn)品的精度要求。上述試驗(yàn)充分驗(yàn)證了語(yǔ)義約束的全自動(dòng)幾何處理能夠達(dá)到很高的精度水平。

圖9 高分七號(hào)衛(wèi)星立體像對(duì)丘陵(a)和山區(qū)(b)DEM生產(chǎn)結(jié)果

4.2.2 超大范圍多源衛(wèi)星影像快速處理

國(guó)家自然資源監(jiān)測(cè)、全球地理信息建設(shè)等重大工程，都需要超大范圍衛(wèi)星影像的快速處理技術(shù)作為支撐。筆者所在課題組研發(fā)了多模態(tài)遙感影像自動(dòng)化智能處理系統(tǒng)MIPS，采用多級(jí)并行計(jì)算實(shí)現(xiàn)衛(wèi)星影像自動(dòng)化處理。圖10所示為覆蓋蒙古地區(qū)的1551景資源三號(hào)衛(wèi)星和高分一號(hào)衛(wèi)星影像區(qū)域網(wǎng)平差生產(chǎn)示例，其中包含668景高分一號(hào)全色影像和883景資源三號(hào)下視全色影像。影像匹配在一臺(tái)工作站上完成，工作站搭載一顆Intel-Xeon-W3275M處理器，共有28個(gè)核心提供56線程，內(nèi)存空間192 GB，固態(tài)硬盤空間8 TB，搭載了兩塊Nvidia-RTX-3090顯示卡。生產(chǎn)使用的參考影像和原始影像均存儲(chǔ)在固態(tài)硬盤空間中。匹配所使用的參考影像是公眾地理信息衛(wèi)星影像，分辨率約為3 m。

藍(lán)色為資源三號(hào)影像，紅色為高分一號(hào)影像

每景影像通過(guò)自動(dòng)匹配得到約100個(gè)控制點(diǎn)，測(cè)區(qū)中控制點(diǎn)總數(shù)約為12萬(wàn)。在連接點(diǎn)匹配中，共匹配了4987個(gè)影像對(duì)，經(jīng)語(yǔ)義分割結(jié)果約束剔除后剩余連接點(diǎn)總數(shù)約為96萬(wàn)。采用筆者所在課題組研發(fā)的多核CPU并行共軛梯度法進(jìn)行區(qū)域網(wǎng)平差，耗時(shí)約20 s，遠(yuǎn)遠(yuǎn)高于現(xiàn)有傳統(tǒng)方法的平差效率，平差后像點(diǎn)反投影中誤差分別為x方向0.55像素、y方向0.34像素。平差后影像間的接邊中誤差如圖11所示，可見大部分影像重疊區(qū)的接邊中誤差都在2像素以內(nèi)，極少量影像接邊中誤差超過(guò)2像素，一般發(fā)生在云霧較為濃厚的影像上。平差后影像定位精度方面，大部分影像的控制點(diǎn)平面中誤差均優(yōu)于5 m。

圖11 蒙古地區(qū)1551景國(guó)產(chǎn)影像區(qū)域網(wǎng)平差后DOM鑲嵌中誤差

由于采用自主研發(fā)的CPU/GPU高性能并行處理算法，單機(jī)情況下該組蒙古地區(qū)1551景衛(wèi)星影像的處理時(shí)長(zhǎng)為19 h，包括云區(qū)檢測(cè)、影像融合、影像匹配、區(qū)域網(wǎng)平差、正射影像糾正等全部處理流程。

4.3 語(yǔ)義輔助多源影像時(shí)序合成

4.3.1 多時(shí)相影像云檢測(cè)修復(fù)

光學(xué)衛(wèi)星影像中的云區(qū)會(huì)影響地表觀測(cè)信息的整體一致性，容易給影像融合和解譯等任務(wù)帶來(lái)困難，因此需要進(jìn)行修復(fù)處理。在多時(shí)相影像語(yǔ)義輔助精準(zhǔn)幾何處理的基礎(chǔ)上，含云影像修復(fù)方法將快速語(yǔ)義分割獲得的云區(qū)及云陰影區(qū)域視為無(wú)效像元區(qū)域，利用多時(shí)相影像的矩陣低秩信息對(duì)其進(jìn)行修復(fù)[22]，并通過(guò)對(duì)云區(qū)和非云區(qū)設(shè)定不同的權(quán)值，使得到云區(qū)修復(fù)的同時(shí)盡量保留非云區(qū)的原始信息。如圖12所示為6景高分二號(hào)衛(wèi)星多光譜含云影像的云檢測(cè)修復(fù)結(jié)果，原始影像中的含云量約為8%～50%，且影像獲取時(shí)間間隔為數(shù)月甚至一年以上，因此影像間差異較大，可以看出經(jīng)過(guò)檢測(cè)修復(fù)處理后，所有時(shí)相的影像均取得了較好的修復(fù)效果。

圖12 高分二號(hào)衛(wèi)星6景多光譜含云影像檢測(cè)修復(fù)結(jié)果

4.3.2 多源遙感影像鑲嵌合成

在大范圍遙感影像生產(chǎn)中，通常需要對(duì)經(jīng)過(guò)幾何處理的多張像進(jìn)行鑲嵌拼接。但這些影像來(lái)自不同時(shí)相甚至異源影像，影像間往往具有較大的色彩差異。圖13所示為由13幅衛(wèi)星影像組成的多源影像鑲嵌測(cè)區(qū)，從圖13(a)可以看出相鄰影像間存在較大的色彩差異，拼接處存在明顯的色彩跳躍現(xiàn)象，拼接痕跡嚴(yán)重，對(duì)影像解譯與分析造成不利影響。在語(yǔ)義分割結(jié)果基礎(chǔ)上，選擇裸地、建筑屋頂?shù)确€(wěn)定地物區(qū)域，采用全局與局部相結(jié)合的色彩一致性處理方法進(jìn)行色彩處理[23]。該方法無(wú)須指定參考數(shù)據(jù)，根據(jù)待處理影像自身特性進(jìn)行色彩差異消除。全局優(yōu)化是將影像間色彩差異的消除問(wèn)題轉(zhuǎn)化為最小二乘優(yōu)化求解問(wèn)題，消除影像間的整體色彩差異；局部?jī)?yōu)化則是在全局優(yōu)化基礎(chǔ)上，對(duì)鄰接影像重疊區(qū)域的殘余色彩差異進(jìn)行處理，最終得到色彩信息一致、過(guò)渡平滑的處理結(jié)果。由圖13(b)可見，經(jīng)過(guò)色彩一致性處理后，影像間色彩差異基本消除，符合目視解譯及地物信息提取的需求。

圖13 多源影像色彩一致性處理結(jié)果

4.4 多源影像地物信息智能提取

4.4.1 高分辨率影像水體提取

高分辨率遙感衛(wèi)星影像中不同類型水體目標(biāo)呈現(xiàn)出尺度不一、形狀多樣、光譜色彩差異大等特點(diǎn)[24]，研究團(tuán)隊(duì)聯(lián)合弱監(jiān)督深度語(yǔ)義分割網(wǎng)絡(luò)和空間一致性邊界優(yōu)化方法(簡(jiǎn)稱聯(lián)合優(yōu)化提取方法)進(jìn)行水體目標(biāo)提取。采用“高分辨率可見光圖像水體目標(biāo)自動(dòng)提取”比賽公開的數(shù)據(jù)集進(jìn)行試驗(yàn)，圖14為7種水體提取方法在該測(cè)試集中高分二號(hào)衛(wèi)星影像的自動(dòng)提取結(jié)果示例，表3為對(duì)應(yīng)的精度評(píng)定結(jié)果。從定量結(jié)果可以看出，聯(lián)合優(yōu)化提取方法的FWIoU達(dá)到89%，水體提取效果明顯優(yōu)于其他深度學(xué)習(xí)方法。例如，相比于單一深度語(yǔ)義分割網(wǎng)絡(luò)結(jié)構(gòu)表現(xiàn)最優(yōu)的CE-Net，聯(lián)合優(yōu)化提取方法在FWIoU上提高了0.68%，在比賽系統(tǒng)打分中提高了0.96。該方法可以有效地綜合不同深度語(yǔ)義分割網(wǎng)絡(luò)的優(yōu)點(diǎn)從而提高水體目標(biāo)提取精度，采用旋轉(zhuǎn)方式對(duì)預(yù)測(cè)結(jié)果進(jìn)行綜合判斷提升模型的可靠性和區(qū)域預(yù)測(cè)一致性，空間一致性邊界優(yōu)化則能夠在不產(chǎn)生噪點(diǎn)的前提下，達(dá)到優(yōu)化提取結(jié)果邊緣的效果。

圖14 7種不同水體提取方法可視化結(jié)果

表3 7種不同水體提取方法結(jié)果精度對(duì)比

4.4.2 高分辨率影像建筑物提取

遙感影像建筑物自動(dòng)化提取在城市發(fā)展規(guī)劃、人口估計(jì)、地圖制作與更新等應(yīng)用中具有極為重要的意義。由于遙感影像成像機(jī)理、建筑物自身特性、背景環(huán)境復(fù)雜等因素，從遙感影像中自動(dòng)提取建筑物是艱難長(zhǎng)期的挑戰(zhàn)，現(xiàn)有的建筑物提取依賴于經(jīng)驗(yàn)設(shè)計(jì)特征，耗時(shí)長(zhǎng)、泛化能力差，無(wú)法實(shí)現(xiàn)自動(dòng)化，而借助人工智能方法則有可能實(shí)現(xiàn)端到端的建筑物快速提取。文獻(xiàn)[25]提出一種基于多尺度融合全卷積神經(jīng)網(wǎng)絡(luò)的建筑物提取方法MA-FCN，以多源遙感衛(wèi)星合成影像為輸入，結(jié)合深度學(xué)習(xí)語(yǔ)義分割及規(guī)則化算法實(shí)現(xiàn)建筑矢量邊緣的高精度提取。MA-FCN方法的部分提取結(jié)果如圖15所示，表4所示為5種不同方法的統(tǒng)計(jì)對(duì)比，可以看出MA-FCN方法的建筑物提取效果最好，準(zhǔn)確率可達(dá)0.952，明顯超越其他主流方法。

圖15 基于多尺度融合語(yǔ)義分割網(wǎng)絡(luò)的建筑物提取

表4 5種不同方法的建筑物提取結(jié)果

4.4.3 道路網(wǎng)拓?fù)涫噶孔詣?dòng)提取

作為具有復(fù)雜拓?fù)潢P(guān)系的線狀地物，道路數(shù)據(jù)在實(shí)際生產(chǎn)中應(yīng)用廣泛，但從高分辨率影像中進(jìn)行道路提取面臨諸多困難。文獻(xiàn)[26]提出了一種同時(shí)提取遙感影像道路路面和中心線的深度學(xué)習(xí)融合提取方法，充分發(fā)揮卷積神經(jīng)網(wǎng)絡(luò)在道路路面分割和道路中心線追蹤中的優(yōu)勢(shì)，采用路面和中心線結(jié)果相互約束、從粗到細(xì)逐級(jí)優(yōu)化的方式進(jìn)行遙感影像道路網(wǎng)提?。孩賹⑸疃葘W(xué)習(xí)和經(jīng)典機(jī)器學(xué)習(xí)方法結(jié)合，利用提升策略(boosting method)優(yōu)化初始分割結(jié)果，并采用高效的提升分割網(wǎng)絡(luò)模型增強(qiáng)道路路面分割結(jié)果的連接性。②在分割結(jié)果基礎(chǔ)上檢測(cè)多個(gè)特征點(diǎn)作為追蹤起點(diǎn)，利用CNN決策網(wǎng)絡(luò)輸出的“追蹤動(dòng)作”和“追蹤方向”來(lái)逐段構(gòu)建道路網(wǎng)，增強(qiáng)道路中心線結(jié)果的完整性。③充分發(fā)揮語(yǔ)義分割方法和追蹤方法的優(yōu)勢(shì)，克服原始分割結(jié)果中道路斷裂以及單起點(diǎn)追蹤結(jié)果中道路不完整的缺點(diǎn)，融合得到準(zhǔn)確、完整、連通的道路網(wǎng)數(shù)據(jù)。圖16所示為3種道路網(wǎng)提取結(jié)果的可視化展示，表5為不同城市地區(qū)的道路網(wǎng)提取結(jié)果統(tǒng)計(jì)對(duì)比，可以看出融合提取方法的結(jié)果顯著優(yōu)于其他兩種道路網(wǎng)提取方法。

圖16 語(yǔ)義分割和多起點(diǎn)追蹤融合道路網(wǎng)提取

表5 3種不同方法的道路網(wǎng)提取結(jié)果

5 結(jié)束語(yǔ)

近10年來(lái)，隨著計(jì)算機(jī)技術(shù)的進(jìn)步和大數(shù)據(jù)時(shí)代的到來(lái)，多源廣義控制信息在自動(dòng)化幾何處理方面發(fā)揮了重要作用。但是，目前遙感影像的幾何處理和語(yǔ)義信息提取反演仍然在很大程度上互相獨(dú)立，智能化測(cè)繪時(shí)代攝影測(cè)量與遙感的發(fā)展面臨新的挑戰(zhàn)。例如米級(jí)尤其是亞米級(jí)影像中存在的云區(qū)、水體等時(shí)變地物和建筑物、樹木等高出地面的物體，會(huì)導(dǎo)致與已有地理信息的自動(dòng)匹配結(jié)果中往往存在顯著的平面和高程系統(tǒng)誤差，嚴(yán)重制約自動(dòng)化處理的精度和效率；而幾何處理精度有限的多源多時(shí)相影像，又會(huì)進(jìn)一步影響語(yǔ)義信息提取和監(jiān)測(cè)結(jié)果的完整性和可靠性。本文提出了攝影測(cè)量遙感的概念，探討了其主要科學(xué)問(wèn)題及應(yīng)用領(lǐng)域，并以多源遙感衛(wèi)星影像為例，通過(guò)語(yǔ)義提取與幾何處理交叉閉環(huán)融合的全新思路，構(gòu)建一體化攝影測(cè)量遙感智能處理技術(shù)框架。充分利用語(yǔ)義分割信息自動(dòng)挖掘多源廣義地理信息中的高精度有效控制，代替?zhèn)鹘y(tǒng)的人工刺點(diǎn)生產(chǎn)模式進(jìn)行幾何語(yǔ)義一體化處理，顯著提升了多源遙感影像精準(zhǔn)快速處理的自動(dòng)化和智能化水平，可應(yīng)用于超大范圍高分辨率多源影像鑲嵌合成、三維地形、語(yǔ)義分割圖、地類覆蓋圖等產(chǎn)品的快速智能化生產(chǎn)應(yīng)用，有望為智能化測(cè)繪新時(shí)代多源遙感影像的精準(zhǔn)快速處理提供新的解決方案。