基于強(qiáng)化學(xué)習(xí)的月表地貌主動(dòng)感知方法研究

余 萌，居鶴華，韓亮亮

(1.南京航空航天大學(xué)航天系統(tǒng)工程系，南京210016；2.上海宇航系統(tǒng)工程研究所，上海201109；3.中國(guó)航天科技集團(tuán)有限公司空間結(jié)構(gòu)與機(jī)構(gòu)技術(shù)實(shí)驗(yàn)室，上海201108)

1 引言

隨著航天技術(shù)的不斷發(fā)展，在月球表面漫游巡視任務(wù)呈現(xiàn)多元化、多地化的發(fā)展趨勢(shì)，如嫦娥四號(hào)月表巡視器執(zhí)行的月球背面勘探任務(wù)[1]，以及正在論證的月面極地探索計(jì)劃[2-3]等。未來的月面勘探任務(wù)將在可靠性得到充分保障的前提下，不斷探索新區(qū)域，包括與地面基站存在通訊阻礙、欠缺先驗(yàn)測(cè)繪知識(shí)的月表區(qū)域。因此如何在陌生的星表環(huán)境執(zhí)行安全的自主任務(wù)，利用巡視器有限的壽命自主探索更多具有科學(xué)價(jià)值的地況與地貌，便成為提高月表巡視任務(wù)的關(guān)鍵要素。

Schuster等[4]認(rèn)為安全性高、成本低廉的星表地貌自主探索可靠方案能夠顯著提高星表探索任務(wù)效率[4]。Schwarz等[5]提出在巡視器上裝備一些主動(dòng)感知設(shè)備，如放置靈巧機(jī)械手，通過主動(dòng)接觸巖面來感知地貌。Ono等提出利用人工智能方法進(jìn)行地貌自主分析，如利用圖像分割方法去理解星表圖像中的興趣區(qū)域[6]、利用局部特征檢測(cè)方法進(jìn)行障礙檢測(cè)[7]等。雖然地貌自主感知技術(shù)能夠有效提高探測(cè)效率，但出于可靠性考慮，目前的星表巡視任務(wù)尚以半自主遙操作為主[8]，針對(duì)星表地貌自主感知技術(shù)也尚處在概念研究與初步仿真測(cè)試階段。

考慮未來月表漫游巡視任務(wù)的發(fā)展需求，針對(duì)面向未來月面巡視器自主地貌感知的應(yīng)用需求，本文提出一種月表地貌主動(dòng)感知方法，構(gòu)建地貌特征知識(shí)庫，并利用強(qiáng)化學(xué)習(xí)方法進(jìn)行在線規(guī)劃相機(jī)參數(shù)以實(shí)現(xiàn)地貌的主動(dòng)感知。

2 組建月表地貌知識(shí)庫

月表地貌主動(dòng)感知方法流程如圖1所示。圖中地貌主動(dòng)感知方法分為離線(左)與在線(右)過程。其中離線過程包括組建供強(qiáng)化學(xué)習(xí)訓(xùn)練的地貌知識(shí)庫，以及基于知識(shí)庫的獎(jiǎng)勵(lì)函數(shù)構(gòu)建；在線過程包括基于顯著性分析的目標(biāo)地貌檢測(cè)以及后續(xù)主動(dòng)感知觸發(fā)判據(jù)的設(shè)定。

圖1 月表地貌主動(dòng)感知方法流程圖Fig.1 Flow chart of lunar landform active perception

地貌知識(shí)庫目的是為強(qiáng)化學(xué)習(xí)方法提供訓(xùn)練樣本，進(jìn)而通過訓(xùn)練實(shí)現(xiàn)目標(biāo)地貌的主動(dòng)感知。由于月表地貌普遍顏色單一，圖像紋理表征稀疏，且缺乏普適的描述模型。紋理特征細(xì)節(jié)的匱乏造成基于機(jī)器學(xué)習(xí)的方法很難找到一個(gè)合適的分類界限。同時(shí)，現(xiàn)階段所能獲取的月表圖像的分辨率及數(shù)量有限，難以構(gòu)建用于機(jī)器學(xué)習(xí)方法訓(xùn)練的大規(guī)模樣本集。考慮上述因素，本文從圖像局部特征描述的角度來構(gòu)建樣本集，以保證小規(guī)模平紋理樣本彼此之間的辨識(shí)度。

將前期收集的星表圖像集合表示為Ip，并在每張圖像中標(biāo)注興趣地貌特征，將地貌類別表示為 Oi，i=1，…，No。 其中 Oi代表第 i個(gè)地貌類別，No代表地貌類別的總數(shù)。針對(duì)每類地貌，在其所屬圖像區(qū)域內(nèi)提取SURF(Speeded up robust feature)特征描述算子，構(gòu)成特征描述算子集合Oi，見式(1)。SURF算子是由Bay等[9]提出的一種圖像局部特征描述算子，其借鑒Haar模板與積分圖像思想，有效提高了尺度不變特征提取的運(yùn)行效率。

其中，SOi表示針對(duì)地貌類別Oi的SURF特征描述子集合，nOi代表含有Oi類地貌的圖像個(gè)數(shù)。值得注意的是某類地貌的特征描述集合并不是單幅圖像特征，而是通過從多幅圖像中提取局部特征來完成組建。由于每幅圖像拍攝條件受多種因素影響，如太陽高度角、拍攝距離與角度、光照強(qiáng)度等，其陰影區(qū)域并不具備代表性，因此在進(jìn)行SURF特征提取前利用K-means方法[10]劃分圖像陰影區(qū)域，并忽略分布在距離陰影邊緣距離5個(gè)像素內(nèi)的SURF特征描述子。

3 目標(biāo)地貌預(yù)估

3.1 顯著性分析

在進(jìn)行地貌感知前，需要先預(yù)估當(dāng)前場(chǎng)景是否存在興趣目標(biāo)。不同于地球地貌，月表地貌的顏色更為單一，且紋理表征較為貧瘠，可能導(dǎo)致在地面成熟應(yīng)用的目標(biāo)識(shí)別方法(如基于深度學(xué)習(xí)的一系列目標(biāo)識(shí)別算法)因樣本區(qū)分度不高而出現(xiàn)頻繁誤報(bào)。綜合考慮月表地貌的特殊性與星載計(jì)算機(jī)運(yùn)算能力，將地貌目標(biāo)的興趣程度近似等同于其圖像表征的紋理復(fù)雜程度，認(rèn)為圖像中紋理特征越明顯、與背景區(qū)分度越高的區(qū)域，其對(duì)應(yīng)興趣地貌的可能性越高。選擇圖像顯著性分析方法來預(yù)判地貌的興趣程度，圖像的顯著性根據(jù)視覺關(guān)注機(jī)理指視覺角度值得關(guān)注的局部區(qū)域，對(duì)應(yīng)本文的應(yīng)用背景便是具有一定紋理特征的月表地貌。

綜合考慮顯著性分析方法的精度與實(shí)時(shí)性，選擇經(jīng)典的譜殘差方法(Spectral Residual Method)[11]進(jìn)行圖像中地貌顯著性分析，示例結(jié)果見圖2。圖2(a)為原星表拍攝圖像，圖2(b)為顯著區(qū)域提取結(jié)果，可以看到顯著性區(qū)域集中在圖中視覺關(guān)注度最高的巖石附近。在圖像顯著性分析的基礎(chǔ)上，設(shè)定地貌主動(dòng)感知的觸發(fā)條件，主要依據(jù)是圖像顯著性區(qū)域中對(duì)應(yīng)目標(biāo)地貌的可能性。

圖2 譜殘差顯著性分析示意圖Fig.2 Illustration of Spectral Residual Method

3.2 感知目標(biāo)判定依據(jù)

假設(shè)單幅圖像中檢測(cè)到N個(gè)閉合顯著輪廓，其相應(yīng)的像素面積記作式(2)。

其中，s1，s2，…，sN為N個(gè)閉合輪廓的像素面積。計(jì)算像素面積中最大面積與次大面積的面積比，見式(3)。

其中，Smax1為圖像中最大的顯著性輪廓面積；Smax2=max{MSmax1}為第二大的輪廓面積。當(dāng)rS＞1.5時(shí)，認(rèn)為當(dāng)前圖像內(nèi)含有目標(biāo)地貌，即滿足地貌主動(dòng)感知觸發(fā)判據(jù)。

4 月表地貌主動(dòng)感知

4.1 地貌主動(dòng)感知概念

主動(dòng)感知地貌的核心在于“主動(dòng)”，具體指通過主動(dòng)調(diào)節(jié)相機(jī)的內(nèi)外參數(shù)來實(shí)現(xiàn)對(duì)當(dāng)前場(chǎng)景內(nèi)目標(biāo)地貌的更好觀測(cè)。

對(duì)目標(biāo)地貌更好的觀測(cè)可以體現(xiàn)在與地貌知識(shí)庫中與某一地貌具有更高的相似度。假設(shè)在k時(shí)刻觸發(fā)地貌主動(dòng)感知判據(jù)，從像素面積最大的顯著性區(qū)域中提取SURF局部特征集合，并記作Zk，則當(dāng)前目標(biāo)地貌與知識(shí)庫中地貌的相似度可以通過Zk與知識(shí)庫中隸屬地貌的特征集的交集來判斷，見式(4)。

其中‖·‖代表集合的基數(shù)，即所含元素的個(gè)數(shù)，Zk∩SOq為觀測(cè)特征集Zk與第q類地貌特征集中匹配的特征集合。式中ak∈(0，1)為目標(biāo)與知識(shí)庫中地貌的相似度，ak越接近于1，則意味當(dāng)前目標(biāo)與知識(shí)庫中的某類地貌越相似。地貌主動(dòng)感知的目的是不斷通過主動(dòng)調(diào)節(jié)參數(shù)最大化相機(jī)視場(chǎng)內(nèi)的目標(biāo)地貌與知識(shí)庫中某類地貌的相似度。

由式(4)可知，地貌相似度僅與觀測(cè)量與知識(shí)庫中地貌特征集交集的個(gè)數(shù)有關(guān)。這種相似度判斷方法雖簡(jiǎn)單易行，但在本文應(yīng)用背景下存在隱患：由于月表地貌顏色單一、紋理貧瘠，與自然圖像相比，其反應(yīng)在圖像上的特征多樣性較為匱乏，進(jìn)而導(dǎo)致在樣本集中不同的地貌特征集間也存在交集，影響相似度判斷的準(zhǔn)確性。針對(duì)此問題，將結(jié)合強(qiáng)化學(xué)習(xí)框架，從另一角度對(duì)地貌相似性進(jìn)行判斷。

4.2 基于貝葉斯方法的地貌相似度度量指標(biāo)

以貝葉斯方法為基礎(chǔ)，構(gòu)建地貌知識(shí)庫相對(duì)于觀測(cè)特征集的后驗(yàn)概率，并據(jù)此建立觀測(cè)特征集與已編目地貌相似程度的度量。典型的知識(shí)庫地貌-觀測(cè)特征集條件概率見式(5)。

其中，F(xiàn)k=Zk∩SO為k時(shí)刻觀測(cè)特征集Zk與某類地貌特征集SO的交集。式中p(Fk|SO)為Fk關(guān)于某地貌特征集SO的先驗(yàn)概率，見式(6)。

其中， S= {SO1，SO2，…，SOK}為知識(shí)庫中所有地貌類別的特征描述子集合(共計(jì)K類地貌)。若不區(qū)分地貌出現(xiàn)的優(yōu)先級(jí)，則可以認(rèn)為任何一類地貌出現(xiàn)的概率都相同，即p(SO)=1/K。 式(5)中p(Fk)可以通過遍歷地貌類別的概率密度積分來實(shí)現(xiàn)，見式(7)。

如式(5)～(7)所示，將地貌相似度求取建模為貝葉斯后驗(yàn)概率形式，弱化了因不同地貌特征集間存在交集這一情況對(duì)相似度判斷精度的影響，在后驗(yàn)概率描述基礎(chǔ)上，進(jìn)一步結(jié)合強(qiáng)化學(xué)習(xí)框架建立完整的地貌主動(dòng)感知方法。

4.3 強(qiáng)化學(xué)習(xí)框架下的地貌主動(dòng)感知

服務(wù)于主動(dòng)感知的敏感器動(dòng)作參數(shù)(以離散的形式描述)見式(8)。

其中，Af為單目相機(jī)焦距的調(diào)整參數(shù)序列，Aδ為相機(jī)云臺(tái)偏航角的動(dòng)作空間序列，f0、δ0分別代表初始的焦距與云臺(tái)偏航角，+、-分別代表焦距放大收縮，以及云臺(tái)沿體軸z軸左轉(zhuǎn)及右轉(zhuǎn)。上述動(dòng)作參數(shù)為2個(gè)維度，在實(shí)際任務(wù)中還可以根據(jù)計(jì)算能力增加動(dòng)作空間的自由度，如加入相機(jī)的云臺(tái)俯仰角控制。

根據(jù)4.2節(jié)中建立的后驗(yàn)概率，此處重新梳理強(qiáng)化學(xué)習(xí)框架中的獎(jiǎng)勵(lì)函數(shù)，如式(9)所示。

其中，Rh·()為獎(jiǎng)勵(lì)函數(shù)，x為當(dāng)前相機(jī)狀態(tài)量，x′為下一時(shí)刻相機(jī)狀態(tài)量，xmax為最大許用狀態(tài)量；a=[af，aδ]為當(dāng)前相機(jī)調(diào)整動(dòng)作，其中 af∈ Af，aδ∈ Aδ；ΔI(a，x，x′) 為執(zhí)行動(dòng)作 a 后的后驗(yàn)概率Fisher信息熵增；CR?ΔI為獎(jiǎng)勵(lì)常數(shù)，設(shè)置此常數(shù)項(xiàng)的目的是當(dāng)相機(jī)狀態(tài)達(dá)到極限時(shí)(最大/最小焦距或云臺(tái)偏航角度)停止算法的訓(xùn)練工作；Cs?ΔI為動(dòng)作停止獎(jiǎng)勵(lì)常數(shù)，目的是若當(dāng)前狀態(tài)下執(zhí)行任何動(dòng)作均不能獲得回報(bào)時(shí)，立即停止動(dòng)作并結(jié)束訓(xùn)練。ΔI(a，x，x′)的具體描述形式見式(10)。

其中Z、Z′分別為當(dāng)前時(shí)刻以及下一時(shí)刻的觀測(cè)特征集；H O|Z( )為地貌集相對(duì)于觀測(cè)集的Fisher信息熵，用來描述觀測(cè)量關(guān)于地貌知識(shí)庫后驗(yàn)概率的完備性，其離散形式見式(11)。

式(11)不同于常規(guī)Fisher信息熵，引入了歸一化參數(shù)log NK( )，其中NK為與當(dāng)前觀測(cè)特征集Z相關(guān)的地貌類別總和，引入該項(xiàng)參數(shù)目的一是降低計(jì)算量，二是增加算法的針對(duì)性，即更加準(zhǔn)確感知某一類的地貌，而非追求感知地貌的數(shù)量?；谑?9)的獎(jiǎng)勵(lì)函數(shù)，可以建立完整的強(qiáng)化學(xué)習(xí)框架。具體而言，強(qiáng)化學(xué)習(xí)訓(xùn)練開始于基于圖像顯著性的主動(dòng)感知觸發(fā)，經(jīng)策略估值——策略更新的迭代最終收斂于最佳策略，此處的策略指的是為獲得更好的地貌感知結(jié)果而訓(xùn)練出來的相機(jī)參數(shù)動(dòng)作調(diào)整序列。將策略記作πA|X( )，其中 A={a1，a2，…，ak} 為動(dòng)作序列； X={x1，x2，…，xk}為相機(jī)狀態(tài)的歷史參數(shù)；將策略估值函數(shù)記為v，并認(rèn)為初始估值為v0=0，并將相機(jī)的狀態(tài)空間設(shè)定為7×7，對(duì)一個(gè)策略的改進(jìn)更新需要遍歷所有的狀態(tài)，針對(duì)每一步狀態(tài)都選擇能最大化獎(jiǎng)勵(lì)函數(shù)的參數(shù)動(dòng)作，該過程類似“貪婪”選取，即式(12)：

在得到新的估值函數(shù)與策略后進(jìn)行策略更新，并不斷進(jìn)行評(píng)估-更新的迭代，直到策略收斂[12]，見式(13)：

其中E代表策略評(píng)估，I代表策略改進(jìn)，由于狀態(tài)空間僅限定為7×7，策略估值-迭代通常能夠快速收斂。強(qiáng)化學(xué)習(xí)中的策略迭代算法如下：

輸入：地貌知識(shí)庫O，初始動(dòng)作序列A0，觀測(cè)特征集Z

初始化： vπ={0，….0}；π0=null；

設(shè)定收斂閾值：ε＞0，TStable?ε，CR，Cs＞0

While(TStable＞ε)

1.策略評(píng)估(Policy Evaluation)

利用貪婪選取方法，輸出vπ以及π//(式(12))2.策略更新(Policy Improvement)

輸出最終控制策略：π*=π

5 仿真算例與分析

基于改進(jìn)增強(qiáng)學(xué)習(xí)的地貌主動(dòng)感知方法進(jìn)行仿真計(jì)算。首先利用Rhino軟件生成三維行星地景，并在其中添加數(shù)個(gè)興趣地貌作為待感知目標(biāo)地貌，完整的三維行星地景以及目標(biāo)興趣地貌如圖3所示。針對(duì)這些興趣地貌分別模擬不同的光照條件及拍照位置，并從渲染的行星圖像中提取SURF特征點(diǎn)組建地貌知識(shí)庫。

圖3 基于Rhino的行星三維地景及模擬地貌Fig.3 3D planetary surface and simulated landforms generated by Rhino

將相機(jī)的調(diào)控參數(shù)離散化為7×7的狀態(tài)空間，即針對(duì)相機(jī)的焦距以及云臺(tái)載體均有7個(gè)不同取值，如式(14)所示：

其中狀態(tài)之間的轉(zhuǎn)移通過式(8)中的動(dòng)作參數(shù)完成。利用模擬變焦距相機(jī)以及1自由度載具云臺(tái)進(jìn)行實(shí)時(shí)仿真分析。仿真算例結(jié)果如圖4所示。S代表地貌感知開始時(shí)拍攝的圖像，G代表地貌感知結(jié)束時(shí)拍攝的圖像。圖5為所生成的控制序列。

圖4 仿真開始與結(jié)束時(shí)的地貌感知對(duì)比Fig.4 Comparison of landform sensing before and after simulation

圖5 地貌主動(dòng)感知?jiǎng)幼餍蛄蠪ig.5 Sequence of actions in active landform sensing

如圖5所示，經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練后，最終生成的主動(dòng)感知調(diào)整動(dòng)作一共有6步，見式(15)。

相機(jī)的動(dòng)作參數(shù)最終收斂于狀態(tài) [ fc++，δc-]，算法的迭代停止閾值設(shè)定為ε=0.01，共經(jīng)過14次迭代完成收斂，其中每次迭代生成的主動(dòng)感知?jiǎng)幼鞔螖?shù)如圖6所示。

圖6 每次策略估值-更新迭代的動(dòng)作次數(shù)Fig.6 Number of actions per each policy evaluationupdating iteration

如圖4、圖5所示，由增強(qiáng)學(xué)習(xí)訓(xùn)練得到的結(jié)果為拉近相機(jī)焦距，并向左旋轉(zhuǎn)相機(jī)云臺(tái)，即a*=[]。 相比原有的地貌觀測(cè)，經(jīng)參數(shù)調(diào)整后能夠更清晰地分辨圖像中的地貌，這是因?yàn)樵谙鄼C(jī)拉近后從地貌對(duì)應(yīng)的圖像區(qū)域內(nèi)提取的SURF特征集與特征知識(shí)庫中對(duì)應(yīng)的地貌特征及匹配度更高。在其余算例仿真中，經(jīng)強(qiáng)化學(xué)習(xí)訓(xùn)練后的地貌感知結(jié)果在視覺顯著性上均有不同程度的改善。

在仿真中發(fā)現(xiàn)本文算法的一些不足，該方法對(duì)地貌知識(shí)庫構(gòu)建的質(zhì)量較為依賴，若當(dāng)前待感知的興趣地貌在知識(shí)庫中未被描述充分(例如拍攝視角/位置欠佳或光照條件欠佳)，其地貌主動(dòng)感知結(jié)果并不理想。此外，供組建地貌數(shù)據(jù)庫的月表地貌圖像數(shù)量及地元分辨率也影響算法的效果：圖像數(shù)量的欠缺會(huì)導(dǎo)致訓(xùn)練集完備性不足，影響興趣地貌的響應(yīng)成功率；圖像地元分辨率的不足也會(huì)增大觀測(cè)特征集與地貌特征集的差異，進(jìn)而影響識(shí)別精度。針對(duì)以上不足，解決途徑是在巡視器前期勘探任務(wù)中根據(jù)收集到的現(xiàn)場(chǎng)圖像對(duì)地貌特征集進(jìn)行增廣，即在線篩選優(yōu)秀地貌特征實(shí)時(shí)更新地貌特征集，提高訓(xùn)練集的完備性與精度。與此同時(shí)，在實(shí)際任務(wù)中仍有必要針對(duì)地貌知識(shí)庫中未充分編目的興趣地貌開發(fā)主動(dòng)感知技術(shù)，后續(xù)工作將圍繞相關(guān)內(nèi)容展開進(jìn)一步研究。

6 結(jié)論

1)利用SURF特征描述算子組建了地貌特征知識(shí)庫，并在強(qiáng)化學(xué)習(xí)框架下設(shè)計(jì)了相應(yīng)地貌識(shí)別獎(jiǎng)勵(lì)函數(shù)，該方法利用SURF算子完成地貌的表征，在有效保證運(yùn)行效率的同時(shí)，實(shí)現(xiàn)對(duì)地貌的準(zhǔn)確識(shí)別；

2)在地貌在線感知階段，采用局部顯著性分析方法設(shè)計(jì)了地貌主動(dòng)感知的觸發(fā)判據(jù)，確保了地貌感知的有效性，將在線地貌感知與強(qiáng)化學(xué)習(xí)方法相結(jié)合建立了完整的月表地貌主動(dòng)感知方法；

3)仿真算例結(jié)果顯示，所提方法能夠在有限的策略估值-更新迭代次數(shù)內(nèi)給出有效地貌主動(dòng)感知的相機(jī)調(diào)整動(dòng)作參數(shù)，并且地貌感知結(jié)果較未采取主動(dòng)感知策略的拍攝結(jié)果從視覺顯著性角度具有一定幅度的提升，體現(xiàn)了地貌主動(dòng)感知算法的有效性。