月球表層采樣樣品智能確認(rèn)方法

鄭燕紅，鄧湘金，姚 猛，金晟毅，趙志暉，史 偉

(北京空間飛行器總體設(shè)計(jì)部，北京 100094)

0 引 言

從地外天體獲取土壤樣品在原位進(jìn)行分析或返回地球開展研究，是人類研究地外天體起源與演化的重要途徑，我國(guó)目前正在開展月球采樣返回任務(wù)研制工作，將利用表層采樣方式獲取月球土壤樣品，開展表層采樣過程智能化研究，將提升月球探測(cè)器的月面工作效率和處理采樣過程復(fù)雜問題的能力，也可為未來遠(yuǎn)距離行星、小天體采樣探測(cè)或采樣返回任務(wù)奠定基礎(chǔ)。

美國(guó)已成功實(shí)施多次地外天體無(wú)人表層采樣，鳳凰號(hào)采樣機(jī)械臂在火星表面11個(gè)不同位置完成了53次鏟挖[1]，在多模組補(bǔ)光燈支持下，臂載相機(jī)進(jìn)行了鏟挖樣品的遠(yuǎn)、近場(chǎng)成像與狀態(tài)確認(rèn)[2]；好奇號(hào)采樣機(jī)械臂通過采樣鏟開展了火星土壤的采集工作，利用高分辨率臂載相機(jī)進(jìn)行鏟挖前、后成像分析，利用桅桿相機(jī)進(jìn)行鏟挖過程監(jiān)視與確認(rèn)[3]。歐空局獵兔犬著陸器配置的采樣探測(cè)機(jī)械臂，試圖在相機(jī)支持下完成火星土壤研磨與分析[4]。俄羅斯福布斯-土壤采樣機(jī)械臂也攜帶了全景相機(jī)輔助實(shí)施采樣點(diǎn)選擇[5]。中國(guó)嫦娥三號(hào)巡視器機(jī)械臂進(jìn)行原位科學(xué)探測(cè)過程中，避障相機(jī)進(jìn)行了成像監(jiān)視[6]。可見，相機(jī)圖像在地外天體土壤樣品采集過程中，具有重要的過程監(jiān)視與狀態(tài)確認(rèn)作用。然而，已實(shí)施的這些原位采樣或科學(xué)探測(cè)任務(wù)在軌壽命周期均超過3個(gè)月，利用相機(jī)圖像進(jìn)行狀態(tài)確認(rèn)的及時(shí)性、快速性要求相對(duì)寬松，而對(duì)于在地外天體表面工作時(shí)間較短的探測(cè)任務(wù)，如何在無(wú)人參與情況下智能、高效、準(zhǔn)確地完成識(shí)別與確認(rèn)工作就顯得較為重要。

本文針對(duì)月球表層采樣過程中樣品識(shí)別的智能化進(jìn)行了研究，分析了鏟挖過程中相機(jī)圖像特點(diǎn)，提出了樣品智能識(shí)別流程，構(gòu)建了一類深度卷積識(shí)別網(wǎng)絡(luò)，詳細(xì)推導(dǎo)了正反向傳播過程，并結(jié)合月面表層采樣地面試驗(yàn)數(shù)據(jù)，開展了試驗(yàn)檢驗(yàn)工作。

1 表層采樣鏟挖過程

鏟挖是月球表層采樣獲取土壤樣品的重要手段，采樣器通常在多自由度機(jī)械臂的帶動(dòng)下運(yùn)動(dòng)至目標(biāo)采樣點(diǎn)上方[7-8]，通過臂載相機(jī)、采樣器的采樣鏟相互配合完成土壤樣品采集與狀態(tài)確認(rèn)。鏟挖采樣過程如圖1所示，鏟挖前采樣鏟在電機(jī)驅(qū)動(dòng)下轉(zhuǎn)動(dòng)至預(yù)定角度，與月壤表面保持一定距離，鏟挖采樣過程中，采樣鏟反向轉(zhuǎn)動(dòng)實(shí)現(xiàn)土壤挖掘，獲取月球樣品，隨后采樣鏟攜帶樣品運(yùn)動(dòng)至閉合位置。

獲取樣品是鏟挖采樣的直接目標(biāo)，受機(jī)械臂定位精度、采樣點(diǎn)地形、月壤及巖塊特性等影響，每次鏟挖采樣可能獲取足量樣品，也可能無(wú)法獲取樣品。若獲取足量樣品，采樣流程將轉(zhuǎn)入樣品轉(zhuǎn)移環(huán)節(jié)，若未獲取足量樣品時(shí)，采樣流程將重新回到鏟挖采樣環(huán)節(jié)。可見，每次鏟挖采樣的結(jié)果狀態(tài)將影響采樣流程的流向，對(duì)采樣策略的制定有重要影響。

在典型的地外天體表層采樣任務(wù)中，臂載相機(jī)通常可以對(duì)鏟挖過程進(jìn)行監(jiān)視，采樣鏟及樣品進(jìn)入視場(chǎng)后，臂載相機(jī)可對(duì)鏟挖動(dòng)態(tài)、到位靜態(tài)進(jìn)行連續(xù)成像，如圖1所示，這為器上自主或器地協(xié)同提供了狀態(tài)確認(rèn)的信息源。利用臂載相機(jī)在鏟挖過程中的圖像，同步完成樣品采集狀態(tài)智能識(shí)別，介入時(shí)機(jī)早、信息獲取快、機(jī)構(gòu)無(wú)附加動(dòng)作、不依賴操作人員，可提高采樣工作效率。

2 臂載相機(jī)圖像特點(diǎn)

臂載相機(jī)圖像質(zhì)量受光照環(huán)境的影響，在鏟挖過程中，臂載相機(jī)橫向活動(dòng)范圍局限在幾平方米的可采區(qū)內(nèi)，縱向范圍控制在與月面距離分米級(jí)甚至厘米級(jí)的高度空間中，其具有活動(dòng)范圍小、距離月面近、易受外部影響的特點(diǎn)。從外部環(huán)境來看，月球探測(cè)器在月面的著陸高度、著陸姿態(tài)存在一定的不確定性，而表層采樣的可采區(qū)通常位于探測(cè)器一個(gè)或兩個(gè)側(cè)面的鄰近區(qū)域，具有一定體積的探測(cè)器將給臂載相機(jī)的成像光照帶來一定的不確定性；另一方面，月面地形較為復(fù)雜，凹坑、石塊分布不均，目標(biāo)采樣點(diǎn)附近較高的坑沿、大石塊也可能改變鄰近月面的臂載相機(jī)光照環(huán)境?？梢?，臂載相機(jī)成像環(huán)境光照難以完全預(yù)知，難以準(zhǔn)確建模，圖像質(zhì)量不可避免地存在一定的差異性，因此，識(shí)別方法需具有智能性，對(duì)復(fù)雜的光照環(huán)境具有較好的適應(yīng)性。

臂載相機(jī)圖像內(nèi)容隨鏟挖場(chǎng)景動(dòng)態(tài)變化，不同的采樣點(diǎn)有不同的環(huán)境信息，識(shí)別目標(biāo)進(jìn)入視場(chǎng)的時(shí)刻也存在波動(dòng)性(土壤阻力矩的不確定性)，具有場(chǎng)景多變、動(dòng)目標(biāo)采集位置波動(dòng)的特點(diǎn)。如圖2所示，鏟挖采樣前圖像中呈現(xiàn)的是采樣點(diǎn)鄰近區(qū)域狀態(tài)，其隨采樣點(diǎn)、地形的變化而改變；鏟挖過程中，采樣鏟、樣品進(jìn)入視場(chǎng)，其在圖像中的形狀、大小均處于動(dòng)態(tài)變化中?？梢?，臂載相機(jī)的成像內(nèi)容動(dòng)態(tài)多變，既有到位后的靜態(tài)，也包含具有一定波動(dòng)性的動(dòng)態(tài)，因此，識(shí)別方法需在相對(duì)陌生的背景中智能、準(zhǔn)確地識(shí)別動(dòng)、靜結(jié)合的采樣鏟與樣品。

圖2 鏟挖測(cè)試中臂載相機(jī)圖像(局部)

臂載相機(jī)圖像中的有效識(shí)別目標(biāo)是樣品，樣品的形態(tài)由采樣鏟鏟挖深度與速度、月壤相對(duì)密度與顆粒分布、工作環(huán)境重力場(chǎng)等共同影響形成，具有形態(tài)多樣、易于流動(dòng)的特點(diǎn)。如圖3所示為地面試驗(yàn)過程中采樣鏟到位后臂載相機(jī)圖像中的樣品，其形態(tài)各異，當(dāng)樣品量較少時(shí)，樣品將在重力影響下從采樣鏟鏟尖向底部空腔內(nèi)滑落，極端情況下從到位后的臂載相機(jī)圖像中難以發(fā)現(xiàn)樣品，需利用采樣鏟運(yùn)動(dòng)過程中的拍攝圖像來分辨。另一方面，采樣鏟內(nèi)部形態(tài)與特定形態(tài)的樣品具有相似性，具有一定粗糙度的表面狀態(tài)也與月壤的離散顆粒特性接近，加之光照環(huán)境的影響，采樣鏟本身足以成為樣品識(shí)別的干擾之一。可見，臂載相機(jī)圖像中的樣品形態(tài)多樣、流動(dòng)性強(qiáng)、擾動(dòng)恒存，因此，識(shí)別方法需智能地對(duì)不定態(tài)樣品具有精準(zhǔn)的分辨能力。

圖3 地面試驗(yàn)中樣品形態(tài)示意

3 智能識(shí)別問題分解

從前面分析可見，利用臂載相機(jī)圖像對(duì)樣品自主識(shí)別，需要識(shí)別方法具有智能性，其簡(jiǎn)單描述如圖4，輸入為臂載相機(jī)圖像，輸出為是否有樣品存在，識(shí)別過程中無(wú)人參與。

圖4 樣品智能識(shí)別問題示意

然而，從表層采樣鏟挖過程和臂載相機(jī)圖像特點(diǎn)來看，智能識(shí)別面臨光照環(huán)境的不確定性、工作場(chǎng)景的差異性、動(dòng)靜過程的復(fù)雜性、樣品形態(tài)的多樣性等問題，在同一層次上對(duì)所有制約因素進(jìn)行考慮難度較大?？紤]有人參與場(chǎng)景，人通常會(huì)先搜索采樣鏟是否出現(xiàn)，確認(rèn)采樣鏟當(dāng)前狀態(tài)，進(jìn)而分析采樣鏟中是否有樣品，最后給出判定結(jié)論。從該過程可見，人是將識(shí)別處理過程分階段、分層次進(jìn)行處理的，因此，無(wú)人參與情況下可參考該過程將問題進(jìn)行分解，如圖5所示，通過層次表示分化處理。

圖5 樣品智能識(shí)別分解

臂載相機(jī)圖像經(jīng)預(yù)處理進(jìn)入識(shí)別流程后，首先實(shí)施采樣器狀態(tài)判別，未發(fā)現(xiàn)采樣鏟時(shí)，表明尚未實(shí)施鏟挖；若發(fā)現(xiàn)采樣鏟，表明鏟挖已開始。確認(rèn)鏟挖開始后，分析采樣鏟動(dòng)、靜狀態(tài)，處于運(yùn)動(dòng)狀態(tài)時(shí)，啟用運(yùn)動(dòng)樣品識(shí)別流程；當(dāng)處于到位靜態(tài)時(shí)，則啟用靜止樣品識(shí)別流程。

可見，智能識(shí)別問題從一個(gè)復(fù)雜的分類問題，被分解為采樣器狀態(tài)識(shí)別、動(dòng)態(tài)樣品識(shí)別、靜態(tài)樣品識(shí)別3個(gè)子問題。采樣器具有較為鮮明的外形特征，通過采樣器狀態(tài)子分類處理可降低場(chǎng)景差異的影響，運(yùn)動(dòng)過程中的樣品受運(yùn)動(dòng)與重力場(chǎng)影響，樣品的流動(dòng)性表現(xiàn)更明顯，將動(dòng)態(tài)與靜態(tài)識(shí)別分開進(jìn)行，有助于降低過程特征的復(fù)雜度而提升個(gè)性特征。

4 深度卷積識(shí)別網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是重要的深度學(xué)習(xí)網(wǎng)絡(luò)之一，在圖像分類處理方面取得了良好的效果[9-12]。月球采樣探測(cè)任務(wù)研制過程中，開展了大量不同光照、不同地形、不同著陸狀態(tài)、不同模擬月壤下的試驗(yàn)驗(yàn)證工作，積累了豐富的鏟挖采樣臂載相機(jī)圖像數(shù)據(jù)，通過具有一定深度的卷積神經(jīng)網(wǎng)絡(luò)對(duì)典型工作環(huán)境下樣本進(jìn)行自主特征提取，建立圖像空間到識(shí)別標(biāo)記空間的映射模型，實(shí)現(xiàn)臂載相機(jī)圖像在軌圖像快速識(shí)別，為器上自主或器地協(xié)同創(chuàng)造條件。

針對(duì)前述采樣器狀態(tài)識(shí)別、動(dòng)態(tài)樣品識(shí)別、靜態(tài)樣品識(shí)別問題，可構(gòu)建3個(gè)如圖6所示的同型深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行解耦處理，輸入均為臂載相機(jī)的圖像(局部感興趣區(qū)域)，每個(gè)網(wǎng)絡(luò)內(nèi)的特征提取層級(jí)數(shù)可根據(jù)需要進(jìn)行調(diào)整。深度卷積網(wǎng)絡(luò)由卷積層(Conv)、歸一化層(BN)、線性整流層(ReLU)、池化層(Pooling)、全連接層、Softmax層組成。卷積層、歸一化層、線性整流層、池化層組成特征提取級(jí)，可進(jìn)行多級(jí)級(jí)聯(lián)，實(shí)現(xiàn)臂載相機(jī)圖像向特征空間的映射；全連接層、歸一化層、線性整流層、Softmax層實(shí)現(xiàn)特征空間向標(biāo)記空間的映射，對(duì)每個(gè)子分類問題，通過這種具有一定深度的網(wǎng)絡(luò)結(jié)構(gòu)，自主完成特征提取，實(shí)現(xiàn)分類識(shí)別。

圖6 樣品確認(rèn)深度卷積網(wǎng)絡(luò)

4.1 網(wǎng)絡(luò)正向傳播

從圖6可見，特征提取過程中進(jìn)行了多次卷積、歸一化、線性整流、池化運(yùn)算，每一級(jí)特征提取具有相同的結(jié)構(gòu)。不失一般性，以第X級(jí)特征提取為例進(jìn)行分析，設(shè)其前級(jí)批量輸出(首次特征提取為輸入圖像)為PX-1∈Rhv×wv×dv×mb，mb為批處理圖像數(shù)量(樣品確認(rèn)時(shí)為1)，hv,wv,dv分別為圖像高度、寬度和深度；卷積濾波器WX∈Rhx×wx×dv×dk，hx,wx為其高度和寬度，dk表示特征圖數(shù)量，以X,sa作上標(biāo)分別表示所處層級(jí)、批內(nèi)序號(hào)。設(shè)濾波器滑動(dòng)步長(zhǎng)為1，逐層計(jì)算時(shí)不進(jìn)行邊沿填充，采用最大值池化，則圖像空間到特征空間的正向傳播過程可表示為：

(1)

其中,BN-X層運(yùn)算涉及參數(shù)表示如下：

(2)

(3)

式中:m=mb(hv-hx+1) (wv-wx+1)。

(4)

其中,Softmax層凈輸入SS,sa可表示為：

SS,sa=WS·RFc,sa+BS

(5)

綜上可見，通過式(1)級(jí)聯(lián)可實(shí)現(xiàn)從圖像空間向特征空間的正向傳播，通過式(4)可實(shí)現(xiàn)從特征空間向標(biāo)記空間的正向傳播。

4.2 網(wǎng)絡(luò)反向傳播

從圖6結(jié)構(gòu)及正向傳播過程可見，卷積層濾波器、歸一化層參數(shù)、全連接層與Softmax層權(quán)值及偏置決定了圖像到標(biāo)記空間的映射關(guān)系，本文采用有監(jiān)督學(xué)習(xí)方式，反向傳播是通過代價(jià)函數(shù)在訓(xùn)練樣本監(jiān)督下進(jìn)行參數(shù)尋優(yōu)的過程。為降低網(wǎng)絡(luò)的復(fù)雜度，代價(jià)函數(shù)引入權(quán)值衰減，采用如式(6)的交叉熵函數(shù)為代價(jià)函數(shù)：

(6)

(7)

ReLU-F、ReLU-X層均采用φ(x)=max(0,x)作為激活函數(shù)，其導(dǎo)函數(shù)為：

(8)

式(7)中全連接層偏置靈敏度計(jì)算所需的Δk,Ωk根據(jù)鏈?zhǔn)椒▌t，可表示如下：

(9)

根據(jù)前面的描述，樣品確認(rèn)問題可轉(zhuǎn)化為分類問題，可對(duì)分類標(biāo)記采用獨(dú)熱(one-hot)編碼[16]，則有：

(10)

根據(jù)式(7)、(10)單神經(jīng)元相關(guān)計(jì)算，可得各層靈敏度矩陣如下：

(11)

式中：°為Hadamard積。由于ReLU-F層未設(shè)置調(diào)節(jié)參數(shù)，根據(jù)多層網(wǎng)絡(luò)最速下降規(guī)則[17]，結(jié)合批處理進(jìn)行平均與權(quán)值衰減，由式(11)可得Softmax層、全連接層權(quán)值與偏置梯度為：

(12)

由于BN-F層與批內(nèi)各樣本均發(fā)生聯(lián)系，根據(jù)式(4)求導(dǎo)，可得尺度與偏移參數(shù)梯度：

(13)

(14)

(15)

(16)

(17)

同理將式(17)擴(kuò)展為矩陣形式，可得：

(18)

ReLU-X層向BN-X層繼續(xù)反向傳播，其尺度與偏移參數(shù)梯度與BN-F層類似，根據(jù)式(1)、(18)有：

(19)

BN-X層向Conv-X層反向傳播，卷積層卷積操作后看作進(jìn)行了線性激活，即凈輸入等于其輸出，根據(jù)式(1)、(3)可得卷積層偏置靈敏度為：

(20)

(21)

根據(jù)式(6)，單樣本的卷積層權(quán)值梯度為：

(22)

結(jié)合批處理進(jìn)行平均，根據(jù)式(22)可得卷積層權(quán)值梯度矩陣形式為：

(23)

式中：Rπ(·)表示將矩陣逆時(shí)針旋轉(zhuǎn)180°。

由于圖6所示網(wǎng)絡(luò)中可能存在特征提取層級(jí)聯(lián)，后級(jí)卷積層前級(jí)為池化層。反向傳播時(shí)，與前處理類似，將池化層最大值池化操作看作激活前運(yùn)算，凈輸入與輸出相同，則前級(jí)池化層靈敏度為：

(24)

根據(jù)式(24)，將其擴(kuò)展為矩陣形式有：

(25)

5 訓(xùn)練與檢驗(yàn)

以月球表層采樣地面試驗(yàn)數(shù)據(jù)為基礎(chǔ)，選取多工況下臂載相機(jī)圖像，進(jìn)行樣品智能識(shí)別訓(xùn)練與預(yù)測(cè)。由于臂載相機(jī)與采樣器相對(duì)位置固定，鏟挖過程中采樣鏟、樣品在圖像中的出現(xiàn)區(qū)域可提前預(yù)知，如圖2主要集中在左部區(qū)域。為加快計(jì)算速度，在網(wǎng)絡(luò)訓(xùn)練或預(yù)測(cè)前，根據(jù)采樣鏟運(yùn)動(dòng)路徑進(jìn)行區(qū)域圖像裁剪，并采用金字塔降采樣[18]處理，作為采樣器識(shí)別、動(dòng)態(tài)樣品識(shí)別網(wǎng)絡(luò)輸入；通過掩模處理提取采樣鏟內(nèi)樣品可能出現(xiàn)區(qū)域，作為靜態(tài)樣品識(shí)別網(wǎng)絡(luò)輸入，按照?qǐng)D5所示流程利用Matlab編程語(yǔ)言實(shí)現(xiàn)前述正、反傳播關(guān)系，網(wǎng)絡(luò)參數(shù)如表1所示：

表1 深度卷積網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

注:f表示濾波器大小，n表示神經(jīng)元數(shù)量，3個(gè)網(wǎng)絡(luò)訓(xùn)練的部分樣本來自同一圖像

設(shè)置各網(wǎng)絡(luò)初始學(xué)習(xí)率η=0.03，Softmax層偏置及歸一化層參數(shù)采用零初值，各層權(quán)值采用文獻(xiàn)[19] 所述均勻分布進(jìn)行初始化，利用各參數(shù)的批平均梯度，采用Adam方法[20]對(duì)權(quán)值及偏置進(jìn)行更新，選取c1=0.9，c2=0.999，即：

(26)

式中：θ表示前文各層權(quán)值矩陣W或偏置矩陣B，t表示迭代次數(shù)，第一動(dòng)量項(xiàng)初值M(0)=0，第二動(dòng)量項(xiàng)初值V(0)=0。歸一化層平移、尺度參數(shù)采用初始學(xué)習(xí)率更新，即：

(27)

式中：ρ表示歸一化層參數(shù)向量β，γ。

利用前述各層正、反向傳播關(guān)系，結(jié)合上述超參數(shù)設(shè)置及更新方法，對(duì)采樣器識(shí)別網(wǎng)絡(luò)、動(dòng)態(tài)樣品識(shí)別網(wǎng)絡(luò)、靜態(tài)樣品識(shí)別網(wǎng)絡(luò)進(jìn)行有監(jiān)督訓(xùn)練學(xué)習(xí)，學(xué)習(xí)過程中代價(jià)函數(shù)及正確率變化曲線如圖7所示。從圖中可見，采樣器識(shí)別網(wǎng)絡(luò)進(jìn)行了96次迭代，動(dòng)態(tài)樣品識(shí)別網(wǎng)絡(luò)進(jìn)行了60次迭代，靜態(tài)樣品識(shí)別網(wǎng)絡(luò)進(jìn)行了64次迭代，訓(xùn)練樣本的識(shí)別正確率均不小于94.5%，訓(xùn)練獲得的主要參數(shù)結(jié)果(為增強(qiáng)對(duì)比，值擴(kuò)大5倍)如圖8、圖9、圖10所示：

圖7 樣品智能識(shí)別網(wǎng)絡(luò)訓(xùn)練過程曲線

圖10 靜態(tài)樣品識(shí)別網(wǎng)絡(luò)主要參數(shù)結(jié)果示意

圖8 采樣器識(shí)別網(wǎng)絡(luò)主要參數(shù)訓(xùn)練結(jié)果示意

圖9 動(dòng)態(tài)樣品識(shí)別網(wǎng)絡(luò)主要參數(shù)訓(xùn)練結(jié)果示意

從圖中可見各卷積核參數(shù)均處于合理范圍內(nèi)，訓(xùn)練過程無(wú)梯度爆炸或消失現(xiàn)象。為分析三個(gè)識(shí)別網(wǎng)絡(luò)學(xué)習(xí)特征，對(duì)其分別輸入如圖11(a)、圖12(a)、圖13(a) 的圖像。采樣器識(shí)別網(wǎng)絡(luò)須識(shí)別無(wú)采樣器、采樣鏟運(yùn)動(dòng)、采樣鏟靜止、采樣器關(guān)閉4類情景；動(dòng)態(tài)樣品與靜態(tài)樣品識(shí)別網(wǎng)絡(luò)均須識(shí)別有樣品、無(wú)樣品2類情景。經(jīng)過網(wǎng)絡(luò)后，卷積層特征圖分別如圖11(b)、(c)，圖12(b)、(c)，圖13(b)、(c)、(d)所示：

圖11 采樣器識(shí)別網(wǎng)絡(luò)特征圖示意

從圖11、圖12、圖13各卷積層對(duì)不同狀態(tài)輸入生成的特征圖可見，第一級(jí)特征提取后，采樣鏟、(模擬)月壤的邊緣輪廓特征較為清晰，第二級(jí)特征提取后，特征圖中明暗對(duì)比更為明顯，特征不再局限于邊緣輪廓信息，活性通道數(shù)量增加，變得更為復(fù)雜抽象。

圖13 靜態(tài)樣品識(shí)別網(wǎng)絡(luò)特征圖示意

圖12 動(dòng)態(tài)樣品識(shí)別網(wǎng)絡(luò)特征圖示意

采樣器識(shí)別網(wǎng)絡(luò)與動(dòng)態(tài)樣品識(shí)別網(wǎng)絡(luò)輸入圖像形式相同，對(duì)比圖11(b)、圖12(b)可見，由于采樣器識(shí)別網(wǎng)絡(luò)目標(biāo)集中在采樣鏟，動(dòng)態(tài)樣品識(shí)別網(wǎng)絡(luò)目標(biāo)集中在樣品，第一級(jí)特征提取也存在差異，采樣器識(shí)別網(wǎng)絡(luò)中采樣鏟開口邊緣輪廓在3個(gè)通道中清晰可見，而在動(dòng)態(tài)樣品識(shí)別網(wǎng)絡(luò)中采樣鏟開口邊緣則相對(duì)弱化，體現(xiàn)了學(xué)習(xí)過程的智能性。

表層采樣過程中，臂載相機(jī)圖像序列反映了采樣器從無(wú)到有、樣品從動(dòng)到靜的變化，靜態(tài)樣品識(shí)別是確認(rèn)的最后環(huán)節(jié)，其網(wǎng)絡(luò)輸入圖像相對(duì)采樣器識(shí)別、動(dòng)態(tài)樣品識(shí)別更為精細(xì)，從圖13(b)、(c)、(d)三級(jí)特征提取來看，隨著特征表示層次的增加，特征圖的明暗色調(diào)對(duì)比更為明顯，第三級(jí)對(duì)(模擬)月壤樣品的幾何形狀及表面細(xì)節(jié)紋理有一定程度的刻畫。

為統(tǒng)計(jì)前述表層采樣樣品智能確認(rèn)方法的識(shí)別概率，將24次月球表層采樣地面試驗(yàn)臂載相機(jī)圖像作為訓(xùn)練樣本獲取網(wǎng)絡(luò)模型，將另24次試驗(yàn)的圖像作為測(cè)試數(shù)據(jù)驗(yàn)證該方法的泛化能力，48次表層采樣過程獲得共計(jì)3366幅各狀態(tài)臂載相機(jī)圖像，其中有樣品圖像2036幅，無(wú)樣品圖像1330幅，識(shí)別過程中臂載相機(jī)圖像以序列形式進(jìn)入智能識(shí)別網(wǎng)絡(luò)，以單幅確認(rèn)結(jié)果作為識(shí)別結(jié)果，如表2所示：

表2 樣品智能識(shí)別驗(yàn)證情況結(jié)果

由表2可見，通過采樣器識(shí)別網(wǎng)絡(luò)、動(dòng)態(tài)樣品識(shí)別網(wǎng)絡(luò)、靜態(tài)樣品識(shí)別網(wǎng)絡(luò)協(xié)同工作，月球表層采樣樣品智能確認(rèn)過程中對(duì)測(cè)試圖像的誤識(shí)別率約為8.1%，動(dòng)態(tài)樣品識(shí)別環(huán)節(jié)誤識(shí)別率相對(duì)突出一些。48次采樣樣品識(shí)別過程中誤識(shí)別179幅圖像，有樣品圖像為103幅，無(wú)樣品圖像為76幅，兩種狀態(tài)下發(fā)生誤識(shí)別的占比分別為5.06%、5.71%，誤識(shí)別發(fā)生情況相對(duì)均衡。

為檢驗(yàn)層次解耦的月球樣品智能識(shí)別方法的實(shí)時(shí)性，從臂載相機(jī)圖像中選取無(wú)采樣器出現(xiàn)、采樣器處于動(dòng)態(tài)、采樣器處于靜態(tài)、采樣器完全關(guān)閉(此時(shí)樣品不可見)四種可能的狀態(tài)各100幅圖像，在普通PC機(jī)環(huán)境中(CPU四核，內(nèi)存4G，無(wú)GPU加速，未采用并行計(jì)算)，利用訓(xùn)練后的三個(gè)深度卷積網(wǎng)絡(luò)模型進(jìn)行智能識(shí)別，結(jié)果如表3所示：

表3 樣品識(shí)別耗時(shí)情況統(tǒng)計(jì)

表3中實(shí)測(cè)時(shí)間為100幅圖像的識(shí)別總耗時(shí)，單幅時(shí)間為折算的平均時(shí)間，單幅網(wǎng)絡(luò)耗時(shí)為100幅圖像識(shí)別過程中對(duì)涉及的識(shí)別網(wǎng)絡(luò)的最大、最小耗時(shí)實(shí)際統(tǒng)計(jì)。根據(jù)圖5識(shí)別流程可知，對(duì)于采樣器未見、采樣器關(guān)閉兩種狀態(tài)，識(shí)別過程僅利用采樣器識(shí)別網(wǎng)絡(luò)，其單幅時(shí)間、單幅網(wǎng)絡(luò)耗時(shí)均相當(dāng)；對(duì)于采樣器動(dòng)態(tài)，識(shí)別過程將利用采樣器識(shí)別、動(dòng)態(tài)樣品識(shí)別兩個(gè)網(wǎng)絡(luò)，從單幅網(wǎng)絡(luò)耗時(shí)來看大約為采樣器未見、采樣器關(guān)閉過程中的2倍；對(duì)于采樣器靜態(tài)，識(shí)別過程將利用采樣器識(shí)別、靜態(tài)樣品識(shí)別網(wǎng)絡(luò)，由于靜態(tài)樣品識(shí)別網(wǎng)絡(luò)圖像輸入像素點(diǎn)約為采樣器識(shí)別、動(dòng)態(tài)樣品識(shí)別網(wǎng)絡(luò)輸入的10倍，因此在時(shí)間消耗上也為10倍左右。從統(tǒng)計(jì)數(shù)據(jù)可見，對(duì)來自臂載相機(jī)的單幅圖像進(jìn)行表層采樣樣品識(shí)別的平均時(shí)間約0.7 s，其中深度卷積網(wǎng)絡(luò)耗時(shí)不大于0.4 s，可以滿足月球樣品識(shí)別的實(shí)時(shí)性要求。

6 結(jié) 論

月球表層采樣鏟挖過程中完成樣品識(shí)別對(duì)制定采樣策略、提升采樣工作效率具有重要意義。臂載相機(jī)圖像為同步識(shí)別提供了直接信息，光照環(huán)境的不確定性、工作背景的差異性、動(dòng)靜過程的復(fù)雜性、樣品形態(tài)的多樣性對(duì)月球樣品識(shí)別提出了智能化要求。本文模仿有人參與識(shí)別過程，將無(wú)人參與智能識(shí)別過程分解為具有一定層次關(guān)系的分類問題，利用深度學(xué)習(xí)方法，構(gòu)建了一類深度卷積識(shí)別網(wǎng)絡(luò)，完整地描述了圖像、特征、標(biāo)記在網(wǎng)絡(luò)中的正、反傳遞關(guān)系，結(jié)合月球采樣地面試驗(yàn)數(shù)據(jù)進(jìn)行了訓(xùn)練與驗(yàn)證，結(jié)果表明對(duì)不同光照、不同背景、不同過程、不同形態(tài)下的樣品，采用智能識(shí)別處理，具有較好的泛化能力，誤識(shí)別率可控制在8.1%，單幅圖像樣品識(shí)別平均時(shí)間約0.7 s，可高效支持月球表層采樣任務(wù)實(shí)施。