基于卷積自動編碼的深度學(xué)習(xí)紅外波段物體重建算法研究

趙 浩，李盼盼

(福建農(nóng)林大學(xué) 金山學(xué)院，福州 350002)

紅外范圍內(nèi)的物體檢測是行人檢測、人臉識別和自動駕駛等應(yīng)用的常規(guī)解決方法。但由于圖像對比度較低以及特征點缺失，利用紅外圖像進(jìn)行3D對象姿態(tài)估計和模型重構(gòu)仍然具有較大難度。盡管存在這些缺點，但是熱像儀依舊對3D對象重建和姿勢估計有較大實用價值。首先，紅外熱圖像對于退化的視覺環(huán)境(如灰塵、霧氣和弱光條件)具有較好的抗干擾能力；其次，紅外攝像機(jī)用于3D重建在紅外范圍內(nèi)可以構(gòu)建出物體獨特的紋理。但是，對于訓(xùn)練基于深度學(xué)習(xí)的目標(biāo)識別算法還需要更豐富、多視圖、多光譜的圖像數(shù)據(jù)集。3D對象重建的典型應(yīng)用包括運動結(jié)構(gòu)(SFM)，同時定位和映射(SLAM)，半全局匹配(SGM)，基于輪廓的3D重建[1]等。如運動結(jié)構(gòu)SFM需要使用關(guān)鍵點描述符進(jìn)行稀疏圖像匹配，以對每個圖像進(jìn)行初步定位。雖然常用的關(guān)鍵信息數(shù)據(jù)融合方案無法獲得特征信息，但SFM為生成具有熱紋理的數(shù)字特征提供了便捷的方案。用熱像儀進(jìn)行場景重建的另一種經(jīng)典方案是LSDSLAM算法。近年來，基于深度學(xué)習(xí)方法的特征匹配新方法表現(xiàn)出了優(yōu)異的性能。由于深度匹配的圖像Patch數(shù)量很多，因此無法使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像分類直接解決Patch匹配問題，提出了使用卷積自動編碼器(CAE)來克服這個問題，該論文在無監(jiān)督學(xué)習(xí)方法下訓(xùn)練CAE，以將圖像Patch壓縮為低維數(shù)據(jù)并從該數(shù)據(jù)中恢復(fù)原始圖像。如果達(dá)到了良好的恢復(fù)質(zhì)量，則CAE已學(xué)會從原始圖像中提取信息量較為豐富的信息。因此，該代碼可用于執(zhí)行稀疏圖像匹配。并提出了一種基于CAE的圖像Patch匹配的新方法，首先，使用CAE碼本執(zhí)行特征匹配。接著使用圖像Patch來執(zhí)行相機(jī)姿態(tài)的估計，最后，使用SGM進(jìn)行密集點云重構(gòu)。在真實數(shù)據(jù)上評估了算法的性能，顯示出它比傳統(tǒng)紅外圖像上的SIFT和其他深度卷積特征點描述符具有更為理想的性能。

1 算法

1.1 數(shù)字圖像重建

從影像中重建3D對象已有50多年的歷史。近年來，主要的研究活動集中在單眼相機(jī)的3D對象重建，姿勢估計和場景理解上。3D重建的一個重要條件是魯棒的圖像匹配，大多數(shù)用于3D對象重建的算法都使用基于經(jīng)過圖像解析的特征描符算法。低成本熱像儀的出現(xiàn)降低了3D對象重建和紅外范圍內(nèi)姿態(tài)估計的門檻。[2]對紅外圖像上手工制作特征描述符的評估概述了紅外范圍內(nèi)圖像匹配的復(fù)雜性，例如紅外反射，紅外光暈效果，飽和度，同時還研究證明在紅外范圍內(nèi)進(jìn)行3D對象重建和圖像匹配的可能性。 Harris檢測器[3]和歸一化相關(guān)性相結(jié)合的圖像匹配在經(jīng)典圖像匹配方法中表現(xiàn)出較為理想的性能，但是對不使用特征點的方法(例如LSDSLAM)的評估表明，由于熱圖像中的特征缺乏對比度，因此該算法也無法恢復(fù)場景幾何圖形，像SFM這樣的標(biāo)準(zhǔn)方法會基于關(guān)鍵點的可靠匹配來計算相機(jī)的內(nèi)部和外部方向的參數(shù)，如果對象沒有提供足夠的紋理，則定向和校準(zhǔn)的質(zhì)量會大大下降。作為替代方案，可以借助于給定的3D控制點來定向熱圖像。有針對性地進(jìn)行定位，使其也可以在熱成像中進(jìn)行測量。使用有限對象平面的圖像匹配方法在低紋理區(qū)域上能提升算法的健壯性，上述方法需要觀察表面的漫朗伯反射特性和正則化條件以提供相鄰局部平面之間的平滑度。當(dāng)前基于深度學(xué)習(xí)的特征匹配是一種行之有效的3D重建新方案，在匹配和重建精度方面具有理想的性能?；谏疃葘W(xué)習(xí)的特征提取可以分為兩大類。第一組基于經(jīng)典的深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)進(jìn)行圖像特征提取 ，為了執(zhí)行匹配，網(wǎng)絡(luò)的頂層被刪除。其余層的輸出用作查找要素對應(yīng)關(guān)系的代碼。第二類基于深度學(xué)習(xí)的描述符基于無監(jiān)督學(xué)習(xí)方法。由于數(shù)據(jù)集中可能的圖像點數(shù)量能達(dá)到數(shù)十億個分類，因此，在訓(xùn)練階段通常無法選擇好的分類?？傮w來說基于深度學(xué)習(xí)的架構(gòu)為本地Patch匹配提供了強大的解決方案，可以適應(yīng)任意種類的特征和光譜范圍。

1.2 局部Patch提取

從圖像中選擇局部Patch的標(biāo)準(zhǔn)方法是基于特征點檢測器。傳統(tǒng)的Patch提取在紅外圖像上表現(xiàn)不穩(wěn)定。為了獲得局部Patch表示，使用圖像的統(tǒng)一采樣(圖1)。通常熱像儀的分辨率低于可見范圍內(nèi)的熱像儀，因此，該Patch必須在像素尺寸上較小以減少對透視變換的影響。使用分辨率相當(dāng)?shù)腞GB-D相機(jī)，選擇28×28像素的色塊大小。

1.3 卷積自動編碼器

自動編碼器(AE，Auto Encoder)是前饋神經(jīng)網(wǎng)絡(luò)的經(jīng)典案例。 AE接受輸入并嘗試將其復(fù)制到輸出上。AE的網(wǎng)絡(luò)由兩個主要部分組成。第一部分是編碼器函數(shù)h=f(x)，它將輸入x壓縮到隱藏層h，該隱藏層生成代碼F，其中包含執(zhí)行輸入重構(gòu)所需的所有值。第二部分是一個解碼器，試圖重建輸入y=g(F)。由于代碼F的維數(shù)小于原始圖像的維數(shù)，因此在訓(xùn)練AE期間，AE將嘗試捕獲訓(xùn)練數(shù)據(jù)集的最顯著特征。在訓(xùn)練階段之后，隱藏層的輸出可用作代碼F。由于該代碼凝聚了輸入色塊的最有區(qū)別的特征，可以用來對相應(yīng)的圖像色塊進(jìn)行有效搜索。卷積層提高了AE重建的質(zhì)量，具有卷積和反卷積層的AE通常稱為卷積自動編碼器。為了開發(fā)用于紅外圖像匹配的有效CAE體系結(jié)構(gòu)，對數(shù)據(jù)進(jìn)行預(yù)處理，滿足如下要求：

1)首先，由于紅外傳感器的分辨率低，CAE必須使用相對較小的圖像塊。

2)其次，它應(yīng)該具有少量的學(xué)習(xí)參數(shù)，以便在紅外圖像斑塊的小型數(shù)據(jù)集上獲得良好的收斂性。提出的體系結(jié)構(gòu)在MNIST等小型數(shù)據(jù)集上表現(xiàn)出優(yōu)異的性能，但對更復(fù)雜的數(shù)據(jù)集的訓(xùn)練表明，它傾向于收斂到數(shù)據(jù)集的平均值。經(jīng)過對訓(xùn)練結(jié)果的分析，傳統(tǒng)的AE結(jié)構(gòu)沒有足夠的訓(xùn)練參數(shù)，需要增加卷積濾波器的數(shù)量。

對傳統(tǒng)AE的架構(gòu)改造主要有：首先，我們對卷積和反卷積層進(jìn)行縮放，以實現(xiàn)28×28像素的目標(biāo)圖像尺寸。其次，我們用sigmoid層替換了tanh激活層，以獲得更有效的誤差反向傳播，并提高了在低紋理圖像數(shù)據(jù)集上訓(xùn)練的穩(wěn)定性。我們對代碼F的3個維度進(jìn)行了實驗，以找到重建質(zhì)量和壓縮率之間的折衷方案。 CAE網(wǎng)絡(luò)的最終架構(gòu)如圖2和表1所示。

表1 CAE網(wǎng)絡(luò)架構(gòu)

我們還嘗試了兩種損耗函數(shù)。傳統(tǒng)的基于歐幾里德距離的損耗對于具有反卷積層的CNN設(shè)計并不穩(wěn)健，因此采用交叉熵?fù)p失(邏輯損失)：

(1)

其中，w，h是圖層尺寸，y是目標(biāo)圖像在點(x，y)的像素值，y是通過CAE在點(x，y)重建的圖像的像素值。在最后sigmod層之前添加高斯噪聲會增加訓(xùn)練過程的穩(wěn)定性。 在訓(xùn)練過程中，高斯噪聲的標(biāo)準(zhǔn)差從0均勻增加到0.5。

1.4 位置估計

為了確定相機(jī)的姿勢，我們通過CAE大致找到相應(yīng)點。 盡管CAE允許我們在兩個圖像中找到相應(yīng)的特征，但是點坐標(biāo)的精度不足以進(jìn)行準(zhǔn)確的姿勢估計。 我們使用相關(guān)技術(shù)將初始坐標(biāo)估計值細(xì)化為亞像素精度。 對于相機(jī)姿態(tài)估計，我們通過束調(diào)整對測量(重新投影)誤差進(jìn)行了魯棒的非線性最小化。 我們使用冗余數(shù)量的對應(yīng)點來最小化圖像j中檢測到的2D點xij的平方重投影誤差，這是使用非線性最小二乘的未知圖像姿態(tài)參數(shù)(R，X)和未知3D點位置pi的函數(shù)：

xif=f(pi,Rj,Xj)。

(2)

2 實驗結(jié)果

CAE訓(xùn)練需要大型數(shù)據(jù)集，且隨機(jī)圖像Patch的方差很大。為了訓(xùn)練提出的CAE體系結(jié)構(gòu)，RGB-D對象數(shù)據(jù)集包含從多個視圖拍攝的300個不同對象的視覺和深度圖像。所選擇的對象通常來自家庭和辦公環(huán)境。對象被組織成從WordNet超名/下義關(guān)系獲取的層次結(jié)構(gòu)，并且是ImageNet中類別的子集。

我們用隨機(jī)的均勻噪聲改變像素強度。數(shù)據(jù)集包括三個測試對象的合成圖像Patch。來自數(shù)據(jù)集的測試對象如圖3所示。首先使用條紋投影3D掃描儀以0.1毫米的精度生成對象的3D模型，再使用帶130毫米鏡頭的FLIR P640熱像儀捕獲真實的紅外紋理。為了創(chuàng)建訓(xùn)練數(shù)據(jù)集，通過將虛擬相機(jī)放置在二十面體上并將其指向特征點來對圖像Patch進(jìn)行采樣。通過使用Harris拐角檢測器對原始紅外紋理檢測獨特的特征來選擇特征點位置。通過向3D空間反投影獲得特征點的3D坐標(biāo)。為了執(zhí)行Patch匹配，為測試對象上的每個3D特征點分配一個唯一的PatchID。PatchID與CAE生成的Patch代碼F存儲在代碼本中。在測試對象上采樣一組3D點，并為每個3D點分配一個唯一的PatchID。對于每個PatchID，生成了從不同角度采樣的7 000個圖像Patch。使用基于投票的方法進(jìn)行匹配。對于給定的PatchID，使用CAE生成代碼F。之后從密碼本中查詢n個最近的鄰居。 PatchID d(I)由其鄰居的多數(shù)投票的PatchID定義。 為了過濾錯誤的對應(yīng)關(guān)系，我們將PatchI具有PatchIDz的概率p定義為多數(shù)計數(shù)與所選最近鄰居數(shù)n之比。

(3)

令I(lǐng)1，I2為要匹配的兩個圖像塊。 然后定義它們具有相似patch ID 的概率如下：

(4)

最后通過準(zhǔn)確率(Precision)和召回率(Recall)對算法進(jìn)行評估，評估的對比算法有CNN、SFM、SGM。其結(jié)果如下：

算法的PR性能，明顯優(yōu)于CNN等對比算法，具有較高的準(zhǔn)確率。如圖4所示。

3 結(jié)語

利用自編碼從低紋理或無紋理的物體中提取特征，實現(xiàn)多視點立體紅外圖像的穩(wěn)定匹配。為了將基于CAE的圖像匹配技術(shù)與現(xiàn)有的圖像匹配算法進(jìn)行比較，設(shè)計了一個包含紅外圖像的數(shù)據(jù)集。結(jié)果表明，與其他特征提取相比，提出的CAE技術(shù)在熱成像特征匹配中的應(yīng)用具有更好的性能。我們在測試數(shù)據(jù)集上評估了一組3D重建算法(SFM、SGM、CNN)，通過實驗可以看出所提出的三維重建能夠以合理的精度獲得基于熱成像的三維模型，以完成紅外三維建模和姿態(tài)估計任務(wù)，具有較高的使用價值。