基于低分辨率彩色指導(dǎo)圖像的深度圖像超分辨率重建

武玉龍，趙 洋，曹明偉，劉曉平

?

基于低分辨率彩色指導(dǎo)圖像的深度圖像超分辨率重建

武玉龍，趙 洋，曹明偉，劉曉平

(合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽 合肥 230009)

傳統(tǒng)的以彩色圖像為指導(dǎo)的深度圖像超分辨率(SR)重建方法，參考圖像必須為高分辨率彩色圖像，彩色圖像的分辨率決定了深度圖像的放大上限。同時(shí)，實(shí)際應(yīng)用中可能只存在低分辨率彩色圖像，此時(shí)上述方法也不再適用。為此，探討使用任意分辨率彩色圖像為指導(dǎo)的深度圖像SR重建方法。首先，使用大量不同類(lèi)別的圖像SR算法對(duì)輸入彩色圖像進(jìn)行上采樣，得到高分辨率彩色圖像并以此作為指導(dǎo)圖像，然后采用基于二階總廣義變分方法，將由低分辨率彩色圖像重建得到的圖像作為正則約束項(xiàng)，添加圖像邊緣信息，構(gòu)建目標(biāo)函數(shù)，將深度圖像SR重建問(wèn)題轉(zhuǎn)化為最優(yōu)化問(wèn)題，再通過(guò)原-對(duì)偶方法求解，最終得到高分辨率深度圖像。探討了之前被相關(guān)方法所忽略的情形，該方法可以適用于任意分辨率的彩色指導(dǎo)圖像。并且通過(guò)相關(guān)實(shí)驗(yàn)發(fā)現(xiàn)了令人驚異的現(xiàn)象，即通過(guò)使用低分辨率彩色圖像放大后作為指導(dǎo)，可以得到與使用高分辨率彩色指導(dǎo)圖像相近甚至更好的結(jié)果，對(duì)相關(guān)問(wèn)題的研究和應(yīng)用具有一定參考意義。

超分辨率重建；深度圖像；二階總廣義變分；ToF相機(jī)

場(chǎng)景中各點(diǎn)相對(duì)于相機(jī)的距離可以用深度圖像表示，獲取準(zhǔn)確、高分辨率的深度圖像是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)挑戰(zhàn)性工作?？焖佟?zhǔn)確地獲取真實(shí)場(chǎng)景的稠密深度信息，在如三維重建、目標(biāo)識(shí)別、機(jī)器人導(dǎo)航、自動(dòng)輔助駕駛、醫(yī)療等諸多領(lǐng)域[1-3]有著廣泛應(yīng)用。

傳統(tǒng)的深度圖像獲取方法主要包括兩類(lèi)：①立體匹配方法[4-5]，通過(guò)找出兩幅或多幅圖像之間成像點(diǎn)的對(duì)應(yīng)關(guān)系，計(jì)算視差圖，從而估計(jì)深度信息。這類(lèi)算法容易受到遮擋以及無(wú)紋理區(qū)域的影響，因此，難以產(chǎn)生廣泛的實(shí)際應(yīng)用。②通過(guò)硬件設(shè)備直接獲取。如激光測(cè)距掃描儀[6]和飛行時(shí)間相機(jī)[7]。前者通過(guò)逐點(diǎn)掃描獲取場(chǎng)景深度，同一時(shí)間只能測(cè)量一個(gè)點(diǎn)的深度，其只能應(yīng)用于靜態(tài)場(chǎng)景，同時(shí)也決定了其較大的時(shí)間代價(jià)；后者運(yùn)用高速快門(mén)(大約幾毫秒)，通過(guò)主動(dòng)給場(chǎng)景發(fā)送光脈沖，檢測(cè)反射信號(hào)的時(shí)間延遲來(lái)確定場(chǎng)景深度，這種測(cè)量方法與場(chǎng)景紋理無(wú)關(guān)，與環(huán)境光條件也無(wú)關(guān)，即使近距離的場(chǎng)景，依然可以得到稠密的深度圖像。但由于芯片大小的限制，其只能獲取低分辨率的場(chǎng)景深度，如Canesta EP DevKit僅僅可以得到分辨率為64×64的深度圖像，難以滿(mǎn)足實(shí)際應(yīng)用的需求。

為提高深度圖像的分辨率，許多學(xué)者開(kāi)展了關(guān)于深度圖像超分辨率(super-resolution，SR)重建的研究。目前，深度圖像SR重建主要有兩種方法：①利用序列深度圖像的SR算法。SCHUON等[8]引入雙邊全變差正則約束項(xiàng)對(duì)多幅深度圖像SR重建，采用極大似然估計(jì)理論構(gòu)建目標(biāo)函數(shù)進(jìn)行深度圖像的SR重建。RAJAGOPALAN等[9]將馬爾科夫隨機(jī)場(chǎng)引入到深度圖像SR重建問(wèn)題中。這類(lèi)方法需要多幀深度圖像之間的亞像素位移信息，很難保證實(shí)時(shí)性，而且ToF相機(jī)采集深度的隨機(jī)誤差會(huì)對(duì)多幀圖像之間的運(yùn)動(dòng)估計(jì)和匹配產(chǎn)生較大影響。②結(jié)合同場(chǎng)景高分辨率彩色圖像的SR重建算法。這類(lèi)算法假定同場(chǎng)景的彩色圖像和深度圖像之間存在一致的不連續(xù)性，以高分辨率的彩色圖像為指導(dǎo)，對(duì)低分辨率深度圖像重建。YANG等[10]利用雙邊濾波函數(shù)指導(dǎo)深度圖像的SR重建。DIEBEL和THRUN[11]運(yùn)用馬爾科夫隨機(jī)場(chǎng)建立彩色圖像和深度圖像之間的聯(lián)系，將深度圖像SR重建問(wèn)題轉(zhuǎn)化為能量最優(yōu)化問(wèn)題。LU等[12]改進(jìn)了馬爾科夫隨機(jī)場(chǎng)。文獻(xiàn)[13-14]采用聯(lián)合雙邊上采樣(joint bilateral upsampling)和引導(dǎo)圖像濾波函數(shù)指導(dǎo)深度圖像SR重建。文獻(xiàn)[15]對(duì)聯(lián)合雙邊濾波進(jìn)行改進(jìn)并提出了自適應(yīng)雙邊濾波器。文獻(xiàn)[16]利用二階總廣義變分模型，將高分辨率彩色信息融入到二階正則項(xiàng)中進(jìn)行深度圖像的SR重建。以同場(chǎng)景的高分辨率彩色圖像為指導(dǎo)，對(duì)深度圖像SR重建，可以取得較好效果。但是，此方法的前提條件是存在同場(chǎng)景的高分辨率彩色圖像，且重建后的深度圖像的分辨率上限受彩色圖像分辨率所限制，無(wú)法生成任意的更高分辨率的深度圖像；同時(shí)，實(shí)際應(yīng)用中可能存在彩色參考圖像分辨率過(guò)低的情形，此時(shí)上述方法也不再適用。

目前的基于彩色指導(dǎo)圖像的方法僅關(guān)注于高分辨率，對(duì)任意分辨率的指導(dǎo)圖像，特別是低分辨率指導(dǎo)圖像的情形，缺乏相關(guān)的討論與研究。因而，本文探討了基于低分辨率彩色指導(dǎo)圖像的深度圖像SR重建方法。本文以低分辨率彩色圖像為輸入，采用不同的SR重建算法對(duì)彩色圖像進(jìn)行放大，得到高分辨率彩色指導(dǎo)圖像，然后以此指導(dǎo)深度圖像的SR重建。本文的意義在于：①輸入指導(dǎo)圖像可以為任意分辨率彩色圖像，擴(kuò)大了算法的應(yīng)用范圍；②本文通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，通過(guò)放大低分辨率指導(dǎo)圖像這一超采樣過(guò)程，重建的指導(dǎo)圖像的噪聲等不自然效應(yīng)也相應(yīng)得到抑制，進(jìn)而使用相應(yīng)放大后圖像作為指導(dǎo)得到的結(jié)果可達(dá)到甚至超過(guò)直接使用高分辨率彩色指導(dǎo)圖像獲得的結(jié)果。這一結(jié)論是違反了普遍的直觀感覺(jué)的，對(duì)相關(guān)研究和應(yīng)用具有一定的參考價(jià)值。

1 本文框架

以同場(chǎng)景高分辨率彩色圖像為指導(dǎo)的深度圖像SR重建算法框架如圖1所示，其輸入為低分辨率深度圖像和高分辨率彩色圖像，通過(guò)發(fā)掘彩色圖像和深度圖像之間的內(nèi)在聯(lián)系，結(jié)合重構(gòu)約束來(lái)制定優(yōu)化策略，最終將圖像的SR重建問(wèn)題轉(zhuǎn)化為最優(yōu)求解問(wèn)題。

如圖2所示，不同于傳統(tǒng)框架，本文以低分辨率彩色圖像和低分辨率深度圖像為輸入，首先對(duì)彩色圖像SR重建，得到高分辨率的彩色圖像作為參考圖像，然后利用上述算法框架，采用二階總廣義變分模型，把得到的參考圖像作為初始高分辨率深度圖像的正則約束項(xiàng)，并添加圖像邊緣信息，構(gòu)建目標(biāo)函數(shù)，將SR重建問(wèn)題轉(zhuǎn)化為最優(yōu)求解問(wèn)題，最終得到高分辨率深度圖像。

1.1 彩色圖像超分辨率重建

本文的輸入為任意分辨率的彩色圖像，為了獲得高分辨率的彩色指導(dǎo)圖像，需對(duì)輸入彩色圖像SR重建。圖像SR是指通過(guò)單幀或多幀低分辨率圖像恢復(fù)對(duì)應(yīng)高分辨率圖像的過(guò)程，其中單幀圖像SR也常被稱(chēng)為圖像放大、上采樣、上尺度。目前的SR重建方法可分為基于插值、基于重建和基于學(xué)習(xí)3類(lèi)。

基于插值的方法是最為基礎(chǔ)的一類(lèi)算法[17]，然而插值往往會(huì)引起邊緣鋸齒、振鈴、模糊等不自然效應(yīng)。為了降低插值帶來(lái)的不自然效應(yīng)，許多插值方法聚焦于利用邊緣先驗(yàn)知識(shí)、改進(jìn)插值網(wǎng)格、強(qiáng)化邊緣[18]等。

基于重建的方法是另一類(lèi)經(jīng)典的SR算法，其基本約束在于放大得到的重建圖像再次降采樣后，需和輸入的低分辨率圖像相一致。同時(shí)，通過(guò)引入額外的模型或約束，可以進(jìn)一步改善重建圖像的質(zhì)量，如基于梯度的約束[19]、基于紋理的約束[20]和基于迭代反卷積模型的方法等。由于重建方法的基本相似約束是定義在低分辨率級(jí)別，在放大因子較大時(shí)，該類(lèi)方法性能會(huì)較大程度的衰退。

近些年，基于學(xué)習(xí)的方法逐漸成為SR的熱門(mén)研究方向。該類(lèi)方法由FREEMAN和PASZTOR[21]提出，通過(guò)參照使用額外的高分辨率樣例，學(xué)習(xí)如何從低分辨率恢復(fù)高分辨率圖像。常見(jiàn)的基于學(xué)習(xí)的SR模型包括：基于領(lǐng)域嵌入(neighbor embedding)的流形方法[22-23]、基于稀疏表達(dá)(sparse representation)的方法[24-25]、基于局部自樣例(local self-exemplar)的方法[26]、基于錨鄰居回歸(anchor neighborhood regression，ANR)的方法[27-29]、基于局部編碼的方法[30]和基于隨機(jī)森林(radom forest)的方法[31]。特別是最近兩年，基于深度卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)的方法在圖像SR問(wèn)題上取得了非常好的效果，如DONG等[32]提出的基于CNN的三層SR網(wǎng)絡(luò)(SR-CNN)，KIM等[33]提出的更窄更深的SR卷積網(wǎng)絡(luò)(very deep SR，VDSR)，ZHAO等[34]提出的漸進(jìn)上采樣網(wǎng)絡(luò)(gradual upsampling network，GUN)及LEDIG等[35]采用的基于對(duì)抗網(wǎng)絡(luò)(Adversarial Network)的方法等。

1.2 以高分辨率彩色圖像為指導(dǎo)的深度圖像SR重建

本文首先對(duì)任意分辨率的彩色圖像SR重建，然后由得到的高分辨率彩色圖像為指導(dǎo)，對(duì)深度圖像SR重建，后者主要基于文獻(xiàn)[16]，其在彩色圖像邊緣對(duì)應(yīng)于深度圖像邊緣的前提假設(shè)下，引入帶有各向異性擴(kuò)散張量的二階總廣義變分模型，避免了一范式正則項(xiàng)會(huì)使重建后圖像存在分塊效應(yīng)的問(wèn)題，在SR重建效果和計(jì)算效率上都取得較大提升。

由于深度圖像和彩色圖像來(lái)自不同的相機(jī)，首先要對(duì)相機(jī)標(biāo)定，獲取相機(jī)的內(nèi)部參數(shù)和外部參數(shù)，這樣就可以定義彩色相機(jī)所在的坐標(biāo)系為世界坐標(biāo)系Ω，將深度圖像映射到彩色圖像所在世界坐標(biāo)系中。這種映射關(guān)系為

通過(guò)上述映射，得到一張基于深度測(cè)量的稀疏深度圖像D，引入二階總廣義變分模型，將D作為初始值，以高分辨率彩色圖像作為正則化約束項(xiàng)，構(gòu)建目標(biāo)函數(shù)，從而將圖像SR重建問(wèn)題轉(zhuǎn)化為目標(biāo)函數(shù)最優(yōu)化求解問(wèn)題。這里的目標(biāo)函數(shù)定義為

最后，利用原-對(duì)偶能量最小化方法(primal- dual energy minimization scheme)，設(shè)定閾值和迭代次數(shù)，迭代計(jì)算，直到滿(mǎn)足小于閾值或達(dá)到最大迭代次數(shù)，完成計(jì)算，得到最終重建的高分辨率深度圖像。

2 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文方法的有效性，采用了Middlebury數(shù)據(jù)集[36]和FERSTL等[16]提供的真實(shí)場(chǎng)景數(shù)據(jù)集ToFMark分別進(jìn)行測(cè)試。本文的實(shí)驗(yàn)環(huán)境為：處理器Intel(R) Core(TM) i7-2600，主頻3.40 GHz，內(nèi)存8 G。為了便于定量分析實(shí)驗(yàn)結(jié)果，本文以平均絕對(duì)誤差(mean absolute error，MAE)為評(píng)價(jià)標(biāo)準(zhǔn)，MAE的計(jì)算如下

2.1 Middlebury數(shù)據(jù)集

由于Middlebury數(shù)據(jù)集只提供了高分辨率的彩色圖像和高分辨率的深度圖像，為了模擬實(shí)驗(yàn)中輸入為低分辨率彩色圖像和低分辨率深度圖像，首先分別以因子為1/4和1/16的Bicubic降采樣方法，對(duì)高分辨率彩色圖像降采樣，1/4降采樣后的彩色圖像分辨率為344×272，1/16降采樣后的彩色圖像分辨率為86×68。然后分別以因子為1/2和1/4的Bicubic降采樣方法，對(duì)高分辨率深度圖像降采樣，1/2降采樣后的深度圖像分辨率為688×544，1/4降采樣后的深度圖像分辨率為344×272，同時(shí)為了模擬深度圖像真實(shí)獲取過(guò)程，對(duì)降采樣后的深度圖像添加高斯噪聲[16]。

為了對(duì)比實(shí)驗(yàn)結(jié)果，本文使用了多種圖像SR算法進(jìn)行低分辨率指導(dǎo)圖像的重建試驗(yàn)，包括：基于插值的方法ICBC[18]，基于字典學(xué)習(xí)的方法ScSR[24]、ASDS[25]、LLE[22]、ANR[27]、A+[28]、IPR[29]、LPCSR[30]，以及基于深度學(xué)習(xí)的方法SRCNN[32]、GUN[34]。圖3展示了測(cè)試圖像Art的實(shí)驗(yàn)結(jié)果，其中Ground truth為原始高分辨率深度圖像，Original為以原始高分辨率彩色圖像為指導(dǎo)深度圖像的重建結(jié)果，其他圖像分別為先對(duì)低分辨率彩色圖像SR重建，然后以重建后的圖像為指導(dǎo)深度圖像的重建結(jié)果。圖3中截取了部分畫(huà)筆圖像進(jìn)行放大，對(duì)比發(fā)現(xiàn)以重建后的彩色圖像為指導(dǎo)重建得到的深度圖像質(zhì)量與以原始高分辨率彩色圖像為指導(dǎo)重建得到的深度圖像質(zhì)量非常接近，這說(shuō)明盡管使用低分辨率圖像作為指導(dǎo)，也可以有效地指導(dǎo)深度圖像的SR重建。

為了定量比較，表1、2分別給出了不同算法在不同圖片Art、Books、Moebius、Dolls、Laundry、Reindeer上對(duì)1/2/、1/4降采樣得到的低分辨率深度圖像重建的MAE結(jié)果。其中×4、×16分別指對(duì)低分辨率彩色圖像4倍、16倍SR重建。表中前3行列出了采用不同插值方法由低分辨率深度圖像重建的結(jié)果，Original為使用高分辨率指導(dǎo)圖像獲得的結(jié)果，后面為采用不同SR重建方法獲得的彩色圖像指導(dǎo)的重建結(jié)果。實(shí)驗(yàn)結(jié)果表明，從客觀指標(biāo)上看，低分辨率指導(dǎo)圖像獲得的結(jié)果接近甚至好于高分辨率指導(dǎo)圖像獲得的結(jié)果，整體上看，針對(duì)Art、Books、Moebius圖片，LPCSR方法要優(yōu)于其他方法；針對(duì)Dolls、Laundry、Reindeer，ScSR方法更為優(yōu)秀，這說(shuō)明基于字典學(xué)習(xí)的方法可以取得最佳效果。同時(shí)也發(fā)現(xiàn)了兩個(gè)有趣的現(xiàn)象。

圖3 不同算法在圖片Art上的SR重建結(jié)果比較

表1 不同算法對(duì)Middlebury數(shù)據(jù)集1/2降采樣得到的低分辨率深度圖像重建的MAE

(注：標(biāo)注加粗的為本組最佳者；標(biāo)注下劃線的為本組次佳者)

表2 不同算法對(duì)Middlebury數(shù)據(jù)集1/4降采樣得到的低分辨率深度圖像重建的MAE

(注：標(biāo)注加粗的為本組最佳者；標(biāo)注下劃線的為本組次佳者)

(1) 以各個(gè)方法重建后的彩色圖像為指導(dǎo)獲得的結(jié)果，整體上優(yōu)于以原始彩色圖像為指導(dǎo)的結(jié)果，這一結(jié)論與普遍的直觀感覺(jué)恰恰相反。對(duì)于這一現(xiàn)象的成因，可分析為在基于彩色圖像邊緣對(duì)應(yīng)于深度圖像邊緣的前提假設(shè)下，采用各向異性擴(kuò)散張量，將圖像看做熱量場(chǎng)，每個(gè)像素看做熱流，根據(jù)當(dāng)前像素和周?chē)袼氐年P(guān)系，來(lái)確定是否要向周?chē)鷶U(kuò)散，在當(dāng)前像素和周?chē)袼夭顒e較大時(shí)，認(rèn)定鄰域像素很可能是個(gè)邊界，那么當(dāng)前像素就不向這個(gè)方向擴(kuò)散，這個(gè)邊界就得到保留。通過(guò)在TGV模型中添加各向異性擴(kuò)散張量，保留圖像邊緣信息，增強(qiáng)邊緣對(duì)比度。這樣在以彩色圖像為指導(dǎo)的深度圖像SR重建過(guò)程中只考慮物體的邊緣結(jié)構(gòu)，而不考慮具體的紋理細(xì)節(jié)，所以低分辨率圖像放大帶來(lái)的紋理?yè)p失并不會(huì)過(guò)多的影響深度圖像重建，反之，這一過(guò)程中對(duì)圖像邊緣的隨機(jī)增強(qiáng)效果反而對(duì)圖像的重建質(zhì)量帶來(lái)少許提升；其次，實(shí)驗(yàn)圖像中存在噪聲和紋理細(xì)節(jié)的干擾，不論基于字典學(xué)習(xí)還是基于深度學(xué)習(xí)的方法，在低分辨率圖像方法這一類(lèi)似超采樣的過(guò)程中，能夠較好地抑制噪聲等高頻分量。因而使用SR重建后的彩色圖像為指導(dǎo)得到的深度圖像結(jié)果反而略?xún)?yōu)。

(2) 在以各個(gè)方法重建后的彩色圖像為指導(dǎo)獲得的結(jié)果比較中，最好結(jié)果均非由基于深度學(xué)習(xí)的方法獲得，這與理論上基于深度學(xué)習(xí)的方法更為優(yōu)秀相悖，這說(shuō)明雖然基于深度學(xué)習(xí)的重建方法相較于其他方法可以帶來(lái)更好的紋理細(xì)節(jié)，卻并非能夠?qū)崿F(xiàn)最好的邊緣增強(qiáng)效果。

2.2 ToFMark數(shù)據(jù)集

ToFMark數(shù)據(jù)集中低分辨率深度圖像由PMD Nano ToF相機(jī)采集獲得，分辨率為120×160，高分辨率彩色圖像由CMOS相機(jī)獲得，分辨率為810×610。為了模擬低分辨率彩色輸入圖像，本文分別以因子為1/4和1/16的Bicubic降采樣方法，對(duì)高分辨率彩色圖像降采樣，1/4降采樣后的低分辨率彩色圖像分辨率為203×153，1/16降采樣后的低分辨率彩色圖像分辨率為51×39。

圖4中Ground truth為原始高分辨率深度圖，Original為采用原始高分辨率彩色圖像為指導(dǎo)重建出的深度圖像，其他圖像分別為先對(duì)低分辨率彩色圖像SR重建，然后以重建后的圖像為指導(dǎo)深度圖像的重建結(jié)果。圖中截取了玩偶的頭部進(jìn)行了放大，從視覺(jué)效果上看，以原始高分辨率彩色圖像為指導(dǎo)重建出的深度圖像質(zhì)量最佳；以基于深度學(xué)習(xí)和基于字典學(xué)習(xí)重建的彩色圖像為指導(dǎo)得到的深度圖像質(zhì)量次之；基于插值的方法效果最差，可以看到玩偶的頂部較為模糊。但整體上看，基于以重建后的彩色圖像為指導(dǎo)重建得到的深度圖像質(zhì)量與以原始高分辨彩色圖像為指導(dǎo)重建得到的深度圖像質(zhì)量相差不大。

表3分別為不同方法深度圖像重建的MAE結(jié)果比較。整體來(lái)看，使用低分辨率指導(dǎo)圖像可以獲得接近于以原始高分辨率彩色圖像為指導(dǎo)所得到的結(jié)果。而在不同的彩色圖像SR算法中，以GUN和ASDS方法重建的指導(dǎo)圖像的效果略好于其他方法。

圖4 不同算法在圖片Devil上的SR重建結(jié)果比較

表3 不同算法對(duì)ToF數(shù)據(jù)集低分辨率深度圖像重建的MAE

(注：標(biāo)注加粗的為本組最佳者；標(biāo)注下劃線的為本組次佳者)

3 結(jié)束語(yǔ)

傳統(tǒng)的以彩色圖像為指導(dǎo)的深度圖像SR重建方法，輸入指導(dǎo)圖像必須為高分辨率彩色圖像。為了擴(kuò)展其應(yīng)用范圍，本文探討了一種以任意分辨率彩色圖像為指導(dǎo)的深度圖像SR重建方法。本文首先采用圖像SR重建算法對(duì)輸入彩色圖像上采樣，得到高分辨率彩色圖像并以此作為參考圖像，采用基于二階總廣義變分的方法，將低分辨率彩色圖像重建得到的圖像作為正則約束項(xiàng)，添加圖像邊緣信息，構(gòu)建目標(biāo)函數(shù)，將深度圖像SR重建問(wèn)題轉(zhuǎn)化為最優(yōu)求解問(wèn)題，最終得到高分辨率深度圖像。實(shí)驗(yàn)結(jié)果表明，以重建的彩色圖像為指導(dǎo)方法得到的深度圖像質(zhì)量可以達(dá)到甚至超過(guò)以原始高分辨率彩色圖像為指導(dǎo)方法得到的深度圖像，這就避免了對(duì)輸入彩色圖像的高分辨率要求，擴(kuò)展了算法的應(yīng)用范圍。同時(shí)，本方法突破了輸入彩色圖像分辨率的限制，可以輸出合理范圍內(nèi)的任意分辨率的高質(zhì)量深度圖像。后續(xù)工作將在大量的深度圖像SR重建方法上應(yīng)用本文所提出的低分辨率指導(dǎo)的框架，以進(jìn)一步驗(yàn)證本文所觀測(cè)的結(jié)論。

[1] NGUYEN C V, IZADI S, LOVELL D. Modeling Kinect sensor noise for improved 3D reconstruction and tracking [C]//International Conference on 3d Imaging. New York: IEEE Press, 2012: 524-530.

[2] ONG A P R, BUGTAI N T, ALDABA L M M, et al. Application of KinectTMand wireless technology for patient data recording and viewing system in the course of surgery [C]//Biomedical Engineerings Recent Progress in Biomaterials, Drugs Development & Medical Devices: First International Symposium of Biomedical Engineering. New York: AIP Publishing LLC, 2017: 465-471.

[3] FANKHAUSER P, BLOESCH M, RODRIGUEZ D, et al. Kinect v2 for mobile robot navigation: evaluation and modeling [C]//International Conference on Advanced Robotics. New York: IEEE Press, 2015: 388-394.

[4] NAVARRO J, BUADES A. Robust and dense depth estimation for light field images [J]. IEEE Transactions on Image Processing, 2017, (99): 1.

[5] WANG F, JIA K, FENG J. The real-time depth map obtainment based on stereo matching [C]//The Euro-China Conference on Intelligent Data Analysis and Applications. Berlin: Springer International Publishing, 2016: 138-144.

[6] DOMAE Y. 3-D sensing technology for industrial robots [J]. Mitsubishi Electric Advance, 2013, 141: 15-17.

[7] KOLB A, BARTH E, KOCH R, et al. Time-of-flight sensors in computer graphics [J]. Computer Graphics Forum, 2009(10): 776-778.

[8] SCHUON S, THEOBALT C, DAVIS J, et al. LidarBoost: depth superresolution for ToF 3D shape scanning [C]//IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2009: 343-350.

[9] RAJAGOPALAN A N, BHAVSAR A, WALLHOFF F, et al. Resolution enhancement of PMD range maps [C]//Dagm Symposium on Pattern Recognition. Berlin: Springer International Publishing, 2008: 304-313.

[10] YANG Q, YANG R, DAVIS J, et al. Spatial-depth super resolution for range images [C]//IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2007: 1-8.

[11] DIEBEL J, THRUN S. An application of Markov random fields to range sensing [C]//Advances in Neural Information Processing Systems. Cambridge: MIT Press, 2005: 291-298.

[12] LU J, MIN D, PAHWA R S, et al. A revisit to MRF-based depth map super-resolution and enhancement [C]//IEEE International Conference on Acoustics, Speech and Signal Processing. New York: IEEE Press, 2011: 985-988.

[13] ALVES A. Joint bilateral upsampling [J]. ACM Transactions on Graphics, 2013, 26(3): 96.

[14] CHO J H, IKEHATA S, YOO H, et al. Depth map up-sampling using cost-volume filtering [C]//IEEE IVMSP Workshop. New York: IEEE Press, 2013: 1-4.

[15] KIM J, JEON G, JEONG J. Joint-adaptive bilateral depth map upsampling [J]. Signal Processing Image Communication, 2014, 29(4): 506-513.

[16] FERSTL D, Reinbacher C, Ranftl R, et al. Image guided depth upsampling using anisotropic total generalized variation [C]//IEEE International Conference on Computer Vision. New York: IEEE Press, 2013: 993-1000.

[17] LEHMANN T M, G?NNER C, SPITZER K. Survey: interpolation methods in medical image processing [J]. IEEE Transactions on Medical Imaging, 1999, 18(11): 1049.

[18] GIACHETTI A, ASUNI N. Real-time artifact-free image upscaling [J]. IEEE Transactions on Image Processing, 2011: 20(10): 2760-2768.

[19] SUN J, SUN J, XU Z, et al. Image super-resolution using gradient profile prior [C]//IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2008: 1-8.

[20] ZHAO Y, WANG R, WANG W, et al. High resolution local structure-constrained image upsampling [J]. IEEE Transactions on Image Processing, 2015, 24(11): 4394-4407.

[21] FREEMAN W T, PASZTOR E C. Learning low-level vision [J]. International Journal of Computer Vision, 2000, 40(1): 25-47.

[22] CHANG H, YEUNG D Y, XIONG Y. Super-resolution through neighbor embedding [C]//IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2004: 275-282.

[23] ZHAO Y, WANG R, WANG W, et al. Multilevel modified finite radon transform network for image Upsampling [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2016, 26(12): 2189-2199.

[24] YANG J, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation [J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[25] DONG W, ZHANG L, SHI G, et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization [J]. IEEE Transactions on Image Processing, 2011, 20(7): 1838-1857.

[26] GLASNER D, BAGON S, IRANI M. Super-resolution from a single image [C]//IEEE Conference on International Computer Vision. New York: IEEE Press, 2009: 349-356.

[27] TIMOFTE R, DE V, GOOL L V. Anchored neighborhood regression for fast example-based super-resolution [C]//IEEE International Conference on Computer Vision. New York: IEEE Press, 2013: 1920-1927.

[28] TIMOFTE R, SMET V D, GOOL L V. A+: adjusted anchored neighborhood regression for fast super-resolution [C]//Asian Conference on Computer Vision. Berlin: Springer International Publishing, 2014: 111-126.

[29] ZHAO Y, WANG R G, JIA W, et al. Iterative projection reconstruction for fast and efficient image upsampling [J]. Neurocomputing, 2016, 226(C): 200-211.

[30] ZHAO Y, WANG R, JIA W, et al. Local patch classification based framework for single image super-resolution [C]//IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 1-11.

[31] SCHULTER S, LEISTNER C, BISCHOF H. Fast and accurate image upscaling with super-resolution forests [C]//Computer Vision and Pattern Recognition. New York: IEEE Press, 2015:3791-3799.

[32] DONG C, LOY C C, HE K, et al. Image super-resolution using deep convolutional networks [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 38(2): 295-307.

[33] KIM J, LEE J K, LEE K M. Accurate image super-resolution using very deep convolutional networks [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2015: 1646-1654.

[34] ZHAO Y, WANG R, DONG W, et al. GUN: Gradual upsampling network for single image super-resolution [C]// IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 1-11.

[35] LEDIG C, THEIS L, HUSZAR F, et al. Photo-realistic single image super-resolution using a generative adversarial network [C]//IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 1-19.

[36] HIRSCHMULLER H, SCHARSTEIN D. Evaluation of cost functions for stereo matching [C]//IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2007: 1-8.

Low-Resolution RGB Image Guided Depth Image Super-Resolution

WU Yulong, ZHAO Yang, CAO Mingwei, LIU Xiaoping

(School of Computer and Information, Hefei University of Technology, Hefei Anhui 230009, China)

In traditional methods of RGB image guided depth image super-resolution, the reference images are required to be high-resolution intensity images and its resolution determines the upper limit of the depth image upsampling. Moreover, in some situations only low-resolution RGB images are available, thus the traditional methods are unpractical. In this paper an arbitrary resolution RGB image guided depth image super-resolution is proposed. First, we use different image super-resolution algorithm for the input RGB image upsampling, so that a high-resolution reference RGB image can be obtained. Then we increase the resolution of the input depth image by using the second-order total generalized variation based method and adding edge cues from the reference image obtained in above step. Then the final energy objective function is defined and depth image super-resolution can be transformed into optimization problem, which can be solved by primal-dual energy minimization scheme. Finally the high-resolution depth image is generated. This paper explores the cases previously ignored by the relevant method and the proposed method can be applied to arbitrary resolution RGB images. Through the relevant experiments, we found an amazing phenomenon that, by using low-resolution color image up-sampling as a guide, we can get similar to or even better results compared with using high-resolution intensity guided image. This conclusion has some reference significance for the research and application of related issues.

super-resolution reconstruction; depth image; second order total generalized variation; ToF camera

TP 751

10.11996/JG.j.2095-302X.2018020235

A

2095-302X(2018)02-0235-09

2017-06-20；

2017-08-13

國(guó)家自然科學(xué)基金面上項(xiàng)目(61370167)；國(guó)家自然科學(xué)基金青年科學(xué)基金項(xiàng)目(61602146)；安徽省自然科學(xué)基金項(xiàng)目(JZ2015AKZR0664)

武玉龍(1991–)，男，山東東營(yíng)人，碩士研究生。主要研究方向?yàn)槿S重建。E-mail：1317255537@qq.com

劉曉平(1964–)，男，山東濟(jì)南人，博士，教授，博士生導(dǎo)師。主要研究方向?yàn)橛?jì)算機(jī)輔助設(shè)計(jì)、計(jì)算機(jī)圖形學(xué)。E-mail：liu@hfut.edu.cn