基于形狀自適應(yīng)非局部回歸和非局部梯度正則的深度圖像超分辨

張瑩瑩，任超，朱策*

基于形狀自適應(yīng)非局部回歸和非局部梯度正則的深度圖像超分辨

張瑩瑩1，任超2，朱策1*

（1.電子科技大學(xué) 信息與通信工程學(xué)院，成都 611731； 2.四川大學(xué) 電子信息學(xué)院，成都 610065）（*通信作者電子郵箱eczhu@uestc.edu.cn）

針對(duì)深度圖像分辨率低、深度不連續(xù)性模糊問題，提出一種基于形狀自適應(yīng)非局部回歸和非局部梯度正則的深度圖像超分辨方法。為了探究深度圖像非局部相似塊之間的相關(guān)性，提出了形狀自適應(yīng)的非局部回歸。該方法對(duì)每個(gè)像素點(diǎn)提取其形狀自適應(yīng)塊，并根據(jù)形狀自適應(yīng)塊構(gòu)建目標(biāo)像素的相似像素組；然后針對(duì)相似像素組中的每個(gè)像素，結(jié)合同場(chǎng)景的高分辨率彩色圖像獲得非局部權(quán)重，從而構(gòu)建非局部回歸先驗(yàn)。為了保持深度圖像的邊緣信息，對(duì)圖像梯度的非局部性進(jìn)行探究。不同于總變分（TV）正則化對(duì)所有像素點(diǎn)梯度的零均值拉普拉斯分布假設(shè)，該方法利用深度圖像梯度的非局部相似性，用非局部塊估計(jì)特定像素點(diǎn)的梯度均值，并用學(xué)習(xí)到的均值來擬合各像素點(diǎn)的梯度分布。實(shí)驗(yàn)結(jié)果表明，相較于基于邊緣不一致性評(píng)價(jià)模型（EIEM），所提方法在Middlebury數(shù)據(jù)集上的2倍和4倍上采樣率的平均絕對(duì)值差（MAD）分別下降了41.1%和40.8%。

深度圖像；超分辨；形狀自適應(yīng)；非局部自相似；非局部梯度

0 引言

近年來，3D成像領(lǐng)域的迅速發(fā)展促進(jìn)了3D掃描設(shè)備的出現(xiàn)，如飛行時(shí)間（Time Of Flight， TOF）攝像機(jī)。3D掃描設(shè)備可以容易地實(shí)時(shí)獲得場(chǎng)景的深度信息，該信息作為輔助數(shù)據(jù)，在三維重建、虛擬現(xiàn)實(shí)［1-2］等實(shí)際應(yīng)用中發(fā)揮著重要作用。然而，與相應(yīng)的彩色圖像相比，深度傳感器獲取的深度圖像的質(zhì)量比較低。例如，TOF相機(jī)獲取的深度圖的分辨率低，且易受噪聲影響。然而，許多實(shí)際應(yīng)用需要精確的深度信息，有限的分辨率和低質(zhì)量的圖像極大地限制了深度圖像的實(shí)際應(yīng)用。因此，獲取高分辨率的深度圖像已成為近年來的一個(gè)重要研究課題。

為了提升深度數(shù)據(jù)的應(yīng)用，許多深度圖采用超分辨率方法被提出?，F(xiàn)有超分辨方法可以分為：1）非彩色圖像引導(dǎo)的方法，此類方法從觀測(cè)的深度圖像重建目標(biāo)圖像，由于沒有彩色圖像的輔助，可用信息有限，因此此類方法往往具有模糊偽影或鋸齒偽影；2）彩色圖像引導(dǎo)的方法，此類方法在深度圖與其相關(guān)的彩色圖像之間具有結(jié)構(gòu)一致性的前提下進(jìn)行，并利用高分辨率彩色圖像指導(dǎo)低分辨率深度圖的重建。

彩色圖像引導(dǎo)的方法得到了廣泛的研究，因?yàn)橥ㄟ^深度相機(jī)傳感器通常很容易獲得一對(duì)彩色圖像和深度圖像。彩色圖像引導(dǎo)的方法可分為：基于濾波的方法［3-5］、基于學(xué)習(xí)的方法［6-9］和基于重建的方法［10-17］?；跒V波的方法，通過對(duì)局部深度圖像像素的加權(quán)平均得到高分辨率深度圖；基于濾波的方法計(jì)算復(fù)雜度較低，但易受噪聲影響，且重建圖像邊緣可能會(huì)過于模糊?；趯W(xué)習(xí)的方法通過建立高分辨率塊和與其對(duì)應(yīng)的低分辨率塊之間的映射關(guān)系實(shí)現(xiàn)圖像的恢復(fù)。基于學(xué)習(xí)的方法又可分為基于字典學(xué)習(xí)的方法［6-7］和基于深度卷積神經(jīng)網(wǎng)絡(luò)［8-9］。基于字典學(xué)習(xí)的方法通過對(duì)圖像結(jié)構(gòu)的學(xué)習(xí)，能夠很好地表達(dá)圖像的深度特征。然而，所有這些方法都是以塊為單位進(jìn)行圖像恢復(fù)，會(huì)引入不良的偽影。基于深度卷積神經(jīng)網(wǎng)絡(luò)的方法的良好性能通常得益于大數(shù)據(jù)訓(xùn)練，因此，需要一個(gè)大的訓(xùn)練數(shù)據(jù)集。

基于重建的方法通過利用先驗(yàn)信息對(duì)解進(jìn)行正則化約束來求得重建圖像?；谥亟ǖ姆椒壳耙训玫酱罅垦芯?。非局部自相似性是深度圖像的重要特性，它探究了具有相似模式的塊之間的相關(guān)性，作為先驗(yàn)被廣泛應(yīng)用。為了探究深度圖像的非局部特性，Dong等［13］用低秩約束圖像的非局部特性。Zhang等［14］、Jiang等［15］均提出了基于稀疏系數(shù)的自回歸模型，為了更好探究塊之間的相關(guān)性，對(duì)于每一個(gè)目標(biāo)塊采用相似塊構(gòu)建字典，并將目標(biāo)塊變換到字典域，在變換域內(nèi)應(yīng)用自回歸模型。Zhang等［16］提出了非局部總廣義變分的深度圖像重建方法，該方法約束了目標(biāo)像素點(diǎn)與其非局部相似點(diǎn)之間的平滑性。Park等［17］將超分辨問題轉(zhuǎn)化為最小二乘優(yōu)化問題，結(jié)合了基于邊緣加權(quán)的非局部均值正則化來加強(qiáng)深度圖像細(xì)節(jié)生成。Ren等［18］提出了調(diào)整的非局部回歸先驗(yàn)來重建圖像，該方法充分探究了圖像的非局部性。Liu等［19］提出了非局部梯度方法來探究圖像梯度間的自相似性。非局部約束項(xiàng)使得具有相同結(jié)構(gòu)的像素可以相互增強(qiáng)，因此有利于圖像細(xì)節(jié)信息的保持。

基于非局部先驗(yàn)的有效性，本文主要對(duì)深度圖像的非局部自相似性進(jìn)行研究。在上述基于非局部先驗(yàn)的方法中，非局部回歸［18］和非局部梯度方法［19］是兩個(gè)具有代表性的方法?；诜蔷植炕貧w的圖像重建方法利用非局部相似像素對(duì)當(dāng)前像素的線性逼近約束，可以很好地恢復(fù)圖像細(xì)節(jié)；但基于非局部回歸的方法本質(zhì)上是基于塊級(jí)的處理，因此可能產(chǎn)生一定的人工痕跡?；诜蔷植刻荻鹊膱D像重建方法利用非局部相似梯度來估計(jì)目標(biāo)點(diǎn)的梯度均值，并用以擬合目標(biāo)點(diǎn)的分布。該方法對(duì)非局部梯度的總能量進(jìn)行約束，可較好地抑制虛假紋理等人工痕跡，且具有不錯(cuò)的邊緣保持能力；但是由于其梯度能量最小化的本質(zhì)，重建圖像會(huì)產(chǎn)生過平滑效應(yīng)，難以恢復(fù)細(xì)節(jié)信息。

為了抑制圖像偽影并更好地恢復(fù)圖像細(xì)節(jié)，本文提出了一種聯(lián)合形狀自適應(yīng)非局部回歸和非局部梯度正則的深度圖像超分辨方法。該方法結(jié)合了非局部回歸的細(xì)節(jié)恢復(fù)特性以及非局部梯度的虛假紋理抑制特性，可以對(duì)深度圖像進(jìn)行更好的恢復(fù)。本文主要從兩方面來探究深度圖像的非局部特性，并利用其作為先驗(yàn)約束圖像重建：

1）為了充分利用深度圖的非局部自相似性，本文引入了調(diào)整的非局部回歸先驗(yàn)［18］，它可以充分利用深度圖的非局部信息。然而，文獻(xiàn)［18］在構(gòu)建相似像素組時(shí)并未考慮圖像結(jié)構(gòu)，因此構(gòu)建的相似像素組可能包含不相關(guān)的像素點(diǎn)；特別是當(dāng)目標(biāo)塊包含較大的結(jié)構(gòu)變化時(shí)，估計(jì)結(jié)果將變得模糊。為了解決這個(gè)問題，本文提出了形狀自適應(yīng)的非局部回歸先驗(yàn)。該方法對(duì)每個(gè)像素點(diǎn)提取其形狀自適應(yīng)塊，然后根據(jù)形狀自適應(yīng)塊構(gòu)建目標(biāo)像素的相似像素組?；谛螤钭赃m應(yīng)塊構(gòu)建的相似像素組可以避免不相關(guān)像素的影響，抑制模糊偽影。最后用彩色圖像引導(dǎo)相似像素點(diǎn)的權(quán)重計(jì)算，從而構(gòu)建非局部回歸先驗(yàn)。

2）為進(jìn)一步探究深度圖像梯度的非局部自相似性，本文引入非局部梯度正則［19］。在文獻(xiàn)［19］中，目標(biāo)像素點(diǎn)的梯度均值通過相似像素點(diǎn)的梯度直接相加平均得到，并未考慮相似像素點(diǎn)的梯度與目標(biāo)像素點(diǎn)的梯度之間的相似度。為了解決這個(gè)問題，本文提出彩色圖像引導(dǎo)自適應(yīng)權(quán)重的非局部梯度正則，在計(jì)算梯度均值時(shí)考慮了相似像素點(diǎn)的梯度與目標(biāo)像素點(diǎn)的梯度之間的相似度問題，并根據(jù)彩色圖像與深度圖像邊緣結(jié)構(gòu)一致性假設(shè)，利用彩色圖像作為引導(dǎo)計(jì)算相似像素點(diǎn)的梯度與目標(biāo)像素點(diǎn)的梯度之間的相似度。即先計(jì)算圖像水平垂直方向梯度，利用圖像的非局部自相似性尋找以當(dāng)前點(diǎn)為中心的圖像塊的相似塊，再根據(jù)彩色圖像的引導(dǎo)作用估計(jì)特定像素點(diǎn)的圖像梯度均值信息。

1 本文方法

根據(jù)深度圖像的成像過程，低分辨率輸入和高分辨率深度圖像之間的關(guān)系可以表示為

1.1 自適應(yīng)鄰域塊的非局部先驗(yàn)

調(diào)整的非局部回歸［18］探究了圖像的非局部自相關(guān)性，由于它采用了逐塊策略，即每一個(gè)目標(biāo)塊由其相似塊加權(quán)平均得到，因此每一個(gè)目標(biāo)像素由其相似像素以及其相似塊對(duì)應(yīng)位置的像素加權(quán)平均得到。此策略深入探究了深度圖的非局部自相似性，充分利用了深度圖的非局部信息；但當(dāng)目標(biāo)像素位于邊緣區(qū)域時(shí)，由于構(gòu)建的相似像素組中存在不相關(guān)像素，估計(jì)值會(huì)不準(zhǔn)確。為了解決這個(gè)問題，本文提出了形狀自適應(yīng)的非局部回歸先驗(yàn)。為了避免不相關(guān)像素的影響，使用結(jié)構(gòu)自適應(yīng)塊代替固定尺寸的塊用于相似塊組的構(gòu)建。由于塊的形狀與圖像結(jié)構(gòu)相適應(yīng)，所以可以避免不相關(guān)像素對(duì)重建像素的影響，因此可以抑制邊緣平滑。

為了有效地提取結(jié)構(gòu)自適應(yīng)塊，使用了各向異性局部多項(xiàng)式逼近-置信區(qū)間交集（Local Polynomial Aapproximation-Intersection of Confidence Intervals，LPA-ICI）技術(shù)［20］。LPA-ICI技術(shù)是一種基于局部形狀自適應(yīng)的各向異性鄰域估計(jì)方法，它可以自適應(yīng)地為圖像中的每個(gè)像素點(diǎn)構(gòu)建各向異性鄰域結(jié)構(gòu)。該方法通過比較每個(gè)像素點(diǎn)在不同尺度方向的估計(jì)值，然后利用LPA-ICI技術(shù)為圖像中的每個(gè)點(diǎn)自適應(yīng)地選擇一組方向自適應(yīng)尺度，相應(yīng)的自適應(yīng)尺度核的支集長(zhǎng)度以逐點(diǎn)自適應(yīng)的方式確定該點(diǎn)的鄰域。因此，該估計(jì)器是各向異性的，并且其支集的形狀與圖像中存在的結(jié)構(gòu)相適應(yīng)。

圖1 各向異性鄰域

Fig. 1 Anisotropic neighborhood

圖2 形狀自適應(yīng)相似塊組和相似像素點(diǎn)組

圖3 像素位置說明

Fig. 3 Description of pixel position

利用更新的像素，可以計(jì)算像素點(diǎn)組中每個(gè)像素的相似度權(quán)重：

1.2 非局部梯度

在深度圖像中邊緣是深度圖像的主要結(jié)構(gòu)，深度圖像重建的重點(diǎn)在于建立清晰的邊緣結(jié)構(gòu)?？傋兎窒闰?yàn)假設(shè)圖像梯度具有稀疏性，它在保存圖像的邊緣結(jié)構(gòu)方面非常有效。然而，從概率角度來看，該模型假設(shè)圖像中所有點(diǎn)的梯度都服從零均值分布，當(dāng)考慮全局圖像統(tǒng)計(jì)時(shí)，該模型是合理的，但是從局部的角度來看，自然圖像的統(tǒng)計(jì)數(shù)據(jù)可能不是平穩(wěn)的，在平滑區(qū)域此假設(shè)是成立的，但在邊緣區(qū)域梯度的零均值假設(shè)也可能是無效的。為了更好地模擬圖像的梯度分布，文獻(xiàn)［20］中提出了非局部梯度稀疏正則并在圖像去噪方面取得了比較好的效果。本文為更好地保持圖像的邊緣結(jié)構(gòu)，也采用文獻(xiàn)［20］提出的非局部梯度稀疏正則來擬合圖像的梯度，根據(jù)圖像統(tǒng)計(jì)的非平穩(wěn)性，針對(duì)不同像素，應(yīng)用自適應(yīng)的分布模型，并在此基礎(chǔ)上提出彩色圖像引導(dǎo)的非局部梯度先驗(yàn)。

由此模型可以看出，梯度均值影響著此正則的有效性，因此對(duì)每一個(gè)像素點(diǎn)求解精確的梯度是重要的。根據(jù)假設(shè)，深度圖像與彩色圖像存在相似的不連續(xù)性，因此本文應(yīng)用彩色圖像作為輔助信息來引自適應(yīng)權(quán)重的導(dǎo)梯度均值估計(jì)。目標(biāo)分布的期望值定義為：

2 本文模型求解

將形狀自適應(yīng)非局部回歸先驗(yàn)和非局部梯度先驗(yàn)聯(lián)合起來，可以得到如下深度圖像超分辨模型：

然后，將上式轉(zhuǎn)化為非約束問題：

根據(jù)分裂Bregman迭代算法，迭代求解下列優(yōu)化問題：

此為凸二次優(yōu)化問題，其解為：

此為1-范數(shù)優(yōu)化問題，可以用軟閾值方法求解，則

通過迭代求解上述優(yōu)化問題，可以得到最終重建的深度圖像。本文提出算法具體步驟如下：

輸入 低分辨率深度圖像和降質(zhì)矩陣。

輸出 高分辨率深度圖像。

1）初始化：雙三次插值放大輸入圖像得到初始的高分辨率圖像估計(jì)。

3） 更新相似像素點(diǎn)組權(quán)重矩陣。

4） 根據(jù)式（13）更新非局部梯度均值。

6） 根據(jù)式（20）更新估計(jì)圖像。

9） end for

10） end for

11） return 重建深度圖像。

3 實(shí)驗(yàn)分析

利用Middlebury數(shù)據(jù)集［23］評(píng)估本文方法，并與以下方法進(jìn)行了比較：1）基于濾波器的方法，即引導(dǎo)濾波（Guided Filtering， GF）［3］、共同結(jié)構(gòu)聯(lián)合濾波（Mutual-Structure Joint Filtering， MSJF）［4］、靜態(tài)和動(dòng)態(tài)引導(dǎo)濾波（Static and Dynamic guided Filtering， SDF）［5］；2）基于重建的方法，即基于馬爾可夫隨機(jī)場(chǎng)（Markov Random Field， MRF）的方法［10］、彩色引導(dǎo)回歸（color-guided AutoRegression， AR）［12］、各向異性全廣義變差（anisotropic Total Generalized Variation ， TGV）［11］和基于邊緣不一致性評(píng)價(jià)模型（Edge Inconsistency Evaluation Model，EIEM）［24］。

3.1 參數(shù)設(shè)置

3.2 Middlebury數(shù)據(jù)集

將Middlebury數(shù)據(jù)庫中的6幅圖像分為包括Art、Book和Moebius的A數(shù)據(jù)集以及包括Reindeer、Laundry和Dolls的B數(shù)據(jù)集。為了生成低分辨率深度圖，首先對(duì)深度圖像進(jìn)行高斯核模糊處理，然后降采樣到所需的分辨率。測(cè)試了上采樣率為2倍、4倍、8倍時(shí)的上采樣性能。表1和表2給出了圖像的MAD。從表中可以看出，在2倍和4倍采樣率時(shí)，本文方法在6個(gè)測(cè)試圖像上都獲得了最低MAD；8倍采樣率時(shí)，本文方法則在多數(shù)圖像上獲得了最低MAD。相比EIEM，本文方法在Middlebury數(shù)據(jù)集上的2倍和4倍采樣率的MAD分別下降了41.1%和40.8%。

圖4給出了圖像Art和Reindeer圖像（圖為裁減的部分圖像）4倍上采樣的視覺比較結(jié)果。從圖中可以看出：AR模型［12］重建結(jié)果的紋理復(fù)制偽影被適當(dāng)抑制；但AR模型中深度項(xiàng)的權(quán)系數(shù)僅依賴于低分辨率輸入的雙三次插值，使得深度圖像在邊緣區(qū)域趨于模糊。MRF方法［10］重建的深度圖像在大部分區(qū)域可以獲得良好的質(zhì)量；但在深度不連續(xù)性與彩色圖像邊緣不一致的區(qū)域，由于彩色圖像紋理的影響引入了偽影。盡管GF方法［3］重建的深度圖像可以得到比較低的MAD，但在深度圖像邊緣與彩色圖像邊緣不一致的地方依然會(huì)有偽影。TGV方法［11］沒有考慮到彩色圖像和深度圖像之間不一致性，所以不能很好地抑制紋理復(fù)制偽影。在SDF［5］中，靜態(tài)和動(dòng)態(tài)濾波被用來消除不一致性，但在某些情況下失敗了。MSJF［4］的結(jié)果是平滑的，因?yàn)樵摲椒ê雎粤四繕?biāo)圖像本身的統(tǒng)計(jì)先驗(yàn)。EIEM方法［24］可以在大多數(shù)區(qū)域獲得良好的質(zhì)量，但在深度不連續(xù)與彩色邊緣無關(guān)的區(qū)域會(huì)引入偽影。綜合表1、2和圖4的結(jié)果可以看出，本文方法可以獲得較低的AMD，并且可以提供視覺上一致的結(jié)果，說明使用兩種非局部約束是有效的。

圖4 Art和Reindeer圖像4倍上采樣結(jié)果比較

表1 數(shù)據(jù)集A上的MAD比較

表2 數(shù)據(jù)集B上的MAD比較

圖5給出了圖像Mobiues和Dolls（圖為裁減的部分圖像）8倍向上采樣的視覺比較結(jié)果。對(duì)于Mobiues圖像，SDF方法［5］和AR方法［12］可以得到一個(gè)很好的恢復(fù)，但是對(duì)于某些邊緣結(jié)構(gòu)還是不能很好處理，如SDF方法重建的圖像尖角邊緣會(huì)有缺失；GF方法［3］和MSJF方法［4］不能生成非常尖銳的邊緣；TGV［11］的結(jié)果是沿邊緣非常平滑，這說明普通的局部結(jié)構(gòu)正則化不能有效地處理大的采樣率；EIEM［24］可以恢復(fù)大多數(shù)細(xì)節(jié)，但依然會(huì)受彩色圖像紋理的影響；本文方法恢復(fù)了清晰的圖形邊緣，與真實(shí)深度圖像最接近。

3.3 模擬TOF降質(zhì)的數(shù)據(jù)集

在模擬TOF降質(zhì)的數(shù)據(jù)集上評(píng)估本文方法。首先下采樣圖像到目標(biāo)大小的低分辨率圖像，在低分辨率深度圖像中加入標(biāo)準(zhǔn)差為5的高斯噪聲來模擬TOF退化。表3和表4給出了在2倍、4倍和8倍采樣率下各方法的MAD。表3和表4表明本文方法對(duì)大部分圖像有效，可以得到較好結(jié)果。GF方法［3］和MRF方法［10］對(duì)噪聲的魯棒性不強(qiáng)，與無噪聲情況相比，性能大大降低；TGV［11］在較低的采樣率（即2倍、4倍）下工作良好，但對(duì)較大的采樣因子（即8倍）不具有魯棒性。

圖6給出了Art和Laundry圖像（圖為裁減的部分圖像）4倍上采樣的視覺比較結(jié)果。由圖可以看出：GF方法［3］的結(jié)果含有大量噪聲；MRF方法［10］產(chǎn)生的圖像邊緣比較模糊；MSJF方法［4］對(duì)噪聲也很敏感；SDF方法［5］可以產(chǎn)生更清晰的結(jié)果，但在Art圖像的邊緣有嚴(yán)重失真；雖然TGV［11］可以很好地抑制噪聲，但它仍會(huì)受到紋理復(fù)制偽影的影響；AR模型［12］可以適當(dāng)?shù)匾种萍y理復(fù)制偽影，但由于噪聲影響其加權(quán)系數(shù)，邊緣仍然會(huì)模糊；EIEM［24］可以抑制噪聲并提供清晰的深度圖，但在某些區(qū)域會(huì)產(chǎn)生模糊的偽影；而本文方法由于非局部約束具有很好的去噪效果，能在一定程度上抑制上采樣過程中的噪聲，并能有效去除紋理復(fù)制偽影，重建較好邊緣。

圖5 Mobiues和Dolls圖像8倍上采樣結(jié)果比較

圖6 模擬TOF降質(zhì)下laundry和Art 圖像4倍上采樣結(jié)果比較

表3 模擬TOF降質(zhì)的數(shù)據(jù)集A上的MAD比較

表4 模擬TOF降質(zhì)的數(shù)據(jù)集B上的MAD比較

3.4 正則項(xiàng)有效性

為了驗(yàn)證兩種正則項(xiàng)結(jié)合的有效性，比較了本文方法僅采用形狀自適應(yīng)非局部回歸（SA-NLR）和僅用非局部梯度約束（NLG）時(shí)的性能。表5和表6給出了在2倍、4倍和8倍采樣率下的MAD，圖7給出了Laundry的重建效果圖。

從表5、表6和圖7的結(jié)果可以得到以下結(jié)論：1）僅用非局部梯度約束方法建立的圖像效果最差；2）形狀自適應(yīng)非局部回歸方法建立的圖像效果好于非局部梯度約束方法，這說明所建立的形狀自適應(yīng)非局部回歸模型是有效的；3）本文方法得到了最好的重建效果，說明形狀自適應(yīng)非局部回歸模型和非局部梯度約束的結(jié)合有助于提高超分辨率圖像的質(zhì)量。

表5 數(shù)據(jù)集A上正則項(xiàng)有效性比較（MAD）

表6 數(shù)據(jù)集B上正則項(xiàng)有效性比較（MAD）

圖7 算法有效性比較

4 結(jié)語

為了提升深度圖像分辨率，消除深度不連續(xù)性模糊問題，本文提出了基于形狀自適應(yīng)非局部回歸和非局部梯度的深度圖像重建方法。為了充分應(yīng)用深度圖像的非局部自相似性，本文從兩個(gè)方面探究了深度圖像的非局部特性：對(duì)于深度圖像塊之間的相關(guān)性，用非局部回歸探究了深度圖像塊之間的相關(guān)性。本文用形狀自適應(yīng)塊構(gòu)建相似像素點(diǎn)組，由于塊根據(jù)目標(biāo)像素點(diǎn)的自適應(yīng)鄰域構(gòu)建，所以構(gòu)建的相似像素點(diǎn)組避免了與目標(biāo)像素點(diǎn)不相關(guān)的像素點(diǎn)，然后用相似像素點(diǎn)組構(gòu)建非局部回歸。對(duì)于梯度塊之間的相關(guān)性，用非局部梯度探究梯度塊之間的相關(guān)性。本文對(duì)于每一個(gè)像素點(diǎn)，用其非局部塊求其非局部均值，然后用求得的均值擬合像素點(diǎn)的分布，因此非局部梯度約束能自適應(yīng)擬合像素點(diǎn)的梯度分布，更好地表征圖像的梯度特征。實(shí)驗(yàn)結(jié)果表明本文方法在客觀和主觀評(píng)價(jià)上均優(yōu)于對(duì)比方法，能更好地重建深度圖像，保持邊緣信息。

）

[1] NDJIKI-NYA P ， K?PPEL M， DOSHKOV D， et al. Depth image based rendering with advanced texture synthesis［C］// Proceedings of the 2010 IEEE International Conference on Multimedia and Expo. Piscataway： IEEE， 2010： 424-429.

[2] 李知菲，陳源. 基于聯(lián)合雙邊濾波器的Kinect深度圖像濾波算法［J］. 計(jì)算機(jī)應(yīng)用， 2014， 34（8）：2231-2234， 2242.（LI Z F， CHEN Y. Kinect depth image filtering based on joint bilateral filter［J］. Journal of Computer Applications， 2014， 34（8）：2231-2234， 2242.）

[3] HE K M， SUN J， TANG X O. Guided image filtering［C］// Proceedings of the 2010 European Conference on Computer Vision， LNIP 6311. Berlin： Springer， 2010： 1-14.

[4] SHEN X Y， ZHOU C， XU L， et al. Mutual-structure for joint filtering［J］. International Journal of Computer Vision， 2017， 125（1/2/3）：19-33.

[5] HAM B， CHO M， PONCE J. Robust image filtering using joint static and dynamic guidance［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015：4823-4831.

[6] WANG J， XU W， CAI J F， et al. Multi-direction dictionary learning based depth map super-resolution with autoregressive modeling［J］. IEEE Transactions on Multimedia， 2020， 22（6）：1470-1484.

[7] KWON H， TAI Y W， LIN S. Data-driven depth map refinement via multi-scale sparse representation［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 159-167.

[8] ZUO Y F， FANG Y M， AN P， et al. Frequency-dependent depth map enhancement via iterative depth-guided affine transformation and intensity-guided refinement［J］. IEEE Transactions on Multimedia， 2020， 23： 772-783.

[9] ZUO Y F， FANG Y M， YANG Y， et al. Depth map enhancement by revisiting multi-scale intensity guidance within coarse-to-fine stages［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2020， 30（12）： 4676-4687.

[10] DIEBEL J， THRUN S. An application of Markov random fields to range sensing［C］// Proceedings of the 18th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2005： 291-298.

[11] FERSTL D， REINBACHER C， RANFTL R， et al. Image guided depth upsampling using anisotropic total generalized variation［C］// Proceedings of the 2013 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2013： 993-1000.

[12] YANG J Y， YE X C， LI K， et al. Color-guided depth recovery from RGB-D data using an adaptive autoregressive model［J］. IEEE Transactions on Image Processing， 2014， 23（8）：3443-3458.

[13] DONG W S， SHI G M， LI X， et al. Color-guided depth recovery via joint local structural and nonlocal low-rank regularization［J］. IEEE Transactions on Multimedia， 2017， 19（2）：293-301.

[14] ZHANG Y D， ZHOU Y， WANG A H， et al. Joint nonlocal sparse representation for depth map super-resolution［C］// Proceedings of the 2017 IEEE International Conference on Image Processing. Piscataway： IEEE， 2017： 972-976.

[15] JIANG Z Y， HOU Y H， YUE H J， et al. Depth super-resolution from RGB-D pairs with transform and spatial domain regularization［J］. IEEE Transactions on Image Processing， 2018， 27（5）： 2587-2602.

[16] ZHANG H T， YU J， WANG Z F. Depth map super-resolution using nonlocal higher-order regularization with classified weights［C］// Proceedings of the 2017 IEEE International Conference on Image Processing. Piscataway： IEEE， 2017：4043-4047.

[17] PARK J， KIM H， TAI Y W， et al. High quality depth map upsampling for 3D-TOF cameras［C］// Proceedings of the 2011 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2011： 1623-1630.

[18] REN C， HE X H， NGUYE T Q. Adjusted non-local regression and directional smoothness for image restoration［J］. IEEE Transactions on Multimedia， 2019， 21（3）：731-745.

[19] LIU H F， XIONG R Q， ZHANG X F， et al. Nonlocal gradient sparsity regularization for image restoration［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2017， 27（9）： 1909-1921.

[20] KATKOVNIK V， EGIAZARIAN K， ASTOLA J. Adaptive window size image de-noising based on Intersection of Confidence Intervals （ICI） rule［J］. Journal of Mathematical Imaging and Vision， 2002， 16（3）：223-235.

[21] GOLDSTEIN T， OSHER S. The split Bregman method for L1-regularized problems［J］. SIAM Journal on Imaging Sciences， 2009， 2（2）： 323-343.

[22] BECKER S R， CANDèS E J， GRANT M C. Templates for convex cone problems with applications to sparse signal recovery［J］. Mathematical Programming Computation， 2011， 3（3）： 165-218.

[23] Middlebury stereo datasets［DB/OL］. ［2021-01-22］. http：//vision.middlebury.edu/stereo/data/.

[24] ZUO Y F， WU Q， ZHANG J， et al， Explicit edge inconsistency evaluation model for color-guided depth map enhancement［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2018， 28（2）：439-453.

Depth image super-resolution based on shape-adaptive non-local regression and non-local gradient regularization

ZHANG Yingying1， REN Chao2， ZHU Ce1*

（1，，611731，；2，，610065，）

To deal with the low resolution of depth images and blurring depth discontinuities， a depth image super-resolution method based on shape-adaptive non-local regression and non-local gradient regularization was proposed. To explore the correlation between non-local similar patches of depth image， a shape-adaptive non-local regression method was proposed. The shape-adaptive self-similarity patch was extracted for each pixel， and a similar pixel group for the target pixel was constructed according to its shape-adaptive patch. Then for each pixel in the similar pixel group， a non-local weight was obtained with the assistant of the high-resolution color image of the same scene， thereby constructing the non-local regression prior. To maintain the edge information of the depth image， the non-locality of the gradient of the depth image was explored. Different from the Total Variation （TV） regularization which assumed that all pixels obeyed Laplacian distribution with zero mean value， through non-local similarity of the depth image， the gradient mean value of specific pixel was estimated by non-local patches， and the gradient distribution of each pixel was fit by using the learned mean value. Experimental results show that compared with Edge Inconsistency Evaluation Model （EIEM） on Middlebury datasets， the proposed method decreases Mean Absolute Difference （MAD） of 41.1% and 40.8% respectively.

depth image; super-resolution; shape-adaptive; non-local self-similarity; non-local gradient

This work is partially supported by National Natural Science Foundation of China （62020106011， U19A2052）.

ZHANG Yingying， born in 1989， Ph. D. candidate. Her research interests include image super-resolution.

REN Chao， born in 1988， Ph. D.， associate research fellow. His research interests include image prosessing.

ZHU Ce， born in 1969， Ph. D.， professor. His research interests include image processing， artificial intelligence.

TP391.41

A

1001-9081（2022）06-1941-09

10.11772/j.issn.1001-9081.2021040594

2021?04?15；

2021?05?27；

2021?05?27。

國(guó)家自然科學(xué)基金資助項(xiàng)目（62020106011， U19A2052）。

張瑩瑩（1989—），女，山東泰安人，博士研究生，主要研究方向：圖像超分辨率；任超（1988—），男，四川南充人，副研究員，博士，主要研究方向：圖像處理；朱策（1969—），男，四川自貢人，教授，博士，CCF高級(jí)會(huì)員，主要研究方向：圖像處理、人工智能。