基于深度學(xué)習(xí)的彩色以及近紅外圖像去

馬賽克 謝長(zhǎng)江 楊曉敏 嚴(yán)斌宇 蘆璐

摘 要：?jiǎn)蝹鞲衅鞑东@的彩色近紅外（RGB-NIR）圖像存在光譜干擾，從而導(dǎo)致重建出的標(biāo)準(zhǔn)彩色圖像（RGB）圖像與近紅外（NIR）圖像存在色彩失真以及細(xì)節(jié)信息模糊。針對(duì)這個(gè)問題提出一種基于深度學(xué)習(xí)的去馬賽克方法，通過引入跳遠(yuǎn)連接與稠密連接解決了梯度消失和梯度彌散問題，使得網(wǎng)絡(luò)更容易訓(xùn)練，并且提升了網(wǎng)絡(luò)的擬合能力。首先，用淺層特征提取層提取了馬賽克圖像的像素相關(guān)性以及通道相關(guān)性等低級(jí)特征;然后，將得到的淺層特征圖輸入到連續(xù)多個(gè)的殘差稠密塊以提取專門針對(duì)去馬賽克的高級(jí)語義特征;其次，為充分利用低級(jí)特征與高級(jí)特征，將多個(gè)殘差稠密塊提取到的特征進(jìn)行組合;最后，通過全局跳遠(yuǎn)連接恢復(fù)最終的RGB-NIR圖像。在深度學(xué)習(xí)框架Tensorflow上使用

公共的圖像與視覺表示組（IVRG）數(shù)據(jù)集、有植被的戶外多光譜圖像（OMSIV）數(shù)據(jù)集和森林（Forest）三個(gè)公開數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。

實(shí)驗(yàn)結(jié)果表明，所提方法優(yōu)于基于多級(jí)自適應(yīng)殘差插值、基于卷積卷積和神經(jīng)神經(jīng)網(wǎng)絡(luò)以及基于深度殘差U型網(wǎng)絡(luò)的主流的RGB-NIR圖像去馬賽克方法。

關(guān)鍵詞：彩色近紅外圖像;去馬賽克;殘差稠密網(wǎng)絡(luò);跳遠(yuǎn)連接;稠密連接

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)志碼：A

Abstract：Spectral interference in Red Green Blue-Near InfRared （RGB-NIR） images captured by single sensor results in colour distortion and detail information ambiguity of the reconstructed standard Red Green Blue （RBG） and Near InfRared （NIR） images. To resolve this problem， a demosaicing method based on deep learning was proposed. In this method， the grandient dppearance and dispersion problems were solved by introducing long jump connection and dense connection， the network was easier to be trained， and the fitting ability of the network was improved. Firstly， the low-level features such as pixel correlation and channel correlation of the mosaic image were extracted by the shallow feature extraction layer. Secondly， the obtained shallow feature graph was input into successive and multiple residual dense blocks to extract the high-level semantic features aiming at the demosaicing. Thirdly， to make full use of the low-level features and high-level features， the features extracted by multiple residual dense blocks were combined. Finally， the RGB-NIR image was reconstructed by the global long jump connection.

Experiments were performed on the deep learning framework Tensorflow using three public data sets， the Common Image and Visual Representation Group （IVRG） dataset， the Outdoor Multi-Spectral Images with Vegetation （OMSIV） dataset， and the Forest dataset. The experimental results show that the proposed method is superior to the RGB-NIR image demosaicing methods based on multi-level adaptive residual interpolation， convolutional neural network and deep residual U-shaped network.Key words：Red Green Blue-Near InfRared （RGB-NIR） image; demosaicing;residual dense network; long jump connection; dense connection

0 引言

近些年來，在圖像處理領(lǐng)域?qū)τ诓噬≧ed Green Blue， RGB）圖像及其對(duì)應(yīng)的近紅外（Near Infrared， NIR）圖像的應(yīng)用變得越來越多，比如：圖像融合、行人檢測(cè)以及人臉識(shí)別。同時(shí)捕獲彩色圖像及其紅外圖像，通常需要兩個(gè)傳感器，然后對(duì)捕獲到的圖像進(jìn)行配準(zhǔn)。雖然得到了成對(duì)的彩色圖像及紅外圖像，但是額外引入了配準(zhǔn)這一難題。

隨著傳感器技術(shù)的發(fā)展，使得用單傳感器同時(shí)捕獲彩色圖像與紅外圖像成為了可能。這不僅解決了兩個(gè)傳感器的成本問題，同時(shí)也解決了雙傳感器帶來的配準(zhǔn)問題。單傳感器在每一個(gè)像素位置，根據(jù)相應(yīng)的彩色濾波陣列（Color Filter Array， CFA）捕獲單一像素，得到的圖像為彩色近紅外（Red Green Blue-Near InfRared， RGB-NIR）圖像。

目前大部分的相機(jī)通常采用拜爾（Bayer）模式的CFA[1]，如圖1所示。對(duì)紅色（Red， R）、綠色（Green， G）、藍(lán)色（Blue， B）三個(gè)顏色通道中的一個(gè)進(jìn)行捕獲，然后根據(jù)插值算法推斷出未捕獲到的顏色通道的值，這個(gè)過程被稱為去馬賽克[2]。類似于拜爾模式的CFA，專門針對(duì)RGB-NIR圖像的CFA[3]，也相應(yīng)出現(xiàn)，具體結(jié)構(gòu)如圖2所示。

與拜爾模式的CFA相比，RGB-NIR的CFA當(dāng)中的G分量保持不變，而NIR分量代替了R、B分量總和的一半，R、G分量各自改變?yōu)閷?duì)應(yīng)的CFA中R、G分量的一半，在本文中，將這種RGB-NIR采樣的方式稱為稠密RGB-NIR模式[4]。用單傳感器捕獲RGB以及NIR分量時(shí)，傳感器輸出的為馬賽克數(shù)據(jù)，其中每一像素位置只有R、G、B、NIR當(dāng)中的一個(gè)分量被保存。因此，完整的RGB圖像以及NIR圖像，需要對(duì)馬賽克圖像進(jìn)行相應(yīng)的插值，這與傳統(tǒng)的拜爾CFA去馬賽克的思路相同。

由于NIR分量在R、G、B分量的波長(zhǎng)范圍內(nèi)是完全折射的，因此在傳統(tǒng)相機(jī)的CFA前面通常都有一個(gè)近紅外濾光片，以消除NIR分量對(duì)R、G、B分量的影響。而對(duì)于需要同時(shí)捕獲RGB圖像以及NIR圖像來說，需要去除近紅外濾波片，這將引入一個(gè)光譜干擾的問題。由于NIR分量對(duì)其余三個(gè)顏色分量的干擾，從而導(dǎo)致得到的圖像存在顏色失真問題。

針對(duì)同時(shí)捕獲RGB-NIR，然后重建當(dāng)中存在的光譜干擾問題，本文將它轉(zhuǎn)換為去馬賽克問題，并且提出一種有效的基于卷積神經(jīng)網(wǎng)絡(luò)的去馬賽克算法。在傳統(tǒng)算法中，在對(duì)馬賽克圖像進(jìn)行插值之后，需要色彩校正等一系列工作，而本文算法可實(shí)現(xiàn)馬賽克圖像到標(biāo)準(zhǔn)彩色圖像以及紅外圖像的端到端映射，不需要再進(jìn)行額外的操作。

1 相關(guān)工作

由于成本與體積的限制，目前大多數(shù)用于成像的產(chǎn)品都是采用單傳感器獲得CFA圖像，然后利用一定的手段重建出需要的圖像。目前用于RGB-NIR圖像去馬賽克的算法可以分為兩類：一類為基于傳統(tǒng)插值算法，另一類為基于學(xué)習(xí)的去馬賽克算法。

1.1 傳統(tǒng)插值算法

傳統(tǒng)的插值算法通常是根據(jù)像素之間的相關(guān)性進(jìn)行相應(yīng)的重建。最簡(jiǎn)單的插值算法為雙線性插值（Bilinear）[5]，它通過相鄰像素對(duì)未捕獲到的像素進(jìn)行估計(jì)，這種方法重建出的圖像存在很多偽影以及色彩存在較大的失真。首次針對(duì)RGB-NIR的CFA模式，Miao等[6]提出了相應(yīng)的去馬賽克算法。在Miao工作的基礎(chǔ)上，Aggarwal等[7]同時(shí)考慮空間以及頻譜相關(guān)來插值，這個(gè)插值方式被稱為多頻譜去馬賽克。文獻(xiàn)[8]中首先對(duì)NIR分量進(jìn)行雙三次插值，接下來通過捕獲到的G分量與NIR分量的色差對(duì)未捕獲的G分量進(jìn)行估計(jì)。文獻(xiàn)[9]中提出殘差插值算法，首先對(duì)G分量進(jìn)行插值，然后將G分量作為引導(dǎo)圖，分別對(duì)其余分量與G分量的色差進(jìn)行插值，

最后將所有分量插值過后的值與原本捕獲到的各個(gè)分量進(jìn)行相加，得到標(biāo)準(zhǔn)的彩色圖像與紅外圖像。

1.2 基于學(xué)習(xí)的去馬賽克算法

基于學(xué)習(xí)的思想主要是根據(jù)大量的訓(xùn)練樣本學(xué)習(xí)到馬賽克圖像到標(biāo)準(zhǔn)圖像之間的映射關(guān)系。深度學(xué)習(xí)目前在圖像處理的各個(gè)領(lǐng)域取得了巨大的成功，比如：目標(biāo)檢測(cè)[10]、人臉識(shí)別[11]、行為檢測(cè)[12]以及超分辨率[13]。在去馬賽克領(lǐng)域當(dāng)中，2016年，Gharbi等[14]首次將深度學(xué)習(xí)應(yīng)用于對(duì)CFA圖像聯(lián)合去馬賽克去噪。他們將捕獲到的各個(gè)通道的像素重新組合;然后，輸入到卷積神經(jīng)網(wǎng)絡(luò)當(dāng)中，提取特征;最后，通過重新整理得到標(biāo)準(zhǔn)彩色圖像。2017年Tan等[15]通過引入殘差模塊，使得深度學(xué)習(xí)用于CFA圖像去馬賽克取得重大突破。2018年Hu等[16]將卷積稀疏表示應(yīng)用于RGB-NIR去馬賽克，使用字典學(xué)習(xí)的理論從馬賽克圖像當(dāng)中恢復(fù)標(biāo)準(zhǔn)的彩色圖像以及紅外圖像。同年，Shopovska等[17]提出深度殘差U型網(wǎng)絡(luò)，將馬賽克圖像輸入網(wǎng)絡(luò)，然后，通過一連串的下采樣與殘差模塊，最后通過與下采樣相反的反卷積操作輸出標(biāo)準(zhǔn)的彩色圖像以及紅外圖像。

超分辨率問題與去馬賽克問題相似，只是下采樣的方式不同。文獻(xiàn)[18]中提出了一個(gè)對(duì)單幅圖像進(jìn)行超分辨率的殘差稠密網(wǎng)絡(luò)結(jié)構(gòu)，本文提出相似的網(wǎng)絡(luò)結(jié)構(gòu)用于RGB-NIR圖像的去馬賽克。相對(duì)于傳統(tǒng)超分辨率卷積神經(jīng)網(wǎng)絡(luò)（Super-Resolution Conventional Neural Network， SRCNN）算法的3層結(jié)構(gòu)，本文設(shè)計(jì)了一個(gè)很深的殘差稠密網(wǎng)絡(luò)（Very Deep Residual Dense Network，VDRDN），層數(shù)達(dá)到了36。

2 本文算法

2.1 算法理論RGB-NIR圖像去馬賽克的模型[19]定義如式（1）所示：

其中： y為傳感器捕獲到的馬賽克圖像的向量;x=[xR，xG，xB，xN]表示需要重建出的理想的彩色圖像以及紅外圖像;n表示噪聲;操作符F建模了單傳感器捕獲圖像的操作。

本文主要是對(duì)RGB-NIR圖像單純?nèi)ヱR賽克，可以將式（1）改寫為：

其中S表示為下采樣操作。由于S是奇異的，不存在唯一解，因此需要重建的理想圖像可以近似為：

其中：D是一個(gè)去馬賽克的操作。本文對(duì)D建模為一個(gè)很深的殘差稠密卷積神經(jīng)網(wǎng)絡(luò)如式（4）所示：

其中：M表示訓(xùn)練集樣本的個(gè)數(shù);為真實(shí)的RGB-NIR圖像。網(wǎng)絡(luò)參數(shù)通過不斷地優(yōu)化重建出的RGB-NIR圖像與真實(shí)RGB-NIR圖像之間的最小均方誤差進(jìn)行更新。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出一種用于RGB-NIR圖像去馬賽克的網(wǎng)絡(luò)模型，它由淺層特征提取層、殘差稠密塊（Residual Dense Block， RDB）以及全局跳遠(yuǎn)連接構(gòu)成，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。網(wǎng)絡(luò)的輸入大小為64×64的4通道馬賽克圖像，即R、G、B以及NIR通道，每一個(gè)通道保留對(duì)應(yīng)RGB-NIR模式的CFA捕獲到的像素值，其余未捕獲到的像素為0。然后將輸入依次經(jīng)過卷積操作→卷積操作→第一個(gè)殘差稠密塊→第二個(gè)殘差稠密塊→…→第d個(gè)殘差稠密塊→拼接層→1×1卷積→輸入的跳遠(yuǎn)連接→輸出。

為保證輸入與輸出具有同樣大小的維度，所有的卷積核大小設(shè)置為3×3，步長(zhǎng)為1，填充為1，使得網(wǎng)絡(luò)從輸入到輸出的維度保持一致。淺層特征提取層包含兩次卷積的操作，用于提取一些低級(jí)特征，如邊緣、顏色、紋理等。提取淺層特征可以表示為：

其中：Iinput表示輸入的四通道的馬賽克圖像;ω1表示第一層卷積層（Conv1）的參數(shù);ω2表示第二層卷積層（Conv2）的參數(shù);“*”表示卷積操作;F0表示得到的特征圖。

通過淺層特征提取之后，將輸出的低級(jí)特征送入殘差稠密塊（RDB）。如圖4所示，殘差稠密塊中主要操作為跳遠(yuǎn)連接與稠密連接。通過引入這樣的連接很好地解決了梯度消失以及梯度彌散的問題，使得網(wǎng)絡(luò)更容易訓(xùn)練。同時(shí)，由于稠密連接的作用，使得信息在前向傳播中不會(huì)丟失，充分地利用了低級(jí)特征與高級(jí)特征，使得網(wǎng)絡(luò)的學(xué)習(xí)能力更強(qiáng)。

其中：HRDB，d表示第d個(gè)殘差稠密塊的相應(yīng)卷積、修正線性單元以及拼接操作，更多的細(xì)節(jié)參見文獻(xiàn)[18];Fd表示通過殘差稠密塊提取得到的特征圖;F0表示輸入的馬賽克圖像經(jīng)過淺層卷積之后得到的特征圖。

通過一系列的殘差稠密塊提取特征之后，接下來對(duì)所有殘差稠密塊提取到的特征進(jìn)行拼接，然后將通過1×1卷積改變特征圖的通道數(shù)為4，最后經(jīng)過3×3卷積得到最終的特征圖。具體過程可以表示為：

其中：Ff表示最終提取到的特征圖;ω3表示倒數(shù)第二層卷積層（Conv3）的參數(shù);ω4表示最后一層卷積層（Conv4）的參數(shù);Fi表示第i（1，2，…，d）個(gè)殘差稠密塊輸出的特征圖;[F1，F(xiàn)2，…，F(xiàn)d]表示所有殘差稠密塊輸出特征的拼接操作。

由于RGB-NIR去馬賽克算法只是需要估計(jì)出傳感器未捕獲到的其余三通道的值，因此本文采用一個(gè)輸入到最終特征圖的跳遠(yuǎn)連接，使得對(duì)應(yīng)像素相加，讓網(wǎng)絡(luò)模型的學(xué)習(xí)未捕獲到的其余通道的像素值。具體過程可以表示為：

3 實(shí)驗(yàn)與分析

3.1 訓(xùn)練數(shù)據(jù)預(yù)處理

本文選用文獻(xiàn)[20]中的數(shù)據(jù)集作為訓(xùn)練網(wǎng)絡(luò)模型的訓(xùn)練集，其中包含477張已經(jīng)配準(zhǔn)的同一場(chǎng)景同一時(shí)刻的彩色圖像與紅外圖像。將數(shù)據(jù)集隨機(jī)裁剪為64×64大小的圖像塊，一共得到7萬張訓(xùn)練圖像，其中每個(gè)訓(xùn)練圖像為4通道。為模擬RGB-NIR傳感器捕獲各個(gè)通道的像素值，本文對(duì)訓(xùn)練集進(jìn)行相應(yīng)的下采樣得到輸入網(wǎng)絡(luò)的馬賽克圖像，標(biāo)簽為真實(shí)的未采樣的圖像。相應(yīng)的圖像下采樣過程如圖5所示。

圖5為制作樣本集的過程。首先，對(duì)完整配對(duì)的RGB圖像與NIR圖像進(jìn)行拼接，組成四通道的RGB-NIR圖像。然后，通過前面提到的稠密RGB-NIR圖像CFA對(duì)每一個(gè)像素點(diǎn)位置的四個(gè)分量（R、G、B、NIR）中的一個(gè)分量進(jìn)行保留，其余三個(gè)分量值設(shè)置為0。最后，得到輸入到網(wǎng)絡(luò)當(dāng)中的馬賽克圖像。

圖5的左上角為完整的RGB圖像，左下角為對(duì)應(yīng)的NIR圖像，右上角為得到的RGB-NIR圖像的R、G、B三個(gè)分量的圖像，由于CFA對(duì)于G分量采樣密度最大，可見整體圖像偏綠。

右下角為采樣得到的NIR圖像，可見當(dāng)中缺失了很多的信息。其中右邊的圖像的右下角都是選取圖像的局部區(qū)域放大，為方便可視化，在展示中未拼接，如果拼接則是完全對(duì)應(yīng)于本文的RGB-NIR圖像的CFA模式。

3.2 評(píng)價(jià)指標(biāo)

本文采用的測(cè)試集為公共的圖像與視覺表示組（Images and Visual Representation Group， IVRG）數(shù)據(jù)集[21]、有植被的戶外多光譜圖像（Outdoor Multi-Spectral Images with Vegetation， OMSIV）數(shù)據(jù)集[22]和森林（Forest）數(shù)據(jù)集[23]，其中OMSIV包含533張彩色圖像及其對(duì)應(yīng)的紅外圖像，IVRG包含25張高質(zhì)量的彩色圖像及其對(duì)應(yīng)的紅外圖像，F(xiàn)orest數(shù)據(jù)集包含136張彩色圖像及其對(duì)應(yīng)的紅外圖像?？陀^指標(biāo)選用復(fù)合峰值信噪比（Composition Peak Signal-to-Noise Ratio， CPSNR）[24]以及結(jié)構(gòu)相似性（Structural SIMilarity， SSIM）。

復(fù)合峰值信噪比是基于像素點(diǎn)之間的誤差，是基于誤差敏感的圖像質(zhì)量評(píng)價(jià)。

其中：的表示重建得出的RGB-NIR圖像;x表示真實(shí)的RGB-NIR圖像。結(jié)構(gòu)相似性由文獻(xiàn)[25]提出，為測(cè)量圖像質(zhì)量的一種重要指標(biāo)，值的范圍為0～1，越大表示結(jié)構(gòu)越相似。

3.3 參數(shù)設(shè)定及訓(xùn)練分析

關(guān)于網(wǎng)絡(luò)訓(xùn)練過程當(dāng)中的一些超參數(shù)設(shè)定為：學(xué)習(xí)率為0.0001，Batch_size設(shè)為64，梯度下降算法選擇Adam。輸入圖像的大小為64×64，通道數(shù)為4，除去倒數(shù)第二層的卷積核大小為1×1，其余所有卷積核大小為3×3， padding為1，stride為1。RDB個(gè)數(shù)為8，每一RDB塊當(dāng)中的卷積+修正線性單元個(gè)數(shù)為4，因此網(wǎng)絡(luò)的深度為36層，網(wǎng)絡(luò)參數(shù)總量為3190104。本文采用的實(shí)驗(yàn)平臺(tái)是使用NVIDIA顯卡GeForce GTX 1080-TI、3.20GHz Intel i5 CPU、32GB RAM，編譯軟件采用PyCharm 2019，并使用Tensorflow深度學(xué)習(xí)框架進(jìn)行訓(xùn)練。訓(xùn)練200輪（epoch為200），一共訓(xùn)練2d。主觀結(jié)果采用Matlab R2014a進(jìn)行繪制。

3.4 實(shí)驗(yàn)結(jié)果及分析

在與現(xiàn)有方法進(jìn)行對(duì)比時(shí)，選擇已經(jīng)公開的實(shí)現(xiàn)方法。分別選擇Bilinear、基于二叉樹的邊緣檢測(cè)（Binary Tree-based Edge-Sensing，BTES）的去馬賽克算法[6]、基于最小二乘的多光譜去馬賽克（Least-square based Multi-Spectral Demosaicing， LMSD）算法[7]、基于多級(jí)自適應(yīng)殘差插值（MultiStage-Adaptive Residual Interpolation，MS-ARI）的去馬賽克算法[3]、SRCNN[26]以及基于深度殘差U型網(wǎng)絡(luò)去馬賽克（RGB-NIR Demosaicing Using Deep Residual U-Net， DRU-Net）算法[17]。

其中一些算法需要進(jìn)行相應(yīng)的改進(jìn)以符合RGB-NIR去馬賽克的需求。超分辨率問題與去馬賽克問題類似，SRCNN作為解決超分辨率問題的經(jīng)典深度學(xué)習(xí)方法，更改輸入與輸出的形式得到去馬賽克的功能。對(duì)OMSIV、IVRG以及Forest三個(gè)公開的數(shù)據(jù)進(jìn)行測(cè)試，得到相應(yīng)的客觀指標(biāo)與現(xiàn)存主流方法進(jìn)行對(duì)比，結(jié)果如表1所示。

在測(cè)試集當(dāng)中選取清晰度高、色彩明亮、飽和度較大的兩張圖像用于主觀顯示不同算法之間的結(jié)果對(duì)比。圖7為扇子和蝴蝶圖像不同算法的主觀結(jié)果比較。其中：大圖為真實(shí)的RGB和對(duì)應(yīng)的NIR圖像，圖中方框?yàn)檫x取的區(qū)域，其他為應(yīng)用不同算法處理后獲得的方框區(qū)域放大圖。

1）扇子圖像。

Bilinear算法重建出RGB圖像存在較大的偽影，圖像質(zhì)量很差。

BTES算法未能重建出真實(shí)圖像當(dāng)中的紋路細(xì)節(jié)，也存在偽影。

LMSD算法重建出的RGB圖像偏亮，顏色存在較大失真。

MS-ARI算法重建出RGB圖像也存在較大的顏色失真問題。

SRCNN是利用深度學(xué)習(xí)來解決RGB-NIR圖像去馬賽克的方法，重建的RGB圖像相對(duì)于上述傳統(tǒng)算法取得了巨大的成功;但是，重建的RGB圖像的顏色也存在失真，在圖像的條紋處的顏色尤其明顯。

基于DRU-Net算法，相對(duì)于SRCNN由于采取更優(yōu)的網(wǎng)絡(luò)設(shè)計(jì)，因此重建出的圖像取得了更佳的主觀效果，顏色失真問題基本消失，只是圖像的一些細(xì)節(jié)未能完美修復(fù)。

本文提出的VDRDN算法重建出的RGB圖像消除了顏色失真問題，同時(shí)恢復(fù)出了最準(zhǔn)確的細(xì)節(jié)，在所有對(duì)比算法中取得了最佳的視覺質(zhì)量。

對(duì)于重建出的NIR圖像，Bilinear、BTES、LMSD、MS-ARI這些傳統(tǒng)的插值算法重建出的圖像存在細(xì)節(jié)丟失、額外引入噪聲點(diǎn)以及模糊的問題;基于SRCNN算法重建出的NIR圖像存在模糊的問題;基于DRU-Net算法以及本文算法均重建出較準(zhǔn)確的細(xì)節(jié)，恢復(fù)出了較好的細(xì)節(jié)。

2）蝴蝶圖像。

對(duì)于重建出的RGB圖像，Bilinear、BTES、LMSD、MS-ARI這些傳統(tǒng)的插值算法重建出來的圖像存在較大的顏色失真問題，在圖像當(dāng)中的字母的邊緣處存在較大的鋸齒效應(yīng);基于SRCNN算法較好地消除了鋸齒效應(yīng)，而且恢復(fù)的細(xì)節(jié)較好，但是存在一定的顏色失真問題;基于DRU-Net以及本文算法均取得了較好的主觀效果。對(duì)于重建出NIR圖像，基于Bilinear以及基于BTES算法重建出的圖像未能重建出細(xì)節(jié)，圖像過于平滑?；贚MSD算法重建出的圖像當(dāng)中存在嚴(yán)重的陰影，恢復(fù)出的細(xì)節(jié)不正確?；贛S-ARI算法恢復(fù)出的細(xì)節(jié)與真實(shí)圖像不對(duì)應(yīng)。基于SRCNN重建的圖像較好地恢復(fù)出了細(xì)節(jié)，但存在模糊問題?；贒RU-Net以及本文算法較好地恢復(fù)出了細(xì)節(jié)，取得了很好的視覺效果。

4 結(jié)語

針對(duì)目前使用單傳感器捕獲彩色圖像以及近紅外圖像當(dāng)中存在的去馬賽克問題，本文提出一種基于深度殘差稠密網(wǎng)絡(luò)的算法。

該算法由淺層特征提取、殘差稠密塊以及全局跳遠(yuǎn)連接組成。其中：淺層特征提取為兩層卷積，用于提取圖像的低級(jí)特征;其次，殘差稠密塊一共有8個(gè)，每個(gè)殘差稠密塊當(dāng)中包含4個(gè)相應(yīng)的卷積與非線性映射操作。最終的全局跳遠(yuǎn)連接模塊將輸入與最后一個(gè)殘差稠密塊的輸出進(jìn)行相加進(jìn)行輸出。對(duì)于OMSIV、IVRG以及Forest數(shù)據(jù)集，本文算法優(yōu)于Bilinear、BTES、LMSD、MS-ARI、SRCNN以及DRU-Net，充分說明本文算法的適用性。下一步的工作主要是尋找更優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)，使得RGB-NIR圖像去馬賽克問題能得到很好的解決。

參考文獻(xiàn)（References）

[1] BAYER B E. Color imaging array： US3971065[P]. 197-07-20.

[2] RAMANATH R， SNYDER W E， BILBRO G L， et al. Demosaicking methods for Bayer color arrays[J]. Journal of Electronic Imaging， 2002， 11（3）： 306-315.

[3] TERANAKA H， MONNO Y， TANAKA M， et al. Single-sensor RGB and NIR image acquisition： toward optimal performance by taking account of CFA pattern， demosaicking， and color correction [EB/OL]. [2019-01-10]. http：//www.ok.sc.e.titech.ac.jp/res/MSI/RGB-NIR/ei2016.pdf.

[4] MONNO Y， TANAKA M， OKUTOMI M. N-to-SRGB mapping for single-sensor multispectral imaging [C]// Proceedings of the 2015 IEEE International Conference on Computer Vision Workshops. Piscataway： IEEE， 2015： 66-73.

[5] GRIBBON K T， BAILEY D G. A novel approach to real-time bilinear interpolation[C]// Proceedings of the 2nd IEEE International Workshop on Electronic Design， Test and Applications. Piscataway： IEEE， 2004： 126-131.

[6] MIAO L， QI H， RAMANATH R， et al. Binary tree-based generic demosaicking algorithm for multispectral filter arrays[J]. IEEE Transactions on Image Processing， 2006， 15（11）： 3550-3558.

[7] AGGARWAL H K， MAJUMDAR A. Single-sensor multi-spectral image demosaicing algorithm using learned interpolation weights[C]// Proceedings of the 2014 IEEE Geoscience and Remote Sensing Symposium. Piscataway： IEEE， 2014： 2011-2014.

[8] MARTINELLO M， WAJS A， QUAN S， et al. Dual aperture photography： Image and depth from a mobile camera[C]// Proceedings of the 2015 IEEE International Conference on Computational Photography. Piscataway： IEEE， 2015： 1-10.

[9] MONNO Y， KIKU D， TANAKA M， et al. Adaptive residual interpolation for color and multispectral image demosaicking[J]. Sensors， 2017， 17（12）： 2787-2807.

[10] LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single Shot multibox Detector[C]// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9905. Cham： Springer， 2016： 21-37.

[11] MASI I， RAWLS S， MEDIONI G， et al. Pose-aware face recognition in the wild[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 4838-4846.

[12] WANG L， XIONG Y， WANG Z， et al. Temporal segment networks： towards good practices for deep action recognition[C]// Proceedings of the European Conference on Computer Vision， LNCS 9912. Cham： Springer， 2016： 20-36.

[13] YANG J， WRIGHT J， HUANG T S， et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing， 2010， 19（11）： 2861-2873.

[14] GHARBI M， CHAURASIA G， PARIS S， et al. Deep joint demosaicking and denoising[J]. ACM Transactions on Graphics， 2016， 35（6）： 191-202.

[15] TAN R， ZHANG K， ZUO W， et al. Color image demosaicking via deep residual learning[C]// Proceedings of the 2017 IEEE International Conference on Multimedia and Expo. Piscataway： IEEE， 2017： 793-798.

[16] HU X， HEIDE F， DAI Q， et al. Convolutional sparse coding for RGB+NIR imaging[J]. IEEE Transactions on Image Processing， 2018， 27（4）： 1611-1625.

[17] SHOPOVSKA I， JOVANOV L， PHILIPS W. RGB-NIR demosaicing using deep residual U-net[C]// Proceedings of the 26th Telecommunications Forum. Piscataway： IEEE， 2018： 1-4.

[18] ZHANG Y， TIAN Y， KONG Y， et al. Residual dense network for image super-resolution[C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 2472-2481.

[19] TANG H， ZHANG X， ZHUO S， et al. High resolution photography with an RGB-infrared camera[C]// Proceedings of the 2015 IEEE International Conference on Computational Photography. Piscataway： IEEE， 2015： 1-10.

[20] BROWN M， SSSTRUNK S. Multi-spectral SIFT for scene category recognition[C]// Proceedings of the 2011 Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2011： 177-184.

[21] SORIA X， SAPPA A D， AKBARINIA A. Multispectral single-sensor RGB-NIR imaging： new challenges and opportunities[C]// Proceedings of the 7th International Conference on Image Processing Theory， Tools and Applications. Piscataway： IEEE， 2017： 1-6.

[22] FREDEMBACH C， SSSTRUNK S. Colouring the near-infrared[EB/OL]. [2019-01-10]. https：//infoscience.epfl.ch/record/129419/files/IR_colour.pdf？version=2.

[23] VALADA A， OLIVEIRA G L， BROX T， et al. Deep multispectral semantic scene understanding of forested environments using multimodal fusion[C]// Proceedings of the 2016 International Symposium on Experimental Robotics. Cham： Springer， 2016： 465-477.

[24] MONNO Y， TERANAKA H， YOSHIZAKI K， et al. Single-sensor RGB-NIR imaging： high-quality system design and prototype implementation[J]. IEEE Sensors Journal， 2019， 19（2）： 497-507.

[25] WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity[J]. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612.

[26] DONG C， LOY C C， HE K， et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（2）： 295-307.