基于先驗(yàn)信息的圖像逆問題研究

陳 燦，周 超，張登銀

1.南京郵電大學(xué) 物聯(lián)網(wǎng)學(xué)院，南京 210003

2.南京郵電大學(xué) 通信與信息工程學(xué)院，南京 210003

從數(shù)學(xué)上講，成像系統(tǒng)可以刻畫為一個(gè)函數(shù)F(?)：X→Y，該函數(shù)將圖像空間域X映射到觀測空間域Y。因此，經(jīng)由給定成像系統(tǒng)觀測而來的退化圖像或測量值y∈Y可以通過下式進(jìn)行表示：

其中，ε為噪聲，∈X為原始圖像。圖像逆問題聚焦于從經(jīng)由給定系統(tǒng)觀測而來的退化圖像或測量值y中重構(gòu)原始圖像，即y→，是圖像信號處理領(lǐng)域的研究熱點(diǎn)之一，被成功應(yīng)用于諸如圖像去噪、圖像超分辨率和圖像壓縮感知等低級視覺應(yīng)用。

原始圖像與重構(gòu)圖像x*之間的誤差一般可以通過某種衡量標(biāo)準(zhǔn)H(,x*)來度量。然而，由于無法獲得原始圖像，故H(,x*)實(shí)際無法求得，因此退而求其次，將H(,x*)弱化為H(x*)，通過測量域的誤差間接度量：

值得注意的是，公式（2）采用了最小二乘構(gòu)建度量標(biāo)準(zhǔn)，這只是諸多度量標(biāo)準(zhǔn)之一。通過最小化重構(gòu)誤差即可獲得重構(gòu)圖像：

然而，該最小化問題為欠定問題，即一個(gè)問題對應(yīng)著多個(gè)解，并且對輸入數(shù)據(jù)尤為敏感。傳統(tǒng)求解方法通過引入先驗(yàn)信息，將上述無約束最優(yōu)化問題轉(zhuǎn)化為帶約束的優(yōu)化問題，再通過迭代求解重構(gòu)信號，該類方法也被稱為基于分析模型的方法。近年來，人工智能的發(fā)展推動了該領(lǐng)域從基于分析模型的方法到基于深度學(xué)習(xí)的方法的演變，深度學(xué)習(xí)已被成功應(yīng)用于圖像逆問題。然而，無論是基于分析模型的傳統(tǒng)方法還是基于深度學(xué)習(xí)的非傳統(tǒng)方法，充分利用先驗(yàn)信息是成功求解圖像逆問題的關(guān)鍵。

信號或其特征的某些固有性質(zhì)被稱為先驗(yàn)信息。研究者圍繞先驗(yàn)信息進(jìn)行了廣泛的探索，提出多種手動設(shè)計(jì)的先驗(yàn)信息，例如，稀疏先驗(yàn)[1-4]和去噪先驗(yàn)[5-6]等。然而，這些手動設(shè)計(jì)的先驗(yàn)信息在表征具體應(yīng)用場景時(shí)過于籠統(tǒng)。為了更好地表征具體應(yīng)用場景的先驗(yàn)信息，研究者提出利用深度學(xué)習(xí)的方法，從具體任務(wù)的訓(xùn)練數(shù)據(jù)中自適應(yīng)地學(xué)習(xí)先驗(yàn)信息。

在過去的幾十年中，研究者對圖像逆問題進(jìn)行了廣泛的探索，取得了一定的成果，但仍面臨著諸多挑戰(zhàn)[7-9]。本文創(chuàng)新性地從如何利用先驗(yàn)信息求解圖像逆問題的角度出發(fā)，將領(lǐng)域的研究過去、現(xiàn)狀總結(jié)歸納為以下三類（如圖1 所示）：基于分析模型的方法、基于深度學(xué)習(xí)的方法和混合分析模型和深度學(xué)習(xí)的方法。然后，對三類方法進(jìn)行簡潔的分析對比，展望未來的研究方向。

圖1 圖像逆問題研究現(xiàn)狀總覽Fig.1 Overview of state-of-the-art methods in image inverse problems

1 基于分析模型的方法

基于分析模型的方法通過分析物理過程設(shè)計(jì)該領(lǐng)域明確的先驗(yàn)信息S(x)，以正則化的方式引入S(x)，將式（3）轉(zhuǎn)化為一個(gè)帶約束的優(yōu)化問題：

通過迭代求解該優(yōu)化問題，從退化圖像或測量值中重構(gòu)原始圖像。從貝葉斯的角度理解，式（4）等價(jià)于求解一個(gè)最大后驗(yàn)估計(jì)問題：

其中，p(y|x)為y在給定x情況下的條件概率，通常也被稱為似然概率，p(x)為x的先驗(yàn)概率。在實(shí)際應(yīng)用中，通常在式（4）的基礎(chǔ)上引入正則化參數(shù)λ＞0 來平衡H(x)和S(x)對解的影響：

值得注意的是，H(x) 獨(dú)立于S(x)，且僅與成像系統(tǒng)F(x)有關(guān)，而S(x)僅與具體應(yīng)用場景的明確先驗(yàn)信息有關(guān)。求解式（6）主要有兩類算法，直接求解法和變量分離求解法。

如圖2 所示（I(?)代表一次迭代求解），直接求解法通過迭代求解式（6）直接進(jìn)行重構(gòu)。基于梯度下降的思想，文獻(xiàn)[10]提出迭代閾值收縮算法（Iterative Shrinkage Thresholding Algorithm，ISTA），該算法在每次迭代中采用閾值進(jìn)行Landweber 迭代。文獻(xiàn)[11]在ISTA 算法的基礎(chǔ)上，結(jié)合Nesterov 加速策略，提出了快速迭代閾值收縮算法（Fast Iterative Shrinkage Thresholding Algorithm，F(xiàn)ISTA），進(jìn)一步提升了算法的收斂速度。相類似的，文獻(xiàn)[12]基于概率圖思想，通過狀態(tài)演化預(yù)測下次迭代，并通過軟閾值迭代進(jìn)行相關(guān)去噪，提出近似消息傳遞算法（Message Passing Algorithm，AMP）。在AMP算法的基礎(chǔ)上，文獻(xiàn)[13]提出D-AMP算法，該算法在迭代過程中通過利用適當(dāng)?shù)腛nsager 校正項(xiàng)，迫使每次迭代中的信號擾動接近白高斯噪聲，再利用去噪器進(jìn)行去噪。

圖2 直接求解法Fig.2 Direct methods

為了進(jìn)一步加速算法的收斂，研究者提出利用分離變量算法將單變量的優(yōu)化問題轉(zhuǎn)化為多變量的優(yōu)化問題，再利用直接求解法迭代求解子優(yōu)化問題獲得重構(gòu)圖像，該類方法被稱為變量分離求解法。以文獻(xiàn)[14]為例，首先將式（6）進(jìn)行改寫，將單變量的優(yōu)化問題轉(zhuǎn)化為兩個(gè)變量的優(yōu)化問題：

再利用交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）[15]將上述優(yōu)化問題轉(zhuǎn)化為兩個(gè)子優(yōu)化問題：

其中，β為懲罰參數(shù)，u為對偶變量。相類似的，文獻(xiàn)[16]和文獻(xiàn)[17]分別提出NLR-CS 算法和TVAL3 算法用于解決圖像壓縮感知問題。除了采用ADMM算法劃分子優(yōu)化問題之外，文獻(xiàn)[18]和文獻(xiàn)[19]分別提出利用半二次方分裂算法（Half Quadratic Splitting，HQS）和分離布雷格曼迭代算法（Split Bregman Iteration，SBI）[20]將原優(yōu)化問題轉(zhuǎn)化為兩個(gè)子優(yōu)化問題，最后利用直接求解法迭代求解兩個(gè)子優(yōu)化問題獲得重構(gòu)圖像。

基于分析模型的方法具有可解釋的先驗(yàn)信息，但是由于需多次迭代求解才能獲得較為理想的重構(gòu)結(jié)果，重構(gòu)效率較低。除此之外，這些手動設(shè)計(jì)的先驗(yàn)信息并沒有利用潛在的訓(xùn)練數(shù)據(jù)，在表征具體應(yīng)用場景時(shí)過于籠統(tǒng)，效果有限。

2 基于深度學(xué)習(xí)的方法

得益于優(yōu)化算法，硬件和大數(shù)據(jù)的發(fā)展，過去十年見證了深度學(xué)習(xí)的革命。隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺任務(wù)上的成功應(yīng)用，研究者開始致力于利用深度學(xué)習(xí)解決圖像逆問題。與基于分析模型的方法不同，基于深度學(xué)習(xí)的方法無需利用明確的先驗(yàn)信息建立模型，而是將重構(gòu)問題建模成一個(gè)帶參數(shù)的網(wǎng)絡(luò)，通過最小化損失函數(shù)L(?)，優(yōu)化目標(biāo)參數(shù)，從訓(xùn)練數(shù)據(jù)中自適應(yīng)挖掘先驗(yàn)信息。根據(jù)優(yōu)化目標(biāo)參數(shù)的不同，可以將基于深度學(xué)習(xí)的方法分為基于判別模型的方法和基于生成模型的方法兩類。

如圖3所示，基于判別模型的方法旨在直接構(gòu)造一個(gè)判別網(wǎng)絡(luò)，將輸入退化圖像或測量值y直接映射到輸出原始圖像x，是對條件概率p(x|y)直接進(jìn)行建模，以網(wǎng)絡(luò)的參數(shù)θ作為優(yōu)化對象：

圖3 基于判別模型的方法Fig.3 Discriminative model-based methods

如何構(gòu)建具體的網(wǎng)絡(luò)框架，優(yōu)化參數(shù)θ，是該類方法的研究重點(diǎn)。文獻(xiàn)[21]首次提出利用多層感知器（Multilayer Perceptron，MLP）進(jìn)行圖像去噪，獲得了與傳統(tǒng)方法相當(dāng)?shù)男阅?。相類似的，文獻(xiàn)[22]首次提出利用堆疊去噪自編碼器（Stacked Denoising Autoencoder，SDA）作為無監(jiān)督的特征學(xué)習(xí)器，讓網(wǎng)絡(luò)自適應(yīng)地從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)信號的結(jié)構(gòu)信息，進(jìn)行圖像壓縮感知重構(gòu)。在文獻(xiàn)[21]的基礎(chǔ)上，文獻(xiàn)[23]提出在去噪網(wǎng)絡(luò)之前進(jìn)行線性均值平移處理，能夠有效增強(qiáng)去噪網(wǎng)絡(luò)的魯棒性。MLP 理論上具有逼近任意函數(shù)的能力，但是往往需要建立足夠大的網(wǎng)絡(luò)，高維的參數(shù)給優(yōu)化和存儲帶來了巨大的挑戰(zhàn)。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）利用卷積層替換全連接層，能夠有效減少參數(shù)規(guī)模，捕獲圖像的局部相似性，被廣泛應(yīng)用于視頻圖像處理。針對圖像壓縮感知問題，文獻(xiàn)[24]提出一種名為ReconNet的網(wǎng)絡(luò)，先利用該網(wǎng)絡(luò)進(jìn)行初始重構(gòu)，再利用去噪器進(jìn)行后處理得到最終的重構(gòu)結(jié)果。在此基礎(chǔ)上，文獻(xiàn)[25]結(jié)合殘差模塊，提出一種名為DR2-Net的深度殘差卷積神經(jīng)網(wǎng)絡(luò)，進(jìn)一步提升了重構(gòu)質(zhì)量。自編碼器（Autoencoders，AE）作為另一種網(wǎng)絡(luò)框架，由編碼器和解碼器兩部分組成，能夠通過自監(jiān)督訓(xùn)練，學(xué)習(xí)信號的特征表示。文獻(xiàn)[26]首次提出利用AE獲得的信號特征表示進(jìn)行圖像去噪。在此基礎(chǔ)上，文獻(xiàn)[27]通過堆疊多個(gè)AE，并對參數(shù)進(jìn)行稀疏約束，進(jìn)一步提高了圖像去噪的效果。相類似的，文獻(xiàn)[28]利用AE 進(jìn)行壓縮感知的醫(yī)學(xué)圖像重構(gòu)，有效提高了重構(gòu)效率。相比于MLP、CNN 和AE，循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）更適合于處理順序信號。針對多測量向量問題，文獻(xiàn)[29]提出利用RNN捕獲稀疏向量之間的未知依賴關(guān)系。相類似的，文獻(xiàn)[30]將CNN 和RNN 進(jìn)行結(jié)合，構(gòu)建了一個(gè)端到端的網(wǎng)絡(luò)，充分挖掘視頻圖像序列的時(shí)空相關(guān)性。

基于判別模型的方法盡管重構(gòu)圖像具有較高的峰值信噪比，但缺乏自然真實(shí)感。研究者結(jié)合判別模型和生成模型提出了生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）[31]，該網(wǎng)絡(luò)利用對抗博弈思想進(jìn)行訓(xùn)練。訓(xùn)練結(jié)束后，生成模型就能夠?qū)⑵漭斎肟臻g中的任何點(diǎn)轉(zhuǎn)換為一張真實(shí)可信的圖像。因此，基于生成模型的方法成為研究的熱點(diǎn)。如圖4所示，基于生成模型的方法旨在構(gòu)造一個(gè)生成網(wǎng)絡(luò)，將隱變量的分布映射到目標(biāo)數(shù)據(jù)的分布。值得注意的是，區(qū)別于基于判別模型的方法，基于生成模型的方法將研究重點(diǎn)從優(yōu)化網(wǎng)絡(luò)參數(shù)θ轉(zhuǎn)移至優(yōu)化隱變量z，往往采用預(yù)訓(xùn)練好的現(xiàn)有網(wǎng)絡(luò)模型，以隱變量為優(yōu)化目標(biāo)參數(shù)：

圖4 基于生成模型的方法Fig.4 Generative model-based methods

文獻(xiàn)[32]首次提出利用生成模型解決圖像壓縮感知問題，并驗(yàn)證該模型相比于分析模型更能準(zhǔn)確地表征數(shù)據(jù)的分布，并且其可微性能夠允許快速重構(gòu)。在此基礎(chǔ)上，文獻(xiàn)[33]將測量過程整合進(jìn)生成對抗網(wǎng)絡(luò)中，提出一種名為AmbientGAN的生成對抗網(wǎng)絡(luò)。文獻(xiàn)[34]提出深度網(wǎng)絡(luò)在未經(jīng)過任何學(xué)習(xí)之前就能捕獲先驗(yàn)信息，也就是說，先驗(yàn)信息可能并不是從大量的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)而來，而是存在于網(wǎng)絡(luò)的架構(gòu)中，該種先驗(yàn)信息被稱為深度圖像先驗(yàn)。因此，文獻(xiàn)[35]首次提出同時(shí)優(yōu)化網(wǎng)絡(luò)參數(shù)與隱變量進(jìn)行圖像重構(gòu)：

相類似的，文獻(xiàn)[36]提出同時(shí)優(yōu)化網(wǎng)絡(luò)參數(shù)與隱變量進(jìn)行視頻重構(gòu)，并提出一種正則化策略，有效提高了重構(gòu)質(zhì)量。

通常情況下，深度網(wǎng)絡(luò)具有多層結(jié)構(gòu)，包含大量參數(shù)，因此能夠?qū)W習(xí)難以明確建模的復(fù)雜映射。當(dāng)具有足夠的訓(xùn)練數(shù)據(jù)和足夠大的模型規(guī)模時(shí)，這種深度網(wǎng)絡(luò)能夠建模難以表征的應(yīng)用場景。值得注意的是，深度網(wǎng)絡(luò)將重構(gòu)復(fù)雜度轉(zhuǎn)移到了訓(xùn)練階段，因此重構(gòu)效率較高，能夠滿足實(shí)時(shí)應(yīng)用需求。隨著現(xiàn)代平臺針對諸如卷積之類的特殊運(yùn)算進(jìn)行了高度優(yōu)化，該類方法的流行程度達(dá)到了一個(gè)新的高度。然而，該類方法的可解釋性較差。

3 混合分析模型和深度學(xué)習(xí)的方法

盡管基于深度學(xué)習(xí)的方法能夠從訓(xùn)練數(shù)據(jù)中自適應(yīng)挖掘先驗(yàn)信息，但是這種自適應(yīng)的先驗(yàn)信息可解釋性較差，而可解釋性不論在理論還是實(shí)踐中都十分重要，是推進(jìn)概念理解和網(wǎng)絡(luò)框架發(fā)展的關(guān)鍵。因此，相比于基于分析模型的方法，缺乏可解釋性限制了基于深度學(xué)習(xí)的方法的發(fā)展。如何將領(lǐng)域先驗(yàn)信息轉(zhuǎn)移至深度網(wǎng)絡(luò)至今仍是一個(gè)非常具有挑戰(zhàn)性的開放問題。為了提高網(wǎng)絡(luò)的可解釋性，充分挖掘先驗(yàn)信息，研究者提出混合分析模型和深度學(xué)習(xí)的方法。該類方法分為直接展開法和黑盒法兩類。

如圖5所示，直接展開法將分析模型方法中的每次迭代求解過程展開為網(wǎng)絡(luò)的一層，再堆疊這些層構(gòu)建一個(gè)深度網(wǎng)絡(luò)，最后利用訓(xùn)練數(shù)據(jù)自適應(yīng)地學(xué)習(xí)其參數(shù)。展開后的深度網(wǎng)絡(luò)等效于執(zhí)行有限次數(shù)的迭代求解。文獻(xiàn)[37]首次提出將ADMM 算法的迭代求解過程（即式（8））進(jìn)行展開，在此基礎(chǔ)上，文獻(xiàn)[38]提出一種名為ADMM-CSNet的網(wǎng)絡(luò)用于核磁共振壓縮感知重構(gòu)。相類似的，文獻(xiàn)[39]將ISTA 算法的迭代求解過程進(jìn)行展開，提出一種名為LISTA的網(wǎng)絡(luò)。區(qū)別于基于分析模型的方法，該類方法將預(yù)先設(shè)定的參數(shù)（例如，正則化參數(shù)）轉(zhuǎn)化為深度網(wǎng)絡(luò)的參數(shù)，從實(shí)際的訓(xùn)練數(shù)據(jù)中直接學(xué)習(xí)獲得。并且，相比于傳統(tǒng)的深度網(wǎng)絡(luò)，該種深度網(wǎng)絡(luò)的參數(shù)更少，更易學(xué)習(xí)。

圖5 展開法Fig.5 Unrolling methods

除此之外，研究者提出利用深度網(wǎng)絡(luò)作為“黑盒”嵌入基于分析模型的方法中執(zhí)行某些功能。文獻(xiàn)[40]提出利用深度網(wǎng)絡(luò)替代FISTA 算法中的近似投影。文獻(xiàn)[41]將預(yù)訓(xùn)練的生成網(wǎng)絡(luò)作為先驗(yàn)信息切入分析模型的迭代優(yōu)化求解。相類似的，文獻(xiàn)[42]提出利用生成網(wǎng)絡(luò)替代正則化的近似投影。文獻(xiàn)[43]將D-AMP 算法進(jìn)行展開，并用卷積神經(jīng)網(wǎng)絡(luò)替代D-AMP 算法中的去噪器，提出一種名為L-DAMP的網(wǎng)絡(luò)。

混合分析模型和深度學(xué)習(xí)的方法可以自然地解釋為基于分析模型的方法，從而解決了深度網(wǎng)絡(luò)缺乏可解釋性的問題。

4 方法的對比分析

基于分析模型的方法通常由預(yù)設(shè)的先驗(yàn)信息構(gòu)成，可解釋性較強(qiáng)。預(yù)設(shè)的先驗(yàn)信息使得基于分析模型的方法能夠在預(yù)設(shè)的場景中具有較好的表征能力，但在其余場景中的表征性能有限。并且，由于需多次迭代求解才能獲得較為理想的重構(gòu)結(jié)果，重構(gòu)效率較低。

基于深度學(xué)習(xí)的方法通常由大量的可訓(xùn)練參數(shù)組成，跨越了函數(shù)搜索空間中很大的子集，理論上具有最強(qiáng)的表征能力。并且，該類方法將重構(gòu)復(fù)雜度轉(zhuǎn)移到了訓(xùn)練階段，重構(gòu)效率較高，能夠滿足實(shí)時(shí)應(yīng)用需求。盡管該類方法通常被認(rèn)為能夠從數(shù)據(jù)中或者網(wǎng)絡(luò)框架中挖掘先驗(yàn)信息，但是依舊缺乏可解釋的先驗(yàn)信息。

混合分析模型和深度學(xué)習(xí)的方法屬于上述兩類方法的折中，同時(shí)具備較好的可解釋性和重構(gòu)效率。該類方法通常由相對少量的可訓(xùn)練參數(shù)組成，跨越了函數(shù)搜索空間中相對較小的子集，具有一般的表征能力。

綜上所述，表1 歸納總結(jié)了三類方法在表征能力、重構(gòu)效率和可解釋性三個(gè)方面的對比。表2 展示了TVAL3 算法[17]、NLR-CS 算法[16]、SDA 網(wǎng)絡(luò)[22]、ReconNet網(wǎng)絡(luò)[24]、L-DAMP網(wǎng)絡(luò)[43]和ADMM-CSNet網(wǎng)絡(luò)[38]在圖像壓縮感知的應(yīng)用場景中的實(shí)驗(yàn)性能對比。該結(jié)果從近期發(fā)表的文獻(xiàn)中選取，更多信息詳見文獻(xiàn)[38]。不難看出，在重構(gòu)效率方面，相比于基于分析模型的方法，基于深度學(xué)習(xí)的方法和混合分析模型和深度學(xué)習(xí)的方法具有更高的重構(gòu)效率，其原因在于該兩類算法將重構(gòu)時(shí)間復(fù)雜度轉(zhuǎn)移至了訓(xùn)練階段，在測試階段直接利用前向模型即可獲得重構(gòu)信號。然而，盡管理論上基于深度學(xué)習(xí)的方法具有最高的表征能力，相比于其余兩類方法，該類方法的性能優(yōu)勢并未充分展現(xiàn)，其原因主要有：（1）缺乏可解釋的先驗(yàn)信息和網(wǎng)絡(luò)框架設(shè)計(jì)；（2）現(xiàn)有設(shè)備難以支持大規(guī)模網(wǎng)絡(luò)的訓(xùn)練與部署；（3）現(xiàn)有網(wǎng)絡(luò)泛化性較低；（4）網(wǎng)絡(luò)魯棒性較低難以訓(xùn)練。

表1 方法的特征比較Table 1 Feature comparison

表2 圖像壓縮感知方法對比Table 2 Comparison of image compressive sensing

5 未來的研究方向

基于深度學(xué)習(xí)的方法因具有最高的表征能力受到了研究者的廣泛關(guān)注。針對上述問題，在近幾年的頂級會議上，例如，CVPR、ICCV和ECCV等，每年都有10篇以上的研究發(fā)表，指引了未來的研究方向。

5.1 融合先驗(yàn)信息的深度網(wǎng)絡(luò)設(shè)計(jì)

充分利用先驗(yàn)信息是成功求解圖像逆問題的關(guān)鍵?；谏疃葘W(xué)習(xí)的方法通常被認(rèn)為能夠從訓(xùn)練數(shù)據(jù)中自適應(yīng)地挖掘先驗(yàn)信息，然而文獻(xiàn)[34]提出先驗(yàn)信息可能并不是從大量的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)而來，而是存在于網(wǎng)絡(luò)的架構(gòu)中。盡管混合分析模型和深度學(xué)習(xí)的方法提供了一種融合先驗(yàn)信息的網(wǎng)絡(luò)設(shè)計(jì)方式，該類方法易受分析模型的誤導(dǎo)，收斂至局部最優(yōu)。因此，如何進(jìn)一步融合先驗(yàn)信息設(shè)計(jì)具體的深度網(wǎng)絡(luò)是未來的研究方向之一。并且，針對特定深度網(wǎng)絡(luò)的性能界限理論分析有待進(jìn)一步探索。

5.2 輕巧高效的深度網(wǎng)絡(luò)設(shè)計(jì)

基于深度學(xué)習(xí)的方法通常由大量的可訓(xùn)練參數(shù)組成，理論上具有最強(qiáng)的表征能力。然而，大量的參數(shù)不僅增加了訓(xùn)練的難度，更對存儲空間提出了更高的要求，限制了其在資源受限的場景中的應(yīng)用。因此，如何設(shè)計(jì)輕便高效的深度網(wǎng)絡(luò)，促進(jìn)深度網(wǎng)絡(luò)的具體應(yīng)用部署，是未來的研究方向之一[44-46]。

5.3 泛化性的深度網(wǎng)絡(luò)設(shè)計(jì)

在實(shí)際應(yīng)用中，基于深度學(xué)習(xí)的方法即使面對同一應(yīng)用場景，參數(shù)的改變（例如，圖像超分辨率應(yīng)用中的退化系數(shù)），都需要單獨(dú)設(shè)計(jì)對應(yīng)的深度網(wǎng)絡(luò)，并重新進(jìn)行訓(xùn)練，需要花費(fèi)很高的學(xué)習(xí)成本。因此，對于泛化性深度網(wǎng)絡(luò)設(shè)計(jì)的研究必不可少[47-48]。

5.4 魯棒性的深度網(wǎng)絡(luò)設(shè)計(jì)

盡管基于深度學(xué)習(xí)的視頻壓縮感知重構(gòu)方法能挖掘訓(xùn)練數(shù)據(jù)中潛在的信息，該類方法易受模型假設(shè)、訓(xùn)練崩塌和訓(xùn)練數(shù)據(jù)偏差的影響，重構(gòu)魯棒性較差，進(jìn)而導(dǎo)致重構(gòu)圖像包含錯(cuò)誤的特征，嚴(yán)重影響圖像的重構(gòu)質(zhì)量。針對這個(gè)問題，研究者提出了一些解決方法[34-35，49-50]，然而這些方法在測試時(shí)仍需迭代優(yōu)化網(wǎng)絡(luò)的參數(shù)或者隱變量，重構(gòu)效率相對較低。因此，如何在提高視頻重構(gòu)魯棒性的同時(shí)，保證視頻的重構(gòu)效率，是一個(gè)重要的研究問題[51-52]。

6 結(jié)束語

隨著國家將人工智能提升為國家戰(zhàn)略并發(fā)布《新一代人工智能發(fā)展規(guī)劃》，人工智能的研究迎來了新的熱潮。深度學(xué)習(xí)的發(fā)展推動了圖像逆問題領(lǐng)域從基于分析模型的方法到基于深度學(xué)習(xí)的方法的轉(zhuǎn)變。在近幾年的頂級會議，例如，CVPR、ICCV 和ECCV 等，每年都有10篇以上的研究發(fā)表?，F(xiàn)有相關(guān)綜述研究側(cè)重于介紹具體的深度網(wǎng)絡(luò)，而忽略了如何利用先驗(yàn)信息。因此，本文創(chuàng)新性地從如何利用先驗(yàn)信息求解圖像逆問題的角度出發(fā)，歸納總結(jié)了該領(lǐng)域的研究現(xiàn)狀，并對不同方法進(jìn)行對比分析，最后展望了未來的研究方向。