圖像運(yùn)動(dòng)模糊還原技術(shù)綜述

黃正源，謝維成，黃化入，曹 倩

1.西華大學(xué) 電氣與電子信息學(xué)院，成都610039

2.重慶大學(xué) 自動(dòng)化學(xué)院，重慶400044

1 引言

隨著智能手機(jī)、相機(jī)等攝影設(shè)備的普及，圖像的獲取愈發(fā)方便，圖像成為人們記錄生活、交流信息的重要方式。圖像在獲取過(guò)程中可能會(huì)受到各種因素干擾，例如相機(jī)抖動(dòng)、拍攝對(duì)象移動(dòng)、大氣湍流以及圖片失焦等，由此類原因?qū)е碌膱D片質(zhì)量下降稱為圖像退化。將退化圖像恢復(fù)為原始圖像稱為圖像復(fù)原技術(shù)，圖像模糊還原屬于圖像復(fù)原技術(shù)的一種。

圖像模糊有許多情況，常見(jiàn)的有運(yùn)動(dòng)模糊、高斯模糊、散焦模糊等。日常生活中，人們?cè)谂臄z圖像時(shí)難以保持設(shè)備穩(wěn)定，最主要的類別是圖像運(yùn)動(dòng)模糊。在公共安全領(lǐng)域圖像運(yùn)動(dòng)模糊還原也同樣重要，例如電子眼抓拍違規(guī)車輛、公共區(qū)域抓拍嫌疑人等。圖像模糊過(guò)程可用模型表示為：

其中，B表示模糊圖像，I表示清晰的真實(shí)圖像，?是卷積操作，K代表模糊核或點(diǎn)擴(kuò)散函數(shù)，N代表噪聲。

在過(guò)去的10 多年里，研究者對(duì)這一經(jīng)典問(wèn)題作出了許多積極的努力，大部分的去模糊處理都是采用傳統(tǒng)的兩步方法：先進(jìn)行模糊核估計(jì)，再進(jìn)行能量函數(shù)最小化。然而，從模糊的圖像中恢復(fù)干凈的清晰圖像非常困難，因?yàn)檫@是一個(gè)高度不適定的問(wèn)題，模糊不僅來(lái)自于多目標(biāo)運(yùn)動(dòng)，還來(lái)自于攝像機(jī)抖動(dòng)、場(chǎng)景深度變化，無(wú)法簡(jiǎn)單地依賴模糊核線性的假設(shè)。圖像運(yùn)動(dòng)模糊還原技術(shù)，已經(jīng)成為計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域的研究熱點(diǎn)。

2 圖像運(yùn)動(dòng)模糊還原方法描述

按照模糊核是否已知可將圖像去模糊算法分為兩類：非盲去模糊算法和盲去模糊算法。非盲去模糊算法是指先通過(guò)其他方式獲得模糊核的信息，然后用已知的模糊核對(duì)模糊圖像進(jìn)行反卷積，就可以重建清晰圖像，常用的算法有Lucy-Richardson 算法、維納濾波和基于正則化等。盲去模糊算法是指在模糊核未知的情況下，僅通過(guò)模糊圖像估計(jì)出模糊核與清晰圖像，常用的盲去模糊算法有卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、生成對(duì)抗網(wǎng)絡(luò)等，如圖1。

圖1 圖像運(yùn)動(dòng)模糊還原常用方法分類

2.1 非盲去模糊

基于Lucy-Richardson 算法的圖像運(yùn)動(dòng)模糊還原是假設(shè)模糊圖像符合泊松分布，通過(guò)迭代計(jì)算求得最大似然解。該算法由Lucy和Richardson[1-2]提出，在假設(shè)噪聲因素為零的情況下，Lucy-Richardson算法隨著迭代次數(shù)的遞增，最終將會(huì)收斂在具有最大似然性的解，被廣泛應(yīng)用于圖像運(yùn)動(dòng)模糊還原領(lǐng)域，是一種通用的運(yùn)動(dòng)模糊圖像復(fù)原算法。Liu 等人[3]為了提高航天器在高動(dòng)態(tài)環(huán)境下獲取圖片的性能，提出了一種基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)（RBFNN）的Lucy-Richardson 算法，利用陀螺儀提供的角速度信息計(jì)算出點(diǎn)擴(kuò)展函數(shù)，然后使用RBFNN預(yù)測(cè)RL 算法完成圖像去模糊所需的迭代次數(shù)，并驗(yàn)證了其有效性；Dansereau等人[4]針對(duì)無(wú)人機(jī)和自主水下航行器的部署，在對(duì)光線采集和運(yùn)動(dòng)模糊敏感度之間的權(quán)衡下，使得在弱光下或在移動(dòng)平臺(tái)上難以有效地捕捉圖像這一機(jī)器人技術(shù)應(yīng)用中常見(jiàn)的問(wèn)題，采用光場(chǎng)渲染代替二維卷積，使用光場(chǎng)插值來(lái)渲染新的視圖和模擬運(yùn)動(dòng)模糊，將Lucy-Richardson 去模糊推廣到4-D 光場(chǎng)，該方法在不進(jìn)行深度估計(jì)的情況下，正確處理了復(fù)雜三維場(chǎng)景中六自由度相機(jī)運(yùn)動(dòng)產(chǎn)生的模糊。基于Lucy-Richardson 算法的圖像運(yùn)動(dòng)模糊還原技術(shù)在處理噪聲無(wú)法忽略的情況，迭代次數(shù)的選擇尤為重要，不恰當(dāng)?shù)牡螖?shù)存在放大噪聲的缺陷[5]，如圖2 所示。對(duì)于沒(méi)有噪聲的情況，Lucy-Richardson算法可以很好地還原模糊圖像；在有噪聲的干擾下，設(shè)置合適的迭代次數(shù)是基于Lucy-Richardson算法圖像去模糊的關(guān)鍵。

圖2 Lucy-Richardson算法不同迭代次數(shù)結(jié)果

基于維納濾波的圖像運(yùn)動(dòng)模糊還原方法綜合了退化函數(shù)和噪聲統(tǒng)計(jì)特征兩個(gè)方面。經(jīng)典的維納濾波假定線性濾波器的輸入為有用信號(hào)和噪聲之和，兩者均為廣義平穩(wěn)過(guò)程且知它們的二階統(tǒng)計(jì)特性，根據(jù)最小均方誤差準(zhǔn)則，求得最佳線性濾波器的參數(shù)。Li等人[6]針對(duì)旋轉(zhuǎn)模糊這一特殊運(yùn)動(dòng)方式，提出了一種新的模糊核估計(jì)模型，該模型以旋轉(zhuǎn)中心為圓心的圓周重建模糊圖像，通過(guò)維納濾波得到去模糊的同心圓圖像，然后利用模型的逆過(guò)程將同心圓圖像重新填充到笛卡爾坐標(biāo)系中，實(shí)現(xiàn)旋轉(zhuǎn)運(yùn)動(dòng)圖像還原；Khetkeeree等人[7]為了減少維納濾波去模糊對(duì)噪聲先驗(yàn)的依賴，提出一種估計(jì)維納濾波器正則項(xiàng)的優(yōu)化方法，采用改進(jìn)的Tikhonov正則化控制最佳恢復(fù)圖像的Weiner濾波器正則項(xiàng)，使噪聲成為非必要的先驗(yàn)知識(shí)?；诰S納濾波的圖像運(yùn)動(dòng)模糊還原技術(shù)對(duì)于信噪比依賴度較高，信噪比估計(jì)的準(zhǔn)確性直接影響圖像的還原結(jié)果。維納濾波無(wú)法復(fù)原空間可變的退化，且由于人眼對(duì)于灰度亮度一致的區(qū)域復(fù)原錯(cuò)誤感知更嚴(yán)重，基于最小均方誤差的原理在理論上能很好地處理卻不是最適合人眼的方式。

基于正則化的圖像運(yùn)動(dòng)模糊還原采用正則化方法建模，對(duì)函數(shù)最小化模型進(jìn)行求解。較早的正則化方法是Tikhonov 等人提出的Tikhonov 正則化方法，該正則項(xiàng)可以有效地抑制噪聲，但是易產(chǎn)生過(guò)平滑圖像，使得處理結(jié)果仍然模糊。Rudin等人[8]提出了總變分正則化（Total Variation，TV）方法，TV 正則化方法不僅可以抑制噪聲，而且能保留圖像的邊緣。譚海鵬等人[9]為了改善遙感圖像質(zhì)量，提出了基于正則化約束的遙感圖像多尺度去模糊方法，建立模糊圖像的金字塔模型，將低層計(jì)算的清晰圖像上采樣為上一層的初始清晰圖像，再迭代運(yùn)算該層上的最終清晰圖像。該方法能有效地去除遙感成像產(chǎn)生的模糊，在保持圖像邊緣和細(xì)節(jié)的同時(shí)，可有效抑制振鈴效應(yīng)；Choudhury 等人[10]提出了一種基于加性高斯噪聲的運(yùn)動(dòng)退化圖像復(fù)原方法，正則化使用的上界可以在圖像去模糊之前激發(fā)圖像去噪，下界作為邊緣恢復(fù)約束加入到模糊代價(jià)函數(shù)中，結(jié)合保真項(xiàng)和邊緣恢復(fù)下界約束，提出了一種新的凸函數(shù)用于圖像恢復(fù)，使用正則化函數(shù)而不是固定參數(shù)使收斂速度更快；基于正則化的圖像運(yùn)動(dòng)模糊還原方法，正則化參數(shù)和正則化算子的選擇在圖像去模糊過(guò)程中起著至關(guān)重要的作用。不同經(jīng)典非盲去模糊方法的實(shí)驗(yàn)結(jié)果如圖3所示。

圖3 經(jīng)典非盲去模糊方法實(shí)驗(yàn)結(jié)果

2.2 盲去模糊

基于正則化的圖像運(yùn)動(dòng)盲去模糊還原方法在經(jīng)典非盲去模糊的方法上通過(guò)各種優(yōu)化后直接對(duì)圖像進(jìn)行還原。Liu等人[11]為了精確估計(jì)單幅圖像盲去模糊時(shí)的模糊核，提出了一階和二階圖像梯度的L0 范數(shù)來(lái)規(guī)范最終的估計(jì)結(jié)果，L0 正則化混合梯度稀疏先驗(yàn)極大地受益于圖像的固有稀疏性，可以保證高質(zhì)量的模糊核估計(jì)；Dou等人[12]為提高效率提出一種圖像正則化盲去模糊方法，提出的平滑增強(qiáng)正則化算法不僅保證了圖像中只有突出結(jié)構(gòu)被保留，而且增強(qiáng)了這些突出結(jié)構(gòu)用以幫助模型更準(zhǔn)確地估計(jì)核函數(shù)，其模型為：

還采用了一種基于半二次分裂算法的有效數(shù)值方案[13]，與半二次分裂算法相比，該優(yōu)化方案只需要額外的收縮操作，使該方法比目前的其他方法快得多；Bai[14]設(shè)計(jì)了一個(gè)重加權(quán)圖總變差（RGTV）先驗(yàn)，可以有效地促進(jìn)一個(gè)雙峰邊權(quán)重分布給定一個(gè)模糊的補(bǔ)丁，并引入了一個(gè)新的權(quán)函數(shù)作為拉普拉斯正則化器來(lái)表示RGTV，噪聲和模糊的魯棒性、強(qiáng)分段平滑濾波和銳度均得到了提升。

基于卷積神經(jīng)網(wǎng)絡(luò)的圖像運(yùn)動(dòng)模糊還原方法，利用局部權(quán)值共享對(duì)圖像處理的優(yōu)越性，卷積操作可輕松處理高維數(shù)據(jù)且避免了特征提取過(guò)程中數(shù)據(jù)重建的復(fù)雜度。Sun 等人[15]用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像模糊核進(jìn)行估計(jì)，再使用估計(jì)出的模糊核對(duì)圖像進(jìn)行去模糊還原。該方法雖然采用盲去模糊算法還原圖像，但對(duì)模糊核估計(jì)后仍然沿用了非盲去模糊的思想，對(duì)圖像進(jìn)行反卷積操作。這導(dǎo)致了算法運(yùn)行緩慢且還原結(jié)果依賴于模糊核估計(jì)，但盡管如此，該方法將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在了圖像去模糊，為后續(xù)基于此的各種方法奠定了基礎(chǔ)；Nah等人[16]提出了一種多尺度的神經(jīng)網(wǎng)絡(luò)，模擬傳統(tǒng)的從粗到細(xì)的方法，它能夠以端到端的方式恢復(fù)由各種來(lái)源引起的模糊圖像，該方法在動(dòng)態(tài)場(chǎng)景去模糊方面不僅在定性上，而且在定量上都達(dá)到了優(yōu)越的效果。Li等人[17]提出了一種全新的卷積結(jié)構(gòu)，命名為“孔卷積”，其內(nèi)核采用鄰域?yàn)榫匦蔚木匦苇h(huán)進(jìn)行計(jì)算，大大擴(kuò)展了接收域，實(shí)驗(yàn)結(jié)果表明，該方法能有效地恢復(fù)圖像；Liu等人[18]提出了一個(gè)兩階段去模糊模塊來(lái)恢復(fù)基于高頻圖像的動(dòng)態(tài)場(chǎng)景的模糊圖像，先用編碼網(wǎng)絡(luò)對(duì)殘差圖像進(jìn)行細(xì)化，再將細(xì)化后的殘差圖像與輸入的模糊圖像相結(jié)合，得到潛像，并進(jìn)一步提出了一個(gè)基于模糊處理模塊的由粗到細(xì)的框架；Cai等人[19]提出了一個(gè)暗、亮通道先驗(yàn)嵌入式網(wǎng)絡(luò)（DBCPeNet），將通道先驗(yàn)插入到一個(gè)神經(jīng)網(wǎng)絡(luò)中，以實(shí)現(xiàn)有效的動(dòng)態(tài)場(chǎng)景去模糊，并提出了一種新的可訓(xùn)練的明暗通道先驗(yàn)嵌入層（DBCPeL），用于融合通道先驗(yàn)和模糊圖像表示；Chi 等人[20]考慮到大多數(shù)數(shù)碼相機(jī)并不直接捕捉RGB彩色圖像，相反，它們只記錄每個(gè)像素的三種原色之一的光強(qiáng)度，提出一種新的多尺度深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)共同解決圖像的去量化和去模糊問(wèn)題?；诰矸e神經(jīng)網(wǎng)絡(luò)的去模糊方法利用神經(jīng)網(wǎng)絡(luò)優(yōu)異的非線性擬合能力去解決模糊核估計(jì)這一高度不適定問(wèn)題，取得了不錯(cuò)的效果。

基于循環(huán)神經(jīng)網(wǎng)絡(luò)的圖像運(yùn)動(dòng)模糊還原方法，創(chuàng)新性地將循環(huán)神經(jīng)網(wǎng)絡(luò)從處理具有前后順序、時(shí)間依賴關(guān)系數(shù)據(jù)的領(lǐng)域，應(yīng)用在了圖像處理領(lǐng)域。Tao 等人[21]根據(jù)在金字塔中逐漸恢復(fù)不同分辨率的清晰圖像策略，提出了一個(gè)尺度循環(huán)神經(jīng)網(wǎng)絡(luò)（SRN-DeblurNet），與許多基于學(xué)習(xí)的方法相比，它具有更簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)、更少的參數(shù)且更容易訓(xùn)練。Zhang等人[22]為解決多尺度循環(huán)神經(jīng)網(wǎng)絡(luò)模型上采樣操作運(yùn)行時(shí)開(kāi)銷大、單純?cè)黾幽Ｐ偷纳疃群透?xì)的層次并不能提高去模糊的質(zhì)量等問(wèn)題，提出了一種基于空間金字塔匹配的深度分級(jí)多patch 網(wǎng)絡(luò)，通過(guò)一種精細(xì)到粗糙的分級(jí)表示來(lái)處理模糊圖像，與之前的多尺度方法相比，運(yùn)行速度快了40倍。Zhang等人[23]提出一種由三個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)（CNNs）和一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）組成的空間變異神經(jīng)網(wǎng)絡(luò)，將RNN 作為反卷積算子，對(duì)由一個(gè)神經(jīng)網(wǎng)絡(luò)從輸入圖像中提取的特征圖進(jìn)行反卷積運(yùn)算，該方法具有較好的性能、速度和模型大小。

基于生成對(duì)抗網(wǎng)絡(luò)圖像運(yùn)動(dòng)模糊還原方法，通過(guò)一對(duì)相互博弈的生成器與判別器，經(jīng)過(guò)多次訓(xùn)練來(lái)實(shí)現(xiàn)圖像運(yùn)動(dòng)模糊的還原。生成對(duì)抗網(wǎng)絡(luò)由Goodfellow 等人[24]提出，Kupyn 等人[25]提出通過(guò)條件生成對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)一種端到端的圖像去模糊方法DeblurGAN，與Deep-Deblur方法相比，該方法速度提高了5倍。Kupyn等人[26]在此基礎(chǔ)上提出一個(gè)帶有雙尺度鑒別器的相對(duì)條件生成對(duì)抗網(wǎng)絡(luò)DeblurGAN-V2，將特征金字塔網(wǎng)絡(luò)引入到去模糊中，作為該網(wǎng)絡(luò)的核心構(gòu)件，憑借輕量級(jí)的骨架，DeblurGAN-V2 比同期最接近的方法快10～100 倍。Gong 等人[27]提出了一種自參考去模糊生成對(duì)抗網(wǎng)絡(luò)，在解決局部模糊圖像的還原問(wèn)題上取得了較好的效果。Lu 等人[28]提出了一種無(wú)監(jiān)督的單幅圖像去模糊方法。并引入了一個(gè)解糾纏框架來(lái)分割模糊圖像的內(nèi)容和模糊特征，從而提高了圖像去模糊性能。桑亮等人[29]提出基于生成對(duì)抗網(wǎng)絡(luò)的深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)復(fù)原模糊圖像的解決方案，通過(guò)引入生成對(duì)抗網(wǎng)絡(luò)思想的對(duì)抗損失和對(duì)殘差網(wǎng)絡(luò)進(jìn)行改進(jìn)，有效地復(fù)原了圖像的細(xì)節(jié)信息。基于生成對(duì)抗網(wǎng)絡(luò)的圖像運(yùn)動(dòng)模糊還原方法依據(jù)博弈論的原理提高了參數(shù)擬合的準(zhǔn)確度，但網(wǎng)絡(luò)訓(xùn)練依靠于成對(duì)數(shù)據(jù)集，由于真實(shí)場(chǎng)景下難以獲取同一場(chǎng)景的清晰與模糊圖像，提高了訓(xùn)練集的獲取難度，去模糊方法對(duì)比如表1。

3 圖像運(yùn)動(dòng)模糊還原關(guān)鍵問(wèn)題

3.1 模糊核估計(jì)對(duì)圖像還原的影響

模糊不僅來(lái)自于多個(gè)物體的運(yùn)動(dòng)，還來(lái)自于相機(jī)抖動(dòng)、場(chǎng)景深度變化。然而，估計(jì)每個(gè)像素或區(qū)域的單個(gè)模糊核是不可行的，因?yàn)檫@會(huì)導(dǎo)致過(guò)多的計(jì)算負(fù)擔(dān)。為了消除這些復(fù)雜的運(yùn)動(dòng)模糊，傳統(tǒng)的基于能量?jī)?yōu)化的方法依賴于一些簡(jiǎn)單的假設(shè)，如模糊核是部分均勻的或局部線性的。

文獻(xiàn)[30]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的方法來(lái)處理非盲運(yùn)動(dòng)去模糊中的核不確定性，通過(guò)有效的模糊觀測(cè)獲得不同先驗(yàn)的潛在估計(jì)圖像，利用其互補(bǔ)性來(lái)改進(jìn)學(xué)習(xí)。文獻(xiàn)[31]證明了絕對(duì)相位的自相關(guān)可以提供關(guān)于運(yùn)動(dòng)的可靠信息，并通過(guò)研究頻域問(wèn)題直接獲得高質(zhì)量的模糊核，提供了一種新的模糊核估計(jì)方法。文獻(xiàn)[25]利用生成對(duì)抗網(wǎng)絡(luò)提出一種端到端的圖像運(yùn)動(dòng)模糊還原方法，跳過(guò)模糊核估計(jì)階段，直接由模糊圖像得到還原圖像，避免了模糊核估計(jì)與真實(shí)情況的差異導(dǎo)致還原圖像產(chǎn)生振鈴。文獻(xiàn)[18]通過(guò)清晰圖像的低頻成分和模糊圖像的低頻成分是相似的這一特點(diǎn)，采用兩階段去模糊，第一階段恢復(fù)低頻分量，同時(shí)保留高頻分量；第二階段提煉高頻信息，該方法同樣避免了模糊核的估計(jì)過(guò)程。

3.2 圖像特征提取計(jì)算量

使用卷積網(wǎng)絡(luò)對(duì)圖像運(yùn)動(dòng)模糊還原，即使模糊很小，也需要使用較大的圖像區(qū)域來(lái)增加感受野，這就不可避免地導(dǎo)致網(wǎng)絡(luò)模型規(guī)模大，計(jì)算成本高。文獻(xiàn)[17]提出的孔卷積濾波結(jié)構(gòu)，結(jié)構(gòu)如圖4 所示，其基本的設(shè)計(jì)思想是，在核上的任意兩個(gè)權(quán)重參數(shù)都應(yīng)該等于它們到中心的距離。該結(jié)構(gòu)極大地?cái)U(kuò)展了響應(yīng)區(qū)域，從而可以從更高的層上獲得更粗的全局特征圖，并且大大減少了參數(shù)數(shù)量，提高了泛化能力。文獻(xiàn)[23]證明了去模糊過(guò)程可以用一個(gè)無(wú)限脈沖響應(yīng)（IIR）模型來(lái)表示。并進(jìn)一步分析了空間變量RNN 和去模糊過(guò)程之間的關(guān)系，表明空間變量RNN能夠模擬去模糊過(guò)程。通過(guò)從連續(xù)的RNN 中插入CNN，將來(lái)自不同方向的信息融合，這樣，空間RNN 就可以用較少的參數(shù)覆蓋較大的二維區(qū)域，從而減少計(jì)算量，其過(guò)程如圖5所示。

濾波器的參數(shù)數(shù)量對(duì)網(wǎng)絡(luò)的計(jì)算量有著直接的影響，在擴(kuò)大感受野的同時(shí)減少參數(shù)數(shù)量，是提高運(yùn)行速度的一個(gè)關(guān)鍵。

表1 去模糊方法對(duì)比

圖4 孔卷積結(jié)構(gòu)示意圖

圖5 RNN融合方向信息過(guò)程示意圖

3.3 模糊數(shù)據(jù)集的構(gòu)建

采用神經(jīng)網(wǎng)絡(luò)對(duì)圖像運(yùn)動(dòng)模糊進(jìn)行還原的方法，都得經(jīng)過(guò)訓(xùn)練才能得到網(wǎng)絡(luò)參數(shù)，訓(xùn)練就得有數(shù)據(jù)集，然而現(xiàn)實(shí)中模糊數(shù)據(jù)集的獲取有一定的難度。成對(duì)數(shù)據(jù)集采用人工的獲取方式難以保證清晰圖像與模糊圖像的內(nèi)容一致，由算法合成的模糊圖像由于難以擬合現(xiàn)實(shí)中的復(fù)雜情況，往往在訓(xùn)練中表現(xiàn)良好，在現(xiàn)實(shí)圖片上卻不盡人意。

根據(jù)模糊數(shù)據(jù)集的構(gòu)建方法，可大致分為三類。第一類為算法模擬計(jì)算模糊核，由清晰圖片與模糊核卷積得到，比如Levin 等[32]、Kupyn 等[25]的數(shù)據(jù)集。Kupyn 等提出了一種模擬逼真和復(fù)雜的模糊內(nèi)核的方法，遵循隨機(jī)軌跡生成的思想，然后將子像素插值應(yīng)用到軌跡矢量中生成核函數(shù)。每一個(gè)軌跡矢量都是復(fù)值矢量，對(duì)應(yīng)于物體在連續(xù)域內(nèi)二維隨機(jī)運(yùn)動(dòng)后的離散位置。軌跡的生成采用馬爾可夫過(guò)程，根據(jù)前一個(gè)點(diǎn)的速度和位置、高斯攝動(dòng)、脈沖攝動(dòng)和確定的慣性分量，隨機(jī)生成軌跡下一個(gè)點(diǎn)的位置。

第二類為通過(guò)相機(jī)軌跡合成的模糊圖片，利用高速攝像頭連續(xù)拍攝取平均值得到模糊圖像，例如Kohler[33]數(shù)據(jù)集、GOPRO數(shù)據(jù)集。Nah等[16]提出了一個(gè)具有真實(shí)感的現(xiàn)實(shí)模糊圖像數(shù)據(jù)集GOPRO，選擇記錄要隨時(shí)間集成的銳化信息來(lái)生成模糊圖像，而不是對(duì)內(nèi)核進(jìn)行建模來(lái)對(duì)銳化圖像進(jìn)行卷積。模糊積累過(guò)程建模如下：

其中，T和S(t)分別表示時(shí)刻T的銳化圖像的曝光時(shí)間和傳感器信號(hào)，M、S[i]分別為曝光時(shí)間內(nèi)采集到的幀數(shù)和第i個(gè)銳幀信號(hào)，g是將一個(gè)敏銳的潛信號(hào)S(t)映射到一個(gè)觀察信號(hào)S(t)的CRF。

第三類為真實(shí)場(chǎng)景拍攝的數(shù)據(jù)集，直接由手機(jī)或相機(jī)獲取。只包含模糊圖像，無(wú)對(duì)應(yīng)清晰圖像，因此難以用于網(wǎng)絡(luò)訓(xùn)練，常用作于測(cè)試集，代表為L(zhǎng)ai等人[34]的數(shù)據(jù)集。

主流數(shù)據(jù)集特點(diǎn)對(duì)比，如表2。

表2 主流數(shù)據(jù)集特點(diǎn)對(duì)比

4 趨勢(shì)展望

圖像運(yùn)動(dòng)模糊還原是近年來(lái)計(jì)算機(jī)視覺(jué)和圖像處理等領(lǐng)域的一個(gè)研究熱點(diǎn)，不僅具有重要的理論意義，而且在實(shí)際應(yīng)用中也有迫切需求[35]。未來(lái)的研究可從以下幾點(diǎn)考慮[35]。

算法效率的提升：算法的運(yùn)行速度是影響算法應(yīng)用的一個(gè)重要因素，對(duì)于實(shí)時(shí)性要求高的場(chǎng)景，算法的效率更是第一選擇。提升圖像運(yùn)動(dòng)模糊還原算法的時(shí)效性可將此算法應(yīng)用于更多的場(chǎng)景，使基于計(jì)算機(jī)視覺(jué)解決的方法更完善。例如，在生產(chǎn)監(jiān)測(cè)過(guò)程中，采用圖像處理的方式越來(lái)越受到重視，以往的方法為物品傳送到監(jiān)測(cè)點(diǎn)時(shí)停下采集圖片。采用實(shí)時(shí)性高的圖像運(yùn)動(dòng)模糊還原算法可在物品運(yùn)動(dòng)時(shí)采集圖片，省去物品停下的步驟，大大提高了物品生產(chǎn)線效率。因此，提高算法效率是一值得研究的方向。

新的模糊數(shù)據(jù)集：模糊數(shù)據(jù)集對(duì)基于深度學(xué)習(xí)方法的還原結(jié)果有著直接的影響，目前開(kāi)源的模糊數(shù)據(jù)集種類、數(shù)量都較少。其中使用最廣泛且規(guī)模最大的GOPRO數(shù)據(jù)集也僅僅只有2 103 對(duì)訓(xùn)練圖片與1 111 對(duì)測(cè)試圖片，與計(jì)算機(jī)視覺(jué)其他領(lǐng)域的數(shù)據(jù)集，尤其是imageNet數(shù)據(jù)集包含14 197 122 張圖片相比，簡(jiǎn)直是天壤之別。不同于圖像識(shí)別或圖像分割等領(lǐng)域，模糊圖像數(shù)據(jù)集的獲取存在一定難度。但對(duì)于任何領(lǐng)域，數(shù)據(jù)集都是研究人員開(kāi)發(fā)的基礎(chǔ)，數(shù)據(jù)集的匱乏直接影響了這一領(lǐng)域的研究進(jìn)度，對(duì)此，迫切地需要提出一個(gè)規(guī)模大的、新的數(shù)據(jù)集。

網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)：隨著深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的方法愈來(lái)愈多。每有新的網(wǎng)絡(luò)結(jié)構(gòu)被提出，基于它的圖像運(yùn)動(dòng)模糊還原技術(shù)都會(huì)隨之噴涌，不論是卷積神經(jīng)網(wǎng)絡(luò)還是生成對(duì)抗網(wǎng)絡(luò)都在原有的技術(shù)上做出了實(shí)質(zhì)性的提升。對(duì)現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)也是提升算法的一種方式，將不同的網(wǎng)絡(luò)結(jié)構(gòu)相互結(jié)合或許是一種不錯(cuò)的方法。例如，在網(wǎng)絡(luò)結(jié)構(gòu)中引入多尺度結(jié)構(gòu)、密集殘差結(jié)構(gòu)等，再與改進(jìn)的損失函數(shù)相結(jié)合也許能夠達(dá)到不錯(cuò)的效果。

隨著圖像運(yùn)動(dòng)模糊還原技術(shù)的不斷發(fā)展完善，基于其在計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域其他任務(wù)屬于圖像預(yù)處理的特點(diǎn)，可以良好地與其他任務(wù)結(jié)合，圖像運(yùn)動(dòng)模糊還原技術(shù)應(yīng)用會(huì)更加廣泛。

5 結(jié)束語(yǔ)

系統(tǒng)總結(jié)了目前圖像運(yùn)動(dòng)模糊還原技術(shù)的研究現(xiàn)狀，指出了現(xiàn)有研究的關(guān)鍵問(wèn)題，對(duì)未來(lái)的發(fā)展趨勢(shì)和應(yīng)用前景進(jìn)行了展望，為進(jìn)一步的研究奠定了基礎(chǔ)。