顫振快門圖像重建的改進(jìn)方法研究

孫小桐 陳戈珩

摘要：相機(jī)與拍攝對(duì)象之問的相對(duì)運(yùn)動(dòng)會(huì)在拍攝到的圖像中引入運(yùn)動(dòng)模糊。非模糊圖像的重建由于空間高頻率的喪失而具有病態(tài)性。顫振快門通過在曝光過程中快速打開和關(guān)閉快門來保持高頻率，提供了極大的改進(jìn)。文中解決了從抖動(dòng)快門圖像重建不模糊圖像的兩個(gè)開放問題。給出了一種在保留圖像細(xì)節(jié)的同時(shí)減少重構(gòu)噪聲的降噪技術(shù)，和一種自動(dòng)估計(jì)運(yùn)動(dòng)模糊點(diǎn)擴(kuò)展函數(shù)的方法。這些技術(shù)共同提供了大幅改進(jìn)，以重建顫振快門圖像。

【關(guān)鍵詞】運(yùn)動(dòng)模糊 編碼曝光 PSF 估計(jì) 降噪

數(shù)碼照片要求在拍攝時(shí)，相機(jī)和場景中的任何物體之間不存在相對(duì)運(yùn)動(dòng)。任何運(yùn)動(dòng)物體的圖像都將沿著運(yùn)動(dòng)方向模糊。這種模糊被稱為動(dòng)態(tài)模糊，是數(shù)碼照片中最常見的認(rèn)為造成的現(xiàn)象。在某些情況下，由物體運(yùn)動(dòng)引起的模糊是有用的。例如，它創(chuàng)造了一種運(yùn)動(dòng)的印象，并幫助觀眾識(shí)別運(yùn)動(dòng)的方向，尤其是在靜止的照片中。然而，在數(shù)碼攝影中，運(yùn)動(dòng)模糊通常被認(rèn)為是不可取的。運(yùn)動(dòng)模糊降低了圖像的質(zhì)量，這樣就不可能在有大量運(yùn)動(dòng)模糊的照片中區(qū)分不同的對(duì)象。本文對(duì)利用Raskar等的flutter shutter技術(shù)（也稱編碼曝光）對(duì)圖像進(jìn)行后處理提出改進(jìn)，flutter shutter camera通過在圖像曝光期間多次快速打開和關(guān)閉快門保存高頻信息。保留的高頻信息極大地改善了非模糊圖像的重構(gòu)。然而，也有幾個(gè)問題沒有解決。兩個(gè)顯著的開放性問題是重建過程中圖像噪聲的放大，以及運(yùn)動(dòng)模糊的點(diǎn)擴(kuò)散函數(shù)（PSF）的手工規(guī)范要求。本文介紹了顫振快門及其相關(guān)工作。然后討論了運(yùn)動(dòng)模糊圖像捕獲的仿真，包括顫振快門的仿真，及提出的降噪技術(shù)。

1 顫振快門及其相關(guān)工作

1.1 編碼曝光攝影（抖動(dòng)快門）

Raskar等人提出了編碼曝光攝影。在這種方法中，在一次曝光中，使用偽隨機(jī)雙元序列多次打開和關(guān)閉快門。這一過程將高頻空間信息保存在模糊的圖像中一一編碼的攝影圖像看起來就像許多單獨(dú)的短曝光被組合在一起，而這實(shí)際上就是正在發(fā)生的事情。例如，圖1顯示了使用模擬的顫振快門相機(jī)捕獲的移動(dòng)汽車。

在傳統(tǒng)的相機(jī)中，物體在曝光時(shí)間內(nèi)的運(yùn)動(dòng)定義了一個(gè)框過濾器，用來模糊物體的圖像。抹片破壞了高頻空間細(xì)節(jié)，因此反褶積重建成為一個(gè)不確定的問題。使用顫振快門，污跡被轉(zhuǎn)換成寬帶濾波器，在模糊的圖像中保留高頻細(xì)節(jié)，重建成為一個(gè)很好的問題。Raskar等人確定了一個(gè)接近最優(yōu)的二進(jìn)制序列來調(diào)制快門，并證明了該技術(shù)能夠成功處理較大的模糊。

編碼曝光photography的兩個(gè)重要限制是需要人為手動(dòng)指定模糊的PSF，以及在重構(gòu)過程中圖像噪聲的放大。后者部分是由于顫振快門本身降低了進(jìn)入相機(jī)的光線一一隨后對(duì)圖像亮度的校正放大了圖像的噪聲。本文討論了圖像降噪和PSF估計(jì)這兩個(gè)問題。

1.2 去噪

去噪的目標(biāo)是去除圖像中的噪聲，同時(shí)盡可能保留重要的特征。有許多不同的圖像去噪算法適合不同的情況。傳統(tǒng)的去噪方法采用線性濾波方法，如維納濾波、移動(dòng)平均濾波和低通濾波。這些技術(shù)降低了噪聲，但同時(shí)也存在圖像平滑、特征定位不佳、噪聲抑制不完全的副作用。非線性技術(shù)如中值濾波在降噪方面是有效的，但也會(huì)消除圖像細(xì)節(jié)。

混合濾波器結(jié)合多種去噪算法，以解決單個(gè)ap-proaches的不足。Ling和Bovik[10]將各向異性擴(kuò)散與中值濾波結(jié)合，與單個(gè)濾波相比產(chǎn)生了更好的結(jié)果一一中值濾波去除的各向異性擴(kuò)散產(chǎn)生了不必要的階梯效應(yīng)。然而，中值過濾器也去除一些細(xì)節(jié)，尖銳的角和細(xì)線。Raj an等[10]對(duì)該技術(shù)進(jìn)行了修改，用非線性四階PDE濾波器和中值濾波器代替了各向異性擴(kuò)散濾波器。

由更新方程給出了四階PDE擴(kuò)散：

其中u是圖像平滑，△t是離散時(shí)間步和△2表示圖像的離散拉普拉斯算子。圖1擴(kuò)散系數(shù)函數(shù)?！?1110000111100001111”。

這種混合濾波器即使在低信噪比的圖像中也能保持高頻細(xì)節(jié)，同時(shí)也能防止非對(duì)稱擴(kuò)散所產(chǎn)生的不良階梯效應(yīng)。在第3部分中，進(jìn)一步修改了這項(xiàng)技術(shù)，以提供一種有效的方法去噪抖動(dòng)快門圖像而不丟失高頻信息。

1.3 估計(jì)PSF

重構(gòu)經(jīng)過過濾的圖像最困難的部分可能是估計(jì)未知的PSF。當(dāng)需要從一個(gè)模糊的圖像中估計(jì)PSF時(shí)，這種估計(jì)尤其具有挑戰(zhàn)性。已經(jīng)提出了幾種技術(shù)，它們可以根據(jù)多個(gè)圖像估計(jì)PSF，或者通過使用附加的硬件。然而，對(duì)于顫振快門技術(shù)，我們假設(shè)只有一個(gè)模糊圖像可以用于PSF估計(jì)和重構(gòu)。

編碼曝光圖像的PSF估計(jì)與傳統(tǒng)運(yùn)動(dòng)模糊圖像的PSF估計(jì)完全不同，因?yàn)楝F(xiàn)有的ap-proaches通常依賴于運(yùn)動(dòng)模糊的連續(xù)性質(zhì)。例如，Lokhande等人和Sakano等人利用常規(guī)運(yùn)動(dòng)模糊PSF的功率譜中的O從模糊圖像中識(shí)別PSF。這些技術(shù)在編碼曝光圖像上失敗了，因?yàn)槎秳?dòng)快門代碼是經(jīng)過精心選擇的，所以PSF是可逆的，并且在頻率響應(yīng)中不包含任何零。

Jia的[3]PSF估計(jì)方法概括了透明的概念，包括一個(gè)對(duì)象遮擋了部分曝光時(shí)間背景的圖像區(qū)域。由于常規(guī)運(yùn)動(dòng)模糊的PSF是連續(xù)的，所以可以使用alpha matting來識(shí)別模糊。Agrawal和Xu修改flutter shutter代碼，使PSF更適合alpha matting，但修改后的代碼遠(yuǎn)非最優(yōu)，增加重構(gòu)噪聲。此外，獲得的PSF值非常不準(zhǔn)確，特別是對(duì)于較大的模糊。

2 運(yùn)動(dòng)模糊圖像捕獲的仿真

為了實(shí)驗(yàn)的目的，要求在合理數(shù)量的情況下使用己知運(yùn)動(dòng)模糊的顫振快門圖像。flurtershutter開發(fā)人員提供了少量真正的顫振快門圖像。為了獲得更多的圖像，使用運(yùn)動(dòng)序列圖像模擬了顫振快門技術(shù)。

模擬從幀間具有亞像素運(yùn)動(dòng)的運(yùn)動(dòng)序列開始。幀間運(yùn)動(dòng)要求很小，以便圖像序列能夠很好地逼近連續(xù)時(shí)間數(shù)據(jù)。從網(wǎng)絡(luò)中獲取合適的高速攝像機(jī)圖像序列，并利用射線追蹤軟件POV-ray生成額外的序列。

真正的顫振快門圖像包含自然噪聲，這是相機(jī)的特點(diǎn)。這些是唯一用于研究降噪的圖像。對(duì)于PSF估計(jì)的研究，我們還使用了由POV-ray生成的高速攝像機(jī)和圖像序列的圖像序列。高速相機(jī)的圖像包含了自然噪音，并被納入到模擬的顫振快門圖像中。對(duì)于POV-ray圖像序列，使用了Matlab函數(shù)為每個(gè)圖像添加模擬噪聲。加入了模擬放大器噪聲作為高斯噪聲，其方差在O.OOOl和0.001之間，還模擬了泊松射擊噪聲。

給定一個(gè)運(yùn)動(dòng)圖像序列，攝像機(jī)模擬器將序列中的單個(gè)圖像平均起來，生成一個(gè)輸出運(yùn)動(dòng)模糊圖像一一輸出圖像中的每個(gè)像素是輸入圖像中相應(yīng)像素的平均值。傳統(tǒng)的運(yùn)動(dòng)模糊是通過平均所有圖像在一個(gè)時(shí)間范圍內(nèi)的運(yùn)動(dòng)序列。模擬曝光時(shí)間可以通過改變圖像的平均數(shù)量來改變。

為了模擬顫振快門，圖像的序列首先被分成相等的子集，代表了顫振快門代碼的單個(gè)“排布”。每個(gè)印章的圖像數(shù)量可能會(huì)改變模擬曝光時(shí)間（或運(yùn)動(dòng)速度）。例如，每個(gè)包含10個(gè)圖像的分割比包含5個(gè)圖像的分割表示更長的曝光（或更快的運(yùn)動(dòng)）。每個(gè)印章的圖像平均在一起，形成一個(gè)模糊的圖像，然后印章圖像被合并到輸出圖像中，只有當(dāng)顫振的快門代碼位的那個(gè)印章是l。這兩步方法允許通過簡單地改變切割時(shí)間來創(chuàng)建不同尺寸的運(yùn)動(dòng)模糊。此外，可以產(chǎn)生非常大的模糊（通過使用非常大的切割尺寸），而不影響模擬模糊的質(zhì)量或連續(xù)性。

3 降噪

3.1 算法

在本節(jié)中，采用Raj an等人的去噪算法來提高顫振快門捕獲圖像的質(zhì)量。重要的是，這個(gè)方法能夠在保留圖像細(xì)節(jié)的同時(shí)降低圖像噪聲。本節(jié)介紹了對(duì)顫振快門捕捉到的圖像進(jìn)行去噪實(shí)驗(yàn)，并給出了實(shí)驗(yàn)結(jié)果。

將去噪算法應(yīng)用于原始抖動(dòng)快門捕獲的圖像，并將重建后的去噪圖像與原始噪聲重構(gòu)圖像進(jìn)行對(duì)比。由于Raj an等人提出的算法最初是針對(duì)灰度圖像設(shè)計(jì)的，所以在實(shí)現(xiàn)中將其分別應(yīng)用到彩色圖像的每個(gè)通道上。

3.2 去噪結(jié)果

測試了再構(gòu)造前后的去噪算法，并進(jìn)行了1- 15次的去噪迭代。在所有的情況下，發(fā)現(xiàn)預(yù)重構(gòu)去噪在降低圖像噪聲的同時(shí)也能顯著降低圖像的清晰度。這在包含文本的圖像中尤為明顯。銳度的損失主要是由于應(yīng)用了松弛中值濾波器。雖然放松的中值濾波器對(duì)不模糊圖像的清晰度的影響可以忽略不計(jì)，但在重構(gòu)之前，它會(huì)破壞編碼模糊圖像中包含的一些清晰細(xì)節(jié)。因此，經(jīng)過重建，清晰的細(xì)節(jié)被丟失。重建后的去噪效果略優(yōu)于重建前的去噪效果。輸出圖像的平滑度和銳度都比較低。然而，在某些情況下，反復(fù)使用放松的中值濾波器會(huì)降低圖像的清晰度。這在大型物體運(yùn)動(dòng)中尤為明顯。

為了進(jìn)一步改善顫振快門圖像的去噪，測試了Rajan等人提出的濾波器的修改。重構(gòu)前后分別使用四階PDE濾波器，最后只使用放松的中值濾波器，得到了明顯的改進(jìn)結(jié)果。這種方法產(chǎn)生了良好的結(jié)果，因?yàn)樗碾APDE濾波器的第一次應(yīng)用在重構(gòu)之前去除了一些傳感器噪聲，而沒有去除高頻細(xì)節(jié)。這反過來又減少了重建圖像中的噪聲，而不會(huì)損失質(zhì)量。四階PDE的二次應(yīng)用進(jìn)一步降低了重構(gòu)圖像中的噪聲，放松的中值濾波采用圖像平滑處理，對(duì)最終圖像的清晰度沒有明顯影響。放松的中值濾波器對(duì)高噪聲圖像特別有用。圖2顯示了采用我們的去噪方法進(jìn)行原始重構(gòu)和重構(gòu)的結(jié)果。

4 PSF估計(jì)

在他們的原始論文中，Raskar等人[1]手動(dòng)指定PSF來重建每個(gè)圖像。在本節(jié)中，我們提出一種適合于編碼曝光圖像的半自動(dòng)PSF估計(jì)技術(shù)。

4.1 基于邊緣的PSF估計(jì)

當(dāng)將顯示編碼運(yùn)動(dòng)模糊的圖像與顫振代碼進(jìn)行比較時(shí)，可以看到當(dāng)代碼改變時(shí)（例如當(dāng)快門打開或關(guān)閉時(shí)），高頻率出現(xiàn)在模糊中。例如，圖3中的模擬圖像顯示了與特定的快門代碼相對(duì)應(yīng)的高頻率內(nèi)容。

實(shí)驗(yàn)證實(shí)了由代碼轉(zhuǎn)換產(chǎn)生的高頻人工制品在所有抖動(dòng)的快門圖像中都是清晰可識(shí)別的，無論是真實(shí)的還是模擬的。這些人工制品可以通過邊緣檢測器提取，如圖4所示，并用于估計(jì)對(duì)象的運(yùn)動(dòng)。通過對(duì)由編碼模糊圖像（包括模擬圖像和真實(shí)圖像）產(chǎn)生的Canny邊緣檢測，可以看出邊緣檢測器能夠在所有情況下提取幾乎所有的代碼轉(zhuǎn)換。丟失的轉(zhuǎn)換是由于代碼中的孤立的O和1造成的。例如，代碼開頭的序列“10100”只產(chǎn)生一條邊，因?yàn)闆]有檢測到孤立的O。對(duì)圖3的圖像進(jìn)行邊緣檢測，得到圖4所示的結(jié)果。從球的一邊看邊緣，運(yùn)動(dòng)由第一個(gè)被探測到的邊緣到最后一個(gè)邊緣的距離來表示。但是，如上所述，并不是所有的代碼轉(zhuǎn)換都被檢測到。在這個(gè)例子中，實(shí)際的運(yùn)動(dòng)是73像素，但是邊緣表示69像素的運(yùn)動(dòng)。將同樣的技術(shù)應(yīng)用于不同的圖像，始終可以得到與實(shí)際運(yùn)動(dòng)相比的相似的檢測運(yùn)動(dòng)比例。這個(gè)比率取決于快門代碼的性質(zhì)，可以用來修正基于檢測到的邊緣的運(yùn)動(dòng)估計(jì)。結(jié)果是對(duì)PSF的準(zhǔn)確估計(jì)。

4.2 結(jié)果

我們的PSF估計(jì)技術(shù)的局限性類似于Raskar等人為fiutter shurter重建的一般。特別是，我們的PSF估計(jì)方法只適用于速度恒定、光照恒定的線性運(yùn)動(dòng)的場景。此外，PSF估計(jì)依賴于前景對(duì)象上的邊緣檢測，不適用于背景介紹額外邊緣或物體有多個(gè)邊緣的圖像的部分。對(duì)所給出的PSF估計(jì)方法進(jìn)行了仿真，可以得出結(jié)論，區(qū)域選擇并不困難，只要背景整潔。在每個(gè)示例中，PSF都被成功提取。

5 結(jié)論

顫振快門相機(jī)在運(yùn)動(dòng)模糊的圖像中保持了高頻率的信息。根據(jù)先前提出的運(yùn)動(dòng)模糊PSF的手動(dòng)規(guī)范，從顫振快門圖像中重構(gòu)非模糊圖像，得到具有顯著噪聲特性的結(jié)果。已經(jīng)可以證明，重構(gòu)噪聲可以通過在重構(gòu)前后使用四階PDE去噪濾波器來減少重要圖像信息的丟失，最后使用一個(gè)放松的中值濾波器。還演示了一種基于邊緣檢測的從模糊圖像中提取運(yùn)動(dòng)模糊PSF的半自動(dòng)技術(shù)。這種方法要求用戶選擇圖像的適當(dāng)部分，然后進(jìn)行分析以確定動(dòng)態(tài)模糊PSF。該技術(shù)精度高，重建效果好。未來的工作可以使用更復(fù)雜的技術(shù)來識(shí)別邊緣檢測到的圖像中的運(yùn)動(dòng)人工制品，可能提供一種完全自動(dòng)化的PSF提取方法。這將使顫振快門技術(shù)適合非技術(shù)用戶。

（通訊作者：陳戈珩）

參考文獻(xiàn)

[1]R. Raskar，A. Agrawal， and J.Tumblin，“Coded exposure photography： motiondeblurring using fluttered shutter，”in SIGGRAPH' 06： ACM SIGGRAPH 2006Papers， New York， NY， USA， 2006.

[2]S. Mealing， The Art and Science ofComputer Animation. Intellect Books，1998.

[3] J. Jia， "Single image motiondeblurring using transparency，" inCVPR07， 2007， pp. 1-8. [Online] .Available： ht t p： //dx. doi. org/10. 1109/CVPR. 2007. 383029.

[4] D. Kundur and D. Hatzinakos， "Blindimage deconvolution，” in IEEE SignalProcessing Magazine，May 1996， pp.43-64.

[5] Q. Shan， J. Jia， and A. Agarwala， "High-quality motion de- blurring from asingle image，” ACM Transactions on Graphics （SIGGRAPH）， 2008.

[6] A. Levin， P. Sand， T. S. Cho， F. Durand， andW. T. Free- man， "Motion-invariantphotography，" ACM Transactions on Graphics

（SIGGRAPH 2008） ， p. A. 71，August 2008.

[7] K. N. Nezarnoddini， P. W. Fiegu t h， and

E.Jernigan， "Bayesshrinkridgelets forimage denoising，” in ICIAR04，2004，pp.l：163-170.

[8] A. C. Bovik， Handbook of Image and VideoProcessing. Academic Pres s， 2005.

[9] Y. Yan， B. Guo， and W. Ni， "Imagedenoising： An approach based onwavelet neural network and improvedmedian filter- ing，" in WCICA06，vol. 2， 2006， pp.10 063-10 067.

[10] J. Rajan， K. Kannan， and M. R.Kaimal， "An improved hybrid modelfor molecular image denoising， "JMIV，vol. 31，no.l，May 2008.