基于多項(xiàng)式的圖像畸變校正模型及抗混疊綜述

姚俊宏，曾靜，胡紫微

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

1 簡(jiǎn)介

1.1 鏡頭畸變

攝影機(jī)或相機(jī)的成像過(guò)程實(shí)質(zhì)上是幾個(gè)坐標(biāo)系的轉(zhuǎn)換，首先空間中的一點(diǎn)由世界坐標(biāo)系轉(zhuǎn)換到攝像機(jī)坐標(biāo)系，然后再將其投影到成像平面（圖像物理坐標(biāo)系），最后再將成像平面上的數(shù)據(jù)轉(zhuǎn)換到圖像平面（圖像像素坐標(biāo)系）。從相機(jī)捕獲的所有圖像代表三維空間在有限的二維成像平面上的不完美投影。有許多眾所周知的錯(cuò)誤來(lái)源導(dǎo)致這種不理想的投影表示。其中包括設(shè)備噪聲、有限的傳感器元件尺寸、有限的積分時(shí)間和透鏡形狀效應(yīng)等。我們?cè)谏钪幸渤３Ｄ芤?jiàn)到這些因?yàn)榛儗?dǎo)致變形的圖像，他們與我們?nèi)庋劭吹降膱D像會(huì)有一定的區(qū)別，受很多因素的影響，例如焦距、拍攝角度、鏡頭本身的透鏡特性等，會(huì)有不同程度的視覺(jué)區(qū)別，最常見(jiàn)變化最大的地方往往是圖形的四個(gè)角部分，變化最小的地方一般是圖像正中心的部分，這種視覺(jué)效果在魚(yú)眼鏡頭的相片中最顯眼。

還有很多在視覺(jué)效果上看起來(lái)并不是很大區(qū)別的圖像，但在對(duì)圖像中物體的幾何位置精度要求很高的計(jì)算機(jī)圖像應(yīng)用領(lǐng)域中，可能會(huì)因?yàn)檫@些視覺(jué)上不明顯的鏡頭失真，對(duì)最終的圖像分析失去應(yīng)用價(jià)值?，F(xiàn)在，有許多圖像處理或分析應(yīng)用程序不需要校正輕微的鏡頭失真，也不必?fù)?dān)心圖像分辨率的任何合理?yè)p失，例如，涉及圖案識(shí)別、邊緣檢測(cè)或圖像表示的圖像處理和分析應(yīng)用程序。但在圖像匹配領(lǐng)域中，即使適度的鏡頭失真也會(huì)嚴(yán)重影響可達(dá)到的配準(zhǔn)精度，這就有可能導(dǎo)致兩個(gè)完全相同的圖像，匹配之后的精度顯示很低，會(huì)識(shí)別為完全不同的兩個(gè)東西。而鏡頭的畸變分為徑向畸變和切向畸變兩類：

（1）徑向畸變與畸變模型：徑向畸變是由于鏡頭自身凸透鏡的固有特性造成的，產(chǎn)生原因是光線在遠(yuǎn)離透鏡中心的地方比靠近中心的地方更加彎曲?；冄刂哥R半徑方向分布，主要包括桶形畸變和枕形畸變兩種。桶形畸變又稱桶形失真，它是由鏡頭引起的成像畫(huà)面呈桶形膨脹狀的失真現(xiàn)象。桶形畸變其實(shí)并不會(huì)影響成像的清晰度，但卻影響成像后的位置精度，這會(huì)給后續(xù)的圖像分析和圖像測(cè)量帶來(lái)誤差，甚至?xí)?dǎo)致誤判。而由鏡頭引起的成像畫(huà)面呈枕形凹陷狀的失真現(xiàn)象即為枕形失真。圖2中的（a）和（c）兩種圖形對(duì)應(yīng)于鏡頭的桶形失真和枕形失真。

圖1 魚(yú)眼鏡頭相片

圖2 鏡頭失真

（2）切向畸變與畸變模型：切向畸變是由于透鏡本身與相機(jī)傳感器平面（成像平面）或圖像平面不平行而產(chǎn)生的，這種情況多是由于透鏡被粘貼到鏡頭模組上的安裝偏差導(dǎo)致。因此本文不考慮此種畸變的影響。捕獲的圖像中必須校正的兩個(gè)典型失真就是以上提到的桶形失真（僅在變焦鏡頭的廣角端發(fā)生）和枕形失真（僅在變焦鏡頭的望遠(yuǎn)端）。因此分析對(duì)這兩種畸變的校正，以及進(jìn)一步的優(yōu)化。

1.2 映射適應(yīng)性卷積

無(wú)論桶形畸變還是枕形畸變，畸變都會(huì)使圖像內(nèi)容產(chǎn)生失真。這就需要對(duì)圖像進(jìn)行變換重采樣，解決圖像失真問(wèn)題。根據(jù)像素的離散性、圖像自身有限性和其帶寬的無(wú)限性，圖像變換重采樣過(guò)程必然會(huì)產(chǎn)生混疊。

根據(jù)奈奎斯特采樣定律，對(duì)有限帶寬的連續(xù)信號(hào)進(jìn)行采樣，當(dāng)采樣頻率大于原始信號(hào)最大頻率的2倍時(shí)，可以完整保留原始信號(hào)的信息[1]。當(dāng)采樣頻率變小，信號(hào)就會(huì)發(fā)生混疊。而圖像的采樣和量化是數(shù)字圖像獲取、存儲(chǔ)中的必要步驟。采樣中發(fā)生混疊，即高于采樣頻率一半的高頻信號(hào)被映射到信號(hào)的低頻部分，與原有低頻信號(hào)疊加，對(duì)信號(hào)的完整性和準(zhǔn)確性產(chǎn)生影響。圖像信號(hào)的混疊其實(shí)也是必然存在的，只在于發(fā)生混疊的程度大小。因?yàn)樵紙D像本身是一個(gè)離散的二維信號(hào)，它的傅里葉變換必定是一個(gè)帶寬無(wú)限的信號(hào)。無(wú)論采樣率有多大，從理論角度出發(fā)，圖像重采樣過(guò)程必定會(huì)產(chǎn)生混疊現(xiàn)象，所以在對(duì)圖像重采樣前進(jìn)行抗混疊處理，這是一個(gè)必要的流程。

圖3 圖像混疊

圖像混疊會(huì)引起圖像在一定程度上的失真。利用傳統(tǒng)的高斯函數(shù)進(jìn)行抗混疊預(yù)處理，可以有效解決普通圖像的混疊問(wèn)題。但是對(duì)于已經(jīng)發(fā)生畸變的圖像，傳統(tǒng)抗混疊方法的有效性大大降低。其實(shí)抗混疊的目的就是防止圖像或信號(hào)的高頻混入低頻中，所以抗混疊的主要方向有兩個(gè)：①增加采樣頻率。從傅里葉變換的角度考慮，增加采樣信號(hào)中傅里葉頻率分布函數(shù)的周期，當(dāng)周期增大后所拉開(kāi)的距離大于兩倍的奈奎斯特采樣頻率時(shí)，就不會(huì)再產(chǎn)生重疊，就可以達(dá)到消除混疊的效果。②對(duì)信號(hào)中的高頻成分進(jìn)行抑制。通過(guò)抑制圖像或信號(hào)中的高頻成分，讓產(chǎn)生混疊的源頭即高頻信號(hào)成分得到抑制，也就可以達(dá)到消除混疊的目的。但上述兩種抗混疊的方法，第一種是不適合二維的圖像信號(hào)的。因?yàn)槲覀儗?shí)際處理的圖像是一個(gè)帶寬無(wú)限的信號(hào)，而以無(wú)限大的采樣頻率進(jìn)行重采樣是不科學(xué)的事情。所以，第二種對(duì)圖像信號(hào)進(jìn)行低通濾波才是圖像抗混疊的常用手段。而抑制圖像高頻成分，一般通過(guò)卷積的方式，對(duì)圖像信號(hào)實(shí)行低通濾波。

Mapping Adaptive Convolution，即映射適應(yīng)性卷積，文獻(xiàn)[2]提出了自適應(yīng)單應(yīng)透視變換的卷積理論，其在圖像進(jìn)行單應(yīng)透視變換時(shí)，利用抗混疊卷積算子對(duì)其進(jìn)行預(yù)處理。使用高斯函數(shù)對(duì)圖像進(jìn)行低通濾波看混疊操作。

其中，G(x)為二維的高斯函數(shù)，*為卷積計(jì)算，I(x)為二維的信號(hào)或圖像。

在圖像發(fā)生形變的條件下，其對(duì)應(yīng)的卷積核也應(yīng)該發(fā)生了改變。在這種情況下，如果仍用圖像的傳統(tǒng)高斯函數(shù)進(jìn)行卷積則無(wú)法達(dá)到圖像有效抗混疊濾波的效果。作者指出在非線性單應(yīng)變換條件下抗混疊卷積核的形式和范圍也發(fā)生了改變，提出了自適應(yīng)單應(yīng)形變的抗混疊卷積方式。這也為我們考慮在畸變校正情況下的抗混疊處理提供了更好的方法，讓最終的校正效果達(dá)到最佳，使其適合要求高精度標(biāo)準(zhǔn)的圖像應(yīng)用中，實(shí)現(xiàn)有效的校正優(yōu)化。

2 畸變模型

2.1 典型模型

關(guān)于圖像畸變模型，在光學(xué)領(lǐng)域有一個(gè)眾所周知的校正模型，為一個(gè)無(wú)窮級(jí)數(shù)：

但值得注意的是，雖然以上的模型可以達(dá)到畸變校正的效果，但是在校正過(guò)程中，會(huì)伴隨著圖像的縮放，我們可通過(guò)在公式（3）中代入值計(jì)算并畫(huà)圖看到縮放的效果：我們?cè)趨^(qū)域[-1,1]×[-1,1]上建立邊長(zhǎng)為2的正方形，通過(guò)公式（3）可計(jì)算得出當(dāng)k=0.1時(shí)轉(zhuǎn)換得出的整體較大區(qū)域和k=-0.1時(shí)轉(zhuǎn)換為的整體較小區(qū)域。

圖4 典型模型

通過(guò)上述圖像可明顯看出在典型畸變校正模型中，當(dāng)k＜0時(shí)，會(huì)導(dǎo)致整個(gè)圖像區(qū)域整體縮放，類似于鏡頭失真的桶形畸變；而k＞0時(shí)，會(huì)導(dǎo)致整個(gè)圖像區(qū)域的整體放大，類似于鏡頭失真的枕形畸變。

而我們知道圖像在縮放的過(guò)程中，都有可能導(dǎo)致圖像分辨率的缺失，縮放必然伴隨著對(duì)原圖像的重采樣，在重采樣的過(guò)程中，對(duì)于圖像會(huì)造成一些不可必要的損失，導(dǎo)致最后得到的校正后圖像，雖然在肉眼上看來(lái)，沒(méi)有太大的區(qū)別，但圖像中的一些關(guān)鍵像素已經(jīng)產(chǎn)生不可逆的缺失。同時(shí)，在很多畸變校正過(guò)程中，都不會(huì)考慮到諸如混疊等影響的產(chǎn)生，這些影響其實(shí)已經(jīng)對(duì)圖像產(chǎn)生了二次畸變，如果影響不大，還可以根據(jù)應(yīng)用情況進(jìn)行一定的忽略，但是如果得到的校正圖像產(chǎn)生了明顯的混疊，應(yīng)該考慮消除其帶來(lái)的錯(cuò)誤影響。

2.2 新模型

另一種提出的新模型為下面的等式，它相對(duì)于典型模型具有更好地適應(yīng)縮放的特性，也是在無(wú)窮級(jí)數(shù)取一階的情況下討論：

同典型模型，我們也在區(qū)域[-1,1]×[-1,1]上先建立邊長(zhǎng)為2的正方形作為參照，然后對(duì)比模型轉(zhuǎn)換后的結(jié)果，仍取k=0.1和k=-0.1時(shí)作為比較。

圖5 新模型

使用新的模型，可以看到相對(duì)于典型模型，與原正方形的改變更小，現(xiàn)在是十字形方向上的坐標(biāo)相對(duì)于原圖像都不會(huì)進(jìn)行改變，這也就更加有利于對(duì)圖像畸變的校正，同時(shí)可能產(chǎn)生的混疊也會(huì)更小，方便后續(xù)的校正優(yōu)化，以得到更好的校正效果。

3 結(jié)語(yǔ)

關(guān)于圖像由于鏡頭畸變導(dǎo)致的問(wèn)題，在計(jì)算機(jī)圖像處理、計(jì)算機(jī)視覺(jué)、圖像匹配等研究領(lǐng)域中，都是廣泛存在的問(wèn)題，業(yè)內(nèi)也提出了針對(duì)于特定情況下的畸變校正，但不同的圖像情況，涉及的畸變情況千變?nèi)f化，并沒(méi)有一個(gè)針對(duì)全部畸變情況的處理方法。本文介紹了兩種畸變校正的模型，一種是通用的模型，基本的校正都是根據(jù)此模型進(jìn)行分析，但其具有一定的弊端；第二種有一定的優(yōu)化效果，在某些圖像處理中具有實(shí)際的應(yīng)用意義。最后本文給出自適應(yīng)性卷積，針對(duì)圖像畸變校正過(guò)程中大多都會(huì)忽略的混疊問(wèn)題，通過(guò)卷積操作，實(shí)現(xiàn)抗混疊的效果，這對(duì)于畸變校正的有效性提供了幫助，讓校正的效果能夠變得更好，不會(huì)造成二次的畸變。