基于畸變矩陣的影像畸變差改正

朱桂海 蔣紅兵 蒙印

?

基于畸變矩陣的影像畸變差改正

朱桂海 蔣紅兵 蒙印

（四川省遙感信息測繪院 四川成都 610100）

針對已有的影像畸變差改正程序中存在每張影像分別進行迭代計算的問題，提出了基于畸變矩陣的影像畸變差改正方法。新方法首先利用影像行列數(shù)、相機內(nèi)方位元素與畸變參數(shù)，計算影像畸變矩陣；然后，利用該畸變矩陣對多張航空影像進行畸變差改正。新方法克服了間接法影像畸變差改正算法的逐像素迭代計算的缺點，大大降低了影像畸變差改正的平均計算量?；贑PU/GPU的影像畸變差改正試驗，證明本文提出的方法降低了影像畸變差改正的計算復(fù)雜度，提高了影像畸變差改速度，在無人機影像快速處理中具有一定的實用價值。

畸變差改正 畸變矩陣 間接法 GPU

1 引言

目前，國內(nèi)一些主要的攝影測量處理軟件大都針對量測型相機設(shè)計的，在處理普通數(shù)碼相機影像時，需要在空三平差前對影像進行畸變差改正[1-4]。已有的影像畸變差改正方法，主要分為三種形式：（1）基于CPU的逐像素串行計算；（2）基于CPU的多像素并行計算；（3）基于GPU的多個像素并行計算[1]。相對于方式（1），方式（2）能夠充分利用CPU的多核計算，提高計算速度；相對方式（2），方式（1）能夠充分利用GPU的超線程加速計算，提高計算速度。但是，方式（1）、（2）、（3）在處理多張影像時，需要對每張影像中的每個像素進行迭代計算，沒有考慮多張影像畸變的一致性，造成了巨大的額外計算，影響了畸變差改正的速度。

近年，隨著計算機軟硬件的快速發(fā)展，64位處理器、64位系統(tǒng)、32G或更高內(nèi)存已成為工作站的標準配置。開發(fā)64程序不僅可以提高運算速度，而且能夠以“空間換時間”方式優(yōu)化已有算法，減少計算量?？紤]到，航空攝影中，同一架次飛行所獲取的影像具有相同的內(nèi)方位元素與畸變參數(shù)[5-7]，本文提出了一種基于影像畸變矩陣的影像畸變差改正方法。該方法將影像畸變差改正與雙線性差值分離，即首先根據(jù)影像的內(nèi)方位元素與畸變參數(shù)計算影像畸變矩陣，然后利用影像畸變矩陣對每張影像進行雙線性差值。利用本文方法進行多張影像畸變差改正處理時，能夠降低每張影像平均迭代計算量，提高影像畸變差改正速度。

2 影像畸變差改正方法與處理流程

目前，已有攝影測量處理軟件大都采用如圖1所示的影像畸變差改正流程[2, 3]。該處理流程，針對每張航空影像中的每個像素計算其畸變改正量，并沒有對同一測區(qū)的多幅影像做任何優(yōu)化處理，存在冗余計算的問題。

圖1：傳統(tǒng)的影像畸變差改正處理流程

2.1 基于畸變矩陣的影像畸變差改正處理流程

針對傳統(tǒng)的影像畸變差改正處理流程存在的問題，本文提出了基于畸變矩陣的影像畸變差改正方法，其處理流程如圖2所示。

2.1.1 計算量分析

對于N幅影像，影像行列數(shù)為m * n，假設(shè)每個像素平均需要迭代t次，則傳統(tǒng)的影像畸變差改正方法總共需要N*m*n*t次運算，平均每張影像所用的運算次數(shù)為m*n*t；而本文提出的影像畸變差改正實現(xiàn)方法，總共需要m*n*t次運算，平均每張影像所用的時間為m*n*t/N次運算。即，本文提出的影像畸變差改正算法所需要的計算量為傳統(tǒng)算法的1/N。當N為1時，本文方法的計算量與傳統(tǒng)方法的計算量一致；當N大于1時，本文方法的計算量為傳統(tǒng)方法的計算量的1/N；當N趨近于無窮大時，本文提出的實現(xiàn)方法計算量趨近于0。即當需要處理的影像數(shù)量很大時，影像畸變差改正需要的計算量趨近于0，每張影像的進行影像畸變差改正處理的總計算量趨近于雙線性差值所需要的計算量。

圖2：本文提出的影像畸變差改正處理流程

圖3：平均單張影像畸變差改正計算量

根據(jù)圖3，可知基于影像畸變矩陣的影像畸變差改正算法，單幅影像畸變差改正的計算量，隨著影像數(shù)目的增大而減少。

2.1.2 內(nèi)存分析

對于行列數(shù)為m×n的影像，本文處理流程需要大小為2×m×n×4字節(jié)的內(nèi)存空間，存儲畸變矩陣matrix_y（m×n）與matrix_x（m×n）。

3 試驗與分析

3.1 試驗數(shù)據(jù)與軟硬環(huán)境

本文選擇了32張分辨率為5616×3744的無人機影像作為實驗數(shù)據(jù)。

本文所涉及的多種影像畸變差方式均在VC++2013中進行編碼，并在配置為Intel? Xeon? 2.5GHz、32GB、NVIDIA Quadro K2000的工作站中運行。

3.2 試驗結(jié)果

式中：pti0為虛擬節(jié)點，表示部件任務(wù)ti∈PartTask開始時的初始狀態(tài)；pti為處理步驟的集合，即按順序排列的已完工工序任務(wù)的集合；ptij∈ProcedureTask(1≤i≤n,1≤j≤k)表示部件任務(wù)ti下屬的某個已完工工序任務(wù)，視為數(shù)據(jù)世系DLti的一個處理步驟，也稱為DLti的一條記錄。

圖4：平均單幅影像處理所需時間

圖5：平均單幅影像處理加速比

本文編制64位程序，分別實現(xiàn)第一小節(jié)中的影像畸變差改正方式（1）、（2）、（3），統(tǒng)計本文方法與傳統(tǒng)方法畸變差改正所用時間，并計算本文方法相對于傳統(tǒng)方法的加速比，如圖5所示。方式（2），本文使用微軟并行計算庫PPL[8]；方式（3）本文使用微軟C++ AMP計算庫[8, 9]。

3.3 試驗分析

從圖4與圖5可以得出以下結(jié)論：

3.3.1 利用CPU串行實現(xiàn)本文方法

本文提出的方法能夠隨著需要處理的影像數(shù)的增大而更突顯優(yōu)勢；當需要處理的影像數(shù)增大到一定程度后，本文提出的算法的加速比趨于穩(wěn)定，即2.2倍。

3.3.2 利用CPU并行實本文方法

本文提出的方法相對于傳統(tǒng)方法的加速比，隨著需要處理的影像數(shù)的增大而增大；當待處理的影像數(shù)增大到一定程度后，本文提出的算法的加速比趨于穩(wěn)定，即2倍。

本文提出的方法相對于傳統(tǒng)方法的加速比，隨著影像數(shù)的增大而趨于增大；但是加速比小于1.0，即本文提出的方法在進行使用GPU進行實現(xiàn)時，算法的計算量降低了，但用時卻增加了。

影像畸變差改正方式（1）與（2）與第二小節(jié)中的理論推理一致，但是（3）與理論推導(dǎo)不一致。利用GPU并行實現(xiàn)新方法時，需要開辟2×m×n×4字節(jié)大小的內(nèi)存，存儲畸變矩陣。但由于本文的畸變矩陣的計算是在GPU中實現(xiàn)，需要2次內(nèi)存與顯存之間的數(shù)據(jù)交換，此外，在利用畸變矩陣，對每張影像進行畸變差改正的過程中，需要每次將畸變矩陣載入顯存。相對于傳統(tǒng)的方法，本文方法在處理N幅影像時，需要多進行N+2次內(nèi)存與顯存之間的數(shù)據(jù)交換，共計需要（N+2）×（2×m×n×4）字節(jié)的數(shù)據(jù)交換。一般情況下，顯存與內(nèi)存之間的數(shù)據(jù)交換速度比內(nèi)存數(shù)據(jù)存取速度慢的多[9]。因此，在利用GPU并行實現(xiàn)本文方法時，得到如圖5所示的結(jié)果。將畸變矩陣保存在顯存中，減少內(nèi)存與顯存之間的數(shù)據(jù)交換次數(shù)，將能顯著地提高方式(3)的計算速度。

4 結(jié)束語

本文提出了一種基于畸變矩陣的影像畸變差改正實現(xiàn)方法，并通過編程對其進行實現(xiàn)。試驗證明，本文提出的影像畸變差改正實現(xiàn)方法，能夠降低影像畸變差改正的計算量，提高影像畸變差改正的處理速度，在對處理速度要求較高的應(yīng)急無人機影像快速處理中具有一定的實用價值。如何減少內(nèi)存與顯存的交換次數(shù)，以提高基于GPU并行的影像畸變差改正加速比，需要進一步研究。

[1] 詹總謙，盧亮.基于GPU并行處理技術(shù)的影像畸變差修正[J].測繪信息與工程，2011(02)：1-3.

[2] 李德龍.基于CUDA的無人機影像快速并行處理算法研究[D].北京：北京建筑大學，2013.

[3] 王愷.數(shù)字攝影測量影像數(shù)據(jù)的GPU并行處理研究[D].蘭州：蘭州交通大學，2013.

[4] 張劍清，柯濤，孫明偉，等.并行計算在航空攝影測量中的應(yīng)用與實現(xiàn)——數(shù)字攝影測量網(wǎng)格(DPGrid)并行計算技術(shù)研究[J].測繪通報，2008(12)：11-14.

[5] 李天子，郭輝.非量測數(shù)碼相機的影像糾正[J].測繪通報，2006(10)：59-61.

[6] 王樹根，張劍清，潘勵.攝影測量學[M].武漢:武漢大學出版社，2002：158-166.

[7] 陳新璽，李浩，張曼祺.普通數(shù)碼相機構(gòu)像畸變差兩種檢校模型的比較[J].北京測繪，2005(04).

[8]Microsoft. C++ Accelerated Massive Parallelism Overview[EB/OL]. http://msdn.microsoft.com/zh-cn/library/hh265136.aspx.

[9] 格雷戈里.C++AMP用Visual C++加速大規(guī)模并行計算[M].北京：人民郵電出版社，2014.

四川省測繪地理信息局科技支撐項目（J2014ZC04、J2015ZC04），國家測繪地理信息局科技發(fā)展計劃項目（國測科發(fā)[2014]4號）