一種靈活的柱面反投影算法

曹濟英， 陸高勇， 李 勃， 董 蓉

(1.南京大學 電子科學與工程學院，南京 210046； 2.南通大學 電子與信息學院， 江蘇 南通 226019)

?

一種靈活的柱面反投影算法

曹濟英1， 陸高勇1， 李 勃1， 董 蓉2

(1.南京大學 電子科學與工程學院，南京 210046； 2.南通大學 電子與信息學院， 江蘇 南通 226019)

傳統(tǒng)柱面圖像反投影算法依賴于圓柱模型以及標定的精度，且物距發(fā)生變化時模型將會失效，需要重新進行標定，過程繁瑣，場景適應性不足. 為此，提出一種靈活的柱面圖像反投影算法. 根據(jù)透視投影原理，像素當量隨距離遠近呈二次曲線分布，因此可以通過擬合二次曲線表征其成像特性，對豎直方向和水平方向分別進行處理，進而實現(xiàn)柱面圖像反投影變換. 當目標物體相對相機發(fā)生前后方向和左右方向位移時，通過修正二次曲線的系數(shù)適應其成像特性的改變，無需再次標定. 實驗結(jié)果表明，該算法精度與傳統(tǒng)方法相當，且在左右移動、一定縮放范圍內(nèi)保持精度不變. 本文算法僅需一次標定即可滿足目標物體小范圍內(nèi)移動時的圖像變換需求，提高了場景適應性.

柱面反投影；二次曲線；成像特性；標定；小范圍移動

食品行業(yè)的很多包裝都是圓柱體，如食用油油桶、桶裝飲用水和奶粉罐等. 這樣的產(chǎn)品沒有棱角，易于手握，且同等條件下，圓柱可以獲得最大的有效容積. 雖然圓柱體包裝給加工帶來了種種便利，但是對圓柱表面的視覺檢測卻造成了很大的困難. 如標貼檢測時，柱面成像導致的圖像失真使直線特征難以提取，以及二維碼掃描問題等. 因此，柱面圖像反投影變換技術對此類檢測意義重大.

目前關于柱面反投影算法主要應用于二維碼的扭曲形變校正以及平面顯示設備顯示柱面全景圖. 對于二維碼扭曲校正，最常見的方法是多項式擬合[1-2]，雖然理論上任何變換都可由多項式的泰勒展開式表示，但高階多項式插值中常出現(xiàn)不穩(wěn)定的現(xiàn)象. 王偉等[3-7]采用基于相機標定的空間幾何信息與圖像信息相結(jié)合的柱面二維碼扭曲校正方法，但此方法要求相機與目標物體的位置嚴格地相對固定. 對于平面顯示柱面全景圖，肖瀟等[8-14]提出了用傳統(tǒng)柱面反變換模型來解決全景環(huán)形透鏡情況，同樣不適用于前后左右移動的柱面圖像. BaoFeng Zhang等[15]利用棋盤格校正魚眼全景圖像，但需要提前知道棋盤格的規(guī)格，且不能移動，精度低，靈活性弱. 以上所有的柱面反投影算法都需要固定相機以及目標物體的位置，實際應用中這個條件通常是難以滿足的，嚴重限制了流水線上各類產(chǎn)品的使用.

根據(jù)透視投影原理，圓柱截面邊為二次曲線，則柱面上的點到相機的距離呈二次曲線，因此像素當量隨距離遠近也呈二次曲線分布. 本文通過二次曲線擬合統(tǒng)一像素當量的方法實現(xiàn)柱面反投影校正,通過修正二次曲線系數(shù)的方式使其適應目標物體的一定范圍內(nèi)移動，無需再次標定，提高了校正算法的適應性和魯棒性.

1 基于二次曲線擬合的柱面反投影校正

為了實現(xiàn)柱面圖像反投影，需要事先進行標定. 這里采用棋盤格作為標定物，將事先打印好的標定紙完全貼合在需要校正的柱面上. 提取亞像素級別精度的棋盤格角點作為標定依據(jù)，研究其分布規(guī)律，如圖1所示.

圖1 待擬合特征點

圖像滿足小孔成像模型. 研究像素當量的分布情形，所謂像素當量，指的是世界坐標系中物理距離與圖像坐標系中像素距離的換算比例，其計算公式為物理長度(mm)比上像素數(shù)(pixel)，單位為mm/pixel. 根據(jù)小孔成像原理，對于貼合在圓柱表面的標定紙，每個角點到相機的距離是按二次曲線分布的，因此每個位置的像素當量同樣按二次曲線分布.

1.1 豎直方向校正

標定紙上的方格高度是一致的，按照像素當量的分布規(guī)律，圖像上從左到右的方格高度也就會呈二次曲線分布. 因此，可以通過擬合方格高度的變化情況表征像素當量倒數(shù)的分布情況. 為了保證最大程度地還原原圖信息，以圖像中最大的像素當量作為標準，即將圖像還原至離相機最近的圓柱切面.

圖1中共20個點，方格高度是呈二次曲線分布的，N0～N9、P0～P9分別表示上下兩排點(白線是為了將標注點更明了). 兩個二次曲線的差值還是二次曲線，具體待擬合點坐標為

(1)

(2)

式(2)簡寫成AX=b，用最小二乘法求解這個超定方程組[16]:

(3)

ATA是n階方陣，且是正定矩陣，必有det(ATA)>0. 故ATAX=ATb的解存在且唯一，即可求出最優(yōu)解(a0,b0,c0).

(4)

(5)

圖2 y方向像素當量倒數(shù)分布

Fig.2 Distribution of reciprocal of pixel equivalent in the y direction

1.2 水平方向校正

根據(jù)上節(jié)分析的像素當量分布的基本原理，水平方向上不同位置的像素當量數(shù)值同樣呈二次曲線分布. 由于水平方向上每一處的像素當量都不同，且與豎直方向上的像素當量分布曲線有較大區(qū)別，本文算法使用平均值來擬合像素當量的變化曲線. 已知標定紙上每個方格的寬度是一致的，不妨假設一個方格寬度內(nèi)的像素當量是恒定的，則有

(6)

(7)

用式(2)、式(3)求解上式18組待擬合點的最佳二次曲線參數(shù)(a1,b1,c1),得到水平方向上像素當量倒數(shù)的分布情況y=a1x2+b1x+c1,如圖3所示.

同理，調(diào)整x=X0軸線兩邊水平方向像素當量的大小. 需要注意的是，由于水平方向校正過程中像素點的橫坐標是不斷變化的，所以x方向不是簡單的增加橫坐標的過程，而是依賴于前一個像素點橫坐標變化的迭代增量過程，如圖4所示. 線l是簡單的增加橫坐標過程，線m是迭代增量過程.

圖3 x方向像素當量倒數(shù)分布

Fig.3 Distribution of reciprocal of pixel equivalent in the x direction

圖4 x方向拉伸示意圖

(8)

2 小范圍移動的柱面反投影校正

對于左右移動的柱面，物體到相機的距離并不發(fā)生改變，因此像素當量倒數(shù)的分布也只是左右移動，二次曲線形態(tài)不變. 如圖5中ABC→A′B′C′.

不妨設柱面向右移動Δx，即中心軸線右移Δx，則y方向二次曲線系數(shù)變?yōu)?/p>

x方向二次曲線系數(shù)變?yōu)?/p>

對于前后移動的柱面，中心軸線不變，二次曲線變化情況如圖5中ABC→A″B″C″，則y方向二次曲線系數(shù)變?yōu)?/p>

x方向二次曲線系數(shù)變?yōu)?/p>

圖5 移動柱面二次曲線圖

3 實驗結(jié)果與分析

3.1 柱面反投影校正實驗

實驗選用德國basler工業(yè)相機，對市面上常見的金龍魚油桶進行測試，圖片大小為1280像素×960像素，所有測試圖片前期均已經(jīng)通過圖像分割已知圓柱像素邊緣. 實驗一首先對貼有標定紙的油桶進行鏡頭畸變校正[17-18]，提高標定點的精度，標定點如表1所示. 根據(jù)式(1)得出y方向待擬合點坐標，如表2所示,根據(jù)式(6)、(7)得出x方向待擬合點坐標，如表3所示. 通過表2、3實驗數(shù)據(jù)進行二次曲線系數(shù)標定，如表4所示. 并用該二次曲線系數(shù)結(jié)合式(4)、(5)、(8)對原金龍魚油桶上的標貼進行反投影變換.

在金龍魚油桶上分別拍取棋盤格和油桶標貼紙的圖片，然后根據(jù)本文算法對圖片進行實驗，得到結(jié)果如圖6所示.

表1 標定板特征點坐標

表2 y方向點擬合點坐標

表3 x方向點擬合點坐標

表4 二次曲線擬合系數(shù)

圖6 反投影校正結(jié)果

從圖6不難看出，只校正了圓柱形部分，因為水平方向校正時，圓柱邊緣像素當量倒數(shù)趨向于0，如圖3中的A，B兩點，像素當量趨于無窮大，會導致圖片形變十分嚴重. 因此，本算法實現(xiàn)過程中把圓柱邊緣作為臨界點，也作為校正圖像的寬度. 這樣既保留了圓柱標貼的重要信息，也不會受到邊緣及背景的影響. 水平方向的迭代增量坐標結(jié)果與一般增量結(jié)果比較情況如表5所示. 由于一個像素與一個像素之間差別較小且量很大，表格選取了離散點的實驗結(jié)果. 迭代增量算法結(jié)果如圖6(c)所示，非迭代算法結(jié)果如圖7所示.

表5 水平方向迭代方式與非迭代方式比較

Tab.5 Comparison between iterative and non-iterative way in the x direction

原圖橫坐標迭代非迭代原圖橫坐標迭代非迭代810812.5811.19801022.9981.5831835.1832.110351117.61037.0875884.6876.210551159.31057.2895908.3896.210761209.51078.6960993.4961.410991275.61102.2

圖7 非迭代處理結(jié)果

理論上反投影算法校正后，棋盤格上的格子會校正成為正方形. 為驗證反投影實驗法的正確性，

實驗對校正后圖像上的方格測量其寬度以及高度，計算標準差：高度標準差為0.427 857，寬度標準差為1.464 46. 本文另外實現(xiàn)了與性能較好的基于柱面模型參量的二維碼校正方法[7]的對比，該算法通過柱面上點到柱面中心線旋轉(zhuǎn)的角度修正了傳統(tǒng)的柱面反投影算法，但仍需要參數(shù)D(0)：柱面表面中心到焦點的距離. 實驗結(jié)果如圖8所示,高度標準差為0.449 233，寬度標準差為1.503 25.

圖8 統(tǒng)柱面反投影修正算法結(jié)果

實驗結(jié)果很好地證明了本文算法的正確性，柱面圖像被顯著延展為平面狀態(tài)，且與其他修正算法精度相當.

3.2 移動柱面反投影效果比較

在實驗一的基礎上，設計了實驗二來驗證本文算法對于移動柱面的適應性，通過柱面左右及前后移動來驗證本文算法的靈活性并與其他方法相比較. 首先，對柱面左右移動情況進行反投影并計算校正后的寬度高度的標準差，算法結(jié)果如表6所示，Kuen-Tsair算法結(jié)果如表7所示. 基準位置為7 cm. 曲線比較如圖9所示.

表6 從左到右移動標準差變化情況—本文算法

表7 從左到右移動標準差變化情況—Kuen-Tsair算法

(a)校正后高度標準差曲線

(b)校正后寬度標準差曲線

對于前后移動情況進行反投影并計算隨尺度因子變化校正后的寬度高度的標準差，算法結(jié)果如表8所示，Kuen-Tsair算法結(jié)果如表9所示. 曲線比較如圖10所示，部分反投影效果圖如圖11所示.

表8 從前到后移動標準差變化情況—本文算法

表9 從前到后移動標準差變化情況—Kuen-Tsair算法

(a)校正后高度標準差曲線

(b)校正后寬度標準差曲線

圖11 反投影效果圖比較

從表6、表7以及圖9可以看出，本文算法左右移動高度標準差保持在0.55 像素以內(nèi)，寬度標準差保持在1.5 像素以內(nèi). Kuen算法只能在小范圍左右移動內(nèi)保持與本文算法同樣的精度. 從表8、表9和圖10可以看出,ratio在0.85～1.15之間時，本文算法高度標準差保持在0.55 像素以內(nèi)，ratio在0.9～1.08寬度標準差保持在1.55 像素以內(nèi). 而Kuen算法只能在0.95～1.04之間保持與本文算法同樣的精度. 因此，本文提出的移動柱面參數(shù)修正算法精度與其他算法相當，但靈活性更高，更適用于流水線上的應用. 實際應用如圖12所示，從圖12看出,無論前后左右移動，本文算法都能給出一個很好的反投影效果.

圖12 實際應用標貼圖算法結(jié)果

4 結(jié) 論

基于二次曲線擬合的柱面圖像反投影變換算法依托于透視投影的基本原理，在消除透鏡非線性畸變的基礎上，結(jié)合小孔成像模型“近大遠小”的特性，分析水平方向和豎直方向像素當量的分布特點，并結(jié)合圖像在兩個方向各自不同的延展方式，完成了柱面圖像反投影算法. 同時，為了突破傳統(tǒng)方法要求相機與物體相對關系嚴格固定的限制，提出一種靈活修正二次曲線系數(shù)的方法以適應物體相對相機小范圍內(nèi)移動的情形. 實驗表明，本文算法在與傳統(tǒng)方法校正效果相當?shù)那疤嵯?，適應性更好，僅需一次標定，效率更高.

[1] LAVALLEE S. Registration for computer-integrated surgery: methodology, state of the art computer-integrated surgery-technology and clinical applications[M]. Cambridge, MA:MIT Press, 1996: 77-97.

[2]雷杰, 杜歆, 朱云芳,等. 基于泰勒模型的全向圖像展開[J]. 中國圖象圖形學報, 2010, 15(10):1430-1435.DOI:10.11834/jig.080564.

LEI Jie, DU Xin, ZHU Yunfang, et al. Omni-directional image unwarping based on Taylor model[J]. Journal of Image & Graphics, 2010, 15(10):1430-1435. DOI:10.11834/jig.080564.

[3] LEI L, HE W, ZHANG W. Distortion correction of data matrix symbol directly marked on cylinder surface[C]// Artificial Intelligence and Computational Intelligence (AICI). IEEE, 2010:225-229. DOI:10.1109/AICI.2010.169.

[4]王偉, 何衛(wèi)平, 郭改放,等. 基于標定的任意半徑柱面上2維條形碼畸變校正[J]. 中國圖象圖形學報, 2014, 19(1):69-75. DOI:10.11834/jig.20140109.

WANG Wei, HE Weiping, GUO Gaifang, et al. Restoration of distorted 2D barcode marked on arbitrary radius cylinder based on calibrated camera[J]. Journal of Image & Graphics, 2014, 19(1):69-75. DOI:10.11834/jig.20140109.

[5]向世明, 趙國英, 陳睿,等. 積厚文檔掃描圖像校正[J]. 計算機輔助設計與圖形學學報, 2005, 17(1):42-48. DOI:10.3321/j.issn:1003-9775.2005.01.006.

XIANG Shiming, ZHAO Guoying, CHEN Rui, et al. Restoration of images scanned from thick bound documents[J]. Journal of Computer Aided Design & Computer Graphics, 2005, 17(1):42-48. DOI:10.3321/j.issn:1003-9775.2005.01.006.

[6] LIAO Q. The research on distortion correction algorithm of unwrapping the cylinder image of panoramic annular lens[]// Proceedings of the 2013 International Conference on Electrical and Information Technologies for Rail Transportation (EITRT2013)-Volume II. Springer , 2014:449-456. DOI:10.1007/978-3-642-53751-6_48.

[7] LAY K T, WANG L J, WANG C H. Rectification of QR-code images using the parametric cylindrical surface model[C]//Next-Generation Electronics (ISNE). IEEE, 2015. DOI:10.1109/ISNE.2015.7132033.

[8] XU Y, ZHOU Q, GONG L, et al. Study of a FPGA real-time multi-cameras cylindrical panorama video system with low latency and high performance[C]//IVMSP Workshop. 2013:1 - 4.DOI:10.1109/IVMSPW.2013.6611890.

[9]陳旺, 徐瑋, 熊志輝,等. 折反射全向圖像柱面展開校正算法研究[J]. 中國圖象圖形學報, 2009, 14(12):2559-2565. DOI:10.11834/jig.20091220.

CHEN Wang, XU Wei, XIONG Zhihui, et al. Rectification of catadioptric omnidirectional images via cylindrical unwarping. Journal of Image & Graphics, 2009, 14(12):2559-2565. DOI:10.11834/jig.20091220.

[10]WONG W K, SHENPUA W, CHU K L, et al. A study of different unwarping methods for omnidirectional imaging[C]// Signal and Image Processing Applications (ICSIPA).EEE, 2011:226-239.DOI:10.1109/ICSIPA.2011.61144083.

[11]肖瀟, 王偉, 畢凱. 柱面透視投影模型下的全景環(huán)形透鏡畸變校正[J]. 西安電子科技大學學報自然科學版, 2013, 40(1):87-92. DOI:10.3969/j.issn.1001-2400.2013.01.016.

XIAOXiao, WANG Wei, BI Kai. Panoramic annular lens distortion correction using the cylinder perspective projection model[J]. Journal of Xidian University, 2013, 40(1):87-92. DOI:10.3969/j.issn.1001-2400.2013.01.016.

[12]凌云峰, 朱齊丹, 吳自新,等. 全景視覺圖像柱面理論展開算法實現(xiàn)及其改進[J]. 應用科技, 2006, 33(9):4-6. DOI:10.3969/j.issn.1009-671X.2006.09.002.

LING Y F, ZHU Q D, Ziin, et al. Implementation and improvement of unwrapping algorithm cylindrical theory for omni-directional image[J]. Applied Science & Technology, 2006, 33(9):4-6. DOI:10.3969/j.issn.1009-671X.2006.09.002.

[13]周輝, 羅飛, 李慧娟,等. 基于柱面模型的魚眼影像校正方法的研究[J]. 計算機應用, 2008, 28(10):2664-2666.

ZHOUHui, LUO Fei, LI Huijuan, et al. Study on fisheye image correction based on cylinder model[J]. Journal of Computer Applications, 2008, 28(10):2664-2666.

[14]XU Y, ZHOU Q, GONG L, et al. High-speed simultaneous image distortion correction transformations for a multicamera cylindrical panorama real-time video system using FPGA[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2014, 24(6):1061-1069.DOI:10.1109/TCSVT.2013.2290576.

[15]ZHANG B, QI Z, ZHU J C, et al. Omnidirection image restoration based on spherical perspective projection[C]// Circuits and Systems. IEEE, 200:922-925.

[16]李寶家, 劉昊陽. 超定方程組的一種解法[J]. 沈陽工業(yè)大學學報, 2002, 24(1):76-77. DOI:10.3969/j.issn.1000-1646.2002.01.024.

LIJiabao, LIU Haoyang. A solving method of overdetermined systems[J]. Journal of Shengyang University of Technology, 2002, 24(1):76-77. DOI:10.3969/j.issn.1000-1646.2002.01.024.

[17]李勤, 達飛鵬, 溫晴川. 任意方向下的攝像機鏡頭畸變標定[J]. 儀器儀表學報, 2010, 31(9):2022-2027.

LI Qin, DAFeipeng, WEN Qingchuan. Calibration lens distortion of camera in all directions[J]. Chinese Journal of Scientific Instrument, 2010, 31(9):2022-2027.

[18]周子卿, 趙鵬, 李勃,等. 基于共線向量的非量測鏡頭畸變校正[J]. 光學學報, 2014(10):172-177. DOI:10.3788/AOS201434.1015001.

ZHOUZiqing, ZHAO Peng, LI Bo, et al. Nonmetric lens distortion calibration based on collinear vectors[J]. Acta Optica Sinica, 2014(10):172-177. DOI: 10.3788/AOS201434.1015001.

(編輯 王小唯 苗秀芝)

Flexible cylindrical back-projection algorithm

CAO Jiying1， LU Gaoyong1， LI Bo1， DONG Rong2

(1.School of Electronic Science and Engineering, Nanjing University, Nanjing 210046, China；2.School of Electronics and Information, Nantong University, Nantong 226019, Jiangsu, China)

Traditional cylindrical back-projection algorithm depends on the cylindrical model and calibration accuracy. While object distance changes, a second calibration needed. A new flexible algorithm is proposed to simplify the process and improve the scene adaptability. According to perspective projection theory, pixel equivalent is distributed by conics. The algorithm gets cylindrical imaging characteristics to realize cylindrical back-projection by means of fitting conics in the horizontal and vertical directions separately. It can adapt to the changes of imaging characteristics through amendment of conics coefficient without calibrate again, when the target object moves around relative to the camera. Experiment results show that the proposed algorithm accuracy is about normal for traditional way and remains unchanged while the target object moves around within the scope of a certain scale. The proposed algorithm meets image transformation requirements with calibration only once when the target object moves around on a small scale and scene adaptability is improved.

cylindrical back-projection; conic; imaging character; calibration; movement in small scale

10.11918/j.issn.0367-6234.2016.11.012

2016-04-08

國家自然科學基金(61401239)

曹濟英(1993—)，女，碩士研究生

李 勃, liboee@nju.edu.cn

TP391.4

A

0367-6234(2016)11-0075-08