基于DM6437的逆投影變換技術(shù)

胡坤福++高虹++范曉娟++段海艷++羅文廣

摘 要：為了實(shí)現(xiàn)基于DM6437的鳥(niǎo)瞰變換，文中提出了一種通過(guò)逆投影變換結(jié)合映射查表的方法來(lái)完成從透視圖像到俯視圖像的實(shí)時(shí)變換方法。首先，針對(duì)廣角攝像頭采集到的圖像進(jìn)行畸變校正；然后建立圖像坐標(biāo)系到世界坐標(biāo)系下坐標(biāo)點(diǎn)的映射關(guān)系，并進(jìn)行逆投影變換；最后，利用上述映射關(guān)系獲取整幅圖像的映射表格，進(jìn)而采用映射查表的方法得到實(shí)時(shí)的俯視圖像。通過(guò)實(shí)驗(yàn)結(jié)果表明，該方法實(shí)時(shí)獲取的俯視效果圖像可基本滿足實(shí)際應(yīng)用需求。

關(guān)鍵詞：DM6437；逆投影變換；圖像畸變校正；查表法

中圖分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2017）07-00-03

0 引 言

隨著我國(guó)經(jīng)濟(jì)的快速發(fā)展，人民生活水平穩(wěn)步上升，汽車(chē)逐漸成為了人們?nèi)粘３鲂械闹匾煌üぞ?。然而，?jù)國(guó)家統(tǒng)計(jì)局的不完全統(tǒng)計(jì)，我國(guó)每年約有幾萬(wàn)人死于交通事故，其中，部分事故的發(fā)生是由于駕駛?cè)藛T的不恰當(dāng)泊車(chē)導(dǎo)致的。因此，如何安全泊車(chē)成為了一個(gè)熱點(diǎn)問(wèn)題。

近年來(lái)，全景環(huán)視系統(tǒng)為該問(wèn)題的解決提供了一個(gè)很好的方案?；谇度胧狡脚_(tái)，對(duì)關(guān)鍵技術(shù)的研究如圖像畸變校正、逆投影變換等，是實(shí)現(xiàn)全景環(huán)視系統(tǒng)的關(guān)鍵步驟。LinBo Luo等人提出了一種基于軟硬件相互協(xié)作的方式來(lái)實(shí)時(shí)獲取全景鳥(niǎo)瞰圖的方法[1]，該方法能夠快速估算出單應(yīng)性矩陣H并完成視圖轉(zhuǎn)換[2]；SungRyull Sohn等人考慮到駕駛?cè)藛T的主要視線聚焦在前方[3]，容易忽略后方及左右方向，因此提出在車(chē)身左右、后方安裝3個(gè)攝像頭，完成從透視圖到無(wú)盲點(diǎn)的鳥(niǎo)瞰圖的轉(zhuǎn)換，并利用矩陣映射[4]表來(lái)達(dá)到滿足視頻實(shí)時(shí)性的效果；Daiming Zhang等人提到了一種基于消失點(diǎn)的自動(dòng)逆投影變換算法[5]，適用于上坡、下坡等路況。針對(duì)大客車(chē)體積大、盲區(qū)多等特點(diǎn)，遲瑞娟等人提出了一種在折反射魚(yú)眼相機(jī)模型基礎(chǔ)上[6]，加上標(biāo)定棋盤(pán)平面與地面映射，采用抬高的棋盤(pán)進(jìn)行計(jì)算標(biāo)定的方法；吳永祺等人采用基于空間坐標(biāo)系的轉(zhuǎn)換方法完成投影變換[7]，該方法簡(jiǎn)單，易于實(shí)現(xiàn)；吳貫亮等人通過(guò)建立球面坐標(biāo)系與空間坐標(biāo)系的關(guān)系來(lái)實(shí)現(xiàn)超廣角鏡頭的畸變校正[8]；利用球面模型的經(jīng)緯映射法也可實(shí)現(xiàn)超廣角或魚(yú)眼攝像頭的畸變校正[9，10]。

綜上所述，本文將由以下4個(gè)部分組成：

（1）基于DM6437硬件平臺(tái)，實(shí)現(xiàn)基本圖像輸入輸出功能；

（2）針對(duì)由廣角攝像頭采集到的圖像進(jìn)行畸變校正；

（3）利用已獲得畸變校正圖像進(jìn)行逆投影變換，并采用線性插值的方法獲取完整的俯視圖像；

（4）基于DM6437，利用映射查表的方法，實(shí)現(xiàn)從透視圖像到俯視圖像的實(shí)時(shí)變換。

1 圖像采集

視頻圖像是由CCD攝像機(jī)采集[11]，通過(guò)視頻解碼芯片TVP5158將采集到的模擬信號(hào)轉(zhuǎn)換為YUV格式的數(shù)字信號(hào)，進(jìn)而送入DM6437視頻處理子系統(tǒng)VPSS進(jìn)行處理，然后以模擬視頻信號(hào)輸出，并由LED顯示屏顯示。

2 圖像畸變校正

鏡頭畸變主要分為徑向畸變與切向畸變，通常徑向畸變比切向畸變更明顯。因此在實(shí)際工作中主要考慮徑向畸變。研究發(fā)現(xiàn)，采用多項(xiàng)式變形技術(shù)以及線性插值方法可有效實(shí)現(xiàn)圖像的畸變校正。

在實(shí)際圖像畸變校正過(guò)程中，通常選用一幅無(wú)畸變的圖像作為基準(zhǔn)，設(shè)像素坐標(biāo)系下[12]基準(zhǔn)圖像坐標(biāo)為（u，v），畸變圖像坐標(biāo)為（u0，v0），利用重采樣成圖法建立二維多項(xiàng)式模型[13]：

（1）

式中，n為多項(xiàng)式系數(shù)，一般取n=2可達(dá)到較好的效果；aij及bij為各項(xiàng)系數(shù)；令基準(zhǔn)圖像I（u，v）和畸變圖像為I0（u0， v0），然而，對(duì)應(yīng)圖像中同一個(gè)點(diǎn)，應(yīng)滿足其灰度值不變特性：

I（u，v）=I0（u0， v0） （2）

式（2）是實(shí)現(xiàn)圖像畸變校正的基本公式。

3 逆投影變換

完成世界坐標(biāo)系XO1Y到圖像坐標(biāo)系XO'Y的轉(zhuǎn)換是實(shí)現(xiàn)逆投影變換的關(guān)鍵。本文將針對(duì)圖像畸變校正得到的圖像進(jìn)行逆投影變換，其具體方法如下：

（1）首先建立圖像坐標(biāo)系到世界坐標(biāo)的映射關(guān)系。圖1（a）所示為路面坐標(biāo)系下由A-B-C-D所圍成的圖像，透過(guò)攝像機(jī)光心O，成像于圖1（b）所示的圖像坐標(biāo)系下圍成的圖像A'-B'-C'-D'，同理，點(diǎn)J-K-E-F對(duì)應(yīng)于點(diǎn)J'-K'-E'-F'。利用小孔成像的空間幾何模型[7]來(lái)建立圖像坐標(biāo)系到世界坐標(biāo)系的數(shù)學(xué)關(guān)系[14]：

（3）

式中，（Px，Py）為世界坐標(biāo)系下的一點(diǎn)，（Px'，Py'）為對(duì)應(yīng)的圖像坐標(biāo)系下的點(diǎn)，h為攝像頭安裝高度；H為圖像縱向像素大小；W為圖像橫向像素大??；2α為攝像機(jī)垂直方向視角；2β為攝像機(jī)水平方向視角；γ為攝像視圖最近點(diǎn)與豎直方向的夾角。

（2）建立原始圖像I到俯視圖像If的映射關(guān)系。如圖1所示，設(shè)攝像頭獲取路面圖像區(qū)域A-B-C-D，通過(guò)坐標(biāo)系XO1Y的原點(diǎn)O1的線段|JK|=S，|EF|=T（m）對(duì)應(yīng)于圖像坐標(biāo)系XO'Y下的線段|J'K'|=s，|E'F'|=t （像素）；可計(jì)算出俯視圖像區(qū)域A'-B'-C0-D0中每一個(gè)像素點(diǎn)與其代表實(shí)際距離的比例：橫向比例為S/s，縱向比例為T(mén)/t；可通過(guò)上述關(guān)系求解出路面坐標(biāo)系下的點(diǎn)（Px，Py）與俯視圖像上的點(diǎn)（uf， vf）的對(duì)應(yīng)關(guān)系：

（4）

由于像素坐標(biāo)系uOuvv的坐標(biāo)原點(diǎn)Ouv在圖像的左上角，而圖像坐標(biāo)系XO'Y的原點(diǎn)在圖像中心，如圖1（b）所示，因此需建立上述兩坐標(biāo)系之間的關(guān)系：

（5）

綜合（3）～（5）式可建立圖像I（u， v）到俯視圖像坐標(biāo)If（uf， vf）的映射關(guān)系：

（6）

式中，R為If→I的非線性映射關(guān)系。

（3）利用（6）式求得待插值點(diǎn)（uf， vf）在圖像I中所對(duì)應(yīng)的坐標(biāo)為（u'， v'），由于（u'， v'）不一定為整數(shù)，本文將選用雙線性插值法進(jìn)行插值計(jì)算[15]。其中，坐標(biāo)點(diǎn)（u'， v'）應(yīng)落在點(diǎn)（u， v）、（u+1， v）、（u， v+1）及（u+1， v+1）所包圍的區(qū)域內(nèi)。因此，具體插值方法如下：

（7）

式中，a=u'-u0，b=v'-v0。

（a）路面坐標(biāo)系下由A-B-C-D圍成的圖像

（b）成像圖

圖1 世界坐標(biāo)系與圖像坐標(biāo)

4 基于DM6437的逆投影變換實(shí)時(shí)性處理

實(shí)現(xiàn)從透視圖像到俯視圖像的實(shí)時(shí)變換是完成逆投影變換的核心問(wèn)題，因此本文將通過(guò)映射查表的方法來(lái)實(shí)現(xiàn)。首先，確定DM6437視頻處理前端所接收的視頻圖像序列類(lèi)型及存儲(chǔ)格式；然后從該圖像序列中找出亮度信號(hào)Y，并確定其在一幀圖像數(shù)據(jù)中的位置，進(jìn)而建立Y的位置信息與圖像坐標(biāo)（u， v）的關(guān)系；最后根據(jù)式（3）～（6）確定Y的位置信息與圖像坐標(biāo)（uf， vf）的關(guān)系，從而建立相應(yīng)的映射表格，并進(jìn)行實(shí)時(shí)的鳥(niǎo)瞰變換。

4.1 視頻圖像序列

本視頻圖像序列采用YCbCr4∶2∶2的視頻流格式。YCbCr是在世界數(shù)字組織視頻標(biāo)準(zhǔn)研制過(guò)程中作為ITU-R BT1601建議的一部分，是YUV經(jīng)過(guò)縮放和偏移的結(jié)果，其中Cb為藍(lán)色色差，Cr為紅色色差。YCbCr4∶2∶2每個(gè)色差信道的抽樣率是亮度信道的一半，所以水平方向的色度抽樣率為4∶4∶4的一半。在DM6437中，Y和CbCr平均各占用一個(gè)字節(jié)，那么YCbCr平均共占用兩個(gè)字節(jié)。由于像素字節(jié)存儲(chǔ)方式采用小端模式，即先進(jìn)入處理的字節(jié)為亮度信號(hào)Y，然后是色度信號(hào)CbCr，像素字節(jié)的存儲(chǔ)方式見(jiàn)表1所列。

在實(shí)際應(yīng)用中，有效提取并轉(zhuǎn)換Y信號(hào)是實(shí)現(xiàn)逆投影變換的關(guān)鍵。

4.2 Y信號(hào)提取

由于視頻幀是一個(gè)一維序列，且輸入的奇數(shù)位數(shù)據(jù)是Y信號(hào)。因此，為實(shí)現(xiàn)對(duì)亮度信號(hào)Y的逆投影轉(zhuǎn)換，則需進(jìn)行Y信號(hào)提取，并將亮度信號(hào)Y的位置信息l轉(zhuǎn)換為圖像坐標(biāo)（u， v）。

根據(jù)表2，通過(guò)數(shù)學(xué)歸納法可建立關(guān)系：

src（u， v）=src（（W-1）·2v+2（u+v）+1） （8）

式中，src是存儲(chǔ)視頻幀圖像數(shù)據(jù)的數(shù)組，（8）式可提取亮度信號(hào)Y的位置信息，并以圖像坐標(biāo)（u， v）的形式表達(dá)。

同理，可根據(jù)表1確定色度信號(hào)CbCr與圖像坐標(biāo)（u， v）的關(guān)系：

src（u， v）=src（（W-1）·2u+2（u+v）） （9）

4.3 建立映射表

從公式（3）～（5）可發(fā)現(xiàn)，逆投影變換中含有大量三角函數(shù)、乘除、開(kāi)方以及循環(huán)迭代計(jì)算，在實(shí)際應(yīng)用中，利用公式計(jì)算顯然無(wú)法滿足視頻實(shí)時(shí)性的要求，因此需建立從俯視圖像坐標(biāo)（uf， vf）到原始圖像坐標(biāo)（u，v）的映射表格，通過(guò)查表法可實(shí)現(xiàn)實(shí)時(shí)的逆投影變換。

通過(guò)式（3）～（9），利用Matlab完成從俯視圖像到原始圖像的映射表格，部分映射表見(jiàn)表3所列。

如表3所示，將原始坐標(biāo)點(diǎn)（49，256）的像素灰度值賦給俯視坐標(biāo)點(diǎn)（68，272）所在的內(nèi)存空間，通過(guò)不斷的循環(huán)賦值，可完成整幅鳥(niǎo)瞰圖的實(shí)時(shí)變換。

5 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)所采用的硬件平臺(tái)為DM6437一套，廣角攝像頭一套，液晶顯示器一臺(tái)。硬件平臺(tái)及算法框圖如圖2所示。

同時(shí)，本實(shí)驗(yàn)攝像機(jī)標(biāo)定及實(shí)驗(yàn)參數(shù)見(jiàn)表4所列[16]。

利用圖2所示的硬件平臺(tái)及表4所列的實(shí)驗(yàn)參數(shù)可進(jìn)行相關(guān)實(shí)驗(yàn)測(cè)試。圖3（a）是通過(guò)廣角攝像頭采集到的原始畸變圖像，圖3（b）是通過(guò)畸變校正得到的圖像，圖3（c）是經(jīng)過(guò)圖像畸變校正后，利用逆投影變換生成的俯視圖。從圖3可以看出，本實(shí)驗(yàn)可較好地實(shí)現(xiàn)從透視圖像到俯視圖像的變換。

同時(shí)，為表明映射查表法的有效性，利用原始公式計(jì)算已無(wú)法滿足實(shí)時(shí)鳥(niǎo)瞰變換的要求，但通過(guò)映射查表的方法可實(shí)現(xiàn)從透視圖像到俯視圖像的實(shí)時(shí)變換。實(shí)時(shí)性對(duì)此見(jiàn)表5所列。

（a）通過(guò)廣角攝像頭采集的原始畸變圖像

（b）通過(guò)畸變校正得到的圖像

（c）經(jīng)過(guò)圖像畸變校正后，利用逆投影變換生成的俯視圖

圖3 實(shí)驗(yàn)結(jié)果圖

表5 實(shí)時(shí)性對(duì)比

方法 原始公式法 映射查表法

幀率（fps） 0.05 20

6 結(jié) 語(yǔ)

本文建立了基于DM6437逆投影變換技術(shù)的硬件平臺(tái)，實(shí)現(xiàn)了圖像采集、圖像畸變校正，逆投影變換以及完成逆投影變換的實(shí)時(shí)性處理方法，并通過(guò)實(shí)驗(yàn)結(jié)果表明了其算法的可行性及有效性。

本文的不足之處及下階段研究工作仍需改進(jìn)的地方：

（1） 由于本文使用經(jīng)典攝像機(jī)標(biāo)定方法，在面對(duì)具有一定坡度的路況時(shí)，其逆投影變換的效果并不理想，因此，后期仍需針對(duì)攝像機(jī)標(biāo)定方法做更深入的研究；

（2）下階段將繼續(xù)完成基于DM6437的四路圖像融合算法研究。

參考文獻(xiàn)

[1] Luo L， Koh I， Park S Y， et al. A software-hardware cooperative implementation of bird's-eye view system for camera-on-vehicle[C].Network Infrastructure and Digital Content， 2009. IC-NIDC 2009. IEEE International Conference on. IEEE， 2009

[2] 丁鑫.全景視覺(jué)泊車(chē)輔助系統(tǒng)研究[D].杭州：浙江大學(xué)， 2010.

[3] Li W， Qu F， Wang Y， et al. A fast vehicle top-view system[C].International Conference on Systems and Informatics. IEEE， 2014.

[4] Sohn S R， Lee H， Jung H， et al. High-definition video-based multi-channel top-view vehicle surrounding monitoring system for mobile navigation devices[C].IEEE International Conference on Consumer Electronics. IEEE， 2013.

[5] Zhang D， Fang B， Yang W， et al. Robust inverse perspective mapping based on vanishing point[C]. International Conference on Security， Pattern Analysis， and Cybernetics. IEEE， 2014.

[6] 遲瑞娟，趙木禎，王建強(qiáng)，等.一種基于折反射像機(jī)的客車(chē)全景環(huán)視系統(tǒng)[J].哈爾濱工程大學(xué)學(xué)報(bào)，2013，34（2）：190-196.

[7] 吳永祺.基于全景視覺(jué)的汽車(chē)安全駕駛輔助系統(tǒng)的設(shè)計(jì)研究[D].廣州：華南理工大學(xué)，2014.

[8] 吳貫亮.基于多路攝像頭的二維環(huán)視圖生成方法研究與實(shí)現(xiàn)[D].長(zhǎng)春：吉林大學(xué)，2014.

[9] 湯旭濤.廣角攝像頭視頻圖像實(shí)時(shí)校正系統(tǒng)設(shè)計(jì)[D].上海：華東師范大學(xué)，2010.

[10]王俊杰，徐小剛，胡運(yùn)發(fā)，等.魚(yú)眼投影在虛擬實(shí)景中的應(yīng)用研究[J].小型微型計(jì)算機(jī)系統(tǒng)，2004，25（2）：287-290.

[11]黃訓(xùn)良.基于DSP/BIOS的多路視頻采集系統(tǒng)的設(shè)計(jì)[D].廣州：華南理工大學(xué)， 2013.

[12]賀忠海，王寶光，廖怡白.理想邊緣產(chǎn)生方法的研究[J].光學(xué)精密工程， 2002， 10（1）：89-93.

[13]吳開(kāi)興，段馬麗，張惠民，等.廣角圖像畸變校正算法的研究與實(shí)現(xiàn)[J]. 計(jì)算機(jī)應(yīng)用與軟件， 2014（11）：237-240.

[14]徐友春.基于機(jī)器視覺(jué)的汽車(chē)主動(dòng)安全技術(shù)的研究[D].北京：清華大學(xué)， 2003.

[15]王平，全吉成，趙柏宇.基于雙線性插值的圖像縮放在GPU上的實(shí)現(xiàn)[J].微電子學(xué)與計(jì)算機(jī)，2016， 33（11）：129-132.

[16]張夢(mèng)洋，秦瑞康，李福東，等.基于改進(jìn)遺傳算法的單目相機(jī)標(biāo)定[J].人工智能與機(jī)器人研究， 2016，5（3）：53-62.