基于坐標(biāo)變換的快速高精度圖像拼接算法

劉凌云，羅 敏，陳志楚，吳岳敏

（湖北汽車工業(yè)學(xué)院 電氣與信息工程學(xué)院，十堰 442002）

目前視覺(jué)檢測(cè)技術(shù)在工業(yè)的各個(gè)領(lǐng)域都有著廣泛的應(yīng)用，基于工件影像的幾何量測(cè)量手段和方法也得到了快速的發(fā)展，各種影像測(cè)量?jī)x層出不窮[1-5]。但對(duì)幾何尺寸的視覺(jué)測(cè)量研究主要集中在微小尺寸的檢測(cè)和測(cè)量方面[6]，對(duì)于較大零件幾何尺寸的綜合檢測(cè)，則很少采用機(jī)器視覺(jué)，其主要原因在于當(dāng)前主流CCD器件像素級(jí)相對(duì)于測(cè)量精度僅在10-3數(shù)量級(jí)，難以一次獲得大視場(chǎng)、高分辨率圖像。文獻(xiàn)[7]將圖像拼接技術(shù)應(yīng)用到大尺寸機(jī)械零件的視覺(jué)測(cè)量中，但所提出的測(cè)量方法也僅僅適用于表面具有條形紋理的機(jī)械零件。文獻(xiàn)[8]中嘗試將位姿變換方法應(yīng)用到圖像拼接算法實(shí)現(xiàn)圖像之間的精確配準(zhǔn)，但該算法中序列圖像焦平面映射的數(shù)學(xué)模型較為復(fù)雜，映射變換時(shí)間開(kāi)銷較大。

本文在文獻(xiàn)[8]的基礎(chǔ)上，借助改進(jìn)的攝像機(jī)標(biāo)定方法對(duì)攝像機(jī)的位姿進(jìn)行調(diào)整找正，提出了一種基于向后映射的圖像歸一化焦平面重采樣算法以實(shí)現(xiàn)像素點(diǎn)的等精度映射及消除影像畸變，同時(shí)通過(guò)合理規(guī)劃攝像機(jī)移位采像的運(yùn)動(dòng)軌跡，提出了一種基于坐標(biāo)變換的快速高精度圖像配準(zhǔn)算法，用以解決光學(xué)測(cè)量系統(tǒng)視場(chǎng)大小與測(cè)量精度的矛盾問(wèn)題。

1 基于后向映射的圖像歸一化焦平面重采樣算法

為了保證測(cè)量平面上的物面成像清晰且等精度成像，在攝像機(jī)采像時(shí)要求其光軸與測(cè)量平面保持垂直，并且采用與測(cè)量平面（Zw=0）平行的歸一化焦平面（即無(wú)畸變虛擬攝像機(jī)的成像平面）作為投影平面，將實(shí)際成像平面上的圖像映射到投影平面上，如圖1所示。

圖1 圖像無(wú)畸變焦平面投影的數(shù)學(xué)模型Fig.1 Mathematical model of undistorted imagging mapping to focal plane

假設(shè)世界坐標(biāo)系｛W｝的XW/YW軸位于測(cè)量平面上，坐標(biāo)原點(diǎn)OW為攝像機(jī)坐標(biāo)系｛C｝的Z軸與測(cè)量平面的交點(diǎn)，則齊次變換矩陣可以用參數(shù)θ表示為

由小孔成像數(shù)學(xué)模型可知：

式中： f、ξ、SX、SY、u0、v0均為攝像機(jī)內(nèi)參；θ、ZC為攝像機(jī)外參，θ為坐標(biāo)系｛W｝與｛C｝對(duì)應(yīng)X軸之間的夾角，ZC為光心在攝像機(jī)坐標(biāo)系｛C｝中Z軸上的投影坐標(biāo)。

由于虛擬攝像機(jī)坐標(biāo)系｛C′｝與世界坐標(biāo)系｛W｝姿態(tài)相同且與Z軸重合，則測(cè)量平面上的坐標(biāo)點(diǎn)（XW、YW、ZW）與其在虛擬攝像機(jī)｛C′｝中的成像坐標(biāo)（u′、v′）滿足關(guān)系式：

其中：ZC′為光心在虛擬攝像機(jī)坐標(biāo)系｛C′｝中 Z軸上的投影坐標(biāo)，由投影平面上所設(shè)定的圖像分辨力δ確定；u0′、v0′為光學(xué)中心在映射圖像中的坐標(biāo)。

由式（2）、式（3）可得從實(shí)際成像坐標(biāo)（u、v）到投影坐標(biāo)（u′、v′）的映射關(guān)系式如下：

式（4）采用從投影平面到成像平面的坐標(biāo)位置映射關(guān)系，建立圖像無(wú)畸變焦平面向后映射數(shù)學(xué)模型，這種后向映射法不會(huì)產(chǎn)生計(jì)算浪費(fèi)問(wèn)題且方便采用高精度插值算法來(lái)實(shí)現(xiàn)。

根據(jù)圖像平面映射變換所需分辨力δ（單位：m/pixel）按式（5）確定參數(shù) ZC′的值：

其中，Col是寬度為Wid（單位：m）的映射區(qū)域在虛擬攝像機(jī)中所成圖像的列寬（單位：像素）

2 攝像機(jī)采像軌跡規(guī)劃及圖像拼接算法

為了保證攝像機(jī)相鄰2次采集圖像經(jīng)映射變換后的圖像能實(shí)現(xiàn)無(wú)縫拼接，現(xiàn)對(duì)攝像機(jī)采像路徑進(jìn)行特定規(guī)劃如下：設(shè)任意第 i、j（其中 i=1，2，3……，j=i+1）相鄰2次移位采像，攝像機(jī)僅作相對(duì)于世界坐標(biāo)系｛W｝的X軸或Y軸單軸向平移，移動(dòng)量為tj，如圖2所示。

圖2 攝像機(jī)移位采像圖像拼接示意Fig.2 Stitching schematic diagram of images acquisited in the process of moving to the camera

在對(duì)每次采集圖像進(jìn)行映射變換時(shí)，限定光學(xué)中心的圖像坐標(biāo)（u0′，v0′）為映射圖像的中點(diǎn)，則第 j次投影圖像區(qū)域大?。ǜ叨?Hj′/寬度 Wj′，單位：像素）滿足遞推關(guān)系式：

針對(duì)第 j次采集圖像，以式（7）確定的參數(shù)（u′0j，v′0j）及式（1）確定的外參矩陣，在式（6）所確定的映射區(qū)域內(nèi)按照式（4）進(jìn)行映射變換，獲得圖像區(qū)域大小為（Hj′，Wj′）的第 j次投影圖像，則對(duì)第 i、j次投影圖像只需簡(jiǎn)單對(duì)接即可實(shí)現(xiàn)映射圖像的無(wú)縫拼接。

3 實(shí)驗(yàn)與結(jié)果

實(shí)驗(yàn)中采用攝像機(jī)相對(duì)于標(biāo)準(zhǔn)測(cè)試板進(jìn)行移位采像獲取圖像序列，并利用上述算法進(jìn)行圖像拼接、對(duì)完整成像中的特征小孔的孔間距進(jìn)行檢測(cè)，以此來(lái)驗(yàn)證該算法的有效性。實(shí)驗(yàn)硬件平臺(tái)如圖3所示，以小型十字滑臺(tái)臺(tái)面為檢測(cè)平臺(tái)，攝像機(jī)借助于雙自由度角度微調(diào)裝置安裝在Z軸滑臺(tái)上，通過(guò)Z軸旋轉(zhuǎn)手柄調(diào)整物距；X/Y軸旋轉(zhuǎn)手柄控制滑臺(tái)臺(tái)面移動(dòng)從而實(shí)現(xiàn)攝像機(jī)的移位采像。

圖3 實(shí)驗(yàn)硬件平臺(tái)Fig.3 Experimental hardware platform

3.1 攝像機(jī)找正及參數(shù)標(biāo)定

為了確保攝像機(jī)光軸垂直于測(cè)量平面，并獲得攝像機(jī)內(nèi)外參數(shù)，采用了如下實(shí)驗(yàn)方法及步驟：

1）采用張氏標(biāo)定算法對(duì)視覺(jué)測(cè)量系統(tǒng)進(jìn)行標(biāo)定，獲得攝像機(jī)的內(nèi)參矩陣M1/外參矩陣M2；

2）將外參矩陣M2進(jìn)行歐拉角序列變換，獲得繞固定坐標(biāo)系的X軸、Y軸、Z軸的轉(zhuǎn)角γ、β、α；

3）調(diào)整雙自由度微調(diào)裝置，使其俯仰及偏轉(zhuǎn)角依次減小 β、γ；

4）再次對(duì)視覺(jué)測(cè)量系統(tǒng)進(jìn)行標(biāo)定，直至所獲得的 β、γ均小于閾值 ε（其中 ε＜＜1），則可認(rèn)為攝像機(jī)光軸垂直于測(cè)量平面，即找正完成。否則返回步驟2。實(shí)驗(yàn)中所獲得的攝像機(jī)內(nèi)參如表1所示。

表1 攝像機(jī)內(nèi)參標(biāo)定結(jié)果Tab.1 Camera internal calibration results

平面標(biāo)靶坐標(biāo)系相對(duì)于攝像機(jī)坐標(biāo)系的變換矩陣為

則：外參 ZC=30.130757+1.5=31.630757 mm，其中1.5 mm為標(biāo)靶的厚度；

5）沿十字滑臺(tái)的X軸（即世界坐標(biāo)系｛W｝的X軸向）適量移動(dòng)臺(tái)面，使攝像機(jī)先后2次對(duì)測(cè)量平面上同一特征點(diǎn)進(jìn)行采像，先后獲得特征點(diǎn)圖像坐標(biāo)分別為（ux1，vx1），（ux2，vx2），則坐標(biāo)系｛W｝與｛C｝對(duì)應(yīng)X軸之間的夾角可由公式得到。

3.2 實(shí)驗(yàn)結(jié)果

在保證攝像機(jī)位姿不變的情況下，使加工中心的滑臺(tái)依次沿X軸正向、Y軸正向、X軸負(fù)向作3次移動(dòng)，每次移動(dòng)量15 mm，并依次對(duì)測(cè)量平面上的標(biāo)準(zhǔn)測(cè)試板 （由7行7列個(gè)小孔組成，小孔半徑0.9375 mm，相鄰孔間距3.75 mm）進(jìn)行局部采像4次，采集的圖像序列如圖4所示。

圖4 攝像機(jī)依次移位采集的圖像序列Fig.4 Acquisited image sequences during camera moved successively

取完整圖像的分辨率 δ=3.42292×10-5m/pixel，初始投影圖像區(qū)域大小為500×500，則由遞推公式（6）、（7）可知，后續(xù)2幅投影圖像區(qū)域大小均為500×500，光學(xué)中心的圖像坐標(biāo)為（249.5，249.5）。將上述4幅采集圖像按式（4）進(jìn)行映射變換，并進(jìn)行無(wú)縫拼接得到像素大小為1000×1000的完整圖像如圖 5（a）所示。

為檢測(cè)拼接精度，在完整圖像中進(jìn)行子像素輪廓提取，如圖5（b）所示，在完整成像的4個(gè)不同區(qū)域分別獲得 9 個(gè)小孔圓心 Dij（i=1，2，3，4； j=1，2，…9；i為圖幅區(qū)域，j為圓點(diǎn)標(biāo)號(hào)）。對(duì)其圖像坐標(biāo)進(jìn)行提取如表2所示。

圖5 拼接后的完整圖像Fig.5 Final mosaic image

表2 特征點(diǎn)圖像坐標(biāo)測(cè)量結(jié)果Tab.2 Image coordinates measuring results of feature points 單位：（pixel）

圖6為橫向或縱向相鄰2個(gè)圖幅區(qū)域之間標(biāo)號(hào)相同的2小孔圓心的間距數(shù)據(jù)圖，橫坐標(biāo)X表示圓點(diǎn)標(biāo)號(hào)，縱坐標(biāo)Y表示孔間距。通過(guò)數(shù)據(jù)分析可知，測(cè)量誤差約為±0.006 mm。

圖6 橫向或縱向相鄰圖幅區(qū)域同標(biāo)號(hào)孔的孔間距數(shù)據(jù)Fig.6 Spacing data graph between the same label holes along the horizontal or vertical adjoining area

4 結(jié)語(yǔ)

文中提出的基于坐標(biāo)變換的完整成像映射方法，采用從投影平面到成像平面的坐標(biāo)位置映射關(guān)系，建立了圖像無(wú)畸變焦平面向后映射數(shù)學(xué)模型，這種向后映射法不會(huì)產(chǎn)生計(jì)算浪費(fèi)問(wèn)題且方便采用高精度插值算法來(lái)實(shí)現(xiàn)。基于2D標(biāo)定模板位姿檢測(cè)的攝像機(jī)找正方法能精確保證攝像機(jī)光軸垂直于檢測(cè)平臺(tái)。對(duì)攝像機(jī)采像時(shí)的軌跡合理規(guī)劃，致使圖像映射變換算法中的遞推外參矩陣計(jì)算簡(jiǎn)單、累積誤差小且精度高；又由于將光學(xué)中心坐標(biāo)限定在映射圖像區(qū)域的中心位置，保證了序列投影圖像均是以光心為中心的小區(qū)域，能實(shí)現(xiàn)投影圖像的等精度拼接。所提出的圖像拼接算法解決了視覺(jué)系統(tǒng)分辨率與視場(chǎng)之間的矛盾問(wèn)題，實(shí)現(xiàn)了大尺寸機(jī)械零件的視覺(jué)綜合測(cè)量。其測(cè)量精度基本滿足機(jī)械零件二維尺寸精密測(cè)量的要求。

[1]黃偉瓊.基于機(jī)器視覺(jué)的影像測(cè)量系統(tǒng)的研究與設(shè)計(jì)[D].廣州：華南理工大學(xué)，2012.

[2]劉一，胡曉東，鄧淑娟，等.基于圖像拼接的微表面三維測(cè)試系統(tǒng)開(kāi)發(fā)[J].電子測(cè)量技術(shù)，2008，31（9）：100-102.

[3]蔡勇，秦現(xiàn)生，張雪峰，等.多攝像機(jī)視覺(jué)檢測(cè)大范圍布置方法及其數(shù)據(jù)拼接[J].中國(guó)機(jī)械工程，2011（16）：1984-1987.

[4]祁曉玲，趙霞霞，靳伍銀.基于機(jī)器視覺(jué)的軸類零件幾何尺寸測(cè)量[J].組合機(jī)床與自動(dòng)化加工技術(shù)，2013（1）：65-67，73.

[5]楊光.基于機(jī)器視覺(jué)的精密零件尺寸檢測(cè)關(guān)鍵技術(shù)研究[D].沈陽(yáng)：沈陽(yáng)理工大學(xué)，2014.

[6]鄧小峰.基于機(jī)器視覺(jué)的零件識(shí)別和測(cè)量系統(tǒng)研究[D].南京：南京航空航天大學(xué)，2014.

[7]何博俠，張志勝，徐孫浩，等.大尺寸機(jī)械零件的機(jī)器視覺(jué)高精度測(cè)量方法[J].中國(guó)機(jī)械工程，2009，20（1）：5-10.

[8]劉凌云，羅敏，方凱.基于圖像拼接的尺寸精密檢測(cè)算法研究[J].制造技術(shù)與機(jī)床，2012（11）：106-110.

中國(guó)工業(yè)企業(yè)盈利能力呈現(xiàn)分化

一項(xiàng)新的研究發(fā)現(xiàn)，受重工業(yè)疲軟以及國(guó)有企業(yè)境況不佳的拖累，去年中國(guó)工業(yè)企業(yè)的盈利能力下滑至2003年以來(lái)的最低水平，而持續(xù)的產(chǎn)能過(guò)剩可能給利潤(rùn)率帶來(lái)持久下行壓力。

研究公司牛津經(jīng)濟(jì)研究院（Oxford Economics）的亞洲經(jīng)濟(jì)負(fù)責(zé)人高路易（Louis Kuijs）發(fā)現(xiàn)，中國(guó)官方工業(yè)調(diào)查的約32.8萬(wàn)家公司——包括所有國(guó)企以及年銷售額超過(guò)2000萬(wàn)人民幣的非國(guó)有企業(yè)的平均利潤(rùn)率，從近年高點(diǎn)——2010年的7.6%下滑至2015年的5.8%。

然而，這一整體數(shù)字掩蓋了不同類型企業(yè)之間的巨大差異。高路易表示，去年，國(guó)有企業(yè)很可能延續(xù)了自2010年以來(lái)資產(chǎn)回報(bào)率下滑的趨勢(shì)，而非國(guó)有企業(yè)的資產(chǎn)回報(bào)率似乎保持得較好。

這種差異部分源于這樣的現(xiàn)實(shí)，即采礦、鋼鐵、其他金屬及化學(xué)品等遭受重創(chuàng)的行業(yè)——都受到房地產(chǎn)市場(chǎng)疲軟的影響——大量集中了中央或地方政府控制的國(guó)有企業(yè)。

這些資本密集的行業(yè)內(nèi)部，窘境已經(jīng)顯現(xiàn)。例如，鋼鐵企業(yè)的平均利潤(rùn)率已從2010年3.9%的近期高點(diǎn)下滑至去年的0.8%。化工企業(yè)的平均利潤(rùn)率從2010年的7.7%下滑至去年的5.3%，“其他金屬”企業(yè)的平均利潤(rùn)率則從2010年的5.6%下滑至2.7%。

高路易預(yù)計(jì)，未來(lái)這種艱難境況很可能將持續(xù)?！霸谠馐苤貏?chuàng)的行業(yè)，就業(yè)崗位已經(jīng)大幅削減。盡管如此，由于投資水平仍居高位，工業(yè)產(chǎn)能擴(kuò)張依舊太快，這將壓低利潤(rùn)前景?！?/p>

總的來(lái)說(shuō)，自2014年初至2015年底的兩年時(shí)間里，工業(yè)部門削減了約390萬(wàn)個(gè)就業(yè)崗位，包括87.3萬(wàn)個(gè)煤礦業(yè)崗位以及53.3萬(wàn)個(gè)鋼鐵業(yè)崗位。

但問(wèn)題在于，雖然減員數(shù)量巨大，產(chǎn)能過(guò)剩的情況依然突出。中國(guó)歐盟商會(huì) （European Chamber of Commerce in China）最近發(fā)布了一份評(píng)估報(bào)告，認(rèn)為中國(guó)鋼鐵、鋁、水泥、煉油、平板玻璃及造紙等行業(yè)的產(chǎn)能利用率在65%至85%之間。該商會(huì)估計(jì)，自2008年以來(lái)，所有這些行業(yè)的產(chǎn)能利用率都出現(xiàn)了大幅下滑。

以鋼鐵業(yè)為例。官方計(jì)劃未來(lái)5年削減1億至1.5億噸產(chǎn)能。但這一巨大數(shù)量?jī)H占當(dāng)前總產(chǎn)能的10%至15%，這意味著在這項(xiàng)5年目標(biāo)實(shí)現(xiàn)后（如果能實(shí)現(xiàn)），很可能還要繼續(xù)削減更多產(chǎn)能。