龍門(mén)吊的360°環(huán)視影像

魯明

摘 要：隨著電子商務(wù)及基礎(chǔ)建設(shè)的日益發(fā)展，商品運(yùn)輸、建材搬運(yùn)的需求在不斷增長(zhǎng)，對(duì)于工程車(chē)輛的需求也在逐步增大。龍門(mén)吊是碼頭上常用的一種貨物搬運(yùn)工具，其載貨量大，操作靈活，但在復(fù)雜的作業(yè)環(huán)境中，由于車(chē)身龐大，僅僅依靠操作人員肉眼觀察很難確保車(chē)輛及操作人員的安全。360°環(huán)視影像技術(shù)是車(chē)輛輔助駕駛系統(tǒng)中的一部分，其主要采用六個(gè)攝像頭采集實(shí)時(shí)景象，接著經(jīng)過(guò)圖像匹配技術(shù)與圖像融合技術(shù)，拼接出車(chē)身周?chē)娜案┮晥D，用以消除駕駛者的視野盲區(qū)，保障了駕駛過(guò)程的安全性及可靠性。

關(guān)鍵詞：龍門(mén)吊；環(huán)視影像；輔助駕駛系統(tǒng)；圖像匹配；圖像融合；

1引言

龍門(mén)吊是一種碼頭上常用的工程車(chē)輛，主要用于集裝箱、貨物的搬運(yùn)。在實(shí)際作業(yè)中，由于工作環(huán)境復(fù)雜，車(chē)身龐大，駕駛員在行駛或作業(yè)過(guò)程中只能依靠后視鏡等設(shè)備肉眼觀察，導(dǎo)致視覺(jué)盲區(qū)的存在，因此機(jī)械設(shè)備和操作人員的安全難以得到保障。由于龍門(mén)吊的自身體積和重量大，一旦發(fā)生事故，往往產(chǎn)生嚴(yán)重的后果，對(duì)周邊車(chē)輛或是工作人員都具有一定的威脅，因此很多施工單位有明確的作業(yè)時(shí)間限制以及安全規(guī)范，但是還是有安全事故頻頻發(fā)生。據(jù)統(tǒng)計(jì)，中國(guó)每年發(fā)生的和機(jī)械設(shè)備有關(guān)的事故均超過(guò)10萬(wàn)起，死亡人數(shù)超過(guò)兩萬(wàn)人，穩(wěn)居世界第一。因此，為重型工程車(chē)輛提供一種可行、可靠的輔助駕駛系統(tǒng)，保障生命財(cái)產(chǎn)安全是一項(xiàng)重要的使命。

本文基于全景視覺(jué)輔助影像系統(tǒng)，提出了龍門(mén)吊的360°環(huán)視影像技術(shù)，這項(xiàng)技術(shù)是工程車(chē)輛的輔助駕駛系統(tǒng)的一部分，其首先針龍門(mén)吊的實(shí)際參數(shù)，配備合適的攝像頭，并尋找合理的位置安裝攝像頭；接著通過(guò)攝像頭，進(jìn)行龍門(mén)吊四周的實(shí)時(shí)圖像采集，并將采集后的圖像實(shí)時(shí)傳送到處理器；然后，將采集的圖像進(jìn)行圖像匹配、圖像融合、圖像拼接等處理；最后將處理后的360°環(huán)視影像顯示在屏幕上。此項(xiàng)技術(shù)在圖像的拼接以及實(shí)時(shí)呈現(xiàn)都取得了良好效果，且算法實(shí)時(shí)性強(qiáng)、可遷性強(qiáng)，能適用于其他工程車(chē)輛，能有效改善工程車(chē)量的安全性能，并為建設(shè)無(wú)人碼頭和無(wú)人駕駛系統(tǒng)做出鋪墊。

2整體方案及流程

本設(shè)計(jì)在硬件上通過(guò)對(duì)龍門(mén)吊進(jìn)行1：30的等比建模，并在龍門(mén)吊模型的前后橫梁上均勻安防3個(gè)攝像頭，共計(jì)六個(gè)攝像頭，俯視拍攝出六幅不同區(qū)域的龍門(mén)吊周?chē)膶?shí)景圖，并將圖像傳送至處理機(jī)，獲取圖像處理后的360°環(huán)視影像，實(shí)時(shí)呈現(xiàn)在監(jiān)控顯示器中，供駕駛?cè)藛T參考。

在圖像處理中，通過(guò)檢測(cè)特征點(diǎn)、描述特征點(diǎn)、匹配特征點(diǎn)、尋找映射矩陣、仿射變換、圖像融合步驟，實(shí)現(xiàn)針對(duì)龍門(mén)吊的360°環(huán)視影像技術(shù)。

3 360°環(huán)視影像的圖像匹配算法設(shè)計(jì)

圖像匹配是全景圖像融合算法中較為關(guān)鍵的問(wèn)題，圖像匹配算法的優(yōu)越性將會(huì)直接影響到后續(xù)圖像融合的效果。圖像匹配的定義是將對(duì)同一場(chǎng)景，在不同角度或是不同情況下拍攝的圖像進(jìn)行處理，尋找到特征匹配點(diǎn)，并將待拼接的圖像變換到同一基準(zhǔn)圖像坐標(biāo)下。

在傳統(tǒng)的環(huán)視影像系統(tǒng)中，由于所用的圖像匹配算法，其復(fù)雜度高，時(shí)效性不良，所以在嵌入式系統(tǒng)中存在許多問(wèn)題，難以達(dá)到對(duì)圖像進(jìn)行實(shí)時(shí)拼接的效果。傳統(tǒng)的環(huán)視影像系統(tǒng)中，主要使用的圖像處理的方法是標(biāo)定兩個(gè)點(diǎn)，通過(guò)點(diǎn)來(lái)尋找縫合線的，接著將輸入的待拼接圖像分割為梯形，最后沿著縫合線將圖像拼接成一幅完整的融合圖像。但這種方法存在著很大的弊端，即拼接縫較大，對(duì)拼接后的圖像的美觀及視覺(jué)感官有影像。本文根據(jù)實(shí)際工程特點(diǎn)，將SIFT算法應(yīng)用在全景環(huán)視影像系統(tǒng)的圖像匹配算法中，用以改善上述的時(shí)效性差、拼接縫大等問(wèn)題。

3.1圖像匹配原理

圖像匹配被定義為通過(guò)一定的算法，在圖像中檢測(cè)特征點(diǎn)，并對(duì)特征點(diǎn)進(jìn)行匹配與描述，接著在將圖像中找到其相對(duì)應(yīng)的特征點(diǎn)進(jìn)行匹配，從而得到待拼接圖像之間的位置關(guān)系。

圖像匹配的本質(zhì)是利用圖像的空間與圖像的灰度信息，因此圖像匹配的實(shí)質(zhì)是兩幅待測(cè)圖像之間的雙重映射。

假設(shè)I1 （x，y） I2 （x，y），分別為圖像I1，I2的灰度值，則I1 （x，y）， I2 （x，y）可表示為以下映射關(guān)系：

I1 （x，y）=g（f（I2 （x，y）） （4-1）

其中，g表示圖像灰度的變換，f表示圖像空間坐標(biāo)的變換。由上式可以得出，圖像匹配的本質(zhì)是找到最優(yōu)的坐標(biāo)變換f和灰度變換g，一般情況下，圖像匹配的過(guò)程只需要考慮坐標(biāo)的變換，因此公式（4-1）可以減緩為下列形式：

I1 （x，y）=f（I2 （x，y） （4-2）

圖像的集合坐標(biāo)變換可以理解為將待匹配的圖像變換到參考圖像的坐標(biāo)系中，利用齊次坐標(biāo)可以建立上述變換的關(guān)系表達(dá)式

（4-3）

3.2.SIFT匹配算法原理

尺度不變特征轉(zhuǎn)換（SIFT）是一種視覺(jué)算法，其算法的主要功能是圖像的對(duì)局部特征進(jìn)行描述。具體的描述的方式是通過(guò)在尺度空間中尋找極值點(diǎn)，接著提取極值點(diǎn)位置、尺度和旋轉(zhuǎn)不變量。1999年British Columbia大學(xué)David G. Lowe教授對(duì)當(dāng)時(shí)存在的基于不變量的特征提取方法做出總結(jié)，正式提出了此算法，并于2004年加以補(bǔ)充完善。該算法首先在待匹配圖像中提取特征點(diǎn)，然后對(duì)特征點(diǎn)進(jìn)行特征描述，最后比較兩方特征點(diǎn)，找出匹配對(duì)，建立對(duì)應(yīng)關(guān)系。

綜合以上，本設(shè)計(jì)在圖像匹配算法中，首先通過(guò)SIFT算法，進(jìn)行特征點(diǎn)的檢測(cè)，對(duì)圖相中的每一個(gè)特征點(diǎn)賦予位置、方向和尺度等信息，其中特征點(diǎn)就是圖像上的擁有很明顯特征的像素點(diǎn)，比如明暗交界處，物體的邊緣等等。其次，為了將匹配圖像之間的特征點(diǎn)聯(lián)系起來(lái)，還要對(duì)特征點(diǎn)進(jìn)行描述，算法中，上一步已經(jīng)找到了特征點(diǎn)，但還不能確定兩幅圖像中的特征點(diǎn)是不是相同或者相似的，找到相同的特征點(diǎn)對(duì)圖像拼接有很大的幫助，這時(shí)就需要描述特征點(diǎn)，每個(gè)特征點(diǎn)都有自己的特性，如果兩幅圖中的某兩個(gè)特征點(diǎn)的描述符非常相似，那么就可以說(shuō)這兩個(gè)特征點(diǎn)是匹配的根據(jù)上一步提取到的特征點(diǎn)來(lái)提取特征向量。最后需要對(duì)經(jīng)過(guò)描述后的特征點(diǎn)進(jìn)行匹配，找到兩幅圖像之間相互匹配的特征點(diǎn)。

4 360°環(huán)視影像的圖像融合算法設(shè)計(jì)

圖像融合被廣泛應(yīng)用于圖像處理，其定義是對(duì)多幅含有相同信息或互補(bǔ)信息的圖像進(jìn)行圖像處理，使圖像更符合人們的視覺(jué)習(xí)慣。在圖像融合的應(yīng)用方面，這項(xiàng)技術(shù)涉及多個(gè)方向、維度和級(jí)別的處理，可用性十分強(qiáng)，如醫(yī)學(xué)掃描、智能識(shí)別、人工智能等。

對(duì)于龍門(mén)吊的360°環(huán)視影像系統(tǒng)，其通過(guò)六個(gè)型號(hào)相同的設(shè)想有進(jìn)行初步的圖像采集，但由于攝像頭之間仍存在細(xì)小的差異，加上拍攝畫(huà)面的亮度等外界因素的不同，因此在采集的圖像中，仍會(huì)存在亮度、色彩等。因此，對(duì)于已經(jīng)完成圖像匹配后的系統(tǒng)，仍需要采用一定的融合處理，以達(dá)到更精準(zhǔn)、穩(wěn)定的圖像視覺(jué)效果。

本設(shè)計(jì)針對(duì)實(shí)際問(wèn)題，采用的是一種加權(quán)平均法的改進(jìn)融合算法，這種融合方法是基于平均法融合算法的一種改。相比較于傳統(tǒng)的均值融合算法，加權(quán)平均算法采用的是對(duì)兩幅或多幅圖像先賦予權(quán)值，再根據(jù)權(quán)重進(jìn)行圖像的融合及處理。該算法的融合原理可由下式表示：

（4-1）

對(duì)比與傳統(tǒng)均值算法，在改進(jìn)算法的重疊區(qū)域像素灰度值的計(jì)算加入了權(quán)值w1和w2，此處的w1和w2分別表示圖1和圖2在重疊區(qū)域灰度值的權(quán)值，且滿(mǎn)足w1+w2=1，0

5仿真與分析

根據(jù)上述理論知識(shí)與程序步驟，實(shí)際仿真步驟與結(jié)果如下所示：

（1）分別通過(guò)六個(gè)攝像頭對(duì)龍門(mén)吊模型周?chē)膶?shí)時(shí)情況進(jìn)行視頻的采集，并將視頻傳送至處理器。采集結(jié)果如圖6-1示：

（2）將融合后的視頻實(shí)時(shí)呈現(xiàn)在顯示器中，供操作人員實(shí)時(shí)查看，融合后的結(jié)果如圖6-3所示：