基于空間相關性的圖像縫合算法

王冠群

(1.河北省儀器儀表工程技術研究中心，河北 承德 067000；2.承德石油高等專科學校 儀器儀表工程技術研究中心，河北 承德 067000)

?

基于空間相關性的圖像縫合算法

王冠群1,2

(1.河北省儀器儀表工程技術研究中心，河北 承德 067000；2.承德石油高等專科學校 儀器儀表工程技術研究中心，河北 承德 067000)

作為一種新型的區(qū)域觀測技術，無線多媒體傳感器網(wǎng)絡(WMSN)獲得了國內(nèi)外研究者的高度關注。在密集部署的無線多媒體傳感器網(wǎng)絡中，不同的相機節(jié)點所觀察到的視覺信息存在較大的冗余和空間相關性。為了適應無線多媒體傳感器網(wǎng)絡的帶寬有限、計算能力有限、功耗有限的缺點，利用WMSN節(jié)點的空間幾何關系以及相機成像原理，獲得圖像之間的相關系數(shù)，根據(jù)信息熵的原理建立相機節(jié)點的選擇機制。在此基礎上，利用相關系數(shù)對選擇的相機采集的圖像進行縫合。降低了復雜度和計算量，使之更適合WMSN節(jié)點的應用。

WMSN;空間相關性;節(jié)點;熵;圖像縫合

無線多媒體傳感器網(wǎng)絡(Wireless Multimedia Sensor Networks，WMSN)[1，2]是目前最具有發(fā)展?jié)摿蛻们熬暗男畔⒏兄夹g手段之一，具有自組織、快速部署、信息準確等優(yōu)點。即使沒有電力和通信等基礎設施，WMSN也能夠快速部署和組成觀測網(wǎng)絡，實時獲取圖像、音頻等多媒體數(shù)據(jù)，對環(huán)境信息實現(xiàn)全面有效的感知，極大地增強一線人員準確掌握現(xiàn)場態(tài)勢的能力，在環(huán)境監(jiān)測和災難救援領域具有巨大的應用價值[3]。在多媒體傳感器網(wǎng)絡中，通常需要部署多個相機傳感器以便提供多個視圖、高分辨率圖片以便對環(huán)境加強監(jiān)測[4]。無線多媒體傳感器網(wǎng)絡的典型應用方案是：相機通過觀測感興趣區(qū)域，并將其拍攝的圖像傳給接收器。假設有N個相機可以觀測到這個特定的感興趣區(qū)域，對于觀測的相機用組T={T1,T2,T3…,TN}來表示，并且它們觀測的圖像為P={P1,P2,P3…,PN}。這組觀測的相機存在相關性，可以被用來開發(fā)設計多媒體網(wǎng)絡處理方案。研究不同相機所觀測到圖片之間的相關特征。針對所有觀測相機T={T1,T2,T3…,TN}中的相機i和相機j，用相關系數(shù)ρij描述圖片Pi和Pj的相關程度。在獲得空間相關系數(shù)后，需要研究如何測量無線多媒體傳感器網(wǎng)絡中多個相機的視頻信息量。直觀來看，各個相機提供的視頻信息之間存在相關特征。這些相機所觀測到的圖像之間相關特征越少，這些相機將會傳輸給接收器更多的信息。本文將采取一種基于熵的框架[5]，估計多個相關相機的信息量。

由于傳輸?shù)囊曨l信息需要很高的帶寬，這將會降低網(wǎng)絡的生命周期，因此要求整個無線多媒體傳感器網(wǎng)絡的數(shù)據(jù)通信量越少越好。多幅圖像傳輸?shù)酱毓?jié)點后，需要將這些圖像進行縫合。可以通過空間的相關性、以及多幅圖像之間的空間幾何關系找到準確的縫合位置，進而將多幅圖像融合成一副圖像，而不會造成信息的嚴重損失。這樣，僅僅利用空間相關性和圖像在空間的幾何位置而進行的圖像縫合，其算法的復雜度遠遠低于傳統(tǒng)的圖像融合方法，更適用于無線多媒體傳感器網(wǎng)絡。

1 存在相關性的多節(jié)點聯(lián)合效應

針對多簇節(jié)點存在相關性的特點展開研究。以信息熵的理論為基礎，測量多個相關相機所采集圖像的信息量，在無線多媒體傳感器網(wǎng)絡傳輸能力受限的情況下，根據(jù)信息量的大小，盡量選擇包含更多信息的圖像，從而提出一種基于相關性的相機選擇算法。

1.1 基于熵的方法

在信息理論中，用熵的概念測量隨機源模型的信息量。假設一幅圖片被認為是一個灰度級源模型的例子，這個源的標志可以通過灰度級直方圖建模。源的熵估計可以用下面公式表達：

(1.1)

其中，L是所有可能存在的灰度級個數(shù)，p(rk)是可能存在的k個灰度級。這個公式表示圖像中一個像素點的平均信息量。

如果相機Si將其觀測到的圖片Xi傳到簇節(jié)點，那么簇節(jié)點增加的信息量就是H(Xi)。如果一組相機傳感器{S1，S2…,SN}傳輸它們所觀測的圖片{X1，X2…,XN}到簇節(jié)點，而傳輸?shù)酱毓?jié)點的平均信息量為H(X1，X2，…，XN)。

1.2 多個相機的聯(lián)合熵

假設有多個相機同時檢測感興趣區(qū)域時，設定相機組為S={S1,S2,…,SN}，采集的圖像為{X1,X2,…,XN}。針對多幅圖像的聯(lián)合熵H(X1,X2,…,XN)求取進行分析。

如果按照概率論的相關理論對H(X1,X2,…,XN)進行計算，則必須知道相機S={S1,S2,…,SN}的分布情況。然而對多個相機的分布情況進行估計是非常困難的，尤其是當相機數(shù)量很大時。

一個可行的方法是利用上一節(jié)中兩個相機的聯(lián)合熵來計算多個相機的聯(lián)和熵。由于N個相機間相互獨立，可以讓它們兩兩之間聯(lián)合，這樣每兩個相機間的聯(lián)合熵就可以計算出來。將聯(lián)合起來的相機看做是一個相機，則傳感器網(wǎng)絡中相機數(shù)量變?yōu)镹-1個。如果不斷重復上述過程，N個相互獨立的相機最終變成一個相機。由于兩個相機的聯(lián)和熵可以在相機的聯(lián)合過程中求取，當相機聯(lián)合過程結束時，N個相機的聯(lián)合熵H(X1,X2,…,XN)也計算出來。

按照分級聚類的思想，本文設計了計算多個相機聯(lián)合熵的算法。只要每個相機的熵以及它們之間的相關矩陣已知，N個相機間的聯(lián)和熵H(X1,X2,…,XN)可以通過分級聚類的思想得到。具體的算法流程是：1)找到N個相互相關相機中的最大相關系數(shù)；2)將上述的兩個相機的圖像相結合，組成一類，計算信息熵；3)依次計算步驟2中的圖像與其他圖像的相關系數(shù)(計算聚類以外所有相機與聚類中所有相機的相關系數(shù)，將其累加在進行平均得到[6])；4)將這兩個相機所拍攝的圖像從圖像聚類中刪除；5)重復步驟以上步驟，直至得到所有圖像總和的信息熵。

2 圖像縫合

假定，所有的相機采用同一規(guī)格的相機(相機的焦距一致)，相機具有相同的景深d，并且相機的水平位置保持一致，根據(jù)圖像的之間的相關系數(shù)的本質，可以得出兩幅圖像的重疊區(qū)域所占的比例。

在圖像水平位置已知的情況下，兩幅圖像的像平面相關可以比作為兩個平面具有相互重疊的部分。兩個圖像重疊的三維空間立體圖如圖1所示。

假設圖像的采集區(qū)域為無限寬廣的場地，則在無窮遠處可以認為是一個平面，如果在有限的區(qū)域，同樣也可以將場地的盡頭假定為一個平面。在這樣的情況下，可以將三維空間轉變?yōu)槎S空間，如圖2所示。

圖中θ為相機T2的旋轉角度，a、b分別為相機T1與相機T2的像平面俯視圖，p1、p2分別為世界坐標系中立體平面的俯視圖，與y軸平行，d為相機的景深。

假定各幅圖像的信息熵大小，相機所拍攝的圖像之間的相關系數(shù)均為已知量。因為相機是繞z軸進行旋轉，所以z軸對圖像的縫合不起作用。相機是水平移動的情況下，世界坐標系中的x軸對圖像的縫合影響較小，因此針對世界坐標系的y軸圖像投影變換進行研究，找到圖像的縫合位置。

根據(jù)圖3的4幅圖像，通過Matlab計算圖像的信息熵，得到4幅圖像的信息熵分別為7.553 4、7.567 5、7.586 2、7.571 6，幾乎相差無幾，設定相機T1、T2的信息熵為1，兩相機的相關系數(shù)為ρ。設重疊區(qū)域的信息熵為c。則有：

(1)

(2)

設T2右半軸的信息量為b1，左半軸的信息量為b2，則有：

(3)

(4)

根據(jù)圖像的幾何關系可知相機T2與相機T1縫合時，應保留相機T2的負半軸的部分信息量和相機T1的正軸方向的部分信息量以及兩相機重疊的信息量。

(5)

(6)

T1與T2采集的圖像如圖4所示。

為了實現(xiàn)更高的壓縮比，首先將源圖像進行灰度處理。針對處理后的灰度圖像進行縫合根據(jù)上述方法進行縫合，效果如圖5所示。

3 結論

本文通過研究傳感器模型和相機的部署，計算圖像的空間相關性，用來描述感興趣區(qū)域中相機所監(jiān)測到的視覺信息相關特征。闡述了基于熵分析的框架，衡量由網(wǎng)絡中多個相機提供的視覺信息。同時，根據(jù)相關性函數(shù)和基于熵的框架，對采集圖像的相機進行選擇。根據(jù)以上的基礎信息，利用空間幾何關系，完成了相鄰WMSN節(jié)點的圖像縫合，較現(xiàn)有利用圖像的灰度信息或者是特征信息進行的圖像縫合方法，大大的降低了復雜度和計算量。

[1] Chai W C, Chew L W, Ang L M, et al. Low memory image stitching and compression for WMSN using strip-based processing[J]. International Journal of Sensor Networks, 2012, 11(1): 22-32.

[2] 樊曉平, 熊哲源, 陳志杰, 等. 無線多媒體傳感器網(wǎng)絡視頻編碼研究[J]. 通信學報, 2011, 32(9): 137-146.

[3] 程文芳, 張俠, 何劍峰. 極地生態(tài)環(huán)境監(jiān)測與研究信息平臺的設計與實現(xiàn)[J]. 極地研究, 2009, 21(4): 299-307.

[4] Cucchiara R. Multimedia surveillance systems[C]. Proceedings of the third ACM international workshop on Video surveillance & sensor networks, 2005: 3-10.

[5] Tononi G. Integrated information theory[J]. Scholarpedia, 2015, 10(1): 4164.

[6] Jain A K, Murty M N, Flynn P J. Data clustering: a review[J]. ACM computing surveys (CSUR), 1999, 31(3): 264-323.

Image Stitching Algorithm Based on Spatial Correlation

WANG Guan-qun1,2

(1.Hebei Instrument & Meter Engineering Technology Research Center, Chengde 067000, Hebei, China; 2.Instrument & Meter Engineering Technology Research Center, Chengde Petroleum College, Chengde 067000, Hebei, China)

Line Multimedia Sensor Networks (WMSN) wins high attention from researchers both home and abroad as a new type of regional observation technology. In the dense deployment wireless multimedia sensor network, the visual information different camera node observes is redundant and has spatial correlation. In order to adapt to the disadvantage of WMSN such as limited bandwidth, calculation ability and power dissipation, this paper uses WMSN node’s space geometrical relationship and camera imaging principle to acquire correlation coefficient between the images, and establishes a camera node selection mechanism according to the theory of information entropy. Based on this, this paper uses correlation coefficient to stitch the images collected by cameras that has been chosen before. This method greatly reduces the complexity and computation, and makes it more suitable for the application of WMSN nodes.

WMSN; spatial correlation; node; entropy; stitching image

2016-11-28

王冠群(1987-)，男，河北承德人，助教，碩士，主要從事儀器儀表研發(fā)、智能控制研究工作，E-mail:wgq_neu@163.com。

TP391.41

A

1008-9446(2017)03-0051-04