基于SIFT特征匹配算法的目標(biāo)跟蹤及視頻采集與傳輸研究

汪 鑫，劉嘉敏，李 敏，熊海涵，余月華，周冬芹

(1.重慶大學(xué)城市科技學(xué)院電氣信息學(xué)院，重慶 402167;2.重慶大學(xué)光電工程學(xué)院，重慶 400000)

當(dāng)今社會(huì)，視頻應(yīng)用研究在各個(gè)領(lǐng)域都發(fā)揮著重大的作用。在軍事研究、野外環(huán)境監(jiān)測(cè)、環(huán)境監(jiān)測(cè)與預(yù)報(bào)、交通管制、智能家居、公共安全監(jiān)測(cè)等方面都需要對(duì)視頻進(jìn)行采集［1-6］。除此以外，還希望對(duì)某些特定的目標(biāo)信息能不間斷地進(jìn)行跟蹤，例如長(zhǎng)時(shí)間監(jiān)控某個(gè)人或者物體。因此，在對(duì)視頻圖像進(jìn)行采集時(shí)，希望能完成對(duì)目標(biāo)信息的跟蹤。對(duì)于目標(biāo)檢測(cè)，以往都采用圖像差減法、目標(biāo)二值化塊處理法、矩形框表示法［6］，但是這些方法都無(wú)法清晰、完整地分割出目標(biāo)信息。

隨著無(wú)線傳感網(wǎng)絡(luò)的發(fā)展，大量的信息都借助于無(wú)線傳感網(wǎng)絡(luò)進(jìn)行傳輸。因此，本文主要采用一種基于SIFT特征匹配算法的目標(biāo)跟蹤方法對(duì)視頻進(jìn)行采集［5］，通過(guò)無(wú)線傳感網(wǎng)絡(luò)對(duì)信息進(jìn)行傳輸。

1 SIFT特征匹配算法

SIFT特征描述是一種提取局部特征的算法，其思想是把圖像之間的匹配轉(zhuǎn)化為特征點(diǎn)向量間的相似性度量［7］。SIFT特征描述分為3個(gè)階段:SIFT特征點(diǎn)的檢測(cè)、SIFT特征描述符的生產(chǎn)及SIFT特征向量的匹配，如圖1所示。

圖1 SIFT特征描述

1.1 構(gòu)建DoG尺度空間

要從圖像中檢測(cè)出對(duì)圖像的尺度變化具有不變性的視覺(jué)特征，就要構(gòu)建尺度空間。圖像在尺度空間中表示為圖像和可變高斯核函數(shù)的卷積，采用高斯金字塔算子表示:

式(1)中:I(x，y)是輸入的圖像;G(x，y，σ)是二維高斯函數(shù)，如式(2)所示。

其中σ為尺度因子。

1.2 SIFT特征點(diǎn)檢測(cè)

在尺度空間中，特征點(diǎn)就是DoG尺度空間內(nèi)的局部極值點(diǎn)，在進(jìn)行極值點(diǎn)檢測(cè)后就可以初步確定特征點(diǎn)的位置和所在尺度。對(duì)輸入圖像I(x，y)和高斯函數(shù) G(x，y，σ)進(jìn)行卷積，生成對(duì)應(yīng)的尺度空間 L(x，y，σ)，用高斯金字塔表示;將高斯金字塔的相鄰兩層相減，生成高斯差分金字塔D(x，y，σ);在高斯差分金字塔中，檢測(cè)同層3×3鄰域和相鄰層3×3鄰域內(nèi)的極值點(diǎn)。這樣就可以得到具有尺度不變性的特征點(diǎn)［8］。

1.3 特征描述子計(jì)算

特征描述子就是圖像特征向量，采用向量的形式來(lái)準(zhǔn)確描述圖像自身的特征。將坐標(biāo)軸旋轉(zhuǎn)到關(guān)鍵點(diǎn)的主方向，確保旋轉(zhuǎn)不變性，再依據(jù)關(guān)鍵點(diǎn)尺度選取高斯圖像，按式(3)和式(4)計(jì)算以關(guān)鍵點(diǎn)為中點(diǎn)的16×16的窗口內(nèi)所有像素點(diǎn)的梯度模值和梯度方向。每一小格表示關(guān)鍵點(diǎn)鄰域所在尺度空間的一個(gè)像素。

梯度方向直方圖統(tǒng)計(jì)公式為:

式(6)中:ck為方向柱的中心;Δk為方向柱的寬度;(x，y)為子塊r(l，m)像素點(diǎn)的坐標(biāo)。最終形成的128維的向量就是SIFT特征描述符子［9］。

1.4 特征點(diǎn)匹配

參考圖像和待匹配圖像的SIFT特征向量生成后，利用特征向量的歐式距離作為兩幅圖像特征點(diǎn)的相似性判定度量。采用歐式距離的最小值作為匹配成功的判定標(biāo)準(zhǔn)是非常簡(jiǎn)單且常見(jiàn)的。

2 視頻采集系統(tǒng)硬件研究

無(wú)線傳感網(wǎng)絡(luò)視頻采集系統(tǒng)由視頻采集模塊、微處理器模塊、無(wú)線通信模塊3個(gè)部分組成。視頻采集模塊的主要功能是實(shí)現(xiàn)對(duì)視頻圖像的采集和數(shù)模轉(zhuǎn)換;微處理器模塊的功能是負(fù)責(zé)對(duì)整個(gè)系統(tǒng)的控制;無(wú)線通信模塊的功能是將采集、處理后的視頻信息通過(guò)無(wú)線傳感網(wǎng)絡(luò)傳輸出去。

2.1 視頻采集模塊

視頻采集模塊是一個(gè)非常重要的部分。本文采用的是一款低電壓、低功耗的CMOS傳感器OV7640，它通過(guò) SCCB(seril camera control bus)接口來(lái)實(shí)現(xiàn)對(duì)器件的控制，支持VGA、CIF等各種尺寸的視頻格式。視頻采集模塊主要由圖像傳感器OV7640、壓縮芯片OV528、存儲(chǔ)芯片24LC64和降壓芯片MIC5207構(gòu)成的攝像頭系統(tǒng)來(lái)對(duì)圖像信息進(jìn)行采集［10］。

OV7640的電路原理如圖2所示。Y0～Y7引腳連接的是CV528圖像壓縮芯片，它將采集的圖像信息進(jìn)行壓縮，電路如圖3所示。

圖2 OV7640電路原理

攝像頭上電復(fù)位后，微處理器模塊向OV528發(fā)出采集指令，OV528接收到采集指令后通過(guò)SCCB控制總線調(diào)用初始化程序，攝像頭通過(guò)OV7640進(jìn)行視頻采集，并將采集的視頻圖像保存為RGB格式，OV7640將采集的圖像信息傳給OV528芯片，OV528對(duì)其進(jìn)行圖像壓縮處理［11-12］。

圖3 圖像壓縮芯片OV528

2.2 微處理器模塊

本文采用的微處理器是ARM公司的STM32F103。它是一款具有突破性的以Cortex-M3為內(nèi)核的處理器，具有低功耗、高性能、低電壓的特性［13］。

2.3 無(wú)線通信模塊

本文采用NRF24L01器件進(jìn)行無(wú)線傳輸。它是一款應(yīng)用于無(wú)線通信的通信芯片，采用GFKS調(diào)制技術(shù)，基于SW-ARQ協(xié)議，能實(shí)現(xiàn)點(diǎn)對(duì)點(diǎn)或者點(diǎn)對(duì)多(最多1對(duì)6)的無(wú)線通信，通信速率可達(dá)2M［14］。

圖4 無(wú)線通信模塊NRF24L01

NRF24L01無(wú)線通信模塊與STM32微處理器之間的通信通過(guò)SPI協(xié)議進(jìn)行。STM32微處理器內(nèi)部具有SPI通信接口，可以直接與NRF24L01進(jìn)行連接，電路如圖5所示。

圖5 NRF24L01電路

系統(tǒng)上電后，STM32初始化，并對(duì)外部設(shè)備進(jìn)行初始化，然后進(jìn)入休眠狀態(tài)等待觸發(fā)信號(hào)。只要收到用戶(hù)端的控制信號(hào)，系統(tǒng)就進(jìn)入工作模式，攝像頭開(kāi)始采集數(shù)據(jù)，并將采集的數(shù)據(jù)送回微處理器。一幀圖像采集完成后，微處理器將采集的數(shù)據(jù)存入圖像緩沖區(qū)，同時(shí)激活無(wú)線射頻模塊，開(kāi)始數(shù)據(jù)無(wú)線傳輸。采集端無(wú)線傳感器節(jié)點(diǎn)流程如圖6 所示［15-16］。

圖6 采集端無(wú)線傳感器節(jié)點(diǎn)流程

考慮到數(shù)據(jù)采集端數(shù)據(jù)采集的復(fù)雜度，所以采用的微處理器是STM32。對(duì)于接收端的傳感器節(jié)點(diǎn)，采用單片機(jī)作為微處理器［17］。51單片機(jī)與NRF24L01的連接如圖7所示。

圖7 接收端無(wú)線傳感器節(jié)點(diǎn)電路

接收端無(wú)線通信模塊NRF24L01的流程如圖8所示。

3 實(shí)驗(yàn)與結(jié)果

運(yùn)用SIFT特征匹配算法，對(duì)單目標(biāo)下運(yùn)動(dòng)目標(biāo)進(jìn)行采集分析。實(shí)驗(yàn)運(yùn)行環(huán)境為Intel Dual 1.8GHz CPU，2G內(nèi)存，通過(guò)Matlab運(yùn)行實(shí)現(xiàn)。應(yīng)用SIFT算法構(gòu)建DoG尺度空間、特征點(diǎn)檢測(cè)、特征描述子計(jì)算以及特征點(diǎn)匹配，將參考圖像和待匹配圖像進(jìn)行SIFT匹配;利用幀間的差分信息確定目標(biāo)運(yùn)動(dòng)區(qū)域，通過(guò)SIFT特征點(diǎn)區(qū)域的變化來(lái)更新背景，對(duì)歷史幀進(jìn)行匹配更新，保留SIFT特征匹配點(diǎn)，去掉不屬于特征點(diǎn)的區(qū)域。對(duì)運(yùn)動(dòng)汽車(chē)的跟蹤分析實(shí)驗(yàn)結(jié)果證明:該算法對(duì)運(yùn)動(dòng)的目標(biāo)物體有很好的匹配跟蹤效果(見(jiàn)圖9)。

圖8 接收端無(wú)線傳感器節(jié)點(diǎn)流程

圖9 運(yùn)動(dòng)汽車(chē)跟蹤分析

4 結(jié)束語(yǔ)

針對(duì)復(fù)雜環(huán)境下的目標(biāo)跟蹤，本文提出了利用SIFT匹配算法來(lái)有效提取運(yùn)動(dòng)目標(biāo)并進(jìn)行目標(biāo)跟蹤，通過(guò)SIFT特征點(diǎn)坐標(biāo)的非負(fù)差分的方法來(lái)確定運(yùn)動(dòng)目標(biāo)區(qū)域。該方法對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行了高效率匹配，同時(shí)設(shè)計(jì)出實(shí)現(xiàn)目標(biāo)跟蹤視頻采集的硬件電路，并通過(guò)NRF24L01無(wú)線通信模塊將采集的目標(biāo)信息進(jìn)行無(wú)線傳輸。實(shí)驗(yàn)結(jié)果表明:該算法在復(fù)雜背景環(huán)境下對(duì)運(yùn)動(dòng)目標(biāo)有較好的跟蹤效果。

［1］孫利民，李建中，陳渝，等.無(wú)線傳感器網(wǎng)絡(luò)［M］.北京:清華大學(xué)出版社，2005:3-4.

［2］林偉，卿輝，陳文，等.基于新型電源供電的無(wú)線傳感網(wǎng)絡(luò)節(jié)點(diǎn)設(shè)計(jì)［J］.壓電與聲光，2011(3):498-500，508.

［3］An-tonio-Javier Gorcia-Sanchez.Wireless sensor networks deployment for monitoring wildlife passages［J］.Sensors，2010(10):7236-7262.

［4］王焱，單欣欣，姜偉，等.無(wú)線傳感網(wǎng)絡(luò)壞點(diǎn)識(shí)別研究與應(yīng)用［J］. 壓電與聲光，2012(3):452-455，458.

［5］Holman R，Stanley J，Ozkan-Haller T.Applying video sensor networks to near shore environment monitoring［J］.IEEE Tans.On Pervasive Computing，2003，2(4):14-21.

［6］劉建軍，夏勝平，郁文賢.基于SIFT特征的兩個(gè)階段procrustes迭代匹配算法［J］.信號(hào)處理，2010(6):854-858.

［7］韋虎，張麗艷，劉勝蘭，等.基于SIFT圖像特征匹配的多視角深度圖配準(zhǔn)算法［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2010，22(4):654-661.

［8］牛長(zhǎng)峰，陳登峰，劉玉樹(shù).基于SIFT特征和粒子濾波的目標(biāo)跟蹤算法［J］.機(jī)器人，2010，32(2):241-247.

［9］陳雷.JPEG圖像壓縮技術(shù)及仿真實(shí)現(xiàn)［J］.中國(guó)科技信息，2011(17):91-92.

［10］王永虹，徐煒，郝立平.STM32系列ARM Cortex-M3微控制器原理與實(shí)踐［M］.北京:北京航空航天大學(xué)出版社，2008.

［11］廣州周立功單片機(jī)發(fā)展有限公司.ARM Cortex-M3處理器簡(jiǎn)介［Z］.2006，10.

［12］王虎升，李金環(huán).基于STM32的嵌入式語(yǔ)音播報(bào)系統(tǒng)設(shè)計(jì)［J］.北京聯(lián)合大學(xué)學(xué)報(bào)，2011(3):11-15.

［13］陳慧敏，栗蘋(píng)，張英文，等.CMOS圖像傳感器的研究新進(jìn)展［J］.半導(dǎo)體光電，2006，27(6):664-667.

［14］何兆紅，王高.CMOS圖像傳感器的最新發(fā)展?fàn)顩r［J］.光機(jī)電信息，2002(12):14-16.

［15］Lee B，Wu H.Study on Back off Algorithm for IEEE 802.15.4 LR-WPAN［C］//IEEE International Conference on Advanced Information Networking and Applications.Japan:［s.n.］，403-409.

［16］Mehta V，Sheng W，Chen T，et al.Development and Calibration of a Low Cost Wireless Camera Sensor Network［C］//IEEE International Conference on Intelligent Robots and Systems.USA:［s.n.］，2009:110-115.

［17］Lee D，Lee J，Lee Y，et al.Low-Complexity Aggregation of Collected Images with correlated Fields of view in Wireless Sensor Networks［Z］.IEEE Symposium on Computers and communications.2010:765-771.