Markowitz投資組合模型改進的三幀差分法運動目標檢測

夏琳琳，潘旭影，楊雪東，初 妍

（1.東北電力大學(xué) 自動化工程學(xué)院，吉林 132012；2.哈爾濱工程大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，哈爾濱 150001）

Markowitz投資組合模型改進的三幀差分法運動目標檢測

夏琳琳1，潘旭影1，楊雪東1，初 妍2

（1.東北電力大學(xué) 自動化工程學(xué)院，吉林 132012；2.哈爾濱工程大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，哈爾濱 150001）

移動機器人的目標檢測要求其對特定的靜止或運動物體進行運動分析及檢測。以Voyager-III移動機器人系統(tǒng)為研究對象，實現(xiàn)非理想光照下，對橘紅色目標足球的運動檢測。提出在傳統(tǒng)三幀差分法基礎(chǔ)上，先利用Markowitz投資組合模型進行足球目標的特征提取，將場地非感興趣的目標中，出現(xiàn)全部像素值發(fā)生變化的目標去除，再進行圖像幀間差分。利用 CCD攝像機對比賽環(huán)境中足球的運動軌跡進行錄制，選取具有代表性的各幀視頻圖像、Markowitz算法優(yōu)化后的差分圖像和跟蹤圖像，結(jié)果表明跟蹤圖像不含非目標物的干擾，克服了差分圖像存在空洞的問題，為移動機器人提供了一種實用的運動目標檢測方法。

三幀差分法；Markowitz投資組合模型；運動目標檢測；移動機器人；像素值

對視頻序列中運動目標檢測的核心問題是在前后各幀的檢測結(jié)果之間建立對應(yīng)關(guān)系，對于指定的目標，就是確定其運動模型及軌跡的過程。由于存在場景中光照條件變換、擾動、攝像機抖動以及運動目標在場景中形成的陰影等客觀條件，導(dǎo)致了對具體問題中不同目標的檢測方法和機理不盡相同，常用的方法包括背景減除法（Background Subtraction）、幀間差分法（Temporal Difference）、光流法（Optical Flow）等[1-3]。與幀間差分法相比，背景減除法對光照和外部條件造成的場景變化比較敏感，如果不對背景進行時時更新，會出現(xiàn)大量的偽運動目標點，影響到目標檢測的效果。而光流法在視頻監(jiān)控系統(tǒng)下的應(yīng)用并不多見，因該方法受噪聲的影響比較大，且過程需要迭代求解計算的時間，并需要專門的硬件支持，不滿足移動機器人視頻流實時處理的場合。

本文以北京博創(chuàng)公司開發(fā)的“旅行家 3號（Voyager-III）”移動機器人為研究對象，在非理想光照情形下，對機器人足球比賽中橘紅色足球的運動進行實時檢測。得益于幀間差分法更適用于動態(tài)、目標單一且光照變化不強場景的特性，提出在傳統(tǒng)三幀差法上融合Markowitz投資組合模型下的特征提取，使得用于運動檢測的各幀圖片中僅包含足球的運動信息，減少環(huán)境中其他目標在運動分析中所產(chǎn)生的影響。

1 幀間差分法

在移動機器人足球比賽中，需要時刻對場地內(nèi)感興趣的運動目標進行運動檢測，即對包含運動目標的圖像序列運用相關(guān)的算法，從中去除背景信息，得到運動的目標和其相關(guān)的信息，并對這些信息進行相關(guān)整合，確定目標在場景中的關(guān)鍵參數(shù)，如位置、大小和運動方向等。

幀間差分法是對圖像序列中連續(xù)的兩幀或三幀圖像進行差分并通過選擇合適的閾值來完成對運動目標的提取。該方法假設(shè)環(huán)境中光線在各幀像素間基本保持不變，那么對差分圖像中像素值大于所設(shè)定閾值的點就表明該處像素發(fā)生了移動。假設(shè)第k幀和第k-1幀圖像的灰度值數(shù)據(jù)分別為，則它們的差分圖像為[4]：

式中，(i,j)表示離散圖像坐標。對于上面得到的差分圖像通過閾值T來判斷圖像中的各個像素點是運動目標還是背景，從而提取出運動區(qū)域的圖像。

式(2)表明，如果差值大于T，則說明該區(qū)域的灰度變化較大，即為需要檢測出的運動目標區(qū)域。圖 1為三幀差算法的原理圖。

如圖1所示，假設(shè)第k-1幀、第k幀、第k+1幀為視頻圖像序列中的三張圖片，首先分別對第k-1幀和第k幀求差、第k幀和第k+1幀求差，結(jié)果分別記為Dk、Dk+1，然后對Dk和Dk+1進行“與運算”，得到圖片D，D中包含了Dk和Dk+1兩張圖片的共有部分，因此可以將運動物體的全部包括進去。

圖1 三幀差分法原理圖Fig.1 Schematic diagram of three frame differencing methods

然而，當(dāng)目標表面存在均勻變化的灰度時，檢測到的運動區(qū)域往往存在“空洞”，運動目標可能被分割成許多獨立的小區(qū)域，這樣在目標識別時，很可能只得到目標的一部分。另外，在實際的非理想光照環(huán)境中，由于目標的運動，使得前一幀圖像中被目標遮擋的背景部分會顯露出來，這樣背景也會被當(dāng)作運動目標區(qū)域。在實際應(yīng)用幀差法時，往往希望盡量減少背景帶來的影響，從而使提取出來的目標盡量接近真實形狀。

2 融合Markowitz投資組合模型的改進三幀差分法

機器人足球比賽現(xiàn)場中，由于機器人本體時刻運動，因此Dk和Dk+1兩張差值圖片中包含了場地內(nèi)全部像素值變化的目標，這樣得到的目標圖像D中除感興趣目標外，還很可能包含了其他非感興趣的目標，對下面進行的目標跟蹤帶來了很大影響。

在傳統(tǒng)三幀差法基礎(chǔ)上，提出融合Markowitz投資組合模型[5]的特征提取過程，使得在運動檢測圖片中僅包含足球的運動信息，減少環(huán)境中其他目標在運動分析中所產(chǎn)生的影響。首先，選擇適合的顏色模型及顏色分量，將模型中的收益與風(fēng)險轉(zhuǎn)換成彩色圖像的目標與背景，利用Markowitz投資組合模型為各顏色分量確定最優(yōu)的分配權(quán)值，使得彩色圖像轉(zhuǎn)換成一幅灰度圖像[6]。此灰度圖像中，前景與背景間的對比度被增強，兩者間分界處不存在灰度平緩區(qū)，這樣，避免了光照較弱時，兩者分界不明顯而造成的差分圖像中運動目標檢測不完整的情況發(fā)生。

文獻[6]對目標足球的特征提取過程有詳盡地描述，在此不再贅述。

圖2給出了改進三幀差分法算法原理圖。如圖2所示，在分別進行第k-1幀和第k幀求差、第k幀和第k+1幀求差前，先采用Markowitz投資組合模型特征提取方法，從第k-1幀、k幀和k+1幀提取出我們感興趣的目標，使各區(qū)域內(nèi)部像素點間具有相似的性質(zhì)，而不同區(qū)域之間則具有較大的差異，根據(jù)目標足球各像素點的整體特性，將足球從該幅灰度圖像中分割出來。最后對上面得到的只含有運動目標的相鄰幀的灰度圖像進行差分，從而實現(xiàn)運動足球的運動檢測。

圖2 改進三幀差分法原理圖Fig.2 Scheme of improved three frame differencing method

3 非理想光照下Markowitz模型特征提取效果

以對單幅彩色圖像的目標識別與提取為例，說明Markowitz投資組合模型特征提取方法的有效性。首步完成圖像的上載，如圖3所示，提供了一次非理想光照下，機器人視覺系統(tǒng)采集的賽場全景圖像。

圖3 實驗圖片F(xiàn)ig.3 Image for experiment

圖4～6記錄了一次基于Markowitz投資組合模型的足球特征提取的完整過程，本次實驗的檢測目標為橘紅色足球，故選擇R（紅色）、B（紅色）、標準r、g、S（飽和度）和V（明度）6個顏色分量（通道）組合[7]，進行最優(yōu)權(quán)值的求取，方法克服光照弱時所帶來的影響，給出了相應(yīng)的灰度圖像、最優(yōu)權(quán)值作用后的灰度圖像和邊緣圖像。

在選擇顏色分量的時，標準r、g在光照變化較大時，波動很小，可視為不受影響[8-9]。而亮度I會出現(xiàn)較大范圍內(nèi)的波動，因而選擇了更加適合的V（明度）分量[9]。

可以看到，圖6中僅包含了足球的邊緣信息，前景與背景間的對比度被增強，為后續(xù)運動目標檢測去除了噪聲。

圖4 灰度圖像Fig.4 Gray image

圖5 最優(yōu)權(quán)值作用后圖像Fig.5 Image impinged by optimal weights

圖6 邊緣圖像Fig.6 Edge image

4 實驗結(jié)果及性能評價

由于中型組Voyager-III移動機器本體上沒有攝像機裝置，實驗中采用 CCD數(shù)碼攝像機對比賽環(huán)境中足球的運動軌跡進行了錄制，在MATLAB 7.1軟件中對該段視頻進行了仿真。實際比賽中，機器人每秒鐘至少處理15張圖片，因此本次實驗以15幀每秒的圖片采集速度來進行現(xiàn)場環(huán)境的模擬仿真，室內(nèi)為白熾燈照射，光線較弱，模擬非理想光照場景。實驗結(jié)果如圖7～12所示。

圖7 第四幀圖像Fig.7 Image of the fourth frame

圖8 第八幀圖像Fig.8 Image of the eighth frame

圖9 第十四幀圖像Fig.9 Image of the fourteenth frame

圖10 第十五幀圖像Fig.10 Image of the fifteenth frame

圖11 第十六幀圖像Fig.11 Image of the sixteenth frame

圖12 第十九幀圖像Fig.12 Image of the nineteenth frame

選取了具有代表性的第四幀、第八幀、第十四幀、第十五幀、第十六幀及第十九幀的檢測結(jié)果，可以看出，采用經(jīng)過Markowitz投資組合模型改進后的三幀差法，使每幀圖像之間僅含有運動的目標，且優(yōu)化后，目標的差分圖像完整，不包含非目標物的干擾，避免了差分圖像中存在空洞的情況，算法的穩(wěn)定性得到了相應(yīng)的提高。

5 結(jié) 論

本文面向機器人足球比賽應(yīng)用實際，需機器人本體對比賽用球進行實時跟蹤，而跟蹤的前提是完成對運動中球體的檢測?？紤]到攝像機與球體均發(fā)生運動，幀間差分法對特定目標的運動閾值很難進行設(shè)定這一實際情況，提出先利用Markowitz投資組合模型進行目標的特征提取，得到前景與背景間對比度增強的灰度圖像，將足球從該幅灰度圖像中分割出來，再對只含有運動目標的相鄰幀的灰度圖像進行差分。以 15幀每秒的圖片采集速度進行現(xiàn)場環(huán)境的模擬仿真，得到每幀的視頻圖像、Markowitz優(yōu)化后差分圖像及跟蹤圖像。檢測結(jié)果表明，優(yōu)化后，目標的差分圖像完整且不含非目標物的干擾，克服了由傳統(tǒng)三幀差分法自身及環(huán)境目標帶來的可能增大運動區(qū)域的影響，避免了差分圖像中存在空洞的情況，為機器人足球比賽提供了一個實用、可行的運動檢測方法。

（References）：

[1]Jung C R.Efficient background subtraction and shadow removal for monochromatic video sequences[J].IEEE Transactions on Multimedia,2009,11(3): 571-577.

[2]杜春麗，王科俊，夏余，程萬勝.一種小位移的運動目標檢測方法[J].光電子·激光，2011，22 (3)：418～421.DU Chun-li,WANG Ke-jun,XIA Yu,CHENG Wansheng.Detection method of moving object with small displacement [J].Journal of Optoelectronics·Laser,2011,22 (3): 418-421.

[3]Lin Chung-Ching,Wolf M.Detecting moving objects using a camera on a moving platform[C]//20thIEEE International Conference on Pattern Recognition.Istanbul,Turkey,2010: 23-26.

[4]鄔大鵬，程衛(wèi)平，于盛林.基于幀間差分和運動估計的Camshift目標跟蹤算法[J].光電工程，2010，37(1)：55-60.WU Da-peng,CHENG Wei-ping,YU Sheng-lin.Camshift object tracking algorithm based on inter-frame difference and motion prediction[J].Opto-Electronic Engineering,2010,37 (1): 55-60.

[5]Markowitz H.Portfolio selection[J].The Journal of Finance,1952,7(1): 77-91.

[6]夏琳琳，張健沛，田海軍，初妍，楊雪東.基于Markowitz投資組合模型的移動機器人目標提取與識別[J].中國慣性技術(shù)學(xué)報，2012，20(6)：700-704.XIA Lin-lin,ZHANG Jian-pei,TIAN Hai-jun,CHU Yan,YANG Xue-dong.Object extraction and recognition for mobile robot based upon Markowitz portfolio model[J].Journal of Chinese Inertial Technology,2012,20(6):700-704.

[7]夏琳琳，張健沛，初妍，楊雪東.非理想光照下基于全景圖像的足球機器人目標擬合與提取算法[J].中國慣性技術(shù)學(xué)報，2013，21(2)：214-220.XIA lin-lin,ZHANG Jian-pei,CHU Yan,YANG Xuedong.Object fitting and extraction algorithm for soccer robot based upon panoramic image under un-ideal illumination condition[J].Journal of Chinese Inertial Technology,2013,21(2): 214-220.

[8]Kuiaski D,Neto H V,Borba G,Gamba H.A study of the effect of illumination conditions and color spaces on skin segmentation[C]//2009 XXII Brazilian Symposium on Computer Graphics and Image Processing.Rio de Janeiro,Brazil,2009: 245-252.

[9]Zuo Qi,Xie Zhi,Guo Zijian.Vision based obstacle recognition approach of a power line inspection robot[C]//International Conference on Computational Intelligence and Natural Computing.Shenyang,China,2009: 459-462.

Moving object detection method based on three-frame difference and improved by Markowitz portfolio model

XIA Lin-lin1,PAN Xu-ying1,YANG Xue-dong1,CHU Yan2
(1.School of Automation Engineering,Northeast Dianli University,Jilin 132012,China; 2.College of Computer Science and Technology,Harbin Engineering University,Harbin 150001,China)

The motion analysis and detection on the static or moving object should be made for the mobile robot involved in detection work.Taking Voyager-III mobile robot system as the investigated subject,the detection of orange soccer in motion is accomplished under the un-ideal illumination condition.The improved approach based on traditional three frame time difference is proposed.The Markowitz portfolio model is introduced to realize the feature extraction of the target soccer in the first step,which helps to remove the objectives of non-interest,so that it will not puzzle us with the varied total pixel value.In sequence,the results are inserted to the next procedure of three frame time difference.The motion track of the soccer,under the real competition environment,is recorded by a CCD video camera,and the final results,including the video images,optimized difference images,and tracking images of representative frames are presented.The final results demonstrate that the interferences of other objects are not involved in the tracking images.Besides,the weak status of difference images with holes is improved,which indicates that the method above adapts to practical application for mobile robots in moving object detection area.

three frame time difference; Markowitz portfolio model; moving object detection; mobile robot;pixel value

U666.1

：A

1005-6734(2014)02-0200-05

10.13695/j.cnki.12-1222/o3.2014.02.011

2013-11-14；

：2014-03-12

吉林省科技廳青年科研基金項目（20130522171JH）

夏琳琳（1980—），女，博士，副教授，從事機器人技術(shù)研究。E-mail：xiall521@mail.nedu.edu.cn