基于形態(tài)學(xué)和光流方程的光斑中心計(jì)算方法

趙玉華，袁 峰，張秋佳，李子帙

（1.哈爾濱理工大學(xué)應(yīng)科院，黑龍江哈爾濱150080；2.哈爾濱工業(yè)大學(xué)自動(dòng)化測試與控制系，黑龍江哈爾濱150001）

基于形態(tài)學(xué)和光流方程的光斑中心計(jì)算方法

趙玉華1，袁 峰2，張秋佳1，李子帙1

（1.哈爾濱理工大學(xué)應(yīng)科院，黑龍江哈爾濱150080；2.哈爾濱工業(yè)大學(xué)自動(dòng)化測試與控制系，黑龍江哈爾濱150001）

針對圖像序列中微小光斑中心位置的計(jì)算，本文提出了一種結(jié)合灰度形態(tài)學(xué)原理和光流估計(jì)方程的中心計(jì)算方法。在對圖像序列逐一進(jìn)行灰度膨脹后，根據(jù)光流方程對連續(xù)三幀圖像進(jìn)行位置轉(zhuǎn)換并疊加，完成圖像中微小目標(biāo)的能量增強(qiáng)，從而使傳統(tǒng)的重心算法在處理這一類圖像時(shí)能夠達(dá)到亞像素精度。經(jīng)過誤差分析和實(shí)驗(yàn)證明，這一方法有效的解決了微小目標(biāo)的中心位置計(jì)算問題。

形態(tài)學(xué)；灰度膨脹；光流方程；亞像素精度

1 引 言

為測量運(yùn)動(dòng)目標(biāo)的位置和姿態(tài)變化，在一些特殊的環(huán)境下，經(jīng)常采用在被測對象上安裝激光發(fā)射裝置，利用高速攝像機(jī)捕捉激光光斑來確定觀測對象的實(shí)際運(yùn)動(dòng)情況。而當(dāng)被測目標(biāo)的空間坐標(biāo)變化過快時(shí)，就必須對相機(jī)的曝光時(shí)間加以限制，以保證不會因?yàn)橹貜?fù)曝光而引起圖像的動(dòng)態(tài)模糊。為了滿足工業(yè)生產(chǎn)、科學(xué)研究對于高速攝像的需求，攝像機(jī)的曝光時(shí)間已經(jīng)能達(dá)到幾兆分之一秒，甚至每秒鐘可連續(xù)拍攝6億幅畫面的高速相機(jī)［1］。高頻率的拍攝在滿足了圖像清晰度的同時(shí)，也造成了圖像本身的亮度降低，當(dāng)目標(biāo)與攝像機(jī)的相對位置較遠(yuǎn)時(shí)，所拍攝到的激光光斑在成像平面上所占的像素也較少，成為弱點(diǎn)目標(biāo)，此時(shí)，采用重心法所計(jì)算出的光斑重心往往與實(shí)際情況有較大的誤差。對于以上情況，采用灰度形態(tài)學(xué)原理，對高速攝像機(jī)捕捉激光光斑進(jìn)行灰度膨脹，再利用最小二乘光流估計(jì)方法將多幀圖像能量疊加，增強(qiáng)圖像的信噪比，以提高整個(gè)算法的計(jì)算精度。

2 原始圖像的膨脹

由于圖像中光斑目標(biāo)能量較低，通過多幀圖像累加的方法，可以有效的改善圖像中目標(biāo)光斑的能量強(qiáng)度，提高圖像信噪比。但對于由于運(yùn)動(dòng)速度較大的點(diǎn)目標(biāo)來說，直接累加并不能實(shí)現(xiàn)目標(biāo)能量的有效積累。這樣就需要將目標(biāo)進(jìn)行灰度膨脹，然后利用光流場的最小二乘估計(jì)，對膨脹后的圖像目標(biāo)進(jìn)行疊加，已得到更適合重心法計(jì)算的光斑圖像。

2.1 灰度膨脹

數(shù)學(xué)形態(tài)學(xué)是近年來以形態(tài)為基礎(chǔ)對圖像進(jìn)行分析的一種數(shù)學(xué)工具，他的基本思想使用具有一定形態(tài)的結(jié)構(gòu)元素，去量度和提取圖像中的對應(yīng)形狀，以達(dá)到對圖像分析和識別的目的?；叶刃螒B(tài)學(xué)是數(shù)學(xué)形態(tài)學(xué)的一個(gè)分支，用于分析灰度圖像，其基本運(yùn)算主要有兩種，即灰度膨脹和灰度腐蝕。

用結(jié)構(gòu)元素b對輸入圖像f進(jìn)行灰度膨脹，記為f⊕b，其定義為［2－5］：

式中，Df和Db分別是f和b的定義域，這里限制位移參數(shù)s－()x，t－()y在f的定義域內(nèi)，灰度膨脹運(yùn)算是在結(jié)構(gòu)元素b定義的鄰域內(nèi)取f＋b的最大值，從而使圖像中比背景亮的部分得到擴(kuò)張，而比背景暗的部分受到收縮，收縮的程度取決于結(jié)構(gòu)元素的值和形狀。

2.2 結(jié)構(gòu)元素的選擇

在對圖像進(jìn)行灰值膨脹運(yùn)算時(shí)，結(jié)構(gòu)元素的形狀和大小應(yīng)根據(jù)目標(biāo)的大小來選?。?－8］。高曝光頻率下的激光光斑目標(biāo)很小，甚至只占幾個(gè)像元，要求所選的結(jié)構(gòu)元素不能過大；同時(shí)目標(biāo)在圖像上通常近似為圓點(diǎn)狀，其能量基本成高斯分布，所選結(jié)構(gòu)元素結(jié)構(gòu)也應(yīng)近似于高斯分布，以保證膨脹后，圖像中光斑能量分布基本不發(fā)生變化。故采用如式（2）所示的結(jié)構(gòu)元素：

結(jié)構(gòu)元素的選擇對于之后的圖像疊加也有一定的影響。當(dāng)目標(biāo)運(yùn)動(dòng)速度過快且所選擇結(jié)構(gòu)元素較小時(shí)，圖像疊加幀數(shù)過多可能會造成目標(biāo)點(diǎn)處噪聲能量增加，并且使目標(biāo)面積擴(kuò)大，目標(biāo)定位精度下降，計(jì)算量增加，因此，根據(jù)本文所研究的實(shí)際情況和所選擇的結(jié)構(gòu)元素，選取連續(xù)三幀圖像進(jìn)行疊加。

2.3 灰度膨脹的誤差影響

圖1為圖像序列進(jìn)行灰度膨脹的過程。其中圖1（a）所示的是輸入圖像f和結(jié)構(gòu)元素b，這里表示的是運(yùn)算過程中的兩種情況，圖1（b）給出了最終的膨脹結(jié)果。

圖1 灰度膨脹示意圖

可以看出，通過灰度膨脹運(yùn)算后的圖像中，只是對光斑目標(biāo)的大小和亮度進(jìn)行的改變，并沒有改變光斑的中心位置。同樣，當(dāng)目標(biāo)較小，圖像中能量分布呈階梯狀時(shí)，灰度膨脹對其中心位置的影響也很小，相對于光流估計(jì)所造成的誤差可以忽略不計(jì)。

3 最小二乘光流估計(jì)與多幀圖像能量累計(jì)

3.1 最小二乘光流估計(jì)原理

背景中目標(biāo)的運(yùn)動(dòng)在圖像平面上投影產(chǎn)生的速度場稱為光流場，它反映目標(biāo)運(yùn)動(dòng)的連續(xù)性。光流場約束方程是光流估計(jì)的基礎(chǔ)，它建立了圖像平面上任意一點(diǎn)時(shí)空梯度變化與該點(diǎn)瞬時(shí)速度（u，v）之間的光流方程關(guān)系式為［9－10］：

式中，Ex，Ey和Et分別為灰度函數(shù)E關(guān)于x，y和t的偏導(dǎo)；u和v為目標(biāo)在x和y軸上的速度。光流方程表示運(yùn)動(dòng)圖像中某一點(diǎn)的灰度時(shí)間變化率，是灰度空間變化率與該點(diǎn)空間運(yùn)動(dòng)速度的乘積［11］。實(shí)際中，灰度時(shí)間變化率可用沿時(shí)間方向的一階差分平均值來估計(jì)：

由于光流法只適用于具有一定形狀的目標(biāo)，對于點(diǎn)目標(biāo)不適用，通過灰度膨脹以后的光斑目標(biāo)可以形成一個(gè)小目標(biāo)區(qū)域。為避免圖像的實(shí)際灰度受噪聲影響，在連續(xù)的兩幅圖像E( x，y，t)和E (x，y，t＋1)上取具有相同u和v的同一目標(biāo)上的4個(gè)不同位置的像素，組成光流約束方程：

通過光流約束方程，將前后三幀圖像進(jìn)行轉(zhuǎn)換并疊加，然后對得到的新圖像進(jìn)行重心法的計(jì)算，以得到目標(biāo)光斑的中心位置。

3.2 光流速度估計(jì)的誤差分析

用實(shí)際光流速度(u′i，v′i)和利用公式（9）所得到的估計(jì)光流速度(ui，vi) 進(jìn)行比較，可以得到平均角誤差θˉerr。

式（11）中，N為光流場的像素?cái)?shù)。光流場平均角誤差反映了計(jì)算的光流場的流速矢量整體上偏離標(biāo)準(zhǔn)光流場的程度，可以根據(jù)光流場平均角誤差來計(jì)算疊加后的光斑中心平均誤差。

對于連續(xù)的三幀圖像，將第（i－1）幀圖像疊加到第i幀圖像中，則其光流估計(jì)誤差為：

第（i－2）幀圖像疊加到第i幀圖像時(shí)其光流誤差為：

其中，Vi＝uiv

[]i。結(jié)合式（11）、（12）、（13），對三幀圖像疊加后的合成圖像進(jìn)行重心法計(jì)算，則其光斑中心平均偏移量為：

從式（14）中可以看出，光斑中心偏移量與圖像中光斑的移動(dòng)速度有直接關(guān)系，運(yùn)動(dòng)速度越快則誤差越大。

4 實(shí)驗(yàn)與誤差分析

本文中采用一組320×240的圖像序列，以50 mW、波長650μm的半導(dǎo)體激光器作為目標(biāo)光源，相機(jī)的幀頻為500 f／s，每幅圖像的曝光頻率為0.00005 s。在圖像序列中，任意選取三組圖像（每組圖像包括三幅連續(xù)圖像）按照本文中的算法進(jìn)行膨脹疊加，并利用質(zhì)心法求得合成圖像中光斑中心位置，與原始圖像序列進(jìn)行比較。

表1中X，()Y和X′，()Y′分別代表原始圖像和膨脹后圖像中光斑的中心位置，為判斷灰度膨脹對圖象中心的影響程度，分別選用7×8個(gè)像素的光斑圖像和1×2個(gè)像素的光斑圖像進(jìn)行計(jì)算，從結(jié)果中可以看出，膨脹前后所改變的只是光斑所占像素面積以及光斑的亮度，而光斑中心位置并未因此發(fā)生較大變化（誤差小于0.01像素），對于之后的圖象疊加的影響很小，但是由于圖像光斑的能量并沒有增強(qiáng)，因此利用質(zhì)心法仍然無法對像素內(nèi)位置進(jìn)行細(xì)分，計(jì)算精度并沒有得到提高。

表1 圖像膨脹前后中心位置比較表

表2中，（Xi，Yj）和（Xi′，Yj′）分別表示原始圖像和疊加圖像中的光斑坐標(biāo)，（ui－j，vi－j）表示兩幅圖像中光流速度。原始圖像中，目標(biāo)光斑大小約為1×2個(gè)像素，最大灰度值為59（255級）；經(jīng)過灰度膨脹處理后，目標(biāo)所占像素增加到3×4個(gè)像素；通過圖像疊加后，光斑像素達(dá)到4×5個(gè)，光斑中心的亮度接近飽和，圖像的信噪比相應(yīng)提高了3倍，且誤差基本可以滿足亞像素精度的要求。同時(shí)從疊加結(jié)果與之前單幅圖像比較可以看出，隨著光斑運(yùn)動(dòng)速度的提高，光斑中心位置誤差也隨之增大，這與之前對誤差的分析結(jié)果是一致的。當(dāng)光斑運(yùn)動(dòng)速度過高時(shí)，需要增加拍攝幀數(shù)，減小光流速度以提高算法的精度。

表2 疊加圖像與原始圖像中心坐標(biāo)位置比較表

5 結(jié) 論

本文將灰度形態(tài)學(xué)原理和光流估計(jì)方程引入經(jīng)典重心法中，通過對高速低亮度的微小目標(biāo)光斑圖像進(jìn)行逐一的灰度形態(tài)膨脹，將膨脹后的圖像序列根據(jù)光流約束關(guān)系進(jìn)行位置轉(zhuǎn)換并累加，有效的提高了目標(biāo)光斑所占的圖像像亮度和信噪比，使得原本利用重心法無法精確定位的目標(biāo)光斑圖像中心光斑位置精度達(dá)到亞像素級別，同時(shí)，對本文中算法精度進(jìn)行了估算?？梢钥闯龉饬鞴烙?jì)方程在運(yùn)動(dòng)目標(biāo)的多幀估計(jì)和軌跡預(yù)測時(shí)效果顯著，精度也較高，能夠滿足實(shí)際測試要求。但由于原始圖像在計(jì)算光流速度以及圖像彷射變換的運(yùn)算量較大，對圖像的實(shí)時(shí)性處理能力還有待提高，這需要在以后的研究中進(jìn)一步解決。

［1］ Zhang Qiujia，Wang Hong，Liu Wei.Moving object detection optical flow vectors compensation model［J］.Laser＆Infrared，2011，41（11）：1263－1267.（in Chinese）張秋佳，王虹，劉威.光流向量補(bǔ)償模型的運(yùn)動(dòng)目標(biāo)檢測［J］.激光與紅外，2011，41（11）：1263－1267.

［2］ Tonissen SM，Bar-Shalom Y.Maximum likelihood trackbefore-detectwith fluctuating target amplitude［J］.IEEE Trans.On AES，1998，34（3）：796－806.

［3］ Wei Hongqiang，F(xiàn)eng Jinliang，Wang Jinsong，et al.Detectionmethod for smallmoving target in sequence image［J］.Chinese Journal of Scientific Instrument，2008，29（8）：1735－1739.（in Chinese）韋宏強(qiáng)，馮進(jìn)良，王勁松，等.序列圖像中弱小運(yùn)動(dòng)目標(biāo)檢測方法［J］.儀器儀表學(xué)報(bào)，2008，29（8）：1735－1739.

［4］ Xu Jianzhong，Wang Zulin，Zhao Yihuan，et al.Detection of weak pointmoving targets in infrared image sequences［J］. Optical Technique，2010，36（3）：460－463.（in Chinese）許建忠，王祖林，趙毅寰，等.紅外序列圖像弱小動(dòng)目標(biāo)檢測的研究［J］.光學(xué)技術(shù)，2010，36（3）：460－463.

［5］ Qin Hanlin，Li Jia，Zhou Huixin，et al.Infrared dim and small target background suppression using shearlet transform［J］.J.Infrared Millim Waves，2011，30（2）：162－167（in Chinese）秦翰林，李佳，周慧鑫，等.采用剪切波變換的紅外弱小目標(biāo)背景抑制［J］.紅外與毫米波學(xué)報(bào)，2011，30（2）：162－167.

［6］ Zhang Yujin.Image engineering［M］.Beijing：Tsinghua University Press，2005.（in Chinese）章毓晉.圖像工程［M］.北京：清華大學(xué)出版社，2005.

［7］ Chen Yanmei，Wu Boying.An image enhancing method based onmathematicalmorphology［J］.Journal of Harbin Institute of Technology，2006，38（6）：906－908.（in Chinese）陳延梅，吳勃英.基于數(shù)學(xué)形態(tài)學(xué)的圖像增強(qiáng)方法［J］.哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2006，38（6）：906－908.

［8］ Tom V，Peli T，leung M.Morphology-based algorithm for point target detection in infrared backgrounds［J］.Proc of SPIE，1993，15（6）：2－5.

［9］ Zhou Ming，Xu Shaohui.Infrared weak-target image detection［J］.Semiconductor Optelectronics，2004，25（3）：224－227.（in Chinese）周銘，許少輝.一種紅外小目標(biāo)的圖像檢測方法［J］.光電技術(shù)應(yīng)用，2004，25（3）：224－227.

［10］Rivest J F，F(xiàn)ortin R.Detection of dim target in infrared imagery by morphological image processing［J］.Optical Engineering，1996，7：1886－1891.

［11］Choi Jae-ho，Jang Jong-wham，Lee Seung-phil.Multiple moving object estimation in image sequences of natural scene［J］.Opt Eng.，1997，36（8）：2176－2183.

Spot centre arithmetic based on morphology and optical flow equation

ZHAO Yu-hua1，YUAN Feng2，ZHANG Qiu-jia1，LIZi-zhi1
（1.Applied Science College of Harbin University of Science and Technology，Harbin 150080，China；2.Department of Automatic Testing and Control，Harbin Institute of Technology，Harbin 150001，China）

To calculate the centre of small light points in images，an effective centre arithmetic which combinesmorphology with optical flow estimation is proposed.After dilating image sequences，three consecutive frames of the image are operated by using optical flow equation，then they are accumulated to enhance the small object energy in the images.This arithmetic makes the classical centroid method reach subpixel precision when it processes this kind of images.By error analysis and experiments，it can solve the problem of small target centre determination.

mathematicalmorphology；morphology dilation；optical flow equation；subpixel precision

TP391.4

A

10.3969／j.issn.1001-5078.2014.02.0

黑龍江省教育廳科學(xué)技術(shù)研究項(xiàng)目（NO：11541064）資助。

趙玉華（1970－），女，博士，副教授。主要從事視覺測量、飛行器空間姿態(tài)測量等方面的研究。E-mail：zhaoyuhua0451＠163.com

2013-07-02；

2013-07-30