圖像序列中點(diǎn)目標(biāo)實(shí)時檢測算法

宋紹京

(上海第二工業(yè)大學(xué)電子與電氣工程學(xué)院,上海201209)

圖像序列中點(diǎn)目標(biāo)實(shí)時檢測算法

宋紹京

(上海第二工業(yè)大學(xué)電子與電氣工程學(xué)院,上海201209)

點(diǎn)目標(biāo)檢測在液體雜質(zhì)檢測中非常關(guān)鍵,在分析現(xiàn)有圖像點(diǎn)狀目標(biāo)檢測算法的基礎(chǔ)上,研究了一種適用于圖像序列的運(yùn)動點(diǎn)目標(biāo)多閾值檢測算法,在背景抑制的基礎(chǔ)上,首先采用自適應(yīng)多閾值分類的方法提取多類疑似目標(biāo),強(qiáng)化了各點(diǎn)狀目標(biāo)疑似的檢測能力。在當(dāng)前幀疑似目標(biāo)的真?zhèn)螣o法判定時,根據(jù)目標(biāo)在相鄰幀間的位置變化信息構(gòu)造相應(yīng)的時空管道,沿時空管道正向?qū)ふ铱赡艹霈F(xiàn)的各類疑似目標(biāo),并將其能量與當(dāng)前幀疑似目標(biāo)點(diǎn)的能量進(jìn)行加權(quán)求和后再進(jìn)行門限判決。使用硬件并行預(yù)處理圖像,較好地解決了實(shí)時性問題,滿足系統(tǒng)實(shí)時性要求。對安瓿瓶液體圖像序列進(jìn)行測試的結(jié)果表明,該算法的效果令人滿意。

雜質(zhì)檢測;液體圖像序列;點(diǎn)目標(biāo);多閾值分類;后向驗(yàn)證

0 引言

隨著工業(yè)化進(jìn)程的快速發(fā)展,在工業(yè)檢測與測量中越來越多地采用了智能化方法。利用機(jī)器視覺來進(jìn)行工業(yè)檢測與測量,是智能檢測中常用的一種方式,尤其是依賴序列圖像進(jìn)行信號測量與檢測,在很多領(lǐng)域中得到了應(yīng)用。在藥液雜質(zhì)檢測中,當(dāng)雜質(zhì)比較小時,用肉眼進(jìn)行雜質(zhì)檢測的可靠性和準(zhǔn)確性都不盡如人意,因此,進(jìn)行點(diǎn)目標(biāo)檢測是液體雜質(zhì)檢測系統(tǒng)的關(guān)鍵。通常解決這類問題有兩種思路:一是在圖像序列的點(diǎn)目標(biāo)檢測中,先進(jìn)行跟蹤再進(jìn)行檢測(TBD);二是先檢測再跟蹤(DBT)。TBD法根據(jù)多幀檢測的思想[1-3],將空間和時間信息整合到多幀處理過程中,對原始序列圖像中的多個可能軌跡進(jìn)行跟蹤,再進(jìn)行門限判決,最終達(dá)到目標(biāo)檢測的目的;DBT算法則采用“單幀檢測和多幀確認(rèn)”的策略,先進(jìn)行背景抑制,然后對圖像進(jìn)行分割,獲取疑似目標(biāo)點(diǎn),再根據(jù)目標(biāo)運(yùn)動信息的幀間高相關(guān)性,進(jìn)行多幀圖像的能量累積,對單幀檢測的結(jié)果迸行跟蹤判決。這樣極大地減小了跟蹤判決的難度,因此,在算法復(fù)雜度和實(shí)現(xiàn)難易度兩方面占有優(yōu)勢。

許多學(xué)者對紅外弱小目標(biāo)檢測進(jìn)行了研究[4-8],但這些算法僅僅局限于紅外圖像,因?yàn)榧t外圖像具有大面積、低頻率和運(yùn)動簇明顯等特征。當(dāng)將上述算法用于對由明顯目標(biāo)組成的大量雜亂目標(biāo)群進(jìn)行檢測時,其性能則不能令人滿意,尤其是當(dāng)目標(biāo)處在具有低信噪比的圖像中,或者處在邊緣具有弱對比度的情況下,而這些正是液體雜質(zhì)檢測中的典型特征。單閾值分割對閾值是敏感的,如果選擇閾值過小,會導(dǎo)致虛警率過高;如果選擇閾值過大,就會丟失弱小目標(biāo)。因此,單閾值選擇并不能給人以滿意的效果。為解決這個問題,本文給出了一種新型的多閾值分割并行處理算法,經(jīng)過安瓿瓶液體圖像序列測試,證明該算法可以獲得令人滿意的效果。

1 液體雜質(zhì)檢測系統(tǒng)

1.1 液體雜質(zhì)檢測系統(tǒng)結(jié)構(gòu)

液體雜質(zhì)檢測系統(tǒng)對實(shí)時性要求非常高,每分鐘需要檢測150瓶,單純地依靠工業(yè)控制計(jì)算機(jī)不能滿足實(shí)時性要求,因此采用協(xié)處理器的方式來加快圖像處理的速度,滿足系統(tǒng)的實(shí)時性要求,系統(tǒng)結(jié)構(gòu)示意圖如圖1所示。系統(tǒng)由攝像頭采集安瓿瓶液體圖像序列,攝像頭和工控機(jī)采用千兆網(wǎng)口來進(jìn)行連接,工控機(jī)的主板上通過PCIe接口連接一塊用現(xiàn)場可編程邏輯門陣列(FPGA)開發(fā)的圖像并行處理協(xié)處理器,以滿足圖像處理的實(shí)時性要求。

圖1 液體雜質(zhì)檢測圖像處理系統(tǒng)結(jié)構(gòu)示意圖Fig.1 Schematic of impurity detection system of liquid

1.2 液體雜質(zhì)檢測算法

液體雜質(zhì)檢測算法可以分成4個階段,如圖2所示。圖像預(yù)處理是運(yùn)動目標(biāo)區(qū)域只占圖像的一小部分時所必須的,這樣能夠大大減小圖像處理的運(yùn)算量,因此區(qū)別圖像的有效區(qū)域是該算法的第一步,這樣可以大大降低目標(biāo)群和虛警率;接下來是進(jìn)行背景抑制,消除圖像中臨時靜態(tài)的像素,這樣可以有效提高圖像的信噪比;采用多閾值自動分隔算法來進(jìn)行目標(biāo)提取,得到潛在疑似目標(biāo);通過時間管道進(jìn)行能量積累,根據(jù)權(quán)重來判斷疑似目標(biāo)是否是真正需要提取的目標(biāo)。各個階段將在后續(xù)部分進(jìn)行詳細(xì)描述。

圖2 算法結(jié)構(gòu)示意圖Fig.2 The structure of the algorithm

文中所進(jìn)行的內(nèi)容分析基于這樣的假設(shè):有L幀的分離圖像序列;二維平面尺寸為m像素× n像素;用(xk,yk)來代表第k幀圖像中的像素坐標(biāo),如果(xk,yk)沒有下標(biāo),則表示當(dāng)前幀的像素坐標(biāo)。

1.2.1 圖像預(yù)處理

通過調(diào)整照明,液體在圖像成像中對應(yīng)著相應(yīng)的灰度值,因此在雜質(zhì)檢測系統(tǒng)中的圖像預(yù)處理部分采用通過灰度分析來進(jìn)行圖像分割,圖3描述了一種峰值灰度分析方法。事實(shí)上,并不是所有的情況下都要采用上述4個步驟來完成點(diǎn)狀目標(biāo)的檢測,可以根據(jù)系統(tǒng)的實(shí)際情況來采用這4個步驟中的某些步驟來完成。

圖3 峰值搜索算法示意圖Fig.3 Peak searching algorithm

1.2.2 背景抑制

在液體圖像序列中,因?yàn)樾∧繕?biāo)在圖像中呈點(diǎn)狀,信噪比非常低,想直接進(jìn)行目標(biāo)識別是有難度的,所以在目標(biāo)檢測之前,為提高信噪比,非常有必要進(jìn)行背景抑制。當(dāng)前圖像背景抑制可以分成兩類:時域處理和空域處理。時域處理使用連續(xù)幀進(jìn)行背景抑制,具體的方法是使用圖像相減和累加平均?？沼蛱幚砝昧四繕?biāo)和背景之間的不相關(guān)性,典型的算法是使用中值濾波、高通濾波器或者使用基于已知模型的背景抑制?；谀Ｐ偷谋尘耙种茖τ诒尘暗淖兓哂泻芎玫倪m應(yīng)性,該方法描述如下:如果一個像素是背景,它的灰度值可以通過周圍的像素進(jìn)行預(yù)測;如果一個像素是目標(biāo),那么它和背景具有比較差的相關(guān)性。如果使用周圍的像素值來預(yù)測當(dāng)前像素的灰度值,總的來說預(yù)測值和實(shí)際值還是不一樣的,因此使用這個特征可以對背景進(jìn)行抑制。背景的抑制模型可以描述為

式中:x=0,1,···,m-1;y=0,1,···,n-1;f為輸入圖像(m×n);g為預(yù)測圖像;Wk=[wk(j,i)]為預(yù)測模型的權(quán)重矩陣;Sk為當(dāng)前背景的范圍。

輸入圖像和預(yù)測圖像的差值圖像

g(x,y)可以看成是當(dāng)前背景像素的灰度值,如果像素(x,y)和Sk中的像素屬于同一背景,那么e(x,y)≈0,這樣背景就得到抑制。

1.2.3 目標(biāo)提取

經(jīng)過背景抑制后,大部分像素集中在低灰度值區(qū)域,僅有目標(biāo)和小部分噪聲分布在高灰度值區(qū)域。為了能把目標(biāo)從圖像中提取出來,最常使用的方法是根據(jù)圖像的信噪比,使用閾值對圖像進(jìn)行二值化處理,高于閾值的像素被認(rèn)為是潛在疑似目標(biāo)。閾值的選擇對于處理的速度和目標(biāo)的判別具有很強(qiáng)的影響力,如果閾值選擇比較低,過多的疑似目標(biāo)就會影響圖像中目標(biāo)提取的速度,虛警率就會急劇增加;如果閾值選擇比較高,檢測性能就會降低,甚至是丟失真實(shí)目標(biāo)。因此,為了改善在圖像中提取目標(biāo)的性能,設(shè)計(jì)了一種新型的多閾值自適應(yīng)分類器。

圖像像素的灰度值的范圍假設(shè)為G= {0,1,···,N-1},分割閾值為{t1,t2,···,tq; (0＜t1＜t2＜···＜tq＜Q-1)}。因此圖像被分割成(Q+1)個部分,B={b0,b1,···,bq; (b0＜b1＜b2＜···＜bq)}代表了對應(yīng)于閾值q的 (q+1)個權(quán)重,在這些條件下,圖像f(x,y)的分類結(jié)果可以由下式來進(jìn)行描述:

出于自適應(yīng)的目的,采用根據(jù)圖像統(tǒng)計(jì)特性來確定各分割閾值的方法,即

式中:m為當(dāng)前幀圖像的均值;σ為標(biāo)準(zhǔn)差;ki為加權(quán)系數(shù)。

經(jīng)過上述分割后,圖像中的像素點(diǎn)被分為(n+1)個類,f0(x,y)=b0的這一類像素點(diǎn)將被認(rèn)為是單純的噪聲點(diǎn)從圖像中濾除,此時{f1(x,y)= b1,···,fi(x,y)=bi,···,fq(x,y)=bq}的像素點(diǎn)構(gòu)成n類疑似目標(biāo)集(其中f和b對應(yīng)該疑似目標(biāo)點(diǎn)所屬的類),疑似目標(biāo)fi(x,y)的下標(biāo)越大表明該像素點(diǎn)隸屬目標(biāo)點(diǎn)的程度越大,因此所賦予的能量權(quán)值bi也就越高。

1.3 時間管道和前向驗(yàn)證

基于上述多閾值分類方法,前向驗(yàn)證將充分利用圖像序列中小目標(biāo)的灰度值和位置的相關(guān)性。當(dāng)疑似目標(biāo)在當(dāng)前幀圖像中不能完全確定時,以當(dāng)前目標(biāo)為基礎(chǔ),在接下來的圖像幀中以位置為基礎(chǔ)對所有的疑似目標(biāo)在時間管道中一幀一幀地繼續(xù)尋找確認(rèn),所有疑似目標(biāo)的能量通過當(dāng)前幀的加權(quán)求和,然后再根據(jù)給定閾值來判定疑似目標(biāo)是否是真實(shí)目標(biāo)。假設(shè)當(dāng)前幀疑似目標(biāo)是待確認(rèn)目標(biāo),目標(biāo)檢測可以通過下述步驟來完成。

(1)根據(jù)目標(biāo)屬性、移動速度、平臺抖動和幀頻來估算最大可能位移量Dmax。

(2)基于移動目標(biāo)中心及半徑r(r＞Dmax)使用前向L幀圖像構(gòu)造時空管道,如圖4所示。首先設(shè)置當(dāng)前幀圖像區(qū)域中的Sk為時間管道的起點(diǎn),以疑似目標(biāo)的中心為中心,以r為半徑,延伸至(k+1)幀。如果疑似目標(biāo)出現(xiàn)在k+1幀中,的距離小于r,就把時間管道的中心設(shè)為如果疑似目標(biāo)沒有出現(xiàn)在(k+1)幀中,時間管道就直接延伸至(k+2)幀尋找疑似目標(biāo)。依照這樣的模式,時間管道可以延伸至(k+l)幀。

圖4 時空管道示意圖Fig.4 Sketch of spatial–temporal pipeline

(3)求各類疑似目標(biāo)的能量加權(quán)和Ak,L,以評估在當(dāng)前幀圖像中的疑似目標(biāo)是否是真實(shí)的目標(biāo)。Ak,L可用下式計(jì)算:

式中:L為時間管道的長度;Sm為m幀中以中心,以r半徑的圖像區(qū)域;bmi為m幀中屬于Sm的第i類疑似目標(biāo)點(diǎn)能量權(quán)值;Ak,L為k幀中疑似目標(biāo)在長度為L幀中的能量加權(quán)和。

(4)設(shè)置合理的目標(biāo)檢測閾值T,在時空管道內(nèi)對第k幀中的疑似目標(biāo)進(jìn)行判斷,只要管道內(nèi)的能量加權(quán)和滿足Ak,L≥T,即可判定目標(biāo)為真實(shí)目標(biāo)。

(5)在第k幀中遍歷所有疑似目標(biāo),重復(fù)上述步驟(1)～(4),對每一個疑似目標(biāo)進(jìn)行真?zhèn)闻卸ā?/p>

2 實(shí)驗(yàn)結(jié)果及分析

選擇一組圖像序列作為測試素材,其分辨率為640像素×480像素,測試的目的是為了驗(yàn)證算法的有效性和實(shí)時性,并且進(jìn)行定量分析。圖像序列中的點(diǎn)狀目標(biāo)的信噪比較低,圖像中既有實(shí)際目標(biāo),也有虛假目標(biāo),且目標(biāo)的灰度值不一樣,因此,特別適合來測試算法的性能。圖5是當(dāng)前幀圖像中的疑似目標(biāo)以及連續(xù)6幀圖像平面投影的測試效果,其中在多閾值選擇中使用了3組閾值,可以得到除了背景外的兩類疑似目標(biāo)。圖中的圓圈表示搜索半徑r,根據(jù)疑似目標(biāo)的運(yùn)動特征,選擇合適的搜索半徑。判決閾值設(shè)定為2,從算法的運(yùn)行效果來看,可以有效地發(fā)現(xiàn)圖中的疑似目標(biāo),并能對疑似目標(biāo)進(jìn)行判決,得到真實(shí)的目標(biāo)。根據(jù)FPGA開發(fā)的算法,處理每幀的運(yùn)行時間為2.5 ms,另外加上圖像數(shù)據(jù)在工控機(jī)和協(xié)處理器中的傳輸時間,總時間小于等于8 ms,完全能夠滿足系統(tǒng)對實(shí)時性的要求。

圖5 當(dāng)前幀疑似目標(biāo)及連續(xù)6幀圖像的平面投影Fig.5 Potential targets in current frame and Plane projection in six continuous frames

3 結(jié)論

在液體圖像序列的雜質(zhì)檢測中,采用單閾值圖像分割,很容易丟失目標(biāo),本文提出了一種采用多閾值分割和前向驗(yàn)證的算法來進(jìn)行點(diǎn)狀目標(biāo)檢測。該算法在單幀圖像中進(jìn)行背景抑制后,采用多閾值對疑似目標(biāo)進(jìn)行分類,根據(jù)屬于不同類目標(biāo)的水平來設(shè)置能量權(quán)重,以提高目標(biāo)檢測的性能。在單幀檢測的基礎(chǔ)上,依據(jù)圖像序列來構(gòu)建合適半徑的時間管道,對疑似目標(biāo)進(jìn)行能量積累,在當(dāng)前幀評估疑似目標(biāo)是否為真實(shí)目標(biāo)的同時,對連續(xù)的幾幀圖像進(jìn)行能量積累,當(dāng)能量超過設(shè)定閾值時,便確認(rèn)為真實(shí)目標(biāo),否則視為虛假目標(biāo)。通過實(shí)驗(yàn),驗(yàn)證了該算法的有效性和實(shí)時性均具有令人滿意的結(jié)果。

[1]LIU L.The algorithm research about infrared dim target [M].Harbin,China:Harbin Engineering University,2005.

[2]FERNANDEZ M F,ARIDGIDES T,Bray D.Detecting and tracking low-observable targets using IR[C]//DRUMMOND O E.Proceedings of SPIE Signal and Data Processing of Small Targets.Orlando,FL,USA:Society of Photo-Optical Instrumentation Engineers,1990:193-206.

[3]CHAN D S,LANGAN D A,STAVER D A.Spatial processing techniques for the detection of small targets in IR clutter[C]//DRUMMOND O E.Proceedings of SPIE Signal and Data Processing of Small Targets.Orlando,FL, USA:Society of Photo-Optical Instrumentation Engineers, 1990:53-62.

[4]LI M,ZHANG T X,YANG W D.Moving weak point target detection and estimation with three-dimensional double directional flter in IR cluttered background[J].Optical Engineering,2005,44:145-148.

[5]WEN P Z,SHI Z L,YU H B.A detection method for ir point target on sea background based on morphology[J]. Opto-electronic Engineering,2003,30:55-58.

[6]REN H R,ZHANG P,WANG J L.A method for small target detection based on energy accumulation and morphological opening by reconstruction in infrared image sequences[J].Infrared Technology,2003,25:28-30.

[7]TZANNES A P,BROOKS D H.Detection of point targets in image sequences by hypothesis testing:a temporal test frst approach[C]//Proceeding IEEE International Conf.,Acoustics,Speech and Signal Processing.Washington,DC,USA:IEEE Computer Society,1999:3377-3380.

[8]New W L,Tan M J,Er M H,et al.New method for detection of dim point targets in infrared images[C]//DRUMMOND O E.Signal and Data Processing of Small Targets 1999,Processing of SPIE.Denver,CO,USA:SPIE Proceedings,1999:141-150.

Real Time Object Detection in Image Sequence

SONG Shao-jing
(School of Electronic and Electrical Engineering,Shanghai Second Polytechnic University, Shanghai 201209,P.R.China)

Small target detection is a crucial problem for impurity detection in liquid.Based on analysis existing algorithm of detecting objects in image,a new algorithm based on multi-threshold classifcation and forward verifcation is described.After background suppression,an adaptive multi-threshold classifcation is adopted for the extraction of potential targets.The algorithm improves the detection capability of potential targets.When the potential target can’t be judged whether it is real targets,a time pipeline is set up for energy accumulation.After forward searching,the potential target is assessed to the real target by a reasonable threshold.Using hardware to parallel processing the image can meet real time requirements.Some experiments using real ampoule liquid have given satisfying results.

impurity detection;liquid image sequence;small target;multi-threshold classifcation;backward virifcation

TN911.7

:A

1001-4543(2014)01-0050-05

2013-07-15;

2014-03-10

宋紹京(1974–),男,山東泰安人,助理研究員,博士,主要研究方向?yàn)閳D像處理、智能控制,電子郵箱sjsong@sspu.edu.cn。