實(shí)驗(yàn)小鼠運(yùn)動(dòng)參數(shù)的模板匹配及粒子濾波提取方法

張繼文 梁 桐 張淑平

小鼠是生物學(xué)和醫(yī)學(xué)研究中常用的一種實(shí)驗(yàn)動(dòng)物.對(duì)實(shí)驗(yàn)小鼠的運(yùn)動(dòng)軌跡和體態(tài)細(xì)節(jié)跟蹤能夠?qū)崿F(xiàn)其行為學(xué)分析,對(duì)神經(jīng)生物學(xué)、藥理學(xué)和心理學(xué)等學(xué)科具有重要的意義[1].在行為記錄和定量分析過(guò)程中,視頻監(jiān)視和數(shù)字圖像處理是一種應(yīng)用極為廣泛的方法.這是由于其具有布置簡(jiǎn)單、成本低廉、可用信息量大及非介入等優(yōu)點(diǎn).經(jīng)攝像采集、信號(hào)轉(zhuǎn)換、輸出記錄等一系列過(guò)程可獲得連續(xù)的數(shù)字圖像序列.在行為學(xué)分析時(shí),首先從這一數(shù)字圖像序列中提取出小鼠的運(yùn)動(dòng)狀態(tài)參數(shù),如活動(dòng)軌跡、移動(dòng)速度及體態(tài)等,從而統(tǒng)計(jì)出運(yùn)動(dòng)頻率、行為節(jié)律等生物學(xué)規(guī)律,而自動(dòng)化的運(yùn)動(dòng)狀態(tài)參數(shù)提取將大幅提升這一過(guò)程的效率和準(zhǔn)確性[2?3].

目前已有諸多小鼠運(yùn)動(dòng)監(jiān)控系統(tǒng)[4?5]以及成熟的商業(yè)軟件,如EthoVision[6]等.這些系統(tǒng)一般基于小鼠與實(shí)驗(yàn)背景的顏色或紋理差異,采用背景學(xué)習(xí)和背景減除的方法提取小鼠的二值化圖像,計(jì)算其包圍盒和重心,從而針對(duì)每一張數(shù)字圖像給出目標(biāo)小鼠的位置及粗略的方位角[5],再經(jīng)逐幀位置差分獲得其移動(dòng)速度,通過(guò)連接小鼠在每一幀圖像中的位置,繪制出其移動(dòng)軌跡.在細(xì)致的參數(shù)標(biāo)定及濾波平滑處理?xiàng)l件下,這些方法能夠完成多種光照條件乃至黑暗條件下的運(yùn)動(dòng)識(shí)別任務(wù)[7?9],然而這種基于逐幀識(shí)別的方法易受到前景提取誤差和小鼠體態(tài)變化的干擾,產(chǎn)生跳躍的運(yùn)動(dòng)軌跡和較大移動(dòng)速度估計(jì)偏差,從而難以滿足那些對(duì)動(dòng)作細(xì)節(jié)要求較高或小鼠活動(dòng)頻率要求精確統(tǒng)計(jì)的情形.此外,這些方法常常忽略小鼠體態(tài)的運(yùn)動(dòng)細(xì)節(jié),例如蹲窩、蜷縮等.例如Pistori等[10]雖然實(shí)現(xiàn)了多只小鼠存在互相接觸條件下的相對(duì)位置跟蹤,引入粒子濾波器實(shí)現(xiàn)了接觸與非接觸狀態(tài)的區(qū)分以及各對(duì)象的宏觀位置識(shí)別,但難以解決小鼠體態(tài)信息的提取難題,進(jìn)而無(wú)法為深入分析小鼠行為提供更多依據(jù).

張敏等[11]以輪廓曲線的曲率及其頻譜作為特征矢量,針對(duì)一定數(shù)量圖像的聚類和學(xué)習(xí),實(shí)現(xiàn)了小鼠的修飾、伸長(zhǎng)、曲身等體態(tài)識(shí)別;Fabrice等[12]通過(guò)幾個(gè)基本幾何元素及其相對(duì)運(yùn)動(dòng)關(guān)系建立了小鼠的理想模型,通過(guò)物理學(xué)運(yùn)動(dòng)規(guī)律對(duì)該理想模型與二值化圖像中的前景像素點(diǎn)進(jìn)行匹配,從而在非標(biāo)記條件下獲得了其頭部、頸部、尾部等運(yùn)動(dòng)細(xì)節(jié). Qing等[13]通過(guò)識(shí)別尾部、頭部等特征點(diǎn)較為精確地提取了頭部轉(zhuǎn)角及體長(zhǎng)等信息.Branson等[14]基于小鼠的樣條輪廓模型及Gauss隨機(jī)運(yùn)動(dòng)模型采用粒子濾波器實(shí)現(xiàn)了幾個(gè)小鼠的輪廓最佳匹配.然而這些方法均依賴于精確提取的二值化圖像,在環(huán)境光照度變化,長(zhǎng)時(shí)間觀測(cè)時(shí)小鼠對(duì)背景環(huán)境不斷產(chǎn)生影響的條件下,二值化預(yù)處理過(guò)程中均不可避免地引入噪聲干擾,進(jìn)而降低了上述體態(tài)識(shí)別算法的準(zhǔn)確率[15],限制了這些方法的應(yīng)用環(huán)境.

事實(shí)上,實(shí)驗(yàn)小鼠運(yùn)動(dòng)參數(shù)提取的主要困難源于其非剛性變形的特征.在鼠籠等被觀測(cè)視野較小的條件下,這一特點(diǎn)尤為顯著.如果再考慮視頻信號(hào)的干擾,則采用肢體的不變特征用于連續(xù)幀間的匹配存在較大的困難[16].為解決這一困境,本文引入模板匹配和粒子濾波的基本識(shí)別框架,提出實(shí)驗(yàn)小鼠的幾何體部件模型及視頻觀測(cè)與模型匹配方法,借助粒子濾波器完成噪聲干擾條件下的小鼠運(yùn)動(dòng)軌跡參數(shù)及體態(tài)參數(shù)的同時(shí)提取.

1 目標(biāo)跟蹤方法框架

實(shí)驗(yàn)小鼠運(yùn)動(dòng)參數(shù)的提取問(wèn)題本質(zhì)上可以歸結(jié)為一個(gè)連續(xù)視頻中的目標(biāo)跟蹤問(wèn)題.而目標(biāo)跟蹤在安全監(jiān)控、氣象分析、醫(yī)療診斷、軍事制導(dǎo)等領(lǐng)域已經(jīng)具備大量研究成果[17],其核心問(wèn)題是在后續(xù)圖像中定位和搜索待跟蹤目標(biāo)的先驗(yàn)特征.目標(biāo)跟蹤的關(guān)鍵因素包括對(duì)象的表示方法、搜索算法、模型更新等,現(xiàn)已形成了主動(dòng)輪廓跟蹤、基于特征的跟蹤、基于模型的跟蹤以及基于判別式分類的跟蹤等幾類方法[18].本文所采用的模板匹配和粒子濾波方法是視頻跟蹤的一種重要方法,其基本原理如圖1所示.

圖1 用于小鼠目標(biāo)跟蹤的模板匹配及粒子濾波方法Fig.1 Model matching and particle fi ltering method applied to the object tracking of a laboratory mouse

圖1中的觀測(cè)結(jié)果是待處理圖像的二值化結(jié)果,視野內(nèi)標(biāo)記為黑色的像素是小鼠目標(biāo)及干擾像素.圖1中的粒子集合是小鼠諸多可能狀態(tài)所對(duì)應(yīng)的理想觀測(cè)結(jié)果.將實(shí)際觀測(cè)結(jié)果與之進(jìn)行對(duì)比匹配,并從中挑選出匹配度最佳的運(yùn)動(dòng)狀態(tài)作為觀測(cè)結(jié)果.經(jīng)過(guò)粒子濾波重采樣后,生成了一批新的狀態(tài)粒子以備下一幀圖像的匹配處理.

模板匹配方法避免了直接從精確二值化圖像中擬合小鼠特征參數(shù)的困境,其優(yōu)勢(shì)是降低了圖像預(yù)處理的難度,并允許一定程度的圖像噪聲干擾存在,因而對(duì)系統(tǒng)的前期參數(shù)調(diào)整和標(biāo)定要求較低.同時(shí),模板匹配方法不對(duì)二值化實(shí)施過(guò)程做出過(guò)多假設(shè),無(wú)論是閾值劃分、背景減除或是多種策略的綜合方法,只要能夠盡可能凸顯小鼠目標(biāo)和活動(dòng)背景的差異,即可在統(tǒng)一框架下實(shí)現(xiàn)運(yùn)動(dòng)參數(shù)的提取,因而擴(kuò)展了方法對(duì)光照、背景等條件變化的適應(yīng)性.

基于模板匹配和粒子濾波的關(guān)鍵是建立小鼠外形的觀測(cè)模型以及模擬小鼠活動(dòng)的運(yùn)動(dòng)模型,以前者作為粒子濾波器的觀測(cè)模型,以后者作為狀態(tài)轉(zhuǎn)移模型,從而建立起如圖1所示的完整目標(biāo)跟蹤算法.

2 實(shí)驗(yàn)小鼠的物理模型

小鼠的物理模型與觀測(cè)視角相關(guān).一般有頂置攝像機(jī)視角[7?11]、側(cè)置攝像機(jī)視角[3,14]、斜置攝像機(jī)視角[5]及各種混合攝像機(jī)視角等.其中頂置攝像機(jī)能夠觀測(cè)小鼠的運(yùn)動(dòng)軌跡和移動(dòng)速度,也是觀測(cè)體態(tài)的較優(yōu)視角,因此物理模型主要針對(duì)頂置攝像機(jī)觀測(cè)情形.

2.1 實(shí)驗(yàn)小鼠模型

小鼠的模型如圖2所示:將小鼠分解為頭部和臀部,從而得到兩個(gè)橢圓形幾何體構(gòu)成的部件模型.兩個(gè)橢圓形的幾何尺寸固定不變,但兩者的相對(duì)位置發(fā)生變化.圖2中,Oxy是模型坐標(biāo)系,固連在臀部橢圓形的中心.頭部橢圓的中心點(diǎn)表示為ch,頭部相對(duì)臀部的運(yùn)動(dòng)軌跡表示為ch沿C點(diǎn)為圓心的一段圓弧,C點(diǎn)僅位于Oxy的y軸上,坐標(biāo)為(0,yc),定義體態(tài)的曲率為與一般圓弧曲率定義不同,ρ帶有符號(hào),當(dāng)ρ＜0,圓心C位于x軸下方,頭部以順時(shí)針?lè)较蚱D(zhuǎn),當(dāng)ρ＞0,圓心C位于x軸上方,頭部向逆時(shí)針?lè)较蚱D(zhuǎn),當(dāng)ρ=0時(shí),圓弧退化為直線,此時(shí)頭部相對(duì)臀部?jī)H有伸縮運(yùn)動(dòng),若設(shè)圓弧長(zhǎng)e＞0,則圓弧對(duì)應(yīng)的圓心角可表示為φ=eρ.

圖2 小鼠部件模型示意圖Fig.2 Illustration of the part model of a mouse

頭部橢圓的半長(zhǎng)軸、半短軸分別是(ah,bh),臀部橢圓的半長(zhǎng)軸、半短軸分別是(at,bt).ρ=0,e=0時(shí),模型處于零點(diǎn),此時(shí)ch的坐標(biāo)為(f,0).ah,bh,at,bt,f與被跟蹤小鼠的體型有關(guān),在視頻跟蹤前通過(guò)手動(dòng)設(shè)定,并在跟蹤過(guò)程中保持不變.因此,小鼠的體態(tài)可由體態(tài)曲率ρ和體態(tài)伸長(zhǎng)e兩個(gè)參數(shù)描述.

上述模型本質(zhì)上是一種變形體的近似部件模型[18?19].依照這一思路建立的其他模型包括橢圓包圍盒模型[13]及多幾何元素模型[12]等.相比于這些已有模型,本文提出新模型主要考慮了幾個(gè)因素的綜合與平衡,具體包括外形相似性、參數(shù)可視化和計(jì)算高效性等三個(gè)方面.

1)新模型將小鼠簡(jiǎn)化為頭部、臀部?jī)蓚€(gè)部分,能夠更為細(xì)致地描繪蜷縮和彎曲等體態(tài).而單個(gè)橢圓包圍盒模型則以其長(zhǎng)短軸作為描述參數(shù),僅能有效描述體長(zhǎng)參數(shù),而無(wú)法描述體態(tài)曲率.另外,從生物學(xué)角度分析實(shí)驗(yàn)小鼠的骨骼特征,其體態(tài)的變化對(duì)應(yīng)了脊柱的狀態(tài),而模型中圓弧實(shí)現(xiàn)了脊柱狀態(tài)在頂置攝像機(jī)視角方向的近似變化.盡管文獻(xiàn)[13]中的模型從機(jī)械連接及物理學(xué)規(guī)律應(yīng)用的角度較為容易,但缺乏這一相似性.

2)新模型可將小鼠體態(tài)的關(guān)鍵參數(shù)歸納為體態(tài)伸長(zhǎng)e和體態(tài)曲率ρ.同時(shí)將臀部(或模型固連坐標(biāo)系Oxy)的位姿及移動(dòng)速率描繪為小鼠整體的運(yùn)動(dòng)狀態(tài),這些參數(shù)完整展現(xiàn)了先前研究過(guò)程中小鼠行為學(xué)分析的幾個(gè)關(guān)鍵參數(shù)[11,13],從而在參數(shù)可視化方面具有優(yōu)勢(shì).

3)在給定模型狀態(tài)的條件下,只需要針對(duì)二值化圖像中的前景像素點(diǎn)執(zhí)行兩個(gè)橢圓形的包含性測(cè)試即可完成匹配檢驗(yàn)和評(píng)估,從而具有更低的計(jì)算量.同時(shí),兩個(gè)橢圓間僅存在圓弧的相對(duì)運(yùn)動(dòng),因而兩者相對(duì)位置計(jì)算較為容易.這些特征對(duì)后續(xù)粒子濾波跟蹤過(guò)程中大量的匹配計(jì)算性能尤為重要.

當(dāng)然,模型也存在幾個(gè)尚未考慮問(wèn)題:其一臀部橢圓模型尺寸固定無(wú)法反應(yīng)蜷縮時(shí)臀部形狀的真實(shí)變化,其二是兩個(gè)橢圓相交處并非光滑過(guò)渡,與實(shí)際小鼠的外形略有差異.但是這些參數(shù)對(duì)小鼠行為學(xué)研究的意義較小,如果引入更多的狀態(tài)參數(shù)或局部部件將大幅度增加濾波提取的難度.因而這些因素就作為算法的系統(tǒng)性偏差或者未來(lái)用于在線模型修正的因素而暫時(shí)不再考慮.

2.2 小鼠運(yùn)動(dòng)狀態(tài)方程

通過(guò)建立實(shí)驗(yàn)小鼠的運(yùn)動(dòng)狀態(tài)方程以實(shí)現(xiàn)其運(yùn)動(dòng)狀態(tài)的描述,兩個(gè)關(guān)鍵問(wèn)題是狀態(tài)向量中各個(gè)分量的選擇以及狀態(tài)方程的建立.

針對(duì)第2.1節(jié)中的小鼠部件模型，其完整運(yùn)動(dòng)狀態(tài)應(yīng)包含兩部分:體態(tài)變化及整體位姿變化.前者由體態(tài)伸長(zhǎng)e和體態(tài)曲率ρ兩個(gè)變量所描述,后者則包括平面位姿變量(x,y,θ)表示其在全局坐標(biāo)系下的坐標(biāo)及姿態(tài)角,從而構(gòu)成基本狀態(tài)向量XXX=(x,y,θ,e,ρ)T.基于小鼠運(yùn)動(dòng)不受外界主觀控制的特點(diǎn),一種運(yùn)動(dòng)建模方法是假定各分量服從獨(dú)立隨機(jī)變化規(guī)律的隨機(jī)運(yùn)動(dòng)模型,即在前一個(gè)狀態(tài)基礎(chǔ)上增加一個(gè)隨機(jī)偏移從而推算出新?tīng)顟B(tài),結(jié)果如式(2)所示.

然而這種方法沒(méi)有充分利用實(shí)驗(yàn)小鼠的運(yùn)動(dòng)習(xí)性特征,小鼠的運(yùn)動(dòng)狀態(tài)變?yōu)榧兇獠聹y(cè),最終影響了精確估計(jì)條件下的濾波算法的粒子規(guī)模.同時(shí)小鼠的移動(dòng)速度仍然需要對(duì)小鼠位置變量(x,y)做差分運(yùn)算,喪失了粒子濾波充分利用先驗(yàn)觀測(cè)實(shí)現(xiàn)精確估計(jì)的優(yōu)勢(shì).

為解決上述問(wèn)題,在狀態(tài)向量中引入一個(gè)移動(dòng)速率變量v,并認(rèn)為v的方向與頭部橢圓模型的長(zhǎng)軸方向一致.如圖3所示,在移動(dòng)速率v及體態(tài)曲率ρ恒定不變的條件下,小鼠將以勻速圓周規(guī)律運(yùn)動(dòng).其圓心與圖2中的C點(diǎn)重合,運(yùn)動(dòng)軌跡的曲率則與式(1)中的ρ相同.

圖3 小鼠以恒定的體態(tài)曲率ρ及移動(dòng)速率v的勻速圓周運(yùn)動(dòng)Fig.3 Uniform circular motion of a mouse with constant curvature ρ and constant moving velocity v

由于小鼠體態(tài)的變化難以預(yù)測(cè),因此體態(tài)伸長(zhǎng)e和體態(tài)曲率ρ仍服從隨機(jī)運(yùn)動(dòng)規(guī)律.綜上所述,新的狀態(tài)向量可表示為

而狀態(tài)方程則如式(3)所示.

式中,Δt是視頻采集周期,函數(shù)fx與fy分別是小鼠位置x和y的變化規(guī)律,基于圓周運(yùn)動(dòng)假設(shè)有:

其中,ωk是圓周運(yùn)動(dòng)的角速度,且有ωk=vkρk.式(3)中，δ是六維隨機(jī)向量,描述了小鼠運(yùn)動(dòng)的隨機(jī)特性.

此外,實(shí)際應(yīng)用狀態(tài)方程(3)時(shí),還需考慮小鼠體態(tài)的物理限制、移動(dòng)速度的限制以及視頻觀測(cè)的視野范圍等,針對(duì)式(3)所得的狀態(tài)向量XXX的每一個(gè)分量q限幅:

式中,q1,q2,···,q7分別對(duì)應(yīng)了XXX的各個(gè)分量x,y,θ,v,e,ρ,各變量物理限制依據(jù)經(jīng)驗(yàn)預(yù)先設(shè)定.

3 實(shí)驗(yàn)小鼠的粒子濾波跟蹤

粒子濾波是Bayes濾波器的一種形式,Bayes濾波器的目標(biāo)是給出狀態(tài)變量在一次新觀測(cè)條件下的后驗(yàn)概率分布.粒子濾波器通過(guò)蒙特卡洛方法,以一定數(shù)量的采樣粒子來(lái)近似表示這一概率分布,其特點(diǎn)是能夠適用于非線性系統(tǒng),并易于理解和實(shí)現(xiàn).粒子濾波算法已具有堅(jiān)實(shí)的理論基礎(chǔ)和成熟的技術(shù)實(shí)現(xiàn),細(xì)節(jié)可參照文獻(xiàn)[20].本文采用基本粒子濾波算法,著重討論實(shí)驗(yàn)小鼠跟蹤這一特定問(wèn)題下應(yīng)考慮的因素,至于針對(duì)粒子匱乏、粒子搶奪等缺陷的各種算法改進(jìn)和提升可參考文獻(xiàn)[21].

3.1 基本粒子濾波算法

基本粒子濾波算法列表如表1所示.

表1 基本粒子濾波算法列表[20]Table 1 Algorithm list of the basic particle fi lter[20]

算法中M是預(yù)設(shè)的粒子總數(shù),χt是上一個(gè)周期的M個(gè)粒子集合,zt+1是本周期的觀測(cè)結(jié)果,對(duì)于小鼠跟蹤這一特定問(wèn)題,zt+1是圖像的二值化圖像結(jié)果.第4行的采樣過(guò)程即依據(jù)小鼠運(yùn)動(dòng)模型式(3)從前一個(gè)狀態(tài)產(chǎn)生新的狀態(tài)第5行計(jì)算對(duì)應(yīng)的理論觀測(cè)結(jié)果和實(shí)際觀測(cè)結(jié)果zt+1兩者的匹配度,從而求得狀態(tài)粒子的重要性權(quán)重是所有粒子狀態(tài)及其權(quán)重二元組的集合.第8行則是粒子濾波器的重采樣過(guò)程,由于重采樣算法較為成熟,且與小鼠跟蹤這一特定問(wèn)題較為獨(dú)立,這里不再詳細(xì)列出,具體可參照文獻(xiàn)[20?21].

“通過(guò)此次身體檢查，我知道了自己身體存在哪些問(wèn)題，也知道了以后在飲食上要注意些什么，要感謝公司的這個(gè)好政策?！苯?，一師電力公司職工許衛(wèi)軍告訴筆者。

由此可見(jiàn),為實(shí)現(xiàn)上述粒子濾波算法,需要為式(3)中的隨機(jī)向量δ定義合理的概率分布規(guī)律.同時(shí)需要依據(jù)實(shí)際觀測(cè)zt+1求出任意粒子狀態(tài)的重要性權(quán)重

3.2 模板匹配及重要性權(quán)重計(jì)算方法

設(shè)攝像機(jī)的采集分辨率為W×H像素,則算法列表 1中第 5行中的zt+1由W×H個(gè)布爾函數(shù)q(u,v)組成,其中,(u,v)是像素坐標(biāo),q(u,v)=true表明該像素隸屬于小鼠目標(biāo);反之,則不屬于小鼠目標(biāo),記所有屬于小鼠的像素坐標(biāo)集合為ΣO,即:

為描述實(shí)際觀測(cè)與理論模型之間的差異,定義一種差異度函數(shù)為

其中,n(·)為集合中元素的個(gè)數(shù).當(dāng)時(shí),由式(8)計(jì)算出表示實(shí)際觀測(cè)與該狀態(tài)粒子的差異度為0,兩者完全匹配;當(dāng)時(shí),由式 (8)可知表示實(shí)際觀測(cè)與部件模型不具備任何匹配像素,兩者完全不同.而當(dāng)?shù)脑財(cái)?shù)目從0逐步增加至逐步減小至0,從而表明兩者差異度逐步降低直至完全匹配.式(8)連續(xù)可微且對(duì)匹配像素?cái)?shù)單調(diào)遞減,因而可用于生成粒子的重要性權(quán)重系數(shù).

結(jié)合式(8)和式(10)得到第m個(gè)粒子的差異度r[m]的概率密度,作為第m個(gè)樣值粒子所對(duì)應(yīng)的相對(duì)權(quán)重,并用于后續(xù)重采樣過(guò)程,從而得到算法列表1第5行的粒子權(quán)重計(jì)算方法.

3.3 運(yùn)動(dòng)模型中的隨機(jī)參數(shù)

表1中第4行的計(jì)算依據(jù)是式(3)所示的實(shí)驗(yàn)小鼠運(yùn)動(dòng)狀態(tài)方程.粒子狀態(tài)的推移與式中六維隨機(jī)向量δ的分布規(guī)律有關(guān),本文假定其服從均值為0,協(xié)方差矩陣為Σ的六維聯(lián)合Guass分布.然而相應(yīng)的隨機(jī)實(shí)驗(yàn)存在較大困難,無(wú)法確定Σ的具體數(shù)值.為簡(jiǎn)化計(jì)算難度,進(jìn)一步忽略了隨機(jī)向量的各個(gè)分量的相關(guān)性,從而將六維隨機(jī)向量簡(jiǎn)化為服從相互獨(dú)立的Guass分布,其協(xié)方差矩陣Σ退化為一個(gè)對(duì)角陣,對(duì)角線元素分別是每一個(gè)隨機(jī)變量的方差,即:

3.4 粒子的密度估計(jì)

諸多方法中最易實(shí)施、計(jì)算代價(jià)最低的是均值估計(jì),即假設(shè)粒子分布滿足高斯分布,計(jì)算各粒子對(duì)應(yīng)狀態(tài)的期望和方差,并將期望作為估計(jì)結(jié)果.然而該方法無(wú)法處理小鼠在透明鼠籠上的鏡像所導(dǎo)致的多峰分布狀況,均值運(yùn)算將混合小鼠目標(biāo)與其鏡像狀態(tài),從而可能產(chǎn)生較大的跟蹤誤差.核密度估計(jì)法能夠擬合出一批采樣粒子所對(duì)應(yīng)的精確分布規(guī)律,但是多元核密度估計(jì)算法較為復(fù)雜,且核密度估計(jì)后還需求解非線性函數(shù)的局部極值才能獲得最終結(jié)果,計(jì)算效率較低.直方圖法則難以應(yīng)對(duì)六維狀態(tài)空間的有效劃分問(wèn)題,難以在有限的存儲(chǔ)空間下獲得優(yōu)良的估計(jì)結(jié)果.

相比之下,K-means聚類法[22]依據(jù)狀態(tài)向量間的歐氏距離對(duì)采樣粒子進(jìn)行分類,可以滿足多峰值條件下的提取要求.同時(shí),狀態(tài)向量的歐氏距離計(jì)算能夠滿足計(jì)算效率要求,因而在多個(gè)多方面具有優(yōu)勢(shì).K-means算法在實(shí)際應(yīng)用過(guò)程中需要預(yù)先指定峰值的最多個(gè)數(shù),其來(lái)源于對(duì)小鼠狀態(tài)分布的先驗(yàn)知識(shí).例如,粒子狀態(tài)的峰值主要出現(xiàn)于小鼠首尾對(duì)稱的兩種狀況下,則可預(yù)先指定聚類類別k=2,若再考慮實(shí)驗(yàn)鼠籠產(chǎn)生小鼠鏡像的狀況,則可設(shè)定k=4.K-means聚類后,從最終峰值中,選擇權(quán)重之和最大的一個(gè)作為最終的識(shí)別結(jié)果.

4 實(shí)驗(yàn)結(jié)果及討論

4.1 實(shí)驗(yàn)裝置及方法

為驗(yàn)證小鼠運(yùn)動(dòng)參數(shù)提取算法的有效性,設(shè)計(jì)并實(shí)施了一種小動(dòng)物行為學(xué)實(shí)驗(yàn)裝置,系統(tǒng)原理如圖4所示.主體結(jié)構(gòu)是一個(gè)鐵制白色不透光箱體,內(nèi)部可放置若干個(gè)上端開(kāi)口的透明動(dòng)物籠.箱體四壁分布了多個(gè)LED照明燈管.照明自動(dòng)控制系統(tǒng)實(shí)現(xiàn)了三種照明模式:自然強(qiáng)度的白光、強(qiáng)照度藍(lán)光及黑暗條件下的紅外光.三種模式可以以任意次序,任意時(shí)長(zhǎng)組合并循環(huán)切換.箱體頂部配置一臺(tái)CCD彩色攝像機(jī),輸出的信號(hào)經(jīng)視頻采集系統(tǒng)轉(zhuǎn)換為數(shù)字圖像并傳送到圖像處理工作站,經(jīng)工作站在線處理并保存為AVI格式視頻文件,視頻采集幀速率為24幀/s.圖形處理工作站采用Intel Core i7-4700MQ處理器及8GB內(nèi)存.

圖4 帶有視頻跟蹤的小鼠行為學(xué)實(shí)驗(yàn)裝置Fig.4 Experimental device for behavior analysis of mice with video tracking

行為學(xué)實(shí)驗(yàn)要求在多種光照模式下觀測(cè)并提取小鼠的運(yùn)動(dòng)軌跡、運(yùn)動(dòng)速度和體態(tài)等參數(shù),實(shí)驗(yàn)時(shí)間最長(zhǎng)可達(dá)48h.采用白色小鼠在三種光照條件下的樣本圖片如圖5所示.

圖5 不同光照條件下的視頻拍攝截圖Fig.5 Snapshots of the video in diあerent illuminating conditions

4.2 小鼠跟蹤實(shí)驗(yàn)及結(jié)果

為了適應(yīng)不同的光照條件,避免頻繁的顏色域值標(biāo)定,采用背景減除法提取小鼠的二值化圖像.分別在不同的光照條件下采用混合Guass模型對(duì)一段初始圖像序列執(zhí)行背景學(xué)習(xí)后,啟動(dòng)背景減除過(guò)程,同時(shí)在背景減除處理期間,每間隔若干幀執(zhí)行一次背景學(xué)習(xí),從而不斷適應(yīng)環(huán)境所發(fā)生的微小變化.對(duì)背景減除所生成的二值化圖像進(jìn)行了形態(tài)學(xué)運(yùn)算和輪廓求解,從而濾除了明顯的識(shí)別噪聲.上述過(guò)程采用OpenCV圖像處理庫(kù)實(shí)現(xiàn).藍(lán)色強(qiáng)光照射條件下的一幀處理實(shí)例如圖6所示.由圖6可見(jiàn),最終處理結(jié)果除了目標(biāo)小鼠的像素外,還遺留了透明鼠籠所產(chǎn)生的鏡像等干擾尚未濾除.

圖6 背景減除及后續(xù)的圖像預(yù)處理過(guò)程示例Fig.6 An example of the background subtraction and the followed image preprocessing

粒子濾波算法基于Bayes濾波庫(kù)OROCOS[23]實(shí)現(xiàn),所形成的算法流程圖如圖7所示.

圖7所示的過(guò)程中,粒子濾波器的粒子總數(shù)設(shè)定為500,當(dāng)無(wú)效粒子權(quán)重達(dá)到粒子總數(shù)的1/4啟動(dòng)重采樣.實(shí)驗(yàn)過(guò)程中,式(3)所對(duì)應(yīng)的物理量如表2所示,此外觀測(cè)模型中的模型差異度r及其概率分布參數(shù)也列在表2中.

如圖8所示是在藍(lán)色強(qiáng)光照射條件下截取的一段小鼠視頻跟蹤結(jié)果.在透明鼠籠鏡面反射干擾的條件下,能夠有效地跟隨小鼠的運(yùn)動(dòng)軌跡,除較為精確的位置x,y外,還包括其姿態(tài)角θ,且能夠有效地區(qū)分小鼠的頭部和尾部.

圖7 圖像預(yù)處理與粒子濾波的小鼠運(yùn)動(dòng)參數(shù)提取流程圖Fig.7 Flow chart of the parameters for behavior analysis based on image preprocessing and particle fi lter

以藍(lán)光—白光—黑暗三種照射條件各持續(xù)60s為標(biāo)準(zhǔn)實(shí)驗(yàn),每一種光照條件下的前20s用于背景學(xué)習(xí),后40s啟動(dòng)背景減除及粒子濾波算法.將三段的提取結(jié)果進(jìn)行連接,小鼠的運(yùn)動(dòng)軌跡和姿態(tài)角如圖9所示,可見(jiàn)其軌跡連續(xù)、姿態(tài)角和軌跡具有良好的一致性,未出現(xiàn)因?yàn)樽R(shí)別錯(cuò)誤而導(dǎo)致的小鼠位置跳躍及軌跡不連續(xù)現(xiàn)象.因而證實(shí)本文的方法能夠達(dá)到優(yōu)良整體軌跡跟蹤性能.

表2 實(shí)驗(yàn)小鼠狀態(tài)變量及模型差異度r的正態(tài)分布參數(shù)Table 2 Parameters of the normalized distribution for the state variables and model-observation diあerence r of a laboratory mouse

圖8 藍(lán)光照射條件下的一段小鼠目標(biāo)跟蹤結(jié)果Fig.8 One piece of the object tracking result of a mouse in the blue illuminating condition

如圖10所示是算法所提取的運(yùn)動(dòng)參數(shù),包括小鼠移動(dòng)速度圖v、體態(tài)伸長(zhǎng)e和體態(tài)曲率ρ變化圖.其能夠較為精確地顯示出實(shí)驗(yàn)小鼠的運(yùn)動(dòng)速度和體態(tài)的變化.圖10中,在實(shí)驗(yàn)小鼠具有較高移動(dòng)速度時(shí),均對(duì)應(yīng)了其體態(tài)伸長(zhǎng)幅度的增加,因而符合小鼠的運(yùn)動(dòng)習(xí)性.其中65s～80s時(shí)間段內(nèi),小鼠的移動(dòng)速度接近于零,同時(shí)體態(tài)伸長(zhǎng)也縮減到最小值表明小鼠處于靜止蹲窩的狀態(tài),與其他時(shí)間段內(nèi)小鼠的快速移動(dòng)和探索行為對(duì)比明顯,因而所提取的小鼠體態(tài)及其他運(yùn)動(dòng)參數(shù)可用于小鼠的后續(xù)行為學(xué)分析.

圖9 模板匹配及粒子濾波方法在三種不同光照條件下所提取的實(shí)驗(yàn)小鼠整體運(yùn)動(dòng)軌跡提取結(jié)果Fig.9 The extracting result of the moving trajectory of the laboratory mouse in three diあerent illuminating conditions using model matching and particle fi ltering

圖10 模板匹配及粒子濾波算法所提取的移動(dòng)速度、體長(zhǎng)變化及體態(tài)曲率結(jié)果Fig.10 The extracting result of the motion speed,body length variation and body curvature using model matching and particle fi ltering

上述的三種光照切換實(shí)驗(yàn)中,排除前期背景學(xué)習(xí)實(shí)驗(yàn)段的每一獨(dú)立幀的處理時(shí)間統(tǒng)計(jì)直方圖如圖11所示,可見(jiàn)該時(shí)間主要分布在30ms以下,因而能夠達(dá)到實(shí)驗(yàn)裝置24幀/s的采集速率下的實(shí)時(shí)在線提取需求.

圖11 單周期運(yùn)動(dòng)參數(shù)提取算法計(jì)算耗時(shí)直方圖Fig.11 Histogram of the computing time consumption of the motion parameter extraction algorithm for a single cycle

4.3 與單幀圖像差分跟蹤方法的對(duì)比實(shí)驗(yàn)

在本文所述的模板匹配和粒子濾波算法外,還采用面向單幀數(shù)字圖像處理的方法求解二值化圖像中前景像素的矩形包圍盒,并通過(guò)幀間差分的方法進(jìn)行了實(shí)驗(yàn)小鼠軌跡跟蹤以及移動(dòng)速度提取的實(shí)驗(yàn).如圖12所示是基于相同的背景減除方法及形態(tài)學(xué)濾波及輪廓計(jì)算,針對(duì)如圖9所示相同的實(shí)驗(yàn)視頻的軌跡提取結(jié)果,圖13是利用差分法計(jì)算所得的移動(dòng)速度和體長(zhǎng)變化參數(shù).

圖12 采用幀間差分法在三種光照條件下所提取的目標(biāo)小鼠整體運(yùn)動(dòng)軌跡提取結(jié)果Fig.12 The extracting result of the moving trajectory of the object mouse in three diあerent illuminating conditions using frame diあerencing method

圖12中的軌跡存在較大的跳躍,并且存在一系列誤識(shí)別結(jié)果,這些錯(cuò)誤的識(shí)別結(jié)果來(lái)源于將實(shí)驗(yàn)小鼠的鏡像誤當(dāng)做小鼠本身.同時(shí)圖13對(duì)小鼠移動(dòng)速度和體長(zhǎng)參數(shù)的估計(jì)被大量噪聲所干擾,難以統(tǒng)計(jì)出活動(dòng)頻率的特征,進(jìn)而很難應(yīng)用于后續(xù)行為參數(shù)的分析.

圖13 幀間差分法所提取的移動(dòng)速度、體長(zhǎng)變化及體態(tài)曲率結(jié)果Fig.13 The extracting result of the motion speed,body length variation,and body curvature using frame diあerencing method

4.4 針對(duì)移動(dòng)速度 v 的討論

如第2.2節(jié)中的狀態(tài)向量中引入小鼠移動(dòng)速率v的策略除了能夠?qū)崿F(xiàn)該變量的直接估計(jì)外,還能夠在目標(biāo)跟蹤時(shí)盡快糾正首尾倒置的錯(cuò)誤.

實(shí)驗(yàn)表明,當(dāng)圖2所示的模型中臀部橢圓參數(shù)(at,bt)與頭部橢圓參數(shù)(ah,bh)相近或者圖像二值化過(guò)程中存在較大識(shí)別誤差的條件下,易導(dǎo)致小鼠首尾倒置的識(shí)別結(jié)果.此時(shí)若按照式(2)的隨機(jī)運(yùn)動(dòng)規(guī)律,則可能在較長(zhǎng)時(shí)間內(nèi)無(wú)法糾正這一錯(cuò)誤.

考慮到小鼠更習(xí)慣于前進(jìn)運(yùn)動(dòng)的習(xí)性,在引入移動(dòng)速率v且在式(5)的限幅函數(shù)中設(shè)定小鼠的最高前進(jìn)移動(dòng)速率|vmax|遠(yuǎn)大于最高后退移動(dòng)速率|vmin|的條件下,只有那些首尾狀態(tài)與移動(dòng)速率方向一致的粒子才能夠達(dá)到更好的匹配度,而首尾狀態(tài)與移動(dòng)速度方向相反的粒子則迅速遭到淘汰,從而能夠在后續(xù)幾幀內(nèi)快速消除首尾的識(shí)別錯(cuò)誤,提高了小鼠運(yùn)動(dòng)的跟蹤準(zhǔn)確度.

4.5 粒子濾波器的必要性討論

本文所提出的方法能夠有效濾除透明鼠籠產(chǎn)生的虛影,并得出較為精確的參數(shù)提取結(jié)果得益于粒子濾波器的幾項(xiàng)特征.粒子濾波基于概率隨機(jī)思想,求解結(jié)果是小鼠狀態(tài)的概率分布而非單一取值,當(dāng)概率分布存在多個(gè)峰值時(shí),可以通過(guò)小鼠的活動(dòng)范圍對(duì)結(jié)果進(jìn)行進(jìn)一步過(guò)濾,從而排除了錯(cuò)誤的識(shí)別結(jié)果.同時(shí),基于Markov過(guò)程的方法能夠有效利用多次觀測(cè)結(jié)果,逐步改正識(shí)別錯(cuò)誤和觀測(cè)誤差,從而避免錯(cuò)誤估計(jì)的傳播.粒子濾波器本質(zhì)上建立了視頻圖片的前后聯(lián)系,協(xié)助濾除了圖像二值化的噪聲,從而在較大干擾的條件下,依然能夠?qū)崿F(xiàn)小鼠宏觀運(yùn)動(dòng)和微觀體態(tài)信息的同時(shí)精確提取.

5 結(jié)論

本文將實(shí)驗(yàn)小鼠的運(yùn)動(dòng)參數(shù)提取歸結(jié)為一個(gè)視頻目標(biāo)跟蹤問(wèn)題,并采用模板匹配和粒子濾波思想對(duì)該問(wèn)題進(jìn)行求解.提出一種實(shí)驗(yàn)小鼠的簡(jiǎn)化幾何體模型,在完整描繪其運(yùn)動(dòng)特性的前提下,充分考慮了模型與頂置視角實(shí)驗(yàn)小鼠的形體相似性,并實(shí)現(xiàn)了高效的匹配運(yùn)算性能.所提出的運(yùn)動(dòng)模型中引入了小鼠移動(dòng)速率參數(shù),在實(shí)現(xiàn)了這一參數(shù)的精確估計(jì)之外,有效解決了首尾識(shí)別混淆的錯(cuò)誤,提升了參數(shù)提取的精確度.粒子濾波方法有效建立起了視頻圖像的前后聯(lián)系,解決了虛影等一系列干擾問(wèn)題.與逐幀識(shí)別差分法的對(duì)比實(shí)驗(yàn)證實(shí)了模板匹配與粒子濾波器能夠?qū)崿F(xiàn)強(qiáng)噪聲干擾條件下小鼠宏觀運(yùn)動(dòng)和微觀體態(tài)的同時(shí)提取,從而能夠?yàn)楹罄m(xù)行為學(xué)分析提供可靠依據(jù).

未來(lái)研究方向包括:依據(jù)識(shí)別結(jié)果更新小鼠模型長(zhǎng)短軸參數(shù)的在線自適應(yīng)調(diào)整;基于粒子濾波器具有融合多個(gè)視頻采集信息的能力,實(shí)現(xiàn)更為精確的運(yùn)動(dòng)參數(shù)乃至三維運(yùn)動(dòng)參數(shù)的提取,可能的解決方案如建立一種合理的小鼠三維觀測(cè)模型;此外如果考慮多只小鼠的交互行為實(shí)驗(yàn),則需要對(duì)粒子濾波器做進(jìn)一步的改進(jìn),以解決高維度下的運(yùn)算負(fù)荷問(wèn)題和粒子搶奪等問(wèn)題.

1 Shang Yu-Chang.Animal Ethology.Beijing:Peking University Press,2005.

(尚玉昌.動(dòng)物行為學(xué).北京:北京大學(xué)出版社,2005.)

2 Dell A I,Bender J A,Branson K,Couzin I D,de Polavieja G G,Noldus L P J J,P′erez-Escudero A,Perona P,Straw A D, Wikelski M,Brose U.Automated image-based tracking and its application in ecology.Trends in Ecology&Evolution, 2014,29(7):417?428

3 Jhuang H,Garrote E,Yu X L,Khilnani V,Poggio T,Steele A D,Serre T.Automated home-cage behavioural phenotyping of mice.Nature Communications,2010,1(6):Article No.68

4 Ishii H,Ogura M,Kurisu S,Komura A,Takanishi A,Iida N, Kimura H.Development of autonomous experimental setup for behavior analysis of rats.In:Proceedings of the 2007 IEEE/RSJ International Conference on Intelligent Robots and Systems.San Diego,USA:IEEE,2007.4152?4157

5 Salem G,Dennis J,Krynitsky J,Garmendia-Cedillos M, Swaroop K,Malley J D,Pajevic S,Abuhatzira L,Bustin M,Gillet J P,Gottesman M M,Mitchell J B,Pohida T J.SCORHE:a novel and practical approach to video monitoring of laboratory mice housed in vivarium cage racks.Behavior Research Methods,2014,47(1):235?250

6 Noldus L P J J,Spink A J,Tegelenbosch R A J.Etho-Vision:a versatile video tracking system for automation of behavioral experiments.Behavior Research Methods,Instruments,&Computers,2001,33(3):398?414

7 Rantalainen T,Silvennoinen M,Kainulainen H,Siev¨anen H. Vertical ground reaction force measurements and video measurements provide comparable estimates of distance moved by mice during arti fi cial light and dark periods.Journal of Neuroscience Methods,2011,197(1):104?108

8 Dielenberg R A,Halasz P,Day T A.A method for tracking rats in a complex and completely dark environment using computerized video analysis.Journal of Neuroscience Methods,2006,158(2):279?286

9 Zurn J B,Jiang X H,Motai Y.Video-based tracking and incremental learning applied to rodent behavioral activity under near-infrared illumination.IEEE Transactions on Instrumentation and Measurement,2008,56(6):2804?2813

10 Pistori H,Odakura V V V A,Monteiro J B O,Gon?calves W N,Roel A R,de Andrade Silva J.Mice and larvae tracking using a particle fi lter with an auto-adjustable observation model.Pattern Recognition Letters,2010,31(4):337?346

11 Zhang Min,Zhang Heng-Yi,Zheng Xiao-Xiang.Automatic recognition of rat′s postures based on contour curvature and hierarchical clustering analysis.Journal of Zhejiang University(Engineering Science),2006,40(3):524?527,532

(張敏,張恒義,鄭筱祥.基于輪廓曲率和譜系聚類的大鼠體態(tài)自動(dòng)識(shí)別.浙江大學(xué)學(xué)報(bào)(工學(xué)版),2006,40(3):524?527,532)

12 de Chaumont F,Coura R D S,Serreau P,Cressant A, Chabout J,Granon S,Olivo-Marin J C.Computerized video analysis of social interactions in mice.Nature Methods, 2012,9(4):410?41713 Shi Q,Miyagishima S,Fumino S,Konno S,Ishii H,Takanishi A.Development of a cognition system for analyzing rat′s behaviors.In:Proceedings of the 2010 IEEE International Conference on Robotics and Biomimetics(ROBIO).Tianjin,China:IEEE,2010.1399?1404

14 Branson K,Belongie S.Tracking multiple mouse contours (without too many samples).In:Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego,CA,USA:IEEE,2005: 1039?1046

15 Farah R,Langlois J M P,Bilodeau G.Catching a rat by its edglets.IEEE Transactions on Image Processing,2013, 22(2):668?678

16 de Andrade Silva J,Gon?calves W,Machado B,Pistori H,de Souza A S,de Souza K P.Comparison of shape descriptors for mice behavior recognition.In:Proceeding of Progress in Pattern Recognition,Image Analysis,Computer Vision,and Applications.Berlin Heidelberg,Germany:Springer,2010. 370?377

17 Wu Y,Lim J,Yang M H.Online object tracking:a benchmark.In:Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland,OR, USA:IEEE,2013.2411?2418

18 Smeulders A W M,Chu D M,Cucchiara R,Calderara S, Dehghan A,Shah M.Visual tracking:an experimental survey.IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,36(7):1442?1468

19 Li X,Hu W M,Shen C H,Zhang Z F,Dick A,Van Den Hengel A.A survey of appearance models in visual object tracking.ACM Transactions on Intelligent Systems and Technology,2013,4(4):Article No.58

20 Thrun S,Burgard W,Fox D.Probabilistic Robotics.Cambridge,UK:MIT Press,2006.

21 Li Tian-Cheng,Fan Hong-Qi,Sun Shu-Dong.Particle fi ltering:theory,approach,and application for multi-target tracking.Acta Automatica Sinica,2015,41(12):1981?2002 (李天成,范紅旗,孫樹(shù)棟.粒子濾波理論、方法及其在多目標(biāo)跟蹤中的應(yīng)用.自動(dòng)化學(xué)報(bào),2015,41(12):1981?2002)

22 Hartigan J A,Wong M A.Algorithm as 136:a K-means clustering algorithm.Journal of the Royal Statistical Society.Series C(Applied Statistics),1979,28(1):100?108

23 Bruyninckx H.Open robot control software:the OROCOS project.In:Proceedings of the 2001 IEEE International Conference on Robotics and Automation.Seoul,South Korea:IEEE,2001:2523?2528