一種簡(jiǎn)單可靠的昆蟲撲翼運(yùn)動(dòng)圖像序列自動(dòng)分析方法

魏 榛,楊基明,C.P.Ellington

(1.中國(guó)科學(xué)技術(shù)大學(xué),安徽合肥 230027;2.劍橋大學(xué),英國(guó) CB2 3EJ)

0 引 言

昆蟲飛行的運(yùn)動(dòng)學(xué)描述一直是撲翼飛行空氣動(dòng)力學(xué)研究所需的重要信息。高速攝影則是獲得昆蟲撲翼運(yùn)動(dòng)細(xì)節(jié)的絕佳工具。如今,昆蟲觀測(cè)中高速相機(jī)拍攝速度已達(dá)到1000fps以上,一次可存儲(chǔ)上千幀昆蟲運(yùn)動(dòng)的數(shù)字圖像。此時(shí)采用人工逐幀提取圖像中昆蟲形態(tài)學(xué)特征的方法[1]來分析數(shù)據(jù)顯然不可取,開發(fā)一種能夠自動(dòng)分析海量昆蟲撲翼運(yùn)動(dòng)圖像的方法十分必要。

然而,昆蟲運(yùn)動(dòng)圖像的復(fù)雜性和經(jīng)典運(yùn)動(dòng)圖像識(shí)別技術(shù)的局限性,使得實(shí)現(xiàn)這樣的自動(dòng)分析非常不容易。首先,昆蟲圖像輪廓十分復(fù)雜：真實(shí)昆蟲翼面不僅具有揮拍角、迎角和偏斜角的變化還具有扭轉(zhuǎn)和彎曲變形[2-3],而且昆蟲身體還有其自身的運(yùn)動(dòng)姿態(tài)。其次,撲翼運(yùn)動(dòng)的某些時(shí)刻翼面圖像和昆蟲身體圖像間會(huì)發(fā)生部分遮擋。再次,昆蟲翼面本身的透明性使得翼面圖像和背景十分接近。再則,每幀圖像都需要同時(shí)提取多個(gè)形態(tài)學(xué)特征：左右翼面各自的翼尖、翼根點(diǎn),前、后緣輪廓,身體的頭部和腹部端點(diǎn)等。最后,經(jīng)典的運(yùn)動(dòng)圖像識(shí)別方法直接處理昆蟲圖像問題大都有局限：如基于背景提取的模板匹配方法[4-5]雖然可以適應(yīng)遮擋、透明和噪聲等問題,但較難適應(yīng)昆蟲圖像輪廓的柔性大變形;而光流法[7]可以克服柔性大變形影響,卻無法較好處理遮擋、透明和噪聲等問題。

為了構(gòu)建一種切實(shí)可用的,無需人工干預(yù),不針對(duì)特定昆蟲,運(yùn)算量也較小的昆蟲撲翼圖像自動(dòng)分析方法,經(jīng)過對(duì)昆蟲撲翼運(yùn)動(dòng)圖像的內(nèi)在特點(diǎn)的分析,獨(dú)辟蹊徑地提出了一種完全不同于經(jīng)典運(yùn)動(dòng)圖像識(shí)別方法的新方法,并嘗試了使用程序合成的虛擬昆蟲運(yùn)動(dòng)圖像和真實(shí)昆蟲的運(yùn)動(dòng)圖像測(cè)試該方法。

1 基本假設(shè)和圖像處理流程

昆蟲圖像的形態(tài)學(xué)特征提取是獲得昆蟲飛行的運(yùn)動(dòng)學(xué)描述十分基本而關(guān)鍵的步驟：?jiǎn)蜗鄼C(jī)觀測(cè)系統(tǒng)得到昆蟲形態(tài)學(xué)特征后即可使用對(duì)稱假設(shè)[1,8]等求出運(yùn)動(dòng)學(xué)描述;多相機(jī)系統(tǒng)得到每個(gè)相機(jī)視角的昆蟲形態(tài)學(xué)特征后,即可通過對(duì)應(yīng)特征的空間匹配[5-6,9-10]求出運(yùn)動(dòng)學(xué)描述。因此,這里不討論具體的觀測(cè)系統(tǒng),而是解決單個(gè)視角昆蟲圖像上的自動(dòng)昆蟲形態(tài)學(xué)特征提取這一基本而關(guān)鍵的難題。為了實(shí)現(xiàn)所提出的處理方法,對(duì)于選取的昆蟲圖像需要滿足一些簡(jiǎn)單的假設(shè)。

首先,圖像序列中昆蟲的身體和翼面間的遮擋不能太嚴(yán)重。嚴(yán)重遮擋的時(shí)候,不便于同時(shí)提取兩翼面的形態(tài)學(xué)特征。其次,相鄰兩幀圖像間的翼面位置變化要大于昆蟲身體的位置變化。再次,圖像中翼面前緣輪廓線與翼面后緣輪廓線只在翼尖點(diǎn)和翼根點(diǎn)相交,即不考慮翼面嚴(yán)重扭轉(zhuǎn)的情形。最后,假設(shè)昆蟲身體部分只發(fā)生剛性運(yùn)動(dòng),且昆蟲頭部端點(diǎn)到翼根點(diǎn)的距離要小于昆蟲腹部端點(diǎn)到翼根點(diǎn)的距離。

選取合適的相機(jī)角度和拍攝速度,上述假設(shè)對(duì)于果蠅,黃蜂,鷹蛾等昆蟲都較容易滿足。得到圖像序列之后,首先需要獲得每幀圖像中昆蟲部分的二值圖,然后再根據(jù)得到的二值圖計(jì)算昆蟲的形態(tài)學(xué)特征。與經(jīng)典運(yùn)動(dòng)圖像處理方法截然不同：這里采用了相鄰三幀圖像的巧妙運(yùn)算來實(shí)現(xiàn)昆蟲翼面和身體的二值圖提取,借助了昆蟲內(nèi)在特征和上述假設(shè),實(shí)現(xiàn)從二值圖逐一自動(dòng)分析所需的多個(gè)昆蟲形態(tài)學(xué)特征。

2 昆蟲翼面和身體二值圖的提取

為得到昆蟲翼面和身體的二值圖,利用了相鄰三幀圖像的差別。此方法既克服了經(jīng)典運(yùn)動(dòng)圖像識(shí)別中直接二值圖提取時(shí)無法應(yīng)對(duì)昆蟲翼面圖像與背景反差太小的問題,又克服了背景靜止圖像對(duì)二值圖提取時(shí)的干擾。其獨(dú)到過程如下圖1所示。

圖1 翼面二值圖提取原理Fig.1 Principle of wing binary image extraction

翼面二值圖提取的操作原理如圖 1所示：圖1(a)表示從i-1到i+1時(shí)刻連續(xù)的三幀昆蟲翼面輪廓關(guān)系;圖 1(b)中,把第i-1與i幀的灰度圖像相減并二值化得到的圖像標(biāo)號(hào)記作i-(i-1),其中白色部分為相鄰兩幀間翼面因重疊被減去的部分。然后使用圖像形態(tài)學(xué)算法可以填充這個(gè)白色區(qū)域部分,得到的圖像標(biāo)號(hào)記作i-1/2;標(biāo)號(hào)i+1/2的圖像提取的方法完全類似。最后,對(duì)標(biāo)號(hào)i-1/2和i+1/2的翼面二值圖進(jìn)行“與”操作,即得到i時(shí)刻昆蟲翼面部分的二值圖。

此方法巧妙地使用了兩次相鄰幀的相減圖像的二值化操作來提取中間幀的二值圖。因?yàn)槭菑南鄿p圖像中恢復(fù)原圖像信息,所以不需要使用背景圖像的灰度估計(jì)等,也就避免了翼面與背景反差太小時(shí)經(jīng)典運(yùn)動(dòng)圖像處理方法的直接二值化困難。同時(shí),經(jīng)典的圖像處理方法只使用一次相鄰幀的相減圖像的二值化操作來估計(jì)運(yùn)動(dòng)目標(biāo)的大體位置,這實(shí)質(zhì)上并沒有充分地利用幀間相減圖像的二值圖所包含的全部信息。使用兩次相鄰幀的相減圖像的二值化操作,則充分利用了相減圖像的二值圖信息,可以直接還原出中間幀的二值圖,因而與圖像中翼面如何變形無關(guān),這也避免了經(jīng)典圖像處理方法中模板匹配時(shí)不適合柔性大變形的難處。當(dāng)然,圖1是在理想情況下的操作過程,實(shí)際使用中還必須考慮真實(shí)圖像二值化的方法和圖像形態(tài)學(xué)處理的技巧。

相鄰兩幀圖像相減時(shí),所得灰度圖像反映了相減圖像間的灰度變化;對(duì)于昆蟲運(yùn)動(dòng)圖像而言,相鄰兩幀間的最大差別來自于翼面運(yùn)動(dòng)所帶來的灰度變化。由于相鄰兩幀圖像中翼面變化并不大,翼面灰度與背景灰度差別也不大,所以相減所得的圖像的灰度動(dòng)態(tài)范圍較小,因此先要增強(qiáng)相減圖像上翼面運(yùn)動(dòng)區(qū)域所代表的灰度特征。設(shè)相減圖像中一共有k階灰度,第i階灰度值為gi,具gi灰度值的像素個(gè)數(shù)為Ni,增強(qiáng)之后的加權(quán)灰度值Gi由下式計(jì)算

公式(1)所構(gòu)造的灰度值權(quán)重函數(shù)W是一個(gè)與像素個(gè)數(shù)比的對(duì)數(shù)成反比的函數(shù),即相減圖像上具有某個(gè)灰度值的像素個(gè)數(shù)占圖像總像素個(gè)數(shù)的比例越高,就越不可能是翼面運(yùn)動(dòng)有關(guān)的部分所在的像素,而相減圖像上那些灰度值較大且像素個(gè)數(shù)較少的像素則最有可能反映翼面的運(yùn)動(dòng)區(qū)域,在公式(1)中也取得了較大的灰度權(quán)重而被圖像增強(qiáng)。顯然這與相減圖像的物理直觀一致,比經(jīng)典圖像處理方法中的簡(jiǎn)單二值化方法更能強(qiáng)化圖像中所包含的運(yùn)動(dòng)和輪廓信息。

增強(qiáng)處理之后,相減圖像能夠充分地反映翼面運(yùn)動(dòng)區(qū)域的灰度特征,再取閾值進(jìn)行相減圖像的二值化,就可得到較完整的相減圖像的二值圖,即圖1中的標(biāo)號(hào)為i-(i-1)的圖像或標(biāo)號(hào)(i+1)-i的圖像。

以標(biāo)號(hào)i-(i-1)的圖像為例,分析得到標(biāo)號(hào)i-1/2的圖像的形態(tài)學(xué)處理技巧。真實(shí)圖像由于翅脈的灰度反差與翼面部分十分不一致或相減圖像的二值化閾值選取偏差,所得到的標(biāo)號(hào)i-(i-1)的圖像一般會(huì)出現(xiàn)連通區(qū)域破碎。這時(shí)圖像形態(tài)學(xué)處理進(jìn)行適當(dāng)修補(bǔ),處理過程如圖2所示。

圖2 中間過程二值圖的形態(tài)學(xué)操作Fig.2 Morphological operation of the binary image in process

首先通過連通域分割得到二值圖的分塊結(jié)果如圖2按面積由大到小編號(hào)為1,2,3…;然后,借助輪廓操作對(duì)每個(gè)分塊區(qū)域求取與編號(hào)1區(qū)域的外切線連通域;最后填充生成的連通域,再“并”操作即得到標(biāo)號(hào)i-1/2的圖像。經(jīng)典的運(yùn)動(dòng)圖像處理方法中,對(duì)于標(biāo)號(hào)i-(i-1)的圖像一般不會(huì)采取如圖2的深入處理,因?yàn)榻?jīng)典的運(yùn)動(dòng)圖像處理方法并非基于相鄰三幀圖像的兩次圖像相減的,而在獨(dú)辟蹊徑的巧妙方法中,圖2的圖像形態(tài)學(xué)操作使得最終標(biāo)號(hào)i-1/2的圖像與標(biāo)號(hào)i+1/2的圖像的“與”操作成為可能。

經(jīng)過“與”操作之后,第i幀圖像中的昆蟲翼面二值圖已經(jīng)成功提取出來。不難發(fā)現(xiàn),本方法巧妙地回避了正面解決昆蟲圖像輪廓柔性大變形和昆蟲圖像質(zhì)量不佳等問題,獨(dú)辟蹊徑把輪廓提取問題簡(jiǎn)化成兩次相鄰幀的相減圖像的二值化操作為核心的簡(jiǎn)單處理過程,因而能夠處理經(jīng)典運(yùn)動(dòng)圖像處理方法所不適合的難題。

由于昆蟲身體不透明,因而與圖像背景反差鮮明;所以得到第i幀的昆蟲翼面二值圖之后,直接在第i幀原圖像中扣除翼面二值圖部分,再對(duì)原圖像中翼面二值圖所在的局部區(qū)域進(jìn)行二值化即可得到昆蟲身體部分的二值圖。第i幀的昆蟲翼面二值圖已經(jīng)獲得,所以不僅昆蟲所在區(qū)域已經(jīng)確定,而且扣掉翼面原圖部分之后,昆蟲身體的二值圖提取就不再有來自翼面灰度的干擾,所以難度大大降低。

3 昆蟲形態(tài)學(xué)特征提取

得到各幀的昆蟲翼面和身體二值圖后,即可提取昆蟲形態(tài)學(xué)特征。經(jīng)典圖像處理方法中,基于背景提取的模板匹配方法如果已經(jīng)完成匹配,那么就可以從用于匹配的參照模板圖像上直接獲得昆蟲的形態(tài)學(xué)特征。然而模板匹配方法首先面對(duì)此難題就很難實(shí)現(xiàn)圖像匹配;就算得到匹配圖像,也是基于特定昆蟲的匹配,無法適應(yīng)非特定昆蟲的識(shí)別要求。而另一類經(jīng)典運(yùn)動(dòng)圖像處理方法如光流法,且不計(jì)較難以處理具有遮擋、透明和噪聲等問題的昆蟲圖像,即使得到輪廓結(jié)果,仍然也需要設(shè)計(jì)方法來進(jìn)行昆蟲形態(tài)學(xué)特征的分析,并無捷徑可走,因此與本方法相比并無優(yōu)勢(shì)。根據(jù)所述方法已經(jīng)分離出第i幀的翼面二值圖和昆蟲身體二值圖,因此,昆蟲形態(tài)學(xué)特征的提取成為可能。昆蟲形態(tài)學(xué)特征提取過程如圖3所示。

圖3 昆蟲形態(tài)學(xué)特征提取步驟Fig.3 Step of insect morphology feature extraction

由于使用了常見昆蟲的內(nèi)在特征作為形態(tài)學(xué)特征提取的依據(jù),因此對(duì)于滿足這些特征的昆蟲,這種形態(tài)學(xué)提取方法都是可靠的。也正因?yàn)榇?所以所提供的形態(tài)學(xué)特征提取方法是不針對(duì)特定昆蟲的,也是無需人工干預(yù)的,這大大優(yōu)于經(jīng)典的匹配的方法。

4 測(cè)試結(jié)果

采用了由程序合成的虛擬昆蟲運(yùn)動(dòng)圖像和真實(shí)的昆蟲運(yùn)動(dòng)圖像來完成測(cè)試上述的方法。程序合成的虛擬昆蟲運(yùn)動(dòng)圖像用于驗(yàn)證結(jié)果的正確性,真實(shí)的昆蟲運(yùn)動(dòng)圖像用于驗(yàn)證該方法的實(shí)用性。

程序合成的虛擬昆蟲圖像使用了MATLAB生成,基于理想相機(jī)模型的投影關(guān)系,模擬了俯視相機(jī)角度的懸停飛行的鷹蛾多個(gè)揮拍周期的運(yùn)動(dòng)。虛擬圖像如圖4所示。

由于圖像序列為程序合成,所以預(yù)先知道虛擬昆蟲的形態(tài)學(xué)特征,因此能夠?qū)Ρ缺痉椒ㄗ詣?dòng)處理得到的形態(tài)學(xué)特征。形態(tài)學(xué)特征點(diǎn)的比較結(jié)果以X,Y方向的誤差像素大小來衡量,形態(tài)學(xué)特征輪廓的比較結(jié)果以輪廓的平均誤差像素來衡量。此處合成了600×800分辨率,90幀,共3個(gè)撲翼周期的灰度圖像用于測(cè)試,最后的誤差結(jié)果如圖5所示。

圖4 程序合成的虛擬昆蟲運(yùn)動(dòng)圖像截圖Fig.4 Motion video clip of the virtual insect generated by program

圖5 虛擬昆蟲處理結(jié)果的誤差分布Fig.5 Error distribution of virtual insect result

圖5只列出左翼的誤差結(jié)果,右翼結(jié)果類似。虛擬圖像中昆蟲身體長(zhǎng)度約為174個(gè)像素,揮拍幅度150°左右,上圖可見,虛擬昆蟲頭部和腹部端點(diǎn)識(shí)別結(jié)果平均誤差在0.6%的昆蟲身體像素左右;翼尖識(shí)別結(jié)果除去少數(shù)幾幀因?yàn)橐砑馕恢锰拷眢w部分而在X方向上識(shí)別誤差較大外,平均誤差在4.2%的昆蟲身體像素左右;翼根點(diǎn)識(shí)別使用了擬合方法,因此誤差呈現(xiàn)較規(guī)律的分布,平均誤差約在2.9%的昆蟲身體像素左右;翼面前緣和后緣輪廓平均誤差都控制在較小范圍,大約在0.4%的昆蟲身體像素左右。綜上可知,在虛擬昆蟲圖像上本方法能夠給出較好的識(shí)別結(jié)果。因?yàn)樘摂M昆蟲圖像不能很好地模擬真實(shí)高速攝影圖像效果中的背景噪聲,圖像輪廓模糊等情況,因此需要真實(shí)昆蟲圖像作為進(jìn)一步的測(cè)試。

測(cè)試所使用的真實(shí)昆蟲運(yùn)動(dòng)圖像是在進(jìn)行偏航角調(diào)整的機(jī)動(dòng)飛行過程中的長(zhǎng)尾管蚜蠅(Eristalis tenax)俯視圖像,一共150幀,600×800分辨率,拍攝速度為4700f/s。圖6為真實(shí)昆蟲運(yùn)動(dòng)圖像部分幀的截圖。

使用本處理方法進(jìn)行自動(dòng)分析,即可得到昆蟲的形態(tài)學(xué)特征。處理程序運(yùn)行于MAT LAB V7.5,一共處理得到148幀圖像中的運(yùn)動(dòng)特征,平均每幀畫面運(yùn)算耗時(shí)8.45s,圖7列出了圖6中的圖像幀的處理結(jié)果。

從圖6的圖像可見,昆蟲左右翼的運(yùn)動(dòng)非常的不對(duì)稱;除前緣之外的昆蟲翼面灰度都十分接近背景灰度;幀編號(hào)fn=100的圖中右翼面較為靠近昆蟲身體。而圖7所得提取結(jié)果在這些情況下都能較為準(zhǔn)確地判別昆蟲的特征點(diǎn)和翼面輪廓。由此可知,獨(dú)辟蹊徑所采用的二值圖和形態(tài)學(xué)特征提取方法對(duì)于真實(shí)昆蟲圖像能夠自動(dòng)分析給出較好的結(jié)果,這已經(jīng)克服了經(jīng)典運(yùn)動(dòng)圖像處理方法在昆蟲運(yùn)動(dòng)圖像處理上的難度,具有實(shí)用價(jià)值。由各幀所得的形態(tài)學(xué)特征數(shù)據(jù)進(jìn)一步可以繪制出圖像坐標(biāo)系下昆蟲身體頭尾連線角度和兩翼面與身體夾角的變化曲線,如圖8所示。

圖6 真實(shí)昆蟲運(yùn)動(dòng)圖像截圖(fn,fn為幀編號(hào))Fig.6 Motion video clip of real insect

圖7 真實(shí)昆蟲圖像的形態(tài)學(xué)特征提取結(jié)果Fig.7 Morphology feature extraction result of real insect

圖8 真實(shí)昆蟲形態(tài)學(xué)特征角度變化Fig.8 Morphological feature angle curve of real insect

圖8中的 α,θL,θR并非嚴(yán)格意義下的昆蟲身體空間姿態(tài)角和翼面揮拍角,但卻能夠充分反映圖像上昆蟲姿態(tài)的變化。圖8可知,一方面在接近30ms的時(shí)間內(nèi)昆蟲翼面完成了5個(gè)周期的揮拍運(yùn)動(dòng),且左右翼面極不對(duì)稱的運(yùn)動(dòng)使得昆蟲身體獲得了約50°的偏航角調(diào)整;另一方面圖8曲線是直接使用圖像提取的形態(tài)學(xué)特征進(jìn)行繪圖的結(jié)果,未經(jīng)過后期濾波等處理,可知根據(jù)形態(tài)學(xué)特征來計(jì)算的角度變化較為平滑,能夠充分地反映圖像中的昆蟲的運(yùn)動(dòng)過程,再次證明了所提供的方法能夠自動(dòng)提取較為準(zhǔn)確可靠的形態(tài)學(xué)特征。

5 結(jié) 論

程序合成的虛擬昆蟲運(yùn)動(dòng)圖像和真實(shí)昆蟲的運(yùn)動(dòng)圖像的測(cè)試結(jié)果表明：該方法簡(jiǎn)單可靠,無需人工干預(yù),不針對(duì)特定昆蟲,運(yùn)算量也較小,并能夠提供較好的識(shí)別結(jié)果。這給昆蟲圖像的形態(tài)學(xué)特征自動(dòng)識(shí)別難題提供了一個(gè)切實(shí)可行的解決方法,極大地節(jié)省了昆蟲撲翼運(yùn)動(dòng)圖像的分析時(shí)間。

該方法獨(dú)辟蹊徑,采用了相鄰三幀圖像的巧妙運(yùn)算來實(shí)現(xiàn)昆蟲翼面和身體的二值圖提取,借助了昆蟲內(nèi)在特征和簡(jiǎn)單假設(shè),實(shí)現(xiàn)從二值圖逐一自動(dòng)分析所需的多個(gè)昆蟲形態(tài)學(xué)特征,完全不同于模板匹配或光流法等經(jīng)典的運(yùn)動(dòng)圖像分析方法。事實(shí)證明該方法能夠較好地適應(yīng)于昆蟲這種復(fù)雜變形體運(yùn)動(dòng),并能夠在翼面透明,昆蟲身體有遮擋,高速攝影本底噪聲大的環(huán)境中,順利地自動(dòng)提取二值圖并分析形態(tài)學(xué)特征。采用本文所提供的方法可以更加高效便捷地分析昆蟲飛行的運(yùn)動(dòng)學(xué)特征,這對(duì)于昆蟲飛行的空氣動(dòng)力學(xué)研究將很有幫助。

[1] ELLINGTON C P.The aerodynamics of hovering insect flight[J].III.Kinematics Philosophical Transactions of the Royal Society of London Series B-Biological Sciences,1984,(305)：41-46.

[2] CHENG P,HU J,ZHANG G F,et al.Deformation measurements of dragonfly's wings in free flight by using windowed fourier transform[J].Optics and Lasers in Engineering,2008,(46)：157-161.

[3] WALKER S M,WALKER S M,THOMAS L R,et al.Deformable wing kinematics in free-flying hoverflies[J].Journal of the Royal Society Interface,2010,(7)：131-142.

[4] HENIKOFF J,SHAPIRO L G.Representative pat-terns for model-based matching[J].Pattern Recognition,1993,(26)：1087-1098.

[5] FONTAINE E I,ZABALA F,DICKINSON M H,et al.Wing and body motion during flight initiation in Drosophila revealed by automated visual tracking[J].JEB,2009,(212)：1307-1323.

[6] 趙創(chuàng)新,徐進(jìn)良,張永立,等.基于單攝像機(jī)的昆蟲自由飛行參量三維重構(gòu)[J].光學(xué)學(xué)報(bào),2006,(26)：61-66.

[7] BARRON J L,FLEE D J,BEAUCHEMIN S S,et al.Performance of optical-flow techniques[J].International Journal of Computer Vision,1994,(12)：43-77.

[8] WILLMOTT A P,ELLINGTON C P.Measuring the angle of attack of beating insect wings：Robust three dimensional reconstruction from two dimensional images[J].JEB,1997,(200)：2693-2704.

[9] WALLACE I D,LAWSON N J,HARVEY A R,et al.High-speed photogrammetry system for measuring the kinematics of insect wings[J].Applied Optics,2006,(45)：4165-4173.

[10]FRY S N,DICKINSON M H.Kinematics and aerodynamics of free flight maneuvers in Drosophila[J].A-merican Zoologist,2001,(41)：1447-1447.