基于三幀差法的人體水中運動軌跡跟蹤系統(tǒng)設(shè)計

林曉菊

摘 ?要： 為了解決傳統(tǒng)的人體運動軌跡跟蹤系統(tǒng)在進行水下跟蹤時模型三維重建時間長，得到的跟蹤軌跡與人體實際運動軌跡不符的問題，基于三幀差法設(shè)計一種新的人體運動軌跡跟蹤系統(tǒng)。該系統(tǒng)針對水下環(huán)境進行深入研究，在硬件架構(gòu)中設(shè)立了初始化層、運動檢測層和人體跟蹤層，并構(gòu)建三維人體模型、運動特征提取模塊和運動特征分割模塊，以此確定人體的邊界特征、灰度特征、輪廓特征和膚色特征。引用三幀差法設(shè)立系統(tǒng)軟件流程，共分為圖像檢測、差分圖像獲得、閾值處理、連通性分析、圖像判別五步。為檢測跟蹤系統(tǒng)效果，與傳統(tǒng)跟蹤系統(tǒng)進行實驗對比，結(jié)果表明，基于三幀差法設(shè)計的人體水下運動軌跡跟蹤系統(tǒng)可以在短時間內(nèi)構(gòu)建出三維模型，繪制的跟蹤軌跡與實際運行軌跡相似度高于傳統(tǒng)跟蹤系統(tǒng)。

關(guān)鍵詞： 水下跟蹤系統(tǒng); 圖像檢測; 差分圖像獲得; 圖像判別; 人體運動軌跡; 運動軌跡跟蹤

中圖分類號： TN02?34; TP391.4 ? ? ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）13?0051?05

Design of human body underwater motion trajectory tracking system

based on three?frame difference method

LIN Xiaoju

（Guizhou Institute of Technology， Guiyang 550000， China）

Abstract： The traditional human motion trajectory tracking system used for underwater tracking has long 3D model reconstruction time， and the obtained tracking trajectory cant match the actual motion trajectory of the human body. A new human motion trajectory tracking system is designed on the basis of three?frame difference method. The system is deeply researched according to the underwater environment. The initialization layer， motion detection layer and human tracking layer are set up in hardware architecture. The three?dimensional human body model， motion feature extraction module and motion feature segmentation module are constructed to determine the boundary features， grayscale features， contour features and skin color features of the human body. The system software flow is set up by three?frame difference method， which is divided into the steps of image detection， differential image acquisition， threshold processing， connectivity analysis and image discrimination. In order to detect the effect of the tracking system， the proposed tracking system is compared with traditional tracking systems by means of experiment. The results show that the human underwater motion trajectory tracking system based on three?frame difference method can construct a three?dimensional model in a short time， and the similarity of the drawn tracking trajectory and actual running trajectory is higher than that of traditional tracking systems.

Keywords： underwater tracking system; image detection; differential image acquisition; image discrimination; human motion trajectory; motion trajectory tracking

0 ?引 ?言

近年來，人體運動軌跡成為重點研究對象，在智能監(jiān)控、體育運動分析、動畫設(shè)計等領(lǐng)域都有著重要應(yīng)用[1]。人體運動軌跡跟蹤是一個復雜的問題，而水下跟蹤更加復雜，目前比較有效的水下跟蹤系統(tǒng)是利用特殊光學標記的跟蹤系統(tǒng)，該系統(tǒng)可以根據(jù)人體在水下反應(yīng)的光線進行跟蹤[2]。然而這種方法造價昂貴，需要使用大量昂貴設(shè)備，操作過于繁瑣，很難從真正意義上推廣使用[3]。

作為兩幀差法的改進算法，三幀差法能夠連續(xù)截取三幀視頻進行差分運算，在消除運動背景之后，精確地提取出運動目標的輪廓信息[4]。三幀差算法會先計算出相鄰兩幀的差分圖像，在差分圖像中選取合適的閾值，通過二值化處理得到二值化圖像。每一個像素點得到的二值圖像利用邏輯運算尋找出共同部分，從而確定運動目標的輪廓信息[5]。

綜上所述，本文基于三幀差法設(shè)計了一種新的人體運動軌跡跟蹤系統(tǒng)，同時使用人機交互技術(shù)和智能監(jiān)控技術(shù)，能夠識別大量基礎(chǔ)工作，并且對人的行為進行自動監(jiān)視和追蹤[6]。本文設(shè)計的運動軌跡跟蹤系統(tǒng)在傳統(tǒng)系統(tǒng)上進行了加強，對硬件和軟件進行優(yōu)化設(shè)計，加入了多種姿態(tài)參數(shù)，能夠綜合分析系統(tǒng)提煉的跟蹤數(shù)據(jù)，引進三維人體模型，使跟蹤工作變得更加簡單，提高定位的精準性。多個攝像機同時在水下拍攝視頻，拍攝結(jié)果統(tǒng)一輸入到中心系統(tǒng)中，借助計算機視覺技術(shù)提取有效的運動參數(shù)和結(jié)構(gòu)信息，從而得到更加可靠的運動模型。本文設(shè)計的跟蹤系統(tǒng)不需要引入過于復雜的設(shè)備，只需要使用普通的攝像機就可以完成跟蹤任務(wù)，防水處理使它即使面對復雜的水下環(huán)境也可以完成跟蹤。

1 ?人體水中運動軌跡跟蹤系統(tǒng)硬件設(shè)計

本文基于三幀差法設(shè)計的人體水中運動軌跡跟蹤系統(tǒng)在硬件中引入了人體三維重建模型，通過重建技術(shù)反映人體在水下的運動狀況，三維重建精度高，跟蹤準確性強。

1.1 ?人體水中運動軌跡跟蹤系統(tǒng)硬件總結(jié)構(gòu)設(shè)計

本文設(shè)計的人體水中運動軌跡跟蹤系統(tǒng)硬件共有三層，分別為初始化層、運動檢測層和人體跟蹤層，每層負責的工作不同。初始化層負責將攝像機定位，并將所有視頻數(shù)據(jù)初始化處理;運動檢測層能夠提取運動特征參數(shù)，監(jiān)測運動區(qū)域;人體跟蹤層內(nèi)部設(shè)立追蹤模型和濾波框架，以二維方式和三維方式輸出跟蹤結(jié)果[7]。

系統(tǒng)硬件選用的處理器為PIV處理器，工作頻率為2.4 GHz，處理一幀圖像的時間大約為2 min，拍攝所用的PC機為DDR PC機，存儲內(nèi)存高達256 MB。由于在跟蹤過程中會產(chǎn)生一定的誤差，所以設(shè)立了優(yōu)化跟蹤框架，使得到的輪廓特征和邊界特征參數(shù)都可以在優(yōu)化特征框架中進行優(yōu)化處理，確保跟蹤系統(tǒng)的工作性能[8]。由于水下場景背景復雜，提取邊界特征十分困難，所以引入膚色約束特征，利用多攝像機完成跟蹤工作，使跟蹤系統(tǒng)在計算機中重建的結(jié)果與人在水下的真實運動軌跡相符。

基于三幀差法設(shè)計的人體水中運動軌跡跟蹤系統(tǒng)硬件總體結(jié)構(gòu)如圖1所示。

分析圖1可知，初始化層內(nèi)部擁有一個多關(guān)節(jié)描述的人體模型，該模型能夠精準地模仿人體在水下肢體的真實行動，并且能夠?qū)z像機采集到的視頻數(shù)據(jù)進行標定，計算不同視角反射出來的投影矩陣[9]。

運動檢測層能夠?qū)⑦\動區(qū)域的前景和背景分割出來，區(qū)分檢測，提取圖像底層特征，使運動特征和運動模型呈現(xiàn)對應(yīng)關(guān)系，運動檢測模塊會特別區(qū)分膚色區(qū)域，將膚色區(qū)域作為重點跟蹤對象。

圖1 ?人體水中運動軌跡跟蹤系統(tǒng)硬件總體結(jié)構(gòu)

人體跟蹤層內(nèi)部設(shè)有多個圖像坐標系，可以根據(jù)視角不同建立不同的模型圖像，優(yōu)化粒子濾波框架會自動求解人體運動姿態(tài)，輸出結(jié)果分為二維圖形和三維模型兩種[10]。

針對系統(tǒng)硬件中的主要功能模塊進行研究。

1.2 ?三維人體模型設(shè)計

為了能夠更好地使用提取出來的參數(shù)，建立三維人體模型，模型分為兩部分：第一部分能夠表示運動學特性，被稱為骨架結(jié)構(gòu);第二部分能夠表示人體運動的外觀特性，被稱為身體外觀。骨架結(jié)構(gòu)的各個關(guān)節(jié)之間存在不同的連接關(guān)系，本文引用解剖學理念在骨架關(guān)節(jié)上設(shè)立節(jié)點，通過改變節(jié)點的平移向量和旋轉(zhuǎn)向量來改變骨架結(jié)構(gòu)的運動方式。骨架結(jié)構(gòu)內(nèi)部設(shè)立24個自由度，調(diào)整參數(shù)可改變關(guān)節(jié)中的自由度。

圖2 ?人體骨架結(jié)構(gòu)

在研究出骨架結(jié)構(gòu)后，便可以定義附加在骨架結(jié)構(gòu)上的外觀模型，外觀模型用來描述人體外形，為更加貼近人體形態(tài)，要利用多個投影得來的圖像，通過不同形狀反映人體器官。本文設(shè)立的人體外觀模型如圖3所示。

圖3 ?人體外觀模型

1.3 ?運動特征提取模塊設(shè)計

本文利用攝影機來定位運動特征，攝像機和攝像機之間的距離比較遠，所以不能直接使用標定板得到外部參數(shù)。因此，本文在傳統(tǒng)系統(tǒng)的基礎(chǔ)上進行改進，以標定的方法提取運動特征，在保證精度的同時提高提取速度[11]。標定模塊擁有4個定標圓盤，通過這4個圓盤確定出一個統(tǒng)一的坐標系，為方便標定，圓盤處于同一平面，所有的攝影機都要提供相同的參數(shù)。4個圓盤的擺放方式為順時針擺放，擺放圖形為四邊形[ABCD]，將圓盤A和圓盤B連接，并設(shè)立線段[AB]所在的射線為[x]軸，沿著[x]軸旋轉(zhuǎn)90°得到的射線為[y]軸，垂直于[x]軸平面并指向地面的軸為[z]軸。沿著[xy]軸攝像機圓盤的擺放方式如圖4所示。

圖4 ?[xy]軸攝像機圓盤擺放方式

1.4 ?運動特征分割模塊設(shè)計

利用三幀差法提取出來的視頻圖像為像素點集合，如果直接與三維模型進行匹配，則難以匹配成功，所以提取的運動特征要與人體模型建立對應(yīng)關(guān)系。使用切割法和圖像融合法將人體從圖像中分割出來，并將外輪廓和邊界提取出來，分析灰度值，判斷梯度和不同的顏色特征，結(jié)合研究使分割結(jié)果更加可靠[12]。此外，加入圖像切割器，使系統(tǒng)在不影響整體分割結(jié)果的前提下對錯誤的像素點進行修正，降低噪聲，確保工作過程的穩(wěn)定性。

分割的主要特征有圖像的灰度特征、圖像的邊界特征、圖像的外輪廓特征以及圖像的膚色特征。提取的圖像特征如圖5所示。

圖5 ?提取的圖像特征

灰度特征是可以直接作為匹配的重要特征值，每一個三維模型都會對應(yīng)一個灰度特征模板。邊界特征通過視頻投影得到，分析人體在水下各段肢體的邊界從而得到邊界特征。外輪廓特征的提取可以幫助跟蹤系統(tǒng)不受到圖像紋理和顏色的干擾，魯棒性更強。膚色特征作為約束特征，可以降低跟蹤系統(tǒng)在水下跟蹤的工作難度。

2 ?人體水中運動軌跡跟蹤系統(tǒng)軟件設(shè)計

在設(shè)計出硬件結(jié)構(gòu)之后，對軟件進行設(shè)計。由于水下采集的視頻序列具有連續(xù)性的特點，所以本文引用的計算方法為三幀差法，該算法能夠在相鄰兩幀圖像中建立灰度差，通過分析灰度差之間的絕對值是否超過閾值，判斷運動目標，從而得到更加精準的跟蹤結(jié)果。對于運動較快的物體，三幀差法尤其適用[13]。基于三幀差法的人體水中運動軌跡跟蹤系統(tǒng)軟件流程圖如圖6所示。

圖6 ?三幀差法跟蹤系統(tǒng)軟件流程圖

計算時，需要格外注意閾值[T]的選擇，如果閾值數(shù)值選擇過小，那么將會難以抑制圖像中的噪聲干擾;如果閾值數(shù)值選擇過大，部分目標信息可能會被掩蓋。當場景光線發(fā)生改變時，閾值[T]的數(shù)值也有可能發(fā)生改變。

3 ?實驗結(jié)果對比與分析

3.1 ?實驗?zāi)康?/p>

為了檢測本文研究的基于三幀差法的人體水中運動軌跡跟蹤系統(tǒng)的實際效果，與傳統(tǒng)跟蹤預測系統(tǒng)進行對比。

3.2 ?實驗參數(shù)設(shè)置

設(shè)置實驗參數(shù)如表1所示。

3.3 ?實驗結(jié)果與分析

根據(jù)上述參數(shù)進行實驗，選用本文研究的基于三幀差法的人體水中運動軌跡跟蹤系統(tǒng)和傳統(tǒng)跟蹤系統(tǒng)，對同一個人在水中的運動軌跡進行跟蹤，記錄跟蹤軌跡的三維重建時間以及重建的跟蹤軌跡，根據(jù)得到的結(jié)果對兩種系統(tǒng)的性能進行具體分析。

得到的實驗結(jié)果如下所示：

1） 模型三維重建時間結(jié)果對比

分析表2可知，根據(jù)水下環(huán)境的復雜程度，本文分為五個等級，等級A代表水下環(huán)境最為良好，跟蹤起來也相對簡單，等級E代表水下環(huán)境最為復雜，跟蹤起來相對困難。隨著水下環(huán)境復雜度的增加，跟蹤系統(tǒng)構(gòu)建三維模型的時間也在不斷增加，但是本文跟蹤系統(tǒng)花費時間遠遠小于傳統(tǒng)系統(tǒng)花費時間。

表1 ?實驗參數(shù)表

表2 ?重建時間實驗對比結(jié)果

2） 人體運動軌跡跟蹤結(jié)果對比

圖7 ?人體運動軌跡跟蹤結(jié)果

觀察圖7可知，在相同的跟蹤時間內(nèi)，本文預測系統(tǒng)得到的運動軌跡與實際運動軌跡十分相符，出現(xiàn)多個重合點，而傳統(tǒng)預測系統(tǒng)得到的運動軌跡與實際運動軌跡相差很大。由此可見，本文設(shè)計的預測系統(tǒng)構(gòu)建模型時間更短，預測結(jié)果準確性更高，更適合在水下環(huán)境預測人體運動軌跡。

4 ?結(jié) ?語

本文針對水下環(huán)境進行重點研究，利用三幀差法設(shè)計并實現(xiàn)了一種適應(yīng)于水下的人體運動軌跡跟蹤系統(tǒng)，系統(tǒng)內(nèi)部設(shè)計了多個攝像機，能夠精準全面地提取水下人體的運動特征。引用三幀差法之后，系統(tǒng)的魯棒性得以增強。通過傳統(tǒng)系統(tǒng)和本文設(shè)計的系統(tǒng)在水下的跟蹤實驗對比結(jié)果可知，基于三幀差法設(shè)立的系統(tǒng)能夠較為精準地跟蹤到人體在水中的運動軌跡，并且在短時間內(nèi)進行三維重建，針對錯誤參數(shù)進行自主恢復，在水下運動分析以及動畫制作等領(lǐng)域都有著廣闊的發(fā)展前景。