基于圖像處理技術(shù)的智能化人體行為識(shí)別模型研究

冉憲宇

(陜西國(guó)防工業(yè)職業(yè)技術(shù)學(xué)院, 計(jì)算機(jī)與軟件學(xué)院， 陜西， 西安 710300)

0 引言

隨著科技水平以及信息化技術(shù)的發(fā)展，人體行為識(shí)別在諸多領(lǐng)域擁有廣泛的應(yīng)用前景。其中圖像視頻是重要的信息載體，如何實(shí)現(xiàn)識(shí)別智能化是解放生產(chǎn)力、提升工作效率的關(guān)鍵。通過(guò)圖像處理技術(shù)提取有效信息，采用精密的算法準(zhǔn)確識(shí)別出人體各類行為無(wú)論是對(duì)科技發(fā)展還是對(duì)民生的便利性都具備很大的現(xiàn)實(shí)意義，因此本文從運(yùn)動(dòng)目標(biāo)檢測(cè)、特征提取、行為識(shí)別幾個(gè)方面逐層推進(jìn)、深入研究。

1 圖像處理技術(shù)

1.1 技術(shù)簡(jiǎn)介

數(shù)字圖像主要是利用數(shù)值像素表示及存儲(chǔ)各類設(shè)備獲取的二維圖像信號(hào)，圖像處理技術(shù)主要是對(duì)數(shù)字圖像進(jìn)行分析與轉(zhuǎn)換，最終實(shí)現(xiàn)各類目標(biāo)計(jì)算。數(shù)字圖像在形式上主要包括由特定色彩模型組成的彩色圖像、采用數(shù)值矩陣表示的灰度圖像、特殊的只有0和1取值的二值圖像等[1]。

1.2 降噪處理

實(shí)際生活中，由于成像設(shè)備得到的原始圖像受各類因素影響會(huì)存在噪聲，影響圖像質(zhì)量，也影響特征提取，為了提升識(shí)別準(zhǔn)確性，需要進(jìn)行降噪處理。首先，分析噪聲的來(lái)源，主要包括受傳感器等設(shè)備影響、由于環(huán)境因素干擾以及傳輸過(guò)程信道干擾產(chǎn)生的噪聲幾大類；其次，利用濾波器進(jìn)行過(guò)濾，常用辦法包括中值濾波法、均值濾波法、高斯低通濾波、小波濾波等。

1.3 圖像增強(qiáng)

由于設(shè)備或環(huán)境影響導(dǎo)致最終效果不佳，通過(guò)圖像增強(qiáng)可以進(jìn)行改善，將關(guān)鍵部分突出，其余部分弱化或剔除。目前比較常用的方法包括：將灰度值重新分配的直方圖均衡化法、利用隸屬度函數(shù)實(shí)現(xiàn)變換的模糊增強(qiáng)法等。

1.4 形態(tài)學(xué)處理

形態(tài)學(xué)主要用于描述圖像的區(qū)域形狀，達(dá)到提升處理性能的效果。因?yàn)閿?shù)字圖像的形態(tài)學(xué)處理是在集合論的邏輯運(yùn)算基礎(chǔ)之上的，所以在圖像的分割以及后處理時(shí)經(jīng)常使用形態(tài)學(xué)處理的相關(guān)技術(shù)。主要包括將原始圖像通過(guò)結(jié)構(gòu)運(yùn)算變長(zhǎng)或者變粗的膨脹運(yùn)算、縮小或細(xì)化的腐蝕運(yùn)算以及梯度運(yùn)算等。

2 運(yùn)動(dòng)目標(biāo)檢測(cè)

在圖像序列中識(shí)別行為的過(guò)程中，最核心也是最基礎(chǔ)的是先定位到運(yùn)動(dòng)目標(biāo)，之后才能進(jìn)一步分析其行為，因此本節(jié)首先對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)進(jìn)行分析與研究。

2.1 檢測(cè)步驟

在人體行為識(shí)別過(guò)程中對(duì)于運(yùn)動(dòng)目標(biāo)的檢測(cè)屬于核心環(huán)節(jié)，將運(yùn)動(dòng)目標(biāo)提取出來(lái)作為后續(xù)識(shí)別分析的基礎(chǔ)。檢測(cè)方法大體分為兩類：一類是通過(guò)輪廓檢測(cè)，一類是通過(guò)速度及加速度的變化以及不同幀之間背景差異檢測(cè)。輪廓特征容易變化，不利于實(shí)時(shí)檢測(cè)。因此本文采用第二類速度檢測(cè)法，檢測(cè)步驟主要包括圖像預(yù)處理、提取顏色紋理等特征、運(yùn)算轉(zhuǎn)換、聚類分析。

2.2 背景提取模型

讀取N幀圖像處理為灰度圖像序列fi(i=1,2,3,…,N)，將坐標(biāo)像素值作為高斯分布均值ui,l(x,y)，初始化處理之后建立混合高斯背景模型

(1)

2.3 改進(jìn)的幀間差分算法

幀間差分法的核心思想是利用不同時(shí)段的圖像進(jìn)行差分，最終得到差分圖像，利用相鄰時(shí)刻之間像素的差異變化檢測(cè)運(yùn)動(dòng)目標(biāo)，剔除未改變的像素之后根據(jù)閾值進(jìn)行判斷。根據(jù)差分方式的不同主要包括兩幀、三幀、加權(quán)累積等。由于兩幀差分法對(duì)加速、減速明顯的目標(biāo)容易出現(xiàn)重影，三幀差分法雖然可以克服這一缺點(diǎn)，但在目標(biāo)存在空洞時(shí)也容易產(chǎn)生誤判，為了提高判斷準(zhǔn)確度，本文基于三幀法構(gòu)建一種改進(jìn)幀差法，步驟如下。

(1) 選定四幀連續(xù)的圖像fk(x,y),fk+1(x,y),fk+2(x,y),fk+3(x,y)進(jìn)行去噪增強(qiáng)預(yù)處理后得到dk(x,y),dk+1(x,y),dk+2(x,y),dk+3(x,y)。

(2) 將一與三、二與四進(jìn)行隔幀差分計(jì)算，得到二值化圖像

(2)

(3)

(4)

(5)

其中,g1k、g12k為差分后圖像，i×j為每幀圖像大小，M為預(yù)設(shè)閾值，λ為抑制系數(shù)取為2，Δm1、Δm2為動(dòng)態(tài)閾值。

(3) 對(duì)二值化圖像進(jìn)行目標(biāo)顏色標(biāo)記。

(4) 對(duì)上一步驟進(jìn)行邏輯與運(yùn)算

M(x,y)=g1(x,y)g2(x,y)

(6)

2.4 構(gòu)建運(yùn)動(dòng)目標(biāo)檢測(cè)模型

基于上文模型及算法，融合背景提取模型與改進(jìn)幀差法實(shí)現(xiàn)目標(biāo)檢測(cè)，首先分別采用2種算法獲取圖像，然后進(jìn)行與運(yùn)算，利用形態(tài)學(xué)處理消除少量空洞之后得到運(yùn)動(dòng)目標(biāo)。構(gòu)建過(guò)程如圖1所示。

圖1 運(yùn)動(dòng)目標(biāo)檢測(cè)模型構(gòu)建流程

3 圖像特征提取

判斷出運(yùn)動(dòng)目標(biāo)之后，針對(duì)圖像的特征提取也至關(guān)重要，簡(jiǎn)而言之，人體行為識(shí)別過(guò)程就是特征聚類分析的過(guò)程。因此本節(jié)著重研究提取算法。

3.1 選取原則

物體的特征屬于區(qū)別與其他物體的標(biāo)志性特點(diǎn)，在圖像處理過(guò)程中，亮度、尺寸、角度變化等都是其影響因素。選取特征時(shí)應(yīng)注意：

(1) 選用的特征互相之間要具有獨(dú)立性，避免冗余導(dǎo)致計(jì)算復(fù)雜;

(2) 特征之間差異越大越好，如此才更利于識(shí)別;

(3) 特征維度不應(yīng)過(guò)大，避免算法復(fù)雜度增加。

3.2 特征指標(biāo)

根據(jù)特征選取原則，圖像特征指標(biāo)選擇如下。

(1) 顏色：顏色特征具備良好的穩(wěn)定性，不隨目標(biāo)大小或方向改變，清晰、直觀。描述方式包括直方圖、聚合向量、相關(guān)圖等[3]。

(2) 紋理：表面特征，屬于灰度等級(jí)變化的表征方法，提取方面包括統(tǒng)計(jì)法、結(jié)構(gòu)法、信號(hào)類法等。

(3) 形狀：本質(zhì)特征，通常包括輪廓與區(qū)域兩種，可分解為點(diǎn)、線、面。

(4) Sift：Sift特征用于描述局部特點(diǎn)，具有良好的適應(yīng)性，不受亮度、尺寸、旋轉(zhuǎn)等影響，可理解為尋求包括位置、尺度、方向的特征點(diǎn)。

3.3 改進(jìn)k-均值聚類算法

k-均值算法是應(yīng)用較多的聚類算法，核心思想是不斷更新聚類中心進(jìn)行迭代收斂。算法將含有n個(gè)對(duì)象的數(shù)據(jù)集X劃分為k個(gè)簇Cj，利用聚類準(zhǔn)則函數(shù)判斷是否終止。但該算法易陷入局部最優(yōu)解且過(guò)于依賴初始值且初始值比較隨機(jī)。因此本文提出優(yōu)化改進(jìn)：

(1) 針對(duì)局部最優(yōu)問(wèn)題引入遺傳算法來(lái)解決;

(2) 針對(duì)初始值隨機(jī)問(wèn)題采用類內(nèi)以及類間距離方法。

整體算法流程如圖2所示。

圖2 改進(jìn)k-均值聚類流程

int(Xi,Xj)=2*d(Xi,mj)-D(mi,mj)

(7)

接下來(lái)根據(jù)公式

ave≤σ*int(Xi,Xj),σ∈[1.5,2.5]

(8)

判斷是否成立，如果滿足式(8)說(shuō)明屬于同一聚類，不滿足式(8)則不屬于同一聚類，由此獲得最佳聚類數(shù)Kopt，以其作為聚類中心進(jìn)行遺傳編碼。

4 行為識(shí)別建模

基于上文的目標(biāo)檢測(cè)與特征提取，以獲取識(shí)別所屬的各類初始數(shù)據(jù)，重點(diǎn)構(gòu)建針對(duì)這些初始數(shù)據(jù)的識(shí)別模型構(gòu)建。

4.1 改進(jìn)的HSMM模型

隱馬爾科夫模型(HMM)基于馬爾科夫假設(shè)、狀態(tài)與時(shí)間無(wú)關(guān)的不動(dòng)性假設(shè)以及輸出只和當(dāng)前狀態(tài)有關(guān)的獨(dú)立性假設(shè)，這些假設(shè)條件雖然簡(jiǎn)化了復(fù)雜度，但在某種程度上漏掉了前一時(shí)刻的有用信息。因此本文對(duì)其進(jìn)行改進(jìn)，以HMM模型為基礎(chǔ)，增加時(shí)間組成成分，構(gòu)建隱半馬爾科夫模型(HSMM)，引入狀態(tài)停留的時(shí)間概率函數(shù)，將下一時(shí)刻的狀態(tài)與當(dāng)前狀態(tài)及停留時(shí)間進(jìn)行關(guān)聯(lián)。采用左右連續(xù)型HSMM模型，步驟如下。

(1) 設(shè)隱狀態(tài)數(shù)量N，數(shù)據(jù)集S=[S1,S2,…,SN]，t時(shí)刻隱狀態(tài)

qt∈[S1,S2,…,SN]

(2) 設(shè)狀態(tài)對(duì)應(yīng)的觀測(cè)值總量M，數(shù)據(jù)集V=[v1,v2,…,vN]，t時(shí)刻觀測(cè)ot∈[v1,v2,…,vM]。

(5) 設(shè)觀測(cè)概率矩陣B={bj(k)}N×M，其中bj(k)=p(ot=vk,qt=Sj),1≤j≤N,1≤k≤M。

(6) 設(shè)狀態(tài)停留時(shí)間概率D，取結(jié)合t-1時(shí)刻狀態(tài)i的概率與t時(shí)刻轉(zhuǎn)移到狀態(tài)j的概率，記作高斯分布p(j,d)=n(d|uj,σj)。

(7) 得到HSMM模型

λ=(N,M,π,A,B,D)

(9)

4.2 基于HSMM模型識(shí)別人體行為

在人體行為識(shí)別過(guò)程中應(yīng)用HSMM模型進(jìn)行處理的流程如圖3所示。

圖3 HSMM模型識(shí)別流程

(1) 利用前向—后向算法，輸入觀察序列O和模型λ，求解輸出概率P(O|λ)的大小。

(2) 利用Viterbi算法，輸入觀察序列和模型，求解最佳隱狀態(tài)序列Q。

(3) 利用BW算法實(shí)現(xiàn)參數(shù)估計(jì)，求解使P(O|λ|)最大的模型[5]。

5 實(shí)證結(jié)果分析

為驗(yàn)證本文構(gòu)建的模型的準(zhǔn)確性，從KTH人體行為數(shù)據(jù)庫(kù)中選擇了6種不同運(yùn)動(dòng)形態(tài)的行為視頻，每種姿態(tài)選取10條記錄，以此作為訓(xùn)練樣本集獲得HSMM模型，迭代次數(shù)設(shè)置為1 000，取另外一組各10條視頻作為測(cè)試樣本集，進(jìn)行10次測(cè)試后以算術(shù)平均值進(jìn)行統(tǒng)計(jì)作為識(shí)別率，識(shí)別結(jié)果如表1所示。

表1 利用HSMM模型識(shí)別人體行為結(jié)果表

由此可以得出，平均識(shí)別率達(dá)到97.5%，具有良好的識(shí)別效果。

6 總結(jié)

本文引入圖像處理技術(shù)，通過(guò)改進(jìn)的幀差分算法實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)，通過(guò)改進(jìn)的k-均值算法進(jìn)行聚類分析提取特征，通過(guò)改進(jìn)的HMM模型實(shí)現(xiàn)人體行為識(shí)別，實(shí)測(cè)準(zhǔn)確率較高。但場(chǎng)景相對(duì)簡(jiǎn)單，選取的驗(yàn)證行為也較少，并且在算法的抗干擾性、計(jì)算速度等方面還需要進(jìn)一步研究與探索。