基于運動歷史圖像的異常行為識別算法研究

趙 琴， 趙團結(jié)， 鄭新橋， 秦 琴， 龍 念， 鄧 超

（1 武昌工學院 國際教育學院 武漢 430065 ；2 武漢科技大學 汽車與交通工程學院 武漢 430065；3 武漢科技大學 智能汽車工程研究院 武漢 430065）

0 引 言

隨著計算機視覺技術(shù)的不斷發(fā)展、計算機硬件的處理速度以及存儲能力不斷提升，監(jiān)控設(shè)備成本的逐漸下降，攝像頭等監(jiān)控裝置已經(jīng)被廣泛的應(yīng)用到各種場合，視頻監(jiān)控系統(tǒng)也逐步在監(jiān)護領(lǐng)域扮演著越來越重要的角色。 目前人體運動異常行為分析是計算視覺領(lǐng)域最活躍的研究主題之一，其核心是利用圖像處理、圖像分析、計算機視覺分析等技術(shù)從圖像序列中檢測、識別、跟蹤行人并對其行為進行理解和描述，進而找到異常行為［1］。

有學者提出了許多異常行為識別算法，李一波［2］等使用運動能量圖像（MEI）的傅里葉描述子來區(qū)分人的摔倒行為及正常的躺下行為，這種方簡單有效，但由于只是對MEI 圖像進一步的處理，丟失了大量的信息，不能用于提取人單獨某個部位的動作，如當人的兩只手都在揮動時，用這種方法得不到手的揮動的方向；也有些學者使用人體關(guān)節(jié)模型圖的方法，如張軍［3］等提出一種簡化的關(guān)節(jié)模型圖方法，由四肢和軀干組成，定義了5 個對人體運動產(chǎn)生影響的角度參數(shù)確定人的行為，從而實現(xiàn)對人體異常行為識別，有益于識別人體不同部位的運動，如判別手在運動還是腳在運動，從而識別出人體的動作，但由于只是針對某一幀的圖像提取動作，并不能用來表述行為特征；也有學者使用運動方向來提取人的動作，胡芝蘭［4］等根據(jù)不同行為具有不同運動方向這一特點，使用塊運動方向描述不同行為，并用支持向量機（SVM）分類器對異常行為進行識別這種方法可以得到人的運動方向，進而提取出人的行為，但由于不同的動作有可能運動方向也是相同的，因此也會出現(xiàn)問題；吳艷平［5］等使用運動歷史圖像（MHI），提取人體運動方向和運動區(qū)域，最后由運動方向來識別動作，但這種僅依靠動作方向的方法只對特定情況下的異常行為檢測有效。 在動作分割領(lǐng)域，Kahol［6］等提出了層次活動分割（Hierarchical Activity Segmentation， HAS）的概念；也有些學者使用隱馬爾科夫鏈（HMM）來分割連續(xù)動作，如Lee 和Kim［7］提出復(fù)雜動作的非典型動作閾值模型，但是這種方法隨著動作復(fù)雜性的增加，狀態(tài)數(shù)也會大大的增加，計算困難。

由于人的動作很多，本文選擇其中一部分基本動作進行特征描述，包括行走、摔倒、蹲下、站起、躺著不動。 為了識別人體的異常行為，本文改進MHI算法，使得異常行為檢測具有普適性。 首先，結(jié)合人體運動基本特征處理人體對應(yīng)的前景，得到運動歷史圖像，運用運動歷史圖像進行運動分割，并判定運動方向；其次，結(jié)合運動角度將得到的特征與訓(xùn)練出的動作庫里的動作進行特征匹配，并組合這些動作，進而判斷人體行為是否異常。

1 前景提取

為了提取出人體行為特征，必須識別出視頻中的人的位置。 首先需要得到視頻的前景，前景提取算法有很多。 本文重點考慮背景減和混合高斯前景提取算法。

1.1 背景減

對于一個視頻，首先儲存一幅認為是背景的圖像B（b（x，y）），當視頻中的每一幀傳入時，記作A（a（x，y）），將當前幀減去背景圖像。 再設(shè)定一個閾值，若減去后的值小于這個閾值，則認為是背景，否則，認為是前景。 用公式（1） 表示，f（x，y） 為1 時表示此圖像此處為前景，為0 表示為背景。

其中，T表示閾值。

背景減算法適用于背景幾乎不變的情形，算法簡單。 然而，如果背景本身出現(xiàn)了小規(guī)模的晃動或抖動，求解的前景效果并不好；另外，對于前景與背景相差不大的情況效果也不好。 為了在背景有小幅抖動的情況下也能夠得到準確的前景，采用另一種前景提取算法混合高斯背景模型進行處理。

1.2 混合高斯背景提取算法（GMM）

混合高斯背景提取算法認為任何一個點的像素在時間軸上符合高斯分布，可以用多個高斯分布構(gòu)建背景模型。 通過不斷更新背景模型來適應(yīng)背景的變化，當背景變化時也能夠得到較好的效果。 對于圖像中的點，t時刻該點屬于前景的概率，如式（2）所示：

其中，wi，t為t時刻第i個高斯分布的權(quán)值，η（xt，μi，t，σi，t） 為以μi，t為均值、以σi，t為方差的高斯分布（正態(tài)分布） 在xt處的概率的值。

取最大的高斯通道數(shù)K為3～7 個，每個像素高斯通道總是按照優(yōu)先級wi，t／σi，t從大到小排列。 一般對于k有1 ≤k≤K。 背景模型初始化時，取當前像素的值為均值μ0。 設(shè)定一個較大的值σ0，設(shè)定一個較小的值wo。

開始訓(xùn)練背景模型時， 當t時刻一個新的像素xt到來時，按照優(yōu)先級wi，t／σi，t的高低，開始將其與已有的k個高斯通道匹配，匹配條件如式（3） 所示：

加強肛門括約肌反饋訓(xùn)練可有效提高腹腔鏡下大腸癌根治術(shù)后病人肛門括約肌力量，減少術(shù)后排便困難發(fā)生率，避免病人因疾病并發(fā)癥產(chǎn)生焦慮、抑郁等負面情緒，提高病人生活質(zhì)量[29]。肛門括約肌反饋訓(xùn)練過程中，護理人員應(yīng)將攜帶氣囊的測壓導(dǎo)管直接插入大腸相應(yīng)區(qū)域，根據(jù)顯示器反饋的壓力情況調(diào)整閾值，增強病人肛門括約肌力量[30]。Arafa等[31-32]通過對病人實施電刺激生物反饋實驗發(fā)現(xiàn)：將誘發(fā)電位檢測儀應(yīng)用到肛門括約肌收縮刺激中，對腹腔鏡下大腸癌根治術(shù)病人術(shù)后康復(fù)具有重要意義。

匹配的同時進行參數(shù)更新，若匹配成功，參數(shù)更新如式（4）所示：

其中，α、β為學習率。

對于參數(shù)Mi，t，若匹配則為1，不匹配時為0。 若不匹配，則權(quán)值按式（4） 更新，均值、方差保持不變。 如果k個高斯通道都不匹配，就新增加一個高斯分布。 如果此時k ＝K，則去掉一個優(yōu)先級最低的高斯通道。 新增的高斯通道的均值為xt，方差可以設(shè)置為一個較大的值，權(quán)重可以設(shè)置為一個較小的值。

每一次更新后，都按照優(yōu)先級wi，t／σi，t由高到低對高斯分布重新排序。 取前B個高斯分布組合描述背景，如式（5） 所示：

其中，T為閾值。

只要前B個高斯組合分布中有一個與xt匹配，就認為為背景，否則認為為前景。

按照上述方法，可以根據(jù)視頻流不斷的更新背景的模型，達到獲取前景的目的。 使用GMM 方法可以抑制背景的規(guī)律運動，如小草的晃動以及電風扇的轉(zhuǎn)動等。 但這個方法也有缺點，即不能用來識別非運動的目標。 而且人一開始就在視頻中時，剛開始得到的前景會有問題。

由于在所建立的人體動作模型中動作是已知的，而用來表示這些動作的視頻也是已知的。 因此，在提取前景時，當提取靜止的狀態(tài)（如躺在地上不動）時，本文使用背景減的方法；當提取運動的狀態(tài)（如跑步）時，本文使用GMM 方法。

2 MHI 特征的提取

得到前景的掩碼后對前景進行處理，為后續(xù)的動作識別做準備。 本文選用MHI（Motion History Image）對前景進行處理。 MHI 可以保存一段時間的前景圖像，并且算法復(fù)雜度低，適合提取動作。

MHI 圖像主要是保存最近一段時間的前景圖像，其中像素值賦值為對應(yīng)前景的時間戳。 若有重復(fù)交叉的前景部分，以最新的前景的時間戳為準。非前景的部分以及一段時間之前的前景賦值為0。首先進行初始化，將MHI 圖像全部賦值為0。 當接收到新圖像時，更新方式如式（6）所示：

其中，τ為當前的時間戳，δ為前景的保存時間。

由于時間戳是浮點數(shù)類型，因而MHI 圖像也是一個浮點數(shù)類型的圖像。 如果直接顯示， 當τ≥1時，將無法分辨不同時刻之間的區(qū)別。 因此，在顯示時對MHI 圖像做一個映射，將其映射到0～255 的灰度區(qū)間，并用8 位無符號整形數(shù)表示。 視頻的連續(xù)8 幀原圖及使用映射后的MHI 圖像如圖1 所示，可見當前的前景最亮，而較早的前景較暗。

圖1 原圖及映射后的MHI 圖像Fig.1 Original and MHI Image

3 MHI 圖像的處理及動作特征的表達

為了處理MHI 圖像，首先可以對MHI 圖像做動作分割并提取運動方向，然后判斷人的動作。

3.1 動作分割

當提取動作特征時，需要對動作進行分割。 算法流程如下：

（1）遍歷MHI 圖像，尋找屬于當前前景（即I（x，y）＝τt） 的點，該點是在當前前景邊界上的點；

（2）判斷該點周圍的點中是否有與該點鄰近時間戳的點（即I（x，y）＝τt-1），若沒有則繼續(xù)逆時針遍歷當前前景邊界上的點，直到有這種點，則進行第3 步，或回到初始邊界點為止；

（3）用一個新值標記這個相鄰點，并用新值標記這個相鄰點的連通域，若這個連通域周圍存在此連通域前一個時間戳的連通域，則此點周圍的連通域也使用該連通域的標記，再以這個連通域為基準，依此不斷尋找周圍前一個時間戳的連通域并標記，若不能標記，則返回第2 步；

（4）標記完后，將標記的區(qū)域提取出來，就得到了分割后的運動區(qū)域。

3.2 運動方向提取

依據(jù)得到的MHI 圖像可以求得屬于前景的每一點的梯度方向。 使用Sobel 算子求梯度，Sobel 算子模板如式（7）所示：

求解x和y方向的導(dǎo)數(shù)Fx（x，y） 和Fy（x，y），并由此求得到梯度方向，如式（8） 所示：

梯度方向即運動方向，需要說明的是并非所有在MHI 圖像中表示前景的點都可以表示運動方向。如梯度為0 的點是前景內(nèi)部的點，不能用來表示運動方向；邊界上的點才能表示運動方向，有些邊界上的點旁邊是背景，梯度很大，梯度大的點不能用來求運動方向，即用來求運動方向的點的梯度值不能太大也不能太小。

為了求得運動方向，就需要求全局梯度方向。先求符合要求的點的梯度方向，取其中次數(shù)最多的梯度方向?ref作為全局梯度方向，采用公式（9）來求全局梯度方向：

其中， angDiff（?（x，y），?ref） 為當前點的梯度方向和?ref之間的差值，norm（τ，δ，t，MHIδ（x，y）） 為將MHI 圖像的值從τ和τ - δ之間歸一化到0～1 后得到的值，用來作為差值的權(quán)值，即時間上離現(xiàn)在越近的點，求得的梯度方向的權(quán)值越大。 同時，也可以對之前動作分割中得到的區(qū)域求運動方向，效果如圖2 所示。 圖2 方框即是識別出來的運動區(qū)域，而圓中指針的方向就是識別出來的運動方向。

圖2 運動區(qū)域及方向的提取Fig.2 Extraction of motion area and direction

4 結(jié)束語

視頻監(jiān)控系統(tǒng)在監(jiān)護領(lǐng)域扮演著越來越重要的角色。 本文建立了一個能夠較好地識別和預(yù)測人體摔倒等異常行為的算法模型。 結(jié)合人體運動基本特征處理人體對應(yīng)的前景，得到運動歷史圖像，運用運動歷史圖像進行運動分割，并判定運動方向，結(jié)合運動角度將得到的特征與訓(xùn)練出的動作庫里的動作進行特征匹配，并組合這些動作，進而判斷人體行為是否異常。 通過這種方法構(gòu)建的視頻監(jiān)控系統(tǒng)兼具實時性和智能性，可以為視頻監(jiān)控系統(tǒng)的開發(fā)提供理論依據(jù)。 未來將開展更多的實驗，對具體的應(yīng)用場景進行圖像標定，對該算法模型的識別精度和實時性進行驗證。