散貨作業(yè)區(qū)人形識別的二級分類方法

張志偉， 宓為建， 宓超， 何鑫

(1. 上海海事大學(xué) a. 物流工程學(xué)院， b. 集裝箱供應(yīng)鏈技術(shù)教育部工程研究中心， 上海 201306；2. 中國電子科技集團(tuán)公司第五十研究所， 上海 200333)

?

散貨作業(yè)區(qū)人形識別的二級分類方法

張志偉1a， 宓為建1b， 宓超1b， 何鑫2

(1. 上海海事大學(xué) a. 物流工程學(xué)院， b. 集裝箱供應(yīng)鏈技術(shù)教育部工程研究中心， 上海 201306；2. 中國電子科技集團(tuán)公司第五十研究所， 上海 200333)

鑒于目前散貨碼頭運(yùn)用智能視頻監(jiān)控系統(tǒng)時，由于不同方向人形的方向梯度直方圖(Histogram of Oriented Gradient, HOG)特征存在較大的變化，使得用傳統(tǒng)方法訓(xùn)練獲得的少量特異性特征不足以支撐人形的有效分類，因此提出一種基于AdaBoost的針對不同姿勢HOG特征的二級分類方法.首先將樣本快速分為正(背)面人形和側(cè)面人形，組成第一級分類；然后通過分別為兩類樣本訓(xùn)練子分類器組成第二級分類；第二級分類對人形進(jìn)行識別，并對結(jié)果進(jìn)行融合.以天津港干散貨碼頭無人作業(yè)區(qū)為背景，完成一組人形識別實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果表明，相較于傳統(tǒng)方法，該方法對正(背)面人形具有更高的識別率.二級分類方法整體上提高了人形識別的識別率.

散貨碼頭； 人形識別； 方向梯度直方圖(HOG)； AdaBoost

0 引 言

目前，針對散貨碼頭露天裝卸作業(yè)的安全要求，國內(nèi)現(xiàn)有多數(shù)港口的視頻監(jiān)控系統(tǒng)多采用專人看守，這種方式極易使人疲勞且工作效率低、出錯率高.[1]另外，港口設(shè)備作業(yè)時危險系數(shù)高，意外事故極大地威脅著入侵者的生命和港口生產(chǎn)安全.因此，絕大多數(shù)企業(yè)管理者希望視頻監(jiān)控系統(tǒng)能智能地識別人形并對意外事故自主作出響應(yīng).[2-3]

然而，除有效地找到人形的問題，在散貨碼頭實(shí)際作業(yè)中，粉塵排放嚴(yán)重，干擾了人形圖像.雖然傳統(tǒng)方法在提取方向梯度直方圖(Histogram of Oriented Gradient,HOG)特征過程中會對圖像進(jìn)行去噪處理，但由于其混合訓(xùn)練不同方向人形特征使得人形特征特異性稀少而難以應(yīng)用.因此，港口散貨碼頭智能視頻監(jiān)控系統(tǒng)需要豐富人形的特異性特征以提高檢測精度.

總結(jié)前人研究成果，檢測過程主要包括兩部分：特征提取和分類器設(shè)計(jì).2005年，DALAL等[4]開拓性地采用HOG描述人形特征.該特征對幾何和光學(xué)形變能夠保持較好的不變性并且可以忽略人形一些細(xì)微的肢體動作.然而，因其過分顧及圖像所有特征致使檢測效率低、分類器柔性差.為此，研究者們對特征進(jìn)行改進(jìn)，但均未提高檢測效率.[5-6]HOG特征作為一種人形分類的標(biāo)準(zhǔn)特征，其本質(zhì)是基于邊緣和形狀對邊緣方向的一種模糊化，因而最終獲得的人形特異性HOG特征數(shù)量很少.

人形識別的第二步是分類器設(shè)計(jì).目前廣泛使用的分類方法有AdaBoost(Adaptive Boosting)級聯(lián)分類器和支持向量機(jī)(Support Vector Machine,SVM)分類器.[7]SVM是基于VC維原理和結(jié)構(gòu)風(fēng)險最小化的統(tǒng)計(jì)學(xué)習(xí)理論的機(jī)器學(xué)習(xí)方法.[8-10]它通過訓(xùn)練樣本庫能夠自適應(yīng)地發(fā)現(xiàn)所有支持向量中具有明顯劃分效果的部分，并最大化不同類特征到分類超平面的距離.雖然SVM分類準(zhǔn)確率高，但分類時間過長.AdaBoost級聯(lián)分類器能夠根據(jù)識別率要求提取不同數(shù)量的弱分類器形成強(qiáng)分類器，最后將復(fù)雜程序不同的強(qiáng)分類器組合在一起.[11-12]若樣本數(shù)量趨于無窮，該方法理論上能將人形識別的分類性能指數(shù)趨近于最大化.AdaBoost僅挑選重要特征訓(xùn)練弱分類器，因此檢測速度大大提高，但識別率不及SVM.[13]

本文的主要工作是，選擇AdaBoost級聯(lián)分類器取代原有的SVM分類器，并提出一種二級分類方法以提高人形識別的檢測精度.由于HOG特征本質(zhì)上是對目標(biāo)的邊緣方向特征的描述，對于不同姿勢的人形，HOG特征會產(chǎn)生很大的扭曲變異：正(背)面的人形樣本有效面積較大，并有豐富的輪廓特征，易于分類；側(cè)面人形姿勢復(fù)雜多變，特異性少.傳統(tǒng)方法訓(xùn)練分類器時，混合姿勢樣本的直接使用會使分類特征之間產(chǎn)生沖突，只能獲取少量的特異性特征支持分類，致使效果不理想.因此，在用本方法訓(xùn)練分類器之前，首先將待檢圖片樣本分為兩類：正(背)面和側(cè)面的人形樣本.在分別對兩類樣本訓(xùn)練AdaBoost子分類器后，根據(jù)預(yù)處理圖片的對應(yīng)姿勢，進(jìn)行第二次分類：人或非人.最后，將檢測結(jié)果融合.

1 人形識別的HOG特征

本文使用優(yōu)化的HOG特征表征人形特征，與其他特征描述子相比，HOG描述子有很多優(yōu)勢：(1)對邊緣的結(jié)構(gòu)特征的表達(dá)在很大程度上能夠描繪出人形的局部形狀信息和輪廓特征；(2)位置和方向在空間上的量化在一定程度上可以減少平移和旋轉(zhuǎn)的影響；(3)在局部方格單元上進(jìn)行操作，對圖像的幾何和光學(xué)形變都能保持很好的不變性.[6,14]

HOG特征的主要思想是通過計(jì)算圖像局部梯度方向的統(tǒng)計(jì)數(shù)據(jù)獲得樣本特征.提取HOG特征的具體步驟如下.

步驟1 顏色空間標(biāo)準(zhǔn)化.由于露天裝卸作業(yè)的環(huán)境復(fù)雜、光照強(qiáng)烈，需要對樣本圖像進(jìn)行顏色空間的歸一化以抑制圖像噪聲.這里采用平方根壓縮 Gamma 校正.

(1)

θ(x,y)=arctan(Gx/Gy)

(2)

步驟3 空間和方向上的梯度統(tǒng)計(jì).以16×16像素點(diǎn)大小的塊(block)對整幅圖像進(jìn)行掃描，每個block分為4個cell.將[0°,180°]的梯度方向分為9個bin.利用三線性插值法[15]將每個cell中的像素點(diǎn)梯度方向加權(quán)投票到9個bin中，從而提取出block的36維HOG特征向量.

步驟4 對比度歸一化.為降低背景光照、邊緣突變等的影響，使用 L2-norm函數(shù)對block的 HOG 特征向量進(jìn)行歸一化.

步驟5 檢測窗口HOG特征提取.將全部105個block得到的36維特征向量組成檢測窗口3 780(=36×105)維的特征向量.至此計(jì)算完畢，得到如圖1所示的HOG特征向量圖.

圖1 人形的HOG特征向量圖

2 人形識別的二級分類器

在人形檢測上一般使用單分類器進(jìn)行人形特征分類.目前使用最為廣泛的兩個分類器是SVM分類器和AdaBoost級聯(lián)分類器.用傳統(tǒng)的SVM分類器分類HOG特征向量，檢測速度相對較低.JIA等[15]提出一種自適應(yīng)AdaBoost級聯(lián)分類器分類HOG特征向量以提高檢測效率，然而其檢出率低于傳統(tǒng)SVM分類器.因此，需要提出一種新型分類方法在保證分類效率的基礎(chǔ)上提升分類精度.

圖2 二級分類器分類流程

在視頻監(jiān)控中，復(fù)雜的人形姿態(tài)和港口露天裝卸背景導(dǎo)致檢測效果不理想.此時，單分類器很難對所有姿態(tài)給出明確的界定標(biāo)準(zhǔn)，算法收斂困難.本文利用AdaBoost分類算法思想，改進(jìn)傳統(tǒng)分類模式，變單一分類器為二級分類器.二級分類器分類流程見圖2.首先通過第一級分類器將樣本預(yù)分類為正(背)面和側(cè)面樣本.由于實(shí)驗(yàn)樣本存在非人的可能，此處僅可分類為疑似正(背)面和側(cè)面人形.預(yù)處理之后，第二級分類通過將第一級分類后的樣本分別放入兩個子分類器中進(jìn)行人形識別，判斷是否為人.最后，因?yàn)橥荒繕?biāo)在不同尺度檢測中會出現(xiàn)多個矩形框重疊的情況，所以將正(背)面與側(cè)面人形的檢測結(jié)果進(jìn)行融合得到最終結(jié)果.正(背)面和側(cè)面人形樣本見圖3.具體訓(xùn)練流程如下.

圖3 正(背)面和側(cè)面人形樣本

2.1 基于決策樹的弱分類器訓(xùn)練

圖4 決策樹

如圖4所示，決策樹由3部分構(gòu)成：根節(jié)點(diǎn)、分支和葉節(jié)點(diǎn).每個內(nèi)部節(jié)點(diǎn)表示一個查詢，節(jié)點(diǎn)的每個分支代表一個測試結(jié)果.樹中每個父節(jié)點(diǎn)表示用于樣本劃分的特征閾值，而子節(jié)點(diǎn)分類訓(xùn)練所需的樣本就是通過這個閾值劃分出來的.具體訓(xùn)練步驟如下：

步驟1 閾值的計(jì)算需要考慮每個樣本特征，盡量保證當(dāng)前樣本的分類誤差最低.首先，將所有樣本的維度特征值由小到大排序，然后遍歷所有樣本，找到可以將分類誤差最小化的最優(yōu)閾值θ.也就是說，由該閾值進(jìn)行樣本分類，最終得到的誤檢率小于其他任何鄰近樣本的閾值.計(jì)算所有3 780維特征的閾值，找到其中最小值所在的特征維度，記為第k維，其對應(yīng)的分類誤差被稱為最小分類誤差.由最小誤差建立樹節(jié)點(diǎn)1，根據(jù)對應(yīng)的特征閾值將樣本分為類2和類3，然后計(jì)算類2和類3中正負(fù)樣本的權(quán)重，取較小值記為節(jié)點(diǎn)1的實(shí)際分類誤差.

步驟2 重復(fù)步驟1，分別計(jì)算葉節(jié)點(diǎn)2和3繼續(xù)分類所對應(yīng)的最小分類誤差e2和e3.

步驟3 在節(jié)點(diǎn)2和3中選擇一個作為葉節(jié)點(diǎn)繼續(xù)分類，選擇的依據(jù)是使后繼節(jié)點(diǎn)的數(shù)據(jù)盡可能降低分類錯誤率，計(jì)算公式為

Δθ=max{θ1-e2,θ1-e3}

(3)

步驟4 重復(fù)步驟1～3，如果要使所有葉節(jié)點(diǎn)最終都達(dá)到分類錯誤率為0，可能會出現(xiàn)決策樹的“過擬合”現(xiàn)象.本文將迭代步長設(shè)為4.

2.2 強(qiáng)分類器級聯(lián)

強(qiáng)分類器是通過將同一樣本集訓(xùn)練出的弱分類器以某種規(guī)則進(jìn)行組合得到的.在圖片檢測時，它通過對檢測窗口內(nèi)的弱分類器加權(quán)投票得到加權(quán)和，作為最終分類結(jié)果的判斷依據(jù).

訓(xùn)練決策樹后得到4個弱分類器ht.由式(4)可以求出每個節(jié)點(diǎn)對應(yīng)的權(quán)重αt，其與樣本分類正確率成正比.

αt=(Tt-Ft)/(Tt+Ft)

(4)

式中：Tt和Ft分別表示正、負(fù)樣本的分類正確率.所有樣本分類正確則相應(yīng)權(quán)重為1.

(5)

樣本權(quán)重更新規(guī)則見表1. 從表1可知，若樣本分類正確則權(quán)重變小，反之權(quán)重變大.

表1 樣本權(quán)重更新規(guī)則描述

經(jīng)過最大次數(shù)的迭代后，通過學(xué)習(xí)可以得到所有的弱分類器及相應(yīng)的權(quán)重系數(shù)αt.若經(jīng)過加權(quán)得到的最終值大于0，則檢測結(jié)果為人.

雖然AdaBoost訓(xùn)練的強(qiáng)分類器誤檢率小，但其檢測率也同樣不高.訓(xùn)練級聯(lián)分類器需要考慮兩個方面：一是每個強(qiáng)分類器中弱分類器數(shù)與分類效率的平衡；二是強(qiáng)分類器的識別率與誤檢率的平衡.[16]

2.3 最終分類器訓(xùn)練

步驟1 表2為訓(xùn)練樣本庫，全部樣本都采樣自實(shí)際作業(yè)區(qū)域且在數(shù)量上足以支撐訓(xùn)練過程.因?yàn)闃颖镜倪x取對最終分類器的分類效果有很大影響，所以通過采集不同角度和姿勢的樣本提高樣本庫的普遍性.

步驟2 計(jì)算所有樣本的特征向量.

步驟3 限定每級分類器的最大誤檢率和最小識別率.按照流程(1)和(2)訓(xùn)練弱分類器.

步驟4 重復(fù)步驟1和3直到所有3個分類器訓(xùn)練完成.

表2 訓(xùn)練樣本庫

2.4 檢測結(jié)果融合

針對檢測中多個矩形框重疊的情況，摒棄從多重疊結(jié)果中選擇最優(yōu)解的非極大值抑制法[17]，而使用不相交集聚類同類元素從而對結(jié)果進(jìn)行融合.

3 實(shí)驗(yàn)結(jié)果和分析

在調(diào)研期間，該系統(tǒng)已經(jīng)在天津港散貨碼頭的裝卸作業(yè)區(qū)完成數(shù)個現(xiàn)場測試.由圖5所示，現(xiàn)場測試的視頻表明系統(tǒng)檢測結(jié)果滿足人形識別要求.

圖5 散貨碼頭現(xiàn)場試驗(yàn)結(jié)果

經(jīng)過為期三個月的散貨碼頭實(shí)驗(yàn)，獲得大量現(xiàn)場視頻數(shù)據(jù)并挑選富有代表性的圖像，構(gòu)建3個不同類型的樣本庫.這3個樣本庫主要特征見表3.樣本庫1和2分別為正(背)面和側(cè)面的人形樣本，而樣本庫3中包含不同姿勢的多個人形，包括正(背)面、側(cè)面、傾斜以及旋轉(zhuǎn)人形等.由于采樣基于裝卸作業(yè)現(xiàn)場，所有測試圖像的環(huán)境背景都非常復(fù)雜.

表3 實(shí)驗(yàn)樣本庫

實(shí)驗(yàn)結(jié)果見表4.從表4可知，二級分類器方法誤檢率更低.如表4所示，在誤檢率上，二級分類器對正(背)面人形的誤檢率僅為1.99%，較之傳統(tǒng)SVM分類器的3.35%和AdaBoost分類器的3.09%降低很多.二級分類器對側(cè)面或多種姿勢人形的誤檢率也略低于傳統(tǒng)的SVM算法，遠(yuǎn)低于AdaBoost分類器.在識別率方面，二級分類器對側(cè)面人形的識別率與傳統(tǒng)算法基本持平，但對正(背)面人形的識別率高達(dá)98.01%，均高于傳統(tǒng)SVM和AdaBoost分類器的識別率.在對多種姿勢的人形識別上，二級分類器能夠達(dá)到近96%的識別率.

表4 實(shí)驗(yàn)結(jié)果

由于正面人形具有更加明顯的易識別特征，傳統(tǒng)的單分類器只能采取混合人形姿勢特征訓(xùn)練，導(dǎo)致正面特征的識別率大大降低.本文提出的二級分類器對正(背)面人形的低誤檢率和高識別率正是由于二級分類器能夠?qū)⒄?背)面人形與側(cè)面人形分開訓(xùn)練，顯著強(qiáng)化了正面人形特征的特異性.雖然由于側(cè)面人形特征的復(fù)雜性，其在識別率上的提升較為微弱，但正(背)面人形誤檢率的大大降低以及識別率的提高使其在總體性能上優(yōu)于傳統(tǒng)SVM和AdaBoost分類器.

綜上，本文提出的二級分類器能彌補(bǔ)單分類器的缺點(diǎn).新方法能夠在檢測正(背)面、側(cè)面以及多種姿勢等多個樣本時分別達(dá)到98.01%，92.88%和95.96%的識別率.檢測效果比單一AdaBoost分類器有很大的改善，在整體上也優(yōu)于傳統(tǒng)的SVM分類器.

5 結(jié) 論

針對傳統(tǒng)HOG特征的分類問題，提出一種新的二級分類方法.選擇AdaBoost級聯(lián)分類器替代傳統(tǒng)的SVM分類器，摒棄對許多負(fù)樣本的復(fù)雜檢測來提高分類效率.在第一級分類中，訓(xùn)練AdaBoost級聯(lián)分類器用于檢測疑似正(背)面或側(cè)面人形的圖像.然后在第二級分類中，訓(xùn)練兩個子分類器分別確定是否存在正(背)面和側(cè)面的人形圖像.檢測結(jié)果使用不相交集進(jìn)行融合.

天津港散貨碼頭裝卸作業(yè)區(qū)現(xiàn)場實(shí)驗(yàn)結(jié)果表明，傳統(tǒng)的單一AdaBoost算法在正(背)面、側(cè)面以及多種姿勢的人形樣本檢測上存在很大的限制，缺乏對人形姿勢的適應(yīng)能力.雖然傳統(tǒng)SVM檢測算法的識別率達(dá)到95%，但檢測時間過長，不能滿足港口對實(shí)時性的要求.新方法相對于單一AdaBoost分類器有很大的改進(jìn)，并且該方法在誤檢率僅3%的情況下對混合樣本達(dá)到95%的高識別率.總之，提出的二級分類方法能提高對正(背)面人形的識別率，從而在整體上提高人形識別率.

[1]MI Chao, HUANG Youfang, LIU Haiwei,etal. Study on an intelligent human detection system for unmanned area security in ports[J]. J Appl Sci, 2013, 13(16): 3221-3226.

[2]ZHANG S, CHAN S C, QIU R D,etal. On the design and implementation of a high definition multi-view intelligent video surveillance system[C]//2012 IEEE Int Conf Signal Processing, Communication and Computing (ICSPCC), 12-15 Aug, 2012: 353-357.

[3]宓為建, 何鑫, 沈陽, 等. 基于智能人形識別的港口無人區(qū)監(jiān)控系統(tǒng)關(guān)鍵技術(shù)[J]. 上海海事大學(xué)學(xué)報(bào), 2015, 36(1): 65-69.

[4]DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C]//IEEE Computer Society. Proc 2005 Conf Computer Vision and Pattern Recognition, SanDiego, CA, USA, 25 June, 2005: 886-893.

[5]MI C, HE X, LIU H W,etal. Research on a fast human-detection algorithm for unmanned surveillance area in bulk ports[J]. Math Problems Eng, 2014. DOI:10.1155/2014/386764.

[6]PANG Y W, YUAN Y A, LI X L,etal. Efficient HOG human detection[J]. Signal Processing, 2010, 91(4): 773-781.

[7]ISHII N, MORIOKA Y, SUYAMA S,etal. Classification by rough set reducts, AdaBoost and SVM[C]//IEEE ACIS Int Conf Proc Software Eng Artificial Intelligence Networking and Parallel/Distributed Computing(SNPD), London, 2010: 63-68.

[8]TAN Y, WANG J. A support vector machine with a hybrid kernel and minimal Vapnik-Chervonenkis dimension[C]//IEEE Computer Society Knowledge and Data Eng, 2004: 385-395.

[9]QIU X T, FU D M, YANG T. A novel approach to optimize the objective function based on VC dimension and structural risk minimization[C]//IEEE Proc 30th Chinese Control Conf (CCC), Yantai, China, 2011: 3226-3230.

[10]CORTES C, VAPNIK V. Support-vector networks[J]. Machine Learning, 1995, 20(3): 273-297.

[11]邵梟虎. 基于AdaBoost與顯著信息的行人檢測算法[D]. 成都: 電子科技大學(xué), 2012.

[12]MARCO P, JORDI G, BHASKAR C,etal. Boosting histograms of oriented gradients for human detection[C]//2nd Conf Comput Vision: Adv Res & Dev, 2007: 1-6.

[13]YU J. The application of BP-AdaBoost strong classifier to acquire knowledge of student creativity[C]//IEEE Int Conf Comput Sci & Service Syst (CSSS), 2011: 2669-2672.

[14]ZHANG M, SUN Z, TAN T. Deformed iris recognition using bandpass geometric features and lowpass ordinal features[C]//Int Conf Biometrics, 2013: 1-6.

[15]JIA H X, ZHANG Y J. Fast human detection by boosting histograms of oriented gradients[C]//IEEE 4th Int Conf Image & Graphics, 2007: 683-688.

[16]CHENG W C, JHAN D M. A cascade classifier using AdaBoost algorithm and support vector machine for pedestrian detection[J]. IEEE Int Conf Systems Man & Cybernetics, 2011, 42(1): 1430-1435.

[17]ZAYTSEVA E, VITRIA J. A search based approach to non-maximum suppression in face detection[C]//IEEE 19th Int Conf Image Processing (ICIP), 2012: 1469-1472.

(編輯 趙勉)

Two-stage classification approach for human body recognition in bulk handling area

ZHANG Zhiwei1a, MI Weijian1b, MI Chao1b, HE Xin2

(1. a. Logistics Engineering College, b. Engineering Research Center of Container Supply Chain Technology,Ministry of Education, Shanghai Maritime Univ., Shanghai 201306, China; 2. The 50th Research Institute of China Electronics Technology Group Corporation, Shanghai 200333, China)

At present, the intelligent video monitoring system is used in bulk terminals. However, Histogram of Oriented Gradient (HOG) features of human body in different directions show great difference, so that a small number of specific features obtained by the traditional method is insufficient to support effective classification of human body. Therefore, a kind of two-stage classification method based on AdaBoost is proposed for different HOG features of different human postures. Firstly, the samples are rapidly divided into the Front & Back (F&B) human body and the side (not F&B) human body to form the first-stage classification. Then, the sub-classifiers are respectively trained for the two types of samples to form the second-stage classification, where the human body and the non-human body are recognized respectively and the results are merged. Taking the unmanned area in the bulk terminal of Tianjin Port as the background, a group of human body recognition experiments is carried out. The experimental results show that, compared with the traditional method, this method is of higher recognition rate for F&B human body. The two-stage classification method improves the recognition rate of human body overall.

bulk terminal; human body recognition; Histogram of Oriented Gradient (HOG); AdaBoost

10.13340/j.jsmu.2015.03.014

1672-9498(2015)03-0082-05

2015-02-05

2015-06-03

上海市科學(xué)技術(shù)委員會部分地方院校能力建設(shè)專項(xiàng)計(jì)劃(13510501800)；上海青年科技英才揚(yáng)帆計(jì)劃(15YF1404900)；上海市教育委員會科研創(chuàng)新項(xiàng)目(14ZZ140)；上海海事大學(xué)研究生創(chuàng)新基金(2014ycx040)

張志偉(1992—)，男，安徽合肥人，碩士研究生，研究方向?yàn)楦劭跈C(jī)械電子，(E-mail)hitomi_black@163.com； 宓為建(1956—)，男，浙江海寧人，教授，博導(dǎo)，博士，研究方向?yàn)楦劭跈C(jī)械電子，(E-mail)miweij@126.com

U698.5; TP391.41

A