基于異步交互聚合網(wǎng)絡(luò)的卷煙廠危險作業(yè)區(qū)人員異常行為圖像識別

摘"要：受到卷煙廠作業(yè)區(qū)域分散、作業(yè)人員多、行為特征相似度高的影響，無法有效整合多組圖像行為特征，造成識別結(jié)果誤差偏大，不能進(jìn)行危險行為即時預(yù)警。為此，提出了基于異步交互聚合網(wǎng)絡(luò)的卷煙廠危險作業(yè)區(qū)人員異常行為圖像識別方法。根據(jù)卷煙廠危險作業(yè)區(qū)域特點，結(jié)合人員異常行為圖像分析效果，提取異步交互聚合網(wǎng)絡(luò)下JDE行為特征，進(jìn)行人員異常行為角度特征識別，為相鄰識別特征交互區(qū)域類型輸出分配不同加權(quán)系數(shù)量，輸出異步交互聚合識別結(jié)果。實驗結(jié)果表明：在異步交互聚合網(wǎng)絡(luò)優(yōu)化下，人員異常行為識別準(zhǔn)確率得到明顯提升，整體識別效果穩(wěn)定性較高，適應(yīng)性優(yōu)化效果明顯。

關(guān)鍵詞：異步交互聚合網(wǎng)絡(luò)；人員；異常行為；圖像識別

中圖分類號：TM773""""""文獻(xiàn)標(biāo)識碼：A

Identification"of"Abnormal"Behavior"of"Personnel"

in"Dangerous"Working"Area"of"Ciqarette"Factorty"Based

on"Asynchronous"Interactive"Aggregation"Network

LV"Zhongchuang，"ZHOU"Haojie，"FANG"Zhi"

（Wuhan"Cigarette"Factory，Hubei"China"Tobacco"Industry"Co.，"Ltd.，"Wuhan，Hubei"430000，China）

Abstract：Affected"by"the"scattered"operation"area"of"the"cigarette"factory，"the"large"number"of"operators，"and"the"high"similarity"of"behavior"characteristics，"it"is"unable"to"effectively"integrate"multiple"groups"of"image"behavior"characteristics，"resulting"in"a"large"error"in"the"recognition"results，"and"unable"to"conduct"immediate"warning"of"dangerous"behaviors."Therefore，"an"image"recognition"method"of"abnormal"behavior"of"personnel"in"the"dangerous"operation"area"of"the"cigarette"factory"based"on"asynchronous"interactive"aggregation"network"is"proposed."According"to"the"characteristics"of"the"dangerous"operation"area"of"the"cigarette"factory，"combined"with"the"effect"of"image"analysis"of"personnel"abnormal"behavior，"the"JDE"behavior"characteristics"under"the"asynchronous"interactive"aggregation"network"are"extracted，"the"angle"characteristics"of"personnel"abnormal"behavior"are"identified，"the"number"of"different"weighting"factors"are"allocated"for"the"output"of"the"adjacent"recognition"feature"interaction"area"type，"and"the"asynchronous"interactive"aggregation"recognition"results"are"output."The"experimental"results"show"that"under"the"optimization"of"asynchronous"interactive"aggregation"network，"the"recognition"accuracy"of"personnel"abnormal"behavior"is"significantly"improved，"the"overall"recognition"effect"is"stable，"and"the"adaptive"optimization"effect"is"obvious.

Key"words：asynchronous"interactive"aggregation"network;"personnel;"abnormal"behavior;"image"recognition

由于卷煙廠危險作業(yè)區(qū)環(huán)境的特殊性，其異常行為并不容易被發(fā)現(xiàn)。這就需要監(jiān)控人員對異常行為做出及時發(fā)現(xiàn)并及時處理。目前監(jiān)控中主要采用視頻檢測，但是由于場景復(fù)雜，且其所處位置為危險作業(yè)區(qū)且拍攝時間較短，所以在實際應(yīng)用中效率比較低。由于卷煙廠危險作業(yè)區(qū)人員行為具有很強(qiáng)的不確定性[1-2]，其行為具有復(fù)雜性[3]，文獻(xiàn)[4]對多人圖像進(jìn)行切割，識別分割后圖像中人員的行為，使用機(jī)器視覺的方法檢測工廠人員的異常行為，得到最終的人員行為信息。文獻(xiàn)[5]將登桿作業(yè)的多個視頻序列作為輸入數(shù)據(jù)，針對電網(wǎng)登桿作業(yè)依賴于人員現(xiàn)場監(jiān)督的問題，經(jīng)過深度殘差網(wǎng)絡(luò)獲得多個視頻序列的特征，提高作業(yè)效率和智能化水平。

現(xiàn)階段傳統(tǒng)方法在識別過程中存在的識別問題，主要表現(xiàn)在以下幾點：（1）同一場景下同一人員拍攝多張圖像進(jìn)行訓(xùn)練得出數(shù)據(jù)集之間的相關(guān)性較差；（2）相同類型數(shù)據(jù)集訓(xùn)練得到的網(wǎng)絡(luò)模型識別和分類處理參量誤差較大；（3）多重特征融合方法匹配過程中的擾動系數(shù)影響范圍大。通過提出方法解決上述問題。

為了提高檢測效率，需要多個相機(jī)拍攝同一場景下不同時間點的多張圖像。因此使用了異步交互聚合網(wǎng)絡(luò)進(jìn)行異常行為識別和分類，通過裁剪人物和對象的特征，將特征池中人的特征、對象特征和內(nèi)存特征輸入、集成為多個交互聚合模塊，傳遞給最終的分類器進(jìn)行預(yù)測，以提高檢測準(zhǔn)確性。

1"方法實現(xiàn)與計算

1.1"人員異常行為角度特征識別

通過對大量人員動作行為圖像的分析發(fā)現(xiàn)，人員異常行為圖像判定的關(guān)鍵在于動作角度特征的識別是否精準(zhǔn)。為此，在提出的異常行為圖像識別中首先對其異常行為角度進(jìn)行特征識別計算。結(jié)合異步交互聚合網(wǎng)絡(luò)中行為動作角度規(guī)律，一般情況下，將員工雙手舉起時的動作關(guān)節(jié)點設(shè)定為識別特征點，即上臂與肩部之間構(gòu)成的矢量角度值大于0°，此時對應(yīng)的坐標(biāo)方向以右下方為正方向；在此坐標(biāo)下，若行為動作對應(yīng)特征識別點滿足上臂與小臂之間構(gòu)成的矢量角度值大于60°且不大于120°，則人員行為動作為叉腰動作?；谏鲜鲎R別關(guān)系，通過BlazePose坐標(biāo)對卷煙廠危險作業(yè)區(qū)人員異常行為進(jìn)行識別特征點矢量信息分析[6]，以獲得動作矢量之間的角度信息，再通過異步交互聚合網(wǎng)絡(luò)的信息關(guān)聯(lián)，得到行為動作1與2間的矢量角度值θ計算公式為：

cosθ=1·221·22

θ=arc（cosθ）180π（1）

通過將計算行為角度與正常狀態(tài)下工作人員行為的關(guān)聯(lián)比對，可得到人員狀態(tài)位置的具體情況，如圖1所示。

圖1a所反映的行為動作角度為工作人員處于正常工作站位，右肩識別特征點3與左肩識別特征點1的坐標(biāo)量進(jìn)行差值計算，可得到矢量D1，左肘識別特征點2與左肩識別特征點1坐標(biāo)量進(jìn)行差值計算，可得到矢量D2，將差值計算所得的兩個矢量進(jìn)行空間意義上的夾角構(gòu)建，并將構(gòu)建夾角定義為θ1，而正常工作狀態(tài)下工作人員的左小臂呈自然下垂?fàn)顟B(tài)，此時構(gòu)成的矢量夾角關(guān)系為θ1＜0。同理，正常工作狀態(tài)下右臂與水平坐標(biāo)構(gòu)成的矢量夾角θ2也滿足θ2＜0。圖1b反映的行為動作角度為工作人員將左手舉起時的站位，此時矢量D1與矢量D2之間的夾角θ1＞0。同理可對舉雙手進(jìn)行行為角度判定。圖1e所反映的行為動作角度為工作人員雙手叉腰時的站位，此時工作人員識別特征點1與識別特征點2矢量設(shè)定為D3，識別特征點2與識別特征點5之間的矢量設(shè)定為D4，則該行為動作下兩個矢量之間的夾角60°＜φ3＜120°。以此類推，完成對行為角度特征的識別定義。

1.2"異步交互聚合網(wǎng)絡(luò)下JDE行為特征提取

根據(jù)上述對行為動作角度的識別定義，對行為圖像中的每一動作進(jìn)行逐幀劃分，對其異步交互聚

合網(wǎng)絡(luò)下的JDE行為特征[7-8]進(jìn)行提取。通過特征金字塔網(wǎng)絡(luò)對危險作業(yè)區(qū)人員異常行為圖像特征進(jìn)行增強(qiáng)，得到危險作業(yè)區(qū)人員異常行為識別任務(wù)關(guān)聯(lián)信息參量索引信息。其中對行為特征數(shù)據(jù)提取的網(wǎng)絡(luò)包含了卷積層與匹配層，卷積函數(shù)Fl+1（u，v）與匹配函數(shù)Yn的計算公式如下。

Fl+1（u，v）=Flωl+1（u，v）+b（2）

Yn=xnxn≥1

xnanxnlt;1（3）

式中：F（u，v）代表行為特征圖像構(gòu)成特征點（u，v）的像素值；ω代表卷積核指標(biāo)系數(shù)；Fl+1與Fl分別代表卷積層第l+1層與第l層的提取匹配量；b代表識別誤差量；"代表提取過程中的行為特征卷積處理過程；匹配層采用Leaky-Re"LU激活函數(shù)[9-10]完成特征像素信息的匹配計算，xn與Yn分別代表匹配層的第n層輸入與輸出；an代表匹配層的矢量配置。

異常行為特征索引信息是由多個不同像素信息量卷積疊加構(gòu)成的綜合信息集合，其輸出"（5P+Q）×W×H的概率提取網(wǎng)絡(luò)分布，其中，P代表該尺度下錨節(jié)點分布的總數(shù)；Q代表信息特征隱藏深度，W與H代表錨點分布網(wǎng)絡(luò)的寬與高。異常行為特征索引信息提取窗口尺度約束分別由以下3個因素綜合決定：

①行為特征匹配尺度大小為3P×W×H的匹配結(jié)果；②行為特征匹配尺度大小為P×W×H的回歸數(shù)據(jù)；③行為特征匹配尺度大小為2Q×W×H的隱藏特征分布情況。為了確保提取信息的準(zhǔn)確，利用圖像前景或背景作為行為特征匹配比對損失函數(shù)La、行為特征邊界框?qū)?yīng)回歸參數(shù)的損失函數(shù)Lb及隱藏特征分布損失函數(shù)Lc，通過對3類損失函數(shù)的綜合匹配，實現(xiàn)JDE行為特征信息提取。匹配比對損失函數(shù)La和隱藏特征分布損失函數(shù)Lc的交叉損失函數(shù)計算公式、行為特征邊界框?qū)?yīng)回歸參數(shù)的損失函數(shù)Lb見下式。

La=∑Ts=1p（xs）－ln"q（xs）（4）

Lb=0.3x2xlt;1x－0.3x≥1（5）

式中：p（xs）代表特征行為xs處于節(jié)點s的真實概率分布；q（xs）代表行為特征索引信息T中包含的概率分布。聯(lián)合目標(biāo)行為特征下的每個尺度與每個分量，對其權(quán)重系數(shù)值的線性損失進(jìn)行和值計算，得到JDE行為特征目標(biāo)函數(shù)Lunite：

Lunite=∑Mk=1∑j=a，b，cwkjLkj（6）

式中：M代表索引特征信息包含的行為特征類別總量；wkj=（k=1，2，…，M;j=a，b，c）代表上述3種損失函數(shù)的加權(quán)系數(shù)；Lkj=（k=1，2，…，M;j=a，b，c）代表不同行為索引特征信息對應(yīng)的損失函數(shù)。

對JDE行為特征目標(biāo)函數(shù)Lunite進(jìn)行自動平衡優(yōu)化，得到：

Lunite=∑Mk=1∑j=a，b，c121erkLkj+rkj"（7）

式中：rkj（k=1，2，…，M；j=a，b，c）代表每個異常行為特征個體損失關(guān)聯(lián)系數(shù)的不確定性；將卷煙廠危險作業(yè)區(qū)域人員異常行為視頻分割為連續(xù)圖像s1，s2，…，sN，對連續(xù)圖像構(gòu)成的片段sn（n=1，2，…，N）"進(jìn)行行為幀與物體特征提取，所得參量分別記作Pi和Oi。并將當(dāng)前連續(xù)幀圖像中的工作人員行為特征進(jìn)行時間關(guān)聯(lián)[11-12]，并將關(guān)聯(lián)特征定義為記憶特征，符號關(guān)系表達(dá)為Ni=Pi－E，…，Pi，…，Pi+E，即從連續(xù)幀圖像中抽?。?E+1）幀人員行為動作圖像，所包含的特征能夠匹配算法JDE動作識別的語義信息，基于這些語義信息進(jìn)行行為異步交互聚合識別輸出。

1.3"異步交互聚合識別結(jié)果輸出

異步交互聚合網(wǎng)絡(luò)內(nèi)輸入卷煙廠危險作業(yè)區(qū)域中工作人員異常行為與物體特征Pi、Oi及行為時間記憶特征Ni，輸出動作特征定義為Yi=Y（Pi，Qi，Ni，δ），Ni代表異步交互聚合網(wǎng)絡(luò)結(jié)構(gòu)中的配置量，Yi最終載入分類器進(jìn)行卷煙廠危險作業(yè)區(qū)域中工作人員異常行為識別輸出。

異步交互聚合網(wǎng)絡(luò)結(jié)構(gòu)交互模塊包含3種行為識別區(qū)域：P區(qū)域、O區(qū)域和N區(qū)域。

P區(qū)域用于描述卷煙廠危險作業(yè)區(qū)域中工作人員之間的交互。它對多特征屬性人員交互特征信息識別較為敏感，P區(qū)域的識別特征配置為目標(biāo)人員特征或更高維度行為特征的人員特征Pi。

O區(qū)域指向為人員與物體之間的交互行為特征識別，其對卷煙廠危險作業(yè)區(qū)域中工作人員中人員在物體上的相關(guān)動作更加敏感，該區(qū)域配置核心特征量為物體特征Oi。當(dāng)檢測物體類型較多時，會自動根據(jù)置信度進(jìn)行排序，按照由大到小抽樣提取。

N區(qū)域識別區(qū)域為時空關(guān)聯(lián)較強(qiáng)的異常行為動作。N區(qū)域識別特征配置量為時間記憶特征Ni。

將3種特征識別區(qū)域類型進(jìn)行交互關(guān)聯(lián)，構(gòu)建密集串行異步交互聚合網(wǎng)絡(luò)結(jié)構(gòu)，見圖2。異步交互聚合網(wǎng)絡(luò)結(jié)構(gòu)中任意1個交互區(qū)域類型對其相鄰識別特征交互區(qū)域類型輸出分配不同加權(quán)系數(shù)量，以確保網(wǎng)絡(luò)信息的聚合關(guān)聯(lián)屬性的平衡與統(tǒng)一[13]。其對第n個區(qū)域的整合異常行為特征公式為：

Wi，n=∑m∈DVm×Fi，m"（8）

式中：D代表上一行為特征識別類型區(qū)域的檢索信息集合；Vm代表索引集之間用Softmax函數(shù)[14-15]歸一化后可識別匹配的多維特征向量；Fi，m代表第m個類型識別區(qū)域輸出的異常行為增強(qiáng)特征。

2"應(yīng)用測試

對提出識別方法進(jìn)行數(shù)據(jù)調(diào)試，為了更加貼近實際應(yīng)用效果，測試數(shù)據(jù)以武漢卷煙廠廠區(qū)圖像信息作為測試數(shù)據(jù)樣本，引入文獻(xiàn)[4]方法和文獻(xiàn)[5]方法作為對比方法一同參與測試，兩種對比方法在測試過程中分別稱作D1識別方法、D2識別方法；提出方法稱作Y1識別方法，比較相同測試參量下不同識別方法所測項目指標(biāo)結(jié)果。

2.1"測試數(shù)據(jù)配置

測試數(shù)據(jù)樣本抽取2020年武漢卷煙廠隨機(jī)月份的人員多區(qū)域行為圖像作為測試樣本，測試平臺為智能安全管控平臺，測試共創(chuàng)建3個性能檢測項目，分別為異常行為識別靈敏度測試，識別準(zhǔn)確度測試及識別壓力測試。測試數(shù)據(jù)圖像采集點分布及其風(fēng)險數(shù)據(jù)初始配置如圖3所示。

根據(jù)圖3能夠直觀看到，樣本采集點共計6個，采集樣本中包含中風(fēng)險異常行為特征27個，高風(fēng)險異常行為特征102個，根據(jù)測試項目的不同配置參數(shù)，完成相關(guān)指標(biāo)測試。測試環(huán)境通過仿真工具M(jìn)ATLAB搭建，并完成所有項目測試過程及數(shù)據(jù)統(tǒng)計。

2.2"異常行為圖像識別響應(yīng)測試

對D1識別方法、D2識別方法與Y1識別方法的識別影響指標(biāo)進(jìn)行數(shù)據(jù)調(diào)試，按照設(shè)定樣本參量每種方法下發(fā)160組數(shù)據(jù)，記錄3種不同方法的響應(yīng)時間，并生成線形圖，如圖4所示。

根據(jù)圖4的測試曲線顯示可知，D1識別方法與D2識別方法的響應(yīng)時間相似度較高，其中D1識別方法的最小響應(yīng)時間為34.6"ms，最大響應(yīng)時間為57.6"ms；D2識別方法最小響應(yīng)時間為25.1"ms；最大響應(yīng)時間為62.4"ms；二者對應(yīng)響應(yīng)時間均呈上升趨勢，且在第100～120組樣本段時響應(yīng)時間重合。相比二者，Y1識別方法的最小響應(yīng)時間為10"ms，最大響應(yīng)時間為18.4"ms；整體響應(yīng)曲線較為平穩(wěn)，且前段為上升趨勢，中段開始回落，末段處于保持狀態(tài)，因此綜合曲線走勢與指標(biāo)值大小對比分析，Y1識別方法的響應(yīng)時間為該測試項目中的最佳指標(biāo)，可以通過測試。

2.3"準(zhǔn)確度測試

對上述測試過程中160組數(shù)據(jù)識別結(jié)果進(jìn)行統(tǒng)計整理，按照準(zhǔn)確識別結(jié)果的百分比，生成不同識別方法的準(zhǔn)確度測試結(jié)果統(tǒng)計表，其中，為了簡化整理過程，以每10組數(shù)據(jù)計算一個均值的方式，生成表1。

通過對表1數(shù)據(jù)的橫向?qū)Ρ劝l(fā)現(xiàn)，Y1識別方法的準(zhǔn)確率明顯高于D1識別方法與D2識別方法，且從縱向數(shù)值之間的差值大小及其規(guī)律性來看，Y1識別方法的穩(wěn)定性最好，數(shù)值之間的差值范圍較小且有規(guī)律性，符合異步交互聚合網(wǎng)絡(luò)結(jié)構(gòu)特征，而D1與D2兩種識別方法雖然差值范圍與Y1識別方法差異不大，但是整體變化無規(guī)律性，屬于隨機(jī)變化，因此在準(zhǔn)確率穩(wěn)定性方面不如Y1識別方法。

2.4"識別壓力測試

為了確保識別效果能夠穩(wěn)定輸出，對其進(jìn)行壓力測試，測試通過智能安全管控平臺圖像監(jiān)控模塊獲取廠區(qū)人員圖像，如圖5所示。將其圖像特征通過仿真工具M(jìn)ATLAB進(jìn)行提取復(fù)制，生成容量為10.4"GB的特征壓力測試數(shù)據(jù)包，通過數(shù)據(jù)分發(fā)至參測方法，并記錄3種識別方法的性能曲線，如圖6所示。

根據(jù)上述測試結(jié)果，從壓力負(fù)載能力上看，僅有Y1識別方法能夠有效控制負(fù)載資源調(diào)度與時間參量的平衡，保證識別效果的穩(wěn)定輸出。雖然Y1識別方法也存在局部小范圍劇烈波動，但是整體抑制與收斂處理較好，符合壓力測試的相關(guān)標(biāo)準(zhǔn)。

3"結(jié)"論

通過引入異步交互聚合網(wǎng)絡(luò)，對卷煙廠危險作業(yè)區(qū)域人員異常行為圖像進(jìn)行結(jié)構(gòu)特征識別優(yōu)化，實現(xiàn)了行為細(xì)微特征的高精準(zhǔn)識別，為圖像識別研究與多區(qū)域多條件高精度應(yīng)用，提供了可行性參考方案。但是，受限于網(wǎng)絡(luò)數(shù)據(jù)結(jié)構(gòu)的更新周期限制，識別網(wǎng)絡(luò)結(jié)構(gòu)中的適應(yīng)系數(shù)生命周期有限，因此無法保證識別效果的長久穩(wěn)定。為了最大程度提升識別效果的穩(wěn)定及其生命周期，可在日后研究中，通過在識別變量與時間變量之間尋找平衡系數(shù)，在此嵌入式引入自適應(yīng)閾值或自學(xué)習(xí)機(jī)制，以此增加方法的自我優(yōu)化能力，實現(xiàn)識別效果的長久穩(wěn)定與延長方法生命周期的效果。

參考文獻(xiàn)

［１］"翟智鈺，侯北平.基于多特征融合的停車場行人異常行為識別[J].浙江科技學(xué)院學(xué)報，2022，34（6）：528-538.

[2]"林創(chuàng)魯，葉亮，李剛，等.基于深度學(xué)習(xí)的自動扶梯乘客異常行為識別方法研究[J].自動化與信息工程，2022，43（6）：1-6.

[3]"劉釗，齊磊，梁茂晗，等.數(shù)據(jù)驅(qū)動的船舶異常行為識別方法[J].中國航海，2022，45（4）：1-7.

[4]"李昊朋，王景成，黃姣茹.基于機(jī)器視覺的工廠人員異常行為識別[J].計算機(jī)與數(shù)字工程，2022，50（10）：2176-2181.

[5]"龔向陽，楊躍平，張明達(dá)，等.基于深度殘差LSTM的視頻異常行為識別算法[J].電子設(shè)計工程，2022，30（19）：164-168.

[6]"莫輝強(qiáng)，邵唐紅，王偉，等.一種基于視頻分析的異常行為識別算法及應(yīng)用[J].計算機(jī)與數(shù)字工程，2022，50（9）：1895-1898.

[7]"陳信強(qiáng)，鄭金彪，凌峻，等.基于異步交互聚合網(wǎng)絡(luò)的港船作業(yè)區(qū)域人員異常行為識別[J].交通信息與安全，2022，40（2）：22-29.

[8]"楊志芳，李乾.基于骨骼關(guān)鍵點的異常行為識別及異構(gòu)平臺部署[J].自動化與儀表，2021，36（11）：49-52.

[9]"鐘嶒楒，方志軍.基于循環(huán)神經(jīng)網(wǎng)絡(luò)的人體異常行為識別模型[J].智能計算機(jī)與應(yīng)用，2021，11（11）：76-78+83.

[10]盧錦亮，吳廣潮，馮夫健，等.基于聯(lián)合軌跡特征的徘徊行為識別方法[J].南京大學(xué)學(xué)報（自然科學(xué)），2021，57（5）：724-734.

[11]楊觀賜，李楊，趙樂，等.基于傳感器數(shù)據(jù)的用戶行為識別方法綜述[J].包裝工程，2021，42（18）：94-102+133+11.

[12]韋媚，覃艷梅，韋志瑜.互聯(lián)網(wǎng)背景下代理商風(fēng)險管控的異常行為識別研究[J].無線互聯(lián)科技，2021，18（16）：47-48.

[13]喻波，王志海，孫亞東，等.非結(jié)構(gòu)化文檔敏感數(shù)據(jù)識別與異常行為分析[J].智能系統(tǒng)學(xué)報，2021，16（5）：932-939.

[14]陳誠.群體異常行為識別技術(shù)研究[J].電子世界，2021（13）：90-93.

[15]趙鑫，陳平.基于多網(wǎng)絡(luò)級聯(lián)預(yù)測的異常行為識別方法研究[J].測試技術(shù)學(xué)報，2021，35（3）：253-260.