基于傅里葉描述子的吸煙行為檢測方法*

趙鑒福，梁金幸，史寶軍，3

（1.河北工業(yè)大學(xué) 省部共建電工裝備可靠性與智能化國家重點實驗室，天津 300401；2.河北工業(yè)大學(xué) 機械工程學(xué)院 河北省機器人感知與人機融合重點實驗室，天津 300401；3.國家技術(shù)創(chuàng)新方法與實施工具工程技術(shù)研究中心，天津 300401）

0 引 言

石化廠區(qū)內(nèi)的吸煙行為是引發(fā)火災(zāi)、爆炸事故的重要原因之一，因此吸煙行為檢測作為一種安全監(jiān)測方法越來越受到重視。與火災(zāi)事故發(fā)生產(chǎn)生的滾滾濃煙不同的是，吸煙產(chǎn)生的煙霧表現(xiàn)為一種半透明的煙霧。傳統(tǒng)煙霧傳感器［1］只有煙霧接觸到傳感器且煙霧濃度到達設(shè)定閾值時會發(fā)出警報，傳感器普遍布置于屋頂或傾斜墻壁，對吸煙產(chǎn)生的煙霧不敏感。隨著計算機視覺的發(fā)展，基于視頻圖像的煙霧檢測成為可能。煙霧的擴散運動規(guī)律可以有效區(qū)分煙霧和非煙物體，姚太偉等人［2］通過分析煙霧的運動規(guī)律，采用分塊和背景自適應(yīng)的方法建立煙霧的顏色模型。Chen T H等人［3］分析煙霧的三原色（RGB）三通道圖形信息，發(fā)現(xiàn)煙霧在三通道的對應(yīng)像素之間像素值差幾乎可以忽略，利用RGB 顏色模型可以區(qū)分部分煙霧。Tian H 等人［4］利用混合圖像模型區(qū)分煙霧與背景，提出一種優(yōu)化算法求解煙霧的不透明度。Yuan F N等人［5］提出了一種基于積分圖像的累積運動模型，該模型能有效減少人工燈光和非煙物體的干擾。在此基礎(chǔ)上，進一步研究了噪聲和非煙物體雜亂運動干擾的消除技術(shù)［6］。張潔等人［7］提出了一種結(jié)合煙霧紋理特征與輪廓光流失量的煙霧識別方法，對可疑區(qū)域進行分析，提高檢測效率。但是，不同的光照、氣象條件對獲取的煙霧視頻質(zhì)量產(chǎn)生了較大的影響，進而影響了吸煙檢測的精確率。

針對上述情況，以煙支為檢測對象的目標檢測技術(shù)被應(yīng)用于吸煙行為檢測中，相比煙霧特征，煙支是一種相對穩(wěn)定的吸煙行為特征。由卷煙機生產(chǎn)的煙支分為不加過濾嘴與加過濾嘴的兩種，中國市面上的大多數(shù)過濾嘴煙支的規(guī)格為長度84 mm，直徑7.8 mm，它包括19 mm 的過濾嘴、65 mm的煙支長度，不加過濾嘴卷煙煙支的長度70 mm。Wu W C等人［8］提出了一種基于人臉分析的吸煙行為檢測方法，在YCbCr顏色模型中確定人嘴所在區(qū)域，在HSV 顏色模型分割煙支并判斷是否為吸煙行為。程淑紅等人［9］提出了一種基于人臉分析的公共場所吸煙行為檢測方法，構(gòu)建了基于多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)（multi-task cascaded convolutional neural network，MTCNN）和MobileNet-V1 的吸煙行為檢測模型，在自建數(shù)據(jù)集中有較好的準確率。韓貴金等人［10］提出了一種基于深度學(xué)習(xí)的煙支檢測技術(shù)，改進特征提取方案，將淺層局部特征與深層全局特征進行融合，有效降低了煙支目標檢測的漏檢率，提升了檢測效率。但是，在吸煙行為中，煙支通常與人體手部的運動關(guān)聯(lián)，且深度學(xué)習(xí)的應(yīng)用對硬件要求較高。

針對上述問題，本文提出了一種基于傅里葉描述子的吸煙行為檢測方法。首先，基于Azure Kinect傳感器獲取的人體關(guān)鍵點信息，動態(tài)調(diào)整手部目標區(qū)域。獲取手部區(qū)域后，在YCbCr顏色模型上進行煙支的分割，分析并提取煙支的傅里葉描述子形狀特征，然后利用支持向量機（SVM）對提取的特征進行分類。最后，自建行為檢測數(shù)據(jù)集驗證方法的可行性。

1 手部目標區(qū)域的獲取

圖1為獲取手部目標區(qū)域的流程，首先，由RGB［11］相機和深度相機分別獲取RGB圖片和人體關(guān)鍵點信息，并制定手部目標區(qū)域獲取規(guī)則；然后，通過像素與坐標的轉(zhuǎn)換將深度圖像坐標系與RGB 圖像坐標系對齊；最后，分割RGB圖片獲取手部目標區(qū)域。

圖1 獲取手部目標區(qū)域流程

1.1 手部目標區(qū)域獲取規(guī)則

圖2為Azure Kinect傳感器檢測手部目標區(qū)域結(jié)果的示意，獲取的人體手部區(qū)域關(guān)鍵點分別為圖示點A，B，O。以O(shè)為中心，2OB ＋60 mm的經(jīng)驗值為邊長的矩形為待檢測的手部目標區(qū)域。

圖2 檢測手部目標區(qū)域結(jié)果示意

1.2 坐標系變換

由Azure Kinect Body Tracking SDK 獲取人在深度圖像坐標系下關(guān)鍵點位置坐標信息，在深度圖像坐標系中，點以［X，Y，Z］坐標三元組的形式表示，單位為mm。圖3 給出了RGB相機坐標系｛A｝與深度相機坐標系｛B｝之間的關(guān)系。

圖3 深度相機與RGB相機坐標系間關(guān)系

由張氏標定法獲取Azure Kinect傳感器RGB相機的內(nèi)參為MRGB，TOF 深度相機的內(nèi)參為MD，深度相機相對于RGB相機的旋轉(zhuǎn)矩陣為R，平移矩陣為T，內(nèi)參矩陣分別為

式中 fx，fy為相機的焦距，u0，v0為相機光軸相對于像素坐標系的偏移坐標。

在深度圖中的一點PD，其在深度圖像坐標系中的坐標為（uD，vD，DepD），則PD在RGB圖像坐標系中的映射點為

棋盤格相對于RGB 相機和深度相機的旋轉(zhuǎn)矩陣和平移矩陣分別為

與式（1）對應(yīng)系數(shù)相同得到旋轉(zhuǎn)矩陣R 和平移矩陣T為

RGB像素坐標中對應(yīng)點Pf的坐標為（uf，vf），則RGB相機圖像坐標系與像素坐標系的轉(zhuǎn)換方程為

得到（uD，vD）與（uf，vf）的關(guān)系，完成深度圖中像素點到RGB像素點的轉(zhuǎn)換。

1.3 目標區(qū)域的獲取

得到RGB相機坐標系下的目標區(qū)域后，分割獲取的RGB圖片，圖4為圖片分割得到的RGB圖像的手部目標區(qū)域，采用Visual Studio 2019 配置Azure Kinect SDK 所需環(huán)境，OpenCV環(huán)境為3.4.1，編程實現(xiàn)手部目標區(qū)域的獲取。

圖4 獲取目標區(qū)域示例

2 預(yù)處理與煙支形狀特征提取

2.1 待檢測目標的分割

YCbCr是在視頻標準研制過程中被提出的，其中，Y 為亮度，Cb，Cr為顏色。YCbCr 顏色模型壓縮了數(shù)據(jù)量，在計算機系統(tǒng)中應(yīng)用較多。文獻［12］提出了YCbCr 顏色模型，結(jié)合本文數(shù)據(jù)集修改煙支分割閾值：CbY ＝Cb-128，CrY ＝Cr-128，｜CbY-CrY ｜＞25，y -｜CbY ｜-｜CrY ｜≥95。其中，CbY與CrY為計算中間值。

圖5給出了使用修改后上述閾值的不同顏色模型的分割結(jié)果?？梢钥闯觯琀SV顏色模型分割的結(jié)果引入較多的干擾，YCbCr顏色模型分割的結(jié)果最大程度地保留了待檢測目標的形狀特征，所以本文選擇YCbCr 顏色模型分割手部目標區(qū)域。

圖5 不同顏色模型的分割效果

2.2 分割圖像后處理

圖6分別給出了YCbCr顏色模型分割、高斯濾波、均值濾波和中值濾波的結(jié)果。由圖可以看出，高斯濾波和均值濾波不能有效去除原圖中的噪點，并且使圖片中的形狀特征模糊，但中值濾波可有效去除原圖中的噪點，并保留圖片中的形狀特征，所以本文選擇中值濾波。

圖6 不同濾波方法的結(jié)果比較

2.3 形狀特征與SVM分類器的訓(xùn)練

2.3.1 目標區(qū)域的傅里葉描述

首先，采用Canny算子［13，14］對目標區(qū)域進行邊緣檢測；然后，將輪廓上的K 個像素點的二維坐標s（k）＝［x（k），y（k）］，k ＝0，1，2，…，K -1，轉(zhuǎn)換為復(fù)數(shù)表示，即s（k）＝x（k）＋jy（k），j為虛數(shù)單位。這種表示方法將二維輪廓信息轉(zhuǎn)換為一維信息，降低了輪廓特征維度，式（7）給出了s（k）的離散傅里葉變換（DFT）

式中 u ＝0，1，2，…，K -1，a（u）稱為輪廓的傅里葉描述子［15］。

由于圖片輪廓像素點數(shù)量多且各不相同，造成提取特征維數(shù)多和特征維數(shù)不同的問題，選用不同長度的傅里葉描述子重構(gòu)圖像，用最少的傅里葉描述子完整描述形狀特征。圖7給出了不同維數(shù)的傅里葉描述子重構(gòu)輪廓的示例，自左向右依次為10，20，30，40，50 維傅里葉描述子的重構(gòu)示例。

圖7 不同維數(shù)傅里葉描述子重構(gòu)輪廓示例

由圖7可以看出，傅里葉描述子的維數(shù)越低，特征表達輪廓的形狀越粗略；維數(shù)越高，特征表達輪廓的形狀細節(jié)越豐富。所以，選取可以表征輪廓且維數(shù)較少的30 維特征描述子作為分類器的輸入。

2.3.2 基于SVM的煙支分類器構(gòu)建

SVM［16～18］是一類有監(jiān)督的機器學(xué)習(xí)分類器，其本質(zhì)是將特征向量映射為空間中的點，求解超平面實現(xiàn)間隔最大的劃分不同類別的點。劃分的超平面應(yīng)具有抗干擾強、泛化性優(yōu)、魯棒性好的特點。本文采用LibSVM［19］工具箱，對目標區(qū)域提取的傅里葉描述子進行二分類，并采用交叉驗證的方式，選擇最優(yōu)的參數(shù)訓(xùn)練。

3 實驗與結(jié)果分析

3.1 實驗平臺與自建數(shù)據(jù)集

本文實驗采用英特爾酷睿i9—10900KF CPU、NVIDIA GeForce RTX 2080 Ti顯卡、1TB ＋2TB雙硬盤、32 GB運行內(nèi)存、Windows10操作系統(tǒng)的計算機作為處理設(shè)備。目前，沒有公開的吸煙行為數(shù)據(jù)集，本文使用Azure Kinect傳感器錄制吸煙行為與其他行為的待檢測視頻并分幀處理，另外在網(wǎng)絡(luò)中搜集相關(guān)的吸煙行為圖片。自建數(shù)據(jù)集共500 張圖片，其中，訓(xùn)練集355 張、驗證集145 張。圖8 所示為數(shù)據(jù)集中的部分正負樣本圖片。

圖8 數(shù)據(jù)集中部分正、負樣本

3.2 方法流程

圖9給出了吸煙檢測流程。

圖9 吸煙檢測流程

3.3 實驗結(jié)果

實驗結(jié)果評價指標［20，21］使用準確率A（accuracy）、精確率P（precision）和召回率R（recall），定義分別為

式中 TP為吸煙視頻幀正確分類的幀數(shù)，TN 為非吸煙視頻幀正確分類的幀數(shù)，F(xiàn)N 為吸煙視頻幀錯誤分類的幀數(shù)，F(xiàn)P為非吸煙視頻幀錯誤分類的幀數(shù)。

分別對數(shù)據(jù)集中的圖片使用文獻［8］中的煙支分割顏色模型和本文提出的分割模型進行煙支顏色分割處理。然后提取傅里葉描述子形狀特征特征并分別使用反向傳播（back propagation，BP）神經(jīng)網(wǎng)絡(luò)、SVM 作為分類器，在自建數(shù)據(jù)集上進行吸煙檢測實驗。實驗結(jié)果與識別效果評價指標如表1所示。

表1 實驗結(jié)果與識別效果評價指標

文獻［8］中首先檢測人嘴區(qū)域，在本文數(shù)據(jù)集中煙支與人手一起移動，所以只采用文獻［8］中的顏色模型來分割相同數(shù)據(jù)集，并與其他方法比較結(jié)果。實驗結(jié)果表明，提取手部目標區(qū)域的傅里葉描述子和SVM 分類器的方法表現(xiàn)最優(yōu)，評價指標均達80%以上，其中，A為86.21%，P為93.33%，R為82.35%。

4 結(jié) 論

針對目前煙霧傳感器與視頻煙霧智能識別受外界環(huán)境影響較大的問題，本文提出了一種以煙支為檢測對象的吸煙行為檢測方法。首先，提出了一種基于Azure Kinect傳感器的手部目標區(qū)域獲取方法；然后，在YCbCr顏色模型下修改顏色閾值，并提取基于傅里葉描述子的形狀特征；最后，利用SVM分類器實現(xiàn)吸煙行為的分類判斷。為驗證方法的有效性，建立行為檢測數(shù)據(jù)集，本文提出的方法在數(shù)據(jù)集上表現(xiàn)良好。由于數(shù)據(jù)集圖片的數(shù)量與質(zhì)量對最終的檢測結(jié)果有較大的影響。