面向計算機視覺的吸煙檢測方法研究綜述

何嘉彬，李雷孝，2，林 浩，徐國新

1.內(nèi)蒙古工業(yè)大學(xué) 數(shù)據(jù)科學(xué)與應(yīng)用學(xué)院，呼和浩特 010080

2.內(nèi)蒙古自治區(qū)基于大數(shù)據(jù)的軟件服務(wù)工程技術(shù)研究中心，呼和浩特 010080

3.天津理工大學(xué) 計算機科學(xué)與工程學(xué)院，天津 300384

近年來，與吸煙有關(guān)的死亡人數(shù)每年都在增加，在一些地區(qū)，吸煙導(dǎo)致死亡的人數(shù)甚至超過了交通事故或飲酒[1]。此外，在公共場所吸煙也存在很多潛在危害。吸煙不僅嚴(yán)重危害自身健康，吐出的二手煙還會影響他人。煙草中含有多種有害物質(zhì)，吸入人體后會在肺泡內(nèi)壁慢慢沉積導(dǎo)致肺部出現(xiàn)損傷。一支香煙通常燃燒時間在10 min左右，被隨意丟棄的煙頭接近易燃物品極易引發(fā)火災(zāi)。因此，為了保護自身健康和公共財產(chǎn)安全，對吸煙檢測方法展開研究具有重要意義。

目前，吸煙檢測的研究成果可分為基于硬件設(shè)備和無線信號，以及基于計算機視覺的檢測方法。其中，基于硬件設(shè)備和無線信號的檢測方法適應(yīng)性較差，在一些特殊場景使用效果不佳。針對這些局限性，近年來基于計算機視覺的吸煙檢測方法被廣泛應(yīng)用。與此同時，監(jiān)控系統(tǒng)從仿真時代、網(wǎng)絡(luò)化時代、高清時代逐漸步入智能化時代。監(jiān)控資源不再作為局部監(jiān)控功能，而是與計算機視覺相結(jié)合，實現(xiàn)智能監(jiān)控。根據(jù)吸煙產(chǎn)生煙霧的特點，利用圖像處理相關(guān)算法提取疑似煙霧區(qū)域并準(zhǔn)確分割識別，可以極大改善傳統(tǒng)煙霧探測器的高誤報率和低檢測率。并且隨著深度學(xué)習(xí)的成功，基于深度學(xué)習(xí)的目標(biāo)檢測算法迅速發(fā)展并成為檢測煙霧和煙支的主流方法。與傳統(tǒng)機器學(xué)習(xí)相比，它具有更強大的特征學(xué)習(xí)和特征表示能力，能夠更好地滿足大數(shù)據(jù)時代的需求。這類方法主要基于單幀圖像提取目標(biāo)的高維特征，對于吸煙檢測而言，沒有很好利用吸煙動作的時序規(guī)律性。另一類方法是基于行為識別[2]的吸煙動作檢測，它更多地關(guān)注吸煙動作的時序信息，利用模型構(gòu)造動作特征描述人體吸煙動作變化。其中人體骨架的高層次表示特征以及對視點、外觀和背景噪聲的魯棒性使得骨骼數(shù)據(jù)在動作識別中更具有優(yōu)勢。Yang 等人[3]通過實驗證明了在同一數(shù)據(jù)集上使用相同的分類器，基于人體骨骼的特征優(yōu)于外觀特征。所以基于骨骼數(shù)據(jù)的吸煙動作檢測受到更多的學(xué)者們關(guān)注。

當(dāng)前研究只針對某一類方法，該領(lǐng)域還沒有系統(tǒng)歸納的綜述。因此本文基于現(xiàn)有吸煙檢測方法展開研究。首先，探討基于硬件設(shè)備和無線信號的非計算機視覺檢測方法，并分析其優(yōu)劣。其次，分別綜述三類主流計算機視覺檢測方法：（1）針對煙霧檢測從顏色、外觀和運動等多特征融合角度進行論述；（2）煙支目標(biāo)檢測利用單階段和兩階段檢測算法對煙支目標(biāo)直接檢測，或利用人臉、人體初步篩選煙支候選區(qū)域，再利用目標(biāo)檢測算法定位識別煙支目標(biāo)；（3）吸煙動作檢測從行為識別角度出發(fā)，主要基于骨骼數(shù)據(jù)展開研究。最后總結(jié)全文并展望未來吸煙檢測研究的發(fā)展方向。本文結(jié)構(gòu)如圖1所示。

圖1 全文結(jié)構(gòu)Fig.1 Full-text structure

1 基于硬件設(shè)備和無線信號的吸煙檢測

對吸煙行為檢測的研究由來已久，傳統(tǒng)的檢測方法主要基于煙霧傳感器[4]。其中離子式煙霧傳感器利用煙霧會干擾帶電離子正常運動的原理，改變電流電壓，產(chǎn)生報警信息；光電式煙霧傳感器在煙霧的作用下，利用紅外光漫反射原理進行檢測；氣敏式煙霧傳感器通過檢測特定氣體濃度，分析環(huán)境中是否存在香煙煙霧。由于香煙煙霧濃度低、飄散快的特點，煙霧傳感器需要具備較高的靈敏度。此外，室外環(huán)境還要考慮空氣中其他物質(zhì)對傳感器造成的干擾。近幾年，可穿戴設(shè)備[5]依靠其方便、快捷的優(yōu)勢逐漸成為吸煙檢測的解決方案。吸煙的頻率或方式通常因人而異，然而不同人的吸煙行為和生理現(xiàn)象總是存在相似之處。吸煙者一次吸煙過程通常包括以下動作，點燃香煙后手部持煙準(zhǔn)備吸入，動作表現(xiàn)為手部逐漸靠近嘴部；手部持煙一段時間吸入煙霧，動作表現(xiàn)為手部與嘴部保持重合；吸入煙霧后動作表現(xiàn)為手部逐漸遠離嘴部。此時會有短暫的煙霧滯留在肺部，吸煙者通過鼻子或嘴呼出煙霧。這種特殊的呼吸方式和此時產(chǎn)生的心律變化相較于非吸煙者存在明顯差異，通過可穿戴設(shè)備表征這些差異可以檢測吸煙行為。雖然這類方法可以平衡外部環(huán)境因素導(dǎo)致吸煙檢測準(zhǔn)確度低的問題，但穿戴復(fù)雜的設(shè)備會給人帶來強烈的不適感，并且傳感器的響應(yīng)通常會受到吸煙者行為運動的影響。隨著無線通信技術(shù)和射頻識別技術(shù)的發(fā)展，部分研究使用無線信號來識別身體運動。主要利用WiFi 信號[6]的信道狀態(tài)變化檢測有規(guī)律的吸煙行為，在非視線區(qū)和穿墻環(huán)境中也能提取有價值的信息。還有研究利用超寬帶雷達信號[7]、聲學(xué)和光學(xué)信號[8-9]結(jié)合可穿戴設(shè)備進行吸煙檢測?；跓o線信號的檢測方法不僅需要考慮信號覆蓋問題，而且易受混淆活動和吸煙行為多樣性的影響?；谟布O(shè)備相關(guān)研究如表1所示。

以上方法都具有很大的局限性，測試過程也僅限于實驗環(huán)境，無法同時滿足實際場景高精度檢測和實時性需求。相比基于硬件設(shè)備和無線信號的檢測方法，基于計算機視覺的吸煙檢測不受環(huán)境因素的干擾，也不需要考慮硬件成本問題。不少研究者利用計算機視覺中先進的技術(shù)對吸煙行為進行檢測，并取得了良好的檢測效果。下面將分別介紹三種基于計算機視覺的吸煙檢測方法。

2 煙霧多特征檢測

這類方法使用特征提取和分割技術(shù)從圖像中提取所需特征，然后將這些特征與目標(biāo)對象的特征進行比較。如果從圖像中提取的特征與目標(biāo)對象特征匹配或相似，則認(rèn)為檢測到目標(biāo)對象。常用機器學(xué)習(xí)方法如支持向量機（support vector machine，SVM）分類器對提取的特征進行分類。基于煙霧多特征的吸煙檢測方法利用圖像處理技術(shù)，通過提取煙霧的顏色、外觀和運動等特征并送入分類器進行判別。這種吸煙煙霧檢測技術(shù)相比于煙霧探測器更適用于復(fù)雜、廣闊的室外環(huán)境，同時提供了豐富的早期煙霧視覺信息。

2.1 顏色特征

基于顏色特征算法利用不同顏色空間特點增強煙霧視覺特性，將移動塊標(biāo)記為潛在的煙霧塊。常用的顏色空間包括RGB、HSV、YCbCr、YUV、HSI 等。潘廣貞等人[15]通過分析研究大量稀薄煙霧圖片，發(fā)現(xiàn)圖像中RGB顏色空間3個分量值差距不大，導(dǎo)致無法區(qū)分稀薄煙霧區(qū)域。將RGB 轉(zhuǎn)換HSV 顏色空間后，各通道分量值存在明顯差異。利用該特點分割稀薄煙霧和相似背景。唐杰等人[16]混合RGB和HSV顏色空間得到了更準(zhǔn)確的煙霧區(qū)域。胡春海等人[17]發(fā)現(xiàn)在YCrCb 顏色空間中，煙霧區(qū)域和非煙霧區(qū)域顏色布局描述符Y通道方差值差異明顯，利用該特點可以更好地分割煙霧和非煙霧區(qū)域。Lin 等人[18]將煙霧待檢測區(qū)域定位在口腔附近，吸煙產(chǎn)生的煙霧會改變口腔區(qū)域的飽和度和灰度值，通過計算這兩個屬性以檢測面部區(qū)域是否有煙霧。當(dāng)口腔圖像中白色像素點數(shù)量大于設(shè)置閾值且當(dāng)口腔飽和度明顯低于設(shè)置閾值時，確定口腔中有白色煙霧。

2.2 外觀特征

基于外觀特征的算法在決策過程中考慮了煙霧擴展方式和增長速度以及煙霧形狀特征，通過定義煙霧物理屬性和煙霧輪廓特征的不規(guī)則變化來判斷圖像的運動區(qū)域是否與煙霧相似。汪祖云等人[19]利用煙霧擴散變大、向斜上方緩慢運動的特性，計算煙霧的面積變化速率和質(zhì)心相對角度變化共建SVM分類器判別吸煙行為。黃訓(xùn)平等人[20]在此基礎(chǔ)上計算煙霧凸包周長與輪廓周長的比值、煙霧輪廓內(nèi)外接矩形面積比，對煙霧的不規(guī)則性加以定義。

2.3 運動特征

基于運動特征算法利用煙霧運動模式選擇潛在的煙霧區(qū)域。單幀圖像顯然無法描述物體運動，所以需要基于視頻圖像序列獲取煙霧運動特征，從而分割出目標(biāo)區(qū)域以及更多視覺特征。經(jīng)典的煙霧運動視頻序列如圖2所示。

圖2 煙霧運動視頻序列Fig.2 Smoke motion video sequence

在靜止背景的情況下，運動目標(biāo)的提取方法有幀間差分法、背景差分法和光流法，如表2 所示。傳統(tǒng)運動目標(biāo)提取方法主要利用貝葉斯分類器的光流計算和運動熵來檢測圖像中的運動區(qū)域是否代表煙霧。為了更好地將煙霧運動目標(biāo)從圖像背景中分離出來，有研究提出使用自適應(yīng)混合高斯模型進行運動區(qū)域分割[21]。利用混合高斯模型的無偏差性和有效性對圖像背景建模，結(jié)合運動目標(biāo)提取方法可以提取清晰的煙霧運動信息。其流程如圖3所示。

表2 靜止背景情況下運動目標(biāo)提取方法對比Table 2 Comparison of moving object extraction methods in static background

圖3 混合高斯模型+幀差法提取煙霧區(qū)域流程Fig.3 Mixed Gaussian model+frame difference method to extract smoke area process

2.4 小結(jié)

分析上述煙霧多特征檢測方法發(fā)現(xiàn)。煙霧顏色特征利用RGB、HSV 等顏色空間的色彩分量和飽和度特性檢測煙霧，雖然有一定的判別能力，但面對復(fù)雜環(huán)境時顏色特征易受外部環(huán)境因素干擾。外觀特征主要表現(xiàn)為提取煙霧區(qū)域的凸形特征計算周長面積，但應(yīng)用的前提是必須提取完整的疑似煙霧區(qū)域。運動特征利用煙霧的漂移特性和擴散特性，結(jié)合運動目標(biāo)提取方法描述煙霧運動信息，此類方法復(fù)雜度較高，需要計算每個像素點或塊的運動，且抗噪能力不強。除了上述特征外還包括煙霧紋理、統(tǒng)計量特征。文獻[15，19]對每個像素點進行HSV 顏色空間轉(zhuǎn)換時，疑似煙霧區(qū)域內(nèi)的像素點可能存在漏檢或誤檢情況。針對這一問題，張日東[22]利用形態(tài)學(xué)的腐蝕和膨脹操作消除圖像中目標(biāo)邊界點，使其邊界向內(nèi)部收縮。從而消除區(qū)域內(nèi)部存在的空洞和外在的孤立點。吸煙煙霧多特征簡述如表3 所示。數(shù)據(jù)表明煙霧獨特的擴散性使得特征提取主要集中于顏色和運動特征。但單一特征容易受到場景約束，所以特征多以組合形式出現(xiàn)。

表3 多特征融合方法Table 3 Multi-feature fusion method

綜上所述，吸煙煙霧檢測大多采用煙霧多特征結(jié)合方法，通過判斷所選特征的一定數(shù)量是否符合煙霧條件來確定圖像是否包含煙霧。雖然在一定程度上解決了煙霧易擴散、顏色較淺的缺點，但實際上煙霧檢測環(huán)境復(fù)雜多變，煙霧多特征需要的預(yù)處理步驟較多，檢測過程中會出現(xiàn)大量的計算。為解決上述問題已有學(xué)者提出結(jié)合目標(biāo)檢測方法檢測煙霧，將在3.3節(jié)介紹。

3 煙支目標(biāo)檢測

目前吸煙檢測使用較為廣泛的方法是利用目標(biāo)檢測算法提取圖像中的煙支。早期階段，目標(biāo)檢測算法主要依賴于人工特征提取和選擇，較多采用滑動窗口方法遍歷整幅圖像，利用尺度不變特征變換（scale-invariant feature transform，SIFT）、HOG 等方法提取特征。由于缺乏圖像特征表示能力，研究者只能設(shè)計復(fù)雜的特征盡可能地描述場景。隨著卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）的快速發(fā)展，基于深度學(xué)習(xí)的目標(biāo)檢測方法受到了越來越多的關(guān)注。2014 年，Girshick等人[23]提出了RCNN（region convolutional neural network）首次將CNN用于目標(biāo)檢測。此后，Redmon等人[24]于2015年提出了單階段檢測算法YOLO（you only look once）。YOLO 將圖像分割成網(wǎng)格，同時預(yù)測每個網(wǎng)格的邊界框和概率。圍繞RCNN 和YOLO 衍生了一系列目標(biāo)檢測方法。根據(jù)方法設(shè)計框架不同，現(xiàn)有的目標(biāo)檢測主要分為兩階段和單階段算法。兩階段的目標(biāo)檢測基本原理同傳統(tǒng)目標(biāo)檢測方法類似，算法流程如圖4（a）所示。一階段提取一定數(shù)量的目標(biāo)候選區(qū)域，二階段利用特征提取網(wǎng)絡(luò)對這些候選區(qū)域進行區(qū)分和定位。相比于傳統(tǒng)目標(biāo)檢測方法使用卷積神經(jīng)網(wǎng)絡(luò)代替手工特征提取，顯著提高目標(biāo)的特征表達能力。雖然兩階段目標(biāo)檢測算法在精度識別方面表現(xiàn)足夠優(yōu)秀，但其復(fù)雜的計算過程無法滿足實時檢測需要。單階段目標(biāo)檢測算法為了提高檢測速度，取消了兩階段目標(biāo)檢測算法中候選框生成網(wǎng)絡(luò)，直接從特征映射中輸出目標(biāo)邊界框，大大提高了檢測效率。單階段目標(biāo)檢測算法流程如圖4（b）。

圖4 目標(biāo)檢測算法流程Fig.4 Target detection algorithm flow

3.1 單步驟目標(biāo)檢測

單步驟目標(biāo)檢測利用目標(biāo)檢測算法提取整張輸入圖像特征。包括目標(biāo)人物手拿煙未吸入等情況都會被檢測，這種檢測方式適用于對吸煙把控較嚴(yán)格的場景。在目標(biāo)檢測任務(wù)中，對于小目標(biāo)的定義還沒有統(tǒng)一的標(biāo)準(zhǔn)，而是根據(jù)不同的應(yīng)用場景有不同定義[25]。煙支目標(biāo)與常規(guī)目標(biāo)相比分辨率較低且特征信息不明顯，針對煙支小目標(biāo)檢測問題，研究人員已經(jīng)提出多種優(yōu)化方法。

2019 年，Poonam 等人[26]首次使用兩階段目標(biāo)檢測算法Faster RCNN（faster region convolutional neural network）進行吸煙檢測，并且在自建數(shù)據(jù)集上取得了93.87%的準(zhǔn)確率。結(jié)果表明，以煙支為目標(biāo)，使用Faster RCNN 可以用于吸煙場景的檢測，有效克服了傳統(tǒng)目標(biāo)檢測算法特征提取的缺陷?；趦呻A段的目標(biāo)檢測算法雖然提高了煙支目標(biāo)檢測精度，但仍然不能滿足吸煙場景實時檢測需要。因此煙支目標(biāo)檢測大多基于檢測速度更快的單階段目標(biāo)檢測算法。Liao 等人[27]基于YOLOv3 網(wǎng)絡(luò)對公共場所的吸煙行為進行檢測。YOLOv3 利用了特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)（feature pyramid network，F(xiàn)PN）將不同特征圖上的特征進行融合，再利用融合得到的特征圖上進行預(yù)測。小尺寸特征圖用于檢測大尺寸物體，大尺寸特征圖用于檢測小尺寸物體，以此來提高煙支小目標(biāo)的檢測準(zhǔn)確率。文獻[28-29]使用自制數(shù)據(jù)集和YOLOv3網(wǎng)絡(luò)訓(xùn)練煙支目標(biāo)檢測模型，并基于GUI（graphical user interface）開發(fā)圖形用戶界面構(gòu)建實時推理系統(tǒng)，為后續(xù)模型嵌入硬件設(shè)備進行實時檢測提供研究基礎(chǔ)。除YOLOv3外，YOLOv5也常被應(yīng)用于吸煙檢測研究，其檢測網(wǎng)絡(luò)共分為四個版本YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x，其 中YOLOv5s 的網(wǎng)絡(luò)深度和特征圖寬度均為最小。Zou 等人[30]通過比較YOLOv5 與其他模型的優(yōu)缺點，選擇YOLOv5l 作為基礎(chǔ)模型，在自制的吸煙檢測數(shù)據(jù)集上取得了良好的檢測效果。楊國亮等人[31]將Transformer引入YOLOv5s 網(wǎng)絡(luò)頸部模塊，用于擴大特征圖的感受野，減少模型誤檢率。綜上所述，F(xiàn)aster RCNN 通過犧牲檢測時間來換取檢測精度，而YOLO 恰恰相反，它是犧牲檢測精度來換取檢測效率。Yang 等人[32]提出使用SSD（single shot multibox detector）單階段檢測算法對駕駛員異常駕駛行為予以表征。SSD 算法結(jié)合上述兩者的優(yōu)點，兼顧了mAP 和實時性要求，有效解決了吸煙、打電話等非法駕駛的行為檢測問題。煙支目標(biāo)檢測相關(guān)研究如表4所示。

表4 煙支目標(biāo)檢測相關(guān)算法研究Table 4 Research on correlative algorithm of cigarette target detection

除了上述目標(biāo)檢測模型外，還有學(xué)者使用自建網(wǎng)絡(luò)模型展開吸煙檢測的研究[47-48]。Zhang 等人[49]提出了一種基于CNN 的吸煙圖像檢測模型SmokingNet，它在GoogLeNet 的Inception 模塊基礎(chǔ)上進一步優(yōu)化，使用非方卷積核增強了對目標(biāo)圖像的特征提取能力。SmokingNet 相比于傳統(tǒng)目標(biāo)檢測方法性能有明顯提升，但依然不能與發(fā)展成熟的單階段、兩階段目標(biāo)檢測算法相媲美。Zhang 等人[50]借鑒YOLOv5 算法思想，基于自定義注意力機制模塊和改進的殘差網(wǎng)絡(luò)模塊設(shè)計了一種單階段檢測模型，通過主干網(wǎng)絡(luò)提取小目標(biāo)的語義信息和位置信息，利用YOLOv5的FPN結(jié)構(gòu)和路徑聚合網(wǎng)絡(luò)結(jié)構(gòu)（path aggregation network，PAN）進行不同尺度的特征融合，提高小目標(biāo)的檢測精度。圖5 為FPN+PAN 結(jié)構(gòu)示意圖。同一個數(shù)據(jù)集下，該自定義模型無論在精度和速度方面要優(yōu)于Faster RCNN、SSD、YOLOv5 等基礎(chǔ)模型。Zhao 等人[51]提出了一種基于FPN和擴張卷積技術(shù)相結(jié)合的方法，以檢測駕駛員圖像中的煙支小目標(biāo)對象并識別他們的吸煙行為。該模型的網(wǎng)絡(luò)結(jié)構(gòu)相對于其他網(wǎng)絡(luò)結(jié)構(gòu)來說比較簡單，方便將編程語言轉(zhuǎn)換成硬件運行主板支持的語言并嵌入到平臺中。自建網(wǎng)絡(luò)模型和已經(jīng)發(fā)展成熟的目標(biāo)檢測模型相比，能更好地適應(yīng)特殊應(yīng)用場景，魯棒性更強。

圖5 FPN+PAN結(jié)構(gòu)示意圖Fig.5 Schematic diagram of FPN+PAN structure

3.2 多步驟目標(biāo)檢測

煙支目標(biāo)檢測背景復(fù)雜、易受環(huán)境噪聲干擾。多步驟目標(biāo)檢測結(jié)合人臉或人體區(qū)域提取算法進一步縮小煙支目標(biāo)范圍，有效解決小目標(biāo)特征提取不充分問題。再提取到目標(biāo)區(qū)域基礎(chǔ)上使用目標(biāo)檢測算法定位識別煙支目標(biāo)。

部分研究對正在發(fā)生的吸煙行為進行檢測（煙支和嘴部重合代表正在吸煙），這種方式能降低手拿煙未吸入等情況的誤檢率。因此多步驟目標(biāo)檢測的區(qū)域提取網(wǎng)絡(luò)大多基于人臉檢測模型提取人臉為候選區(qū)域。其中應(yīng)用較為廣泛的人臉檢測算法包括OpenCV 庫[52]、Dlib庫[53]、MTCNN算法[54]和RetinaFace算法[55]，OpenCV庫的人臉檢測算法通過構(gòu)建Haar-like 特征和AdaBoost分類器實現(xiàn)人臉的檢測；Dlib 庫的人臉檢測算法利用HOG 和級聯(lián)SVM 分類器構(gòu)建；MTCNN 算法是中科院深圳研究院提出的用于人臉檢測的多任務(wù)神經(jīng)網(wǎng)絡(luò)模型；RetinaFace 是InsightFace 團隊提出的一種魯棒的單階段人臉檢測網(wǎng)絡(luò)。程淑紅等人[56]將吸煙檢測任務(wù)轉(zhuǎn)換為圖像分類問題，提出一種多任務(wù)分類網(wǎng)絡(luò)以檢測吸煙行為，檢測流程如圖6 所示。模型首先利用MTCNN算法進行人臉的判別，在此基礎(chǔ)上利用級聯(lián)殘差回歸樹方法定位嘴部感興趣區(qū)域（region of interest，ROI），最后通過殘差網(wǎng)絡(luò)提取特征對吸煙行為做出判別。多算法融合構(gòu)建的多任務(wù)分類模型可以精準(zhǔn)識別正在發(fā)生的吸煙行為，但模型檢測速率不高輸出僅為25幀/s。文獻[57-59]都采用人臉到煙支的多步驟目標(biāo)檢測方法，首先結(jié)合人臉檢測算法縮小煙支目標(biāo)待檢測區(qū)域，再利用目標(biāo)檢測算法精準(zhǔn)定位煙支目標(biāo)，此類方法相比于單步驟目標(biāo)檢測具有較低的誤檢率。

圖6 基于多任務(wù)分類的吸煙檢測流程Fig.6 Smoking detection process based on multitask classification

由于吸煙者不會經(jīng)常把香煙叼在嘴里，他們大部分時間都是手里拿著香煙。為了防止出現(xiàn)漏檢的情況，基于手部區(qū)域提取是有意義的。然而由于手部的不對稱性和吸煙手勢的不同使得定位手中煙支目標(biāo)更加困難。文獻[60-61]提出將目標(biāo)候選區(qū)域擴大至人體，在減少目標(biāo)檢測面積的同時還不丟失煙支目標(biāo)特征，基于人體候選區(qū)域的吸煙檢測流程如圖7 所示。人體檢測利用方向梯度直方圖HOG的梯度信息反映圖像目標(biāo)的邊緣信息并通過局部梯度的大小將圖像局部的外觀和形狀特征化，最終通過SVM 分類器正確分離人體目標(biāo)。將人體作為煙支目標(biāo)檢測的候選區(qū)域，再使用CNN 提取人體圖像中煙支目標(biāo)特征。無論是基于人臉還是人體，多步驟目標(biāo)檢測方法的核心思想是縮小整張輸入圖像的煙支目標(biāo)范圍以提高準(zhǔn)確率，但也伴隨著區(qū)域提取網(wǎng)絡(luò)的開銷問題，所以需要兼顧煙支目標(biāo)檢測精度和模型檢測速率問題。

圖7 基于多人追蹤的吸煙檢測流程Fig.7 Smoking detection procedures based on multi-person tracking

3.3 小結(jié)

上述方法在煙支目標(biāo)檢測領(lǐng)域都取得了不錯的效果。首先，基于深度學(xué)習(xí)的檢測方法在精度方面可以達到傳統(tǒng)方法無法達到的水平，在工業(yè)產(chǎn)品中更具實用性。其次，算法的運行速度越來越快，能夠在可接受的時間范圍內(nèi)得到相應(yīng)的結(jié)果。驗證了基于深度學(xué)習(xí)的方法已經(jīng)明顯優(yōu)于傳統(tǒng)方法。其中單步驟煙支目標(biāo)檢測方法更依賴網(wǎng)絡(luò)的特征提取能力，適用于實時性要求高的場景。但對整張圖像提取特征無法有效利用圖像局部信息，容易出現(xiàn)特征的冗余和缺失問題。多步驟目標(biāo)檢測把每個階段提取出的特征用于下一層的圖像處理，在提高檢測精度的同時增加了計算量和復(fù)雜度。近年來，無論是單步驟檢測還是多步驟檢測都圍繞提高模型精度和速率展開研究[62]。表5對所列舉的不同改進策略、機制、優(yōu)勢、局限性和適用場景進行了提煉分析。在實際應(yīng)用中需要根據(jù)具體情況綜合考慮，選擇合適的檢測方法。

表5 不同改進策略對比Table 5 Comparison of different improvement strategies

近幾年，目標(biāo)檢測算法也常被應(yīng)用于吸煙煙霧檢測。史芳菲[63]使用混合高斯模型和幀差法提取疑似煙霧區(qū)域，再對疑似煙霧區(qū)域分別提取局部二值模式特征（local binary pattern，LBP）和方向梯度直方圖（histogram of oriented gradient，HOG）特征進行融合，最后通過SVM 分類器標(biāo)記真實煙霧區(qū)域。也有相關(guān)研究利用目標(biāo)檢測模型來訓(xùn)練煙霧數(shù)據(jù)集。Yang等人[64]對EfficientDet算法進行改進，引入雙通道注意力機制并改進Bi-FPN 特征融合算法，解決了小煙霧區(qū)域的漏檢問題。Sha 等人[65]使用光流來檢測兩幀之間煙霧運動信息，再利用區(qū)域RCNN網(wǎng)絡(luò)檢測煙霧。Chen等人[66]基于煙霧動態(tài)特性，采用混合高斯模型初篩煙霧區(qū)域，結(jié)合YOLOv5s算法檢測煙霧。上述方法均結(jié)合目標(biāo)檢測模型，相較于傳統(tǒng)吸煙煙霧檢測模型，無論在性能和準(zhǔn)確率方面都有所提升，也為后續(xù)吸煙煙霧檢測提供了新的研究方向。

4 吸煙動作檢測

人體骨骼關(guān)鍵點檢測是計算機視覺領(lǐng)域中的一個重要研究方向，已被廣泛應(yīng)用于行為識別、視頻監(jiān)控等方面。通過檢測出人體主要關(guān)節(jié)，識別并獲取關(guān)鍵點在圖像中的坐標(biāo)數(shù)據(jù)，以此來對人體行為動作加以描述。由于吸煙動作與骨骼關(guān)鍵點之間存在著十分密切的聯(lián)系，骨骼數(shù)據(jù)能更好地表征吸煙動作整個過程。基于煙霧多特征和煙支目標(biāo)的吸煙檢測方法已趨于成熟，所以本文著重針對吸煙動作的不同特征提取方法展開介紹。在計算機視覺領(lǐng)域，基于骨骼的動作識別定義為對一副骨架序列進行模式識別，識別這副骨架語義上所代表的執(zhí)行者所表達的動作[67]。隨著人體關(guān)鍵點檢測模型和深度攝像頭傳感器等設(shè)備發(fā)展成熟，骨骼數(shù)據(jù)逐漸走入研究人員的視野。吸煙動作特征根據(jù)構(gòu)建方式不同分為人工特征構(gòu)建和深度學(xué)習(xí)特征提取兩種方法。人工特征構(gòu)建直接利用骨骼數(shù)據(jù)構(gòu)造出物理屬性特征進而判別是否符合吸煙動作?；谏疃葘W(xué)習(xí)的特征提取方法根據(jù)數(shù)據(jù)處理方式和骨干網(wǎng)絡(luò)不同總結(jié)為時空模型、時序模型、拓?fù)淠Ｐ秃突旌夏Ｐ退念悾眯袨樽R別網(wǎng)絡(luò)進行多特征融合，提取更全面的吸煙動作特征?；诠趋罃?shù)據(jù)的吸煙行為檢測流程如圖8 所示。在基于計算機視覺的研究中，首先通過攝像頭傳感器捕獲吸煙視頻數(shù)據(jù)。通過人體骨骼關(guān)鍵點檢測模型獲取到每幀的人體關(guān)鍵點信息，將此信息作為吸煙動作特征提取模型的輸入數(shù)據(jù)，再根據(jù)不同的特征提取方式進行數(shù)據(jù)處理。通過以上步驟對吸煙動作進行判別最終輸出模型檢測結(jié)果。

圖8 基于骨骼數(shù)據(jù)的吸煙動作檢測流程Fig.8 Smoking behavior detection procedures based on bone data

4.1 人工特征構(gòu)建

人工特征構(gòu)建方法是通過定義關(guān)鍵點之間的物理屬性反映出吸煙動作本身的物理特性。物理特性包括關(guān)鍵點相對位置、距離、角度、速度和時間周期等特征，它們不僅可以反映出吸煙時人體關(guān)鍵點之間的空間結(jié)構(gòu)變化，還能反映出時間層面的動作動態(tài)演變過程。具體來講，人工特征構(gòu)建首先將人體關(guān)鍵點數(shù)據(jù)處理成方便獲取物理屬性的坐標(biāo)數(shù)據(jù)，然后經(jīng)過預(yù)先人為構(gòu)建的物理屬性特征模型，進行吸煙動作的檢測。

近年來學(xué)者們廣泛利用基于人工特征構(gòu)建方法進行吸煙檢測[68-71]，如表6。由于整個吸煙過程歷時較長且吸煙動作具有周期性規(guī)律，利用該特點劉婧等人[68]首次基于人體骨骼對多人吸煙動作進行識別。通過計算關(guān)節(jié)點間坐標(biāo)描述出關(guān)節(jié)點運動軌跡，檢測運動軌跡是否符合吸煙動作周期性規(guī)律。當(dāng)檢測到有三次符合規(guī)定的周期性動作即判斷發(fā)生吸煙動作。但這種方法只能識別符合一定周期性的吸煙過程。在該方法的基礎(chǔ)上，姜曉鳳等人[69]通過計算關(guān)節(jié)點之間距離、角度和時間周期等多個屬性判斷是否滿足吸煙動作，該方法在自建的數(shù)據(jù)集上取得了不錯的效果。徐婉晴等人[71]考慮到不同圖像中人體大小不同，提出采用關(guān)鍵點之間距離比值的方法代替歐式距離，由大量實驗得出吸煙動作的最佳比例，通過判斷是否滿足最佳比例的持續(xù)時間來識別吸煙動作。

表6 基于人工構(gòu)建吸煙動作檢測模型比較Table 6 Comparison of smoking action detection models based on artificial construction

4.2 時空特征構(gòu)建

基于骨骼數(shù)據(jù)的時空模型在數(shù)據(jù)處理方面通常會將人體骨骼數(shù)據(jù)映射成偽圖像，分別將關(guān)鍵點序列時間動態(tài)編碼為行變化，每一幀的空間結(jié)構(gòu)表示為列，將關(guān)鍵點三維坐標(biāo)映射為圖像的RGB 三個通道，然后使用CNN模型進行特征學(xué)習(xí)和識別[72]，時空模型檢測流程如圖9 所示。但是上述對骨骼數(shù)據(jù)的編碼方式過于依賴數(shù)據(jù)集，并且人的平移和動作尺度可能會影響最終的偽圖像映射結(jié)果。隨著圖像分類網(wǎng)絡(luò)模型在不同數(shù)據(jù)集上的出色表現(xiàn)，Wang 等人[73]使用遷移學(xué)習(xí)將現(xiàn)有CNN模型進行微調(diào)而無需重新訓(xùn)練整個深度網(wǎng)絡(luò)。通過顏色編碼將關(guān)節(jié)軌跡的空間結(jié)構(gòu)和動態(tài)信息都表示成三種紋理圖像，然后將這些紋理圖像送入模型進行分類。但這種方法比較復(fù)雜，在將三維骨架投影到二維圖像時可能會丟失一些重要的信息。Liu等人[74]在Du等人[72]的基礎(chǔ)上提出基于熱力圖的表示方法來編碼時空骨架關(guān)節(jié)。將骨架序列建模為一組五維點，并使用數(shù)據(jù)可視化將其進一步編碼為一系列彩色圖像。但也存在類似的問題。Li 等人[75]針對上述問題提出平移尺度不變的圖像映射方法，他不僅可以避免骨架數(shù)據(jù)平移和尺度變化帶來的影響，還能將骨骼數(shù)據(jù)映射到0～255范圍內(nèi)的彩色圖像。在此基礎(chǔ)上Liu等人[76]提出了一種增強骨骼可視化方法，將骨骼序列表示為一系列視覺和運動增強的彩色圖像，以緊湊而獨特的方式隱式描述了骨骼關(guān)節(jié)的時空特征，增加彩色圖像的辨別能力。將動作序列表示為骨骼數(shù)據(jù)，進而映射為彩色圖像的方法能夠充分利用CNN 圖像特征提取的優(yōu)勢，提高行為識別的準(zhǔn)確率。這種思想后續(xù)也被廣泛應(yīng)用于基于CNN和骨骼數(shù)據(jù)的行為識別研究中。

圖9 基于時空模型的吸煙動作特征提取流程Fig.9 Extraction process of smoking action feature based on spatiotemporal model

綜上所述，對骨骼數(shù)據(jù)的處理大多基于Du 等人提出的骨架圖像的改進版本，僅通過隱式的關(guān)節(jié)關(guān)系來學(xué)習(xí)運動表示。近幾年，計算機視覺研究界一直在研究如何在視頻中建模時間動態(tài)來應(yīng)用3D 人體動作識別，部分學(xué)者關(guān)注到顯式地使用關(guān)節(jié)關(guān)系可以增強時間動態(tài)編碼。因此新型骨架圖像的表示方法陸續(xù)被提出。Yang 等人[77]考慮到若將所有關(guān)節(jié)按固定順序連接起來會導(dǎo)致骨骼語義的缺失，為此提出了一種樹結(jié)構(gòu)骨架圖像表示來保存空間關(guān)系。采用深度優(yōu)先遍歷對骨架圖像進行重新設(shè)計，增強了骨架圖像的語義。Caetano 等人[78]在此基礎(chǔ)上引入樹結(jié)構(gòu)和參考關(guān)節(jié)圖像提出一種新型骨架圖像表示方法。除此之外，Li等人[79]通過學(xué)習(xí)幾何代數(shù)時空模型的形狀運動表示，對骨骼數(shù)據(jù)進行重新編碼。

4.3 時序特征構(gòu)建

在數(shù)據(jù)處理方面，基于骨骼數(shù)據(jù)的時序模型將所有人體骨骼關(guān)鍵點逐幀表示為向量序列，然后輸入骨干網(wǎng)絡(luò)模型獲得預(yù)測結(jié)果，模型檢測流程如圖10 所示。Du等人[80]第一次使用分層循環(huán)神經(jīng)網(wǎng)絡(luò)，為基于骨架的動作識別提供了端到端的解決方案。通過手工創(chuàng)建的循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）子網(wǎng)對相鄰部分（雙臂、兩條腿和軀干）的關(guān)系進行建模（圖11（a）），但是忽略了非相鄰關(guān)節(jié)部分之間的關(guān)系。Zhu等人[81]通過在模型中加入不同類型的正則化項，可以利用非相鄰部分之間的關(guān)系，實現(xiàn)了骨骼關(guān)節(jié)特征共現(xiàn)的自動學(xué)習(xí)。Shahroudy 等人[82]提出了另一種解決方案，他們將記憶單元分離為基于部分的子單元，并通過連接基于部分的記憶單元學(xué)習(xí)非相鄰部分關(guān)系。雖然以上兩種方法利用了身體各部分之間的關(guān)系（圖11（b）），但模型識別準(zhǔn)確率不高。Liu 等人[83]提出了一個更詳細的劃分，他們專注于相鄰關(guān)節(jié)并構(gòu)造鄰接圖設(shè)計出骨架樹遍歷算法。通過在輸入序列中排列最相關(guān)的關(guān)節(jié)節(jié)點來提高網(wǎng)絡(luò)的性能（圖11（c））。但這種以樹的形式遍歷骨架會忽略非相鄰節(jié)點之間的關(guān)系。隨著幾何關(guān)系建模的發(fā)展表明，在非相鄰關(guān)節(jié)之間添加關(guān)系可以進一步提高網(wǎng)絡(luò)識別性能。Zhang等人[84]設(shè)計了8組幾何關(guān)系特征來表示相鄰關(guān)節(jié)和非相鄰關(guān)節(jié)之間的關(guān)系（圖11（d）），取得了很好的實驗結(jié)果。Zhang等人[85]在考慮到不同視角下的骨骼數(shù)據(jù)可能會影響識別結(jié)果，為此引入了一種新的視角適應(yīng)方案，在動作發(fā)生過程中自動調(diào)節(jié)觀察視角以達到最先進的識別效果。

圖10 基于時序模型的吸煙動作特征提取流程Fig.10 Extraction process of smoking action feature based on time series model

圖11 不同關(guān)節(jié)間的特征建模Fig.11 Characteristic modeling between different joints

4.4 拓?fù)涮卣鳂?gòu)建

一副人體骨架可以抽象為兩種元素即關(guān)鍵點和骨骼，關(guān)鍵點的作用是連接兩根相鄰的骨骼，拓?fù)淠Ｐ偷臄?shù)據(jù)處理就采用這種方式。因此可以把骨架簡化為一個由點和邊所構(gòu)成的拓?fù)鋱D。盡管CNN 和RNN 在基于結(jié)構(gòu)規(guī)則的歐式空間數(shù)據(jù)的特征提取中取得很好的效果，但是不適用于非歐式空間生成的圖結(jié)構(gòu)數(shù)據(jù)。2018年，Yan等人[86]第一次將圖卷積（graph convolutional networks，GCN）應(yīng)用于骨骼行為識別中，并將圖卷積網(wǎng)絡(luò)擴展為時空圖卷積（spatial temporal graph convolutional networks，ST-GCN）模型。其中每個節(jié)點對應(yīng)人體的一個關(guān)節(jié)，節(jié)點邊包括兩種類型，即符合關(guān)節(jié)自然連通性的空間邊和跨越連續(xù)時間步長的連接相同關(guān)節(jié)的時間邊。在此基礎(chǔ)上構(gòu)造了多層時空圖卷積，實現(xiàn)了信息在空間維度和時間維度上的集成，拓?fù)淠Ｐ蜋z測流程如圖12 所示。這類方法要優(yōu)于傳統(tǒng)骨架模型，ST-GCN可以捕獲動態(tài)骨架序列中的運動信息，實現(xiàn)對RGB模態(tài)的補充。

圖12 基于拓?fù)淠Ｐ偷膭幼魈卣魈崛×鞒蘁ig.12 Extraction process of action feature based on topological model

但是這種固定的骨架拓?fù)鋱D僅能捕捉關(guān)節(jié)間的局部物理依賴性，可能會遺漏隱式關(guān)節(jié)相關(guān)性。為了捕獲更豐富的依賴關(guān)系，Thakkar 等人[87]引入基于部分的圖卷積網(wǎng)絡(luò)，他們將骨架拓?fù)鋱D劃分為四個子圖，子圖之間共享關(guān)節(jié)并使用幾何和運動特征來代替每個頂點的三維關(guān)節(jié)位置。使用基于部分的圖卷積網(wǎng)絡(luò)可以更好消除與對象的交互歧義。除此之外，Li等人[88]提出一個編碼器-解碼器結(jié)構(gòu)從數(shù)據(jù)中自適應(yīng)學(xué)習(xí)圖形，以捕獲特定于動作的潛在依賴關(guān)系，從而獲取有用的非局部信息。Shi等人[89]在2019年首先提出將骨架表示為一個有向無環(huán)圖并對其建模實現(xiàn)信息傳播。然而在這種基于手動設(shè)定拓?fù)鋱D的方法中，對于分層GCN 和不同動作樣本來說可能不是最優(yōu)的，針對這一問題Shi 等人[90]在此前的研究基礎(chǔ)上提出使用反向傳播算法以端到端方式自適應(yīng)學(xué)習(xí)骨架拓?fù)鋱D，以提高圖構(gòu)建模型的靈活性和通用性。通過上述討論，最常見的關(guān)注點仍然是數(shù)據(jù)驅(qū)動，想要的只是獲取人體骨架序列數(shù)據(jù)背后的潛在信息，尤其是骨骼數(shù)據(jù)本身具有時空耦合性。而且在將骨骼數(shù)據(jù)轉(zhuǎn)化為拓?fù)鋱D時，如何確定關(guān)節(jié)和骨骼之間的連接方式仍然是未來研究的重點。

4.5 小結(jié)

分析上述吸煙動作檢測方法可分為人工特征構(gòu)建和深度學(xué)習(xí)特征提取兩種方式。基于人工設(shè)定的吸煙動作特征可解釋性強且特征模型構(gòu)建簡單。相比于深度學(xué)習(xí)方法不需要訓(xùn)練。表6 列舉了不同人工特征構(gòu)建方式，隨著特征屬性不斷增加，模型在自建數(shù)據(jù)集上的準(zhǔn)確率得到不斷提升。但利用自身先驗知識定義特征主觀性較強，過于片面，難以有效捕獲數(shù)據(jù)之間的復(fù)雜關(guān)系。所以不能很好表征整個吸煙動作狀態(tài)，導(dǎo)致模型的泛化能力不強。深度學(xué)習(xí)特征提取方法相比于人工構(gòu)建特征較為客觀，但模型需要依賴大量樣本訓(xùn)練。其中時空模型在動作識別空間域的特征提取上有一定優(yōu)勢，但忽略了人體骨骼固有的結(jié)構(gòu)信息。而拓?fù)淠Ｐ拖啾扔跁r空模型不僅考慮到相鄰關(guān)鍵點之間關(guān)系，而且能夠?qū)W習(xí)骨骼序列的時空關(guān)系，更符合人體結(jié)構(gòu)。但是他們對處理長序列動作而言，捕獲時序信息的能力不強。而時序模型依據(jù)它的“記憶”能力可以隨時間推移學(xué)習(xí)到動作變化，對處理時序分類任務(wù)更突出。因此，混合模型基于上述三種模型的骨干網(wǎng)絡(luò)架構(gòu)組合而成，一般采用其中的兩種。它的輸入需要依據(jù)所組合模型的數(shù)據(jù)處理方式，輸入相應(yīng)關(guān)鍵點信息表示方式。混合模型通過組合不同網(wǎng)絡(luò)可以達到特征互補和信息增強等效果，更適用于處理動作識別任務(wù)。然而不同網(wǎng)絡(luò)的結(jié)合會導(dǎo)致參數(shù)量增長、模型訓(xùn)練時間長等問題，對混合模型的優(yōu)化方法也有待發(fā)掘。表7 分別給出了不同模型在NTU RGB+D數(shù)據(jù)集上的準(zhǔn)確率實驗，其中數(shù)據(jù)集涉及吸煙、喝水、打電話等多種日常動作。評價標(biāo)準(zhǔn)CS 和CV 分別代表按照人物和按照相機劃分訓(xùn)練集和測試集。

表7 深度學(xué)習(xí)特征構(gòu)建骨干網(wǎng)絡(luò)相關(guān)研究Table 7 Research on deep learning features to build backbone networks

結(jié)果表明，在該數(shù)據(jù)集上僅使用拓?fù)淠Ｐ捅葍H使用時空模型的平均準(zhǔn)確率高約5%，比時序模型的平均準(zhǔn)確率高約7%。這也證明圖卷積網(wǎng)絡(luò)在基于骨骼數(shù)據(jù)的動作識別領(lǐng)域更具優(yōu)勢?；旌夏Ｐ屯ㄟ^組合不同網(wǎng)絡(luò)得到的準(zhǔn)確率也較高，但模型復(fù)雜度過高會直接導(dǎo)致模型檢測效率下降。為了學(xué)習(xí)更全面的動作特征，已有學(xué)者綜合考慮提出將人工特征構(gòu)建方法與深度學(xué)習(xí)特征提取相結(jié)合。文獻[111-112]通過顯式計算骨骼關(guān)節(jié)的矢量幾何性質(zhì)等屬性來編碼時間動力學(xué)，有效約束補充骨骼時空動態(tài)信息。然后輸入到已提出的深度學(xué)習(xí)模型中進行高級特征學(xué)習(xí)。基于骨骼數(shù)據(jù)的吸煙動作檢測涉及多方面技術(shù)細節(jié)，應(yīng)用范圍也較為廣泛。例如室內(nèi)室外公共區(qū)域和一些特殊場景，其發(fā)展趨勢不僅受到諸如深度學(xué)習(xí)等方法的推動，還面臨著實際監(jiān)控場景的迫切需要。Zhang 等人[113]針對建筑工人在非吸煙區(qū)違反吸煙行為進行檢測，使用AlphaPose 算法獲取人體骨骼信息，利用ST-GCN網(wǎng)絡(luò)提取吸煙動作特征對吸煙行為進行初步識別。Jiao 等人[114]依據(jù)人工特征與自學(xué)習(xí)特征相結(jié)合的方式對駕駛員吸煙行為進行有效判定。通過人為定義骨骼結(jié)構(gòu)向量，計算關(guān)鍵點之間矢量角度和模量比作為人工特征。將原始骨骼數(shù)據(jù)作為自學(xué)習(xí)特征，通過這種方式不僅可以避免人工特征構(gòu)建的主觀性，模型準(zhǔn)確率也大大提升。人工定義特征結(jié)合自學(xué)習(xí)的深度特征更有利于吸煙行為檢測準(zhǔn)確率的提高。

5 總結(jié)與展望

本文深入總結(jié)分析了近年來吸煙檢測研究現(xiàn)狀，對非計算機視覺的吸煙檢測方法進行簡要介紹，重點圍繞基于計算機視覺的檢測方法進行分類總結(jié)。分別從煙霧多特征、煙支目標(biāo)、吸煙動作三個方面分析總結(jié)。其中吸煙煙霧和煙支目標(biāo)是吸煙檢測最具代表性的特征，吸煙煙霧的檢測環(huán)境復(fù)雜多變且煙霧本身具有易擴散性，導(dǎo)致煙霧檢測停滯于圖像處理階段。隨著目標(biāo)檢測模型的愈發(fā)完善，煙支目標(biāo)檢測逐漸成為吸煙檢測的主要方法，相關(guān)研究圍繞改進小目標(biāo)檢測模型開展?？紤]到吸煙動作的時序規(guī)律性，從行為識別角度出發(fā)對吸煙動作展開研究可能是未來發(fā)展方向。雖然目前的研究成果已經(jīng)取得了較好的進展，但仍存在一些問題。例如大部分吸煙檢測方法只是在理想狀態(tài)下實驗的，無法適用于真實的吸煙場景。由于缺少統(tǒng)一數(shù)據(jù)集導(dǎo)致模型好壞無法衡量。并且隨著準(zhǔn)確率的提高模型復(fù)雜度也隨之增加。側(cè)重于解決當(dāng)前問題，本文提出以下展望。

（1）完善吸煙數(shù)據(jù)集。常用吸煙檢測數(shù)據(jù)集并不多，來源主要是利用Kinect攝像機自行獲取多模態(tài)吸煙動作信息或截取網(wǎng)絡(luò)圖片和視頻。因此構(gòu)建大規(guī)模高質(zhì)量的吸煙數(shù)據(jù)集更有利于提高模型適用性。且應(yīng)考慮不同的場景，例如圖書館、加油站、車站等公共場所。未來可以利用攝像頭傳感器拍攝多角度、多類型的圖片作為吸煙檢測數(shù)據(jù)集，以便模型能更好適應(yīng)不同場景的吸煙行為檢測任務(wù)。

（2）構(gòu)建完備的煙霧特征工程。目前的煙霧檢測主要基于煙霧的視覺特性與運動特性，特征算子基本靠先驗知識手工設(shè)計。未來研究需要跳出傳統(tǒng)框架，多利用機器學(xué)習(xí)或深度學(xué)習(xí)方法尋找更能體現(xiàn)煙霧本質(zhì)的特征。

（3）優(yōu)化煙支小目標(biāo)特征提取網(wǎng)絡(luò)。煙支目標(biāo)相比常規(guī)目標(biāo)可利用的像素較少，導(dǎo)致難以提取到較好的特征。除了3.3 節(jié)總結(jié)的不同改進策略外，可以利用多尺度學(xué)習(xí)同時學(xué)習(xí)深層語義和淺層表征信息；還可以結(jié)合生成對抗網(wǎng)絡(luò)提高煙支目標(biāo)分辨率。

（4）細粒度吸煙動作識別。細粒度行為識別在智能輔助領(lǐng)域極其重要，它更關(guān)注細微的時空語義差異。因此了解吸煙動作的細節(jié)執(zhí)行方式，設(shè)計出更細致的行為識別特征提取器，能更好區(qū)分吸煙、喝水、托腮等易混淆動作。

（5）多方法融合。通過組合不同方法進一步提高吸煙檢測模型精準(zhǔn)率。例如在提取圖像中煙支空間特征的同時，結(jié)合吸煙動作時序特征構(gòu)建新型時空特征模型，或結(jié)合煙霧煙支檢測。但需要考慮不同模型的機制匹配構(gòu)建合理的聯(lián)合算法，而不是簡單的模型組合。

（6）構(gòu)建輕量級網(wǎng)絡(luò)模型。隨著數(shù)據(jù)信息載體轉(zhuǎn)移到移動端，網(wǎng)絡(luò)模型的輕量化就尤為重要。優(yōu)化模型的參數(shù)和計算可以從調(diào)整模型的設(shè)計結(jié)構(gòu)或分解模型參數(shù)這兩個方面入手。在實際應(yīng)用場景中，模型不僅要適用于嘈雜的背景環(huán)境，還要達到實時響應(yīng)的結(jié)果。因此期望設(shè)計低延時高性能的吸煙檢測模型并應(yīng)用于實際場景。

除此之外，吸煙檢測還需要關(guān)注特殊場景下的應(yīng)用情況。例如當(dāng)煙霧多特征檢測遇到浮塵等能見度低的環(huán)境時，會對煙霧的特征提取造成影響。此時可以結(jié)合浮塵傳感器或利用煙支燃燒溫度點另作判斷。有研究發(fā)現(xiàn)煙支在抽吸過程中，煙頭達到800～900 ℃，在近紅外圖像上形成一個熱點，提出的方法旨在檢測吸煙者頭部區(qū)域周圍的熱點[115]。在吸煙者側(cè)身情況或有遮擋條件下，解決被遮擋目標(biāo)在復(fù)雜場景的檢測問題。目前已有研究針對遮擋目標(biāo)從數(shù)據(jù)集和改進檢測算法角度著手[116]。在行為識別領(lǐng)域，將多視圖數(shù)據(jù)進行三維重建，構(gòu)建全方位的三維信息[117]。進一步設(shè)計基于三維視頻數(shù)據(jù)的特征提取器以解決遮擋目標(biāo)的檢測問題。因此如何有效處理吸煙行為檢測的特殊情況也是未來研究的重點和難點之一。