視頻智能分析系統(tǒng)在電廠輸煤區(qū)域的應(yīng)用

李家來(lái) 王波 陳鴻鑫 孫海然 郁成

（1.國(guó)家能源集團(tuán)宿遷發(fā)電有限公司 江蘇省宿遷市 223800 2.國(guó)能信控互聯(lián)技術(shù)有限公司 北京市 102209）

（3.北京泰豪智能工程有限公司 北京市 100023）

火力發(fā)電廠的輸煤系統(tǒng)由于生產(chǎn)區(qū)域大、戰(zhàn)線長(zhǎng)、類(lèi)型單一、故障擴(kuò)散速度快等特點(diǎn)，目前基于人工方式排查缺陷難度大、需要投入人力多、信息交換不及時(shí)等問(wèn)題，制約了設(shè)備異常、缺陷、故障的早期識(shí)別及預(yù)警，降低了設(shè)備的可靠性，給電廠的安全生產(chǎn)帶來(lái)了隱患，是燃煤火電廠生產(chǎn)管理的難題。

傳統(tǒng)對(duì)輸煤系統(tǒng)的人員及設(shè)備進(jìn)行安全管理的系統(tǒng)，不足以滿足現(xiàn)在對(duì)輸煤系統(tǒng)安全智能化管理的要求，對(duì)人員作業(yè)、設(shè)備監(jiān)控檢測(cè)不準(zhǔn)確，使得管理系統(tǒng)出現(xiàn)誤報(bào)、漏報(bào)，造成對(duì)人員和設(shè)備的傷害。

隨著大數(shù)據(jù)應(yīng)用技術(shù)深化、人工智能技術(shù)的發(fā)展、物聯(lián)網(wǎng)技術(shù)的普及和移動(dòng)應(yīng)用示范效應(yīng)越來(lái)越成熟，利用大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能、目標(biāo)檢測(cè)、可視化技術(shù)和移動(dòng)應(yīng)用技術(shù)[1]，搭建輸煤系統(tǒng)安全智能化管理系統(tǒng)有著重要的現(xiàn)實(shí)意義。

本視頻大數(shù)據(jù)智能分析系統(tǒng)結(jié)合物聯(lián)網(wǎng)、人工智能、目標(biāo)檢測(cè)等技術(shù)，實(shí)現(xiàn)對(duì)人員、設(shè)備、區(qū)域、作業(yè)行為實(shí)時(shí)管控，避免因發(fā)現(xiàn)不及時(shí)導(dǎo)致設(shè)備或人身傷害，有效預(yù)防和減少事故發(fā)生，促成輸煤系統(tǒng)本質(zhì)安全的實(shí)現(xiàn)，從根本上提升生產(chǎn)系統(tǒng)安全性與安保措施的有效性。

1 視頻智能分析架構(gòu)

視頻大數(shù)據(jù)智能系統(tǒng)主要是以火電廠輸煤系統(tǒng)作為研究對(duì)象，根據(jù)輸煤系統(tǒng)本質(zhì)安全管理要求，利用圖像識(shí)別、數(shù)據(jù)分析、深度學(xué)習(xí)、人員定位等技術(shù)，實(shí)現(xiàn)火電廠輸煤系統(tǒng)的智能安全管控：實(shí)現(xiàn)輸煤系統(tǒng)違章預(yù)警，及時(shí)發(fā)現(xiàn)違章行為和異常狀態(tài)，減少和降低人員及設(shè)備風(fēng)險(xiǎn)，促進(jìn)輸煤系統(tǒng)實(shí)現(xiàn)本質(zhì)安全。

本智能視頻分析系統(tǒng)的技術(shù)架構(gòu)如圖1所示。

圖1：智能視頻分析系統(tǒng)的技術(shù)架構(gòu)圖

智能視頻分析系統(tǒng)的技術(shù)架構(gòu)主要包含應(yīng)用服務(wù)端、Streaming Service端、算法服務(wù)管理端、算法服務(wù)端四個(gè)部分[2]。各個(gè)部分功能如下：

（1）應(yīng)用服務(wù)端提供攝像頭配置和算法配置的API接口，例如攝像頭打開(kāi)、攝像頭關(guān)閉、算法打開(kāi)、算法關(guān)閉。

（2）Streaming Service端主要負(fù)責(zé)兩方面：拉取攝像頭RTSP流，并將其轉(zhuǎn)換為RTMP流，把RTMP流推送給流媒體服務(wù)器；將RTSP流拆分成幀格式圖片，圖片編碼為JPG格式，通過(guò)HTTP協(xié)議發(fā)送給算法服務(wù)管理端。

（3）算法服務(wù)管理端提供了所有算法服務(wù)的綜合API接口。主要負(fù)責(zé)接收Streaming Service端的HTTP請(qǐng)求，并將數(shù)據(jù)通過(guò)HTTP請(qǐng)求到單個(gè)算法的算法服務(wù)端。如有報(bào)警信息，通過(guò)Redis緩存當(dāng)前報(bào)警信息和圖片，并通過(guò)HTTP請(qǐng)求跟蹤算法的算法服務(wù)端，達(dá)到去重報(bào)警的目的。

（4）算法服務(wù)端主要是單個(gè)AI算法提供的API接口。

2 選用數(shù)據(jù)集及數(shù)據(jù)集擴(kuò)充

2.1 選用數(shù)據(jù)集

輸煤系統(tǒng)的電廠中實(shí)際檢測(cè)的目標(biāo)有：口罩、安全帽、手機(jī)、明火、煙頭等目標(biāo)。為說(shuō)明本視頻大數(shù)據(jù)分析系統(tǒng)的有效性，本文選取口罩作為檢測(cè)目標(biāo)。

為訓(xùn)練目標(biāo)檢測(cè)器，構(gòu)建口罩?jǐn)?shù)據(jù)集。其中：口罩?jǐn)?shù)據(jù)集在輸煤系統(tǒng)工廠現(xiàn)場(chǎng)采集并人工標(biāo)注而成，最終得到的數(shù)據(jù)集特性如表1所示。該口罩?jǐn)?shù)據(jù)集分為訓(xùn)練集和驗(yàn)證集。其中：訓(xùn)練集含有7540張圖像，共17422個(gè)目標(biāo)；測(cè)試集含有1885張圖像，共4158個(gè)目標(biāo)。

表1：口罩?jǐn)?shù)據(jù)集特性

2.2 數(shù)據(jù)集擴(kuò)充

由于標(biāo)注目標(biāo)浪費(fèi)巨大的人力物力，因此，在訓(xùn)練基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)框架時(shí)，通常需要對(duì)訓(xùn)練樣本進(jìn)行數(shù)據(jù)擴(kuò)充（Data Augmentation，DA）[3]。針對(duì)目標(biāo)檢測(cè)數(shù)據(jù)集，當(dāng)前擴(kuò)充訓(xùn)練樣本方法主要從兩方面進(jìn)行擴(kuò)充，主要有：

2.2.1 色域操作（Color Operations，CO）

色域操作主要對(duì)訓(xùn)練樣本從圖像的整體或局部對(duì)圖像的顏色進(jìn)行變化，以達(dá)到增加訓(xùn)練樣本的目的[3]。色域操作的策略主要有：對(duì)比度（Contrast）變化、亮度（Brightness）變化、銳度（Sharpness）變化、直方圖均衡化（Equalized），像素?cái)_動(dòng)（Pixels Jittering，PJ）。

著名學(xué)者Krizhevsky A率先使用主成分分析PCA（Priciple Component Analysis, PCA）來(lái)實(shí)現(xiàn)圖像的像素?cái)_動(dòng)[4]，來(lái)實(shí)現(xiàn)擴(kuò)增訓(xùn)練樣本的目的。

式（1）中，voc(a,b)為向量a、b的協(xié)方差。

圖2描述的是用色域操作策略來(lái)擴(kuò)充訓(xùn)練樣本。其中：圖2（a）為原圖；圖2（b）是使用PCA算法添加像素?cái)_動(dòng)后的圖像。因此，可通過(guò)色域操作，增加訓(xùn)練樣本，使得檢測(cè)網(wǎng)絡(luò)對(duì)不同像素?cái)_動(dòng)下的場(chǎng)景有更高的目標(biāo)檢測(cè)性能。

圖2：色域操作

2.2.2 幾何操作

幾何操作是改變圖像自身和目標(biāo)候選框的幾何位置來(lái)增加訓(xùn)練樣本。該操作主要有：平移（Translate）、旋轉(zhuǎn)（Rotate）、錯(cuò)切（Shear）變換等。

3 分析與性能比較

3.1 網(wǎng)絡(luò)的訓(xùn)練

為準(zhǔn)確檢測(cè)輸煤區(qū)域場(chǎng)景中的目標(biāo)，使用當(dāng)前流行的目標(biāo)檢測(cè)算法YOLOv4。訓(xùn)練YOLOv4網(wǎng)絡(luò)共分為兩個(gè)階段：

（1）未解凍訓(xùn)練；

（2）解凍訓(xùn)練。

在未解凍訓(xùn)練時(shí)選取DarkNet-53作為預(yù)訓(xùn)練模型，并按照表2的超參數(shù)進(jìn)行訓(xùn)練，得訓(xùn)練模型YOLOv4_Original_Model。

表2：未解凍訓(xùn)練超參數(shù)設(shè)置

然后將第一階段訓(xùn)練后的模型YOLOv4_Original_Model，作為預(yù)先訓(xùn)練模型，進(jìn)行解凍訓(xùn)練，其超參數(shù)設(shè)置如表3所示。以上兩階段訓(xùn)練均在NVIDIA GeForce GRX 1080 Ti上進(jìn)行訓(xùn)練。

表3：解凍訓(xùn)練超參數(shù)設(shè)置

3.2 性能評(píng)價(jià)指標(biāo)

本文采用經(jīng)典評(píng)價(jià)指標(biāo)召回率（Recall）、檢測(cè)精度（Average Precision，AP）、平均檢測(cè)精度（mean Average Precision，mAP）衡量算法的性能[5]。

召回率是指預(yù)測(cè)為正樣本（Truth Positive，TP）占全體標(biāo)注樣本的概率值，可用以下公式表示：

檢測(cè)精度AP值描述的是預(yù)測(cè)樣本中為正樣本的概率指標(biāo)，可用公式描述為：

平均檢測(cè)精度mAP表示的是測(cè)試數(shù)據(jù)中所有類(lèi)別檢測(cè)精度的平均值，即：

式（8）中：APi描述的是類(lèi)別為i的檢測(cè)精度值；nT表示的是數(shù)據(jù)集中含有目標(biāo)類(lèi)別數(shù)目。

3.3 實(shí)驗(yàn)結(jié)果分析

本文主要展示視頻大數(shù)據(jù)智能分析系統(tǒng)對(duì)目標(biāo)類(lèi)：口罩（mask）、未帶口罩（nomask）兩類(lèi)目標(biāo)的檢測(cè)結(jié)果。該視頻大數(shù)據(jù)智能分析系統(tǒng)使用YOLOv4作為目標(biāo)檢測(cè)框架，在口罩?jǐn)?shù)據(jù)集上使用表2、表3的超參數(shù)設(shè)置進(jìn)行訓(xùn)練，其目標(biāo)檢測(cè)結(jié)果見(jiàn)表4所示。

表4：口罩?jǐn)?shù)據(jù)集的實(shí)驗(yàn)結(jié)果

表4中：檢測(cè)精度AP、召回率Recall是在置信度得分的閾值為score_threshold=0.5時(shí)的結(jié)果；數(shù)據(jù)擴(kuò)充策略Rotate_Bbox_Pro_01_MagR_10是以發(fā)生概率為Pro=0.1、旋轉(zhuǎn)強(qiáng)度MagR=10旋轉(zhuǎn)圖像和標(biāo)注框；Rotate_Bbox_Pro_02_MagR_10是以發(fā)生概率為Pro=0.2、旋轉(zhuǎn)強(qiáng)度MagR=10旋轉(zhuǎn)圖像和標(biāo)注框；ShearX_BBox_Pro_01_MagS_8是以發(fā)生概率為Pro=0.1、錯(cuò)切強(qiáng)度MagS=8，在水平方向上錯(cuò)切圖像和標(biāo)注框；TranslateX_BBox_Pro_1_MagT_4是以發(fā)生概率為Pro=1.0、平移強(qiáng)度MagT=4，在水平方向上平移圖像和標(biāo)注框。

在實(shí)際變換中平移量xcnt（式3）、旋轉(zhuǎn)角度（式4）、和錯(cuò)切量xshear（式5）與平移強(qiáng)度MagT、旋轉(zhuǎn)強(qiáng)度MagR、錯(cuò)切強(qiáng)度MagS的關(guān)系如下：

式（9）、（10）、（11）中：MAX_level為平移、旋轉(zhuǎn)、錯(cuò)切變換的最大強(qiáng)度值，本文取為10。

在召回率Recall方面：與原始數(shù)據(jù)相比，以Rotate_Bbox_Pro_02_MagR_10策略擴(kuò)充樣本時(shí)，目標(biāo)檢測(cè)器能夠有效提高口罩、未帶口罩的召回率，分別提高約7%、6%，這表明：以Rotate_Bbox_Pro_02_MagR_10策略擴(kuò)充樣本時(shí)，能夠顯著降低目標(biāo)的漏檢率，提高目標(biāo)檢測(cè)器的性能。

在平均檢測(cè)精度mAP方面：與原始數(shù)據(jù)相比，以TranslateX_BBox_Pro_1_MagT_4策略擴(kuò)充樣本時(shí)，目標(biāo)檢測(cè)器的平均檢測(cè)精度mAP值較原始數(shù)據(jù)提高約0.4%，因此，能夠提高目標(biāo)檢測(cè)器對(duì)口罩、未帶口罩的檢測(cè)準(zhǔn)確率。

3.4 視頻智能分析系統(tǒng)的目標(biāo)檢測(cè)結(jié)果

圖3為視頻智能分析系統(tǒng)的目標(biāo)檢測(cè)結(jié)果示意圖。圖3中：紅色實(shí)線描述的是人員未帶口罩；藍(lán)色實(shí)線描述的是人員帶口罩。

圖3：目標(biāo)檢測(cè)結(jié)果

從圖3中可以得知：本視頻智能分析系統(tǒng)能夠準(zhǔn)確檢測(cè)實(shí)際場(chǎng)景中是否佩戴口罩。因此，在工業(yè)場(chǎng)景中，使用本視頻智能分析系統(tǒng)能夠有效保證工作人員是否佩戴口罩，可有效保證工作人員的生命財(cái)產(chǎn)安全。

4 結(jié)論

本視頻智能分析系統(tǒng)通過(guò)在現(xiàn)實(shí)場(chǎng)景中實(shí)時(shí)拍攝圖像獲取訓(xùn)練樣本、使用數(shù)據(jù)擴(kuò)充策略增加訓(xùn)練樣本、訓(xùn)練目標(biāo)檢測(cè)模型、利用目標(biāo)檢測(cè)模型實(shí)時(shí)檢測(cè)目標(biāo)，智能報(bào)警信息反饋給現(xiàn)場(chǎng)人員及后臺(tái)管理人員，輔助用戶(hù)完成事件處理。本視頻智能分析系統(tǒng)在很大程度上減少現(xiàn)場(chǎng)輸煤系統(tǒng)事故的發(fā)生，可有效保證智慧電廠輸煤區(qū)域的本質(zhì)安全，保證了現(xiàn)場(chǎng)工作人員和設(shè)備的安全。