計算機視覺技術(shù)在水電廠的應(yīng)用及前景分析

張文韜，郭 穗，王本紅，邢本福，嚴玉明，徐長明，譚佳文，黃鵬輝，李文馨

（1.中國長江電力股份有限公司，湖北 宜昌 443000；2.北京中水科水電科技開發(fā)有限公司，北京 100038）

隨著視頻監(jiān)控在水力發(fā)電廠道路交通、廠內(nèi)安防、工業(yè)生產(chǎn)等領(lǐng)域的普及應(yīng)用[1]，視頻巡檢、全時空生產(chǎn)信息獲取等新興技術(shù)正與傳統(tǒng)水電生產(chǎn)運營深度結(jié)合，使得運行維護人員無需親臨現(xiàn)場即可獲得第一手信息。在帶來一定便利的同時，海量的視頻監(jiān)控數(shù)據(jù)也成為人工分析方式的噩夢，由于運維人員無法全天候監(jiān)視所有監(jiān)控場景，往往在異常狀況發(fā)生時無法做出快速響應(yīng)。計算機視覺是利用計算機獲取視覺傳感器數(shù)據(jù)，并以計算機圖形學、機器學習及深度學習等算法對圖像或視頻進行處理以挖掘高級語義信息，模擬人類視覺系統(tǒng)的一項技術(shù)。以24 h 不斷運行的高性能服務(wù)器集群部署計算機視覺算法，用于實時處理水電廠視頻監(jiān)控數(shù)據(jù)，挖掘重要信息，實現(xiàn)現(xiàn)場關(guān)鍵信息獲取、危險工況預警及異常診斷報警，從而替代傳統(tǒng)的人員值守方式，是構(gòu)建新一代智能化電站、無人值守電站的重要基礎(chǔ)。本文就計算機視覺技術(shù)在水電廠的應(yīng)用及前景進行了分析。

1 計算機視覺算法概述

計算機視覺[2]的起源最早可追溯至20 世紀60年代，隨著電子計算機的誕生及逐步成熟，工程師們利用其進行簡單的圖像處理與模式識別。經(jīng)過50余年的發(fā)展，計算機視覺已應(yīng)用于日常生活的方方面面，例如人臉識別、車牌識別、文字識別、自動駕駛等。計算機視覺算法包含對圖像及視頻數(shù)據(jù)的預處理、特征提取、特征分類等流程，按照其算法類型分類，可以分為傳統(tǒng)算法和深度學習算法。

1.1 傳統(tǒng)算法

傳統(tǒng)算法往往利用人為設(shè)計的算法提取圖像的低級特征，例如顏色特征（灰度特征、二值圖等）、直方圖特征、集合特征、紋理特征（LBP、LBSP 等）、梯度特征（SOBEL、CANNY 算子等）和局部特征（SIFT、SURF 特征等），設(shè)定一定的閾值或使用機器學習方法（SVM、KNN 等）進行圖像的分類、預測。本文以在視頻運動目標檢測領(lǐng)域較為常見的傳統(tǒng)算法背景差分法為例進行傳統(tǒng)算法原理簡要介紹。

背景差分法通常包含背景模型建立、運動目標檢測、背景模型更新3 個步驟，其流程如圖1 所示。背景模型建立，是使用視頻的首幀或者多幀圖像建立背景模型的過程。在背景建模完成后，將當前幀視頻圖像與背景模型進行對比，在同一像素灰度特征差距較大的像素被判定為運動像素，反之則為背景像素，輔以形態(tài)學處理、連通性分析及模板匹配計算，即可檢測運動目標區(qū)域及運動目標種類。在逐幀檢測過程中，背景模型需要以某種策略同步更新（通常是將當前幀圖像的部分信息融入背景模型中），因為隨著時間的變化，視頻的場景和光照環(huán)境會發(fā)生變化。背景差分法通過選擇圖像顏色特征并設(shè)定閾值檢測運動目標，具有運算效率高、識別效果較好的特點。

圖1 背景差分法流程圖

由于需要人工選取特征并進行分類，傳統(tǒng)算法對于特征的選取、閾值的設(shè)置有較高要求，需要專家依靠實驗經(jīng)驗進行設(shè)置。但是由于計算機視覺應(yīng)用場景的多樣性，傳統(tǒng)算法無法普及所有場景，并且在復雜場景上表現(xiàn)較差，所以其應(yīng)用較為有限。

1.2 深度學習算法

深度學習[3]是機器學習的一個子類別，在計算機視覺領(lǐng)域，多利用深度卷積神經(jīng)網(wǎng)絡(luò)進行視覺任務(wù)處理。卷積神經(jīng)網(wǎng)絡(luò)使用結(jié)構(gòu)簡單的卷積模塊在圖像上進行滑動計算提取特征，在多次卷積的累加下，低維度的特征會被轉(zhuǎn)化為復雜的高維特征，而這些高維特征無疑是更符合機器表達的，因此在計算機視覺任務(wù)中其相比人工提取的特征效果更好。

雖然目前已有大量深度卷積神經(jīng)網(wǎng)絡(luò)的研究，其網(wǎng)絡(luò)結(jié)構(gòu)不盡相同，但是如圖2 所示，其都包含卷積層、池化層、全連接層等基本層級結(jié)構(gòu)，需要使用激活函數(shù)來增加模型的非線性擬合能力，使用損失函數(shù)來進行反向傳播，使用一定的訓練優(yōu)化方法來進行模型的訓練。其中，卷積的公式為：

圖2 簡單卷積神經(jīng)網(wǎng)絡(luò)模型

圖3 現(xiàn)有研究應(yīng)用場景

y（i，j）=f（W×x（i，j）+b）

式中y（i，j）表示卷積后的輸出特征圖的某個位置的值，x（i，j）表示輸入特征圖的某個位置的值，W表示卷積核的權(quán)重參數(shù)，b表示偏執(zhí)參數(shù)，f為激活函數(shù)。常見激活函數(shù)包含ReLU、Sigmoid 和Tanh，激活函數(shù)的公式為：

y=activation（x）

其中y表示激活后的輸出值，x表示輸入值，activation表示激活函數(shù)。深度卷積神經(jīng)網(wǎng)絡(luò)相比傳統(tǒng)算法具有強大的模型表達能力，但是需要大量的數(shù)據(jù)集進行模型訓練，否則會產(chǎn)生過擬合、模型能力退化的問題。目前，一些通用領(lǐng)域例如交通、安防、醫(yī)療等因已構(gòu)建了大量的數(shù)據(jù)集，所以深度卷積神經(jīng)網(wǎng)絡(luò)用于這些領(lǐng)域較為成熟，但是在工控領(lǐng)域，由于應(yīng)用場景較多，缺乏圖像采集與標注，深度卷積神經(jīng)網(wǎng)絡(luò)相關(guān)研究、推廣和應(yīng)用仍較為困難。

2 計算機視覺技術(shù)在水電廠應(yīng)用分析

2.1 現(xiàn)有研究

計算機視覺技術(shù)于水電廠的應(yīng)用尚處于起步階段，但部分領(lǐng)域與通用行業(yè)具有深度重疊性，故存在一定成熟的計算機視覺技術(shù)應(yīng)用。本文對此類應(yīng)用場景歸類為：

（1）智能安防：智能安防是視頻監(jiān)控發(fā)展的主要方向之一。我國具有大量學者研究人臉識別、目標檢測、目標追蹤、動作識別等領(lǐng)域的計算機視覺算法，為智能安防積累了廣泛理論基礎(chǔ)。在前端硬件生產(chǎn)領(lǐng)域，一些智能攝像頭能夠集成部分算法，能直接用于入侵檢測、運動目標檢測等場景。目前，水電廠視頻監(jiān)控已較為普及，基本實現(xiàn)了重點區(qū)域全覆蓋，起到了輔助安保人員監(jiān)視的作用。

（2）智能巡檢：利用監(jiān)控視頻進行視頻巡檢已成為替代傳統(tǒng)人工巡檢的一種方式[4]。目前，有部分研究開始著手于智能巡檢，即進一步優(yōu)化視頻巡檢方式，利用計算機處理視頻數(shù)據(jù)進行危險預警?，F(xiàn)有智能巡檢研究相關(guān)應(yīng)用場景包括：電廠生產(chǎn)區(qū)域漏水（漏油）檢測、保護壓板狀態(tài)識別、斷路器狀態(tài)識別、儀表讀數(shù)識別、軸承損傷檢測、輸電線路損傷檢測、水工建筑裂紋檢測[5]、火災檢測等。但此類研究主要為理論創(chuàng)新，極少在水電廠生產(chǎn)實際中應(yīng)用，并且缺乏系統(tǒng)研究，沒有自上而下的體系設(shè)計。

（3）流域監(jiān)測：主要利用衛(wèi)星遙感圖像監(jiān)測流域大壩狀況，包括水電站地質(zhì)災害識別與預警、大壩形變研究[6]、水庫水深及水域面積演算、壩區(qū)環(huán)保生態(tài)修復等。由于遙感圖像可以在宏觀層面較為直觀展示流域狀況，利用計算機視覺算法有助于優(yōu)化流域梯級電站調(diào)度，具有一定的實用性。

2.2 計算機視覺技術(shù)與監(jiān)控系統(tǒng)結(jié)合應(yīng)用前景分析

精益生產(chǎn)是水力發(fā)電廠的第一要務(wù)。目前針對水電廠的計算機視覺研究缺乏與生產(chǎn)實際深度結(jié)合，多停留于理論層面，因無法對生產(chǎn)進行有效指導存在較大局限性?，F(xiàn)有的水電廠計算機監(jiān)控系統(tǒng)多為分布式結(jié)構(gòu)，由上位機和現(xiàn)地LCU 組成，其中LCU 負責數(shù)據(jù)采集與處理、設(shè)備監(jiān)視與控制、執(zhí)行流程、與其他子系統(tǒng)通信、報警與事件生成。由于LCU通過生產(chǎn)現(xiàn)場的傳感器采集開關(guān)量和模擬量反饋至上位機監(jiān)屏人員，上位機監(jiān)屏人員無法獲知真實的現(xiàn)場信息，只能默認傳感器數(shù)據(jù)采集是準確的，這就造成了“所聞即所得”而非“所見即所得”的問題。

水電廠運維經(jīng)驗表明，存在傳感器偏差較大或損壞導致計算機監(jiān)控系統(tǒng)采集狀態(tài)與現(xiàn)場實際不符的情況。由于視頻監(jiān)控的遠方性、可視性，將計算機視覺技術(shù)與水電廠計算機監(jiān)控系統(tǒng)相結(jié)合，能在一定程度上解決上述問題。根據(jù)《電力監(jiān)控系統(tǒng)安全防護總體方案等安全防護方案和評估規(guī)范》（國能安全〔2015〕36 號）要求實現(xiàn)“安全分區(qū)、網(wǎng)絡(luò)專用、橫向隔離、縱向認證”，水電廠計算機監(jiān)控系統(tǒng)分為生產(chǎn)控制大區(qū)和信息管理大區(qū)，將計算機視覺技術(shù)與計算機監(jiān)控系統(tǒng)進行結(jié)合有兩種實現(xiàn)方式。

第一種切實可行的方式是構(gòu)建獨立的計算機視覺應(yīng)用系統(tǒng)于信息管理大區(qū)，其不參與工業(yè)控制，僅輔助監(jiān)屏人員對現(xiàn)場進行狀態(tài)監(jiān)視。該系統(tǒng)包含實時數(shù)據(jù)采集模塊、傳輸模塊、視頻存儲模塊、視頻預處理模塊和視頻智能分析模塊，其中視頻智能分析模塊部署多種計算機視覺算法和高級診斷分析決策樹，做到智能跳轉(zhuǎn)（操作員下令時或現(xiàn)場出現(xiàn)異常狀況時，視頻監(jiān)控自動跳轉(zhuǎn)至對應(yīng)場景）、在線實時異常檢測與預警等。另一種實現(xiàn)方式為在第一種方式所能實現(xiàn)功能的基礎(chǔ)上增加與工控系統(tǒng)聯(lián)動的方式，由于直接參加生產(chǎn)控制，此類系統(tǒng)部署于生產(chǎn)控制大區(qū)。其視頻智能分析模塊具備與PLC 通信的能力，通過視頻分析模塊計算出的數(shù)據(jù)可轉(zhuǎn)換為模擬量和開關(guān)量，傳輸至PLC作為依據(jù)參與工業(yè)控制。但是由于視頻采集編碼、解碼及計算機視覺算法計算的時間開銷，第二種實現(xiàn)方式適用于實時性要求不高的場景，例如輔控設(shè)備動作狀態(tài)采集、閥門狀態(tài)采集等可存在一定延時的場景。

3 應(yīng)用難點及分析

3.1 計算機視覺技術(shù)的應(yīng)用難點

雖然計算機視覺技術(shù)在水電廠的應(yīng)用有廣闊的前景，但是如何將其投入生產(chǎn)運營仍存在一些難點：

（1）前端攝像頭部署及維護問題：由于水電廠存在較多惡劣環(huán)境，造成了攝像頭部署及維護困難的問題。例如在發(fā)電機定、轉(zhuǎn)子處部署攝像頭，則面臨強電磁輻射環(huán)境，需要攝像頭具備一定防護能力；又如在快速門部署攝像頭，則面臨高空作業(yè)，對攝像頭的維護更換造成一定不便。

（2）計算機視覺算法可靠性問題：由于計算機視覺算法依賴于前端攝像頭采集的視頻數(shù)據(jù)，一旦出現(xiàn)攝像頭震動、位移甚至是遮擋的惡劣情況，計算機視覺算法的準確率會隨之下降。因此，要求計算機視覺算法具備一定魯棒性以應(yīng)用復雜環(huán)境。

（3）數(shù)據(jù)集構(gòu)建問題：基于深度學習的計算機視覺算法往往需要一定規(guī)模的數(shù)據(jù)進行模型訓練，該數(shù)據(jù)包含原始圖像及其對應(yīng)的標注，而水電行業(yè)還未公開較權(quán)威的大規(guī)模數(shù)據(jù)集，因而要求研究者根據(jù)應(yīng)用場景重新構(gòu)建數(shù)據(jù)集。目前有兩種構(gòu)建數(shù)據(jù)集的方式；其一為針對多個應(yīng)用場景構(gòu)建大規(guī)模的數(shù)據(jù)集；其二為針對單獨場景構(gòu)建小規(guī)模數(shù)據(jù)集。方式一需要較大成本，但以之訓練的模型可用于多個場景，具備一定泛化性；方式二成本較低，并且通過擬合的方式獲得較高識別精度，但缺乏模型遷移和復用性。

（4）算力支持問題：基于深度學習的計算機視覺算法在訓練和投入使用時需要大量GPU 的算力支持，并且GPU 需要支持美國英偉達公司的CUDA 計算架構(gòu)，在自主可控和國產(chǎn)化替代方面仍需進行一定探索。

（5）實時性問題：由于視頻的采集和編解碼，計算機視覺算法均存在一定耗時，其響應(yīng)速度較普通的電信號傳感器較慢。在構(gòu)建于工控系統(tǒng)聯(lián)動的計算機視覺應(yīng)用系統(tǒng)時應(yīng)綜合考慮前端攝像機路數(shù)、網(wǎng)絡(luò)帶寬、算力及計算機視覺算法的時間復雜度，保證系統(tǒng)的實時性。

（6）模型維護問題：由于計算機視覺算法種類較多，其利用不同數(shù)據(jù)集訓練的效果也不同，造成了同一模型場景遷移的困難。對于不同模型甚至無法進行遷移，只能重新進行訓練，浪費大量計算資源和時間成本。

3.2 計算機視覺應(yīng)用系統(tǒng)設(shè)計分析

為應(yīng)對上述難點，在計算機視覺應(yīng)用系統(tǒng)的整體設(shè)計上應(yīng)采用分布式系統(tǒng)，滿足模塊的單一職責原則。如圖4 所示，原則上其至少應(yīng)包含實時多場景視頻采集模塊、視頻傳輸存儲模塊、智能分析模塊、數(shù)據(jù)可視化模塊。

圖4 計算機視覺應(yīng)用系統(tǒng)架構(gòu)

通過高清攝像頭完成對監(jiān)視應(yīng)用場景的數(shù)據(jù)采集，并通過視頻傳輸存儲模塊實現(xiàn)分配和儲存視頻資源。通過智能分析模塊部署計算機視覺算法處理視頻圖像，實現(xiàn)對監(jiān)視目標的安全風險等級評估，同時結(jié)合場景中多源目標多維度數(shù)據(jù)的分析結(jié)果，實現(xiàn)基于數(shù)據(jù)驅(qū)動的安全隱患識別?？梢暬K可調(diào)取系統(tǒng)資源，實現(xiàn)實時（歷史）監(jiān)控視頻播放、風險態(tài)勢預警等。

在具體的實施細節(jié)上可針對上述架構(gòu)進行一定程度的改進，在硬件設(shè)備層面，可以通過冗余部署增強系統(tǒng)可靠性；可以通過部署大量邊緣計算模塊分擔中央智能分析模塊算力壓力。在設(shè)備選型上，盡量統(tǒng)一選型減少后期維護壓力。在算法層面，可以通過機器視覺系統(tǒng)與水電廠計算機監(jiān)控系統(tǒng)相互配合實現(xiàn)數(shù)據(jù)自動標注；通過傳統(tǒng)計算機視覺算法和深度學習算法的配合使用減少算力需求；通過設(shè)計輕量化模型達到實時處理效果；可以通過減少算法種類數(shù)量、大量使用經(jīng)典算法、同類型場景使用同一算法模型增強算法的泛化性，減少算法維護成本。

4 結(jié)語

隨著計算機視覺技術(shù)的不斷發(fā)展和成熟，已具備一定條件應(yīng)用于水電廠生產(chǎn)實際中。本文對計算機視覺技術(shù)進行了簡單介紹，對其于水電廠的應(yīng)用現(xiàn)狀、應(yīng)用前景進行了闡述，并對計算機視覺技術(shù)的應(yīng)用難點進行了分析，提出了對計算機視覺應(yīng)用系統(tǒng)架構(gòu)設(shè)計的建設(shè)性意見。希望在學者們的一眾努力下早日將計算機視覺技術(shù)普及于水電生產(chǎn)中，為構(gòu)建新一代智能水電站貢獻力量。