煤礦人工智能視頻分析系統(tǒng)架構(gòu)體系及關(guān)鍵技術(shù)

陳 杰

（1.中煤科工集團(tuán)沈陽研究院有限公司，遼寧 撫順 113122；2.煤礦安全技術(shù)國家重點(diǎn)實(shí)驗(yàn)室，遼寧 撫順 113122）

隨著人工智能、視覺識別技術(shù)不斷發(fā)展，以及國家相關(guān)政策及標(biāo)準(zhǔn)的相繼出臺[1-7]，基于視頻感知的監(jiān)控系統(tǒng)應(yīng)用到了各個(gè)領(lǐng)域，其中煤礦的自動(dòng)化、智能化一直是國家建設(shè)智慧礦山的需求。因此, 基于視頻識別在煤礦領(lǐng)域的應(yīng)用研究，在煤礦智能化建設(shè)的大背景下，通過視頻+AI 的技術(shù)手段，并運(yùn)用“AI 智能監(jiān)控、智能識別、智能分析、智能安防”等前沿技術(shù)為煤炭等能源行業(yè)提供一站式智能解決方案，對煤礦企業(yè)的安全生產(chǎn)至關(guān)重要的作用。

圖像識別的發(fā)展經(jīng)歷了文字信息識別、數(shù)字圖像信息識別、三維物體信息識別3 個(gè)階段:①文字信息識別的研究從1950 年開始，一般包括字母、數(shù)字和符號的信息識別，落地應(yīng)用非常廣泛；②數(shù)字圖像信息識別的研究從1970 年開始，數(shù)字圖像信息與模擬圖像信息相比具有存儲快捷，傳輸方便。數(shù)據(jù)在壓縮、傳輸過程中不易失真等優(yōu)勢，這些為圖像信息識別技術(shù)的發(fā)展奠定了堅(jiān)實(shí)基礎(chǔ)；③三維物體信息的識別主要是對三維世界的物體對象、環(huán)境的感知、認(rèn)識，屬于高級計(jì)算機(jī)視覺識別范疇，它以數(shù)字圖像信息識別為基礎(chǔ)，結(jié)合人工智能、統(tǒng)計(jì)學(xué)等，被廣泛應(yīng)用于工業(yè)智能機(jī)器人上。

在煤礦工業(yè)領(lǐng)域，工業(yè)視頻監(jiān)控已普遍使用，用來實(shí)時(shí)監(jiān)測煤礦井上、井下不同場景，直觀呈現(xiàn)不同地點(diǎn)的不同人員、設(shè)備的工作狀態(tài)。工業(yè)視頻監(jiān)控系統(tǒng)已成為煤礦企業(yè)必備的一套系統(tǒng)，同時(shí)要根據(jù)國家煤礦安全監(jiān)察局的聯(lián)網(wǎng)數(shù)據(jù)傳輸標(biāo)準(zhǔn)實(shí)現(xiàn)視頻數(shù)據(jù)的聯(lián)網(wǎng)上傳。

煤礦工業(yè)經(jīng)歷了從煤礦機(jī)械化、單系統(tǒng)自動(dòng)化、綜合自動(dòng)化到智慧礦山的發(fā)展階段。煤礦智慧化又經(jīng)歷了數(shù)字化建設(shè)、單系統(tǒng)智慧化、綜合系統(tǒng)智慧化、礦區(qū)全系統(tǒng)智慧化的智慧礦山發(fā)展歷程。其中重要的一個(gè)智慧化驅(qū)動(dòng)即基于視頻感知技術(shù)、人工智能AI 技術(shù)，來達(dá)到安全生產(chǎn)、減人增效的目標(biāo)?；诖?，結(jié)合煤礦的實(shí)際情況，構(gòu)建了煤礦人工智能視頻分析系統(tǒng)。

1 煤礦人工智能視頻分析系統(tǒng)總體架構(gòu)

煤礦人工智能視頻分析系統(tǒng)總體架構(gòu)如圖1。

圖1 煤礦人工智能視頻分析系統(tǒng)總體架構(gòu)Fig.1 Overall system architecture

煤礦人工智能視頻分析系統(tǒng)以實(shí)現(xiàn)對人員、設(shè)備、環(huán)境的智能監(jiān)控與分析，達(dá)到智能報(bào)警、智能控制為主要目標(biāo)。從層次上分為：①設(shè)備層：實(shí)現(xiàn)不同場景的智能感知；②網(wǎng)絡(luò)層：借助于工業(yè)視頻環(huán)網(wǎng)實(shí)現(xiàn)視頻數(shù)據(jù)的傳輸；③應(yīng)用層：即平臺層，包括AI 訓(xùn)練平臺、視覺識別分析平臺、AI 監(jiān)控平臺等，來實(shí)現(xiàn)視頻的智能分析、模型的AI 訓(xùn)練及視頻、報(bào)警數(shù)據(jù)的實(shí)時(shí)管控等[8-10]。

1.1 設(shè)備感知層

視頻感知層設(shè)備分為普通攝像儀和智慧攝像儀等，普通攝像儀只能對視頻進(jìn)行感知，并不能對捕獲的視頻數(shù)據(jù)在感知層加以分析。智慧攝像儀則除了能對視頻進(jìn)行感知外，還具備人工智能，能在感知層對捕獲的視頻進(jìn)行實(shí)時(shí)分析，實(shí)現(xiàn)邊緣計(jì)算。

目前大多數(shù)煤礦都已具備工業(yè)視頻監(jiān)控系統(tǒng)，可對已有的視頻設(shè)備加以利用，取現(xiàn)有視頻流加以分析，但視頻分辨率需滿足足夠清晰，盡量滿足400萬像素以上要求。

當(dāng)然對于新投入的視頻感知設(shè)備，建議采用礦用隔爆型智慧攝像儀，支持TCP/IP、ICMP、HTTP、HTTPS、FTP、UDP、DHCP、DNS、DDNS、RTP、RTSP、RTCP、PPPoE、NTP、UPnP、SMTP、SNMP、QoS、IPv6、IGMP、Bonjour、802.1X 等標(biāo)準(zhǔn)（協(xié)議）。集成雙核RISC-V CPU 和頻率高達(dá)800 MHz 的數(shù)字信號處理器（DSP），并支持浮點(diǎn)單元（FPU），集成最新一代ISP，支持2D 降噪、3D 降噪、寬動(dòng)態(tài)范圍、魚眼校正、鏡頭陰影校正等功能，采用KPU 進(jìn)行深度學(xué)習(xí)，通過DSP 與KPU 協(xié)同運(yùn)算，支持原生TensorFlow。

1.2 平臺應(yīng)用層

結(jié)合煤礦生產(chǎn)實(shí)際需求，利用AI 技術(shù)，構(gòu)建統(tǒng)一的訓(xùn)練、分析、監(jiān)控平臺，實(shí)現(xiàn)煤礦人員的不安全行為、設(shè)備的不安全狀態(tài)、環(huán)境的不安全因素等隱患智能分析、報(bào)警，構(gòu)建業(yè)務(wù)應(yīng)用平臺，實(shí)現(xiàn)隱患報(bào)警處理、分析、上報(bào)，形成業(yè)務(wù)閉環(huán)，輔助監(jiān)管人員，提升監(jiān)管效率，減少煤礦井下事故的發(fā)生。主要包括AI 訓(xùn)練平臺、視覺識別分析平臺、AI 監(jiān)控平臺。

1.2.1 AI 訓(xùn)練平臺

AI 訓(xùn)練平臺用于實(shí)現(xiàn)AI 場景模型的迭代訓(xùn)練，訓(xùn)練的素材需取自現(xiàn)場的真實(shí)圖片，并達(dá)到一定的數(shù)量級，方可訓(xùn)練出精確度較高的AI 模型，其中包括數(shù)據(jù)集管理和模型訓(xùn)練管理。

1）數(shù)據(jù)集管理。①數(shù)據(jù)版本管理：統(tǒng)一管理各個(gè)數(shù)據(jù)版本數(shù)據(jù)，在新建數(shù)據(jù)集基礎(chǔ)上可以上傳不同的數(shù)據(jù)版本，做到數(shù)據(jù)版本控制，在數(shù)據(jù)集基礎(chǔ)上新增數(shù)據(jù)版本[11-13]；②標(biāo)注版本數(shù)據(jù)描述：導(dǎo)入數(shù)據(jù)類型（分為有標(biāo)注和無標(biāo)注），標(biāo)注數(shù)據(jù)類型，導(dǎo)入方式提供數(shù)據(jù)集原有數(shù)據(jù)，方便數(shù)據(jù)組合利用，可上傳壓縮文件；③在線標(biāo)注：對上傳完成的數(shù)據(jù)進(jìn)行在線標(biāo)注預(yù)覽，選擇需要標(biāo)注的數(shù)據(jù)版本，在已標(biāo)注欄預(yù)覽標(biāo)注信息，在未標(biāo)注欄對原始數(shù)據(jù)進(jìn)行在線標(biāo)注。

2）模型訓(xùn)練管理。①訓(xùn)練模型：用戶根據(jù)系統(tǒng)提供的模型中選擇1 個(gè)模型，并根據(jù)提示選擇數(shù)據(jù)集，手動(dòng)設(shè)定模型所需要的訓(xùn)練參數(shù)，如圖像增強(qiáng)方式、輸入圖片大小、設(shè)定訓(xùn)練/驗(yàn)證/測試集比例、訓(xùn)練輪數(shù)、批處理數(shù)量、學(xué)習(xí)率、訓(xùn)練模式、提前結(jié)束訓(xùn)練條件等參數(shù)，或選擇全部或者部分自動(dòng)智能設(shè)置；②模型驗(yàn)證：用戶通過選擇其他數(shù)據(jù)進(jìn)行測試，測試結(jié)果提供給用戶查看，根據(jù)測試結(jié)果得出模型評估指標(biāo)（召回率、精確率、MAP 等）供用戶查看，用以評估AI模型的準(zhǔn)確度。

1.2.2 視覺識別分析平臺

對于采用普通攝像頭作為感知設(shè)備，需建立后臺集中算力中心，對各場景視頻流進(jìn)行集中分析、計(jì)算。根據(jù)實(shí)際情形，需選擇適配的硬件配置，包括GPU 卡、CPU、內(nèi)存、SSD SATA 數(shù)據(jù)中心、企業(yè)級SATA 硬盤等，用以支撐視頻的AI 識別與計(jì)算。

智能視頻分析是智能監(jiān)測預(yù)警的核心，綜合各種高效、穩(wěn)定和精確的算法技術(shù)實(shí)現(xiàn)對煤礦安全生產(chǎn)視頻進(jìn)行實(shí)時(shí)計(jì)算分析和實(shí)時(shí)監(jiān)測，找出視頻中的違規(guī)行為，對可能帶來的災(zāi)害進(jìn)行預(yù)警，同時(shí)實(shí)現(xiàn)煤礦安全監(jiān)管工作的智能化、實(shí)時(shí)化和異地化。

1）算法模型管理。如在帶式輸送機(jī)智能視頻監(jiān)測方面，在算法服務(wù)器內(nèi)按膠帶異物識別分析、落煤口堵塞狀況分析以及人員的違規(guī)行為算法場景建立算法模型庫，能根據(jù)業(yè)務(wù)需要迅速查找并加載對應(yīng)算法模型，使算法切換和參數(shù)修改智能化、自動(dòng)化，無需重啟算法服務(wù)器，也無需人工干預(yù)就能實(shí)現(xiàn)算法服務(wù)器內(nèi)的業(yè)務(wù)邏輯調(diào)整，使系統(tǒng)操作更簡單，便于使用和維護(hù)[14]。

2）算法模型實(shí)時(shí)分析。若采用與系統(tǒng)適配的智能攝像頭，算法服務(wù)器能在應(yīng)用層獲取在線攝像頭的實(shí)時(shí)視頻地址后，直接獲取攝像頭實(shí)時(shí)監(jiān)控畫面，無需經(jīng)過物理NVR 或其他錄像設(shè)備，減少獲取視頻的延遲，提升分析的實(shí)時(shí)性。同時(shí)能根據(jù)攝像頭配置的參數(shù)，直接將參數(shù)用于視頻的分析中，在接通攝像頭畫面的同時(shí)就加載算法模型和識別參數(shù)，實(shí)現(xiàn)在線實(shí)時(shí)分析攝像頭視頻內(nèi)容。算法模型實(shí)時(shí)分析流程如圖2。

圖2 算法分析流程圖Fig.2 Algorithm analysis flow chart

2 關(guān)鍵技術(shù)

1）人工智能。人工智能的概念最早來自于1956年的計(jì)算機(jī)達(dá)特茅斯會議，其本質(zhì)是希望機(jī)器能夠像人類的大腦一樣思考，并作出反應(yīng)。由于極具難度與吸引力，人工智能從誕生至今，吸引了無數(shù)的科學(xué)家與愛好者投入研究。搭載人工智能的載體可以是近年來火熱的機(jī)器人、自動(dòng)駕駛車輛，甚至是1 個(gè)部署在云端的智能大腦。根據(jù)人工智能實(shí)現(xiàn)的水平，可以進(jìn)一步分為3 種人工智能：①弱人工智能：擅長某個(gè)特定領(lǐng)域的智能，如語言處理領(lǐng)域的百度翻譯，但讓該系統(tǒng)去判斷一張圖片中是狗還是貓，就無能無力了，此外還包括手機(jī)上的人臉識別等，當(dāng)前的人工智能大多是弱人工智能；②強(qiáng)人工智能：在人工智能概念剛被提出的時(shí)候，人們期望通過打造復(fù)雜的計(jì)算機(jī)系統(tǒng)，實(shí)現(xiàn)與人一樣的復(fù)雜智能，這被定義為強(qiáng)人工智能，這種智能要求機(jī)器像人一樣，聽、說、讀、寫樣樣精通，目前的發(fā)展技術(shù)尚未達(dá)到通用人工智能的水平，但已經(jīng)有眾多研究機(jī)構(gòu)展開了研究；③超人工智能：位于強(qiáng)人工智能之上，定義為超人工智能，是在幾乎所有領(lǐng)域都比人類大腦聰明的智能，包括創(chuàng)新、社交、思維等，現(xiàn)在的弱人工智能就好比生命的早期形態(tài)，可能突然之間就會產(chǎn)生智慧生命，超人工智能也不會永遠(yuǎn)停留在想象之中。

2）機(jī)器學(xué)習(xí)。機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能的重要途徑，也是最早發(fā)展起來的人工智能算法。與傳統(tǒng)的基于規(guī)則設(shè)計(jì)的算法不同，機(jī)器學(xué)習(xí)的關(guān)鍵在于從大量的數(shù)據(jù)中找出規(guī)律，自動(dòng)地學(xué)習(xí)出算法所需的參數(shù)[15-16]。機(jī)器學(xué)習(xí)算法中最重要的就是數(shù)據(jù)，根據(jù)使用的數(shù)據(jù)形式，可以分為3 大類：監(jiān)督學(xué)習(xí)（Supervised Learning）、無監(jiān)督學(xué)習(xí)（Unsupervised Learning）與強(qiáng)化學(xué)習(xí)（Reinforcement Learning）。

3）深度學(xué)習(xí)。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的技術(shù)分支之一，主要是通過搭建深層的人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）來進(jìn)行知識的學(xué)習(xí)，輸入數(shù)據(jù)通常較為復(fù)雜、規(guī)模大、維度高。深度學(xué)習(xí)可以說是機(jī)器學(xué)習(xí)問世以來最大的突破之一。圖像識別多使用卷積神經(jīng)網(wǎng)絡(luò)。理論上，可以使用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行分析，但從計(jì)算角度來看代價(jià)很高。神經(jīng)網(wǎng)絡(luò)的廣適性是他們的優(yōu)點(diǎn)之一，但是在處理圖像時(shí)，這個(gè)優(yōu)點(diǎn)就變成了負(fù)擔(dān)。卷積神經(jīng)網(wǎng)絡(luò)對此專門進(jìn)行了折衷：如果1 個(gè)網(wǎng)絡(luò)專為處理圖像而設(shè)計(jì)，有些廣適性需要為更可行的解決方案做出讓步。換言之，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks）是一種深度學(xué)習(xí)模型或類似于人工神經(jīng)網(wǎng)絡(luò)的多層感知器，非常適合用來分析視覺圖像。研究卷積神經(jīng)網(wǎng)絡(luò)的圖像識別技術(shù)、人的身份及附加屬性識別技術(shù)，采集目標(biāo)設(shè)備圖片做為標(biāo)準(zhǔn)圖像，歸納出不同種類圖像的特征數(shù)據(jù)作為基礎(chǔ)模板，采集大量的現(xiàn)場的影像資料，與基礎(chǔ)模板對比，找出相似特征并輸出結(jié)果，通過這種反復(fù)訓(xùn)練，最終實(shí)現(xiàn)研制具有圖形識別、行為分析功能的智能視頻分析系統(tǒng)的目的[17]。

3 系統(tǒng)設(shè)計(jì)

結(jié)合煤礦現(xiàn)場的實(shí)際需求，對煤礦現(xiàn)場設(shè)備狀態(tài)、人員行為等場景進(jìn)行需求分析、AI 識別。

在煤流監(jiān)測報(bào)警方面：①針對堆煤、膠帶跑偏、膠帶出現(xiàn)異等情況進(jìn)行識別，并及時(shí)發(fā)出報(bào)警；②煤流調(diào)速：通過視頻分析對帶式輸送機(jī)運(yùn)輸過程的空載情況進(jìn)行識別，當(dāng)連續(xù)檢測到空重載達(dá)到一定時(shí)長時(shí)觸發(fā)報(bào)警并與帶式輸送機(jī)控制系統(tǒng)實(shí)現(xiàn)聯(lián)動(dòng)，實(shí)現(xiàn)帶式輸送機(jī)自動(dòng)調(diào)速。

在人員行為分析方面：針對人員跨越電子圍欄、人員未按安全防護(hù)規(guī)范穿戴、操作工離崗、行車行人（人走車道，或者車走人道）、唯一性檢測（人臉識別）、乘車人員異常等人員違規(guī)場景進(jìn)行識別、分析并發(fā)出報(bào)警。

1）模型訓(xùn)練。收集不同場景的海量原始素材圖片，并標(biāo)注圖片特征數(shù)據(jù)。完成模型訓(xùn)練與迭代優(yōu)化訓(xùn)練。抽象AI 識別數(shù)學(xué)模型，針對煤礦應(yīng)用場景進(jìn)行分析，并找出不同場景監(jiān)測、識別特征點(diǎn)，再通過AI 訓(xùn)練平臺對大量現(xiàn)場特征圖片素材展開訓(xùn)練，形成初步數(shù)學(xué)模型，并不斷進(jìn)行模型的應(yīng)用識別，識別結(jié)果的人工驗(yàn)證，模型優(yōu)化迭代，最終生成最優(yōu)AI識別數(shù)學(xué)分析模型。模型迭代訓(xùn)練如圖3。

圖3 模型迭代訓(xùn)練Fig.3 Model iterative training

2）數(shù)據(jù)分析與傳輸。設(shè)計(jì)AI 識別結(jié)果報(bào)警數(shù)據(jù)的傳輸方式、協(xié)議格式、數(shù)據(jù)形式標(biāo)準(zhǔn)接口。并設(shè)計(jì)開發(fā)集文字、圖像、視頻等多維度信息數(shù)據(jù)采集與處理模塊，根據(jù)已生成的最優(yōu)AI 分析模型，進(jìn)行視頻流的實(shí)時(shí)智能分析。并建立結(jié)構(gòu)化數(shù)據(jù)庫，對分析結(jié)果進(jìn)行分布式存儲。同時(shí)采用數(shù)據(jù)庫的負(fù)載均衡技術(shù)，建立高可用的數(shù)據(jù)服務(wù)中心。

3）智能控制。當(dāng)AI 場景識別出現(xiàn)異常報(bào)警時(shí)，往往需要與其他控制類子系統(tǒng)進(jìn)行智能聯(lián)動(dòng)控制，如：發(fā)現(xiàn)帶式輸送機(jī)空載一段時(shí)間以后發(fā)出報(bào)警的同時(shí)，應(yīng)向煤流控制系統(tǒng)發(fā)出調(diào)速控制指令；發(fā)現(xiàn)人員有違章行為時(shí)，應(yīng)與廣播系統(tǒng)形成聯(lián)動(dòng)，發(fā)出廣播提醒。此處應(yīng)就第三方控制系統(tǒng)制定指令數(shù)據(jù)交互接口，通常采用WEB API 的方式來進(jìn)行控制指令的驅(qū)動(dòng)。數(shù)據(jù)格式采用JSON 數(shù)據(jù)包來進(jìn)行指令數(shù)據(jù)的傳輸與執(zhí)行反饋。

4）AI 監(jiān)控平臺。人工智能AI 分析結(jié)果的可視化，確定智能AI 分析結(jié)果的可視化展示方式、提醒方式。選擇適合的可視化技術(shù)，進(jìn)行整體UI 設(shè)計(jì)、前后臺交互式設(shè)計(jì)、后臺設(shè)計(jì)等。最終，搭建集成測試環(huán)境，對整套系統(tǒng)進(jìn)行AI 智能分析測試、驗(yàn)證。并進(jìn)行煤礦現(xiàn)場工業(yè)試驗(yàn)。

4 結(jié) 語

隨著煤礦智能化建設(shè)的逐步落地，AI 視覺識別作為智能化建設(shè)的一個(gè)重要組成部分，越來越被煤礦企業(yè)重視，其模擬人的神經(jīng)網(wǎng)絡(luò)映射特征和信息傳遞特點(diǎn)進(jìn)行AI 視覺識別，能夠完全實(shí)現(xiàn)人員行為、設(shè)備狀態(tài)的各種場景識別，及時(shí)發(fā)現(xiàn)違規(guī)行為，設(shè)備事故等，幫助煤礦企業(yè)發(fā)現(xiàn)問題、消除隱患，保障煤礦安全生產(chǎn)，是創(chuàng)建智慧煤礦重要的重要技術(shù)手段。