張 健,趙啟博,巨永鋒
(1.西安培華學(xué)院智能科學(xué)與信息工程學(xué)院,陜西西安 710125;2.陜西智世華頤科技有限公司,陜西西安 710061;3.長安大學(xué) 電子與控制工程學(xué)院,陜西 西安 710064)
邊緣計算是指在網(wǎng)絡(luò)邊緣側(cè)集成網(wǎng)絡(luò)、存儲、計算和應(yīng)用等核心能力,靠近物聯(lián)網(wǎng)端或者數(shù)據(jù)源端提供應(yīng)用智能服務(wù)以滿足行業(yè)在敏捷連接、數(shù)據(jù)優(yōu)化、實時業(yè)務(wù)、智能應(yīng)用、隱私與安全保護(hù)等領(lǐng)域的重點需求[1]。
傳統(tǒng)的基于云計算的物聯(lián)網(wǎng)系統(tǒng)存在數(shù)據(jù)傳輸網(wǎng)絡(luò)延時高、網(wǎng)絡(luò)帶寬消耗大、數(shù)據(jù)中心能耗高、數(shù)據(jù)安全和隱私性差等諸多問題。
將基于邊緣計算的物聯(lián)網(wǎng)技術(shù)應(yīng)用于安防領(lǐng)域(如建筑工地、熱電廠、采煤廠等),不但可以充分發(fā)揮物聯(lián)網(wǎng)協(xié)同感知的優(yōu)勢,使系統(tǒng)具備自學(xué)習(xí)、自適應(yīng)特性,定位更加精準(zhǔn),入侵目標(biāo)能分類識別,減輕監(jiān)控人員的負(fù)擔(dān),還能對各種類型的入侵行為進(jìn)行及時、有效且規(guī)范的探測報警,并根據(jù)不同的報警事件作出實時的應(yīng)急處理響應(yīng),為安防領(lǐng)域提供安全可靠的運(yùn)行環(huán)境[3]。
該文針對目前應(yīng)用比較廣泛的安防系統(tǒng)場景,并基于邊緣計算和AI 技術(shù)設(shè)計了一套通用的系統(tǒng)架構(gòu),主要包括邊緣端、邊緣計算節(jié)點、云服務(wù)端(服務(wù)器和監(jiān)控平臺)三層架構(gòu),如圖1 所示。其中,邊緣端主要通過傳感器、攝像頭等采集監(jiān)控區(qū)域特定的信息,并將采集到的視頻、語音、圖像等信息以數(shù)據(jù)流的方式實時發(fā)送到物端。物端設(shè)備即為邊緣計算設(shè)備,一個物端設(shè)備可以控制和管理8個邊緣設(shè)備。物端通過接收到邊緣端采集的視頻、語音、圖像等數(shù)據(jù),實時調(diào)用從云端下載的AI 算法包即可得到實時預(yù)警畫面,從而進(jìn)一步對安全生產(chǎn)過程中存在的人員、車輛、環(huán)境因素等安全隱患進(jìn)行實時主動的監(jiān)測預(yù)警,并將預(yù)警信息實時上報到云端。云端作為安全生產(chǎn)管理的駕駛艙,主要對安防環(huán)境區(qū)域、工作人員、訪客、車輛等信息的實時狀態(tài)進(jìn)行遠(yuǎn)程監(jiān)控、預(yù)警和管理。除此以外,云端還根據(jù)物聯(lián)網(wǎng)端處理的業(yè)務(wù)類型的不同分別設(shè)計數(shù)據(jù)服務(wù)器、消息服務(wù)器、流媒體服務(wù)器,從而達(dá)到業(yè)務(wù)處理的負(fù)載均衡。
圖1 邊緣計算網(wǎng)絡(luò)三層架構(gòu)圖
該文的主要目標(biāo)是設(shè)計并搭建一套基于邊緣計算的高可用、可實時處理的通用安防系統(tǒng),通過定制化邊緣計算的物聯(lián)網(wǎng)設(shè)備部署在靠近用戶側(cè)的邊緣設(shè)備,提供低延遲、高可靠、高可用、彈性AI計算等服務(wù),從而滿足客戶要求的在實時業(yè)務(wù)、應(yīng)用智能、數(shù)據(jù)就近處理分析、數(shù)據(jù)安全和隱私保護(hù)等方面的關(guān)鍵功能,且能夠靈活配置管理大規(guī)模邊緣計算應(yīng)用,為不同領(lǐng)域安防系統(tǒng)的架構(gòu)設(shè)計和實現(xiàn)提供技術(shù)參考。
從圖1 中可以看到,在邊緣設(shè)備和云端中間增加了邊緣計算物聯(lián)網(wǎng)設(shè)備,以此作為云端和邊緣端業(yè)務(wù)數(shù)據(jù)處理和控制消息的橋梁。通過邊緣計算節(jié)點實時采集邊緣終端攝像頭的視頻、語音、溫度、濕度等數(shù)據(jù),并調(diào)用算法服務(wù)實現(xiàn)實時的業(yè)務(wù)處理,對安全生產(chǎn)過程中存在的人員、車輛、環(huán)境因素等安全隱患進(jìn)行實時主動的監(jiān)測預(yù)警,并根據(jù)預(yù)警信息實時作出處理。
邊緣計算物聯(lián)網(wǎng)設(shè)備主要由硬件和軟件組成,硬件最小化設(shè)計基本配置如表1 所示。其中,一個物端設(shè)備設(shè)計可以通過有線或無線網(wǎng)絡(luò)接入控制和管理8 個邊緣設(shè)備,硬件設(shè)備設(shè)計用戶可根據(jù)具體應(yīng)用場景、預(yù)算成本個性化定制,在設(shè)計時需要充分考慮穩(wěn)定的路由功能、高可靠性、穩(wěn)定性、豐富的外設(shè)接口、全面的電氣保護(hù)功能、穩(wěn)定的內(nèi)核系統(tǒng)等多種因素影響。
表1 邊緣計算物聯(lián)網(wǎng)硬件設(shè)備基本配置
在邊緣計算物端硬件設(shè)備上部署消息服務(wù)高可用的集群(可考慮采用Kafka 集群),將消息服務(wù)作為物端設(shè)備和云服務(wù)之間的網(wǎng)關(guān),實現(xiàn)設(shè)備監(jiān)測、消息服務(wù)及對應(yīng)業(yè)務(wù)處理,確保即使某單個節(jié)點發(fā)生故障,也能實現(xiàn)系統(tǒng)的高可用性和零停機(jī)時間,同時能達(dá)到節(jié)點與云服務(wù)器之間通信的高吞吐率。
通過部署分布式消息集群,開發(fā)邊緣計算軟件平臺,實現(xiàn)與云服務(wù)端的實時消息通信。通過消息訂閱實時響應(yīng)云服務(wù)端的設(shè)備清單配置、物端設(shè)備狀態(tài)上報、邊緣端設(shè)備和SDK 管理、邊緣端設(shè)備控制、AI 算法調(diào)用和預(yù)警結(jié)果上報、算法服務(wù)升級、預(yù)警視頻流上傳、物端運(yùn)行日志獲取等功能,其中邊緣計算終端軟件平臺詳細(xì)功能設(shè)計如圖2 所示。
圖2 邊緣計算終端軟件平臺詳細(xì)功能設(shè)計
邊緣計算終端在網(wǎng)絡(luò)邊緣側(cè)的計算能力主要體現(xiàn)在針對安防系統(tǒng)不同預(yù)警畫面識別的能力,用戶可以根據(jù)不同業(yè)務(wù)場景,設(shè)計多樣化的視頻流檢測AI 算法(如人臉識別算法,煙火算法,大規(guī)模人員聚集、越界檢測算法,車輛管理識別算法,工作服識別算法,安全帽識別算法,電子圍欄算法等)。通過目標(biāo)檢測算法對視頻流中的預(yù)警畫面進(jìn)行動態(tài)識別,實時發(fā)送預(yù)警消息到云端,并將預(yù)警證據(jù)視頻發(fā)送到流媒體服務(wù)器進(jìn)行全量保存,以便云端可以靈活查詢指定時間段的預(yù)警畫面。
預(yù)警信息以短信、警報等方式傳送給安全員,同時通過后續(xù)加裝處置設(shè)備,可以實現(xiàn)自動關(guān)聯(lián)觸發(fā)安全裝置(如消防滅火、粉塵處理、車輛攔截等)。通過算法服務(wù)模塊可以高效完成算法升級服務(wù),如算法升級正常處理流程、算法升級失敗回滾流程等,以上功能對正常業(yè)務(wù)完全透明。
云端監(jiān)控管理平臺作為用戶管理整個系統(tǒng)的駕駛艙,主要模塊及具體功能如圖3 所示。管理平臺可以從不同維度提供預(yù)警大數(shù)據(jù)分析,為安防措施、改進(jìn)和優(yōu)化提供指導(dǎo)作用。
圖3 云端監(jiān)控管理平臺各模塊功能
云端監(jiān)控管理平臺設(shè)計以MySQL 為后臺數(shù)據(jù)庫,以WEB 設(shè)計網(wǎng)頁為前臺,采用三層網(wǎng)絡(luò)結(jié)構(gòu)。網(wǎng)站用戶接口(即界面)由WEB 完成,數(shù)據(jù)和邏輯處理由JavaBean 組件完成,數(shù)據(jù)存儲由MySQL 完成。
邊緣計算終端作為云端和邊緣端業(yè)務(wù)數(shù)據(jù)處理和消息控制的橋梁,起著至關(guān)重要的作用。該文提出的基于邊緣計算的通用智能安防系統(tǒng)架構(gòu)將詳細(xì)介紹邊緣計算終端軟件平臺的模塊具體實現(xiàn)流程。
為了提高邊緣計算終端并發(fā)處理來自云端控制消息的處理能力,此處將邊緣計算終端上部署的進(jìn)程設(shè)計為多線程模式,由主線程模塊初始化創(chuàng)建多個子線程,每個子線程為一個獨立的調(diào)度任務(wù),每個調(diào)度任務(wù)中創(chuàng)建多個消息隊列,用于多個任務(wù)并行處理云端和邊緣設(shè)備的控制消息。平臺軟件包含6個線程:消息服務(wù)線程(接收消息和發(fā)送消息)、設(shè)備服務(wù)線程(循環(huán)定時上報物端設(shè)備狀態(tài)信息)、心跳檢測線程、日志服務(wù)線程、算法服務(wù)線程、流媒體服務(wù)線程。
邊緣計算終端軟件系統(tǒng)具體實現(xiàn)主要分為控制接口和數(shù)據(jù)接口。其中,控制接口主要通過TCP 協(xié)議與云端服務(wù)器約定消息體結(jié)構(gòu),只需要根據(jù)約定的結(jié)構(gòu)封裝和解析消息體內(nèi)容,獲取到消息體中對應(yīng)屬性即可。數(shù)據(jù)接口主要由邊緣計算終端根據(jù)服務(wù)器下發(fā)控制接口中不同的控制命令,通過Restful接口主動向服務(wù)器發(fā)送HTTP 消息,主動獲取不同對象的配置數(shù)據(jù),以及向服務(wù)器發(fā)送預(yù)警信息、日志等。以下重點介紹設(shè)備服務(wù)模塊和算法服務(wù)模塊的主要功能,以及該系統(tǒng)應(yīng)用于人員聚集場景下的口罩識別檢測的測試實驗結(jié)果。
設(shè)備服務(wù)模塊主要處理流程如下:
1)邊緣設(shè)備管理
邊緣計算終端調(diào)用邊緣設(shè)備的SDK 連接邊緣設(shè)備,并通過邊緣設(shè)備狀態(tài)更新請求消息將邊緣設(shè)備的連接狀態(tài)發(fā)送到服務(wù)器端。
2)邊緣設(shè)備控制
邊緣計算終端接收來自服務(wù)端的邊緣設(shè)備控制命令請求消息;邊緣計算終端通過控制命令的類型調(diào)用不同的控制接口,以此來控制邊緣終端進(jìn)行拉伸、縮放以及角度旋轉(zhuǎn)等;邊緣計算終端完成邊緣終端的控制操作后向服務(wù)端傳回響應(yīng)消息。
3)預(yù)警消息的上報和存儲
邊緣計算終端定時調(diào)用算法得到實時預(yù)警畫面,通過預(yù)警請求消息發(fā)送到消息服務(wù)器,以此來完成預(yù)警視頻畫面的截取、保存、上傳等操作。
算法服務(wù)模塊主要處理流程包括算法服務(wù)下載、算法服務(wù)加載運(yùn)行、核心算法服務(wù)的調(diào)用,根據(jù)不同算法服務(wù)要求的入?yún)⒄{(diào)用算法服務(wù),得到算法服務(wù)的處理結(jié)果,根據(jù)結(jié)果進(jìn)行預(yù)警業(yè)務(wù)。另外,該模塊還包括算法升級功能,當(dāng)進(jìn)行算法升級時啟用備用模塊進(jìn)行處理,升級完成后再切換回原模塊繼續(xù)處理。
如圖4 所示,將該系統(tǒng)硬件設(shè)備部署在學(xué)校報告廳內(nèi),通過攝像頭實時采集報告廳內(nèi)的視頻流,并通過口罩檢測AI 算法進(jìn)行目標(biāo)檢測,對比攝像頭已連接邊緣檢測終端(即通過邊緣檢測終端設(shè)備調(diào)用目前檢測算法)和未連接邊緣檢測終端(即直接連接服務(wù)器PC 設(shè)備的集中式方法)兩種架構(gòu),得到實驗數(shù)據(jù)結(jié)果,如表2 所示。
圖4 口罩目標(biāo)檢測實驗
表2 邊緣計算和集中式計算實驗數(shù)據(jù)對比
綜合以上實驗數(shù)據(jù)可以得出,通用邊緣計算架構(gòu)在實際業(yè)務(wù)場景中比傳統(tǒng)集中式計算架構(gòu)處理性能高,可節(jié)省服務(wù)器的存儲容量、減少服務(wù)器的硬件成本等,具有更好的商業(yè)推廣價值。
當(dāng)今社會隨著對安防系統(tǒng)功能以及規(guī)模要求的提高,邊緣設(shè)備數(shù)量不斷增加,現(xiàn)已進(jìn)入邊緣大數(shù)據(jù)時代。傳統(tǒng)的邊緣端+云計算架構(gòu)無法在規(guī)模、功能和實時性上滿足安防系統(tǒng)的需求,同時傳統(tǒng)安防系統(tǒng)無法有效解決異構(gòu)多源的數(shù)據(jù)融合、云中心存儲和計算負(fù)載較重、傳輸帶寬較低以及數(shù)據(jù)隱私等問題[9]。
該文設(shè)計了一種基于邊緣計算的通用智能安防系統(tǒng),可將其廣泛應(yīng)用于物聯(lián)網(wǎng)安防系統(tǒng)中,不但為企業(yè)節(jié)約了人力和硬件設(shè)備成本,還具有實時監(jiān)控、提前預(yù)警、保障安全的功能。該系統(tǒng)通過對檢測數(shù)據(jù)進(jìn)行整合,實現(xiàn)了監(jiān)控區(qū)域的安全預(yù)警和趨勢分析,并進(jìn)行實時可視化展示,便于對檢測區(qū)域全盤掌握,從而實現(xiàn)相關(guān)智能應(yīng)用服務(wù),起到安全預(yù)警、應(yīng)急指揮和控制作用,其帶來的智能化系統(tǒng)、高效管理、便捷檢測也將產(chǎn)生重大的經(jīng)濟(jì)效益。