邊緣計算在智慧城市社區(qū)級感知層的應(yīng)用

楊潔亮 彭召旺 郭奕豐

（上海儀電數(shù)字技術(shù)股份有限公司 上海市 200233）

社會發(fā)展進入智能化、網(wǎng)聯(lián)化、數(shù)據(jù)化、信息化時代?！盎ヂ?lián)網(wǎng)+”、人工智能（Artificial Intelligence，AI）、“智能+”分別于2015年、2017年、2019年首次被寫入政府工作報告。2018年開始上海連年舉辦世界人工智能大會(World Artificial Intelligence Conference，WAIC），在大的發(fā)展環(huán)境下，各行各業(yè)都在轉(zhuǎn)型升級、賦能；AI作為當前最活躍的科技創(chuàng)新領(lǐng)域，已逐漸滲透進社會的各個領(lǐng)域。

新世紀以來，國家實施《科技創(chuàng)安》工程，使企業(yè)和住宅小區(qū)《安全與安寧》是其中最重要的一項內(nèi)容[1]。在“安防+AI”發(fā)展大趨勢下，AI等前沿技術(shù)與產(chǎn)業(yè)應(yīng)用不斷融合、加深，安防產(chǎn)業(yè)進入智能化廣泛應(yīng)用的新階段[2]。借助智能化安防技術(shù)、以科技構(gòu)建智能化安全防范設(shè)施，變“人防”為“技防”，通過安防管理平臺加強社區(qū)級安防管理水平，全天候、全方位解決最后一公里問題，對住宅小區(qū)、園區(qū)、企業(yè)、學校、醫(yī)院等社會基層單元進行有效安全防范管理，具有重要現(xiàn)實意義[3]。

1 產(chǎn)品整體開發(fā)思路及架構(gòu)

1.1 開發(fā)思路

產(chǎn)品定位是服務(wù)于智慧城市社區(qū)級安防管理，目標是配合社區(qū)級出入口、重點區(qū)域安裝的網(wǎng)絡(luò)攝像頭（Internet Protocol Camera，IPC）、網(wǎng)絡(luò)視頻錄像機（Network Video Recorder，NVR），實現(xiàn)出入口監(jiān)控及控制，對預設(shè)人群進行跟蹤監(jiān)測及安防預警[4,5]。產(chǎn)品化設(shè)計有別于純粹的技術(shù)開發(fā)，須以節(jié)約資源、控制成本、經(jīng)濟實用、性能滿足使用需求為根本。本方案優(yōu)先利用社區(qū)范圍內(nèi)已部署的攝像頭，選擇高性能AI芯片設(shè)計邊緣計算終端[6]，并采用深度學習算法實現(xiàn)無感目標識別，通過對來自網(wǎng)絡(luò)攝像頭的視頻圖像進行結(jié)構(gòu)化分析和預處理，與后臺管理平臺進行交互，最終將社區(qū)級結(jié)構(gòu)化事件傳遞給更高一級智慧城市數(shù)據(jù)云端平臺，提高社區(qū)級的安防管理的便捷性和有效性。

1.2 產(chǎn)品整體架構(gòu)

如圖1所示，整體架構(gòu)包括系統(tǒng)硬件、系統(tǒng)軟件、應(yīng)用軟件，所構(gòu)建邊緣計算終端（AI網(wǎng)關(guān)）與管理平臺相結(jié)合，采用終端采集、終端識別，管理平臺可視化管理的運行模式。

圖1：產(chǎn)品整體架構(gòu)

2 系統(tǒng)設(shè)計

社區(qū)級AI安防系統(tǒng)遵循“感知-計算-控制-統(tǒng)計”的管理邏輯，基于目標識別，從視頻/圖像捕獲、目標識別監(jiān)測、到后方平臺管理，形成一個完整的閉環(huán)系統(tǒng)。

2.1 “端”的選擇

2.1.1 優(yōu)先選用已部署的IPC

社區(qū)級安防終端產(chǎn)品的核心是目標識別，監(jiān)測目標需借助攝像頭，在智慧城市的建設(shè)過程中，已安裝部署大量IPC，應(yīng)優(yōu)先選用已部署的IPC。但這些IPC通常并不具備AI算力，無法對所拍攝視頻進行結(jié)構(gòu)化分析；雖然攝像頭廠商有具備AI能力的智能攝像頭，但直接替換海量的存量相機，經(jīng)濟上不太現(xiàn)實，可通過部署AI計算設(shè)備對視頻圖像進行分析，實現(xiàn)對普通IPC的AI賦能。這樣，一方面能夠充分利用已有資源，降低部署成本，另一方面也符合“安防+AI”的智能化需求。根據(jù)情況，也可以增設(shè)IPC或者NVR。

2.1.2 選擇邊緣部署

在AI科技領(lǐng)域，深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks,DNN）在圖像識別分析、自然語言處理（Natural Language Processing, NLP）等方向得到了創(chuàng)新型應(yīng)用[7]。由于參數(shù)多，深度學習模型的訓練與推理對運算能力要求較高，所以，業(yè)界普遍歡迎具備良好并行運算能力的圖形處理器（Graphics Processing Unit，GPU）芯片以及專用的AI芯片；但大算力、高功耗（200W以上）、高價格的高端GPU產(chǎn)品更適合于算力集中式部署，且集中式部署對于視頻圖像分析而言存在較高的傳輸成本。與集中式部署相對的邊緣部署，因靠近攝像頭視頻圖像源，可大幅度降低傳輸成本，進而降低系統(tǒng)的整體成本，所以，選擇邊緣計算部署。

2.1.3 選擇適配型嵌入式終端

通常的目標識別算法，特別是深度神經(jīng)網(wǎng)絡(luò)框架，都是面向板卡GPU、部署在專用機架服務(wù)器上，其特點是并行計算能力快，適合十萬甚至百萬級大型目標庫的訓練、識別，但不足之處是價格昂貴、能耗高、體積大。對于小區(qū)級（人臉目標庫容量通常在數(shù)千人到幾萬），這類方案性價比太低，不實用。比較理想的實現(xiàn)關(guān)鍵技術(shù)的方案是將成熟的人臉識別算法或框架向嵌入式終端適配移植、測試優(yōu)化，如使用GPU廠商專有API移植，或按標準接口OpenCL移植。

2.2 AI邊緣計算終端設(shè)計

作為一家廣電終端產(chǎn)品制造商，與市面主流芯片廠商建立有廣泛、深入的合作關(guān)系，在邊緣計算方面有著多種技術(shù)嘗試和積累。所設(shè)計的邊緣計算終端（AI網(wǎng)關(guān)）見圖2所示，產(chǎn)品基于ARM架構(gòu)無風扇AIoT終端設(shè)備，搭載人工智能嵌入式平臺，搭載四核ARM處理器，支持4K@60fps，8路1080p@30fps，內(nèi)置WiFi、4G模塊及豐富的連接接口，運行Android 8.0及Linux BSP軟件包，支持同時解碼4路H.264視頻流。所用多核處理器支持互聯(lián)計算以及用于計算機視覺、人工智能和沉浸式多媒體的強大而節(jié)能的處理，適合下一代物聯(lián)網(wǎng)應(yīng)用，如虛擬現(xiàn)實、智能零售、工業(yè)物聯(lián)網(wǎng)、機器人等，功耗低（<6w）、體積小，非常適合小型尺寸和各種創(chuàng)新的智能IoT應(yīng)用。

圖2：AI邊緣計算終端

該終端發(fā)揮人臉抓拍分析機的功能，集成安防監(jiān)測的控制模塊，實際應(yīng)用時，根據(jù)具體用處，可有不同的展現(xiàn)形式，比如門禁控制終端、出入口人員往來檢測終端等。

2.3 終端功能的軟件邏輯

AI邊緣計算終端發(fā)揮人臉識別終端作用，重點軟件邏輯描述如下。

2.3.1 人體距離探測及環(huán)境亮度感測

人臉識別終端產(chǎn)品的核心是人臉識別[8]，為保證其必要、有效及節(jié)能地工作，采用人體距離檢測技術(shù)、環(huán)境光線感測技術(shù)，如圖3所示為其工作裝置。

圖3：人體距離探測及環(huán)境亮度感測裝置

人體距離探測包括電源裝置、紅外線距離傳感器、距離感應(yīng)控制器、IPC或者NVR。紅外線距離傳感器檢測是否有人接近，距離感應(yīng)控制器內(nèi)置感應(yīng)芯片處理器，當距離感應(yīng)控制器判斷有人體接近時，開啟IPC或者NVR，進而系統(tǒng)從IPC或者NVR獲得人臉靜、動態(tài)圖像。紅外探頭具有開關(guān)裝置，距離感應(yīng)芯片被配置為能夠向開關(guān)裝置發(fā)送開關(guān)信號，以控制對應(yīng)紅外探頭的開啟和關(guān)閉。距離感應(yīng)控制器檢測到有人靠近才開啟攝像頭，有利于延長攝像頭壽命，特別是低成本的消費級攝像頭。

環(huán)境亮度感測包括電源裝置、環(huán)境亮度傳感器、光線感應(yīng)控制器、光線補償照明燈。環(huán)境亮度傳感器若檢測到亮度不夠，光線感應(yīng)控制器判斷會影響到IPC或者NVR的視頻圖像效果時，光線感應(yīng)控制器打開光線補償照明燈，對環(huán)境光線進行增益。IPC或者NVR若采用紅外線原理，此時，可免用環(huán)境亮度感測。

電源裝置給系統(tǒng)供電，向每個紅外線距離傳感器提供0.5～2A的額定工作電流，紅外線距離傳感器的個數(shù)根據(jù)需要彼此獨立設(shè)定；項目采用 GPIO擴展電路控制執(zhí)行機構(gòu)的開關(guān)信號；感應(yīng)的人體距離閾值、環(huán)境亮度閾值通過標定進行合理選擇，也可以采用分級閾值，不同閾值匹配不同的執(zhí)行控制策略。

2.3.2 終端軟件開發(fā)

終端軟件開發(fā)包含嵌入式集成開發(fā)以及與管理平臺間交互部分的軟件設(shè)計。終端本地設(shè)置有數(shù)據(jù)庫，滿足所負責區(qū)域的人臉結(jié)構(gòu)化數(shù)據(jù)存儲、所識別人臉數(shù)據(jù)計算和比對、訪問交互所產(chǎn)生數(shù)據(jù)的緩沖和存儲、軟件升級等的空間需求。終端的日常運行包括系統(tǒng)維護、固件升級、狀態(tài)監(jiān)測等終端管理功能，這些功能是實現(xiàn)可商用、可運維的必須基礎(chǔ)功能。

終端人臉識別處理器基于嵌入式SoC芯片而開發(fā)，在芯片合作廠商支持下，以SoC芯片SDK（軟件開發(fā)工具Software Development Kit）包為基礎(chǔ)完成了嵌入式神經(jīng)網(wǎng)絡(luò)算法（NNS）、框架的適配移植，利用嵌入式內(nèi)置的并行計算硬件單元（DSP、GPU、NPU）執(zhí)行神經(jīng)網(wǎng)絡(luò)的測試訓練與推斷運算。終端軟件架構(gòu)如圖4所示。

圖4：終端軟件架構(gòu)

終端（網(wǎng)關(guān)）一方面直接訪問IPC，另一方面與管理平臺間直接對接、交互，交互部分的開發(fā)語言為：C/C++，Java，Python，Linux shell script。設(shè)備終端與管理平臺間主要開發(fā)的功能清單如圖5所示。

圖5：終端與管理平臺間交互功能清單

2.3.3 陌生人識別與處理

對于人臉識別系統(tǒng)而言，若檢測到的人臉未注冊、登記，則無法識別出、匹配到所對應(yīng)的已注冊已登記人臉及身份信息，則視為陌生人。通常，陌生人在數(shù)據(jù)庫內(nèi)缺少唯一標識信息，難以進行歷史軌跡查詢與回溯。為實現(xiàn)陌生人的查詢回溯，在檢測到陌生人臉時，自動生成陌生人人臉標識號、人臉特征值并注冊到陌生人數(shù)據(jù)庫。每次檢測到新的人臉時，都會使用陌生人臉庫進行識別，判斷是否已經(jīng)在陌生人數(shù)據(jù)庫中注冊。若是，則寫入歷史記錄；若否，則按新的陌生人臉注冊到陌生人數(shù)據(jù)庫?？紤]到陌生人的數(shù)量多，為確保系統(tǒng)性能，定期清理超過一定時限（如4周）的陌生人數(shù)據(jù)。

2.4 管理平臺構(gòu)建（近端服務(wù)器）

安防監(jiān)控管理平臺是應(yīng)用端軟件平臺，作為服務(wù)端，其在AI智能化應(yīng)用中擔當技術(shù)管理指揮官角色，是管理終端識別設(shè)備并展示數(shù)據(jù)的綜合管理后臺。搭建語言為Go Lang、HTML5+JavaScript(Vue、jQuery等框架)、MariaDB SQL數(shù)據(jù)庫、Redis緩存數(shù)據(jù)庫。主要有圖6所示功能模塊：登錄認證模塊、小區(qū)模塊、住戶模塊、設(shè)備人臉庫查詢、報表中心、系統(tǒng)設(shè)置、硬件對接服務(wù)等。

圖6：管理平臺主要功能清單

該管理平臺內(nèi)主要包含如下功能：

（1）系統(tǒng)管理：用戶/角色權(quán)限分配及管理；

（2）人員管理：居民人員信息、人員照片、樓棟信息，網(wǎng)關(guān)和數(shù)字攝像頭的管理，包含添加、修改、刪除、查詢等基本功能；入庫居民的分類標簽設(shè)置；

（3）日常運行：入庫居民的運動軌跡查詢，針對歷史記錄進行一鍵回放；支持對于特殊標簽的短信推送；實時數(shù)據(jù)可視化展示；歷史數(shù)據(jù)的數(shù)據(jù)可視化分析，人臉識別結(jié)果查詢；支持報警信息的分類及查詢；

（4）設(shè)備管理：設(shè)備配置；設(shè)備運行狀態(tài)監(jiān)控；設(shè)備的版本更新及遠程維護。

2.5 產(chǎn)品網(wǎng)絡(luò)拓撲

將IPC/NVR、AI邊緣計算終端（AI網(wǎng)關(guān)）、安防監(jiān)控管理平臺、交換機、（近端/遠端）服務(wù)器接入同一個網(wǎng)絡(luò)環(huán)境，并進行網(wǎng)絡(luò)配置，即可完成一個社區(qū)級安防系統(tǒng)的網(wǎng)絡(luò)構(gòu)建，圖7所示即為網(wǎng)絡(luò)拓撲圖。

圖7：產(chǎn)品網(wǎng)絡(luò)拓撲圖

一個終端（AI網(wǎng)關(guān)）可接入4路攝像頭，布局時根據(jù)實際情況靈活部署；AI安防監(jiān)控管理平臺是一個后端管理平臺，與終端（AI網(wǎng)關(guān)）之間通過交換機進行交互，該平臺具有社區(qū)級數(shù)據(jù)處理功能；服務(wù)器是所謂的“云端”，可以是近端或者遠端服務(wù)器，近端布置在社區(qū)級、遠端例如是智慧城市數(shù)據(jù)平臺。管理平臺承擔日常運維管理功能，對終端（AI網(wǎng)關(guān)）進行運維管理，包括軟件升級、狀態(tài)監(jiān)測，也可對攝像頭進行設(shè)備管理、狀態(tài)監(jiān)測；終端（網(wǎng)關(guān)）能夠根據(jù)需求將數(shù)據(jù)上報給更上層的“云端”，以用于其進行大數(shù)據(jù)分析、規(guī)劃決策支持；進一步，社區(qū)級安防系統(tǒng)在終端的感知層與智慧城市運行平臺之間發(fā)揮承上啟下作用，將感知層上報的視頻結(jié)構(gòu)化數(shù)據(jù)根據(jù)業(yè)務(wù)策略加工、過濾后轉(zhuǎn)發(fā)給智慧城市高一級數(shù)據(jù)運行平臺。

3 應(yīng)用情況

截至目前，項目在某社區(qū)部署完成并開展了為期四個月的試運行。試運行期間，設(shè)備運轉(zhuǎn)正常。4臺AI網(wǎng)關(guān)共接入16個前端攝像頭，累計抓取1925220條數(shù)據(jù)，每個網(wǎng)關(guān)抓取數(shù)據(jù)條數(shù)如表1所示，整套系統(tǒng)運行狀態(tài)良好穩(wěn)定。

表1：人臉網(wǎng)關(guān)抓取數(shù)據(jù)條數(shù)

同時，對單日連續(xù)24小時的實測數(shù)據(jù)進行了匯總，從識別總數(shù)、重復識別數(shù)、錯誤識別數(shù)、有效識別數(shù)、錯誤率、識別準確率維度，與其他產(chǎn)品的實測數(shù)據(jù)進行對比，如表2所示，本產(chǎn)品識別準確率達99.38%，效果顯著，性能優(yōu)異。

表2：與某平臺的實測數(shù)據(jù)對比

試運行后，又在某社區(qū)進行了實際部署，作為無感電子圍欄，用于記錄、報告特定高齡老人行動軌跡。圖8為安防系統(tǒng)的部分運行圖，8a為管理平臺的實時數(shù)據(jù)展示界面，8b為人臉比對數(shù)據(jù)界面。

圖8：社區(qū)級安防系統(tǒng)運行圖

4 結(jié)束語

通過采用攝像頭、人臉識別、邊緣計算終端、管理平臺、聯(lián)網(wǎng)技術(shù)共同打造社區(qū)級感知體系，實現(xiàn)立體防控、協(xié)同處置與智能決策，賦能安防管理，具有低成本、低功耗、高性能的特點。

（1）率先服務(wù)于老舊小區(qū)，通過技術(shù)改造對原有數(shù)字攝像頭進行AI賦能，大大降低成本支出；

（2）人臉識別的結(jié)構(gòu)化數(shù)據(jù)可持久存儲于服務(wù)器，一鍵即可調(diào)取視頻回放、查看人臉比對情況，不必投入大量人力查看取證，降低人員成本；

（3）可開展數(shù)據(jù)分析，展示居民管理、樓棟管理、設(shè)備管理的數(shù)據(jù)分析結(jié)果，便于制定并提供安全策略服務(wù)，提升社區(qū)整體服務(wù)質(zhì)量；

（4）能夠根據(jù)用戶需求設(shè)計個性化細分方案，挖掘更多場景，解決安全防范問題，提升客戶管理化應(yīng)用價值；

（5）對可疑人員、或者兒童、老人等關(guān)懷人群，可提供定向監(jiān)控服務(wù)，通過信息化技術(shù)手段第一時間將數(shù)據(jù)同步給管理人員或者監(jiān)護對象家屬，有助于事件即時響應(yīng)；

（6）未來延伸擴展，支持并滿足上層智慧城市遠程監(jiān)視管理需求。數(shù)據(jù)上報更上層的智慧城市數(shù)據(jù)平臺，助其進行大數(shù)據(jù)分析、規(guī)劃決策；或者相關(guān)數(shù)據(jù)與公安數(shù)據(jù)庫對接，為城市智能化安防提供新管道。