AI視頻分析技術在南京祿口國際機場中的應用

孫英志 姚林

（東部機場集團 江蘇省南京市 211113）

1 南京祿口國際機場四型機場建設訴求

1.1 安全管理層面

當人流密集密度過大或時間過長，很容易產生旅客騷動等情況；旅客密度過大時，面對突發(fā)事件，如失火、航站樓玻璃脫落，也很容易產生旅客擁堵踩踏、疏散不利等情況，因此南京祿口國際機場迫切需要基于視頻分析手段，對旅客密集區(qū)域進行監(jiān)控，分析、預警，實現四型機場的安全管理。

1.2 人文服務層面

在旅客值機安檢過程中，時常有值機柜臺、安檢口資源不足的情況，導致旅客排隊等候等情況出現，在旅客通關過程中，也時常發(fā)生旅客找不到值機柜臺、不熟悉通關流程以及丟失物品等情況發(fā)生，為更好的提供旅客駐樓服務，迫切需要可信、可靠手段對值機島、安檢口等旅客排隊等候情況進行分析，對旅客徘徊等待行為進行分析，并在監(jiān)控頁面進行實時報警提示。

1.3 智慧運行層面

南京祿口國際機場的值機、安檢等駐樓服務與旅客密度和人流分布緊緊相關，通過視頻采集手段，可實時感知旅客人流密度與分布情況，從而針對性進行安檢、值機、送餐、指引等服務資源傾斜與調配，實現機場的智慧運行和資源優(yōu)化配置。

1.4 綠色機場層面

南京祿口國際機場航站樓運行需要大量的水電設備設施提供基礎保障，若此類資源一直保持運行，很容易導致資源浪費；因此，需要借助視頻分析手段，感知航站樓內旅客分布情況，對于無旅客分布區(qū)域的能耗設備進行暫停使用，如電梯、樓內燈光等，實現綠色機場建設。

2 視頻分析技術能力

視頻分析技術簡單來說就是利用視頻前端設備采集的信息，通過智能算法，不斷的運算分析，從而提取視頻中關鍵信息的一種技術，通用技術通過對目標的大量樣本標繪，通過光流法和高斯分布法，實現目標前景和背景的分離，進一步進行視頻分析；常用的場景分為三種，第一種，目標識別，例如通過視頻設備，采集航班保障過程中的人員信息，通過對保障人員著裝信息提取，對保障人員是否穿著反光背心進行判斷；第二種，目標跟蹤，是對目標識別的進化，例如已經識別了航站樓中某位旅客，在一個旅客持續(xù)運動的、多個旅客混合行動的畫面中對已識別的旅客運行軌跡進行持續(xù)的跟蹤；第三種，行為識別，例如通過視頻設備采集，去分析目前航班保障進程，根據投入資源情況和實際需求情況，視頻分析算法分為前端視頻分析和后臺視頻分析，即將視頻分析算法封裝在視頻采集模塊中分析，將分析結果傳輸到后臺或視頻采集模塊只負責采集視頻樣本信息，通過后臺算法對視頻進行分析；前一種做法的好處是總體投資低，對網絡條件和后臺服務器資源配備壓力需求較小，缺點是如果需求進行變更，整體需要對視頻采集設備進行替換；后一種做法的缺點是整體視頻工作由后臺完成，視頻設備只負責采集視頻樣本，整體對網絡帶寬和服務器資源配備壓力較大，有點是一旦有需求場景變更，只需要對后臺算法進行補充和優(yōu)化，無需整體替換視頻設備。

圖像識別技術往往針對單一圖片，對目標進行識別、分析，區(qū)別于圖像識別技術，視頻識別技術具有時序性，即某一幀率的視頻與近鄰一段時間范圍內的幀率具有較強的邏輯關系，依據于這種時序特性，我們可以將視頻識別范圍分為關鍵幀和非關鍵幀，有效的去降低算力的壓力、增加算法的準確性和提高算據的樣本范圍，從而提高視頻分析技術的可靠性和可實施性，以較小的資源投入，獲取較大分析結果輸出。

3 傳統(tǒng)安防平臺所存在的痛點難點

南京祿口國際機場已建設的安防平臺存在以下幾點痛點和難點：

（1）隨著建設階段不同，視頻設備可能采取不同的廠商進行供應，視頻設備種類多、數量大，在為機場提供不同區(qū)域監(jiān)控的同時，本身設備的運行維護也是較大的工作量；

（2）視頻設備本身存在的視角的盲點，有些活動是無法采集到的，即便是采集到的視頻內容，其中也存在著大量的潛在分析內容，光靠人腦是無法對視頻設備采集到的信息進行逐條、逐幀進行分析的，必須借助先進的技術手段去實現；

（3）即使機場建立了大量的視頻設備，可以對機場各個區(qū)域做到無死角監(jiān)控，但是在監(jiān)控的過程中，還是需要人力資源的投入，即人去盯著視頻監(jiān)控終端，對場景進行監(jiān)控，不但需要大量人力資源投入，由于人存在著疲勞、注意力不集中等行為的可能性，在轉瞬即逝的活動場景中，監(jiān)控的質量也難以保障。

為解決以上痛點難點，南京祿口國際機場充分利用現有視頻設備，在一些無法采集的點位進行補盲，并結合AI視頻分析技術目標識別、目標跟蹤以及行為識別的能力，結合高精度地圖服務，實時感知機場目前的航班動態(tài)、旅客動態(tài)、旅客行為等信息進行有效匯總，并對視頻采集的風險行為進行實時報警提醒，降低了人力資源的投入、對視頻信息有效的進行挖掘。

4 AI視頻分析技術在南京祿口國際機場的應用

4.1 智能分析平臺業(yè)務架構

如圖1所示，根據整體業(yè)務需求以及南京祿口國際機場現有視頻設備建設情況，智能安防分析平臺采用多層的應用架構體系，通過系統(tǒng)對接、視頻設備采集、采集數據建庫、數據挖掘與分析，實現整體四型機場建設目標。

圖1：智能分析平臺業(yè)務架構

4.1.1 數據匯聚層

數據匯聚層主要通過系統(tǒng)對接的方式和設備集成的方式，匯聚前端的感知數據，例如基礎的視頻流信息、安檢口人臉識別的信息、旅客個人信息、安檢數據信息以及航班數據信息，并通過GIS系統(tǒng)與視頻設備進行聯動。

4.1.2 數據處理層

對接的數據分為結構化的信息，例如旅客的基本信息和非結構化信息，例如視頻信息，并通過大數據技術將數據進行結構化，分為機場業(yè)務庫、員工庫、旅客庫、黑名單庫、事件資源庫和安全資源庫，通過與解析中心體系對接，將數據進行量化和指標化，供業(yè)務展示層進行展示使用。

4.1.3 業(yè)務數據展示層

業(yè)務數據展示層包括智能事件應用展示、安全態(tài)勢展示、業(yè)務展示和GIS應用服務。

（1）智能事件應用包括旅客行為軌跡、旅客畫像、排隊長度等。

（2）安全態(tài)勢是以目標行為分析為數據基礎實時進行預警報警。

（3）業(yè)務展示包括機場業(yè)務數據的展示，如航班進程等業(yè)務數據。

4.2 智能分析平臺邏輯架構構想

如圖2所示，智能分析平臺系統(tǒng)架構基于南京祿口國際機場現有基礎技術架構和資源條件進行設計，自下而上劃分成三層：PaaS層、基礎SaaS層、行業(yè)SaaS層、應用層，以及一個統(tǒng)一運維系統(tǒng)。

圖2：智能分析平臺邏輯架構構想

PaaS層提供基礎的功能服務。

基礎SaaS層為基礎功能匯聚和業(yè)務邏輯處理層，通過PaaS協議，從PaaS獲取數據（視頻/圖片/結構化數據）、控制設備等等，將PaaS的一系列簡單的功能進行業(yè)務組合，并結合業(yè)務場景提供更加專業(yè)能力，如用戶賬戶系統(tǒng)，權限控制，預案處理，消息推送，布控管理等更為專業(yè)的應用功能供應用層使用。

平臺SaaS依據南京祿口國際機場SaaS層進行建設，和基礎SaaS層的區(qū)別在于平臺系統(tǒng)可以基于SaaS層的服務進行組合，并加入機場業(yè)務系統(tǒng)，組合形成具體面向特定行業(yè)的整體數據分析平臺。

應用層主要包括有C/S客戶端、B/S客戶端、二次開發(fā)包有PSDK、OCX，作為平臺的入口，面向南京祿口國際機場桌面運行監(jiān)控的實際需求，完成人機交互。

4.3 智能分析平臺系統(tǒng)部署架構構想

如圖3所示，平臺部署架構如上，終端采集設備包括原有的攝像機、補充的人臉抓拍相機、180度全景相機、雙目客流統(tǒng)計相機，通過安防網統(tǒng)一將采集的視頻數據向后臺智能分析服務器進行傳輸，視頻原始信息在云存儲空間進行存儲，分析結果數據分主題分業(yè)務進入SODB（安全業(yè)務數據庫），并進行雙機熱備存儲，分析結果實時向客戶端進行展示，其中一些危險違規(guī)行為、旅客超時排隊、旅客流量過大等行為實時進行報警預警提示。

圖3：智能分析平臺系統(tǒng)部署架構

4.4 目標識別技術的應用

目標識別技術主要通過前端攝像頭設備采集的信息，后臺智能服務器進行分析，實現航站樓內的旅客人數感知、區(qū)域人數統(tǒng)計、人群密度檢測和人員排隊檢測場景，主要根據人流密度實現樓內值機資源調配和能耗設備開關、當人流密度過大時，進行派遣資源進行人流疏導，實現安全、人文、智慧、綠色機場建設目標。

4.4.1 客流感知

如圖4所示，由前端雙目客流統(tǒng)計攝像機實現客流量感知，通過吊頂式安裝，設備鏡頭與水平面呈90度，最大限度讀取旅客流量信息，點位主要設置在航站樓出入口大門、T1與T2通道口、往地鐵方向通道口。覆蓋整個航站樓的所有通道口，將航站樓各通道形成閉環(huán)，雙目攝像頭對旅客進出行為進行判斷，出口離開即為出港，進入即為進港，每個攝像頭負責2米范圍內旅客。

圖4：客流感知示意圖

如圖5所示， 人數統(tǒng)計基本原則是航站樓各出入口進的人數減去出的人數、再減去安檢人數，從而得到航站樓公共區(qū)的總人數。

圖5：人數統(tǒng)計

人數統(tǒng)計：通過對前端相機規(guī)則區(qū)域的繪制，區(qū)分進入和離開的方向，并實時顯示進入和離開人數的動態(tài)數量。

報表統(tǒng)計：通過開始時間、結束時間、人數統(tǒng)計方向或顯示人數方式，統(tǒng)計區(qū)域及出入口的客流統(tǒng)計報表。

4.4.2 區(qū)域人數統(tǒng)計

由后端智能分析服務器實現，支持通過標準協議接入第三方攝像機進行分析。

如圖6所示，前端攝像機輸出標準視頻流，把視頻流傳輸到智能分析服務器，也可以采用onvif協議提供視頻流接入到智能分析服務器。

圖6：后端智能分析服務器

區(qū)域人數統(tǒng)計通過圖像顏色紋理等信息去檢測行人目標，配合跟蹤、計數等算法，最終得到區(qū)域進出的總人數。

系統(tǒng)的主要流程是：將視頻信息傳入至視頻分析服務器中進行目標檢測。將得到的結果進行后處理模塊，篩選檢測結果，再進入跟蹤算法模塊對目標進行關聯。將得到的檢測跟蹤信息傳入至規(guī)則算法中，通過配置好的區(qū)域、過線和報警閾值對結果進行判斷，輸出人數統(tǒng)計值和告警信息。

（1）人數統(tǒng)計：通過對前端相機規(guī)則區(qū)域的繪制，區(qū)分進入和離開的方向，并實時統(tǒng)計區(qū)域內的人數。

圖7：系統(tǒng)的主要流程

（2）報表統(tǒng)計：通過開始時間、結束時間、人數統(tǒng)計方向或顯示人數方式，統(tǒng)計區(qū)域內客流統(tǒng)計報表，并可以以報表周期和報表進行呈現。

4.4.3 人群密度檢測

由后端智能分析服務器實現，支持通過標準協議接入第三方攝像機進行分析。

前端攝像機輸出標準視頻流，把視頻流傳輸到智能分析服務器，也可以采用onvif協議提供視頻流接入到智能分析服務器，點位主要設置在航站樓安檢待檢區(qū)和遠機位候機區(qū)域。算法和規(guī)則分離，算子分為底層感知計算服務和上層規(guī)則判斷服務。

通過對智能分析服務器繪制檢測區(qū)域，統(tǒng)計輸出通道視頻中的人數，人數在監(jiān)測區(qū)域的左上角實時刷新顯示，當區(qū)域人數超過閾值時進行預警。

檢測區(qū)域可以任意繪制，人群密度通過熱力圖的方式展示，通過密度設定的規(guī)則以不同顏色展現不同的人群密度。如圖8和圖9所示。

圖8：人群密度原圖

圖9：人群密度展示圖

4.4.4 人員排隊檢測

由后端智能分析服務器實現，支持通過標準協議接入第三方攝像機進行分析。

前端攝像機輸出標準視頻流，把視頻流傳輸到智能分析服務器，也可以采用onvif協議提供視頻流接入到智能分析服務器，點位主要設置在航站樓安檢待檢區(qū)和遠機位候機區(qū)域。算法和規(guī)則分離，算子分為底層感知計算服務和上層規(guī)則判斷服務。

在安檢待檢區(qū)，值機島，出租車候車區(qū)等進行排隊檢測功能設置，比如統(tǒng)計安檢通道排隊人數統(tǒng)計，當人數超過設定閥值是報警，通知管理方及時增加安檢通道。

通過對智能分析服務器繪制檢測區(qū)域，統(tǒng)計輸出通道視頻中的人數，人數在監(jiān)測區(qū)域的左上角實時刷新顯示，當區(qū)域人數超過閾值時進行預警。

檢測區(qū)域可以任意繪制，一個視頻通道可以設置多個檢測區(qū)域，對于蛇形排隊區(qū)域可以繪制多邊形區(qū)域進行區(qū)域人員統(tǒng)計，每個區(qū)域可以設置不同的閾值。

把排隊長度信息上傳到平臺，配置告警預案，超過告警長度聯動報警。

5 目標跟蹤技術的應用

目標跟蹤技術在南京祿口國際機場主要服務場景在于旅客行李丟失、黑白名單旅客通行跟蹤，對于安全和人文機場建設很有價值。

5.1 人臉識別

如圖10所示，在航站樓主要出入口、重要部位、隔離區(qū)重要通道口、電梯扶梯口等部位部署人臉識別采集設備，采集前端人臉抓拍設備抓拍到的人臉照片后推送給智能分析平臺，通過視頻分析設備對圖片進行機構化分析。

圖10：人臉識別示意圖

將人臉抓拍照片與抓拍旅客庫進行比對碰撞，如與庫中的某人達到一定相似度則判斷為同一個人，將該人員照片歸位同一個檔案ID；如沒有相似度較高的檔案，則判斷為一個新出現的人員，建立新的檔案ID。

（1）將同一人員在不同時間、地點的抓拍人臉記錄進行歸類聚類成一個人員檔案，檔案的詳情信息中包含該檔案人員的抓拍歷史圖像信息。

（2）上傳一張圖片搜索出最符合記錄的旅客的一人一檔信息，查詢結果包括：姓名、身份證號、抓拍地點、抓拍時間、出現次數、標簽。

（3）以時間段、身份證號、姓名、標簽等條件查詢出人員的一人一檔記錄，查詢結果包括：姓名、身份證號、抓拍地點、抓拍時間、出現次數、標簽。

從抓拍的路人庫進行篩選，根據路人出現的頻次生成黑名單庫；

前端人像卡口抓拍的圖像上傳到智能分析服務器跟黑名單庫進行動態(tài)比對；

發(fā)現結果進行提示分析、跟蹤預警。

5.2 以圖搜人

通過所有的前端人像卡口相機，實時抓拍經過圖像中的人臉，將人臉的大頭照傳輸到后端，智能分析服務器，進行人臉的特征結構化提取，建立旅客庫。

將安檢系統(tǒng)提供的人臉照片上次到應用平臺，通過智能服務器結構化后同旅客進行比對，檢索，按照相似率排列。

查找一定范圍內的歷史人臉軌跡；輸出最終的人臉出現位置，在GIS地圖上以軌跡的方式展示。

考慮到目前航站樓隔離區(qū)內部安裝位置等限制，有可能會導致旅客經過人臉卡口的概率較低，或者出現經過人臉卡口但未抓拍到人體正臉，導致實時比對效果差，以圖搜人檢索點位數量少，根據業(yè)主需求，通過深化設計增加人臉識別和人體特征共同檢索功能，提高旅客快速定位和對人臉軌跡的精確描述。

首先需進行人臉人體特征進行關聯——配置全結構化攝像機，即攝像機既支持人臉的結構化也支持人體的結構化，通過后端智能分析服務器進行關聯。

通過安檢獲取人臉大頭照檢索，通過旅客的人臉運動軌跡，（包括安檢系統(tǒng)的人體全身照片）。

通過人體關聯的人臉進行以圖搜人

通過安檢系統(tǒng)的人體全身照片，進行以圖搜圖檢索

操作人員對檢索結果通過人體特征結構化（褲子為藍色）進行二次檢索過濾，選取過濾后的人體特征進行二次檢索，并最終選擇合適的人臉+人體檢索結果共同作為旅客軌跡的點位，生成對應時間段的旅客軌跡。

6 目標行為分析技術的應用

目標行為分析技術在南京祿口國際機場主要應用場景在區(qū)域入侵檢測、旅客徘徊檢測和物品丟失等場景，當發(fā)現旅客禁區(qū)入侵、徘徊等待和物品丟失，進行報警提示，并指派相關人員進行處置，實現了安全、人文、智慧機場的建設目標。

6.1 區(qū)域入侵

由后端智能分析服務器實現，支持通過標準協議接入攝像機進行分析，用過描繪禁區(qū)范圍，視頻設備采集信息在后臺進行自動分析，并基于分析結果進行報警提醒，防止非法人員闖入。

6.2 徘徊檢測

由后端智能分析服務器實現，支持通過標準協議接入第三方攝像機進行分析，攝像機采用onvif協議提供視頻流接入到智能分析服務器。

通過徘徊檢測區(qū)域設置，布防徘徊檢測時間的設置、檢測目標過濾設置，實現徘徊檢測，并對徘徊行為進行實時報警，在GIS地圖上進行彈窗展示。

6.3 物品遺留遺失

由后端智能分析服務器實現，支持通過標準協議接入第三方攝像機進行分析。

攝像機采用onvif協議提供視頻流接入到智能分析服務器。

支持自定義繪制區(qū)域，當繪制區(qū)域經過識別有物品遺留或者遺留物品被別人拿走的情況，則后臺自動進行提醒，并將視頻進行保留，也可結合目標識別和目標跟蹤功能，對取走物品人員進行識別、跟蹤。

物品遺留/消失功能用于檢測監(jiān)控場景內的某些區(qū)域是否有人、車、物品等的遺留或消失現象發(fā)生

如果目標物體駐留或者消失的時間超過規(guī)定時間，則觸發(fā)聯動報警。

7 結語

基于AI視頻分析技術，可以將目前機場人力資源解放，并挖掘一些人腦無法分析的信息，后續(xù)通過在飛行區(qū)部署視頻點位，可精準實現航班保障進程節(jié)點信息，如上輪檔、加油等信息，也可對飛行區(qū)一些違規(guī)行為進行分析，如未穿著反光背心等行為；結合航站區(qū)，通過旅客密度的分析、位置分析，關聯旅客身份信息，進行旅客知識圖譜刻畫，一方面可以對廣告牌等進行精準定價、另一方面可針對不同旅客進行精準營銷，增加非航收入，因此，視頻分析技術在機場不僅僅可以解決運行管理、安全管理問題，在商業(yè)價值挖掘上，也擁有良好的發(fā)展前景和挖掘空間。