基于人工智能技術(shù)的郵輪智能防疫追蹤系統(tǒng)

樂玉強

（上海船用柴油機研究所，上海 201108）

0 引 言

2020年爆發(fā)的全球新冠肺炎疫情給全球郵輪經(jīng)濟的發(fā)展帶來了很大沖擊。郵輪因具有人員密集、醫(yī)療資源匱乏等特點而成為疫情重災(zāi)區(qū)。發(fā)生疫情的“鉆石公主號”郵輪在沒有任何防疫手段的情況下，相關(guān)管控一片混亂。目前豪華郵輪建造領(lǐng)域的關(guān)鍵技術(shù)仍由歐洲的幾大傳統(tǒng)造船廠掌握，其在船型設(shè)計、動力、環(huán)保和裝飾等方面不斷有新的發(fā)展創(chuàng)新出現(xiàn)，但其在郵輪信息化方面的建設(shè)相對滯后。尤其是在人工智能、大數(shù)據(jù)分析和物聯(lián)網(wǎng)等新技術(shù)的應(yīng)用方面，造船行業(yè)明顯滯后于其他行業(yè)。這主要是由于涉及隱私保護，制約人工智能技術(shù)對相關(guān)數(shù)據(jù)的采集，從而限制了該行業(yè)的發(fā)展。

國內(nèi)一般將傳染病劃分為甲、乙、丙等3類，其中甲類和乙類分別為強制管理類和嚴格管理類傳染病。甲類傳染病包含鼠疫、霍亂等；乙類傳染病包含新型冠狀病毒肺炎、非典型肺炎、禽流感、登革熱、炭疽、傷寒和瘧疾等，共26種。這些傳染病具有以下2個特點：

1）發(fā)病快、傳染快，均可通過空氣和人體呼吸道傳播，在人員密集、密閉場所多的郵輪上傳播速度更快；

2）發(fā)病前后通常伴有發(fā)熱現(xiàn)象和肺部感染導(dǎo)致的血氧飽和度下降的情況，一般可通過電子體溫監(jiān)測、血氧飽和度監(jiān)測等手段進行預(yù)判。

我國郵輪產(chǎn)業(yè)的發(fā)展必須緊跟時代，非常有必要在郵輪上設(shè)置基于人工智能技術(shù)的智能防疫追蹤系統(tǒng)，為智慧郵輪和安全郵輪建設(shè)提供基礎(chǔ)保障。

1 郵輪智能防疫追蹤系統(tǒng)的組成和功能

該防疫追蹤系統(tǒng)通過岸端和船端實時同步更新乘客和船員近14 d及實時的身體狀態(tài)，第一時間準確發(fā)現(xiàn)體溫和血氧飽和度等指標異常的人員，之后對其進行相應(yīng)的醫(yī)學檢測，確定所患傳染病類型，并采取相關(guān)治療及隔離措施。此外，通過該系統(tǒng)準確繪制發(fā)病人員的行動軌跡及與軌跡相關(guān)的密接者的信息，并進行2次、3次密接者追蹤運算和對相應(yīng)人員的實時定位等操作。

該系統(tǒng)主要由熱成像測溫設(shè)備、高清攝像機和智能解析服務(wù)器等視頻安防類設(shè)備組成，需接入智能手環(huán)系統(tǒng)，同時通過內(nèi)網(wǎng)數(shù)據(jù)接口與登船系統(tǒng)、醫(yī)療系統(tǒng)和酒店管理系統(tǒng)（Property Management System，PMS）無縫對接。系統(tǒng)架構(gòu)見圖1，主要用到熱成像技術(shù)、基于視頻的人臉識別技術(shù)、大數(shù)據(jù)分析技術(shù)、物聯(lián)網(wǎng)技術(shù)和郵輪衛(wèi)星通信技術(shù)等。系統(tǒng)通過船、岸數(shù)據(jù)接口實現(xiàn)實時同步全程數(shù)據(jù)追蹤與健康安全分析。

圖1 郵輪智能防疫追蹤系統(tǒng)架構(gòu)

1.1 系統(tǒng)操作流程

系統(tǒng)操作流程包括如下4項。郵輪在單個航程中可能會?？慷鄠€港口，每?？?個港口，都應(yīng)重新按該流程操作。

1）到港前健康數(shù)據(jù)采集與上傳：在線健康申報或在線Check-in等提交，上傳必要的數(shù)據(jù)和資料（包括體溫數(shù)據(jù)和健康碼）。

2）登船時健康狀態(tài)監(jiān)測與核實：在乘客排隊登船時對其進行無感體溫掃描，利用帶熱成像攝像頭的手持或自助數(shù)字哨兵設(shè)備進行體溫篩查和健康碼核驗。

3）航行期數(shù)據(jù)采集-追蹤-分析：在餐廳、劇院和會所等公共密閉場所的出入口設(shè)置具有測溫功能的人臉識別攝像機，對乘客進行無感體溫監(jiān)測，并進行歷史數(shù)據(jù)分析。同時，接入可監(jiān)測體溫、血氧飽和度等的智能手環(huán)監(jiān)測系統(tǒng)，將兒童、老人等特定乘客的健康數(shù)據(jù)接入數(shù)據(jù)庫中一并進行分析。

4）離船前健康狀態(tài)復(fù)檢：在離船出口區(qū)域設(shè)置無感測溫人臉識別攝像機，自動監(jiān)測離船人員的體溫情況，可在到岸離船和航行結(jié)束離船2個場景中進行。

1.2 系統(tǒng)實現(xiàn)的主要功能及指標

實現(xiàn)的功能主要分為系統(tǒng)類功能和軟件操作類2種，其中：系統(tǒng)類功能包括實時測溫、人臉識別、分析與追蹤等；軟件操作類功能包括操作人員通過軟件實時監(jiān)控和搜索，以及與相關(guān)郵輪辦公軟件和應(yīng)急管理軟件進行數(shù)據(jù)共享等。

該系統(tǒng)的主要指標涉及相關(guān)技術(shù)載體的硬件性能，如熱成像設(shè)備測溫精度、人臉識別準確率、后臺接入設(shè)備數(shù)量要求和追蹤次級等（見表1）。相應(yīng)的技術(shù)指標隨船型的變化進行調(diào)整，此處接入的設(shè)備數(shù)量主要針對的是13萬t Carnival Vista級船型。該系統(tǒng)的主要功能應(yīng)能覆蓋絕大部分乘客和船員，對于部分易感染的兒童和老年人，可通過增加監(jiān)測手環(huán)進一步精確地全天候監(jiān)測其體溫、血氧飽和度等指標。兒童因新陳代謝快，經(jīng)常出現(xiàn)內(nèi)熱等現(xiàn)象，其正常體溫往往高于成年人，通過佩戴手環(huán)精準確認體溫，降低防疫系統(tǒng)的誤報率。對于老年人等體質(zhì)較弱的人群，可佩戴智能手環(huán)，這樣有助于發(fā)現(xiàn)早期的肺部感染造成的血氧飽和度下降。呼吸困難是甲類和乙類傳染病感染人群發(fā)病前后的重要臨床表現(xiàn)之一。這與人體的血氧飽和度下降有關(guān)，主要是肺部感染所致。根據(jù)國內(nèi)相關(guān)臨床醫(yī)學評測，血氧監(jiān)測手環(huán)在阻塞性睡眠呼吸暫停低通氣綜合癥初篩方面具有較高的臨床價值［1］。由此可見，腕表式血氧儀在監(jiān)測人體血氧飽和度方面具有很大優(yōu)勢，對于郵輪防疫體系的構(gòu)建而言具有較高的實際利用價值。

表1 系統(tǒng)的主要功能及指標

1.3 系統(tǒng)軟件

后臺軟件系統(tǒng)需建立中央管理數(shù)據(jù)庫，支持連接不少于1 000個不同類型的熱敏設(shè)備和攝像機等終端，具備歷史數(shù)據(jù)跟蹤和密接者追蹤功能，并能覆蓋整個航程。所有數(shù)據(jù)通過本地服務(wù)器存儲，并定時通過衛(wèi)星通信系統(tǒng)上云備份。軟件具備與第三方系統(tǒng)（如登船系統(tǒng)、醫(yī)療系統(tǒng)、PMS和智能手環(huán)監(jiān)測系統(tǒng)等）進行數(shù)據(jù)連接的軟件包［2］。應(yīng)用軟件應(yīng)具有實時測溫監(jiān)控追蹤功能，通過各入口測溫系統(tǒng)與視頻監(jiān)控系統(tǒng)聯(lián)動，實時監(jiān)控乘客的健康狀況。若發(fā)現(xiàn)高溫乘客，可立即追蹤其密接者。另外，軟件中應(yīng)設(shè)置單獨模塊，用于記錄和分析采集到的每位乘客或船員的健康狀態(tài)信息，該模塊不僅能調(diào)取登船系統(tǒng)中的客戶數(shù)據(jù)，而且能向醫(yī)療系統(tǒng)輸送數(shù)據(jù)，全方位、多角度對乘客的健康保駕護航。

2 人臉識別視頻監(jiān)控系統(tǒng)軟硬件部署

人臉識別視頻監(jiān)控系統(tǒng)包含以下4個核心組成部分［3］。

1）視頻處理／人臉捕獲工作站：在視頻圖像中發(fā)現(xiàn)人臉，評估圖像的質(zhì)量并將其提交給人臉識別比對工作站。

2）人臉識別比對工作站：提取目標人物的人臉圖像特征，并將其與數(shù)據(jù)庫中的相關(guān)數(shù)據(jù)相對比。

3）黑名單數(shù)據(jù)庫：根據(jù)實際需求制訂黑白單照片采集模板，并將相關(guān)數(shù)據(jù)錄入數(shù)據(jù)庫中。

4）報警顯示工作站：根據(jù)數(shù)據(jù)對比結(jié)果進行報警顯示，或?qū)⑾嚓P(guān)對比結(jié)果傳輸給操作人員的終端設(shè)備。

軟硬件部署主要涵蓋前端攝像機和后臺部署。對于已運營的郵輪而言，可單獨部署前端熱成像攝像機，在后臺設(shè)置相應(yīng)的AI（Artificial Intelligence）算法和測溫服務(wù)器的軟硬件設(shè)備。對于在建的郵輪，可在視頻監(jiān)控系統(tǒng)中規(guī)劃前端熱成像人臉識別攝像機，并將智能防疫追蹤系統(tǒng)嵌入視頻綜合服務(wù)平臺，實現(xiàn)統(tǒng)一部署、統(tǒng)籌管理。

2.1 前端硬件部署

以Carnival Vista級郵輪（中國首制郵輪船型）作為參考，雖然該船型的安防視頻監(jiān)控點能達到1 000個，但只需在關(guān)鍵點位設(shè)置熱成像人臉識別攝像機。本文以商業(yè)甲板層和艙房標準層為例進行分析。熱成像人臉識別攝像機點位布置見圖2。

圖2 熱成像人臉識別攝像機點位布置

室內(nèi)主要出入口應(yīng)設(shè)置具有測溫和人臉識別功能的攝像機；其他場所應(yīng)設(shè)置人臉識別攝像機；大型室內(nèi)密閉場所（如劇院、會所等）應(yīng)增加具有測溫功能的攝像機。舷梯和成人娛樂場所出入口應(yīng)設(shè)置移動式測溫設(shè)備；室外場所應(yīng)設(shè)置星光級或黑光級人臉識別攝像機。所有攝像機的像素要求不低于200萬。

2.2 視頻綜合服務(wù)平臺部署

2.2.1 整體部署

1）平臺硬件：在后臺控制室內(nèi)安裝監(jiān)控管理平臺服務(wù)器、AI算法及測溫服務(wù)器、控制鍵盤、智能存儲主機和視頻編／解碼器，并配備監(jiān)控屏幕墻和4聯(lián)控制操作臺，存儲主機的容量需保證圖像保存時間不小于30 d。［4］

2）平臺軟件：部署的安防管理軟件平臺應(yīng)基于“統(tǒng)一軟件技術(shù)架構(gòu)”理念設(shè)計，采用業(yè)務(wù)組件化技術(shù)，滿足平臺對業(yè)務(wù)的彈性擴展需求。該平臺適用于全行業(yè)的通用綜合安防業(yè)務(wù)，對各系統(tǒng)資源進行整合和集中管理，實現(xiàn)統(tǒng)一部署、統(tǒng)一配置、統(tǒng)一管理和統(tǒng)一調(diào)度。

2.2.2 平臺功能

1）平臺子系統(tǒng)統(tǒng)一集成、統(tǒng)一監(jiān)控。平臺對各子系統(tǒng)進行統(tǒng)一管理和控制，實現(xiàn)用相同的環(huán)境、相同的軟件界面對分散的、相互獨立的子系統(tǒng)進行集中管理，為系統(tǒng)交付及維護人員提供一站式安裝、運行和維護服務(wù)。

2）基于組件設(shè)計，便于擴展。平臺基于組件化理念設(shè)計，以各類功能與應(yīng)用整合和集成為核心，實現(xiàn)由單純的圖像監(jiān)控向基于深度學習算法的人臉識別應(yīng)用的拓展和延伸。

3）應(yīng)用接口開放。平臺通過Web Service和http接口提供基礎(chǔ)服務(wù)，實現(xiàn)應(yīng)用接口開放，接口遵循RESTful規(guī)范。對于已運營的郵輪而言，安裝該系統(tǒng)需調(diào)用視頻監(jiān)控系統(tǒng)的視頻等數(shù)據(jù)，廠家應(yīng)提供SDK軟件開發(fā)包，SDK中需含有不同功能庫的動態(tài)鏈接庫（Dynamic Link library，DLL），DLL中封裝有廠家的功能函數(shù)。在系統(tǒng)開發(fā)過程中，為調(diào)用DLL中的函數(shù)，必須要有函數(shù)原型聲明的頭文件（.h文件）和庫文件（.lib文件）。因此，用戶必須將需使用的功能庫的DLL文件、頭文件和lib庫文件導(dǎo)入編程環(huán)境中［5］。

2.2.3 平臺架構(gòu)

1）邏輯架構(gòu)：可通過門戶、客戶端和移動客戶端訪問平臺，其中門戶為Web集成框架，集成各Web組件提供的菜單界面。

2）業(yè)務(wù)架構(gòu)：綜合安防管理平臺采用組件架構(gòu)，不同組件承擔不同的功能，從能力上分為共性業(yè)務(wù)組件、通用服務(wù)組件和基礎(chǔ)環(huán)境組件。

3）數(shù)據(jù)架構(gòu)：平臺中的數(shù)據(jù)包含結(jié)構(gòu)化的業(yè)務(wù)數(shù)據(jù)、資源數(shù)據(jù)、錄像數(shù)據(jù)、圖片數(shù)據(jù)及緩存。業(yè)務(wù)數(shù)據(jù)存儲在PostgreSQL中；資源數(shù)據(jù)存儲在目錄服務(wù)中；錄像數(shù)據(jù)存儲在智能存儲主機和云存儲中；圖片數(shù)據(jù)存儲在asw組件（存儲接入服務(wù)）中；部分高熱訪問數(shù)據(jù)存儲在redis緩存中。

4）部署架構(gòu)：部署架構(gòu)圖見圖3。平臺按組件維度進行拆分部署。拆分可將數(shù)據(jù)庫獨立部署到獨立的服務(wù)器中，可將tomcat容器中的組件拆分部署到獨立的服務(wù)器中，可將設(shè)備接入框架、媒體網(wǎng)關(guān)、視頻點播和級聯(lián)網(wǎng)關(guān)等組件獨立部署到其他服務(wù)器中，可將核心服務(wù)單獨部署。

圖3 視頻綜合服務(wù)平臺部署架構(gòu)圖

3 基于視頻的人臉識別和跟蹤算法的應(yīng)用

在進行圖像識別之前，應(yīng)先對人臉圖像進行預(yù)處理，在圖像識別和分析過程中對輸入的人臉圖像進行分割、特征抽取和匹配等。預(yù)處理方法主要有直方圖均衡化、灰度拉伸、中值濾波和同態(tài)濾波等。對圖像進行預(yù)處理能去除圖像中與人臉不相關(guān)的信息，準確定位人臉部分，使圖像細節(jié)更明顯，進一步提高人臉圖像特征提取、匹配和識別的可靠性［6］。人臉驗證模式主要有3種：

1）1∶1 驗證，計算機對當前人臉與人像數(shù)據(jù)庫進行快速比對，得出是否匹配；

2）1∶N驗證，在海量的人像數(shù)據(jù)庫中找出當前用戶的人臉數(shù)據(jù)并進行匹配；

3）M∶N驗證，通過計算機對場景內(nèi)的所有人進行面部識別，并將所得結(jié)果與人像數(shù)據(jù)庫相比對，是動態(tài)人臉比對。

1∶1驗證模式和1∶N模式屬于配合式驗證模式，適用于門禁考勤、海關(guān)通行等場景中。郵輪場景下的人流量較大，勢必需采用基于視頻的人臉識別算法和M∶N驗證模式作支撐。M∶N驗證模式屬于非配合驗證模式，通常在一段視頻中無法看到乘客的正面映像，因此必須利用少量側(cè)臉圖片，通過3D建模還原正臉圖片，并保證具有極高的還原度。模糊照片還原技術(shù)模型見圖4。模糊圖片還原之后，還原結(jié)果能在百萬級人臉的商業(yè)數(shù)據(jù)庫中將目標縮小到前50范圍內(nèi)，實現(xiàn)將多張人臉照片合成為高質(zhì)量照片和還原人臉功能。

圖4 模糊照片還原技術(shù)模型

算法的精準度取決于人臉識別算法模型，包括能識別的人臉特征點數(shù)量、年齡分布、人種、性別、圖片清晰度、角度、光線、面部遮擋、化妝情況和表情等。結(jié)果的可信度也取決于比對庫的大小，比對庫越大，誤識率就越高，越需更復(fù)雜精密的算法模型。同時，可結(jié)合體溫檢測進行關(guān)聯(lián)分析。在人臉識別的基礎(chǔ)上，通過姿態(tài)識別、行人檢測、物體識別圖像分類和像素分割實現(xiàn)人臉與身體姿勢及行動軌跡的融合，以實現(xiàn)更精準的密接者追蹤。

還可進一步進行人臉關(guān)鍵點檢測（包括眼角、眉毛尖端、嘴角和鼻尖等），各特征點以圖像坐標的形式呈現(xiàn)，不同的特征點數(shù)量（21～106個）可表達不同精度的人臉變化。人臉關(guān)鍵點檢測功能可采用基于級聯(lián)回歸的算法，結(jié)合深度學習的五官標定初始化，綜合多個不同標準的多點數(shù)據(jù)集知識，使同一個模型能應(yīng)用于不同數(shù)量的關(guān)鍵點檢測中，以保證具有更小的誤差和更好的適應(yīng)性。人臉檢測技術(shù)中的關(guān)鍵點定位算法可對各種表情、姿態(tài)和角度的人臉進行精準關(guān)鍵點定位。從專用數(shù)據(jù)集中隨機選取數(shù)據(jù)，其中，80%用于訓(xùn)練，20%用于測試，計算所有圖的平均每點誤差與眼距之比的平均誤差需在5%以內(nèi)。加入面部軌跡追蹤與視頻動態(tài)解析技術(shù)，極大地提高人臉檢測的速度，能隨著視頻內(nèi)容的變化迅速定位人臉所在位置，進而計算與周圍人群接觸的距離和停留時間。新冠肺炎最容易發(fā)生接觸傳染的距離在2 m以內(nèi)，最短接觸時間約為15 s。設(shè)定參數(shù)之后，即可通過大數(shù)據(jù)分析列出1號病人的Ⅰ類密接者、Ⅱ類密接者和Ⅲ類密接者。

為實現(xiàn)更精準的密接者追蹤，可通過提取在目標圖像跟蹤過程中得到的圖像的主要特征，組建圖像特征集，通過計算提取的特征的均布差值得到目標圖像與背景圖像的差別，將目標范圍約束在對應(yīng)的空間中。在進行目標圖像識別時，融合EM（Expectation-Maximization）算法，根據(jù)目標圖像投影熵特征分布模型獲取目標圖像中與各目標特征相對應(yīng)的混合高斯函數(shù)的Mahalanobis間距，得到目標圖像特征所屬類別，進而完成精確的目標圖像跟蹤。試驗結(jié)果表明，多攝像機下的目標跟蹤關(guān)聯(lián)算法精確度高，效率高［7］。

4 結(jié) 語

基于人工智能技術(shù)的郵輪智能防疫追蹤系統(tǒng)部署之后，能有效地對船上可能發(fā)生的疫情做出預(yù)判、告警和追蹤，為整個航程的防疫管控提供有利的先導(dǎo)條件。同時，從熱成像、人臉抓拍、告警提醒、人為干預(yù)和數(shù)據(jù)追溯等多個角度為防疫管控提供強有力的技術(shù)支持。此外，與登船系統(tǒng)和郵輪醫(yī)療系統(tǒng)進行實時對接和數(shù)據(jù)共享，符合智慧郵輪和安全郵輪的發(fā)展理念。本文所述防疫追蹤系統(tǒng)僅用于疫情的早期發(fā)現(xiàn)和感染人群軌跡追蹤中，為郵輪防疫安全管理提供告警和追溯等服務(wù)。后續(xù)可進一步將該系統(tǒng)拓展應(yīng)用到疫情快速發(fā)展之后的工作中，輔助管理團隊對郵輪開展分區(qū)隔離管理工作。