基于船載的可視化智能航標(biāo)巡視

李鋒

摘? 要：基于船載的可視化的智能航標(biāo)巡視是一種建立在船舶基礎(chǔ)上拍攝航標(biāo)的方式，可以有效完成傳統(tǒng)人工巡視期間拍攝和測量不能完成的任務(wù)。該方式通過利用物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等技術(shù)，通過無線傳感器、GPS定位等設(shè)備實(shí)現(xiàn)對航標(biāo)的自動(dòng)化監(jiān)測和管理，旨在提升船舶智能巡視的效果，推動(dòng)智能航標(biāo)巡視的發(fā)展和進(jìn)步。

關(guān)鍵詞：船載；可視化；航標(biāo)；巡視

航標(biāo)巡視，是指運(yùn)用視覺或其他等效技術(shù)手段對航標(biāo)位置、涂色、結(jié)構(gòu)、燈光、無線電信號(hào)等助航效能進(jìn)行的完好性檢查。上海航標(biāo)處作為上海轄區(qū)管理維護(hù)單位，負(fù)責(zé)轄區(qū)1 400多座航標(biāo)的巡視維護(hù)工作。按照交通部海事局關(guān)于航標(biāo)的管理要求，每年要對航標(biāo)開展多次的巡視工作，工作任務(wù)艱巨，勞動(dòng)強(qiáng)度較大。由于經(jīng)費(fèi)較為緊張，加之巡視工作要求較高，都給日常的航標(biāo)維護(hù)工作提出了迫切需要解決的難題。上海航標(biāo)處探索采用多種信息化手段進(jìn)行巡視，加上遙測遙控系統(tǒng)的數(shù)據(jù)支持，可對轄區(qū)內(nèi)航標(biāo)的巡視工作進(jìn)行全面的監(jiān)控，以達(dá)到履職的要求。

上海航標(biāo)處為了降低運(yùn)維成本，已經(jīng)開展了利用在大型航標(biāo)船出海起吊作業(yè)同時(shí)開展航標(biāo)巡視工作，但對于人員的工作強(qiáng)度并未有效降低?；谀壳耙曨l技術(shù)的高速發(fā)展，通過在航標(biāo)船加裝智能視頻采集終端，在航行過程中實(shí)現(xiàn)自動(dòng)捕捉航標(biāo)的圖像及視頻情況，并將數(shù)據(jù)與正常航標(biāo)數(shù)據(jù)模型進(jìn)行比對，智能化提出疑似有問題航標(biāo)的名單，從而實(shí)現(xiàn)更加精準(zhǔn)的自動(dòng)化巡視，從而降低人工巡視取證強(qiáng)度，還能客觀展現(xiàn)航標(biāo)巡視的任務(wù)工作量，并優(yōu)化原有航標(biāo)巡視流程，在降本增效方面具有重要意義。

1 智能航標(biāo)巡視技術(shù)框架

智能航標(biāo)巡視是將航標(biāo)作業(yè)船舶作為水中移動(dòng)平臺(tái)，并在作業(yè)船舶上添加遙感設(shè)備和高分辨率攝像機(jī)等設(shè)備，再借助計(jì)算機(jī)對獲取的數(shù)據(jù)信息的進(jìn)行處理和分析，最終按照需求的精度情況，將這些數(shù)據(jù)信息制作成為相關(guān)圖像。智能航標(biāo)巡視技術(shù)源自于計(jì)算機(jī)視覺技術(shù)和人工智能技術(shù)，目標(biāo)是在航標(biāo)圖像與巡視作業(yè)之間建立一種映射關(guān)系，使計(jì)算機(jī)從紛繁的現(xiàn)場視頻圖像中定位、識(shí)別和跟蹤水上航標(biāo)，實(shí)時(shí)分析和判斷航標(biāo)的外觀，根據(jù)預(yù)定的規(guī)則進(jìn)行相應(yīng)的報(bào)警或處理動(dòng)作，從而能在航標(biāo)失常時(shí)及時(shí)做出反應(yīng)，做到早期的偵測和防范?；究蚣苋鐖D1所示，包括以下3個(gè)階段。

1）智能航標(biāo)巡視的前期工作主要是對船載智能攝像機(jī)傳來的視頻流進(jìn)行預(yù)處理，包括去抖動(dòng)、圖像增強(qiáng)、陰影抑制、背景建模等。

2）智能航標(biāo)巡視的中期工作主要包括各種航標(biāo)的檢測、識(shí)別、分類和跟蹤，是智能視頻分析的關(guān)鍵。航標(biāo)檢測將航標(biāo)從視頻圖像的背景中分割提取出來，以備后續(xù)步驟的使用；在智能航標(biāo)巡視的視頻中有多種航標(biāo)，比如：航標(biāo)燈浮和燈樁，需要根據(jù)一些特征值利用分類算法對航標(biāo)進(jìn)行分類；航標(biāo)跟蹤屬于更高級的計(jì)算機(jī)視覺問題，它為下一步的行為理解提供充分的數(shù)據(jù)，包括特征選取、航標(biāo)名稱估計(jì)和特征匹配等 。

3）智能航標(biāo)巡視的后期工作通過建立航標(biāo)數(shù)據(jù)模型，對檢測航標(biāo)的類別進(jìn)行語義分析和自然語言描述，判別出具體航標(biāo)、異常狀態(tài)并進(jìn)行事件報(bào)警 。

2 視頻航標(biāo)識(shí)別跟蹤中的難點(diǎn)

對于智能航標(biāo)巡視跟蹤問題，主要面臨的挑戰(zhàn)表現(xiàn)在航標(biāo)背景在跟蹤過程中發(fā)生的復(fù)雜變化，這些變化包括：航標(biāo)消失、航標(biāo)形變、 背景干擾以及航標(biāo)移動(dòng)等情形。上述情況往往導(dǎo)致視頻序列中跟蹤航標(biāo)所依賴的特征，如外觀、形狀或背景等信息，隨時(shí)間變化存在較大的不一致性， 使得跟蹤器在后續(xù)視頻幀中無法準(zhǔn)確識(shí)別和跟蹤航標(biāo)。

1）航標(biāo)消失：航標(biāo)消失是視頻航標(biāo)跟蹤中最具挑戰(zhàn)性的問題之一，主要包括在某段時(shí)間內(nèi)航標(biāo) （或部分航標(biāo)）被其他物體遮擋或移出相機(jī)視野范圍，當(dāng)航標(biāo)重新出現(xiàn)時(shí)如何繼續(xù)跟蹤航標(biāo)。影響此類問題的因素主要包括遮擋范圍和遮擋時(shí)間，若航標(biāo)全部被遮擋或長時(shí)間被遮擋，往往會(huì)造成跟蹤器無法有效更新，從而跟蹤失敗。

2）航標(biāo)變化：航標(biāo)變化是視頻航標(biāo)跟蹤中最常見的問題之一，主要包括航標(biāo)形變、航標(biāo)旋轉(zhuǎn)、航標(biāo)傾斜等情形。通常來說，非剛性物體在跟蹤過程中都會(huì)發(fā)生不同程度的形變。

3） 背景干擾：背景干擾也是航標(biāo)跟蹤問題經(jīng) 常出現(xiàn)的問題，主要表現(xiàn)是背景雜亂和光照變化等情形。如何有效地進(jìn)行前背景分離，從而精確地抓取前景抑制背景也是航標(biāo)跟蹤的根本問題。而光照變化不僅對背景造成干擾，也使得航標(biāo)前景本身的外觀特征發(fā)生一定程度的變化。強(qiáng)烈的光照變化通常造成不同幀序列之間航標(biāo)外觀差異增大，而同一幀之內(nèi)航標(biāo)前背景差異減小，從而加大跟蹤的難度。

4）航標(biāo)移動(dòng)：視頻航標(biāo)跟蹤所研究的對象主體往往是運(yùn)動(dòng)的航標(biāo)，航標(biāo)移動(dòng)對航標(biāo)跟蹤造成的困難主要包括航標(biāo)快速運(yùn)動(dòng)和航標(biāo)運(yùn)動(dòng)模糊等情形。由于航標(biāo)跟蹤通常采取在航標(biāo)前一幀所處位置周圍區(qū)域進(jìn)行搜索的策略，因此航標(biāo)快速移動(dòng)可能造成航標(biāo)與前序幀位置差異較大，甚至超出搜索區(qū)域。另一方面，航標(biāo)移動(dòng)本身造成的運(yùn)動(dòng)模糊也會(huì)造成航標(biāo)前景虛化，從而影響航標(biāo)特征表達(dá)。同樣的，相機(jī)移動(dòng)甚至?xí)斐烧鶊D像的模糊，也是影響航標(biāo)跟蹤效果的挑戰(zhàn)之一。

3 智能巡視的航標(biāo)識(shí)別技術(shù)

3.1 基于時(shí)域的航標(biāo)圖像識(shí)別

（1）幀間差分法。借助航標(biāo)圖像2個(gè)像素點(diǎn)之間存在幀數(shù)連續(xù)關(guān)系，分析相同位置像素點(diǎn)之間的灰度情況，完成對航標(biāo)的分析任務(wù)，進(jìn)而判斷航標(biāo)是否處于移動(dòng)狀態(tài)。這類分析方式，獲取幀間的差分圖，再分析像素絕對值，如果絕對值較大的區(qū)域，則可以將這個(gè)區(qū)域作為航標(biāo)的移動(dòng)區(qū)域。相反，如果航標(biāo)圖像像素絕對值較小，則認(rèn)為的像素點(diǎn)區(qū)域?yàn)楸尘皡^(qū)域。幀間差法，具有清晰、直接等特點(diǎn)，可以順利完成對航標(biāo)的檢測。

（2）背景差分法。在展開巡視拍攝前，需要對航標(biāo)背景進(jìn)行預(yù)設(shè)。完成后，獲取航標(biāo)檢測圖像和預(yù)先設(shè)置的背景圖像的差值。獲取差值后，將其與預(yù)先設(shè)置閾值進(jìn)行比較，根據(jù)比較結(jié)果獲取航標(biāo)的具體情況。背景差分法受到航標(biāo)背景圖像和預(yù)先設(shè)置的航標(biāo)背景圖像兩者之間的質(zhì)量影響，如果兩者的質(zhì)量均能得到保障，則可以識(shí)別準(zhǔn)確完整的航標(biāo)。

3.2 基于空域的航標(biāo)圖片識(shí)別

（1） 基于區(qū)域信息的航標(biāo)圖片識(shí)別方法。借助航標(biāo)背景區(qū)域和航標(biāo)區(qū)域的中像素點(diǎn)的灰度情況、顏色等信息，完成對航標(biāo)圖像區(qū)域的劃分。劃分完成后，保障每個(gè)區(qū)域之間沒有重疊。再根據(jù)劃分后的航標(biāo)圖像信息，運(yùn)用閾值法、松弛法等，完成對航標(biāo)的識(shí)別。

（2）基于邊緣信息的航標(biāo)圖片識(shí)別方法。這類識(shí)別方式主要對獲取航標(biāo)圖像的邊緣進(jìn)行灰度值變化比較。具體的比較方法是結(jié)合微分、二階微分等方式。再完成對邊緣點(diǎn)的分割，獲得有效的分割區(qū)，從而完成航標(biāo)識(shí)別。

4 智能航標(biāo)巡視的跟蹤方法

水中移動(dòng)航標(biāo)跟蹤即通過航標(biāo)的有效表達(dá)，在視頻中尋找與航標(biāo)模板最相似候選航標(biāo)位置的過程。智能航標(biāo)巡視視頻分析中移動(dòng)航標(biāo)跟蹤，對環(huán)境和航標(biāo)自身變化具有很強(qiáng)的適應(yīng)性，并且要克服航標(biāo)實(shí)際變形過程對跟蹤的影響。在智能航標(biāo)巡視中，使攝像機(jī)能夠自動(dòng)跟蹤水上航標(biāo)，在航標(biāo)超出該攝像機(jī)監(jiān)控范圍之后，自動(dòng)驅(qū)動(dòng)攝像機(jī)繼續(xù)進(jìn)行追蹤。采用一定的搜索算法對未來時(shí)刻航標(biāo)的位置狀態(tài)進(jìn)行估計(jì)假設(shè)可以縮小航標(biāo)搜索范圍。其中比較常用的方法是預(yù)測移動(dòng)體下一幀可能出現(xiàn)的位置，在其相關(guān)區(qū)域內(nèi)尋找最優(yōu)點(diǎn)。依據(jù)移動(dòng)航標(biāo)的表達(dá)和相似性度量，移動(dòng)航標(biāo)跟蹤算法可以分為：基于區(qū)域的跟蹤、基于移動(dòng)估計(jì)的跟蹤和基于航標(biāo)模型的跟蹤。

4.1 基于區(qū)域的方法

基于區(qū)域的方法，是智能航標(biāo)巡視視頻序列中運(yùn)用部分存在近似性特點(diǎn)的幀圖像，對當(dāng)前幀圖像和前一幀圖像的相似像素區(qū)的檢測，從而完成對航標(biāo)在兩個(gè)幀圖像的差異比較，并獲取的所要追蹤的航標(biāo)，最終完成航標(biāo)的跟蹤。具體的方法如下：

（1）擬定一個(gè)或多個(gè)航標(biāo)，且在背景圖像中的將跟蹤航標(biāo)展示出來，將其作為模板；

（2）于后續(xù)視頻序列中，獲取航標(biāo)的基本特征，且通過航標(biāo)圖像檢測獲取的航標(biāo)進(jìn)行標(biāo)記；

（3）對標(biāo)記的航標(biāo)進(jìn)行分析，并通過航標(biāo)位置的修正，完成對航標(biāo)的跟蹤。

4.2 基于移動(dòng)估計(jì)的跟蹤

基于移動(dòng)估計(jì)的跟蹤，屬于較為常見的跟蹤方法，主要是借助航標(biāo)圖像檢測獲取航標(biāo)的基本信息和移動(dòng)航標(biāo)的相關(guān)移動(dòng)規(guī)律，再結(jié)合得到的移動(dòng)規(guī)律，對水中移動(dòng)航標(biāo)在下一幀圖像中的具體位置進(jìn)行預(yù)測，完成航標(biāo)跟蹤拍攝。

4.3 基于航標(biāo)模型的跟蹤

基于航標(biāo)特征的跟蹤方法，是將航標(biāo)特征作為航標(biāo)的基礎(chǔ)，并將這一特征作為下一幀圖像的基礎(chǔ)，對航標(biāo)的進(jìn)行確定，且劃定相關(guān)航標(biāo)區(qū)域，完成對航標(biāo)的跟蹤。具體的方法為：

（1）獲取航標(biāo)的基本特征信息，且根據(jù)某一具體幀圖像中航標(biāo)圖像的特征信息，構(gòu)建航標(biāo)的移動(dòng)模型；

（2）結(jié)合航標(biāo)的移動(dòng)模型，對下一幀圖像中航標(biāo)區(qū)域和航標(biāo)位置的預(yù)測；

（3）預(yù)測完成后，將航標(biāo)可能存在的特征區(qū)域進(jìn)行提??；

（4）提取后，將原航標(biāo)特征信息和提取的疑似航標(biāo)特征進(jìn)行比較，其中匹配度最高的航標(biāo)則為跟蹤航標(biāo)。選擇航標(biāo)特征跟蹤方法，具有跟蹤效果明顯的特點(diǎn)，能夠順利完成對航標(biāo)的跟蹤。

5 智能航標(biāo)巡視具體方式

智能航標(biāo)巡視利用船舶和航標(biāo)的特點(diǎn)，充分運(yùn)用目標(biāo)識(shí)別和跟蹤技術(shù)，設(shè)計(jì)出一套集數(shù)據(jù)管理、智能標(biāo)注、模型自動(dòng)化訓(xùn)練、資源自主調(diào)度、模型在線校驗(yàn)、模型在線發(fā)布、存儲(chǔ)功能、高性能緩存加速、數(shù)據(jù)全鏈路安全保障等服務(wù)于一體的AI算法航標(biāo)模型訓(xùn)練系統(tǒng)。能夠根據(jù)航標(biāo)專業(yè)需求采集到的數(shù)據(jù)訓(xùn)練出航標(biāo)專屬的AI算法模型，可以方便地部署到邊緣設(shè)備端或云端，為航標(biāo)巡視應(yīng)用賦予智能分析能力，助力航標(biāo)作業(yè)擁抱AI，享受智能技術(shù)帶來的高效和便利，如圖2所示。

5.1 全景取證視頻終端

智能化視頻采集終端（見圖3）選用了全景攝像頭，該設(shè)備主要由取證主機(jī)、全景云臺(tái)、手控器、高清觸摸顯示屏、三防PAD組成，可實(shí)現(xiàn)抓拍、全景拼接、本地高清錄像存儲(chǔ)、3G /4G&WIFI無線網(wǎng)絡(luò)傳輸、支持雙卡傳輸、衛(wèi)星定位、遠(yuǎn)程指揮操控、標(biāo)記取證、夜間補(bǔ)光拍攝等功能，完全滿足各種狀況下全天候工作的需求，功能全面、操作簡單，可應(yīng)用于圖片抓拍、安全保衛(wèi)、應(yīng)急指揮等多個(gè)移動(dòng)視頻監(jiān)控領(lǐng)域。

5.2 部署構(gòu)架

巡視引擎應(yīng)用場景多樣化，如數(shù)據(jù)保密的因素考慮，可選擇專網(wǎng)/局域網(wǎng)進(jìn)行數(shù)據(jù)傳輸，也可以采用互聯(lián)網(wǎng)進(jìn)行數(shù)據(jù)傳輸，如圖4所示。

（1）數(shù)據(jù)感知層：前端攝像機(jī)部署于船舶的頂層甲板開闊區(qū)域。通用視頻可存儲(chǔ)于邊緣端NVR設(shè)備中，巡視抓拍圖片可存儲(chǔ)在服務(wù)器自帶硬盤中，也可單獨(dú)配置中心存儲(chǔ)進(jìn)行存儲(chǔ)。

（2）網(wǎng)絡(luò)傳輸層：數(shù)據(jù)也可采用局域網(wǎng)/互聯(lián)網(wǎng)的方式進(jìn)行傳輸。公網(wǎng)環(huán)境良好時(shí)攝像機(jī)采用互聯(lián)網(wǎng)傳輸數(shù)據(jù)，平臺(tái)軟件需要有固定公網(wǎng)IP。

（3）行業(yè)應(yīng)用層：航標(biāo)管理部門可以通過平臺(tái)通道進(jìn)行回傳圖片預(yù)覽和抓圖。也可直接與前端攝像機(jī)進(jìn)行對接，進(jìn)行現(xiàn)場的航標(biāo)作業(yè)情況預(yù)覽和抓圖。

另外，前端攝像機(jī)可以選擇AI開放平臺(tái)攝像機(jī)，實(shí)現(xiàn)抓圖自動(dòng)分析判斷，完成遠(yuǎn)程智能巡視，巡視結(jié)果可選擇進(jìn)行人工復(fù)核。

5.3 模型構(gòu)建

在模型訓(xùn)練階段，航標(biāo)管理人員選擇模型應(yīng)用類型、訓(xùn)練數(shù)據(jù)集、訓(xùn)練標(biāo)簽和調(diào)優(yōu)模式，系統(tǒng)通過自動(dòng)深度學(xué)習(xí)技術(shù)，實(shí)現(xiàn)航標(biāo)模型自動(dòng)化訓(xùn)練。訓(xùn)練平臺(tái)基于高性能并行訓(xùn)練推理集群與自研深度學(xué)習(xí)框架，由數(shù)據(jù)管理、模型訓(xùn)練、模型部署三大服務(wù)模塊組成，通過B/S與C/S兩個(gè)客戶端向航標(biāo)管理人員提供可視化操作功能，如圖5所示。

（1）數(shù)據(jù)管理

提供數(shù)據(jù)導(dǎo)入、數(shù)據(jù)智能標(biāo)注、數(shù)據(jù)質(zhì)量診斷、數(shù)據(jù)概覽的一站式數(shù)據(jù)服務(wù)功能，幫助航標(biāo)管理人員高效地處理和管理訓(xùn)練樣本。

（2）模型訓(xùn)練

基于平臺(tái)特性，提供自動(dòng)化航標(biāo)模型訓(xùn)練服務(wù)，并提供可視化航標(biāo)模型校驗(yàn)、模型性能評估功能。

（3）模型部署

根據(jù)航標(biāo)管理人員選擇的目標(biāo)推理平臺(tái)，基于AI編譯器提供的訓(xùn)練推理一體化框架，實(shí)現(xiàn)模型自動(dòng)化編譯，提供模型導(dǎo)出、模型云端發(fā)布服務(wù)。

5.4 巡視方案

巡視引擎服務(wù)使用數(shù)據(jù)模型對巡視對象類型和檢測點(diǎn)基礎(chǔ)數(shù)據(jù)進(jìn)行管理，數(shù)據(jù)模型的信息從數(shù)據(jù)管理服務(wù)中獲取，如果現(xiàn)有模型不能滿足要求，可在數(shù)據(jù)管理服務(wù)中添加。支持預(yù)置一些巡視對象類型和檢測點(diǎn)類型（如監(jiān)控點(diǎn)、環(huán)境量等用于檢測對象狀態(tài)的探測手段）常見的巡視方法包括移動(dòng)現(xiàn)場巡視、視頻巡視、抓圖巡視、AI智能巡視等多種巡視方法。按任務(wù)執(zhí)行方式不同，巡視方法包括線上自動(dòng)巡視、線上人工巡視、線下人工巡視。執(zhí)行方式說明如下：

（1）自動(dòng)巡視：利用智能分析服務(wù)器、AI攝像機(jī)、AI開放平臺(tái)等智能分析能力，通過對視頻或圖片進(jìn)行分析得出結(jié)論，減少人工參與，還可利用熱成像測溫、物聯(lián)傳感等方式進(jìn)行自動(dòng)巡視，見圖6。

（2）遠(yuǎn)程巡視：通過登錄平臺(tái)查看視頻或圖片進(jìn)行巡視，無須到現(xiàn)場，減少交通成本。

（3）現(xiàn)場巡視：巡視員到現(xiàn)場進(jìn)行巡視，見圖7。

通過對智能攝像頭導(dǎo)入不斷學(xué)習(xí)的數(shù)據(jù)模型，平臺(tái)會(huì)不斷地完善巡視對象類型，從而更精準(zhǔn)地對數(shù)據(jù)進(jìn)行抓取入庫，達(dá)到航標(biāo)巡視的標(biāo)準(zhǔn)要求，實(shí)現(xiàn)智能化航標(biāo)巡視。

6 結(jié)束語

智能航標(biāo)巡視的有效運(yùn)行很大程度上依賴于智能分析技術(shù)各種算法的精確性 ，本文針對智能航標(biāo)巡視中所用的智能視頻分析中的關(guān)鍵技術(shù)進(jìn)行了分析。未來隨著智能視頻分析技術(shù)的不斷發(fā)展，以及網(wǎng)絡(luò)攝像機(jī)的圖像采集能力、監(jiān)控 網(wǎng)絡(luò)的傳輸能力、視頻信息處理的速度等不斷提高，智能航標(biāo)巡視的技術(shù)及應(yīng)用在水上航標(biāo)巡視中越來越重要。