基于機器視覺與深度學習的船舶水尺智能識別技術研究與應用

朱學海 張 帥 張東星 張阿平 羅隕飛*

（1.力鴻智信（北京）科技有限公司 北京 101312；2.北京華夏力鴻商品檢驗有限公司滄州渤海新區(qū)分公司；3.北京華夏力鴻商品檢驗有限公司天津分公司）

1 前言

隨著全球經濟貿易的發(fā)展，作為國內外廣泛用于船舶運輸貨物計量和進出口商品重量鑒定的重要方法，基于阿基米德原理的水尺計重[1]顯示出越來越重要的地位，船舶六面吃水數(shù)值的讀取準確性成為水尺計重計量準確性的最關鍵因素。傳統(tǒng)的通過人工目測水尺刻線計算船舶吃水值的觀測法，其觀測的視頻來源往往通過電子攝像設備錄制，內側錄制要盡量站在岸邊，外側錄制則要租用小船，不僅費時費力費財，工人的人身安全也受到了威脅，而且人工觀測容易受外界環(huán)境和人為因素的影響，導致水尺數(shù)據(jù)不準確，極大地影響了水尺計重工作。

近年來，人們逐漸關注人工讀數(shù)的誤差問題，由于人眼并不能準確確定吃水線在刻度字間的數(shù)值，更多的是通過鑒定人員的專業(yè)能力和經驗進行讀數(shù)，因此，鑒定結果受人為因素影響較大。隨著科學技術地逐漸發(fā)展，基于電子水尺、激光、雷達和圖像檢測等原理的水尺設備陸續(xù)被研發(fā)。馬曉波等[2]設計出了一種船舶吃水測量尺，該測量尺的現(xiàn)場要求過高，海浪問題尚未解決，且測試過程過于煩瑣，控制尺頭傳感器在觸水的一刻準確無誤地發(fā)出警報并立即暫停投尺是難點，因此，依舊會過多地受到人為因素的影響。陳文煒等[3]研究出了利用激光測距原理進行吃水值測量的方法，但是該方法需在水面鋪放經特殊處理的反射板用于接收反射光束，測距過程煩瑣，難以適應港區(qū)現(xiàn)場作業(yè)的要求。沈益駿等[4]設計出了雷達水尺檢測裝置，雷達裝置很易受到電磁干擾的影響而不能正常工作，且吃水值的計算過程仍然需要翻閱船舶相關資料，增加了水尺計重工作時間。

近年來，人工智能技術發(fā)展迅速，其中的圖像處理技術發(fā)展尤為蓬勃，航空、醫(yī)學和通信工程等[5-7]領域涌現(xiàn)出了很多基于圖像處理原理的圖像自動識別技術，船舶水尺計重行業(yè)對圖像處理技術的需求也越來越多。冉鑫等[8]提出了一種基于圖像處理的船舶水尺刻度識別方法和船舶吃水線檢測方法，刻度識別是利用三叉點特征構造模板數(shù)組進行字符分類，然后與構造的模板匹配進行水尺字符識別，吃水線識別檢測采用的是Canny 算子和數(shù)學形態(tài)學結合的辦法，刻度識別和水線識別為船舶吃水值的計算打下了良好的基礎[9]。隨著圖像處理技術的日益發(fā)展與完善，圖像處理技術陸續(xù)被應用到船舶水尺檢測研究工作中[10，11]，利用該技術對船舶水尺圖像進行分析和檢測取得的船舶吃水數(shù)據(jù)可以避免人工目測引起的主觀問題，也可以準確完整地記錄吃水數(shù)據(jù)，便于后續(xù)數(shù)據(jù)查詢，避免貿易糾紛。采用圖像處理技術可以使人與計算機優(yōu)勢互補，提高測量效率與測量數(shù)據(jù)的準確性[12]。

鑒于前人研究成果，本文基于圖像處理技術，利用機器視覺[13]技術和基于神經網(wǎng)絡的深度學習[14]算法，研究開發(fā)出了Leon-IDSS 智能水尺測定系統(tǒng)，該系統(tǒng)可以實現(xiàn)對視頻或圖像中船舶的吃水線、刻度線和刻度數(shù)值進行定位、識別，進而自動計算船舶的吃水讀數(shù)，得到船舶載貨重量鑒定的準確結果，這一技術能很好地解決人工鑒定的諸多問題，有效提高鑒定結果的科學性和準確性。

2 Leon-IDSS智能水尺測定系統(tǒng)簡介和工作原理

Leon-IDSS 智能水尺測定系統(tǒng)包括船舶吃水影像采集系統(tǒng)（硬件系統(tǒng)）和數(shù)據(jù)圖像處理分析系統(tǒng)（軟件系統(tǒng)）兩部分，兩系統(tǒng)間彼此相連，具體如圖1所示。

影像采集系統(tǒng)主要用于吃水影像的采集，該系統(tǒng)操作簡便，性能穩(wěn)定，可廣泛應用于各種場合（包括大風浪情況）的水尺計重工作。數(shù)據(jù)圖像處理分析系統(tǒng)由操作控制、圖像讀數(shù)、視頻預覽、圖片顯示和水位讀數(shù)散點圖5個區(qū)域組成。系統(tǒng)對視頻采用抽幀轉換技術，獲取滿足識別要求數(shù)量的圖像文件；采用機器視覺技術，對局部二值化圖像中的水線、數(shù)字進行準確定位、識別；采用基于神經網(wǎng)絡的深度學習算法，自動計算出圖像中船舶被測位置的吃水數(shù)。

圖1 Leon-IDSS智能水尺測定系統(tǒng)組成示意圖

3 Leon-IDSS系統(tǒng)關鍵技術

3.1 標記數(shù)字的識別定位

水尺標記數(shù)字主要由10 個阿拉伯數(shù)字和1 個字母“M”組成，水尺標記如圖2所示。船體背景色和水尺標志顏色區(qū)分明顯，船體背景色一般為紅色、灰色和綠色，水尺標志一般印刷為白色，且存在一定的厚度，進一步增強系統(tǒng)對水尺標記的辨識度。

圖2 船舶水尺標記

一般情況下，船舶下半部分的水尺標記數(shù)字會長時間浸泡在水中，特別是船滿載情況下，大部分水尺標記數(shù)字幾乎都處于含鹽量高的海水液面下，長時間服役中，標記數(shù)字會被腐蝕得非常嚴重；另外，船舶長時間航運中，船體難免會與海中的各種物體發(fā)生摩擦碰撞，這種情況會導致標記數(shù)字留下劃痕或掉漆，標記數(shù)字所處的船體背景周圍甚至會殘留污泥等雜物，對于一般的圖像處理算法，數(shù)字的識別和定位準確度會大打折扣。針對這些情況下的視頻或圖片中數(shù)字的準確定位和識別，基于深度學習算法的Leon-IDSS 智能水尺測定系統(tǒng)給出了行之有效的解決方法，利用Faster-RCNN 網(wǎng)絡和RPN 網(wǎng)絡進行訓練后定位識別，其中，F(xiàn)aster-RCNN 網(wǎng)絡是一種性能較好的卷積網(wǎng)絡，主要用于識別圖片中的物體，RPN 網(wǎng)絡是一種用于快速生成候選區(qū)域的網(wǎng)絡，它解決了在一張圖片上難以生成候選區(qū)域的問題。其實無論是識別圖片中的數(shù)字還是下面小節(jié)中的水線，都需要準確標記出它們所在位置，以便于計算當前水線相對于船體的高度，通過使用RPN 網(wǎng)絡，配合交替訓練，可以實現(xiàn)RPN 和Faster-RCNN 網(wǎng)絡共享參數(shù)，從而實現(xiàn)快速訓練的目的。具體過程：（1）將采集得到的包含若干個數(shù)字的視頻進行反交錯處理；（2）抽取圖片并將圖片制成訓練樣本，人工輔助對訓練樣本中數(shù)字的位置與類別信息進行標定，設計出具有不同特征的數(shù)字，增加到訓練樣本集合中，并進行位置與類別信息的自動標定；（3）采用基于區(qū)域的卷積神經網(wǎng)絡Faster-RCNN 算法對制作好的數(shù)據(jù)樣本集進行區(qū)域推薦RPN 網(wǎng)絡與識別網(wǎng)絡交替訓練若干次，共享提取圖片深度特征得到訓練模型；（4）調用訓練好的模型對視頻或圖片中的數(shù)字進行檢測和識別，輸出圖片中各個數(shù)字的位置及類別信息，即可完成檢測。

3.2 吃水線的識別定位

從圖像處理角度識別水線主要從2條路徑出發(fā)：（1）邊緣特征信息，水線在畫面中有獨特的邊緣特征，可以利用邊緣檢測手段（即邊緣檢測算法[15]）發(fā)現(xiàn)水線。圖像的梯度算子是指圖像的梯度，它是圖像處理中最常見的一階微分邊緣檢測算法，圖像梯度最重要的性質是圖像灰度最大變化率，它恰好可以反映圖像邊緣上的灰度變化情況，水線處理如圖3所示；（2）顏色特征信息，由于水和船體是2種材質，大部分情況顏色有明顯區(qū)別，因此可以從顏色的角度即顏色特征檢測算法[16]檢測出水線。

圖3 邊緣檢測算法梯度處理圖

但對于傳統(tǒng)的圖像處理方法來說，現(xiàn)場吃水線附近光線過暗或過亮、船體背景顏色不統(tǒng)一、水質渾濁度紛繁復雜導致顯現(xiàn)出的水體顏色各不相同等情況下的吃水線檢測往往存在很大的困難，因此，對于各個領域吃水線的準確檢測判定是重點但同時也是難題?；谏疃葘W習算法的Leon-IDSS 智能水尺測定系統(tǒng)利用Faster-RCNN 算法，對制作好的數(shù)據(jù)樣本集進行RPN 網(wǎng)絡與識別網(wǎng)絡交替訓練若干次，共享提取圖片深度特征得到訓練模型，然后用訓練好的模型對視頻或圖片中的水線進行識別，得出水線的多個位置信息，接著利用神經網(wǎng)絡算法去除誤識別的水線，進而得到準確的識別水線。有些情況下會存在一些水面漏檢的可能，智能鑒定系統(tǒng)可通過神經網(wǎng)絡給出水線的多個位置信息進行合理預測，與水面進行完全擬合，最終也可得到準確的吃水線位置信息。

3.3 水尺讀數(shù)的自動計算

Leon-IDSS 智能水尺測定系統(tǒng)利用深度學習算法對船舶水尺圖像中的數(shù)字及水線進行識別定位后，通過根據(jù)數(shù)字排列規(guī)律和人眼讀數(shù)原理設計的數(shù)字組合算法對船舶的水尺讀數(shù)進行準確計算，結果如圖4所示。船舶水尺標記數(shù)字經過識別和定位，系統(tǒng)通過組合數(shù)字算法組合同一行數(shù)字，并使每行數(shù)字擁有整米和分米的內在含義，然后利用船舶水尺圖中的數(shù)字數(shù)值和其邊框坐標求出水線相鄰行數(shù)字間距相對于真實長度的基準。當攝像機拍攝方向與船體數(shù)字存在一定的偏離角時，所得圖像中數(shù)字會產生較大畸變，因而系統(tǒng)接著會對畸變數(shù)字和水線間距進行校正，校正后的圖像基于圖像距離與真實距離的比例基準即可得出該水尺圖片的水尺讀數(shù)，系統(tǒng)測得若干個數(shù)據(jù)后，經過一系列的數(shù)據(jù)處理即可得出船舶的水尺讀數(shù)，該方法簡單快捷，準確方便。

圖4 水尺視頻實測示意圖

4 應用實踐與結果分析

4.1 系統(tǒng)應用實踐

2017年9月～2018年9月，在天津港和黃驊港對400 余艘船2400 余個視頻進行智能測定和按標準SN/T 3023.2—2012 《進出口商品重量鑒定規(guī)程第2部分：水尺計重》進行的標準測定，接著將系統(tǒng)讀數(shù)和標準讀數(shù)進行比對分析，統(tǒng)計分析了水尺視頻的系統(tǒng)識別運算效率和智能讀數(shù)的準確性。例如，某水尺視頻的標準讀數(shù)（參比值）為10.09 m，系統(tǒng)讀數(shù)值為10.093 m，偏差值為0.003 m，結果十分接近標準讀數(shù)，符合港口作業(yè)的準確度要求。

4.2 系統(tǒng)識別運算效率

隨著水上航運業(yè)務量地增加，船舶往返航運頻率也隨之增加，為減小時間成本，船方對于水尺作業(yè)提出的要求越來越高，一般一條船從上船開始到下船結束完成所花時間需控制在1 h 內，甚至更短，對于檢驗鑒定工作人員，水尺計重作業(yè)中的六面水尺讀數(shù)確定時間花費控制顯得十分重要。

因此，本研究對系統(tǒng)的工作效率進行了試驗，試驗參數(shù)包括單視頻分析處理時間和整條船六面水尺視頻分析處理時間，其相關數(shù)據(jù)結果見表1所示。由表1可以發(fā)現(xiàn)，10 個視頻中，每個視頻從開始分析到數(shù)據(jù)得出的時間平均為28.344 s，鑒定人員使用系統(tǒng)處理一條船的六面水尺視頻的時間均可控制在450 s 內，平均一條船的處理時間僅為374 s，系統(tǒng)處理分析花費時間短，大大縮減了水尺計重過程中所產生的時間成本。

表1 系統(tǒng)單/六面視頻分析時間統(tǒng)計

4.3 系統(tǒng)讀數(shù)準確性

為了驗證智能鑒定系統(tǒng)的準確性和可靠性，集中測量了2018年9月下旬到10月上旬兩港全部船，只共計200 個視頻后，得出數(shù)據(jù)并進行分析，其中，智能測定系統(tǒng)的讀數(shù)精度為0.001 m，標準讀數(shù)精度為0.01 m，以系統(tǒng)和標準差值絕對值在0.02 m內為結果準確。標準和系統(tǒng)讀數(shù)結果及系統(tǒng)偏差值如表2和圖5所示，從試驗結果可以得出，系統(tǒng)的準確率為95%，系統(tǒng)讀數(shù)和標準讀數(shù)的差值絕對值平均為0.00 745 m，系統(tǒng)讀數(shù)結果已十分接近標準讀數(shù)。

5 結論

本文利用圖像處理技術，通過機器視覺技術和基于神經網(wǎng)絡的深度學習算法，研究開發(fā)出的Leon-IDSS 智能水尺測定系統(tǒng)可實現(xiàn)對視頻或圖像中船舶的吃水線、刻度線和刻度數(shù)值進行定位、識別，進而自動計算出船舶的吃水讀數(shù)。測定系統(tǒng)處理一條船六面水尺視頻的平均處理時間為374 s，均可控制在450 s 內；系統(tǒng)的準確率為95%，系統(tǒng)讀數(shù)和標準讀數(shù)的差值絕對值平均為0.00 745 m。

綜上所述，Leon-IDSS 智能水尺測定系統(tǒng)處理分析時間短，大大縮減了水尺計重過程中所產生的時間成本，并且測定得到的結果準確。這一技術能很好地解決人工測定的諸多問題，有效提高水尺作業(yè)測定結果的科學性和準確性。

表2 系統(tǒng)視頻讀數(shù)準確度統(tǒng)計

圖5 系統(tǒng)偏差值統(tǒng)計示意圖