Mask RCNN在霧化背景下的船舶流量檢測(cè)

聶振鋼, 任靜，盧繼華

(北京理工大學(xué) 信息與電子學(xué)院，北京 100081)

海洋中環(huán)境復(fù)雜多變導(dǎo)致海洋作業(yè)困難，船舶流量監(jiān)控對(duì)于海上探測(cè)、目標(biāo)識(shí)別以及海域搜救等而言意義重大，對(duì)于其他海上事務(wù)也有非常好的應(yīng)用前景. 大量的航拍圖片若依靠人工判斷，既耗時(shí)又耗力，準(zhǔn)確率還低. 非機(jī)器學(xué)習(xí)的經(jīng)典檢測(cè)方法在準(zhǔn)確率、含噪圖像識(shí)別以及檢測(cè)結(jié)果可靠性等方面已有較多研究[1-3]，然而取得的突破性進(jìn)展少，難以為復(fù)雜海域船舶流量識(shí)別提供有效方法. 隨著卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)[4-7]的出現(xiàn)及其所依托的計(jì)算能力不斷發(fā)展，圖像識(shí)別逐漸由目標(biāo)檢測(cè)[8]、語義分割[9]發(fā)展到實(shí)例分割，并實(shí)現(xiàn)了像素層面的目標(biāo)定位. 空間金字塔池化(spatial pyramid pooling,SPP)[8]已成為所述網(wǎng)絡(luò)成功實(shí)現(xiàn)準(zhǔn)確率突破的重要技術(shù)基礎(chǔ)，廣泛應(yīng)用于Fast RCNN[10]、Faster RCNN[11]以及Mask RCNN模型中. 輸入圖片在SPP中經(jīng)卷積后生成特征圖，接著經(jīng)過一個(gè)多尺度池化結(jié)構(gòu)生成新的特征圖進(jìn)行了多尺度池化避免對(duì)每一個(gè)感興趣區(qū)域(region of interest,ROI)進(jìn)行卷積，從而降低卷積運(yùn)算量. 再將各尺度池化得到的特征輸入到全連接層進(jìn)行類別判斷. Fast RCNN結(jié)構(gòu)與SPP相比，有如下兩處改進(jìn)：①將SPP中ROI的多尺度池化變?yōu)閱纬叨瘸鼗?；②最后一層激活函?shù)softmax變?yōu)閮蓚€(gè)：一個(gè)用于目標(biāo)分類，另一個(gè)用于微調(diào)邊界框. Fast RCNN不再需要硬盤存儲(chǔ)數(shù)據(jù)交換的中間變量，極大提高了網(wǎng)絡(luò)的訓(xùn)練與測(cè)試速度. Faster RCNN將生成候選框整合入Fast RCNN模型中，取名為區(qū)域生成網(wǎng)絡(luò)(regional proposal networks,RPN),RPN與后續(xù)檢測(cè)共享特征提取網(wǎng)絡(luò)的結(jié)果. RPN通過神經(jīng)網(wǎng)絡(luò)與多次非極大值抑制可以很好地給出潛在目標(biāo)區(qū)域的預(yù)測(cè)，從而達(dá)到較好的準(zhǔn)確率. Faster RCNN的改進(jìn)：掩碼區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Mask region- convolutional neural network,Mask RCNN)[12]是實(shí)例分割的代表，且已被證明在COCO及ImageNet數(shù)據(jù)集上識(shí)別準(zhǔn)確度高于現(xiàn)有算法. Mask RCNN模型的典型應(yīng)用包括醫(yī)學(xué)圖像分割[13]及車道線檢測(cè)等[14].

在模型組成方面，Mask RCNN模型中的特征提取網(wǎng)絡(luò)及特征金字塔網(wǎng)絡(luò)通過空間金字塔池化獲取特征及特征圖，最主要的通過引入Mask分支生成候選框及邊界框，而二者又分別繼承了Faster RCNN和Fast RCNN的技術(shù)優(yōu)勢(shì). 本文基于Mask RCNN模型對(duì)航拍圖像海上船只目標(biāo)進(jìn)行定位并檢測(cè)，改善了霧化圖像難以識(shí)別的問題，使得船只數(shù)量及位置識(shí)別的準(zhǔn)確率都達(dá)到了較高水平.

1 用于船舶檢測(cè)的Mask RCNN模型

基于Mask RCNN模型的船舶檢測(cè)示意如圖1所示. 圖1中Mask RCNN模型的處理過程包括括讀取數(shù)據(jù)并處理、特征提取網(wǎng)絡(luò)提取特征、特征金字塔網(wǎng)絡(luò)(feature pyramid network,FPN)獲取特征圖、RPN網(wǎng)絡(luò)提取感興趣區(qū)域并生成候選框、劃分類別和邊界框以及Mask分支幾部分.

讀取數(shù)據(jù)并處理得到輸入數(shù)據(jù)流，具體為：讀取標(biāo)注文件，生成包含圖片名稱、存儲(chǔ)路徑以及標(biāo)注信息的圖像信息字典；確認(rèn)圖片的存儲(chǔ)路徑正確，圖片分辨率與預(yù)設(shè)相符合，預(yù)處理后的圖片存入圖像信息字典.

特征提取網(wǎng)絡(luò)提取特征，具體為：經(jīng)特征提取網(wǎng)絡(luò)的Stage1到Stage5得特征C1～C5. 其中，Stage1對(duì)輸入圖片進(jìn)行Zero padding即補(bǔ)0；經(jīng)過步長(zhǎng)為2、大小為7×7的卷積核conv，經(jīng)conv卷積之后進(jìn)行批正則化BN加快收斂，再經(jīng)relu激活函數(shù)以及max pooling減少參數(shù)量和過擬合可能. Stage2到Stage5的結(jié)構(gòu)均為conv block后跟若干identity block，Stage4中的identity block數(shù)量為22個(gè)；其中，identity block與conv block的差異是identity block特征圖維度無變化，即identity block不需要在相加前對(duì)輸入進(jìn)行下采樣操作. 從Stage1到Stage5的每一層都會(huì)輸出相應(yīng)的特征圖，且每經(jīng)過一個(gè)Stage，特征圖的尺寸都會(huì)減少1/2；特征提取網(wǎng)絡(luò)輸出C1～C5，是5個(gè)不同大小、不同信息量以及不同目標(biāo)位置準(zhǔn)確度的特征圖，每個(gè)特征圖包含的目標(biāo)信息量更加豐富，然而目標(biāo)位置信息會(huì)更模糊.

FPN獲取特征圖，具體為：C1～C5輸入特征金字塔網(wǎng)絡(luò)(feature pyramid network,FPN)處理后獲得特征圖P2～P6，進(jìn)入RPN獲得邊界預(yù)測(cè)，最后輸出邊界框劃分、分類以及掩碼預(yù)測(cè). 具體為：利用上采樣和側(cè)邊連接生成新的融合各尺度信息的新的特征圖并輸出P2～P6.

RPN網(wǎng)絡(luò)提取感興趣區(qū)域，具體為：首先，RPN在每個(gè)特征點(diǎn)上生成不同比例和大小的感興趣區(qū)域(regional of interest,ROI)；并對(duì)這些ROI進(jìn)行初步分類，然后通過前景分?jǐn)?shù)和極大度值抑制篩選出可信度較高的區(qū)域，生成候選框.

最后，圖1中的ROIAlign將根據(jù)篩選及生成的候選框從原特征圖中重新提取ROI且統(tǒng)一大小，對(duì)于每一個(gè)提取出來的ROI，Mask分支通過全卷積預(yù)測(cè)每一個(gè)像素是否屬于該目標(biāo)，全連接分支預(yù)測(cè)每個(gè)ROI中目標(biāo)所屬的類別和邊界框，最后根據(jù)預(yù)設(shè)的分?jǐn)?shù)閾值將置信度不高的目標(biāo)剔除掉并輸出所有大于預(yù)設(shè)置信度的預(yù)測(cè)目標(biāo).

2 基于Mask RCNN的船舶位置檢測(cè)

在船舶檢測(cè)時(shí)，輸入圖像的長(zhǎng)和寬都不能超過1 024；輸出檢測(cè)結(jié)果，包含預(yù)測(cè)目標(biāo)的可信度和位置；其中，位置通過邊界框和掩碼表示.

2.1 基于數(shù)據(jù)集的預(yù)處理

數(shù)據(jù)集分為訓(xùn)練集和驗(yàn)證集，共包含圖片分辨率為768×768的8 992張圖片. 其中，訓(xùn)練集和驗(yàn)證集的包含圖片的數(shù)量是6 329和2 663，使用VGG圖片標(biāo)注工具(VGG image annotator,VIA)對(duì)數(shù)據(jù)進(jìn)行標(biāo)注，具體記錄了圖片名稱、分辨率、各個(gè)目標(biāo)的面積、位置的RLE編碼以及為每一張圖片和標(biāo)注目標(biāo)分配唯一的ID.

2.2 Mask RCNN模型的訓(xùn)練

① 讀取霧化圖片及標(biāo)注信息；依據(jù)標(biāo)注文件獲取所有圖片的ID，再根據(jù)圖片ID提取所有標(biāo)注信息，為每一張圖片建立一個(gè)信息字典，該字典包含由圖片文件夾路徑和文件名生成的圖片的絕對(duì)路徑以及標(biāo)注信息. 接下來，根據(jù)字典的ID依次讀取每張圖片的字典，獲取圖片的各種信息并進(jìn)行相應(yīng)處理，包括讀取圖片信息(見圖2(a))并將圖片信息轉(zhuǎn)化成一個(gè)固定大小的三維數(shù)組，讀取圖片的每一個(gè)標(biāo)注信息，并進(jìn)行解碼轉(zhuǎn)化成與圖片大小相同的二進(jìn)制掩碼數(shù)組，即目標(biāo)掩碼位置區(qū)域(見圖2(b)2(c))，再根據(jù)該掩碼計(jì)算邊界框位置.

② 進(jìn)行特征提取及融合；將數(shù)據(jù)輸入特征提取網(wǎng)絡(luò)ResNet101進(jìn)行特征提取，先生成32×32、64×64、128×128、256×256以及512×512的特征圖. 并放棄512×512特征圖. FPN對(duì)大小為32×32的特征圖多進(jìn)行一次最大池化生成一個(gè)尺度特征圖.

③ 生成并篩選候選框；FPN得到特征圖后，依據(jù)像素點(diǎn)按長(zhǎng)寬比為0.5、1和2生成anchor框. 再通過前景、背景得分篩選以及非極大值抑制得到預(yù)設(shè)數(shù)量的候選框. 計(jì)算候選框和目標(biāo)重疊度(intersection over union,IOU)值對(duì)anchor框進(jìn)一步篩選得到的候選框. 各層級(jí)特征圖的大小及生成的各類anchor框總數(shù)如表1所示.

表1 各層特征圖形狀與生成anchor框總數(shù)

某像素點(diǎn)在特征圖上生成的anchor框在實(shí)際圖片上的映射如圖3所示.

圖4是一張圖片所生成的各類anchor框，從左往右依此是Positive anchors、Negative anchors以及Neutral anchors. 所述分類標(biāo)準(zhǔn)是與目標(biāo)box的IOU值，其閾值分別是0.7和0.3. 圖中，3種anchor框的數(shù)量分別是2、254以及261 632，且僅隨機(jī)展示了部分Negative anchors和Neutral anchors.

④ 匹配特征圖維度及基于Mask分支預(yù)測(cè)像素點(diǎn)歸屬預(yù)測(cè)；對(duì)RPN輸出的每一個(gè)anchor框進(jìn)行ROIAlign處理，獲得固定大小的針對(duì)每一個(gè)候選目標(biāo)的特征圖. 再對(duì)候選目標(biāo)特征圖進(jìn)行分類、邊界框調(diào)整以及進(jìn)行Mask分支操作，完成區(qū)域內(nèi)部每個(gè)像素點(diǎn)的歸屬預(yù)測(cè).

圖5中，黑框?yàn)閍nchor框，對(duì)應(yīng)右邊為Mask分支處理后的輸出.

3 基于Mask RCNN模型的訓(xùn)練及測(cè)試結(jié)果

本文所述的Mask RCNN網(wǎng)絡(luò)模型訓(xùn)練與測(cè)試的服務(wù)器配置如下：i7-7820X、32 GB內(nèi)存、GPU(1080Ti)以及11 GB顯存. 2張圖片1個(gè)batch，1 000個(gè)step組成1個(gè)epoch，訓(xùn)練了82個(gè)epoch.

3.1 Mask RCNN模型的訓(xùn)練結(jié)果

在Mask RCNN網(wǎng)絡(luò)的訓(xùn)練過程中需計(jì)算預(yù)測(cè)結(jié)果和標(biāo)注值間的損失(即loss)并進(jìn)行反向傳播用于優(yōu)化模型參數(shù). 總loss如圖6(a)所示，組成總loss的五部分組成分別如圖6～圖8所示.

其中，Mask RCNN目標(biāo)邊界框調(diào)整loss如圖6(b)所示、Mask RCNN目標(biāo)分類loss如圖7(a)所示；Mask RCNN像素歸屬loss如圖7(b)所示，RPN對(duì)候選框前景背景判斷l(xiāng)oss如圖8(a)以及RPN提取的邊界框loss如圖8(b)所示. 從圖6～圖8中可看出，各loss隨epoch增加的衰減趨勢(shì)相同.

3.2 Mask RCNN模型的測(cè)試結(jié)果

針對(duì)所搭建模型的邊界框、掩碼質(zhì)量以及船只實(shí)例3種輸出，分別進(jìn)行測(cè)試并設(shè)計(jì)了檢測(cè)標(biāo)準(zhǔn)，如表2所示. 針對(duì)①存在的船只被準(zhǔn)確檢測(cè)出來；②存在的船只沒有被檢測(cè)出來；③不是船只的部分當(dāng)成船只給出檢測(cè)結(jié)果. 根據(jù)這3種情況，用Positive表示預(yù)測(cè)存在的目標(biāo)，Negative表示預(yù)測(cè)不存在的目標(biāo)，用True表示目標(biāo)實(shí)際存在，F(xiàn)alse表示目標(biāo)實(shí)際不存在. 準(zhǔn)確率計(jì)算公式為

準(zhǔn)確率=TP/(TP+FP+TN).

(1)

式中：TP為預(yù)測(cè)正確的實(shí)例數(shù)量；FP為將錯(cuò)誤的實(shí)例預(yù)測(cè)為正確的實(shí)例的數(shù)量；TN為沒有成功預(yù)測(cè)實(shí)際存在實(shí)例的數(shù)量.

表2 目標(biāo)檢測(cè)判定邏輯

采用IOU對(duì)邊界框和掩碼質(zhì)量分別進(jìn)行檢測(cè)來測(cè)試預(yù)測(cè)的船只位置準(zhǔn)確度，然后對(duì)表2中3種情況的所有IOU取平均值，得出的測(cè)試結(jié)果如表3所示.

表3 Mask RCNN模型的測(cè)試結(jié)果表

從表3中Mask RCNN模型的測(cè)試結(jié)果可以看出，實(shí)例識(shí)別準(zhǔn)確度即船只數(shù)量的識(shí)別準(zhǔn)確率為89.86%，邊界框位置準(zhǔn)確度為85.42%，掩碼位置準(zhǔn)確度為81.04%. 在檢測(cè)過程中，漏檢的情況很少，影響實(shí)例識(shí)別準(zhǔn)確率的主要原因是將非目標(biāo)誤檢成了目標(biāo)；影響邊框位置準(zhǔn)確度以及掩碼位置準(zhǔn)確度的原因比較多，比如目標(biāo)特征尤其邊緣特征的提取不夠充分、特征圖和原圖在像素點(diǎn)上的映射誤差以及RPN網(wǎng)絡(luò)提取的ROI池化為固定尺寸的位置信息損失.

4 結(jié) 論

本文將Mask RCNN模型應(yīng)用于海域衛(wèi)星圖片的船只檢測(cè)中，能夠自動(dòng)檢測(cè)觀測(cè)海域中的船只數(shù)量并對(duì)其進(jìn)行定位. 基于構(gòu)建的數(shù)據(jù)集對(duì)搭建的Mask RCNN模型進(jìn)行訓(xùn)練，根據(jù)訓(xùn)練集的表現(xiàn)以及此問題的特點(diǎn)對(duì)模型進(jìn)行修改，提高模型的檢測(cè)準(zhǔn)確度，最后用訓(xùn)練好的模型對(duì)輸入圖片進(jìn)行測(cè)試，并基于設(shè)定的IOU閾值計(jì)算標(biāo)注區(qū)域和檢測(cè)區(qū)域的IOU值對(duì)模型性能進(jìn)行定量評(píng)估. 設(shè)定IOU的閾值為0.5，當(dāng)標(biāo)注目標(biāo)和檢測(cè)目標(biāo)的IOU值大于0.5，認(rèn)為是有效檢測(cè)，計(jì)算所有IOU的平均值獲得準(zhǔn)確度. 經(jīng)測(cè)試：船只數(shù)量檢測(cè)準(zhǔn)確度89.9%，邊界框位置準(zhǔn)確度85.4%，掩碼準(zhǔn)確度81.0%. 驗(yàn)證了該模型的準(zhǔn)確性，實(shí)現(xiàn)了船只數(shù)量以及位置的高精度檢測(cè).