基于YOLO的非合作衛(wèi)星圖像分割

摘 要：由于空間中失效衛(wèi)星數(shù)量不斷增加，因此需要通過空間對(duì)接完成燃料加注以延長壽命。因?yàn)橐曈X測(cè)量具有實(shí)時(shí)性和經(jīng)濟(jì)性，所以廣泛應(yīng)用于對(duì)接環(huán)節(jié)，但是背景干擾導(dǎo)致視覺測(cè)量精度下降。針對(duì)以上問題，本文以非合作衛(wèi)星的星箭對(duì)接環(huán)和太陽能帆板為顯著目標(biāo)，基于YOLO卷積神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行目標(biāo)檢測(cè)，再采用圖像差分、二值化以及形態(tài)學(xué)操作等方法對(duì)2種目標(biāo)進(jìn)行準(zhǔn)確分割，最后進(jìn)行試驗(yàn)，試驗(yàn)結(jié)果表明目標(biāo)檢測(cè)準(zhǔn)確，圖像分割效果明顯，目標(biāo)圖像中沒有背景干擾，本文方法具有可行性。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；形態(tài)學(xué)操作；圖像分割

中圖分類號(hào)：TP 181；TP 391" " " 文獻(xiàn)標(biāo)志碼：A

隨著人類探索太空的力度不斷增強(qiáng)，太空中的人造衛(wèi)星數(shù)量相應(yīng)增加，因?yàn)槿剂虾谋M，所以失效衛(wèi)星也相應(yīng)增多。失效衛(wèi)星不僅會(huì)占用軌道資源，還會(huì)威脅其他衛(wèi)星的安全。在失效衛(wèi)星中有些是合作衛(wèi)星，其可以提供合作信息，與之相反的是非合作衛(wèi)星，難點(diǎn)是針對(duì)非合作衛(wèi)星的視覺測(cè)量[1]。視覺測(cè)量利用光學(xué)成像得到目標(biāo)的大量信息，例如大小、姿態(tài)等[2]，但是計(jì)算機(jī)不能像人類一樣有強(qiáng)大的識(shí)別能力[3]。張澤[4]采用中值濾波、Canny邊緣檢測(cè)等方法檢測(cè)輪廓，最終的尺寸測(cè)量絕對(duì)誤差在0.26 mm以內(nèi)；He[5]提出將開運(yùn)算和閉運(yùn)算的結(jié)果相減來提取特征的邊緣信息。與傳統(tǒng)方法相比，這些方法效果更加明顯[6]。隨著人工智能的發(fā)展，一些學(xué)者將機(jī)器學(xué)習(xí)引入視覺測(cè)量中，以提高自動(dòng)提取目標(biāo)特征的精度，加快速度[7]。在現(xiàn)有的機(jī)器學(xué)習(xí)方法中，基于深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法應(yīng)用廣泛，提高了目標(biāo)檢測(cè)和圖像分割的效率以及精度[8]。因?yàn)楣庹?、遮擋和背景噪聲等因素?huì)影響視覺測(cè)量，所以精度和速度都會(huì)降低。本研究提出了一種基于YOLOv5的非合作衛(wèi)星圖像分割方法。

1 研究方法

本研究基于卷積神經(jīng)網(wǎng)絡(luò)YOLOv5對(duì)衛(wèi)星的星箭對(duì)接環(huán)和太陽能帆板進(jìn)行目標(biāo)識(shí)別，再分別針對(duì)其特征進(jìn)行圖像分割。

1.1 目標(biāo)檢測(cè)

目標(biāo)檢測(cè)是在圖像或視頻中定位和識(shí)別一個(gè)或多個(gè)目標(biāo)對(duì)象。其目標(biāo)是在圖像中檢測(cè)所有目標(biāo)的位置，并為每個(gè)目標(biāo)分配類別標(biāo)簽。目標(biāo)檢測(cè)不僅要確定在圖像中是否存在目標(biāo)，而且要確定目標(biāo)在圖像中的位置?；诰矸e神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)是常用方法。目標(biāo)檢測(cè)的輸入是整個(gè)圖像，輸出是目標(biāo)的位置和類別標(biāo)簽。

1.1.1 數(shù)據(jù)集創(chuàng)建

本文的相機(jī)采用Lt-C4040/Lt-M4040型號(hào)的CCD灰度相機(jī)；鏡頭采用Basler Lens C11-0824-12M-P型號(hào)鏡頭。根據(jù)任務(wù)要求搭建等比例縮小的衛(wèi)星模型，如圖1所示。使用相機(jī)拍攝衛(wèi)星模型，在拍攝過程中需要不斷改變衛(wèi)星與相機(jī)的距離和旋轉(zhuǎn)角度。將拍攝的非合作衛(wèi)星圖像導(dǎo)入圖片標(biāo)注工具Labelimg中，繪制外接矩形框，標(biāo)注該矩形框?qū)?yīng)的目標(biāo)名稱。本文共制作809張圖像作為數(shù)據(jù)集，用于后續(xù)卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和學(xué)習(xí)。

1.1.2 模型訓(xùn)練

將數(shù)據(jù)集導(dǎo)入YOLOv5中進(jìn)行模型訓(xùn)練。本次訓(xùn)練使用英偉達(dá)RTX3090顯卡，PyTorch1.10.0GPU，CUDAv10.2。在訓(xùn)練前設(shè)置以下訓(xùn)練參數(shù)：訓(xùn)練輪次（epochs）為700；訓(xùn)練集比例（train）為0.8，驗(yàn)證集比例（val）為0.2；單次迭代樣本數(shù)（batch-size）為16。YOLOv5可以輸出檢測(cè)目標(biāo)方框位置大小的txt文件，即標(biāo)簽信息（如圖2所示）。在圖2中，第一列為目標(biāo)標(biāo)簽名稱，第二列、第三列分別為目標(biāo)在圖像中所在方框的橫、縱坐標(biāo)，第四列、第五列分別為方框的寬度和高度。

1.2 圖像分割

在視覺領(lǐng)域中，須先得到圖像目標(biāo)的有效信息，才能對(duì)目標(biāo)進(jìn)行特征點(diǎn)提取、特征匹配和位姿估計(jì)等操作，由于YOLOv5檢測(cè)后并不能完全剔除目標(biāo)附近的雜亂背景，因此需要分割圖像，得到不包括背景干擾的目標(biāo)圖像，便于后續(xù)圖像處理準(zhǔn)確、高效地獲得目標(biāo)的有效信息。文獻(xiàn)[3]使用了K-Means顏色聚類的方法對(duì)非合作航天器進(jìn)行圖像分割，由于本文使用的相機(jī)為灰度相機(jī)，所拍攝的圖像均為灰度圖像，因此不能使用K-Means顏色聚類方法。本文基于YOLO目標(biāo)檢測(cè)對(duì)不同目標(biāo)各提出了一種新的圖像分割方法。選取衛(wèi)星上2個(gè)常見特征進(jìn)行分割，即星箭對(duì)接環(huán)代表的圓形目標(biāo)，以及太陽能帆板代表的矩形目標(biāo)。本文設(shè)計(jì)的圖像分割代碼均在Matlab2021a上運(yùn)行。

1.2.1 圓形目標(biāo)分割

因?yàn)樾羌龑?duì)接環(huán)總是獨(dú)立出現(xiàn)，而且圓形特征與其他特征相差較大，所以比較容易識(shí)別。對(duì)圓形目標(biāo)來說，可以近似認(rèn)為方框的形心為星箭對(duì)接環(huán)的中心（圓心），操作步驟包括以下3個(gè)。1）根據(jù)標(biāo)簽信息計(jì)算方框的中心點(diǎn)，即形心，將該點(diǎn)設(shè)為圓心。2）根據(jù)標(biāo)簽信息計(jì)算方框?qū)捀咦钚≈档囊话霝閳A的半徑。3）根據(jù)前2個(gè)步驟得到的圓心和半徑畫圓，圓的內(nèi)部保留原圖，外部創(chuàng)建黑色掩膜，將所有像素點(diǎn)灰度值賦值為0，這樣可以免于識(shí)別圖像特征，快速得到星箭對(duì)接換的圖像。

1.2.2 矩形目標(biāo)分割

太陽能帆板在衛(wèi)星旋轉(zhuǎn)過程中會(huì)不斷改變姿態(tài)，傳統(tǒng)的方法計(jì)算量較大，當(dāng)直線檢測(cè)時(shí)直線斜率不斷變化且可能存在無窮大等情況，為了解決以上問題，本文提出以下6種矩形目標(biāo)分割方法。

1.2.2.1 圖像差分

在2個(gè)衛(wèi)星靠近的過程中，灰度相機(jī)會(huì)不斷采集圖像，衛(wèi)星模型會(huì)不斷模擬失效衛(wèi)星的運(yùn)動(dòng)，因此當(dāng)連續(xù)采集的圖像之間的時(shí)間間隔很短時(shí)，背景的差異也非常小，可以直接對(duì)前后2幀圖像做絕對(duì)差，得到較為粗糙的差分圖像。這樣能夠剔除圖像中不變的信息，避免對(duì)背景圖像建模。根據(jù)目標(biāo)檢測(cè)得到的標(biāo)簽信息，保留標(biāo)簽對(duì)應(yīng)的目標(biāo)方框的內(nèi)部像素點(diǎn)，將方框外部圖像的灰度值賦值為0，此時(shí)，圖像中的有效信息僅為保留的部分圖像。將經(jīng)過以上處理的連續(xù)2幀圖像進(jìn)行差分，得到差分圖像。

1.2.2.2 中心遮擋

星箭對(duì)接環(huán)在衛(wèi)星本體上，太陽能帆板對(duì)稱地分布在本體兩側(cè)，星箭對(duì)接環(huán)和衛(wèi)星本體會(huì)對(duì)太陽能帆板的圖像分割造成強(qiáng)烈干擾。由于上個(gè)步驟的差分圖像仍然保留星箭對(duì)接環(huán)的部分信息，因此利用星箭對(duì)接環(huán)的標(biāo)簽信息將衛(wèi)星本體部分的灰度值賦值為0，創(chuàng)建全黑掩膜來遮擋星箭對(duì)接環(huán)和本體部分。

1.2.2.3 二值化

適當(dāng)選取閾值，獲得反映圖像整體和局部特征的二值圖像。所有灰度大于或等于閾值的像素屬于特定物體，設(shè)置其灰度值為255；灰度小于閾值，灰度值為0。使用大津法（OTSU）自動(dòng)確認(rèn)圖像最佳閾值，對(duì)圖像進(jìn)行二值化，得到對(duì)比度明顯的二值化圖像，為后續(xù)工作做好準(zhǔn)備。如圖3（a）所示。

1.2.2.4 連通域分析

連通域（Connected Component）是圖像中由像素值相同且位置相鄰的前景像素點(diǎn)組成的圖像區(qū)域。連通區(qū)域分析（Connected Component Analysis，Connected Component Labeling）是找出并標(biāo)記二值圖像中的各連通域。對(duì)此時(shí)的圖像進(jìn)行連通域分析，即標(biāo)記圖像中連續(xù)區(qū)域，得到各連通域的大小等信息，刪除較小的連通域，繪制其余連通域的最小外接矩形框。

1.2.2.5 膨脹

膨脹為形態(tài)學(xué)操作，在圖像處理中的主要作用是擴(kuò)充物體邊界點(diǎn)。膨脹操作能夠使目標(biāo)增大，可填補(bǔ)目標(biāo)中的空洞。本文使用7 px×7 px大小的矩形結(jié)構(gòu)元素，這樣做會(huì)使圖像里的連通域輪廓擴(kuò)大得較為明顯，但是可以有效填充一些裂縫和空洞，免于孔洞填充操作。矩形結(jié)構(gòu)較大也為后續(xù)畫矩形框留有一定的容錯(cuò)空間。

1.2.2.6 連通域選擇

因?yàn)樾l(wèi)星旋轉(zhuǎn)導(dǎo)致背景有細(xì)微變化，所以此時(shí)在圖像中還存在2個(gè)連通域，如圖3（b）所示。其中，1個(gè)連通域?yàn)楸尘案蓴_，由于干擾面積遠(yuǎn)小于所需要的目標(biāo)面積，因此要先選中連通域面積最大的區(qū)域。再次進(jìn)行連通域分析，此時(shí)保留最大連通域，說明該連通域?yàn)樘柲芊宓耐膺吔?。畫出該連通域的最小外接矩形框。

2 試驗(yàn)與分析

2.1 目標(biāo)檢測(cè)試驗(yàn)

對(duì)衛(wèi)星模型采集圖像來說，使用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行目標(biāo)檢測(cè)試驗(yàn)，測(cè)試目標(biāo)為星箭對(duì)接環(huán)和太陽能帆板。星箭對(duì)接環(huán)參與試驗(yàn)130次，太陽能帆板參與試驗(yàn)160次，目標(biāo)檢測(cè)結(jié)果如圖4所示。從圖4可以看出，目標(biāo)檢測(cè)效果非常穩(wěn)定，檢測(cè)成功率約為97%，也能確定目標(biāo)所在位置的方框。

本文置信度的計(jì)算過程如公式（1）所示。

S= Ne/N" " " " " （1）

式中：S為置信度 ；Ne為成功次數(shù)；N為測(cè)試次數(shù)。

根據(jù)表1可以計(jì)算目標(biāo)檢測(cè)的置信度，計(jì)算結(jié)果如下。星箭對(duì)接環(huán)平均置信度96.92%，太陽能帆板平均置信度94.37%，兩者綜合平均置信度95.51%。從表1可以看出，由于具有旋轉(zhuǎn)不變性，因此圓形目標(biāo)的檢測(cè)置信度極高，矩形目標(biāo)檢測(cè)效果略低，但是置信度也超過94%，該試驗(yàn)驗(yàn)證了本文制作的數(shù)據(jù)集的完備性以及卷積神經(jīng)網(wǎng)絡(luò)模型的可靠性。成功檢測(cè)目標(biāo)，YOVOv5都會(huì)輸出目標(biāo)對(duì)應(yīng)的標(biāo)簽信息。

2.2 圖像分割試驗(yàn)

根據(jù)目標(biāo)檢測(cè)的標(biāo)簽信息，針對(duì)圓形目標(biāo)和矩形目標(biāo)使用對(duì)應(yīng)的方法進(jìn)行圖像分割試驗(yàn)。使用本文提出的方法可以對(duì)星箭對(duì)接環(huán)和太陽能帆板進(jìn)行圖像分割，圓形目標(biāo)分割圖像前后對(duì)比如圖5所示，矩形目標(biāo)分割圖像前后對(duì)比如圖6所示。從圖5和圖6的分割對(duì)比結(jié)果來看，圖像分割的效果非常明顯，特別是太陽能帆板外側(cè)的雜亂背景完全剔除，只保留了帆板的信息，在星箭對(duì)接環(huán)的圖像分割過程中，因?yàn)樗俣榷鴵p失了一些精度，但是也較大程度地完成了圖像分割。該試驗(yàn)驗(yàn)證了本文的分割方法的可行性，在無人工介入的情況下完成了全自動(dòng)的圖像分割任務(wù)。

3 結(jié)語

本研究提出了一種基于YOLO的非合作衛(wèi)星圖像分割方法，旨在減少背景對(duì)目標(biāo)的干擾，降低后續(xù)圖像處理、特征提取等步驟的操作難度，對(duì)推動(dòng)非合作衛(wèi)星的視覺測(cè)量有積極意義。

參考文獻(xiàn)

[1]翟光，張景瑞，周志成.靜止軌道衛(wèi)星在軌延壽技術(shù)研究進(jìn)展[J].宇航學(xué)報(bào)，2012，33（7）：849-859.

[2]原彬理.基于雙目立體視覺的普通工件圖像匹配與定位[D].哈爾濱：哈爾濱理工大學(xué)，2018.

[3]黃侃.基于雙目視覺的非合作航天器結(jié)構(gòu)識(shí)別與位姿測(cè)量[D].北京：北京理工大學(xué)，2021.

[4]張澤，楊澤民，徐典興，等.基于雙目視覺的化學(xué)銑削零件輪廓測(cè)量[J].組合機(jī)床與自動(dòng)化加工技術(shù)，2022（2）：54-58.

[5]HE Y B， ZENG Y J， CHEN H X， et al.Research on improved edge"extraction algorithm of rectangular piece[J]. International Journal of modern physics C，2018，29（1）：1850007.

[6]DU X， LIANG B， XU W， et al.Pose measurement of large non-cooperative satellite based on collaborative cameras[J].Acta Astronautica，2011， 68（11-12）：2047-2065.

[7]DU H， HU H， WANG D， et al.Autonomous measurement and semantic segmentation of non-cooperative targets with deep convolutional"neural networks[J].Journal of Ambient Intelligence and Humanized Computing，2023，14（6）：6959-6973.

[8]WANG J， ALSHAHIR A， ABBAS G， et al.A deep recurrent learning-based region-focused feature detection for enhanced target"detection in multi-object media[J].Sensors，2023，23（17）：7556.