成像衛(wèi)星在軌智能處理技術(shù)研究進(jìn)展

王兆魁，方青云，韓大鵬

(清華大學(xué)航天航空學(xué)院，北京 100084)

0 引 言

近年來，隨著遙感技術(shù)快速發(fā)展，一大批高分辨率、低重訪周期的成像衛(wèi)星不斷涌現(xiàn)，能力不斷增強(qiáng)，在應(yīng)用衛(wèi)星中的地位日益凸顯。目前，遙感技術(shù)已經(jīng)廣泛應(yīng)用到港口與機(jī)場(chǎng)流量監(jiān)測(cè)、交通監(jiān)控與疏導(dǎo)、城市規(guī)劃與建設(shè)等眾多領(lǐng)域。然而，在火災(zāi)監(jiān)測(cè)報(bào)警、海上目標(biāo)搜救和火山、地震自然災(zāi)害評(píng)估等重大緊急任務(wù)中，采用地面離線處理星上傳回?cái)?shù)據(jù)的方法，耗時(shí)長久，會(huì)耽誤抗震救災(zāi)、人員搜救的黃金時(shí)間，因此星上在線處理將成為未來遙感技術(shù)的重要發(fā)展方向。利用人工智能(AI)技術(shù)，使成像衛(wèi)星具備在軌自主判斷態(tài)勢(shì)、識(shí)別對(duì)象、實(shí)現(xiàn)處理與決策的能力并及時(shí)將有效信息傳回地面是完全可能的。

人工智能的目的就是讓機(jī)器也能夠像人一樣思考，去完成以往需要人的智力參與的任務(wù)，把人類從簡單、重復(fù)、枯燥和危險(xiǎn)的工作中解放出來。近年來，大數(shù)據(jù)技術(shù)、高性能處理器的出現(xiàn)，特別是圖形處理器(Graphics processing unit,GPU) 的不斷優(yōu)化升級(jí)，使得以深度學(xué)習(xí)為代表的新一代人工智能所需的海量訓(xùn)練樣本集和大算力的硬件計(jì)算平臺(tái)得到滿足。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域中一個(gè)新的研究方向，相比于傳統(tǒng)以特征工程和模板匹配為代表的機(jī)器學(xué)習(xí)而言，深度學(xué)習(xí)能通過復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)自動(dòng)學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表征層次。在這些學(xué)習(xí)過程中獲得的特征、信息,對(duì)諸如文字，圖像和聲音等數(shù)據(jù)的解釋有很大的幫助，并且效果遠(yuǎn)超之前的相關(guān)技術(shù)。這使得深度學(xué)習(xí)在計(jì)算機(jī)視覺、機(jī)器翻譯、自然語言處理、數(shù)據(jù)挖掘、博弈決策生成等領(lǐng)域中開始接近或超越人類，具備了初步的感知和學(xué)習(xí)能力。在計(jì)算機(jī)視覺領(lǐng)域，2012年AlexNet以絕對(duì)優(yōu)勢(shì)獲取當(dāng)年ImageNet LSVRC分類挑戰(zhàn)賽的冠軍，引發(fā)了學(xué)術(shù)界和工業(yè)界對(duì)卷積神經(jīng)網(wǎng)絡(luò)研究的浪潮，此后網(wǎng)絡(luò)不斷變“深”變“寬”。2015年微軟提出的152層深度殘差網(wǎng)絡(luò)ResNet在分類挑戰(zhàn)賽中取得了錯(cuò)誤率3.57%的成績，首次超過了專業(yè)人員在ImageNet數(shù)據(jù)集上錯(cuò)誤率5.1%的成績。

航天領(lǐng)域是人工智能技術(shù)應(yīng)用最前沿也最具挑戰(zhàn)的領(lǐng)域之一。比如，美國好奇號(hào)火星車通過車載化學(xué)相機(jī)、導(dǎo)航攝像機(jī)以及智能軟件AEGIS就能獨(dú)立完成尋找?guī)r石、土壤樣本的任務(wù)，從而解決了因距離太遠(yuǎn)造成的指令時(shí)間等待漫長的問題。中國嫦娥五號(hào)探測(cè)器通過人工智能技術(shù)對(duì)月球著陸點(diǎn)進(jìn)行自主選擇，在其軟著陸過程中，探測(cè)器會(huì)一直對(duì)著陸地點(diǎn)進(jìn)行掃描，計(jì)算分析是否安全，并做出判斷和決策。根據(jù)航天器的智能化水平大致可以將其分為人工操作、自動(dòng)化、有人地面智能推理、無人地面智能推理、在軌智能推理、自主思考六個(gè)階段。目前大多數(shù)航天器的智能化水平處于其中第二至第四階段，處于這幾個(gè)階段的航天器通常需要通過地面向其發(fā)送任務(wù)指令再開始工作，工作完成后衛(wèi)星將信息傳回地面，最后地面再進(jìn)行分析、處理和回應(yīng)。

對(duì)于成像衛(wèi)星來說，傳統(tǒng)地面參與的方式響應(yīng)慢、時(shí)效性差，特別是對(duì)于災(zāi)害救援、突發(fā)事件監(jiān)控等緊急的任務(wù)。利用在軌智能技術(shù)，成像衛(wèi)星在星上就可以在線識(shí)別特定目標(biāo)，其中對(duì)于一些重要目標(biāo)可以實(shí)時(shí)傳送包括成像時(shí)刻、目標(biāo)經(jīng)緯度、目標(biāo)大小、目標(biāo)屬性、速度以及方向等高價(jià)值信息，可以讓地面做出快速的應(yīng)對(duì)措施。

近年來，世界各國的航天團(tuán)隊(duì)都在向第五階段在軌智能推理努力。2020年9月，歐空局、英特爾公司和西班牙加泰羅尼亞理工大學(xué)合作研制的歐洲第一顆AI地球觀測(cè)衛(wèi)星PhiSat-1成功發(fā)射。PhiSat-1衛(wèi)星上裝備了一合新型高光譜熱像儀HyperScout-2，并借助英特爾的嵌入式AI加速器Movidius Myriad 2來進(jìn)行成像判云操作，相比原來節(jié)約了30%的下行帶寬，顯著降低了鏈路成本，同時(shí)節(jié)省了地面人員大量無效處理時(shí)間。2019年12月，美國洛克希德-馬丁公司設(shè)計(jì)的智能衛(wèi)星“小馬快車1號(hào)” (Pony Express 1)成功發(fā)射，目前該衛(wèi)星正在開展在軌試驗(yàn)，測(cè)試包括軟件定義任務(wù)、多核處理器工作性能及先進(jìn)衛(wèi)星網(wǎng)絡(luò)通信技術(shù)等。洛克希德-馬丁公司還計(jì)劃利用大量智能衛(wèi)星搭建空間云計(jì)算平臺(tái)以實(shí)現(xiàn)空間網(wǎng)狀網(wǎng)絡(luò)通信。

國內(nèi)眾多高校和研究所也正在開展在軌智能有關(guān)研究工作。長光衛(wèi)星技術(shù)有限公司發(fā)射的“吉林一號(hào)”光譜01和02星已經(jīng)開展了艦船、飛機(jī)等目標(biāo)的在軌智能識(shí)別與和監(jiān)測(cè)驗(yàn)證;中科院軟件所發(fā)射的“天智一號(hào)”軟件定義試驗(yàn)衛(wèi)星進(jìn)行了云判讀、高性能計(jì)算、軟件重構(gòu)等多項(xiàng)在軌處理技術(shù)的驗(yàn)證。

1 成像衛(wèi)星在軌智能處理的主要技術(shù)難點(diǎn)

星上處理與地面處理相比，最大的難點(diǎn)在于計(jì)算資源受到衛(wèi)星體積、質(zhì)量、能源及成本的限制。這些限制對(duì)星上智能處理技術(shù)的推廣實(shí)現(xiàn)提出了更加苛刻的要求。因此，需要在保證核心任務(wù)的情況下，根據(jù)其他任務(wù)的重要性進(jìn)行定量分析，從而對(duì)在軌智能處理資源進(jìn)行合理的設(shè)計(jì)與分配。

具體而言，目前成像衛(wèi)星在軌智能的限制主要體現(xiàn)在以下四個(gè)方面：

1)星上計(jì)算資源與衛(wèi)星質(zhì)量、功耗之間存在矛盾。受到衛(wèi)星質(zhì)量和功耗的限制，星上處理單元無法像地面一樣使用大功率、高性能的處理器。有限的計(jì)算能力會(huì)限制星上圖像分類、目標(biāo)檢測(cè)等智能處理算法的準(zhǔn)確率和實(shí)時(shí)性。

2)智能算法仍存在挑戰(zhàn)。成像衛(wèi)星智能處理算法雖然近些年取得了令人矚目的進(jìn)步，但目前在軌智能還有一些挑戰(zhàn)需要克服，比如遙感小目標(biāo)識(shí)別、實(shí)時(shí)性和多源信息融合等。

3)缺少大規(guī)模數(shù)據(jù)集。相比通用自然圖像數(shù)據(jù)集，目前公開遙感數(shù)據(jù)集規(guī)模都偏小，并且遙感圖像的背景復(fù)雜度遠(yuǎn)遠(yuǎn)大于自然圖像。大規(guī)模數(shù)據(jù)集的缺少會(huì)降低算法的魯棒性，使其不能在突發(fā)情況下進(jìn)行準(zhǔn)確判斷，比如雨雪、大霧以及光線偏弱等較為惡劣拍攝環(huán)境。

4)高效能在軌計(jì)算平臺(tái)設(shè)計(jì)困難。設(shè)計(jì)在軌智能計(jì)算平臺(tái)需要在小功率下獲得大算力，還要應(yīng)對(duì)高低溫等空間環(huán)境，因而高效能的在軌計(jì)算平臺(tái)設(shè)計(jì)是一項(xiàng)艱巨的任務(wù)。

總之，成像衛(wèi)星在軌數(shù)據(jù)實(shí)時(shí)處理面臨數(shù)據(jù)量巨大、實(shí)時(shí)性要求高、智能算法復(fù)雜、星上資源少、算力弱的挑戰(zhàn)，高低溫、熱真空、強(qiáng)輻射等空間環(huán)境特性也會(huì)造成一定的困難。此外,諸如智能算法與硬件平臺(tái)的適配問題也亟需解決。硬件優(yōu)化加速主要針對(duì)的是一些通用型的神經(jīng)網(wǎng)絡(luò)，而經(jīng)過軟件算法優(yōu)化的網(wǎng)絡(luò)，其結(jié)構(gòu)會(huì)發(fā)生一定的變化，使其無法充分利用硬件加速庫。

2 成像衛(wèi)星智能處理算法研究進(jìn)展

圖像分類和目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺領(lǐng)域內(nèi)的兩個(gè)重要方向，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，特別是深度卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，取得了突破性的進(jìn)展。其中，目標(biāo)檢測(cè)的任務(wù)難度要大于圖像分類，其算法復(fù)雜度也普遍偏大。這兩類視覺任務(wù)共同的核心關(guān)鍵是特征提取，而深度學(xué)習(xí)能通過復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)和海量的數(shù)據(jù)，自動(dòng)學(xué)習(xí)出最有效的特征，從而避免了傳統(tǒng)方法特征人工設(shè)計(jì)耗時(shí)久、泛化性差的缺點(diǎn)。

2.1 圖像分類

圖像分類算法在成像衛(wèi)星應(yīng)用中主要用于場(chǎng)景分類。場(chǎng)景分類任務(wù)即給定一張圖，判斷其類別，比如機(jī)場(chǎng)、港口、河流、森林、建筑用地等。目前場(chǎng)景分類一般用于國土資源監(jiān)測(cè)、農(nóng)作物測(cè)收、森林覆蓋率統(tǒng)計(jì)等。

光學(xué)遙感圖像場(chǎng)景分類常用的數(shù)據(jù)集包括UC Merced，F(xiàn)unctional Map of the World(fMoW)，BigEarthNet等。其中UC Merced數(shù)據(jù)集是第一個(gè)公開的用于高分辨率遙感圖像場(chǎng)景分類的數(shù)據(jù)集。相比現(xiàn)在的數(shù)據(jù)集，該數(shù)據(jù)集規(guī)模偏小且缺少圖像變化和多樣性。fMoW數(shù)據(jù)集提供63個(gè)細(xì)粒度類別，并包含來自200多個(gè)國家/地區(qū)的超過100萬張圖像。

表1統(tǒng)計(jì)了目前用于場(chǎng)景分類的數(shù)據(jù)集，提供了包括場(chǎng)景類別數(shù)、每類的圖片數(shù)量、數(shù)據(jù)集規(guī)模、圖像空間分辨率、圖像尺寸和數(shù)據(jù)集發(fā)表年份的信息。

表1 場(chǎng)景分類數(shù)據(jù)集統(tǒng)計(jì)Table 1 Image classification data sets

目前，深度卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在大型自然圖像數(shù)據(jù)集上取得了一系列令人矚目的成果。經(jīng)過預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)具備強(qiáng)大的泛化能力，因而可遷移到圖像場(chǎng)景分類用途。比如將VGG、GoogleNet等深度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于光學(xué)遙感圖像場(chǎng)景分類。采用深度學(xué)習(xí)與機(jī)器學(xué)習(xí)相結(jié)合的方式，利用網(wǎng)絡(luò)學(xué)習(xí)得到深度特征，并利用傳統(tǒng)學(xué)習(xí)方法中的支持向量機(jī)、極限學(xué)習(xí)機(jī)等完成分類任務(wù)，最終實(shí)現(xiàn)場(chǎng)景的高精度分類。上述兩者都是基于單一網(wǎng)絡(luò)的深度特征完成的，還可通過融合多個(gè)網(wǎng)絡(luò)的深度特征，增加融合特征的信息，進(jìn)而提高分類性能。

2.2 目標(biāo)檢測(cè)

目標(biāo)檢測(cè)是成像衛(wèi)星應(yīng)用中最為重要技術(shù)之一，它是指利用算法搜索到興趣目標(biāo)并標(biāo)記其類別，主要包括飛機(jī)、艦船、車輛、建筑物和橋梁等。目標(biāo)檢測(cè)在城市規(guī)劃、災(zāi)害檢測(cè)、丟失船只搜尋等領(lǐng)域有著廣泛的作用。同時(shí),近年來高分辨率成像技術(shù)迅猛發(fā)展，WorldView系列、高分系列等成像衛(wèi)星相繼發(fā)射，海量的高分辨圖像為遙感目標(biāo)檢測(cè)技術(shù)發(fā)展帶來了新的機(jī)遇和挑戰(zhàn)。

目前，已經(jīng)有一大批公開的遙感目標(biāo)檢測(cè)數(shù)據(jù)集，它們是目標(biāo)檢測(cè)發(fā)展的重要基石，同時(shí)更大、更具挑戰(zhàn)性的數(shù)據(jù)集的出現(xiàn)也推動(dòng)了目標(biāo)檢測(cè)技術(shù)的發(fā)展。表2給出了一些常用的公開光學(xué)遙感目標(biāo)檢測(cè)數(shù)據(jù)集，并提供了包括目標(biāo)類別、圖像規(guī)模、實(shí)例數(shù)目、空間分辨率、標(biāo)注方式和發(fā)表年份的信息。其中TAS、ORIDS和DLR 3K Vehicle數(shù)據(jù)集用于檢測(cè)車輛。TAS和ORIDS的發(fā)布時(shí)間相對(duì)較久，規(guī)模偏小，圖像質(zhì)量粗糙，由于遙感目標(biāo)具有方向任意性，因此ORIDS數(shù)據(jù)集采用了旋轉(zhuǎn)框?qū)δ繕?biāo)進(jìn)行標(biāo)記;DLR 3K Vehicle則是2015年提出的大規(guī)模高分辨的遙感車輛檢測(cè)數(shù)據(jù)集，其圖像寬度接近6K像素;NWPU VHR-10是被廣泛使用的數(shù)據(jù)集之一，包含飛機(jī)、艦船和車輛等10種興趣目標(biāo);HRSC2016是艦船目標(biāo)檢測(cè)數(shù)據(jù)集,其包括了海上及碼頭等各種場(chǎng)景，并且包含上到航母下到游艇的不同型號(hào)、大小、形狀的各種船只實(shí)例;UCAS-AOD數(shù)據(jù)集用于飛機(jī)和車輛兩種目標(biāo)的檢測(cè);DOTA是目前該領(lǐng)域中最為廣泛采用且最具挑戰(zhàn)性的數(shù)據(jù)集之一,相比之前的數(shù)據(jù)集，DOTA同時(shí)使用水平框和旋轉(zhuǎn)框標(biāo)注，且目標(biāo)實(shí)例數(shù)較多;xView是目前規(guī)模最大、最多樣化的遙感目標(biāo)數(shù)據(jù)集，提供了超過百萬級(jí)的實(shí)例目標(biāo)，數(shù)據(jù)來源于WorldView-3衛(wèi)星拍攝，圖片覆蓋區(qū)域超過1400 km;DIOR數(shù)據(jù)集是最新提出的一個(gè)光學(xué)遙感圖像目標(biāo)檢測(cè)數(shù)據(jù)集，比DOTA數(shù)據(jù)集規(guī)模更大，使用水平框標(biāo)注。雖然DOTA、xView和DIOR數(shù)據(jù)集已經(jīng)是規(guī)模較為龐大的數(shù)據(jù)集了，但是還無法與通用目標(biāo)檢測(cè)領(lǐng)域的代表數(shù)據(jù)集PASCAL VOC和MS COCO比肩。此外，數(shù)據(jù)集的全面性也有待提升。規(guī)模足夠大、全面的數(shù)據(jù)集能夠極大推動(dòng)該領(lǐng)域的發(fā)展，不僅能為模型訓(xùn)練提供充足的樣本支持，也能為各個(gè)模型的評(píng)估和比較提供客觀公正的平臺(tái)。

表2 光學(xué)遙感目標(biāo)檢測(cè)數(shù)據(jù)集Table 2 Optical remote sensing image data sets for object detection

相比可見光，合成孔徑雷達(dá)(SAR)具備透云、夜間觀測(cè)、受光照條件影響小等優(yōu)勢(shì)。自從2017年第一個(gè)公開的專門用于SAR圖像艦船目標(biāo)檢測(cè)的數(shù)據(jù)集SSDD開始，SAR圖像數(shù)據(jù)集不斷地涌現(xiàn)，但目前SAR數(shù)據(jù)集大多是針對(duì)遙感船只檢測(cè)的。后續(xù)還有SSDD+，與SSDD一致一共有1160幅圖像和2456個(gè)艦船，但從原先的水平框標(biāo)注變成旋轉(zhuǎn)框。AIR-SARShip-1.0數(shù)據(jù)集包含31幅圖像，圖像尺寸約為3000×3000，空間分辨率包括1 m 和3 m，場(chǎng)景類型包含港口、島礁、不同等級(jí)海況的海面，目標(biāo)覆蓋運(yùn)輸船、油船、漁船等十余類近千艘艦船。SAR-Ship-Dataset以高分三號(hào)衛(wèi)星SAR數(shù)據(jù)和Sentinel-1衛(wèi)星SAR數(shù)據(jù)為主數(shù)據(jù)源，共采用102景高分三號(hào)和108景Sentinel-1 SAR圖像，共計(jì)43819個(gè)船舶實(shí)例。MSTAR是美國國防預(yù)先研究計(jì)劃局(DARPA)實(shí)測(cè)SAR地面靜止目標(biāo)數(shù)據(jù)集，分辨率0.3 m，包含自行榴彈炮2S1、裝甲偵察車BRDM2、裝甲運(yùn)輸車BTR60、推土機(jī)D7、坦克T62、坦克T72、貨運(yùn)卡車ZIL131、自行高炮ZSU234等軍事目標(biāo)。

除了星上資源少、算力弱、實(shí)時(shí)性要求高的困境外，遙感目標(biāo)檢測(cè)還面臨背景復(fù)雜，目標(biāo)寬范圍變化、方向任意、小目標(biāo)識(shí)別的問題。遙感圖像相對(duì)自然圖片，在數(shù)千米的視野半徑范圍內(nèi)存在各種復(fù)雜背景。這些復(fù)雜背景會(huì)對(duì)檢測(cè)器造成強(qiáng)烈的干擾。由于衛(wèi)星拍攝高度和成像分辨率往往各不相同，即使是同一類物體,本身物理尺寸也可能大小差異巨大，比如空客A380飛機(jī)的長度大約73 m，而小飛機(jī)長度有的只有幾米，因此檢測(cè)器必須能適應(yīng)目標(biāo)寬范圍的尺度變化。由于采用俯視視角，興趣目標(biāo)方向可以是任意的，因而要求檢測(cè)器具備方向魯棒性。此外，遙感圖像中需要檢測(cè)的目標(biāo)大多為小目標(biāo)，雖然目標(biāo)本身物理尺寸可能很大，但相比于幾公里的拍照視野，檢測(cè)目標(biāo)就顯得相對(duì)較小，往往不到整個(gè)畫幅的1%，而目前如何實(shí)現(xiàn)對(duì)小目標(biāo)的精準(zhǔn)識(shí)別是整個(gè)檢測(cè)領(lǐng)域最具挑戰(zhàn)性的問題之一。

與通用的目標(biāo)檢測(cè)模型一樣，基于深度學(xué)習(xí)的遙感目標(biāo)檢測(cè)模型也大致可以分成兩類，雙階段模型架構(gòu)、單階段模型架構(gòu)。圖1展示了兩種模型架構(gòu)的檢測(cè)流程。雙階段檢測(cè)算法將目標(biāo)檢測(cè)分為定位和識(shí)別兩個(gè)過程，相比單階段多了候選區(qū)域生成的步驟，實(shí)際上候選區(qū)域生成相當(dāng)于粗粒度的檢測(cè)，然后再用檢測(cè)頭進(jìn)行精細(xì)檢測(cè)，因而該類算法一般具有更高的檢測(cè)精度，比如R-CNN、Fast R-CNN、Faster R-CNN等檢測(cè)算法等。此外單階段算法,如RetinaNet、SSD、EfficientDet、YOLO等檢測(cè)器，利用回歸思想同時(shí)完成檢測(cè)與識(shí)別，相對(duì)第一類“雙階段”方法更追求一種精度和速度的平衡。表3提供了各類檢測(cè)器在目標(biāo)檢測(cè)MS COCO數(shù)據(jù)集上的測(cè)試結(jié)果，其中檢測(cè)器列括號(hào)內(nèi)的數(shù)字代表測(cè)試圖像輸入尺寸。

圖1 雙階段模型和單階段模型架構(gòu)對(duì)比Fig.1 Comparison of two-stage model architecture and single-stage model architecture

目前最新的YOLOv4、YOLOv5檢測(cè)算法對(duì)原先的YOLO進(jìn)行了大量優(yōu)化，使其在匹配甚至超越雙階段精度的同時(shí)，保持比雙階段算法快十幾倍甚至幾十倍的速度。

在Faster R-CNN中首次提出的錨點(diǎn)機(jī)制雖然目前被廣泛應(yīng)用，但是也存在一些缺點(diǎn)，如針對(duì)不同形狀、大小的目標(biāo)需要設(shè)計(jì)一些超參數(shù)，這些超參數(shù)的值對(duì)最終的精度影響很大。此外，錨點(diǎn)機(jī)制會(huì)產(chǎn)生許多不包含目標(biāo)的負(fù)樣本框，從而導(dǎo)致嚴(yán)重的正負(fù)樣本不平衡問題，同時(shí)大量的錨框增加了在計(jì)算交并比時(shí)計(jì)算量和內(nèi)存占用。針對(duì)這些問題，F(xiàn)COS采用逐像素檢測(cè)的思想，實(shí)現(xiàn)了無錨點(diǎn)的解決方案，并且提出了中心度的思想，同時(shí),在召回率等方面表現(xiàn)接近甚至超過目前很多基于錨點(diǎn)的目標(biāo)檢測(cè)算法。此外著名的無錨點(diǎn)模型還有CenterNet、CornerNet、ExtremeNet等。雖然目前無錨點(diǎn)方法在檢測(cè)中是一個(gè)熱點(diǎn)，但是模型在精度和速度方面還沒超越基于錨點(diǎn)的方法，因此這兩種方法將會(huì)共存很長一段時(shí)間。

表3 目標(biāo)檢測(cè)器在COCO數(shù)據(jù)集上對(duì)比Table 3 Comparison of object detectors on COCO data set

目前，基于候選區(qū)域生成的雙階段算法是遙感目標(biāo)檢測(cè)的常用算法，如AVPN、HRPN、MS-VANs、GlidingVertex和APE等。該類算法大多是在地面的高性能工作站、服務(wù)器上運(yùn)行的，主要關(guān)注的是檢測(cè)精度，而忽略了算法的計(jì)算量、參數(shù)規(guī)模等,往往存在計(jì)算量大、檢測(cè)速度慢的缺陷，因此很難在資源受限、算力較弱的星上處理器上實(shí)現(xiàn)。未來能在星上在軌實(shí)現(xiàn)的智能算法必然需要兼顧精度和速度，因此單階段算法是未來天基遙感、偵察應(yīng)用中較為合適的檢測(cè)器算法。YOLT借鑒YOLO的思想設(shè)計(jì)了新的檢測(cè)模型，旨在能在大范圍的遙感圖像中快速檢測(cè)感興趣目標(biāo)，檢測(cè)速度能夠達(dá)到0.5 km/s以上。R3Det設(shè)計(jì)了特征細(xì)化模塊，通過特征插值實(shí)現(xiàn)特征重構(gòu)和對(duì)齊，緩解了單階段方法中特征未對(duì)齊的問題，精度有了很大提升。作者團(tuán)隊(duì)則提出了一種基于自適應(yīng)殘差空間特征雙向融合模塊的特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)，該模塊融合了多層次、多尺度的語義信息和精細(xì)的空間特征，并能自動(dòng)學(xué)習(xí)出最為有效的特征。實(shí)驗(yàn)結(jié)果表明該模塊能大大增強(qiáng)檢測(cè)器對(duì)寬范圍變化目標(biāo)的檢測(cè)精度，特別是對(duì)小目標(biāo)的檢測(cè)有較大提升。

雖然上述網(wǎng)絡(luò)對(duì)小目標(biāo)有一定的改進(jìn)，但目前遙感小目標(biāo)還是整個(gè)領(lǐng)域的難點(diǎn)，主要原因在于其包含的信息少，并且在網(wǎng)絡(luò)進(jìn)行下采樣時(shí)，信息還會(huì)進(jìn)一步丟失甚至完全丟失，導(dǎo)致檢測(cè)效果差。此外，可見光檢測(cè)還面臨云層遮擋、大霧天氣、夜晚無法工作等問題，這極大限制了檢測(cè)的適用范圍。

3 成像衛(wèi)星在軌智能計(jì)算平臺(tái)

目前專門面向星上使用的人工智能硬件平臺(tái)還未見報(bào)道，已發(fā)射入軌的智能衛(wèi)星使用的也是面向地面通用的人工智能硬件平臺(tái)，比如PhiSat-1搭載的是英特爾的Movidius Myriad 2模塊。

表4統(tǒng)計(jì)了目前國內(nèi)外的一些嵌入式AI硬件平臺(tái)，并提供了AI算力、功耗等信息。英偉達(dá)的AI邊緣計(jì)算產(chǎn)品最多，技術(shù)支持也最完善。英特爾神經(jīng)計(jì)算棒在性能和功耗上的表現(xiàn)都很亮眼，占據(jù)一定的市場(chǎng)。此外還有谷歌的AIY Edge TPU，搭配專門設(shè)計(jì)的深度學(xué)習(xí)框架Tensorflow Lite，達(dá)到了超高的能效比。國內(nèi)也有一些公司設(shè)計(jì)了面向邊緣計(jì)算的硬件產(chǎn)品，比如瑞芯微和寒武紀(jì)等。值得注意的是，英特爾神經(jīng)加速棒、谷歌的AIY Eege TPU和寒武紀(jì)的MLU220-M.2都是外置加速設(shè)備，需要插在樹莓派等開發(fā)平臺(tái)上。

表4 國內(nèi)外邊緣AI硬件平臺(tái)統(tǒng)計(jì)Table 4 Edge AI hardware platform

此外由作者團(tuán)隊(duì)研制的“清華科學(xué)衛(wèi)星”于2020年8月6日成功發(fā)射，星上搭載了在軌智能處理模塊，負(fù)責(zé)星上的圖像分系統(tǒng)。目前該智能模塊已經(jīng)進(jìn)行了多項(xiàng)圖像處理任務(wù)在軌驗(yàn)證,實(shí)現(xiàn)了高效能的智能計(jì)算，在小于10 W的輸入功率時(shí)，能達(dá)到每秒一萬五千億次浮點(diǎn)數(shù)運(yùn)算。經(jīng)過長期空間環(huán)境驗(yàn)證，該模塊能在-30 ℃～90 ℃的工況下穩(wěn)定工作，并支持輕量化檢測(cè)模型實(shí)現(xiàn)實(shí)時(shí)檢測(cè)，為之后的星上智能處理平臺(tái)提供硬件基礎(chǔ)。

太空中高低溫、熱真空、強(qiáng)輻射等環(huán)境特性也超出了地面通用平臺(tái)的設(shè)計(jì)工況，因此通用平臺(tái)在衛(wèi)星上大規(guī)模的采用還需經(jīng)過長時(shí)間的考驗(yàn)。

4 智能算法加速技術(shù)

深度學(xué)習(xí)模型已經(jīng)被廣泛應(yīng)用，但模型“臃腫”，所需算力大，成為制約星上在軌智能實(shí)現(xiàn)的重要因素。深度學(xué)習(xí)的加速技術(shù)就是以“多、快、好、省”為目標(biāo)，嘗試從計(jì)算優(yōu)化、硬件適配優(yōu)化等方面減緩星上處理器負(fù)擔(dān)的同時(shí)，加速算法的推理速度，以便于達(dá)到實(shí)時(shí)性要求。

計(jì)算優(yōu)化主要是尋求精度和速度之間的均衡，在保證模型效果的同時(shí)，盡可能減少模型的計(jì)算量。目前業(yè)界計(jì)算優(yōu)化方法大致可以分為四種，輕量化模型設(shè)計(jì)、模型剪枝、知識(shí)蒸餾和模型量化。

輕量化模型設(shè)計(jì)主要是采用計(jì)算量更小的新型卷積(如MobileNet v1-v3的Depthwise Convolution、Pointwise Convolution，ShuffleNet v1/v2的Group Convolution等)來代替標(biāo)準(zhǔn)卷積。輕量化模型的計(jì)算量通常僅有幾十兆到幾百兆浮點(diǎn)運(yùn)算數(shù)，與傳統(tǒng)的VGG、Inception、ResNet等大型網(wǎng)絡(luò)動(dòng)輒上千兆浮點(diǎn)運(yùn)算數(shù)的計(jì)算量相比有明顯優(yōu)勢(shì)，同時(shí)在一些分類、檢測(cè)等視覺任務(wù)上與大模型的準(zhǔn)確率差距不大。作者團(tuán)隊(duì)利用輕量化網(wǎng)絡(luò)代替原先的主干網(wǎng)，實(shí)現(xiàn)對(duì)遙感興趣目標(biāo)的高效檢測(cè)，在相似精度的前提下，模型參數(shù)縮小了2.5倍，計(jì)算量縮小了3.2倍，內(nèi)存讀寫量縮小了1.8倍，最終使得速度提升了50%～118%。

相比輕量化模型設(shè)計(jì)，模型裁剪通過對(duì)模型本身做“減法”，實(shí)現(xiàn)化大為小。核心思想是在保持剪裁前后模型精度差距不大前提下，設(shè)計(jì)網(wǎng)絡(luò)稀疏化機(jī)制，在某種粒度上篩選掉卷積中冗余的權(quán)重參數(shù)。其本質(zhì)就是在各種粒度下尋找更為稀疏的模型表征，因此模型裁剪算法的關(guān)鍵在于權(quán)重篩選機(jī)制的設(shè)計(jì)以及篩選粒度的選擇上。

模型蒸餾或者知識(shí)蒸餾的目標(biāo)是利用大模型Teacher Network提供的監(jiān)督特征指導(dǎo)幫助小模型Student Network訓(xùn)練學(xué)習(xí)，從而使得小模型既快又準(zhǔn)。知識(shí)蒸餾的關(guān)鍵在于監(jiān)督特征的設(shè)計(jì)，如采用Soft Target所提供的類間相似性，或使用大模型的中間層特征圖或Attention Map作為橋梁，對(duì)小網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

深度學(xué)習(xí)模型在運(yùn)行時(shí),需要進(jìn)行大量的浮點(diǎn)數(shù)乘加運(yùn)算，一般默認(rèn)浮點(diǎn)數(shù)位寬是32bit，但是實(shí)際上完全可以用更低的位寬來量化模型的權(quán)重和特征圖。目前業(yè)界廣泛采用的是16bit和8bit量化，在降低模型運(yùn)行讀寫量的同時(shí)，提高模型的運(yùn)算速度。量化技術(shù)的關(guān)鍵在于如何控制低位寬對(duì)模型帶來的精度損失。

硬件適配優(yōu)化主要是利用推理引擎對(duì)模型進(jìn)行優(yōu)化加速，使AI算法能夠部署到嵌入式平臺(tái)上。目前主流的推理引擎有TensorRT、ncnn、MNN、TVM和TensorFlow Lite等。神經(jīng)網(wǎng)絡(luò)圖優(yōu)化和算子優(yōu)化是推理引擎之所以能對(duì)網(wǎng)絡(luò)進(jìn)行加速的核心關(guān)鍵。TensorRT通過對(duì)層間的橫向或縱向合并，使得神經(jīng)網(wǎng)絡(luò)層數(shù)大幅減少。橫向合并可以把卷積(Convolution)、偏置(Bias)和激活層(ReLU)合并成一個(gè)CBR結(jié)構(gòu)，只占用一個(gè)CUDA核心。縱向合并可以把結(jié)構(gòu)相同，但是權(quán)值不同的層合并成一個(gè)更寬的層，也只占用一個(gè)CUDA核心。合并之后網(wǎng)絡(luò)的計(jì)算圖層數(shù)減少，占用的CUDA核心數(shù)也會(huì)減少，內(nèi)存訪問次數(shù)和訪問量也隨之相應(yīng)下降，因此整個(gè)模型結(jié)構(gòu)會(huì)更小、更快、更高效。使用TensorRT后，一些檢測(cè)算法能達(dá)到幾倍的加速，效果十分客觀。不過TensorRT只能用在英偉達(dá)的設(shè)備上，對(duì)于基于ARM芯片的設(shè)備可以使用國內(nèi)ncnn或者M(jìn)NN推理引擎。相比TensorRT，國產(chǎn)的ncnn和MNN在性能優(yōu)化和算子支持上都存在一定的差距。

計(jì)算優(yōu)化和硬件優(yōu)化仍存在適配問題，硬件優(yōu)化主要是針對(duì)一些通用型的神經(jīng)網(wǎng)絡(luò)，而經(jīng)過計(jì)算優(yōu)化的網(wǎng)絡(luò)，其結(jié)構(gòu)會(huì)發(fā)生一定的變化，從而無法充分利用硬件加速庫。比如經(jīng)過模型剪枝后,網(wǎng)絡(luò)的卷積核通道數(shù)不再是2的指數(shù)次冪，會(huì)造成因編譯器的內(nèi)存對(duì)齊規(guī)則限制而導(dǎo)致的不必要的帶寬損失和算力浪費(fèi)。另外,輕量化網(wǎng)絡(luò)中深度可分離卷積算子在推理引擎中的優(yōu)化程度遠(yuǎn)遠(yuǎn)比不上普通卷積算子。因此,雖然深度可分離卷積算子相比普通卷積能節(jié)省8倍計(jì)算量，但最終的速度反而比不上普通卷積算子。

5 展 望

在軌智能技術(shù)將成為未來成像衛(wèi)星的重點(diǎn)發(fā)展方向，也是提升天基遙感應(yīng)用能力的關(guān)鍵。成像衛(wèi)星遙感信息在軌智能處理還需克服處理數(shù)據(jù)大、識(shí)別精度高、實(shí)時(shí)性強(qiáng)的需求與星上資源受限、算力弱之間的矛盾，此外還需要考慮空間環(huán)境的特殊性。因此現(xiàn)階段成像衛(wèi)星的在軌智能處理需要從智能算法、硬件平臺(tái)和兩者高效結(jié)合三個(gè)方面開展研究性工作。

星上智能算法應(yīng)當(dāng)兼顧速度與精度，使之適應(yīng)弱算力平臺(tái)。由于小目標(biāo)本身包含信息少，再經(jīng)過網(wǎng)絡(luò)下采樣之后，信息還會(huì)進(jìn)一步損失。因此解決這一問題的關(guān)鍵在于盡可能減少小目標(biāo)的信息丟失，并能夠使用一些方法擴(kuò)充其信息表示。此外,多顆成像衛(wèi)星可通過集群飛行、星群組網(wǎng)等方式完成對(duì)同一區(qū)域多波段的監(jiān)測(cè)，這就要求星上智能算法必須能綜合利用多源數(shù)據(jù)。通過有機(jī)地融合這些多源數(shù)據(jù)之間的互補(bǔ)信息，獲取多尺度、多維度的目標(biāo)特征，進(jìn)而在提升檢測(cè)的魯棒性同時(shí)，實(shí)現(xiàn)全天時(shí)、全天候的監(jiān)測(cè)。但如何實(shí)現(xiàn)多源信息之間的高效融合，仍需要不斷探索。

成像衛(wèi)星星上信息處理平臺(tái)可采用專用型智能芯片為主，通用型智能芯片為輔的多核異構(gòu)的計(jì)算架構(gòu)。針對(duì)航天需求優(yōu)化的FPGA芯片或者ASIC芯片等專用型平臺(tái)完成成像衛(wèi)星大部分強(qiáng)實(shí)時(shí)、低功耗需求的日常信息處理任務(wù)，同時(shí)利用CPU、GPU和NPU等通用型平臺(tái)實(shí)現(xiàn)較為龐大的智能算法，更好適應(yīng)復(fù)雜的任務(wù)。還可通過地面軟件上注的方式及時(shí)更新通用平臺(tái)上的智能算法，提升成像衛(wèi)星任務(wù)的靈活性。

智能算法與硬件平臺(tái)的高效結(jié)合是提升衛(wèi)星任務(wù)整體效率的關(guān)鍵。利用緊湊網(wǎng)絡(luò)架構(gòu)、知識(shí)蒸餾、模型剪枝、量化完成極小精度損失條件下模型計(jì)算優(yōu)化。將優(yōu)化后網(wǎng)絡(luò)模型進(jìn)行加速設(shè)計(jì)部署到定制FPGA或者ASIC芯片上，通過神經(jīng)網(wǎng)絡(luò)加速引擎進(jìn)一步提速，滿足計(jì)算實(shí)時(shí)性需求。

6 結(jié)束語

成像衛(wèi)星的在軌智能處理技術(shù)為實(shí)現(xiàn)對(duì)自然災(zāi)害監(jiān)測(cè)、丟失船只搜尋等重大突發(fā)任務(wù)的快速響應(yīng)提供了新思路。星上資源受限、算力弱與智能算法復(fù)雜、實(shí)時(shí)性要求高之間的矛盾是制約成像衛(wèi)星在軌智能處理發(fā)展的主要因素。針對(duì)這些矛盾，本文對(duì)智能算法、硬件平臺(tái)和兩者高效結(jié)合的三個(gè)方面進(jìn)行了系統(tǒng)性分析，小目標(biāo)識(shí)別、云霧及光線干擾、空間環(huán)境特殊、軟硬件優(yōu)化適配是目前面臨的挑戰(zhàn)。未來，星上智能算法應(yīng)當(dāng)兼顧精度與速度，通過信息擴(kuò)充技術(shù)克服小目標(biāo)識(shí)別難題，通過設(shè)計(jì)多源信息高效融合機(jī)制克服可見光檢測(cè)缺陷。另外，星上信息處理平臺(tái)可采用專用型智能芯片為主，通用型智能芯片為輔的多核異構(gòu)的計(jì)算架構(gòu)，在保證日常任務(wù)需求的同時(shí)，提升靈活性。利用定制芯片來適配優(yōu)化后的網(wǎng)絡(luò)，完成算法和硬件的高效結(jié)合，使其最終滿足實(shí)時(shí)性需求。