載人飛船圖像系統(tǒng)優(yōu)化設計及驗證

龍吟 王琰 黃才 吳慶學 孫斌 鄭璧青 李豐

(1 北京空間飛行器總體設計部,北京 100094)(2 上海航天電子技術研究所,上海 201109)

載人飛船執(zhí)行任務過程中,地面需要實時獲取艙內(nèi)外圖像,以確認航天員的工作過程和身體狀況,艙外太陽翼展開及捕獲太陽情況,交會對接過程中的目標飛行器的十字靶標等重要信息。載人飛船通過配置圖像系統(tǒng)實現(xiàn)對艙內(nèi)外圖像的實時獲取,并經(jīng)過壓縮編碼后通過測控鏈路傳回地面進行視頻恢復,實現(xiàn)地面對載人飛船艙內(nèi)及艙外的實時觀測[1-3]。

由于運載火箭的約束,載人飛船的結(jié)構(gòu)、能源、帶寬等資源受限,不支持高帶寬的高清圖像傳輸,“國際空間站”[4]和天宮空間站、天舟貨運飛船及運載火箭[5-8]的圖像系統(tǒng)設計,無法直接應用于載人飛船?？紤]到載人飛船的任務需求和平臺資源,為進一步提升載人飛船圖像傳輸質(zhì)量,提出一種低帶寬高質(zhì)量圖像系統(tǒng)優(yōu)化設計,通過對載人飛船上視頻壓縮算法改進和地面圖像增強,實現(xiàn)在目前艙體結(jié)構(gòu)和傳輸帶寬資源約束下載人飛船圖像傳輸質(zhì)量的提升。

1 圖像系統(tǒng)優(yōu)化設計

首先,對執(zhí)行天地往返運輸任務的載人飛船圖像傳輸任務進行需求分析。一方面,地面需要實時獲取艙內(nèi)航天員的工作及生活狀況;另一方面,地面需要獲取艙外太陽翼的展開工作情況,以及交會對接過程中目標飛行器的圖像。對上述功能要求進行分解,結(jié)合載人飛船的艙體構(gòu)型及測控體制等基本方案,載人飛船圖像系統(tǒng)應滿足以下要求。

(1)具備對返回艙及軌道艙內(nèi)、推進艙及軌道艙外、航天員手持攝像機視場內(nèi)圖像的攝取及壓縮編碼功能,同一時刻最多有6路圖像輸出,通過指令切換從6路圖像中選擇2路進行編碼下傳。

(2)通過對地數(shù)傳及中繼衛(wèi)星下行,傳輸帶寬不超過768kbit/s(含伴音)。

(3)載人飛船整體方案沿用約束下,受測控體制及信道制約,在現(xiàn)有條件下,以盡量小的代價對現(xiàn)有載人飛船的圖像質(zhì)量進行提升。

載人飛船圖像系統(tǒng)由載人飛船上部分和地面部分組成(見圖1)。載人飛船上部分包括圖像編碼器、返回艙攝像機、軌道艙攝像機、手持攝像機、制導導航與控制(GNC)TV攝像機、TV光瞄攝像機、推進艙外攝像機、圖像二次電源和圖像切換器。地面部分包括地面測控站、圖像解碼設備和圖像顯示設備。優(yōu)化后的圖像系統(tǒng)見圖2。

注:PAL-D為逐行倒相-D。圖1 神舟十二號載人飛船圖像系統(tǒng)示意Fig.1 Schematic diagram of Shenzhou-12 manned spacecraft’s image system

圖2 優(yōu)化后的載人飛船圖像系統(tǒng)示意Fig.2 Schematic diagram of optimal manned spacecraft’s image system

以神舟十二號載人飛船圖像系統(tǒng)為技術基線,優(yōu)化后的圖像系統(tǒng)有如下變化。①圖像編碼器的編碼方式更新,輸出圖像分辨率從352×288像素升級為704×288像素;②圖像編碼器從僅支持雙幅工作模式變?yōu)橥瑫r支持單幅及雙幅工作模式;③地面部分增加了地面圖像增強系統(tǒng)。

1.1 攝像機及切換器設計

攝像機的配套數(shù)量、功能性能及接口指標完全繼承神舟十二號載人飛船設計,攝像機完成圖像的攝取功能,首先對拍攝需求進行分析,根據(jù)需求對攝像機視場角、攝像照度、白平衡、最低照度等指標進行設計。分析圖像的亮度變化特點,制定相應的測光方式;按照應用場景的亮度合理選擇最低照度;根據(jù)攝像機的拍攝位置確定攝像距離和相應清晰度。根據(jù)任務需求,配置6臺攝像機,分別獲取艙內(nèi)、艙外及手持拍攝的實時畫面。結(jié)合航天器的艙體結(jié)構(gòu)布局及拍攝視場要求,返回艙攝像機、軌道艙攝像機和推進艙外攝像機的主要設計指標詳見表1。

表1 攝像機主要指標Table 1 Main indicators of cameras

配置圖像切換器,通過指令切換艙內(nèi)外圖像4選2或4選1送圖像編碼器下傳,同時將各路圖像送出給儀表分系統(tǒng)。配置圖像二次電源,為返回艙和軌道艙攝像機及圖像切換器供電。

1.2 圖像編碼設計

圖像編碼方式主要包括國際標準化組織(ISO)/國際電工委員會(IEC)的建議標準MPEG系列[9](如MPEG-1,MPEG-2,MPEG-4),主要用于數(shù)字電視廣播、DVD和視頻流媒體等,以及國際電信聯(lián)盟電信標準分局(ITU-T)的建議標準H.26X系列(如H.261,H.263,H.264,H.265),主要用于實時視頻通信,如視頻電視會議、可視電話。

考慮傳輸帶寬等約束,圖像編碼器采用MPEG-4標準,編碼算法采用ISO/IEC 14496-2,在設備內(nèi)部的2塊數(shù)字信號處理器(DSP)實現(xiàn),分別對輸入的2幅圖像進行壓縮編碼。神舟十二號載人飛船的圖像編碼設計方案,通過對PAL-D視頻輸入信號進行模擬/數(shù)字(A/D)變換后,采用MPEG-4算法完成圖像壓縮編碼,輸出幀率為25幀/秒分辨率為352×288像素的CIF格式圖像。

MPEG-4是基于混合編碼的方案,具體編碼原理見圖3。MPEG-4基本編碼結(jié)構(gòu)包括形狀編碼、運動補償和紋理編碼。在算法工具中,對于運動估計,采用全局運動補償、2維三角網(wǎng)格預測和亞像素預測;對于幀紋理編碼,采用小波變換、3維-離散余弦變換(DCT)、重疊變換、高級的幀內(nèi)編碼和可變塊尺寸的DCT;對于任意形狀區(qū)域紋理編碼,采用貼補DCT、形狀自適應DCT、延拓/內(nèi)插DCT、小波/子帶編碼和中值替換DCT;對于形狀編碼,采用幾何變換、形狀自適應區(qū)域分割和可變塊尺寸分割。

相對于神舟十二號載人飛船的圖像編碼方案,優(yōu)化后的方案具有以下變化。

(1)圖像的分辨率是決定圖像質(zhì)量的直接因素。幀率表示每秒圖像幀的數(shù)量,高幀率可以得到更流暢的畫面,同時需要更多的傳輸開銷。傳輸帶寬正比于單幅圖像的分辨率和幀率的乘積。載人飛船返回艙和軌道艙攝像機主要拍攝對象為航天員及艙內(nèi)結(jié)構(gòu)及物體,航天員在載人飛船內(nèi)部絕大多數(shù)時間處于束縛狀態(tài),艙內(nèi)結(jié)構(gòu)則為靜止狀態(tài)。載人飛船推進艙外攝像機拍攝對象主要為太陽翼及交會對接過程中的目標飛行器,單獨飛行過程中,視場內(nèi)物體絕大多數(shù)時間為靜止狀態(tài),交會對接過程中,僅當目標飛行器處于可見視場時,視場內(nèi)物體為運動狀態(tài),并且運動速度為低速。綜上考慮,為進一步提升圖像質(zhì)量,優(yōu)化后系統(tǒng)仍然采用MPEG-4編碼方式,將圖像分辨率從352×288像素提升為704×288像素,同時將幀率從25.0幀/秒降低為12.5幀/秒,從而保證在現(xiàn)有傳輸帶寬不變的前提下,圖像分辨率的翻倍升級,同時,圖像幀率降低并不會導致視場內(nèi)圖像的運動特性顯著下降,滿足實際使用需求。采用里德-所羅門(RS)糾錯編碼RS(255,239),為保證解碼器快速恢復圖像,編碼器應定時進行幀內(nèi)編碼刷新。圖像編碼器原理如圖4所示。

(2)圖像編碼器從僅支持雙幅圖像編碼,變?yōu)榧嫒葜С謱畏鶊D像和雙幅圖像進行編碼。這樣做的好處是,當需要進一步提升圖像質(zhì)量時,例如待發(fā)段地面需要清晰觀測返回艙內(nèi)航天員圖像,圖像編碼器從雙幅工作模式切換為單幅工作模式,這樣能獲得多1倍的信道資源,量化參數(shù)值降低,圖像可以保留更多的高頻分量,在圖像編碼算法不變的前提下,輸出的圖像會更加清晰。在雙幅模式下,信道壓力更大,根據(jù)調(diào)整邏輯,編碼圖像必須壓得更小,那么量化參數(shù)值必定更大以排除掉更多的高頻分量,因此看上去雙幅工作模式相較于單幅工作模式的圖像將更模糊。根據(jù)測試結(jié)果,在普通復雜的場景下(實驗室環(huán)境),單幅工作模式時一般I幀量化參數(shù)值穩(wěn)定在4～5;雙幅工作模式時I幀量化參數(shù)值一般穩(wěn)定在9～13。

圖像編碼數(shù)據(jù)并與話音數(shù)據(jù)復接組幀。編碼采用768kbit/s的H.221單模式幀結(jié)構(gòu),每2幀構(gòu)成1個子復幀,這2幀分別稱為偶幀和奇幀。偶幀時,幀定位控制信號(FAS)發(fā)送1BH;奇幀時,FAS發(fā)送4FH。

圖像及伴音幀格式按照H.221幀結(jié)構(gòu)組幀,見圖5。地面從H.221幀結(jié)構(gòu)中提取圖像數(shù)據(jù),并恢復圖像幀結(jié)構(gòu),見圖6。其中:A表示填充的話音數(shù)據(jù);V表示圖像編碼及RS糾錯編碼后的數(shù)據(jù);BAS為比特率分配控制信號,用于標志單幅、雙幅狀態(tài),標志字為00H傳送單幅圖像,為FFH傳送雙幅圖像。

圖5 圖像及伴音幀格式Fig.5 Frame format of image and audio

圖6 圖像幀結(jié)構(gòu)示意Fig.6 Image frame structure

按照H.221建議,幀結(jié)構(gòu)具有8kHz結(jié)構(gòu)特性。在1個8kHz的周期(125μs)內(nèi),線路速率為768kbit/s,共有96bit。編碼數(shù)據(jù)組H.221幀按照先縱入后橫出方式實施。H.221幀結(jié)構(gòu)的第1路和第2路在單幅圖像和雙幅圖像工作模式下傳輸?shù)?路話音,第3路和第4路在雙幅圖像工作模式下傳輸?shù)?路話音。

1.3 地面圖像增強系統(tǒng)設計

相對于神舟十二號載人飛船圖像系統(tǒng)的地面部分,優(yōu)化后的圖像系統(tǒng)在地面解碼和地面顯示之間增加了地面圖像增強系統(tǒng)(如圖7所示)。地面圖像增強系統(tǒng)主要分為:上游低質(zhì)量YUV圖像格式轉(zhuǎn)換可攜式網(wǎng)絡圖像(PNG);深度網(wǎng)絡數(shù)據(jù)預處理;基于深度網(wǎng)絡的低質(zhì)量視頻增強;增強后的PNG轉(zhuǎn)換YUV。

圖7 地面圖像增強系統(tǒng)原理Fig.7 Principle of ground image enhancement system

YUV顏色空間常用于彩色電視系統(tǒng)中,其原理是得到的彩色圖像的信號經(jīng)過分色處理,然后分別放大校正轉(zhuǎn)化為RGB顏色空間中的R,G,B上那個分量,經(jīng)過矩陣電路轉(zhuǎn)換,最后獲得亮度信號Y和2個色差信號R-Y,B-Y即表示為U,V。YUV顏色空間中亮度信號Y和色度信號U,V是分離的,如果輸出信號中只有Y信號分量,則可表示彩色圖像的灰度圖像。YUV顏色空間的優(yōu)點為:表現(xiàn)出來的彩色圖像更符合人類的視覺特性;被廣泛地用在圖像和視頻編碼標準中,在邊緣檢測算法過程中可以避免格式轉(zhuǎn)換所耗費的計算量。

PNG是起源于網(wǎng)絡應用的圖像,PNG格式所采用的LZ77派生壓縮算法,完全支持多種不同位數(shù)的圖像壓縮存儲,相比使用有損壓縮算法犧牲圖像質(zhì)量來獲得大的圖像數(shù)據(jù)壓縮比率的JPEG格式,PNG格式是一種采用無損壓縮算法的位圖格式,能夠?qū)崿F(xiàn)壓縮存儲圖像經(jīng)過解壓縮算法無損還原。正是由于以上技術優(yōu)勢,PNG格式的圖像技術在現(xiàn)在的網(wǎng)絡媒體及相關應用中得到了廣泛使用,成為圖像存儲的主流技術。

地面圖像增強系統(tǒng)主要工作流程如下。①將接收到的低質(zhì)量YUV數(shù)據(jù)進行格式轉(zhuǎn)換,得到對應的低質(zhì)量待增強的圖像數(shù)據(jù)。②對這些待增強圖像數(shù)據(jù)進行深度網(wǎng)絡預處理生成網(wǎng)絡流數(shù)據(jù),并送入預先開發(fā)部署好的深度網(wǎng)絡中進行質(zhì)量增強,達到低質(zhì)量視頻增強視覺感受的目的。③將質(zhì)量增強后的圖像再次送入轉(zhuǎn)換器,得到Y(jié)UV格式的數(shù)據(jù),用于下游播放設備的播放。通過地面圖像增強系統(tǒng),解決經(jīng)過編碼傳輸后視頻分辨率低、壓縮噪聲大、運動模糊嚴重的問題,對低質(zhì)量視頻進行主觀上的質(zhì)量增強,提升用戶視覺體驗與觀看效果。

2 實例驗證

搭建載人飛船圖像系統(tǒng)的試驗驗證平臺,如圖8所示。用返回艙攝像機的電性件作為視頻采集裝置,通過一分二的方式將PAL-D信號接入更新圖像編碼算法的圖像編碼器電性件,圖像編碼器根據(jù)遙控指令切換單幅及雙幅工作模式,分別輸出單幅和雙幅圖像至地面測試設備,地面測試設備最后將解碼后的圖像送入地面圖像增強系統(tǒng),進一步提升圖像質(zhì)量。圖像質(zhì)量的評價手段分為主觀評價和客觀評價。主觀評價是直接通過人員感受圖像質(zhì)量的清晰度,客觀評價采用峰值信噪比(PSNR)的指標進行評估,是一種評價圖像的客觀標準。

圖8 載人飛船圖像系統(tǒng)測試平臺Fig.8 Test platform for image system of manned spacecraft

2.1 載人飛船上圖像增強驗證

更改前,無單幅模式,在雙幅模式下,圖像編碼處理軟件進行分辨率352×288像素、幀率25.0幀/秒、輸出碼率300kbit/s的MPEG-4編碼。更改后,在雙幅模式下,將圖像編碼處理軟件的分辨率改為704×288像素,幀率改為12.5幀/秒,碼率為300kbit/s;在單幅模式下,將圖像編碼處理軟件的分辨率改為704×288像素,幀率改為12.5幀/秒,碼率改為600kbit/s。更改圖像編碼器DSP軟件后,圖像方塊效應減弱,黑白條測試圖像清晰度明顯提高,圖像動態(tài)適應性滿足要求,從主觀上看圖像質(zhì)量有較明顯改善。對解碼后的圖像和原始圖像的PSNR進行比對,結(jié)果如表2所示。

表2 載人飛船上更改前后PSNR比對Table 2 PSNR comparison before and after on-board upgrade

從表2中可以看出:在實驗室環(huán)境下,圖像編碼器DSP軟件修改編碼器參數(shù),將輸入圖像的分辨率由352×288像素改為704×288像素,幀率由原來的25.0幀/秒改為12.5幀/秒后,在雙幅模式下,PSNR約能提升2.000dB;在單幅模式下,PSNR約能提升1.800dB。這與主觀評價的效果一致。

采用實驗室圖像,進行載人飛船上增強前后的對比,分別如圖9和圖10所示,圖像方塊效應減弱,黑白條測試圖像清晰度明顯提高,從主觀上圖像質(zhì)量有較明顯改善。

圖9 更改前雙幅模式編碼圖像Fig.9 Primary double-mode encoded image

圖10 更改后單幅模式編碼圖像Fig.10 Alterated single-mode encoded image

2.2 地面圖像增強驗證

采用返回艙攝像機采集視頻,在單幅模式下,更改后的圖像編碼處理軟件進行分辨率704×288像素、幀率12.5幀/秒、碼率600kbit/s的MPEG-4編碼,經(jīng)過地面解碼后圖像增強效果如表3所示。對地面圖像增強后圖像和原始圖像的PSNR進行比對,PSNR約提升2.000dB。采用神舟十三號載人飛船待發(fā)段的返回艙圖像,進行地面增強前后的對比,分別如圖11和圖12所示,圖像方塊效應明顯減弱,圖像顯示更加平滑,從主觀上看圖像質(zhì)量有較明顯改善。

表3 地面增強前后PSNR比對Table 3 PSNR comparison before and after ground enhancement

圖11 神舟十三號載人飛船原始圖像Fig.11 Original image of Shenzhou-13 manned spacecraft

3 結(jié)束語

本文提出一種低帶寬高質(zhì)量的載人航天器圖像系統(tǒng)優(yōu)化設計,分別通過對載人飛船上圖像壓縮編碼算法改進和地面圖像增強,實現(xiàn)在沿用載人飛船整體方案、傳輸帶寬受限的約束前提下圖像傳輸質(zhì)量的提升。采用本文提出的圖像系統(tǒng)優(yōu)化設計,圖像方塊效應減弱,黑白條測試圖像清晰度明顯提高,主觀評價圖像質(zhì)量有明顯改善,載人飛船上部分和地面圖像增強分別對圖像的PSNR提升了2.000dB,有助于在繼承當前載人飛船總體架構(gòu)設計的前提下提升載人飛船下行圖像傳輸質(zhì)量。后續(xù)將開展H.265圖像編碼體制在載人飛船圖像系統(tǒng)中應用的可行性研究,在現(xiàn)有帶寬資源的前提下進一步提升圖像傳輸質(zhì)量。