基于海思平臺的分布式圖像拼接系統(tǒng)可視化控制研究

劉朝偉

摘要：模塊化調(diào)用海思Hi3559A系統(tǒng)，能夠快速實現(xiàn)分布式圖像拼接系統(tǒng)的控制可視化預覽，控制所見即大屏所得，使得播放切換更加穩(wěn)定可靠。文章提出以輸入模式作為分析點，進行流程梳理和資源調(diào)用配置，這種系統(tǒng)在低帶寬環(huán)境下為快速搭建可視化控制系統(tǒng)提供了一種解決路徑。

關(guān)鍵詞：分布式圖像拼接系統(tǒng)；可視化控制；子碼流；海思平臺

中圖分類號：TP317.4? 文獻標志碼：A

0 引言

分布式圖形處理系統(tǒng)中，分布式輸入節(jié)點和分布式輸出節(jié)點通過交換機互聯(lián)，系統(tǒng)天然具備可視化控制基因，可視化控制也是所見即所得放心操作的基礎(chǔ)。在輸出可預知性大大提高的同時，可視化操作是相對傳統(tǒng)中控模塊無反饋操作的顛覆性創(chuàng)舉。如何在不增加系統(tǒng)負載的情況下，做到良好的可視化控制，是分布式拼接系統(tǒng)中期需要在易用性上考慮和解決的問題。海思芯片族中具備主碼流和子碼流功能的集合均能在邏輯上實現(xiàn)系統(tǒng)的可視化控制。

1 開發(fā)環(huán)境簡介

基于海思芯片的子碼流可視化控制既能節(jié)約開發(fā)和運營成本，也能最大化在簡化系統(tǒng)上實現(xiàn)多種功能定位。開發(fā)環(huán)境是在初步成型的分布式網(wǎng)絡(luò)控制環(huán)境下實現(xiàn)的。如圖1所示為開發(fā)環(huán)境已初步成形的分布式系統(tǒng)，輸入信號源可以兼容多種數(shù)字和模擬信號，分布式輸入節(jié)點統(tǒng)一編碼為標準格式后，通過分布式輸出節(jié)點輸出到電視墻或LED大屏，電腦上位機軟件可以通過數(shù)據(jù)包獲取控制信號。多通道信號源可以是網(wǎng)絡(luò)攝像頭，也可以是標準視頻接口設(shè)備。在分布式網(wǎng)絡(luò)中，作為控制節(jié)點的電腦，如果沒有可視化輸入輸出界面，狀態(tài)可靠性大大降低，操作隨機性變得不可控制。

2 開發(fā)可行性

分布式輸入節(jié)點和分布式輸出節(jié)點均搭載了智能海思芯片，內(nèi)置CPU調(diào)度核和VPSS處理核。處理核支持主碼流1 080 P@60 Hz或者4 K@60 Hz輸出（向下兼容），子碼流可以控制在一定的分辨率帶寬以內(nèi)，稍加利用，可以實現(xiàn)不增加系統(tǒng)負載的情況下，提高系統(tǒng)利用率，增強系統(tǒng)可用性。

3 硬件構(gòu)架平臺

Hi3559A支持多路1 080 P視頻輸入，內(nèi)置拼接硬件，僅需要開發(fā)調(diào)度模式選擇的應(yīng)用程序，同硬件交互，實現(xiàn)布局、處理和參數(shù)設(shè)置進行拼接和控制［1］。

如圖2所示為Hi3559A提供的媒體處理軟件平臺MPP（Media Process Platform），可支持應(yīng)用軟件快速開發(fā)，提供雙碼流輸入輸出。標準視頻格式在圖像輸入輸出端口的圖像子系統(tǒng)（IMAGE SUBSYSTEM），該圖像子系統(tǒng)還兼顧了圖像處理功能（VPSS）；碼流視頻數(shù)據(jù)包在網(wǎng)絡(luò)編解碼端口的視頻子系統(tǒng)（VIDEO SUBSYSTEM）的編碼模塊（ENCODER）和解碼模塊（DECODER）中。

海思媒體處理平臺的主要內(nèi)部處理流程如圖2所示，主要用到的模塊功能描述如下。

VI：捕獲視頻圖像，可做剪切、去噪等處理，并輸出多路不同分辨率的圖像數(shù)據(jù)。

VO：捕獲標準碼流視頻，可做組合、縮放等，并輸出1路不同分辨率的標準視頻圖像。

VPSS：接收其他模塊發(fā)送的圖像數(shù)據(jù)，可對圖像進行圖像增強、銳化等處理，并同源輸出多路不同分辨率的圖像數(shù)據(jù)。

VENC：編碼模塊負責接收其他模塊處理輸出的數(shù)據(jù)，可疊加通過Region模塊設(shè)置的OSD圖像，然后輸出不同協(xié)議編碼的碼流數(shù)據(jù)（可做視頻OSD疊加），主要用于輸入節(jié)點以及可視化預覽。

VDEC：解碼模塊負責接收網(wǎng)絡(luò)中的模塊處理輸出的標準數(shù)據(jù)，可疊加通過Region模塊設(shè)置的OSD圖像，然后輸出標準協(xié)議編碼的碼流數(shù)據(jù)（可做視頻OSD疊加），主要用于輸出節(jié)點。

實際中，設(shè)計底層硬件比如VDEC，VENC，VPSS都只能操作VB（Video Buffer）內(nèi)存［2］。

4 拼接預覽方案實現(xiàn)

在視頻子系統(tǒng)模塊（VIDEO SUBSYSTEM）中主碼流通過硬件解碼輸出，子碼流通過網(wǎng)絡(luò)數(shù)據(jù)包回傳上位機，上位機軟件解碼即可顯示輸入輸出的節(jié)點，將輸入節(jié)點畫面直接顯示，將輸出節(jié)點畫面根據(jù)主碼流各信號源跟隨的方式布局畫面來組合顯示。下面以VI模式的PIPE為例，子碼流數(shù)據(jù)的獲取具體經(jīng)歷了如下幾個步驟。

4.1 VI模式

如圖3所示，VO模式是主碼流拼接輸出，本文暫時不予考慮；VI模式可定義畫質(zhì)和帶寬，VI模式劃分了4個部分：DEV->PIPE->PHY_CHN->EXT_CHN。

輸入設(shè)備DEV負責對數(shù)字化圖像數(shù)據(jù)時序進行解析。PIPE綁定在DEV后方，包含了ISP的相關(guān)處理功能，主要是對圖像數(shù)據(jù)進行流水線處理，輸出YUV圖像個通道［3］。PIPE主要從DEV接收數(shù)字化格式的圖像數(shù)據(jù)，執(zhí)行圖像處理ISP，執(zhí)行完ISP后輸出YUV圖像。

PHY_CHN所得到的圖像就是1 920×1 080像素格式，并且不可以把該通道的數(shù)據(jù)再作為其他擴展通道的源來進行圖像的放大或縮小處理，該碼流即為方便VO調(diào)用的標準碼流。

可以通過EXT_CHN將獲取的圖像任意指定為合法的像素大小，通過指定像素格式及寬高大小，進行預處理后可以作為視頻編碼模塊（VENC）的輸入。同時，把該通道作為后面所要建立的擴展通道的源，通過設(shè)置所要建立的擴展通道的屬性（主要指綁定的源通道號、圖像幀率、圖像寬高等，見VPSS_EXT_CHN_ATTR_S結(jié)構(gòu)體），再經(jīng)由各擴展通道獲取所需的目標分辨率，此通道碼流即為控制預覽所需的子碼流，是本文討論的重點。

4.2 VENC模塊數(shù)據(jù)格式

VENC模塊的輸入源包括3類。

（1）區(qū)域管理（REGION）讀取圖像文件和配置文件向編碼模塊發(fā)送數(shù)據(jù)。

（2）視頻輸入（VI）模塊采集的圖像經(jīng)視頻處理子系統(tǒng)（VPSS）發(fā)送到編碼模塊。

（3）視頻輸入（VI）模塊采集的圖像直接發(fā)送到編碼模塊。

本方案為了快速響應(yīng)主顯示格式的匹配，實際采用了H.264編碼，它有4種畫質(zhì)逐級提高的級別，分別是BP，EP，MP，HP。

4.3 碼率控制

碼率控制是可視化控制的最關(guān)鍵環(huán)節(jié)。碼率就是數(shù)據(jù)傳輸時單位時間傳送的數(shù)據(jù)位數(shù)，一般用的單位是kbps即千位每秒［4］。

以H.264 編碼為例，圖像的質(zhì)量越好，碼率越高；圖像質(zhì)量越差，碼率越低。碼率控制是針對連續(xù)的編碼碼流而言，而JPEG協(xié)議編碼通道不包括碼率控制功能。

編碼流程包括了輸入圖像的接收、圖像內(nèi)容的遮擋和覆蓋、圖像的編碼以及碼流的輸出等過程。

VENC模塊由編碼通道子模塊（VENC）和編碼協(xié)議子模塊（H.264/H.265/JPEG/MJPEG）組成。通道支持接收YUV格式圖像輸入，支持格式為YUV 4∶2∶0或YUV 4∶2∶2，其中H.264/H.265只支持YUV 4∶2∶0，JPEG/MJPEG支持YUV 4∶2∶0或YUV 4∶2∶2。通道模塊接收外部原始圖像數(shù)據(jù)，而不關(guān)心圖像數(shù)據(jù)是來自哪個外部模塊。

通道接收到圖像之后，比較圖像尺寸和編碼通道尺寸：

如果輸入圖像比編碼通道尺寸大，VENC將按照編碼通道尺寸大小，調(diào)用VGS對源圖像進行縮小，然后對縮小之后的圖像進行編碼。

如果輸入圖像比編碼通道尺寸小，VENC丟棄源圖像。VENC不支持放大輸入圖像編碼。

如果輸入圖像與編碼通道尺寸相當，VENC直接接收源圖像，進行編碼。

REGION模塊支持對圖像內(nèi)容的遮擋和疊加。

完成視頻區(qū)域管理之后，圖像被送入具體協(xié)議類型編碼通道，完成視頻編碼，輸出碼流。

4.4 VB讀取

VB（Video Buffer）在海思媒體處理中也是一個重要的概念，VB本質(zhì)上就是一個物理地址連續(xù)的內(nèi)存塊，只不過在MPP層里提供了一系列初始化、申請、釋放操作的接口。

公共緩沖池是在系統(tǒng)初始化中分配的，具體分配的接口就是HI_MPI_VB_SetConf（）和HI_MPI_VB_Init（）。可以通過這兩個接口按照所需VB數(shù)量和VB大小建立不同的緩沖池。

公共緩存池中的VB使用者是VI/VPSS/VENC/VDA/VO，所有的視頻輸入通道都可以從公共視頻緩存池中獲取視頻緩存塊用于保存輸入或輸出的圖像的主碼流。

除了通過HI_MPI_VB_Init建立的公共視頻緩存池，調(diào)用接口HI_MPI_VB_CreatePool創(chuàng)建一個視頻緩存VB池作為子碼流緩沖池。然后配合某模塊通道的xxx_attachPool（VPSS，VENC，VDEC有該接口）綁定到某個通道上，那么就只有該通道可以使用，比如HI_MPI_VENC_AttachVbPool被VENC的0通道綁定之后，就只有VENC_CHN_0可以使用該VB獲取子碼流。

5 結(jié)語

經(jīng)過上述方案的設(shè)計，使用交叉編譯器將D1（704×576@25 Hz）的可視化視頻流引導至動態(tài)庫形式嵌入上位機軟件平臺上，供應(yīng)用界面調(diào)用。在對其他系統(tǒng)模塊也進行相應(yīng)調(diào)整后，需要預覽的拼接碼流可以在客戶端界面顯示出來。

在分布式拼接器上位機接入多個子碼流后，可以在客戶端進行1畫面、2畫面、3畫面、4畫面等預覽與同步顯示輸出畫面縮略圖顯示，50通道的輸入畫面也能每通道獨立顯示。

通過調(diào)出交換機Console接口數(shù)據(jù)，在百兆網(wǎng)卡使用條件下，子碼流的網(wǎng)絡(luò)使用率為43%；在未使用子碼流情況下，在高頻切換控制操作的極端情況下，僅控制碼流的網(wǎng)絡(luò)使用率為8%?？梢悦黠@看出，使用拼接碼流降低帶寬環(huán)境下可在低帶寬條件下實現(xiàn)輸入和輸出的可視化多畫面實時預覽與操控。

在低帶寬環(huán)境下，此拼接預覽方案對于保證客戶主碼流輸出的大屏或視頻墻顯示之外，可以遠程或無線客戶端多畫面預覽的實時操控是有效的，具備實用價值。

參考文獻

［1］劉浩，何巖.基于海思平臺的N V R拼接預覽方案的設(shè)計與實現(xiàn)［J］.電子設(shè)計工程，2015（10）：39-42.

［2］蔡熙.基于海思處理器的分布式數(shù)據(jù)采集系統(tǒng)橋接子系統(tǒng)硬件研發(fā)［D］.杭州：浙江大學，2021.

［3］滕偉，安博文.基于FPGA+DSP技術(shù)的Bayer格式圖像預處理［J］.電子設(shè)計工程，2010（10）：145-147，151.

［4］余先慶，劉根成.淺析大型數(shù)據(jù)采集系統(tǒng)的設(shè)計［J］.微電子學與計算機，1997（5）：19-20.

（編輯 沈 強）

Research on visual control of a distributed image splicing system based on Hisi platform

Liu? Chaowei

（Shanghai Sansi Electronic Engineering Co.， Ltd.， Shanghai 201199， China）

Abstract：? Modular call to Hisi Hi3559A system can quickly realize the control visual preview of the distributed image splicing system， control what you see is the large screen， and make the playback switch more stable and reliable. This study proposes to take the input mode as the analysis point for process combing and resource call configuration， and this system provides a solution path for quickly building a visual control system in a low-bandwidth environment.

Key words： distributed image splicing system; visual control; subcode flow; Hisi platform