基于海思平臺(tái)的便攜式四通道高幀率視頻采集儲(chǔ)存系統(tǒng)設(shè)計(jì)

摘 要：針對(duì)當(dāng)前視頻采集系統(tǒng)體積大、功耗高、攜帶不方便的問題，設(shè)計(jì)了一款四通道高幀率的便攜式視頻采集存儲(chǔ)系統(tǒng)，該系統(tǒng)使用海思HI3519DV500平臺(tái)與OV9281圖像傳感器，編寫了圖像傳感器的驅(qū)動(dòng)程序，HI3519DV500平臺(tái)通過驅(qū)動(dòng)程序?qū)V9281進(jìn)行配置，讀取到圖像數(shù)據(jù)后對(duì)圖像使用鏡頭標(biāo)定的數(shù)據(jù)進(jìn)行圖像調(diào)優(yōu)，然后將四路視頻編碼為H264文件并保存到TF卡中，同時(shí)保存視頻中每一幀對(duì)應(yīng)的時(shí)間戳等信息。經(jīng)過測(cè)試，該系統(tǒng)體積小、重量輕、續(xù)航時(shí)間長，適合搭載于無人機(jī)等平臺(tái)。

關(guān)鍵詞：視頻采集；視頻存儲(chǔ)；海思平臺(tái)；便攜式；高幀率；四通道

中圖分類號(hào)：TP274；TN249 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2025）08-00-05

0 引 言

隨著人工智能、機(jī)器視覺、目標(biāo)識(shí)別等技術(shù)的快速發(fā)展，視頻采集越來越重要，目前視頻數(shù)據(jù)的主要來源是各種傳感器和攝像頭，它們能夠捕捉和記錄現(xiàn)實(shí)世界的視覺信息。從簡(jiǎn)單的手機(jī)攝像頭到高精度的工業(yè)相機(jī)，再到紅外、熱成像等特殊類型的傳感器，都在為人工智能和目標(biāo)識(shí)別技術(shù)提供豐富的圖像資源[1]。但目前主要的視頻采集平臺(tái)存在體積大、攜帶性差、功耗高、幀率低、僅能采集單路視頻等問題[2]，使得其在一些條件苛刻的實(shí)驗(yàn)場(chǎng)景下無法方便、快捷地獲取到圖像。

HI3519DV500是海思技術(shù)有限公司于2023年推出的一款國產(chǎn)超高清智能SOC，該平臺(tái)采用雙核ARM Cortex A55@1 000 MHz處理器，支持多路Sensor同時(shí)輸入，有豐富的外設(shè)接口，芯片大小為15 mm×15 mm，非常適合于開發(fā)小型化圖像采樣設(shè)備[3]。

本文設(shè)計(jì)了一款基于海思HI3519DV500平臺(tái)的便攜式四通道高幀率視頻采集存儲(chǔ)系統(tǒng)，該系統(tǒng)可支持四路視頻同時(shí)輸入，每路輸出像素1 280×800，輸出幀率120 FPS，該系統(tǒng)除了可以編碼并保存視頻外，還保存了每一幀視頻的時(shí)間戳等信息，方便使用者分析研究使用。整個(gè)核心板設(shè)備大小為4.5 cm×4.5 cm，核心板、TF卡、4個(gè)攝像頭共計(jì)11.65 g，非常適合在野外、高空、機(jī)載等場(chǎng)景下使用。

1 電路設(shè)計(jì)

設(shè)備硬件電路由以下幾個(gè)部分組成：圖像傳感器接口、存儲(chǔ)系統(tǒng)、TF卡接口、HDMI接口、網(wǎng)口、調(diào)試串口、供電系統(tǒng)等。為了最大程度滿足便攜式要求，根據(jù)功能將整個(gè)硬件裝置分為兩個(gè)電路板，即核心板與調(diào)試板。核心板包含HI3519DV500芯片、DDR4內(nèi)存顆粒、eMMC芯片、攝像頭接口和TF卡等必要的視頻采集模塊，將其他非必要使用的HDMI接口、網(wǎng)口、調(diào)試串口放置在調(diào)試板上。核心板與調(diào)試板通過板對(duì)板接口連接，核心板可以脫離調(diào)試板單獨(dú)供電工作，只有在進(jìn)行電路調(diào)試、攝像頭調(diào)焦時(shí)才會(huì)使用調(diào)試板，此時(shí)會(huì)將調(diào)試板與核心板搭配使用。

1.1 圖像傳感器電路設(shè)計(jì)

海思HI3519DV500芯片支持使用MIPI-CSI接口的Sensor，可支持8-Lane同時(shí)輸入，可通過內(nèi)部組合成“2Lane+2Lane+2Lane+2Lane”的四路Sensor輸入組合，本設(shè)計(jì)采用此種設(shè)計(jì)方案。

在Sensor的選型上，本設(shè)計(jì)選用的是OMNIVISION公司出品的OV9281圖像傳感器，此傳感器輸出10 bit raw數(shù)據(jù)流，支持720P、VGA等多種像素，最大輸出像素為

1 280×800，最高幀率可達(dá)210 FPS，輸出接口有DVP并行輸出與2-Lane的MIPI串行輸出兩種接口可選[4]，本設(shè)計(jì)選擇使用2-Lane的MIPI接口與海思芯片相連，同時(shí)Sensor的封裝大小僅為5.2 mm×4.5 mm，制作的攝像頭底座大小僅

8 mm×8 mm。

HI3519DV500與四路OV9281圖像傳感器硬件連接方式如圖1所示。HI3519DV500為每路Sensor提供24 MHz的工作時(shí)鐘，由于海思僅有兩個(gè)輸出復(fù)位腳管，四路Sensor采用兩兩復(fù)用的方式共用復(fù)位腳管，HI3519DV500使用I2C接口對(duì)圖像傳感器進(jìn)行配置，四路Sensor分別連接海思的I2C3＼I2C4＼I2C5＼I2C6接口。

四路Sensor通過MIPI接口與HI3519DV500連接，采用差分對(duì)傳輸數(shù)據(jù)，每路Sensor使用兩對(duì)數(shù)據(jù)線和一對(duì)時(shí)鐘線。

1.2 儲(chǔ)存電路設(shè)計(jì)

根據(jù)需求，本設(shè)計(jì)共需要3種存儲(chǔ)電路，分別是DDR4電路，eMMC電路和TF卡電路，HI3519DV500工作時(shí)將DDR4作為內(nèi)存使用，eMMC芯片存儲(chǔ)啟動(dòng)文件UBoot、Linux鏡像及文件系統(tǒng)，TF卡則保存采集到的視頻文件。

DDR4采用的是三星公司出品的K4A8G165WC內(nèi)存顆粒，一塊內(nèi)存顆粒數(shù)據(jù)位寬為16 bit，存儲(chǔ)空間為8 Gb，本設(shè)計(jì)使用了兩塊相同的內(nèi)存顆粒，擴(kuò)展為32 bit，組成了16 Gb即2 GB的內(nèi)存空間。在PCB設(shè)計(jì)中，采用了T型對(duì)貼的拓?fù)浣Y(jié)構(gòu)，同時(shí)電路中設(shè)計(jì)了端接電阻，并充分考慮了走線的等長，滿足信號(hào)完整性要求。

eMMC采用的是海力士公司出品的e-NAND芯片，型號(hào)為H26M41204HPR，共8 GB的存儲(chǔ)空間，有1 bit/4 bit/8 bit三種位工作方式，由于海思eMMC控制器管腳的DATA4-DATA7與I2C5＼I2C6復(fù)用使用，所以本設(shè)計(jì)選擇4 bit工作方式。

TF卡采用SDIO接口與HI3519DV500相連，需要1條命令線、1條時(shí)鐘線、4條數(shù)據(jù)線共6條信號(hào)線，為了最大程度的節(jié)省空間，降低功耗，TF卡底座采用了外型最小的內(nèi)焊卡座，同時(shí)TF卡的供電由HI3519DV500管腳通過一個(gè)三極管進(jìn)行控制，以最大程度降低功耗。TF卡硬件電路如圖2所示。

1.3 網(wǎng)口與HDMI電路設(shè)計(jì)

網(wǎng)口與HDMI接口在調(diào)試板上實(shí)現(xiàn)，網(wǎng)口的主要作用是使用網(wǎng)絡(luò)燒寫程序和遠(yuǎn)程調(diào)試，HDMI接口則可以同時(shí)輸出四路攝像頭視頻，便于攝像頭調(diào)焦。

以太網(wǎng)硬件包括MCU、MAC控制器、PHY、隔離變壓器，海思HI3519DV500中已集成了MAC控制器，支持RGMII和RMII兩種接口。本設(shè)計(jì)采用RGMII接口模式，外接RTL8211的PHY芯片，同時(shí)使用了包含隔離變壓器的RJ 45接口。HI3519DV500通過MDIO與MDCK管腳對(duì)PHY芯片進(jìn)行配置，具體連接方式如圖3所示。

HDMI接口是一種標(biāo)準(zhǔn)的音視頻傳輸接口，使用一根線纜可同時(shí)完成音頻與視頻的傳輸，HDMI支持多種分辨率與幀率，而且即插即用，使用靈活[5]。本設(shè)計(jì)中四路攝像頭采樣的視頻，經(jīng)過畫面拼接后，通過HDMI接口傳輸至顯示屏同時(shí)顯示。但海思HI3519DV500沒有直接支持HDMI的接口，僅支持并行輸出接口協(xié)議BT.1120，若使用HDMI接口，則需要進(jìn)行轉(zhuǎn)換。本設(shè)計(jì)使用國產(chǎn)芯片LT8618將BT.1120轉(zhuǎn)換為HDMI輸出[6]，硬件連接電路如圖4所示，HI3519DV500輸出的16 bit寬數(shù)據(jù)線BT1120D0-D15與時(shí)鐘線BT1120-CLK連接至LT8618對(duì)應(yīng)的數(shù)據(jù)時(shí)鐘端口，HI3519DV500使用I2C7對(duì)LT8618進(jìn)行配置，LT8618將轉(zhuǎn)換后的信號(hào)直接連接至HDMI接口輸出。

1.4 核心板供電電路設(shè)計(jì)

核心板可與調(diào)試板搭配使用，可也單獨(dú)工作，與調(diào)試板搭配使用時(shí)，由調(diào)試板供電，單獨(dú)工作時(shí)，需要外接3.7 V電池供電。

核心板上各硬件模塊對(duì)電壓與電流的要求不同，需要用不同的供電方案。例如HI3519DV500需要3個(gè)0.9 V的電壓供不同的內(nèi)核使用，而且對(duì)內(nèi)核電壓噪聲要求嚴(yán)格，3個(gè)內(nèi)核電壓均使用SVB動(dòng)態(tài)調(diào)壓的方式控制電壓，由HI3519DV500專用管腳輸出PWM信號(hào)，經(jīng)過RC濾波后輸出直流電平反饋至電壓輸入處，通過調(diào)節(jié)PWM的頻率和占空比，可以動(dòng)態(tài)調(diào)節(jié)輸出電壓。

圖像傳感器則需要1.2 V、1.8 V、2.8 V三種不同的電壓供內(nèi)核、模擬部分及I/O部分使用。DDR4需要1.2 V、

2.5 V兩種電壓才能正常工作。

根據(jù)各模塊的供電需求，板心板共使用了9個(gè)電源芯片完成供電設(shè)計(jì)，具體供電方案所需芯片見表1。

2 軟件設(shè)計(jì)

2.1 Sensor調(diào)試

Sensor調(diào)試主要包括編寫驅(qū)動(dòng)程序完成對(duì)圖像傳感器OV9281的配置，以及OV9281啟動(dòng)后與HI3519DV500進(jìn)行ISP（圖像信息處理）交互處理等工作[7-8]，具體調(diào)試流程如圖5所示。

驅(qū)動(dòng)程序中，HI3519DV500通過I2C接口對(duì)Sensor的寄存器進(jìn)行配置，主要配置工作時(shí)鐘、接口模式、輸出像素、行同步（VTS）、場(chǎng)同步（HTS）等參數(shù)。

HI3519DV500向OV9281提供24 MHz時(shí)鐘輸入，OV9281經(jīng)片內(nèi)兩個(gè)PLL倍頻后，產(chǎn)生80 MHz的系統(tǒng)工作時(shí)鐘，此時(shí)鐘同時(shí)也做為像素時(shí)鐘使用。Sensor的輸出幀率通過配置VTS、HTS實(shí)現(xiàn)。像素時(shí)鐘（Psclk）與VTS、HTS、幀率的關(guān)系為：

Psclk = VTS×HTS×幀率

本設(shè)計(jì)中Psclk為80 MHz，可通過合適的VTS與HTS配置當(dāng)前的輸出幀率。

ISP包括邏輯部分以及運(yùn)行在其上的Frimware，ISP通過數(shù)字圖像處理算法完成對(duì)圖像的處理，主要包括3A算法、去噪、色彩增強(qiáng)等，ISP控制結(jié)構(gòu)如圖6所示，Sensor收集到經(jīng)鏡頭投射后的光信號(hào)后，轉(zhuǎn)化為BAYER原始格式的圖像傳送給ISP，ISP經(jīng)過算法處理后將圖像以RGB格式傳送給后端使用，在這個(gè)過程中，ISP使用I2C接口動(dòng)態(tài)控制Sensor，以達(dá)到對(duì)輸出的原始圖像數(shù)據(jù)進(jìn)行調(diào)整的目的。

2.2 圖像處理系統(tǒng)

HI3519DV500從Sensor獲得圖像后，使用MPP（媒體軟件處理平臺(tái)）進(jìn)行圖像處理、編碼或顯示。本設(shè)計(jì)中MPP處理結(jié)構(gòu)如圖7所示，MPP主要由VI（視頻輸入單元）、VPSS（視頻處理子系統(tǒng)）、VENC（視頻編碼單元）、VO（視頻輸出單元）等組成[3]。

VI從Sensor捕獲到視頻數(shù)據(jù)后，送到VPSS進(jìn)行處理，VPSS對(duì)圖像進(jìn)行去噪、圖像增強(qiáng)、銳化處理后送至VENC，由VENC進(jìn)行H264編碼后保存至TF卡，VPSS同時(shí)也會(huì)將圖像送至VO，VO處理后使用HDMI接口輸出至屏幕。MPP各部分之間通過系統(tǒng)綁定的方式實(shí)現(xiàn)。

本設(shè)計(jì)支持四路Sensor同時(shí)輸入，在MPP的使用上，VI雖然只有一個(gè)物理輸入設(shè)備，但物理輸入設(shè)備上可以使用不同的PIPE（輸入圖像數(shù)據(jù)管道），物理輸入設(shè)備與PIPE以1對(duì)4的關(guān)系進(jìn)行綁定，1路Sensor對(duì)接1個(gè)PIPE。VPSS分為128個(gè)GROUP（組），每個(gè)GROUP分時(shí)復(fù)用VPSS硬件，本設(shè)計(jì)使用其中的4個(gè)GROUP對(duì)接PIPE，VPSS同時(shí)綁定到VENC與VO，VENC接收到VPSS的圖像數(shù)據(jù)后，啟動(dòng)硬件編碼器，將4路圖像數(shù)據(jù)編碼為H264格式并保存為4個(gè)H264格式的文件。VO接收到VPSS的圖像數(shù)據(jù)后，將4路圖像進(jìn)行縮放、拼接，并通過HDMI輸出至屏幕。

H264文件中不包含時(shí)間戳信息，為了便于后續(xù)的研究，需考慮H264文件中時(shí)間戳的問題。使用VENC在進(jìn)行視頻編碼時(shí)，HI3519DV500會(huì)對(duì)每一幀的圖像進(jìn)行編號(hào)，并打上時(shí)間戳，本設(shè)計(jì)在保存H264文件的同時(shí)，單獨(dú)獲取每一幀的編號(hào)與時(shí)間戳，并保存到TF卡中的TXT文件中，視頻文件中每一幀的圖像與TXT中的幀信息是一一對(duì)應(yīng)的，方便后期研究使用。

2.3 鏡頭標(biāo)定

由于攝像頭鏡頭是一個(gè)凸透鏡，光線透過鏡頭照射到Sensor上時(shí)，大部分光線會(huì)聚集在中間，從而造成拍攝出的圖像出現(xiàn)中間亮，四周暗的情況，這是一種鏡頭缺陷[9-12]。為了解決這個(gè)問題，就需要對(duì)鏡頭進(jìn)行標(biāo)定，具體解決思路是，在一定的環(huán)境下將Sensor采集到的一幅圖像平均分為大小均等的網(wǎng)格，每個(gè)網(wǎng)格的亮度乘以不同的增益，可保證處理后整個(gè)畫面的亮度分布均勻。整個(gè)畫像的亮度增益就組成了一個(gè)亮度增益矩陣，為了獲得亮度增益矩陣，需要在嚴(yán)格的環(huán)境下反復(fù)實(shí)驗(yàn)。

本設(shè)計(jì)中鏡頭標(biāo)定的具體步驟如下：

第1步：將鏡頭對(duì)準(zhǔn)測(cè)試區(qū)域，保證測(cè)試環(huán)境不被干擾。

第2步：使用海思提供的PQTools Capture Tool工具采集一幀raw格式的圖像。

第3步：將圖像平均分為32×32共1 024個(gè)大小相等的網(wǎng)格，計(jì)算出每個(gè)網(wǎng)格的亮度值。

第4步：假設(shè)1 024個(gè)網(wǎng)格的亮度值相等，由此測(cè)算出大小為32×32的亮度增益矩陣，用此矩陣計(jì)算正常的圖像，觀察圖像亮度是否改善。

第5步：通過改變光源或燈光亮度重復(fù)步驟1～4。

本設(shè)計(jì)中采用灰度分布均勻的白墻作為測(cè)試區(qū)域，白墻上沒有劃痕與污跡，同時(shí)屏蔽掉屋內(nèi)太陽光線的影響。使用此方法標(biāo)定后的圖像對(duì)比如圖8所示，從圖8（b）中可以看到，標(biāo)定后的圖像亮度比標(biāo)定前改善明顯。

3 系統(tǒng)測(cè)試

3.1 硬件平臺(tái)

本視頻采集系統(tǒng)設(shè)備硬件實(shí)物如圖9所示，硬件電路由核心板與調(diào)試板兩部分組成，核心電路板尺寸為45 mm×45 mm，核心板通過MIPI接口連接四路攝像頭。

核心板需要外接電池供電，供電后開始工作，圖10（a）所示為TF卡上錄制的文件目錄，其中H264文件為保存的視頻文件，可在Windows下使用VLC等播放器直接播放，TXT文件中保存的為視頻中每一幀的幀序號(hào)與時(shí)間戳信息。

TXT文件中的幀信息如圖10（b）所示，幀信息包括幀編號(hào)與時(shí)間戳，其中幀編號(hào)從0開始，根據(jù)幀編號(hào)是否連續(xù)可判斷HI3519DV500是否有丟幀的情況。時(shí)間戳單位為μs，是相對(duì)于系統(tǒng)開機(jī)的時(shí)間，不是絕對(duì)時(shí)間，根據(jù)此時(shí)間戳可計(jì)算各幀之間以及各視頻通道之間的相對(duì)時(shí)間差。

3.2 多路視頻同步

由于H264協(xié)議中不含時(shí)間戳信息[13]，所以在Windows下用播放器播放H264文件時(shí)，需要指定播放幀率，播放器以指定的幀率自動(dòng)為視頻中的每一幀視頻添加時(shí)間戳，這就造成了如果實(shí)際幀率不是精準(zhǔn)的整數(shù)，則播放時(shí)間與每一幀的實(shí)際時(shí)間可能存在微小差別，一般情況下，人們無法感知這種差別，但卻會(huì)對(duì)后續(xù)的研究造成影響，尤其是播放時(shí)間較長，會(huì)出現(xiàn)長時(shí)間的誤差積累。

在不同格式的視頻文件中，MP4文件中每一幀必須攜帶播放時(shí)間戳[14]。本設(shè)計(jì)在得到H264文件與幀信息文件的基礎(chǔ)上，在Windows環(huán)境下設(shè)計(jì)了一款格式轉(zhuǎn)換軟件，將多路H264文件、幀信息文件合并為一個(gè)MP4文件，MP4文件中的時(shí)間通過讀取保存的TXT文件獲得，同時(shí)為了實(shí)現(xiàn)四路攝像頭時(shí)間對(duì)齊，軟件以其中一路視頻為基準(zhǔn)，尋找其他幾路同步時(shí)間幀，將這些不同通道的圖像幀拼接為一幀進(jìn)行播放。測(cè)試中采用雙路攝像頭以120 FPS的幀率對(duì)同一秒表采集圖像，合并為一個(gè)MP4文件后如圖11所示，從圖中可以看到，兩通道的時(shí)間誤差在1 ms以內(nèi)。

3.3 設(shè)備重量與續(xù)航時(shí)間

重量、體積、續(xù)航時(shí)間是便攜式設(shè)備的重要指標(biāo)，本設(shè)備核心板重量不足9 g，整個(gè)工作系統(tǒng)不足12 g，續(xù)航時(shí)間在不同的工作模式下也有很好的表現(xiàn)，具體的硬件重量見表2。

4 結(jié) 語

基于海思HI3519DV500平臺(tái)和OV9281圖像傳感器，本文設(shè)計(jì)了一款四通道高幀率的便攜式視頻采集存儲(chǔ)系統(tǒng)。整個(gè)系統(tǒng)體積小、重量輕、存儲(chǔ)容量大，非常適合在無人機(jī)、移動(dòng)監(jiān)控上搭載使用。視頻通道數(shù)、幀率可根據(jù)實(shí)際需要調(diào)節(jié)，最高輸出幀率可達(dá)120 FPS，同時(shí)系統(tǒng)自動(dòng)輸出幀信息，便于后期研究使用，經(jīng)過系統(tǒng)測(cè)試，本系統(tǒng)結(jié)構(gòu)完整，視頻輸出穩(wěn)定，續(xù)航時(shí)間長，使用簡(jiǎn)單靈活。隨著技術(shù)的發(fā)展，硬件小型化是一個(gè)不可阻擋的趨勢(shì)，本系統(tǒng)將為苛刻條件下科研數(shù)據(jù)的采集提供有力的支撐。

參考文獻(xiàn)

[1]付斌斌.工業(yè)機(jī)器視覺的應(yīng)用與發(fā)展趨勢(shì)[J].中國工業(yè)和信息化，2021（11）：18-24.

[2]陳力，聞磊.基于5G的機(jī)器視覺應(yīng)用場(chǎng)景分析研究[J].廣東通信技術(shù)，2020（6）：15-19.

[3]深圳海思半導(dǎo)體有限公司. Hi3519DV500 超高清智慧視覺SoC產(chǎn)品簡(jiǎn)介[Z]. 2023.

[4] Omnivision Group.OV9281 Datasheet Preliminary Specification [Z]. 2017.

[5]王之琛.視頻編碼技術(shù)的應(yīng)用及發(fā)展趨勢(shì)[J].中國傳媒科技，2024（7）：134-137.

[6] XU N， LI E L. A multifunctional video switching matrix design [J]. Journal of physics：conference series， 2022（1）： 012055.

[7]王繼超，王曉旭，賴康生.基于海思Hi3559的前端機(jī)器視覺系統(tǒng)設(shè)計(jì)[J].激光雜志，2022（9）：20-25.

[8]喬勁軒，魏經(jīng)偉.一種新型高動(dòng)態(tài)范圍CMOS圖像傳感器結(jié)構(gòu)設(shè)

計(jì)[J].集成電路應(yīng)用，2024，41（6）：14-15.

[9]嚴(yán)明，白瓊，李剛，等.瞬態(tài)成像模式下高幀頻CMOS圖像傳感器性能研究[J].紅外與激光工程，2022，51（8）：441-449.

[10] ZHANG Z. A flexible new technique for camera calibration [J]. IEEE transactions on pattern analysis and machine intelligence， 2000， 22（11）： 1330-1334.

[11]王澤文，余建波.基于六西格瑪?shù)氖謾C(jī)攝像頭模組質(zhì)量改善研究[J].精密制造與自動(dòng)化，2021（1）：9-16.

[12] YAO H T. Research and design of 5T structure global shutter CMOS image sensor [J]. Modern computer， 2018， 631（31）： 77-81.

[13] CAO P F. Research on key technology of real-time video transmission based on mobile terminal [J]. Journal of electronic research and application， 2023， 2（1）： 11-15.

[14] FERREIRA S.Exposing manipulated photos and videos in digital forensics analysis [J]. Journal of imaging， 2021， 7（7）： 102.