快照式多光譜探測(cè)器圖像加速處理方案設(shè)計(jì)

摘要：目前，多光譜探測(cè)技術(shù)，尤其是采用快照成像技術(shù)的多光譜探測(cè)器，在農(nóng)業(yè)監(jiān)測(cè)、環(huán)境評(píng)估、資源勘探等領(lǐng)域的應(yīng)用受到重視。其能夠同時(shí)捕獲多個(gè)不同波段的圖像數(shù)據(jù)，提供豐富的空間和光譜信息。然而同時(shí)，其數(shù)據(jù)采集和處理的效率面臨挑戰(zhàn)，尤其是在需要實(shí)時(shí)數(shù)據(jù)采集和穩(wěn)定性的場(chǎng)景下。本文提出了一種優(yōu)化數(shù)據(jù)處理算法和硬件設(shè)計(jì)的方案，通過減少數(shù)據(jù)處理過程中的地址輪詢操作，降低對(duì)CPU資源的依賴，從而提高數(shù)據(jù)處理效率和系統(tǒng)的實(shí)時(shí)性。核心技術(shù)包括采用瑞芯微電子的RK3399Pro處理器。該處理器具有低功耗、高性能的特點(diǎn)，以及強(qiáng)大的神經(jīng)網(wǎng)絡(luò)處理單元，支持Caffe、TensorFlow等主流模型。通過改進(jìn)的二維圖像加速處理方案，實(shí)現(xiàn)對(duì)快照式多光譜探測(cè)器采集的多波段混合數(shù)據(jù)的高效處理，能夠顯著提高探測(cè)器的實(shí)時(shí)性，從而為多光譜成像技術(shù)的實(shí)時(shí)和高穩(wěn)定性要求場(chǎng)景提供強(qiáng)有力的支持。

關(guān)鍵詞 ：快照式多光譜；數(shù)據(jù)處理；探測(cè)器；圖像加速

一、引言

在科技飛速發(fā)展的背景下，多光譜探測(cè)技術(shù)因其在農(nóng)業(yè)監(jiān)測(cè)、環(huán)境評(píng)估、資源勘探等領(lǐng)域的廣泛應(yīng)用而受到了極大的關(guān)注。多光譜探測(cè)器能夠同時(shí)捕獲多個(gè)不同波段的圖像數(shù)據(jù)，提供比傳統(tǒng)成像技術(shù)更豐富的空間和光譜信息，從而使得對(duì)觀測(cè)對(duì)象的分析更加細(xì)致和準(zhǔn)確[1]。然而，隨著技術(shù)的發(fā)展和應(yīng)用需求的提高，多光譜探測(cè)器在數(shù)據(jù)采集和處理過程中面臨著新的挑戰(zhàn)。

在最近幾年，新興的快照成像技術(shù)催生了一代快照相機(jī)。這些相機(jī)正朝著成本更低、體積更小、分辨率更高、幀率更快的方向進(jìn)化。在最新的研究中，歐洲微電子研究中心IMEC開發(fā)出了一項(xiàng)創(chuàng)新的芯片上光譜傳感器技術(shù)。該技術(shù)利用了一種特殊的光學(xué)濾波層。這層濾波層直接集成在標(biāo)準(zhǔn)CMOS圖像傳感器之上，通過在每個(gè)晶圓表面鍍上不同光譜段的濾波膜，實(shí)現(xiàn)了一次性捕捉多光譜圖像的能力。這種芯片上的光譜傳感器技術(shù)摒棄了使用傳統(tǒng)光學(xué)組件（比如光柵或棱鏡）的需求，取而代之的是直接在圖像傳感器上沉積的濾波器。這一變革顯著提升了相機(jī)的采集速度，同時(shí)降低了相機(jī)的體積和成本。因此，對(duì)于那些需要高度便攜性和能夠即時(shí)響應(yīng)變化的應(yīng)用場(chǎng)景而言，采用這種鍍膜CMOS技術(shù)的快照相機(jī)展現(xiàn)出了極大的應(yīng)用潛力。由于其特殊的濾波膜設(shè)計(jì)，這類相機(jī)產(chǎn)生的圖像會(huì)展現(xiàn)出特有的塊狀效果，因而，這種類型的相機(jī)也被稱作馬賽克鍍膜型相機(jī)。

快照式多光譜探測(cè)器采集的數(shù)據(jù)是多波段混合數(shù)據(jù)，這要求在后續(xù)的數(shù)據(jù)處理中將混合數(shù)據(jù)按波段分解，以生成單一波段數(shù)據(jù)。以9波段多光譜探測(cè)器為例，其像元陣列設(shè)計(jì)使得相同顏色或數(shù)字代表采集同一波段數(shù)據(jù)的像元。這種設(shè)計(jì)雖然在采集效率上有優(yōu)勢(shì)，但在數(shù)據(jù)處理過程中，需要進(jìn)行大量的地址輪詢操作。這不僅消耗大量CPU資源，而且對(duì)實(shí)時(shí)性和穩(wěn)定性構(gòu)成挑戰(zhàn)，限制了多光譜成像技術(shù)在實(shí)時(shí)和高穩(wěn)定性要求場(chǎng)景下的應(yīng)用潛力。

本文針對(duì)上述問題，提出了一種新的解決方案。該方案旨在通過優(yōu)化數(shù)據(jù)處理算法和改進(jìn)硬件設(shè)計(jì)，減少數(shù)據(jù)處理過程中的地址輪詢操作，從而降低對(duì)CPU資源的依賴，提高數(shù)據(jù)處理的效率和系統(tǒng)的實(shí)時(shí)性。

二、探測(cè)器信號(hào)處理系統(tǒng)

信號(hào)處理系統(tǒng)接收?qǐng)D像采集模塊通過MIPI接口發(fā)送的圖像數(shù)據(jù)，并對(duì)接收到的圖像數(shù)據(jù)進(jìn)行光譜復(fù)原、圖譜識(shí)別等數(shù)據(jù)處理，以及對(duì)圖像數(shù)據(jù)進(jìn)行存儲(chǔ)。

信號(hào)處理系統(tǒng)主要由嵌入式處理器及其他外圍電路組成。嵌入式處理器的功能主要是通過內(nèi)部接口接收?qǐng)D像采集模塊傳輸?shù)膱D像數(shù)據(jù)，并進(jìn)行圖像數(shù)據(jù)的緩存、處理、存儲(chǔ)[2]。信號(hào)處理模塊系統(tǒng)組成如圖1所示。

信號(hào)處理系統(tǒng)能夠?qū)崿F(xiàn)以下具體功能：

①通過MIPI接口接收?qǐng)D像采集模塊輸出的圖像數(shù)據(jù)。

②通過RS-422接口向圖像采集模塊發(fā)送攝像機(jī)控制指令，并接收攝像機(jī)狀態(tài)數(shù)據(jù)。

③對(duì)輸入的圖像數(shù)據(jù)進(jìn)行光譜復(fù)原、圖譜識(shí)別等圖像處理。

④將原始圖像數(shù)據(jù)和經(jīng)數(shù)據(jù)處理后的圖像數(shù)據(jù)存儲(chǔ)到硬盤中。

三、二維圖像加速處理方案

二維圖像加速處理方案的設(shè)計(jì)框圖如圖2所示，主要涵蓋兩個(gè)模塊：視頻輸入模塊和數(shù)據(jù)搬運(yùn)模塊。數(shù)據(jù)拷貝的結(jié)果將在目的地址生成寬/高按數(shù)據(jù)間隔成比例縮小的圖像數(shù)據(jù)。

（一）信號(hào)輸入模塊ISP

多光譜探測(cè)器通過MIPI接口接入主處理器的內(nèi)置圖像信號(hào)處理器ISP。ISP作為RK3399Pro的視頻輸入單元，具有圖像處理、縮放和壓縮功能，可以對(duì)探測(cè)器數(shù)據(jù)進(jìn)行預(yù)處理。使用時(shí)首先根據(jù)需求更改對(duì)應(yīng)傳感器的XML文件信息，然后調(diào)用RKISP庫函數(shù)對(duì)Sensor配置信息結(jié)構(gòu)體進(jìn)行設(shè)置，涉及的關(guān)鍵成員包括：總線寬度、采集格式、顏色校驗(yàn)等。

ISP模塊支持標(biāo)準(zhǔn)Sensor圖像數(shù)據(jù)處理，包括自動(dòng)白平衡、自動(dòng)曝光、Demosaic、壞點(diǎn)矯正及鏡頭陰影矯正等基本功能，也支持WDR、DRC、降噪等高級(jí)處理功能。該模塊的輸入采集窗口是可編程的，支持小于設(shè)置大小的輸入圖像。在輸入錯(cuò)誤時(shí)會(huì)生成IRQ錯(cuò)誤。ISP允許連續(xù)圖像采集或按特定數(shù)量進(jìn)行圖片采樣的采集模式（1…1023）。此外，ISP模塊通過向系統(tǒng)處理器提供圖片數(shù)據(jù)信息來支持自動(dòng)曝光功能，模塊的輸入部分可以根據(jù)信號(hào)極性、視頻數(shù)據(jù)位置和亮度/色度順序設(shè)置。

ISP模塊總是輸出YCbCr 4：2：2格式的數(shù)據(jù)。RGB通道提供的數(shù)據(jù)下采樣得到Y(jié)CbCr 4：2：2，支持共址和非共址計(jì)算。使用行和幀結(jié)束信號(hào)并行提供亮度和色度數(shù)據(jù)。在原始數(shù)據(jù)模式中，這些數(shù)據(jù)通過Y端口傳送。

數(shù)據(jù)確認(rèn)使用握手的方式。由于傳感器設(shè)備無法停止發(fā)送數(shù)據(jù)，反向握手（確認(rèn)）僅用于像素檢測(cè)使用IRQ發(fā)出信號(hào)。為防止像素丟失，模塊內(nèi)置FIFO。FIFO的深度可以由用戶定制。

ISP模塊還包含可編程寄存器，可通過僅支持單次傳輸?shù)?2位PVCI兼容接口訪問。

來自相機(jī)輸入的hsync和vsync控制信號(hào)與中斷邏輯連接，在處理過程中，可以再用些信號(hào)觸發(fā)配置事件。

下面對(duì)ISP的常用功能進(jìn)行說明：

1.顏色處理

該模塊負(fù)責(zé)顏色處理相關(guān)功能，如色調(diào)、對(duì)比度、亮度和飽和度調(diào)節(jié)，操作數(shù)據(jù)格式為YCbCr 4：2：2。

2.圖像效果

圖像效果模塊逐像素修改圖像?？梢赃M(jìn)行一系列不同操作，如灰度、棕褐色、顏色選擇、負(fù)片、浮雕、素描和銳化效果等。同時(shí)，可以使用ISP控制器的伽馬模塊創(chuàng)建日光效果。圖像效果模塊通過16位（[15：8]：Y，[7：0]：Cb/Cr）數(shù)據(jù)接口獲取YCbCr 4：2：2數(shù)據(jù)。

亮度色度分離：亮度/色度分離器負(fù)責(zé)提供分量分離的YCbCr 4：2：2像素?cái)?shù)據(jù)，以便進(jìn)一步處理。

JPEG格式編碼器：JPEG編碼器由Raster-2-Block轉(zhuǎn)換器和JPEG編碼器核心組成。它只接受YCbCr 4：2：2數(shù)據(jù)。輸出接口為64位寬，兩個(gè)接口都使用握手，編程接口是16位PVCI接口。

ISP使用分布式配置寄存器方案。所有子模塊都包含自己的編程寄存器。在整個(gè)ISP控制器地址空間內(nèi)為每個(gè)子模塊保留一個(gè)地址空間。

（二）數(shù)據(jù)搬運(yùn)模塊DMA

數(shù)據(jù)搬運(yùn)模塊（Direct Memory Access，DMA）控制器允許外圍設(shè)備或內(nèi)存直接與主存交換數(shù)據(jù)，而無需CPU的介入，從而大幅減少CPU的負(fù)載，并提高數(shù)據(jù)傳輸效率。RK3399Pro處理器內(nèi)置的DMA控制器支持直接拷貝和間隔拷貝功能，使得數(shù)據(jù)可以快速且靈活地在內(nèi)存區(qū)域之間移動(dòng)。在直接拷貝模式下，數(shù)據(jù)從源地址直接移動(dòng)到目標(biāo)地址，適合大塊數(shù)據(jù)的快速傳輸。間隔拷貝模式則允許在傳輸過程中按照預(yù)設(shè)的間隔調(diào)整數(shù)據(jù)，這對(duì)于處理特定格式的數(shù)據(jù)，如圖像數(shù)據(jù)非常有效。

對(duì)DMA進(jìn)行正確的配置是充分利用其性能的關(guān)鍵。配置包括設(shè)置源和目標(biāo)地址、定義傳輸?shù)臄?shù)據(jù)大小、選擇傳輸模式（直接拷貝或間隔拷貝）等。在RK3399Pro平臺(tái)上，DMA控制器的配置通過編程實(shí)現(xiàn)。開發(fā)者可以根據(jù)數(shù)據(jù)處理需求精細(xì)調(diào)整DMA的工作模式，確保數(shù)據(jù)傳輸?shù)母咝Ш蜏?zhǔn)確。

RK3399Pro提供了兩個(gè)DMA控制器：DMAC0和DMAC1，兩者都在Pd_Peri_Lp系統(tǒng)中。DMAC0有10個(gè)硬件請(qǐng)求端口。它們的觸發(fā)器類型都是高電平觸發(fā)的，不能編程。DMAC1有20個(gè)硬件請(qǐng)求端口，每個(gè)觸發(fā)器類型都是高電平觸發(fā)的，不可編程。

在圖像處理領(lǐng)域，DMA的應(yīng)用尤為重要?？煺帐蕉喙庾V探測(cè)器采集的數(shù)據(jù)通常是多波段混合數(shù)據(jù)，需要經(jīng)過復(fù)雜的處理才能分離成單一波段數(shù)據(jù)。通過利用DMA的間隔拷貝功能，可以按波段對(duì)這些混合數(shù)據(jù)進(jìn)行有效重組，從而大幅度提高數(shù)據(jù)處理效率和系統(tǒng)的實(shí)時(shí)性。這種方法不僅減輕了CPU的負(fù)擔(dān)，還加速了圖像處理流程，為實(shí)時(shí)圖像分析提供了可能[3]。

RK3399Pro的DMA具有直接拷貝和間隔拷貝功能。直接拷貝可以實(shí)現(xiàn)矩形數(shù)據(jù)區(qū)域的快速搬移功能。在此模式下，源數(shù)據(jù)將會(huì)直接通過快速通路搬移到目標(biāo)區(qū)

域；間隔拷貝可以實(shí)現(xiàn)矩形區(qū)域數(shù)據(jù)的間隔搬移。在該模式下，源數(shù)據(jù)將在水平和垂直方向上都按給定的距離間隔、以固定大小搬移到目的區(qū)域。在本方案中使用間隔拷貝按波段對(duì)探測(cè)器采集數(shù)據(jù)進(jìn)行搬運(yùn)重組。

四、結(jié)束語

綜上所述，針對(duì)快照式多光譜探測(cè)器圖像為多波段混合數(shù)據(jù)的特點(diǎn)，本文設(shè)計(jì)了二維圖像加速方案。該方案從數(shù)據(jù)處理算法和硬件設(shè)計(jì)兩方面入手，減少了數(shù)據(jù)處理的復(fù)雜度，從而有、加速圖像數(shù)據(jù)處理，提高探測(cè)器的實(shí)時(shí)性。

作者單位：黃永飛 中國(guó)科學(xué)院空天信息創(chuàng)新研究院中國(guó)科學(xué)院大學(xué)光電學(xué)院

參考文獻(xiàn)

[1]J H ，E W ，于嘯 .基于長(zhǎng)波紅外和可見光相機(jī)的多光譜成像技術(shù)[J].紅外，2020，41（07）：38-46.

[2]劉安，馮英林，徐冬梅等.一種具有多接口的網(wǎng)絡(luò)測(cè)試儀[P].北京市：CN116389330A，2023-07-04.

[3]胡溢.微型無人直升機(jī)水面檢測(cè)系統(tǒng)研究[D].浙江大學(xué)，2007.