“可重構(gòu)成像”系統(tǒng)技術(shù)分析

張珊珊 劉韜（天津航天機(jī)電設(shè)備研究所，北京空間科技信息研究所）

智能探測器是實(shí)現(xiàn)智能對(duì)地觀測衛(wèi)星的重要途徑之一。美國國防高級(jí)研究計(jì)劃局（DARPA）于2016年提出“可重構(gòu)成像”（ReImagine）項(xiàng)目，并對(duì)外公布了項(xiàng)目征詢書，該項(xiàng)目旨在研制一種單一且多元智能的攝像傳感器，既可以像普通靜態(tài)及動(dòng)態(tài)成像儀一樣探測視覺場景，又能調(diào)整及改變自身特性以提供關(guān)于一個(gè)特定情境的最有用信息。DARPA計(jì)劃將該技術(shù)應(yīng)用于天、臨、空、地的成像系統(tǒng)。實(shí)際上，該項(xiàng)目的核心目標(biāo)是研制智能化的成像探測器。

2017年，DARPA同時(shí)授予診斷檢索系統(tǒng)（DRS）網(wǎng)絡(luò)和成像系統(tǒng)公司、沃克特爾公司（Voxtel）、英國航空航天系統(tǒng)公司（BAE）電子系統(tǒng)部門和洛馬公司（LM）導(dǎo)航和火控部門“軟件可重構(gòu)多功能成像傳感器”合同。

ReImagine概念示意圖

1 背景介紹

當(dāng)前大多數(shù)相機(jī)設(shè)計(jì)的目標(biāo)都是最大化空間分辨率和信噪比（SNR）。但是在這些限制條件下將丟失豐富的光學(xué)域信息。專用相機(jī)能夠獲取頻譜域、光譜域或深度信息，但通常這些相機(jī)不能采用單個(gè)焦平面以同時(shí)實(shí)現(xiàn)高信噪比和高空間分辨率。目前由于與探測器協(xié)同工作的讀出集成電路（ROIC）能力有限，相機(jī)的成像模式通常是單一或有限的。ROIC用于在探測器對(duì)信號(hào)采樣后，將這些值從芯片傳送出去。如果ROIC設(shè)計(jì)成用于特定的操作模式，實(shí)質(zhì)上就是專用集成電路（ASIC）。

一種利用單一探測器且僅基于場景內(nèi)容自動(dòng)提取最相關(guān)信息的成像系統(tǒng)，將徹底改變軍事和商業(yè)應(yīng)用。該成像系統(tǒng)需要開發(fā)一種軟件可配置的陣列，以便在不同的感興趣區(qū)域（ROI）中實(shí)現(xiàn)同步和獨(dú)特的成像模式。該新型成像系統(tǒng)可以提供傳統(tǒng)需要多種類型的探測器才具備的能力。這種新型探測器還需要基于場景實(shí)時(shí)調(diào)整探測器配置的算法，并能夠融合多種類型的信息，以使一次觀測的價(jià)值最大化。

在過去的十年里，具有像素內(nèi)模數(shù)轉(zhuǎn)換（ADC）能力的成像陣列技術(shù)獲得了突破，使得具有寬動(dòng)態(tài)范圍和像素內(nèi)處理的焦平面陣列（FPA）的創(chuàng)新概念能夠?qū)嵱没?。類似的像素體系結(jié)構(gòu)已經(jīng)用于高性能光檢測和測距（LIDAR）測量，同時(shí)具有幀和異步操作。但是，用于像素?cái)?shù)字化和像素信號(hào)累積的陣列的像元尺寸通常在20μm或更大，并且這些設(shè)計(jì)通常是固定邏輯的ASIC，這對(duì)進(jìn)一步提升遙感器性能是不利的。使用先進(jìn)的節(jié)點(diǎn)互補(bǔ)金屬氧化物半導(dǎo)體（CMOS）工藝可減少像素間距并插入足夠的可編程邏輯以啟用軟件可定義的平臺(tái)。此外，將與探測器連接的模擬組件分離成單像素互連的獨(dú)立層，可以為各種應(yīng)用定制廣泛兼容的全數(shù)字層。

2 項(xiàng)目目標(biāo)

“可重構(gòu)成像”項(xiàng)目的目標(biāo)是證明軟件可重新配置的成像系統(tǒng)可以實(shí)現(xiàn)革命性的功能，為應(yīng)用開發(fā)提供新的方法，與ASIC的設(shè)計(jì)相比，可重構(gòu)成像設(shè)計(jì)更加類似于現(xiàn)場可編程門陣列（FPGA）的設(shè)計(jì)。同時(shí)針對(duì)用于各種測量時(shí)的可配置探測器，開發(fā)學(xué)習(xí)收集最有價(jià)值信息的基礎(chǔ)理論和算法。

“可重構(gòu)成像”項(xiàng)目旨在演示驗(yàn)證單個(gè)ROIC體系結(jié)構(gòu)能夠適應(yīng)多種成像操作模式，這些成像操作模式可以在芯片設(shè)計(jì)后定義。憑借3D集成技術(shù)的應(yīng)用，可以定制傳感器與任一類型的成像傳感器（例如，光電二極管，光電導(dǎo)體，雪崩光電二極管或輻射熱測量計(jì)）相連接，并對(duì)其進(jìn)行優(yōu)化以適用于任一譜段（例如，從紫外譜段到超長波紅外譜段）。更重要的是，可以通過用戶手動(dòng)控制，以及通過每秒改變多次預(yù)設(shè)例行程序，或者響應(yīng)觀察到的場景信息來調(diào)整成像操作模式。例如，單個(gè)成像探測器可以對(duì)感興趣區(qū)域進(jìn)行高分辨率成像（即中央?yún)^(qū)域成像）或高幀速率成像。相比于傳統(tǒng)成像系統(tǒng)，可重構(gòu)成像讀出集成電路也將證明感興趣區(qū)域內(nèi)的有效計(jì)算可以實(shí)現(xiàn)對(duì)更復(fù)雜場景的實(shí)時(shí)分析。該項(xiàng)目將基于此體系結(jié)構(gòu)開發(fā)操作概念、應(yīng)用程序需求、成像模式以及相關(guān)算法。相對(duì)于以往單一功能的成像探測器，新型探測器能夠獲得對(duì)作戰(zhàn)人員（或作戰(zhàn)人員的自動(dòng)反應(yīng)系統(tǒng)）而言更具有可操作性的信息。

除了多種無源成像功能之外，新系統(tǒng)還具有潛在的革命性功能，能夠?qū)⒕嚯x檢測功能集成到高分辨率、低噪聲成像系統(tǒng)中。當(dāng)今的LIDAR系統(tǒng)主要是掃描設(shè)備，其中包含大型移動(dòng)部件，并且不提供高質(zhì)量的輔助背景圖像。二維成像LIDAR系統(tǒng)已被證明能夠在成幀或異步模式下獲取三維圖像。直接檢測和相干接收器陣列都已證明具有不同的應(yīng)用優(yōu)勢。然而，在所有情況下，高數(shù)據(jù)速率限制了傳感器的空間分辨率，并且在一個(gè)大的（大于1M像素）陣列中沒有顯示無源成像和有源激光雷達(dá)模式?？芍貥?gòu)成像雙模式探測器可以在可配置的感興趣區(qū)域內(nèi)收集高數(shù)據(jù)率激光雷達(dá)測量數(shù)據(jù)，同時(shí)繼續(xù)測量無源背景圖像。

3 項(xiàng)目技術(shù)介紹

技術(shù)概念

技術(shù)一：單色或多色無源相機(jī)架構(gòu)和支持算法。其目標(biāo)是設(shè)計(jì)和開發(fā)單色或多色無源相機(jī)架構(gòu)和支持算法，可支持目前單一焦平面陣列無法實(shí)現(xiàn)的各種技術(shù)目標(biāo)。感興趣的光譜帶為從紫外光譜帶到長波紅外光譜帶，或波長約為0.25～14μm的譜帶。多色成像探測器可以設(shè)計(jì)為能夠同時(shí)或連續(xù)地整合來自不同光譜帶的信號(hào)。

技術(shù)二：混合有源/無源成像探測器架構(gòu)和算法。該技術(shù)旨在設(shè)計(jì)和開發(fā)混合型有源/無源成像探測器架構(gòu)，其中無源模式操作基于圖像陣列上的傳統(tǒng)強(qiáng)度測量，有源模式基于三維距離信息（例如激光雷達(dá)模式）的飛行時(shí)間（TOF）測量。此外，陣列可以配置為在特定的ROI中執(zhí)行有源模式測量，同時(shí)在陣列的其余部分以無源模式進(jìn)行操作。雖然該技術(shù)應(yīng)該展示集成激光子系統(tǒng)的3D模式操作，但該技術(shù)提案應(yīng)該利用現(xiàn)有的激光源和指向系統(tǒng)。

技術(shù)三：具有內(nèi)部反饋的成像系統(tǒng)的創(chuàng)新概念。該技術(shù)將探索“可重構(gòu)成像”系統(tǒng)的自適應(yīng)算法。當(dāng)今成像系統(tǒng)中的信息流完全是從傳感器到圖像處理和/或用戶，而對(duì)象、手勢或活動(dòng)識(shí)別算法使用的數(shù)據(jù)參數(shù)不隨時(shí)間變化。可重構(gòu)成像架構(gòu)致力于提供一種成像系統(tǒng)，該系統(tǒng)可以改變被測量數(shù)據(jù)的性質(zhì)，無論是空間、時(shí)間還是頻譜;或者作為強(qiáng)度或時(shí)間;或者框架驅(qū)動(dòng)，變更驅(qū)動(dòng)，事件驅(qū)動(dòng)。該技術(shù)應(yīng)該探索主動(dòng)學(xué)習(xí)中的新概念，這些概念可以確定應(yīng)該收集的數(shù)據(jù)類型，并且可以作為位置和時(shí)間的函數(shù)。該算法應(yīng)該根據(jù)場景的背景和各種數(shù)據(jù)的預(yù)測值將信息內(nèi)容最大化并做出決策。

項(xiàng)目技術(shù)方案

（1）技術(shù)1和技術(shù)2方案

技術(shù)1和技術(shù)2的核心目標(biāo)是使用政府提供的可重新配置的集成電路（IC）和開發(fā)平臺(tái)來實(shí)驗(yàn)性地演示可重構(gòu)性提供革命性性質(zhì)的成像架構(gòu)。

可重構(gòu)成像的基礎(chǔ)將是通用數(shù)字硬件層（第一層），以及用于配置芯片的相關(guān)軟件。具有每像素模數(shù)轉(zhuǎn)換器的通用數(shù)字ROIC可以被認(rèn)為具有5個(gè)主要組件：①探測器：其中每個(gè)像素化探測器連接到它下面的電路；②混合信號(hào)前端電路：來自光電探測器的模擬信號(hào)被轉(zhuǎn)換成數(shù)字脈沖；③數(shù)字寄存器：通常用來計(jì)數(shù)或測量代表光電流包的脈沖的時(shí)間；④像素級(jí)信號(hào)處理和路由：用于從陣列中進(jìn)行基本計(jì)算和數(shù)據(jù)路由；⑤外圍處理和多路復(fù)用：可以包括一般或特定的信號(hào)處理和邏輯，以及多路復(fù)用和輸入/輸出（I/O）資源。

在可重構(gòu)成像的配置中，探測器位于第三層?；旌闲盘?hào)層位于第二層。混合信號(hào)和數(shù)字元件分離成單獨(dú)的層使得通用數(shù)字架構(gòu)能夠使用定制的層二設(shè)計(jì)以適用于各種各樣的光電探測器技術(shù)。它還能夠?yàn)槟M組件使用最佳的CMOS特征尺寸和電壓。組件數(shù)字寄存器、像素級(jí)信號(hào)處理和路由、外圍處理和多路復(fù)用將位于層一中。

技術(shù)1和2的實(shí)施者應(yīng)該設(shè)計(jì)和制造第二層和第三層，將它們與第一層相結(jié)合，并開發(fā)任何必要的固件以操作最終的相機(jī)。與第一層相比，前端模擬層（第二層）和探測器層（第三層）預(yù)計(jì)將取決于應(yīng)用。第二層和第三層應(yīng)該分別包含一一對(duì)應(yīng)的傳感器陣列和前端電路。第二層將提供CMOS兼容的數(shù)字脈沖，該脈沖可能會(huì)響應(yīng)光電流或其他信號(hào)觸發(fā)。第三層由適合成像探測器操作目的的探測器層組成。

具有每像素模數(shù)轉(zhuǎn)換器的數(shù)字ROIC中的資源在芯片設(shè)計(jì)時(shí)已被定義為包括用作檢測器和數(shù)字電路之間接口的模擬前端以及固定數(shù)量的數(shù)字寄存器。計(jì)數(shù)器數(shù)量和每個(gè)像素的位深度受CMOS工藝的特征尺寸和檢測器間距的限制。這些數(shù)字資源的控制信號(hào)通常是全局的，并由所有像素共享。該項(xiàng)目將開發(fā)的可重構(gòu)集成電路試圖打破這種每像素固定資源的模式，取而代之的是提供大量的數(shù)字邏輯資源和可重構(gòu)路由通道，這些路由通道可以根據(jù)需要使用與FPGA相同的編程技術(shù)分配給像素。

從探測器陣列到第一代集成電路的信號(hào)輸入將由4級(jí)可通過第二層尋址的數(shù)字I/O引腳陣列組成，并具有可重新配置的路由通道，以連接到由32個(gè)8位寄存器組成的陣列。寄存器可以獨(dú)立配置，以執(zhí)行包括向上/向下計(jì)數(shù)、時(shí)間戳、并行正交移位或左/右串行移位的操作。這種配置級(jí)別將允許連接不同間距的像素陣列，并且可以動(dòng)態(tài)選擇每個(gè)探測器像素的計(jì)數(shù)器數(shù)量。這種可重構(gòu)性在聚合成更大的像素時(shí)也會(huì)提供更多的像素資源。應(yīng)該注意的是，哪里將會(huì)演示一個(gè)大于10μm的像素間距，以及這是由于光學(xué)系統(tǒng)還是探測器的限制，還是要利用更多的像素資源?？芍貥?gòu)的路由資源將會(huì)被提供以用于分發(fā)控制信號(hào)和在數(shù)組中移動(dòng)數(shù)據(jù)。圍繞像素電路陣列的是外圍存儲(chǔ)器、數(shù)字信號(hào)處理模塊和支持輸出格式化和片上處理的可重構(gòu)邏輯。

下表包含了對(duì)第一代通用數(shù)字層硬件的說明，并指出實(shí)際的參數(shù)可能不同。應(yīng)該假設(shè)數(shù)字層將使用商業(yè)的14nm CMOS工藝制造。應(yīng)當(dāng)明確說明在何處需要其他功能或資源來實(shí)現(xiàn)其建議的操作模式，以及這些資源是否會(huì)增加像素間距和/或功耗。

預(yù)計(jì)第二代集成電路將在第一代概念的基礎(chǔ)上擴(kuò)展到類似于分布式處理器陣列的架構(gòu)，并可能包含更復(fù)雜的類似于第一代陣列周圍的數(shù)字模塊（例如存儲(chǔ)器，加法器，乘法器等）。如下面所討論的，第二代設(shè)計(jì)最終將通過合并來自技術(shù)1和2執(zhí)行者的輸入來定義。

第一代集成電路特征參數(shù)

這些可重新配置的集成電路將通過政府提供的和開源FPGA計(jì)算機(jī)輔助設(shè)計(jì)（CAD）工具的組合進(jìn)行編程；用戶將編寫他們所需的ROIC配置的硬件描述語言（Verilog）；將此Verilog描述與提供的可重構(gòu)成像數(shù)字資源的Verilog模型相結(jié)合，用戶將模擬其設(shè)計(jì)以執(zhí)行功能驗(yàn)證；用戶將遍歷綜合，優(yōu)化，以及布局布線的步驟。政府提供的軟件將生成一個(gè)比特流，以通過標(biāo)準(zhǔn)的聯(lián)合測試行動(dòng)組（JTAG）接口對(duì)集成電路進(jìn)行編程。

（2）技術(shù)3方案

技術(shù)1和2應(yīng)該強(qiáng)調(diào)開發(fā)可以顯著影響目標(biāo)應(yīng)用程序的新穎操作模式和算法。技術(shù)3將著重于基于主動(dòng)學(xué)習(xí)和適應(yīng)的技術(shù)的新控制理論，以及使技術(shù)1和技術(shù)2在應(yīng)用程序范圍內(nèi)模式切換的控制算法。將模擬界面與數(shù)字層分離的能力為創(chuàng)新或多模式前端設(shè)計(jì)提供了機(jī)會(huì)。然而，接口層的目標(biāo)應(yīng)該由應(yīng)用程序需求來驅(qū)動(dòng)。

“可重構(gòu)成像”體系結(jié)構(gòu)可以通過用戶控制或預(yù)置例程更改模式。然而，也有可能設(shè)想一個(gè)智能化系統(tǒng)，使傳感器能夠基于場景信息自動(dòng)收集最相關(guān)的數(shù)據(jù)。

技術(shù)3的目標(biāo)是開發(fā)自適應(yīng)的學(xué)習(xí)算法，通過傳感器控制參數(shù)的實(shí)時(shí)調(diào)整來引導(dǎo)傳感器采集最有用的信息。技術(shù)1和2將僅提供可重新配置的圖像傳感器的少量實(shí)例，并且可以構(gòu)思許多其他實(shí)例。而技術(shù)3有望開發(fā)出能夠探索設(shè)計(jì)參數(shù)的軟件模型，這些參數(shù)可以指導(dǎo)未來可重新配置傳感器的開發(fā)。

技術(shù)3可以考慮對(duì)空間分辨率、時(shí)間分辨率、光譜響應(yīng)和偏振響應(yīng)的實(shí)時(shí)參數(shù)控制，以及使用距離測量。

“可重構(gòu)成像”項(xiàng)目結(jié)構(gòu)（技術(shù)1和2）

技術(shù)3“可重構(gòu)成像”實(shí)現(xiàn)邏輯圖

4 總結(jié)

“可重構(gòu)成像”系統(tǒng)可以具備多種成像模式，而傳統(tǒng)上，需要利用幾種不同的傳感器才能實(shí)現(xiàn)該功能。更為重要的是，該新型成像系統(tǒng)基于人工智能技術(shù)，可以根據(jù)場景的內(nèi)容自動(dòng)調(diào)整成像參數(shù)，以獲取最有價(jià)值的信息。該技術(shù)對(duì)于未來智能化對(duì)地觀測衛(wèi)星具有重要的應(yīng)用價(jià)值。