低成本、低功耗雙目攝像頭系統(tǒng)的設(shè)計與實現(xiàn)

摘 要：文中提出了一種新型雙目攝像頭系統(tǒng)設(shè)計方案，該方案將單通道圖像信號處理器（ISP）與MIPI切換開關(guān)相結(jié)合，實現(xiàn)了兩個圖像傳感器的同步圖像數(shù)據(jù)處理。在此基礎(chǔ)上，通過對紅外補光燈和傳感器的精確調(diào)控，在確保圖像質(zhì)量不受影響的同時，顯著降低了系統(tǒng)功耗。此外，開發(fā)了一種快速且穩(wěn)定的圖像獲取方法，進一步加快了識別系統(tǒng)的處理速度。對系統(tǒng)的硬件設(shè)計與軟件實現(xiàn)進行了闡述，并通過一系列實驗對該系統(tǒng)進行了驗證。實驗結(jié)果表明，該系統(tǒng)在具備高同步精度和快速響應(yīng)能力的同時，顯著降低了功耗，具備良好的應(yīng)用價值，尤其適合應(yīng)用于移動和嵌入式設(shè)備領(lǐng)域。

關(guān)鍵詞：雙目攝像頭；ISP圖像信號處理器；MIPI切換開關(guān)；圖像同步；圖像傳感器；圖像亮度調(diào)節(jié)

中圖分類號：TP39；TN919.5 文獻標識碼：A 文章編號：2095-1302（2025）03-00-04

0 引 言

雙目攝像頭系統(tǒng)可以利用分布在兩個空間的攝像頭模擬人類雙眼的視覺，目前已在自動駕駛、機器人導航、3D重建及增強現(xiàn)實等多個領(lǐng)域得到廣泛應(yīng)用[1-3]。雙目攝像頭系統(tǒng)通過處理從不同視角捕獲的圖像，能夠提取深度信息，實現(xiàn)對環(huán)境的三維感知[4-6]。然而，傳統(tǒng)的雙目攝像頭系統(tǒng)通常需要配備兩個獨立的圖像信號處理器（ISP），這不僅增加了系統(tǒng)成本，還增加了功耗，進而限制了其在移動或便攜式設(shè)備上的普及。雙目攝像頭系統(tǒng)作為識別系統(tǒng)中不可或缺的圖像采集設(shè)備，通常會配備有兩個圖像傳感器和一個支持雙通道輸入的圖形處理芯片ISP。值得注意的是，支持雙通道輸入的ISP不僅成本高昂，而且可選型號相對較少，不利于產(chǎn)品的低成本化。

在一些對識別速度有較高要求的識別系統(tǒng)中，如無感識別或高體驗感識別系統(tǒng)，雙目攝像頭中的ISP需要能迅速處理兩個傳感器輸入的原始數(shù)據(jù)，并輸出曝光相同、亮度穩(wěn)定的同步圖像以供后端使用[7-9]。而一般的雙目攝像頭，在啟動時需要先根據(jù)場景亮度做自動曝光，這一過程中存在Sensor寄存器生效延時以及可能因亮度調(diào)整不當而再次調(diào)整的延時[10-12]。因此，攝像頭輸出的前幾幀往往是亮度不穩(wěn)定、不能被后端識別系統(tǒng)所采用并需要丟棄的圖像，這樣就影響到了識別速度。

在一些以電池作為電源的識別系統(tǒng)中，對整機的功耗有較高要求，特別是一些帶有紅外補光燈的雙目紅外攝像頭中，補光燈的開啟時長對功耗影響極大。同時，當不需要進行圖像采集時，如果攝像頭上的兩個Sensor一直處于工作狀態(tài)，也會增加額外的功耗。

鑒于此，本文提出了一種創(chuàng)新的低成本、低功耗雙目攝像頭系統(tǒng)設(shè)計方案。該系統(tǒng)允許兩個圖像傳感器交替地將數(shù)據(jù)發(fā)送到ISP，從而避免了對雙ISP的需求。這種方法顯著降低了硬件成本，并減少了系統(tǒng)的功耗。同時，開發(fā)了一套同步機制和數(shù)據(jù)交替?zhèn)鬏敳呗?，確保了在單通道ISP的限制下，兩個攝像頭的數(shù)據(jù)仍能被有效地同步處理。此外，通過優(yōu)化紅外補光燈和傳感器的使用時機，系統(tǒng)可以在需要時迅速啟動并穩(wěn)定獲取圖像，減少了廢幀的產(chǎn)生，提高了系統(tǒng)的響應(yīng)速度。

1 系統(tǒng)設(shè)計整體架構(gòu)

本文提出的低成本、低功耗雙目攝像頭系統(tǒng)的硬件設(shè)計，主要包括整體電路架構(gòu)以及傳感器的選擇、MIPI（Mobile Industry Processor Interface）切換開關(guān)的應(yīng)用。

1.1 整體電路架構(gòu)

整體電路架構(gòu)如圖1所示。系統(tǒng)的電路架構(gòu)設(shè)計旨在優(yōu)化信號路徑，減少電磁干擾，并提高系統(tǒng)的穩(wěn)定性和可靠性。本文設(shè)計了一個緊湊的印刷電路板（PCB），其中包括兩個傳感器、MIPI切換開關(guān)、ISP以及必要的電源管理單元。

傳感器模塊被安置在PCB的兩側(cè)，以模擬人類的雙眼立體視覺。MIPI切換開關(guān)被安置在傳感器和ISP之間，由ISP微控制器單元進行控制。ISP單元被配置為能夠處理高分辨率圖像，同時支持高動態(tài)范圍（HDR）成像技術(shù)和噪聲抑制功能。在軟件層面，ISP需要按照特定的時序控制MIPI切換開關(guān)和兩個Sensor，確保兩個Sensor的圖像數(shù)據(jù)在時間上不產(chǎn)生重疊，并且每幀數(shù)據(jù)都能完整且交替地送入ISP進行處理。

電源管理單元負責為傳感器、ISP和其他電路組件提供穩(wěn)定的電壓，并實現(xiàn)功耗優(yōu)化。電源管理框架如圖2所示。

1.2 傳感器的選擇

在傳感器選擇方面，綜合考慮圖像質(zhì)量、功耗和成本這三個關(guān)鍵因素，最終選定了兩款高性能的CMOS圖像傳感器。這兩款傳感器不僅功耗較低，而且成本適中，并且具備快速的圖像捕捉能力和出色的動態(tài)范圍，可以在各種照明條件下提供清晰的圖像。

1.3 MIPI切換開關(guān)的應(yīng)用

為了實現(xiàn)單通道ISP的設(shè)計，本文引入了MIPI切換開關(guān)，該開關(guān)可以在兩個傳感器之間快速切換，允許它們交替地將數(shù)據(jù)傳輸?shù)絀SP。這種方法避免了雙ISP的使用，并顯著降低了系統(tǒng)的成本和功耗。MIPI切換開關(guān)的設(shè)計需要考慮信號的傳輸速率和完整性，以確保圖像數(shù)據(jù)在傳輸過程中不會丟失或損壞。

總體而言，本文通過精心選擇傳感器、應(yīng)用MIPI切換開關(guān)以及優(yōu)化電路架構(gòu)，實現(xiàn)了一種高效、低成本且低功耗的雙目攝像頭系統(tǒng)。系統(tǒng)接收到上位機發(fā)來的供電與識別指令后，會按照預設(shè)的時序精確控制紅外補光燈的開關(guān)與Sensor的啟動，減少在不需要補光的情況下的功耗。同時，ISP對Sensor進行了特別配置，使得Sensor啟動后能迅速穩(wěn)定所捕獲圖像的亮度，并將圖像傳輸至后端，顯著減少了無用幀的數(shù)量。這種設(shè)計不僅適用于資源受限的移動設(shè)備，而且在諸如監(jiān)控和門鎖控制等需要長時間運行的應(yīng)用場景中，也具有重要的實際意義。

2 具體的實現(xiàn)思路

2.1 MIPI切換硬件平臺框架

MIPI切換硬件平臺框架如圖3所示。

（1）Sensor_A和Sensor_B的MIPI輸出信號分別連接到MIPI_SWITCH的A輸入端和B輸入端。MIPI_SWITCH的MIPI輸出端連接到ISP的MIPI輸入端。MIPI_SWITCH可以采用市面上常見的、通過高低電平信號來切換通道的MIPI切換芯片，即當接收到低電平時切換到A通道，接收到高電平時切換到B通道。

（2）ISP使用一個I/O端口來控制MIPI_SWITCH的通道切換；另一個I/O端口用于控制紅外補光燈的開關(guān)。同時，ISP還通過一組I2C通信接口與Sensor_A和Sensor_B的I2C通信接口相連，使ISP能夠配置Sensor和讀取Sensor的相關(guān)信息。

（3）ISP將處理后的視頻流傳輸?shù)胶蠖恕?/p>

2.2 MIPI_SWITCH的控制時序和有效圖像數(shù)據(jù)的切換時序

MIPI_SWITCH的控制時序和有效圖像數(shù)據(jù)的切換時序如圖4所示。

（1）本文使用的是單通道輸入的ISP，進入ISP的兩個Sensor有效圖像信號（分辨率為800×600）存在時間差。為了減少時間差，將單個Sensor的刷新率設(shè)置為30幀。同時，兩個Sensor的有效圖像必須整幀無缺失地輸出到ISP，所以將兩個Sensor的圖像時序設(shè)置為：

Frame length = 1268；

Line length = 1096；

Pixel clock = 41.69184 MHz；

Out window width（active line width）= 800；

Out window height（active lines）= 600；

根據(jù)以上設(shè)置，單個Sensor的一幀畫面中，有效圖像時間約為15.8 ms，場消隱時間約為17.5 ms。因此，MIPI_SWITCH 芯片從切換到數(shù)據(jù)穩(wěn)定輸出的時間必須限定在0.8 ms以內(nèi)。本文方法使用的MIPI_SWITCH芯片（AW35645FBR）符合這樣的要求，芯片相關(guān)參數(shù)如圖5所示。

tON Switch turn on time

（SEL to output） Dn， CLKn=0.6 V

DAn， DBn， CLKAn，

CLKBn;

RL=50 Ω， CL=0 pF 1 200 2 500 ns

tOFF Switch turn off time

（SEL to output） Dn， CLKn=0.6 V

DAn， DBn， CLKAn，

CLKBn;

RL=50 Ω， CL=0 pF 1 000 2 000 ns

（2）為使兩個Sensor的有效圖像交替進入ISP，并且在時間上不重疊，啟動Sensor（開啟Sensor的PLL）時，先將MIPI_SWITCH芯片切換到Sensor_A的MIPI通道，然后開啟Sensor_A；延時16.2 ms后，將MIPI_SWITCH芯片切換到Sensor_B的MIPI通道，然后開啟Sensor_B。按照圖4所展示的時序進行重復操作。

2.3 紅外補光燈和Sensor的啟動時機

為減少紅外補光燈和兩個Sensor的無用工作時間，紅外補光燈和Sensor的啟動時機設(shè)置如圖6所示。

2.4 圖像亮度的快速穩(wěn)定

為使Sensor啟動后圖像的亮度快速穩(wěn)定，并將穩(wěn)定圖像輸出到后端，減少無用幀的數(shù)量，做出以下處理：

（1）攝像頭在輸出穩(wěn)定的圖像后，Sensor的曝光時間、數(shù)字增益、模擬增益一般會趨于一個穩(wěn)定值，因此可以首先將攝像頭置于產(chǎn)品應(yīng)用的一些常規(guī)亮度環(huán)境中，采集和統(tǒng)計在這些亮度環(huán)境中攝像頭輸出穩(wěn)定圖像時Sensor的曝光時間、數(shù)字增益和模擬增益，并找出使用比例最高的一組參數(shù)，然后取這一組參數(shù)作為攝像頭上電啟動時的亮度初始值。具體流程如圖7所示。

（2）圖像亮度調(diào)節(jié)過程

根據(jù)是否為第1次識別以及是否存儲過圖像亮度設(shè)定值進行快速自動曝光調(diào)節(jié)。具體流程如圖8所示。

通過創(chuàng)新的硬件平臺設(shè)計，成功構(gòu)建了一個成本效益顯著的雙目攝像頭系統(tǒng)。該系統(tǒng)無需依賴雙通道ISP，而是采用了一種獨特的圖像數(shù)據(jù)切換機制，從而確保了圖像的高度同步性。此外，系統(tǒng)還實現(xiàn)了對紅外補光燈和傳感器啟動時機的精確控制，有效降低了功耗，同時通過快速穩(wěn)定的圖像獲取方法加速識別過程，提升了系統(tǒng)的性能和經(jīng)濟性。

3 功耗驗證

功耗是評估便攜式和嵌入式系統(tǒng)性能的重要指標。本文系統(tǒng)在不同操作環(huán)境下的平均功耗和最大功耗以及平臺有無MIPI切換的差異性比較結(jié)果如圖9所示。

與當前市場上的同類產(chǎn)品相比，本文系統(tǒng)在各種情況下的功耗平均下降15%。功耗比較數(shù)據(jù)如圖10所示。

實驗結(jié)果表明，本文所設(shè)計的雙目攝像頭系統(tǒng)在保持圖像同步精度和快速響應(yīng)的同時，成功降低了功耗。這一系列的性能提升主要得益于創(chuàng)新的硬件設(shè)計和優(yōu)化的軟件算法。通過與現(xiàn)有技術(shù)的對比，本文系統(tǒng)在多個關(guān)鍵性能指標上展現(xiàn)出了顯著的優(yōu)勢。特別是在功耗方面，本文系統(tǒng)為移動和嵌入式應(yīng)用提供了一個更加可行的解決方案。

4 結(jié) 語

本文提出了一種低成本、低功耗的雙目攝像頭系統(tǒng)設(shè)計，旨在解決現(xiàn)有技術(shù)在資源受限環(huán)境中的應(yīng)用局限性。設(shè)計采用了單通道ISP和MIPI切換開關(guān)的創(chuàng)新方案，實現(xiàn)了高效的圖像同步處理。實驗結(jié)果表明，本文系統(tǒng)在保持高同步精度和快速響應(yīng)時間的同時，顯著降低了功耗，具備良好的應(yīng)用價值，尤其適合應(yīng)用于移動和嵌入式設(shè)備領(lǐng)域。

參考文獻

[1]王明吉，陳秋夢，任福深.基于雙目視覺的目標測距系統(tǒng)[J]. 自動化與儀器儀表，2022（7）：5-8.

[2]劉煒，陸存豪.自動駕駛汽車環(huán)境感知傳感器研究[J]. 汽車實用技術(shù)，2023，48（10）：197-203.

[3]陳果，花國祥，俞斌，等.基于雙目視覺的帶電作業(yè)機器人的目標識別與定位方法研究[J]. 國外電子測量技術(shù)，2023，42（6）：139-146.

[4]周禹辰，卜凡亮.基于Zynq-7000的雙目相機系統(tǒng)硬件平臺設(shè)計[J]. 單片機與嵌入式系統(tǒng)應(yīng)用，2019，19（1）：30-34.

[5]于蕾，李欣澤，潘大鵬，等.基于ZYNQ平臺的雙目圖像采集實驗案例設(shè)計與實現(xiàn)[J]. 實驗科學與技術(shù)，2021，19（5）：60-64.

[6]王迪迪，候嘉豪，王富全，等.基于雙目視覺的目標檢測與測距研究[J]. 電子制作，2022，30（21）：58-61.

[7]祝和，趙燕，李金科.基于DSP的雙目同步圖像拼接系統(tǒng)研究[J]. 數(shù)字制造科學，2021，19（2）：96-101.

[8]蔣逸凡，高谷剛，徐金林，等.物聯(lián)網(wǎng)執(zhí)法記錄儀硬件系統(tǒng)設(shè)計[J]. 物聯(lián)網(wǎng)技術(shù)，2022，12（11）：80-82.

[9]王怡萱，張俊梅，闞江明.基于雙目視覺的目標定位與測距系統(tǒng)硬件平臺[J]. 計算機工程，2013，39（7）：214-218.

[10]王應(yīng)軍，趙晨萍.基于DM642的雙目視覺監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)[J]. 現(xiàn)代電子技術(shù)，2009，32（12）：71-72.

[11]楊潔，閆清東. Pioneer3-AT上基于雙目立體視覺的環(huán)境識別系統(tǒng)[J]. 實驗室研究與探索，2016，35（2）：102-106.

[12]胡嘉祺，趙漢濤，葉俊澤，等.基于能耗地圖的低功耗小車設(shè)計及實現(xiàn)[J]. 電子測量技術(shù)，2019，42（21）：10-14.