高性能標(biāo)準(zhǔn)CMOS傳感器應(yīng)用于3D視覺、感測和度量

Ha Lan DO THU 易博（譯）

Teledyne e2v

0 引言

3D成像技術(shù)早在數(shù)十年前已經(jīng)出現(xiàn)，但是民用化產(chǎn)品卻是在2000年左右才推出市場，如主流電影企業(yè)發(fā)布利用高清攝影機(jī)拍攝的3D電影。從那時(shí)開始，這一應(yīng)用不論在速度、精度和3D圖像分辨率等方面都有飛躍進(jìn)展，并且獲得從消費(fèi)性市場到機(jī)器視覺工業(yè)的廣泛應(yīng)用。隨著工業(yè)4.0變革來臨，面對諸如復(fù)雜的物件辨識和尺寸量度任務(wù)，以及人機(jī)交互所需的復(fù)雜互動，2D視覺在精度和距離測量方面均出現(xiàn)技術(shù)限制，市場對3D視覺的需求因而與日俱增。

3D視覺能提高機(jī)器人/機(jī)器系統(tǒng)在工業(yè)自動化應(yīng)用的自主性和效率，提供2D視覺不能比擬的高精度質(zhì)量檢測、反向工程和物件度量等關(guān)鍵能力；另一方面，視覺系統(tǒng)導(dǎo)向機(jī)器人的應(yīng)用正在增長中，這一技術(shù)需要3D視覺來實(shí)現(xiàn)更好的遙距導(dǎo)向、障礙物辨識和精確移動。

3D視覺也能保護(hù)需要大量人機(jī)互動的工廠工人，在系統(tǒng)級別預(yù)防和排除危險(xiǎn)狀況，通過監(jiān)控系統(tǒng)點(diǎn)算工廠工人數(shù)目，并把工人和機(jī)器人或物件分辨出來[1]。

3D視覺能夠?qū)崿F(xiàn)更安全、性能更好和更高效的終端用戶輔助系統(tǒng)，正在對社會帶來影響力，已成為無人駕駛車輛的先進(jìn)自動駕駛者輔助系統(tǒng)和人機(jī)合作機(jī)器人等應(yīng)用的關(guān)鍵技術(shù)。

1 主流3D視覺成像技術(shù)

3D圖像的生成有多種技術(shù)[2]，主流技術(shù)有：

（1）立體視覺： 使用兩部相機(jī)從不同角度對準(zhǔn)主體，并使用校準(zhǔn)技術(shù)把相機(jī)和具體深度信息之間的像素信息對齊，類似于人類腦部及目測距離的工作；

（2）結(jié)構(gòu)光線：把一個(gè)已知的光線圖案投射到主體上，根據(jù)圖案在主體上的扭曲狀況計(jì)算深度信息；

（3）激光三角測量：通過將一部相機(jī)和一個(gè)激光光源配對，實(shí)現(xiàn)三維測量。系統(tǒng)根據(jù)激光光源和相機(jī)之間已知的角度偏距，以三角幾何理論量度出激光線的幾何抵銷（數(shù)值與主體的高度成比例），這是一項(xiàng)基于掃描主體的技術(shù)；

（4）飛行時(shí)間：一個(gè)光源與一個(gè)圖像傳感器同步，根據(jù)發(fā)出脈沖光線和光線反射回饋到傳感器的時(shí)間計(jì)算出距離。

以上幾種技術(shù)各有優(yōu)缺點(diǎn)，所以技術(shù)的適用程度取決于應(yīng)用類型，其中距離范圍和精度要求是重點(diǎn)。表1列出了相對不同條件的技術(shù)比較。

3D系統(tǒng)目前占工業(yè)自動化和倉庫應(yīng)用視覺系統(tǒng)的一小部分，越來越多基于3D立體視覺、結(jié)構(gòu)光線或激光技術(shù)的3D系統(tǒng)正在引進(jìn)中。這些系統(tǒng)有固定的工作距離，需要大量校準(zhǔn)工作以實(shí)現(xiàn)特定的檢測范圍。而飛行距離系統(tǒng)則能解決這些問題，并從應(yīng)用角度提供更高靈活性，不過圖像分辨率仍然是大部分這類技術(shù)目前所面對的制肘。

Teledyne e2v用于3D成像的專用平臺將支持最新的工業(yè)應(yīng)用，包括視覺導(dǎo)引機(jī)器人、物流應(yīng)用自動化無人車輛、工廠監(jiān)控和安全、手持式掃描儀以及戶外應(yīng)用。

2 3D 視覺實(shí)現(xiàn)高速準(zhǔn)確檢測提高產(chǎn)能

越來越多的工廠進(jìn)入自動化時(shí)代，以在提高產(chǎn)能和產(chǎn)品查驗(yàn)、庫存的方方面面節(jié)省時(shí)間和成本（如圖1所示）。要優(yōu)化這些因素，擁有視覺系統(tǒng)的機(jī)器需要更高效地工作。三角測量技術(shù)正在這些應(yīng)用中獲得大量使用，鑒于3D圖像要求高分辨率，因而需要非常高效的傳感器[3]。

2019年，Teledyne e2v發(fā)布了能配合高速尺寸測量和查驗(yàn)技術(shù)挑戰(zhàn)的標(biāo)準(zhǔn)傳感器，以滿足高速生產(chǎn)線的要求。這一快閃CMOS傳感器系列很好地組合了一個(gè)4,096×1,024像素和一個(gè)2,048×1,024像素傳感器，二者的幀率分別為1800 fps 和 1500 fps（8位），兼容標(biāo)準(zhǔn)光學(xué)格式（APS兼容和C-Mount），讀出速度分別為61.4 Gbps和25.6 Gbps。

新型的傳感器提供一系列片上功能：

●高達(dá)100 dB高動態(tài)范圍（HDR）模式，實(shí)現(xiàn)對同一影像里的高反光表面和陰暗范圍進(jìn)行測量和查驗(yàn)；

●多重取景窗口模式，兼顧高測量速度和范圍/分辨率；

●個(gè)別參數(shù)提供幀間“熱”配置模式，有助于實(shí)現(xiàn)靈活性和對環(huán)境條件的實(shí)時(shí)適配 ；

●多種曝光觸發(fā)模式能夠完全配合生產(chǎn)線速度。優(yōu)勢：

表 1 3D 成像技術(shù)比較

●以2 K或4 K分辨率實(shí)現(xiàn)高速率，提高產(chǎn)能；

● Flash產(chǎn)品系列提供高性價(jià)比；

●允許對實(shí)時(shí)環(huán)境條件和生產(chǎn)線速度作出適應(yīng)，實(shí)現(xiàn)高靈活性應(yīng)用。

3 3D 視覺提高工廠自主性和效率

隨著工廠和倉庫自動化程度越來越高，車間出現(xiàn)人機(jī)密集工作，因而防止事故和提高安全度成為至關(guān)重要的任務(wù)。在日益多變的工作環(huán)境里，因?yàn)閾碛袑?shí)時(shí)3D信息和決策能力，以及能夠在快速移動的場景中偵測出物件或人員，飛行時(shí)間（time of flight，ToF）系統(tǒng)成為理想的解決方案。

飛行時(shí)間技術(shù)可分為兩大類：直接飛行時(shí)間和間接飛行時(shí)間[4]。直接飛行時(shí)間是指系統(tǒng)通過直接計(jì)算光線從物件反射的時(shí)間量度出距離；間接飛行時(shí)間則是系統(tǒng)通過計(jì)算光波發(fā)射到物件以及反射后返回光的相位差異而得出距離，從而建立3D圖，其優(yōu)缺點(diǎn)如圖2所示。

Teledyne e2v提供采用訂制化傳感器的直接飛行時(shí)間系統(tǒng)，以及使用完整標(biāo)準(zhǔn)產(chǎn)品的間接飛行時(shí)間系統(tǒng)。

飛行時(shí)間傳感器特點(diǎn)：

●高空間分辨率，實(shí)現(xiàn)大視場范圍和高角度分辨率；

●快速實(shí)時(shí)無運(yùn)動模糊3D測定，在全分辨率下實(shí)現(xiàn)超過30 fps深度圖；

●提供近、中、遠(yuǎn)距離偵測和管理；

●能在任何環(huán)境條件下實(shí)現(xiàn)高可靠測距，具有在環(huán)境光條件下的高精度和強(qiáng)大功能，以及多系統(tǒng)工作。

4 飛行時(shí)間技術(shù)處理復(fù)雜環(huán)境工作

相較其他3D技術(shù)，飛行時(shí)間技術(shù)具有快速、簡單、低成本，以及在中遠(yuǎn)距離提供出色的3D成像性能的特點(diǎn)。再者，飛行時(shí)間技術(shù)具有高靈活性，由于它無需按設(shè)定校準(zhǔn)（如工廠校準(zhǔn)），因而可以固定在活動機(jī)器人上。系統(tǒng)也可以適應(yīng)各種工作設(shè)定，使得飛行時(shí)間系統(tǒng)能夠很好地配合復(fù)雜的環(huán)境和工作條件。

圖3是飛行時(shí)間技術(shù)在工廠或倉庫應(yīng)用的范例：

●量度箱子或包裝的外形尺寸和體積：飛行時(shí)間成像系統(tǒng)能夠量度箱子或包裝的尺寸和體積，以便于有效裝盤、集運(yùn)（優(yōu)化裝箱和貨車載荷）或提高生產(chǎn)線效率；

●用于智能高效倉存管理的貨件識別：相較于2D傳統(tǒng)成像處理系統(tǒng)，飛行時(shí)間成像系統(tǒng)能夠以更短的時(shí)間檢測貨件或包裝尺寸；

●抓取與放置：飛行時(shí)間系統(tǒng)檢測和識別合適的物件進(jìn)行抓取，并放置到合適的位置，相較使用2D傳統(tǒng)成像處理系統(tǒng)，可實(shí)現(xiàn)更高準(zhǔn)確性和更短時(shí)間。

與市場現(xiàn)有產(chǎn)品相比，Teledyne e2v去年發(fā)布的BoraTM傳感器在需要對固定物件進(jìn)行分析的應(yīng)用方面具有獨(dú)特的優(yōu)勢。這款傳感器具有1.3 MP高分辨率，能夠以2D和3D擷取具有寬廣視角的大面積現(xiàn)場，實(shí)現(xiàn)高性價(jià)比的優(yōu)化系統(tǒng)。Teledyne e2v所有飛行時(shí)間傳感器均設(shè)計(jì)用于高靈活性應(yīng)用，可適應(yīng)不同的工作條件并提供具有深度圖的實(shí)時(shí)3D影像擷取，并在全分辨率下以四相工作實(shí)現(xiàn)超過30 fps的高速度[5]。

BoraTM傳感器的特點(diǎn)：

●創(chuàng)新10 μm 像素設(shè)計(jì)；

● 1,280×1,024像素空間分辨率；

●高靈敏度和獨(dú)有的片上門控全局快門模式，實(shí)現(xiàn)最快42 ns門控時(shí)間。

飛行時(shí)間系統(tǒng)助力機(jī)器人在工廠環(huán)境以及其他無人操控應(yīng)用下的安全工作（如圖4所示），比其他3D技術(shù)具有更多的優(yōu)勢。

目前，導(dǎo)向系統(tǒng)大多使用傳統(tǒng)激光雷達(dá)（Lidar）掃描和偵測物件，但已有越來越多使用如間接飛行時(shí)間等其他技術(shù)的解決方案。相較于傳統(tǒng)激光雷達(dá)（Lidar）掃描儀，間接飛行時(shí)間系統(tǒng)能提供實(shí)時(shí)影像信息，并有快速響應(yīng)時(shí)間和無運(yùn)動模糊的特點(diǎn)，如表2所示。由于它們不含機(jī)械部件，因而性能強(qiáng)大、尺寸緊湊，并且具有更低功耗和更少計(jì)算的特點(diǎn)，從而實(shí)現(xiàn)低成本。

在上述的應(yīng)用中，飛行時(shí)間系統(tǒng)能解決不少挑戰(zhàn)。系統(tǒng)需要處理從10 m起的短、中、長距離測量，速度也要足夠快，以避免產(chǎn)生瑕疵（目前大部分飛行時(shí)間解決方案均集中于最大5～6 m的短距離范圍）。另外，系統(tǒng)有可能需要在不同光線變化的條件下工作，例如機(jī)器人在工廠或倉庫到處移動工作，但不對區(qū)域內(nèi)的其他機(jī)器人構(gòu)成障礙。

2020年7月，Teledyne e2v發(fā)布了Hydra 3D傳感器，Hydra 3D具有832×600像素分辨率，10 μm三內(nèi)存節(jié)點(diǎn)像素，允許高3D性能水平，包括高深度分辨率、高速度和靈活工作條件，其功能及優(yōu)勢如圖5所示。

表2 傳統(tǒng)Lidar 與間接飛行時(shí)間比較

Hydra 3D的創(chuàng)新多內(nèi)存節(jié)點(diǎn)像素能夠提供重建3D圖像所需的三個(gè)相位，有助于在快速移動場景中擷取無運(yùn)動模糊的精準(zhǔn)3D信息。三內(nèi)存節(jié)點(diǎn)像素提供在單幀中建構(gòu)3D圖所需的多相位信息擷取和存儲能力，無需像其他間接飛行時(shí)間技術(shù)般使用多幀技術(shù)。這一技術(shù)在快速移動場景應(yīng)用避免任何運(yùn)動模糊是非常強(qiáng)大的功能。這類似于2D視覺技術(shù)中全局快門和卷閘快門的差異。三內(nèi)存節(jié)點(diǎn)像素能夠以單個(gè)光脈沖擷取所有相位，實(shí)現(xiàn)光能優(yōu)化使用。在圖6的應(yīng)用實(shí)例中，幀率保持不變，使得平均功耗大大減小，不過光能取決于高幀率或高精度（配合多重捕獲）。

Hydra 3D傳感器的其他優(yōu)勢包括配置靈活性和多重片上功能。例如強(qiáng)大的片上高動態(tài)范圍（HDR）功能配合高幀率和靈活配置，允許用戶對距離范圍、物件反光度、幀率等進(jìn)行權(quán)衡，以及面向環(huán)境光的強(qiáng)大效能，而用于多重飛行時(shí)間系統(tǒng)工作的獨(dú)特片上功能則讓異步系統(tǒng)同步工作而不互相干擾。

5 CCD 年代的時(shí)間飛行

時(shí)間飛行的影像處理是相較傳統(tǒng)2D視覺系統(tǒng)更復(fù)雜的技術(shù)。它涉及光學(xué)和照明系統(tǒng)，取決于多個(gè)參數(shù)（如傳感器或視場、工廠校準(zhǔn)、專有傳感器配置）以便于完全配合應(yīng)用需求。我們經(jīng)常把時(shí)間飛行傳感器和CCD傳感器比較，因?yàn)閺?fù)雜的設(shè)定需要在系統(tǒng)級投放大量力量以集成傳感器，應(yīng)用設(shè)定的控制因而成為關(guān)鍵因素。

Teledyne e2v提供從CMOS影像傳感器到訂制相機(jī)模式等一系列技術(shù)解決方案，涵蓋完整系統(tǒng)到系統(tǒng)集成支持。這包括了一個(gè)使用評估平臺的參考設(shè)計(jì)、照明和光學(xué)評估、肉眼安全考慮、建模和仿真、算法和校準(zhǔn)。

6 總結(jié)

隨著工廠和物流倉庫進(jìn)入自動化年代，帶動了高效無人操作工業(yè)系統(tǒng)的需求，特別是用于導(dǎo)向機(jī)器人和機(jī)器（用于物件辨識、導(dǎo)向、高速和精準(zhǔn)度）的3D視覺技術(shù)。市場上存在多種3D技術(shù)，每種各有優(yōu)缺點(diǎn)和配合技術(shù)，大部分取決于應(yīng)用需求。所有的這些技術(shù)都需要具有精密功能的高效傳感器。Teledyne e2v包括3D視覺的解決方案系列，以服務(wù)諸如工廠自動化、物流和測量。