光學定位中近紅外目標實時檢測系統(tǒng)設計

鄒嘉琪, 畢松林, 顧永剛, 翟 超

(中國科學技術(shù)大學 工程科學學院,安徽 合肥 230027)

0 引 言

近紅外(NIR)光學定位系統(tǒng)基于多目立體視覺理論對NIR波段發(fā)光目標進行三維空間定位,由于其非接觸式測量和工作在獨立紅外波段的特性,在手術(shù)導航及工業(yè)測量等場景應用廣泛[1]。對視場內(nèi)NIR發(fā)光目標的檢測是光學定位中的關(guān)鍵技術(shù)。隨著成像技術(shù)的不斷發(fā)展,圖像的分辨率和成像速率逐漸提高,在要求高精度和高實時性的應用場景中,需要系統(tǒng)能夠快速地處理大量的圖像數(shù)據(jù),完成特定目標的實時檢測,對計算性能提出較高要求[2]。

Zynq系列可擴展處理平臺是集成了ARM和現(xiàn)場可編程門陣列(field programmable gate array,FPGA)的片上系統(tǒng)(system on chip,SoC),其內(nèi)部結(jié)構(gòu)被劃分成處理系統(tǒng)(processing system,PS)和可編程邏輯(programmable logic,PL)兩部分,分別對應ARM處理器和FPGA。依靠軟硬件協(xié)同設計,Zynq平臺能夠兼顧處理器系統(tǒng)的穩(wěn)定性和可編程邏輯部分的靈活性,實現(xiàn)一系列復雜的快速圖像處理應用,完成算法的硬件加速[3]。高層次綜合(high level synthesis,HLS)方法是一種將高層次編程語言轉(zhuǎn)換為滿足設計約束的寄存器轉(zhuǎn)換級(register transfer level,RTL)描述的工具,可以有效地縮短開發(fā)周期,方便復雜算法在硬件邏輯上的部署。

本文基于Zynq平臺,采用軟硬件協(xié)同設計及高層次綜合方法設計了一種面向三目立體視覺光學定位應用的NIR目標實時檢測系統(tǒng),該系統(tǒng)應用于手術(shù)動態(tài)導航中,能夠?qū)κ中g(shù)器械上帶有多個紅外發(fā)光標記點的靶標進行高精度的檢測追蹤,同時滿足實時性要求。

1 系統(tǒng)整體架構(gòu)

系統(tǒng)架構(gòu)總體劃分為PS和PL兩部分。其中，主控程序部署在PS,在Linux操作系統(tǒng)環(huán)境下完成整個視頻傳輸過程的控制調(diào)度以及與上位機的通信功能；PL接收來自PS端的圖像數(shù)據(jù),進行一系列圖像處理算法后提取出目標中心特征信息發(fā)送回PS部分。系統(tǒng)框架如圖1所示。

圖1 系統(tǒng)整體框架

系統(tǒng)由3臺工業(yè)相機、Zynq板卡和上位機組成,實物如圖2。3臺工業(yè)相機拍攝的視頻信號作為系統(tǒng)的前端輸入保存在DDR4內(nèi)存中,平臺選用的處理器芯片型號為ZU3EG,其PS部分包含有四核ARM Cortex-A53處理單元,處理單元控制PL部分的Video DMA(VDMA)模塊對內(nèi)存中圖像進行讀取并傳送到一系列圖像處理模塊中,對圖像進行實時的預處理、校正、分割和目標灰度重心特征提取,控制器再將提取到的重心坐標存儲到Block RAM存儲單元中供PS端處理器讀取。最后反饋信息通過以太網(wǎng)口傳輸?shù)缴衔粰C進行后續(xù)處理。

圖2 近紅外目標檢測系統(tǒng)實物

2 PS部分主控程序設計

平臺的主控程序部署在PS端,主要負責圖像數(shù)據(jù)的采集傳輸以及通信,根據(jù)上位機指令完成相關(guān)任務。

2.1 視頻采集與VDMA驅(qū)動實現(xiàn)

根據(jù)立體視覺相關(guān)理論,定位的實現(xiàn)是通過多臺相機在不同方向采集目標圖像完成的[4]。本文系統(tǒng)視頻信號通過同一水平面上3臺互成一定角度的面陣工業(yè)相機獲取,工業(yè)相機型號為Basler acA2000—165umNIR,相機鏡頭處加裝NIR濾光片以獲取清晰近紅外圖像。相機分辨率最高達到2 048像素×1 088像素,高速率的圖像數(shù)據(jù)通過USB3接口進行傳輸。

工業(yè)相機的配置、控制以及圖像數(shù)據(jù)的采集在嵌入式Linux系統(tǒng)環(huán)境下進行,其軟件設計框圖如圖3所示。對相機的配置遵循GenlCam標準,該標準將相機的一系列屬性翻譯成C++的應用編程接口[5],例如傳輸層帶寬的分配、外部觸發(fā)模式和曝光時間等。

圖3 PS部分主控程序流程

大部分光學定位系統(tǒng),特別是在運動目標的實時定位過程中,多臺相機間拍攝時間的不同步是造成定位誤差的重要原因[6]。相機通過外部信號觸發(fā)控制拍攝以消除不同步帶來的定位誤差,3路觸發(fā)信號由同一時鐘源生成以保證同步,從各相機I/O口輸入控制曝光。

由于ARM處理器難以快速處理海量的二維圖像數(shù)據(jù),緩存后的圖片數(shù)據(jù)需要傳輸?shù)絇L進行并行處理以滿足實時性要求。通過PL端部署的VDMA IP核進行傳輸,VDMA模塊將內(nèi)存中的二維圖像數(shù)據(jù)轉(zhuǎn)換為AXI4-Stream接口類型的數(shù)據(jù)流,實現(xiàn)PL端可編程邏輯和DDR4內(nèi)存之間的高速數(shù)據(jù)訪問。

使用VDMA模塊需要添加設備驅(qū)動程序進行控制。本文采用物理地址映射的方法,通過讀寫內(nèi)存來實現(xiàn)對寄存器的控制,實現(xiàn)用戶空間下對VDMA模塊的控制。Linux系統(tǒng)中,/dev/mem文件對全物理內(nèi)存進行了抽象,用系統(tǒng)調(diào)用函數(shù)mmap()將物理地址映射到用戶空間中,就能直接在用戶空間操作PL端于AXI總線上掛載的VDMA模塊的寄存器，從而控制數(shù)據(jù)傳輸。這種非驅(qū)動控制的方式避免了用戶空間與內(nèi)核空間頻繁的數(shù)據(jù)拷貝,提高了程序的運行性能[7]。

2.2 上位機通信

Zynq平臺與上位機的通信依靠以太網(wǎng)口,在Linux環(huán)境下建立TCP連接,通信過程依賴Socket套接字,平臺作為服務器,上位機作為客戶端。完成Socket的初始化后建立網(wǎng)絡連接,Zynq平臺作為客戶端向上位機發(fā)送請求,上位機接收到請求命令后向系統(tǒng)發(fā)送不同命令來控制系統(tǒng)的運行,如系統(tǒng)運行的開始和停止、一些相機關(guān)鍵參數(shù)的配置等。處理后的坐標數(shù)據(jù)也通過網(wǎng)口傳輸?shù)缴衔粰C。

上位機運行用戶界面程序,根據(jù)定位結(jié)果進行三維重建,并隨著應用場景的不同而導入相應的三維模型進行實時顯示。

3 PL圖像算法設計

3.1 預處理與畸變校正

相機的成像過程中,由于鏡頭制造偏差,往往會引入畸變,導致原始圖像的失真。另外，成像過程中不可避免地會引入高頻脈沖噪聲,同樣影響圖片的成像質(zhì)量。對圖片進行濾波和畸變的校正,能有效改善圖片的失真和信噪比,提高檢測的精度[8]。

圖片的預處理及畸變校正算法采用高層次綜合方法,通過Vivado HLS軟件中，針對FPGA硬件優(yōu)化的圖像處理的庫函數(shù)實現(xiàn),庫函數(shù)將C/C++實現(xiàn)的代碼轉(zhuǎn)為硬件電路描述語言并綜合成硬件邏輯。算法采用多級流水線結(jié)構(gòu)實現(xiàn)，以達到實時處理的效果。

視頻流數(shù)據(jù)通過AXI4-Stream流式接口輸入中值濾波模塊,中值濾波是一種非線性濾波器,將N×N窗口內(nèi)中心像素以鄰域內(nèi)像素灰度的中位數(shù)代替,能有效對圖片進行平滑處理,濾除椒鹽噪聲。經(jīng)過濾波后的視頻流輸入畸變校正模塊,模塊根據(jù)預先標定的各相機內(nèi)參矩陣對輸入圖片逐像素進行校正,采用最近鄰插值方法。

為了實現(xiàn)對紅外目標的檢測,需要對圖像進行分割,將目標與背景區(qū)分開來。閾值法是圖像分割中基本的方法,實現(xiàn)簡單且性能穩(wěn)定[9]。本文系統(tǒng)根據(jù)先驗知識設定閾值,將灰度小于所設定閾值的像素視為背景像素,對圖片進行全局的閾值分割。

3.2 灰度重心法提取中心

分割后每幀圖片中僅剩下灰度高于閾值的目標像素,視場內(nèi)的多個紅外目標區(qū)域在圖片上體現(xiàn)為多個獨立的連通域,在采用灰度重心法提取中心之前需要對各連通域進行標記區(qū)分。不同于可以流水線式實現(xiàn)的圖像濾波等算法,硬件上實現(xiàn)的連通域標記算法往往需要占據(jù)較多的時間和硬件資源,成為實時系統(tǒng)的瓶頸[10]。

由于紅外目標在視場中的成像區(qū)域通常比較小,圖片中大部分像素為背景像素,所以，本文基于紅外圖像成像特性和需求，設計了一種簡化的快速連通域標記算法。

算法采用游程編碼的思想對輸入視頻流數(shù)據(jù)同時進行標記和特征提取,對每一行中連續(xù)的目標像素進行游程編碼,將視頻數(shù)據(jù)流轉(zhuǎn)換成攜帶特征信息的碼流。每個編碼所包含的信息如圖4代碼所示。

圖4 用于描述特征的游程編碼結(jié)構(gòu)體定義

對碼流進行分析,根據(jù)8鄰域原則判斷編碼流是否連通,若連通則將位置及灰度信息進行合并,否則建立新連通域,算法流程如圖5所示。

圖5 灰度重心算法流程

當某個連通域沒有新的編碼能夠進行合并時,該連通域建立完成,此時進行連通域中心的計算,并將結(jié)果寫入到BRAM模塊

(1)

式中I(x,y)為坐標(x,y)的像素點的灰度,S為目標連通域,(x0,y0)為計算得到的灰度中心坐標。當積累到足夠連通域個數(shù)或標識幀結(jié)束的編碼到來時,計算結(jié)束。

由于計算模塊需要多個時鐘周期進行特征合并運算,因此，在編碼模塊和計算模塊之間插入先進先出(first-in first-out,FIFO)IP,作為緩沖,用于匹配模塊之間的運算速度差異?；诩t外目標成像的特點,由于目標像素個數(shù)占整幅圖像比例較小,系統(tǒng)實時性能夠得到保證。

系統(tǒng)包含3臺工業(yè)相機,因此，上述預處理及灰度重心提取算法都需要部署3個實例,各實例并行運算,對同一時刻各臺相機所拍攝圖片進行同時處理。部署算法后的PL端可編程邏輯資源利用率如表1所示。

表1 PL資源占用率

4 實驗與性能分析

基于本文所設計的NIR目標實時檢測系統(tǒng),針對種植牙手術(shù)場景中的機械手上固定的主動式紅外靶標進行實時檢測和后續(xù)的定位實驗,測試系統(tǒng)的精度和穩(wěn)定性,靶標上裝有3個紅外發(fā)光二極管作為發(fā)光標記點,標記點之間距離固定。在完成相機標定后,通過3臺相機對靶標的拍攝,定位3個標記點位置并計算出靶標尖點位置坐標。實驗所用靶標和其所成的像如圖6所示。

圖6 實驗所用靶標實物及成像

系統(tǒng)以60幀/s的速率處理3臺相機同步拍攝的2 048像素×1 088像素分辨率的近紅外圖片。標記點經(jīng)過本文系統(tǒng)實時檢測并確定位置后,根據(jù)本課題組先前對三目立體視覺匹配算法的研究工作[11],可以在上位機實時計算出靶標尖點的世界坐標位置,從而完成對靶標尖點的實時定位。

進行定位后的靶標實時顯示在上位機界面,同時顯示的還有導入的被作為測量物的模型作為參考系,系統(tǒng)上位機程序界面如圖7所示。

圖7 系統(tǒng)上位機程序界面

實驗對系統(tǒng)的檢測效果和定位精度進行了評估,采用標記點間相對偏差的標準差進行量化,在靶標平移及旋轉(zhuǎn)的運動姿態(tài)下,統(tǒng)計視場為824 mm×437 mm,景深為540～1 380 mm范圍內(nèi)50張圖片中3個標記點間距離的標準差,如表2所示。

表2 各標記點間精度結(jié)果 mm

5 結(jié)束語

本文研制了一種高精度的實時NIR目標檢測系統(tǒng),該系統(tǒng)能夠應用于基于三目立體視覺的光學定位應用中。通過Zynq平臺軟硬件協(xié)同設計及高層次綜合的方法，實現(xiàn)了實時的圖像采集、預處理、閾值分割及特征提取等模塊設計,傳輸和處理速率達到了60幀/s,最終對特定靶標尖點定位精度達到0.093 8 mm,能夠滿足手術(shù)導航場景中的高精度、高實時性要求,該系統(tǒng)也易于推廣到其他光學定位應用場景中。