李 姍
(1.河南省容錯服務器工程技術研究中心,河南鄭州 450046;2.河南職業(yè)技術學院,河南鄭州 450046)
海上交通的不斷發(fā)展,海上船舶的數量和類別不斷增加,海上交通管理部門為了快速、精準完成海上目標船舶的救援、目標船舶的管理等[1–2],會依據采集的海上船舶視覺圖像進行目標船舶的檢測。但是由于船舶處于移動狀態(tài)下,并且海上的環(huán)境復雜,采集的圖像受到環(huán)境因素的影響以及船舶自身移動的影響[3],會存在模糊情況,導致目標的識別精準性降低。因此,為保證目標的可靠檢測[4],需對采集的船舶視覺圖像中的目標進行清晰處理,以此提升目標的檢測精度。文獻[5],針對船舶目標重疊情況下的圖像處理需求,提出相關的圖像增強方法,該方法主要通過增強圖像的視覺效果,完成圖像清晰處理。但是該方法在應用過程中,如果圖像中存在虛影現象時,其處理效果相對較差。文獻[6]為提升圖像的清晰度,以多尺度耦合的密集殘差網絡為基礎,進行圖像分辨率的重構處理后,實現圖像增強,提升圖像清晰度。但是該方法在應用過程中,如果圖像目標較小則處理效果不理想。
三維視覺是依據圖像中像素點之間的相似性,計算像素之間的位置偏差,并確定船舶視覺圖像三維空間在深度點信息。本文結合三維視覺優(yōu)勢,研究船舶三維視覺圖像模糊目標清晰處理仿真方法。
為保證圖像模糊目標的清晰處理結果,采用立體雙目視覺獲取船舶模糊圖像的三維信息。立體雙目視覺是通過2個視點對相同目標進行觀測,以此獲取同一個場景下的2幅圖像。2 個觀測面的模糊核路徑和三維空間內的某種運動路徑相對應,同時模糊核之間存在相對關聯(lián)性。結合船舶的線性運動,設定項集參變量映射矩陣,用P表示,3D齊次坐標系內的位置點用 (x,y,z,1)表示,將其進行映射處理后使其位于2D觀測面內,該觀測面內坐標系的點用 (u,v,1)表示,則(x,y,z,1) 和(u,v,1)之間的相對關聯(lián)性表達公式為:
式中,d為相機的景深。
模糊核路徑在不同觀測面內也呈現不同的變化,因此,定義運動模糊核路徑為空間狀態(tài),且該狀態(tài)不會發(fā)生變化,以此保證運算效果。如果船舶在該空間內運動,起點和終點分別為P和Q,P為可逆的,則依據式(1)計算得出 (x,y,z)。在該基礎上,對2個觀測面之間的運動映射關聯(lián)性進行計算,如果2 個觀測面的投影分別為至至則模糊圖像3D空間內船舶的運動位移計算公式為:
模糊圖像內,將沿著圖像空間路徑運動的船舶目標進行投影處理,使其均位于不同的觀測面上。各個觀測面投影后的路徑存在一定區(qū)別,隨機選擇對空間路徑上的點進行投影處理,以此可獲取一組點對并且兩者均位于各自對應的模糊路徑上。對模糊核的軌跡進行離散化處理,獲取該處理下模糊核路徑之間的關聯(lián),其公式為:
式中,k表示離散編號。
通過上述內容即可獲取船舶模糊圖像內容特征之間的三維幾何信息B。
由于船舶處于運行狀態(tài)下,因此會導致采集的船舶圖像中發(fā)生多個模糊運動區(qū)域,因此,需先確定船舶目標的模糊區(qū)域[7],并且進行該區(qū)域的模糊分割,本文采用局部模糊探測方法完成。
該方法主要以像素的權重變量為基礎,實現船舶模糊圖像中模糊層分割,以此獲取模糊船舶目標圖像。
如果權變量用W表示,依據W的船舶運動場景去模糊廣義能量模型表達公式為:
式中:Edata,Ereg分 別為數據保真項和正則化項;L和B分別為潛在清晰圖像和三維信息;K為模糊核矩陣集合;W為權重變量集合,其和K之間一一對應。
Edata(L,W,K,B)可理解為多個模糊型數據項的加權和,其計算公式為:
式中:N為分割層數; ??表 原始船舶圖像的梯度。 λ為正則化參數的平衡因子;表示乘積運算。
由 船舶運動場景在進行模糊分割時具有顯著病態(tài)特征,因此在分割過程中,引入正則化項,確保分割后圖像的光滑性。對L,W,K分別添加正則化約束,其表達公式為:
通過全變分正則化項替代L的先驗信息,圖像的分割組依據非局部正則化完成,分割公式為:
式中: ξ(x)為x的鄰域像素;g(x,y)為非局部相似性映射矩陣,用于描述x和y處像素之間的相似程度。
依據上述步驟即可獲取權重變量加大的圖像分層結果,該結果即為船舶模糊目標圖像分割結果Iin。
完成船舶模糊目標圖像分割后,采用殘差聚集網絡模型進行模糊目標清晰處理,獲取清晰的船舶目標圖像。將分割后的船舶模糊目標圖像輸入殘差聚集網絡模型中,采用中值濾波對其進行濾波操作,從分割后的圖像中將低頻信息Il進行分離處理,將Iin中的Il去除后即可獲取其中的高頻信息Ih,其計算公式為:
獲取Ih中的低維特征,其采用低維特征提取器完成,其計算公式為:
式中:Ts f為幾乎函數的組合操作;Fsf為輸出的特征圖。
為了提升模糊目標的清晰處理效果,采用堆疊的方式對多個殘差模塊進行處理,以此獲取圖像中目標船舶的高維特征信息。依據該模塊的稠密連接性能,完成提取特征的連接,經由殘差變換模塊的壓縮和蒸餾提取處理后,得出高維特征,其計算公式為:
式中:TRAB為 殘差模塊提取的特征;M為堆疊的殘差模塊數量;Ff f為高維特征的輸出結果。
通過殘差圖生成器對殘差圖Frm進 行估算,其計算公式為:
式中,Trm為卷積和歸一化的組合操作。
將Frm從Iin中刪除,即可獲取清晰化處理后的高質量目標圖像,其計算公式為:
為驗證本文方法的應用效果,在跨平臺計算機視覺和機器學習軟件庫-Op en CV 中進行仿真測試,OpenCV 庫能夠提供多種語言接口,支持圖像處理和計算機視覺方面的應用。在OpenCV 庫中進行相關測試過程中,視覺分塊區(qū)域的大小為256×256×224,特征匹配系數為1.25,測試時的船舶圖像數量為200張,該數據是采用雙目立體視覺相機采集。
為驗證本文方法對于船舶圖像模糊目標的清晰化處理性能,文中采用圖像對比度 ψ、邊緣強度 η以及圖像方差 σ作為衡量標準,進行相關測試,3 個指標的計算公式為:
式中:S為相減的平方項;f(i,j)和f(k,l)均為灰度值,前者對應像素點 (i,j) ,后者對應(i,j) 的四鄰域(k,l);gi,j為邊緣點;Nedge為像素點數量,對應邊緣區(qū)域;M×N為圖像大??;μ 為平均灰度值。
依據上述3個公式計算本文方法在不同像素點數量下,對圖像進行清晰處理后,3個指標的計算結果,如表1所示。3個指標的取值均在0~1之間,越接近1表示應用性能越佳。依據表1測試結果可知:隨著像素數量的不斷增加,采用本文方法對圖像進行清晰處理后,圖像的 ψ , η以 及 σ的測試結果均在0.933以上,因此本文方法的應用性能較好,能夠有效完成船舶圖像模糊目標清晰處理。
表1 船舶圖像模糊目標的清晰化處理性能Tab.1 Clear processing performance of blurred targets in ship image
為直觀驗證本文方法的應用效果,隨機抽取一組船舶模糊圖像進行模糊目標清晰處理,以圖像中標記的客船作為目標,本文方法處理后的結果如圖1所示。
依據圖1測試結果可知:本文方法具有較好的應用效果,能夠有效完成船舶圖像中,模糊目標的清晰處理,獲取清晰的目標結果。因此,本文方法應用性較好,可清晰呈現目標船舶結果。
圖1 圖像模糊目標處理結果Fig.1 Image blurred target processing results
在進行海上交通管理或者救援時,需精準掌握目標船舶的信息。但是由于海上環(huán)境變化較大,并且復雜程度較高,同時船舶的類別和數量較多,導致采集的船舶圖像中會存在模糊現象,直接影響目標船舶的識別效果。因此,本文研究船舶三維視覺圖像模糊目標清晰處理仿真方法。對該方法進行相關測試后可知,本文方法具有較好的應用性能,能夠有效完成模糊目標的清晰處理,為海上交通管理提供可靠依據。