基于場景視點建模的砂石運輸量計量方法研究

王 磊 張大鵬

（沂沭泗水利管理局水文局（信息中心）徐州 221018）

1 引言

2018 年10 月，淮委啟動《淮河流域重要河道采砂管理規(guī)劃》（以下簡稱《規(guī)劃》）編制。本輪規(guī)劃開創(chuàng)性地提出淮河流域內(nèi)提升流域采砂管理水平的重要手段，即采砂管理信息化平臺系統(tǒng)。在《規(guī)劃》的指導(dǎo)下，各管理單位依托移動互聯(lián)網(wǎng)平臺，借助智能分析、互聯(lián)網(wǎng)、傳感器、視頻監(jiān)控、云計算、全球定位系統(tǒng)（Global Positioning System,GPS）和射頻識別（Radio Frequency Identification,RFID）等技術(shù)，實現(xiàn)對審批河道采砂許可證、開采河道砂石及存儲、銷售、運輸、修復(fù)河道砂石等環(huán)節(jié)的網(wǎng)絡(luò)化、智能化和精細化監(jiān)管。

2 基于圖像三維建模的采砂量測量技術(shù)分析

2.1 雙目視覺基本原理

雙目視覺使用單個攝像機從不同角度在不同時刻獲取周圍物體的兩幅相關(guān)圖像，或采用不同位置的兩臺攝像機同時采集目標及其周圍物體的兩幅數(shù)字圖像，并基于視差基本原理，在得知攝像機與攝像機之間位置關(guān)系的前提下，獲取目標的三維空間信息，同時構(gòu)建物體的三維模型。

雙目視覺測距原理基于視差原理，圖1 為雙目立體成像原理圖，基線距B 為兩臺攝像機投影中心的直線距離，f 為攝像機焦距。

圖1 雙目立體成像原理圖

兩臺攝像機同時觀看目標物體的特征點P，左圖像和右圖像中點P 的坐標分別為pl=（xl，yl），pr=（xr，yr）。若“左眼”和“右眼”的圖像在同一平面，則目標點P 的坐標相同，即yl=yr=y，由幾何關(guān)系可知：

視差為d=xl-xr，則點P 在坐標系中的坐標如下：

至此，若左攝像機像面上任意點可以在右攝像機像面上找到對應(yīng)的目標匹配點（即左、右攝像機像面上的點對應(yīng)空間的同一點），便可得到此點在攝像機坐標系中對應(yīng)的三維坐標。該方法為點對點運算，只要該點在像面上存在對應(yīng)的目標匹配點，即可參與運算并獲取該點的三維坐標。

2.2 技術(shù)流程

雙目視覺采集系統(tǒng)的軟件設(shè)計包括：攝像機標定及目標特征點的三維信息恢復(fù)（在攝像機標定的基礎(chǔ)上進行）。本系統(tǒng)根據(jù)砂石料堆體積測量軟件所要實現(xiàn)的功能分為圖像釆集、圖像預(yù)處理、圖像特征提取與匹配、攝像機標定和空間三維坐標獲取五個模塊。

2.3 攝像機標定

攝像機標定是根據(jù)攝像機的投影模型建立的像素與場景點之間的位置關(guān)系。該系統(tǒng)通過雙目視覺原理獲取目標物體的二維圖像，過程共經(jīng)歷四次變換，如圖2。變換從世界坐標系開始，并依次變換為攝像機坐標系、無失真的圖像坐標系、帶有切向畸變的實際圖像坐標系，最后變?yōu)橛嬎銠C圖像坐標系。

圖2 攝像機標定模型坐標系

2.4 構(gòu)建控制點的三維坐標集

為敘述方便，將攝像機的線性模型式（3）列出：

式中：λ是任意非零比例因子；R、T 是兩個矩陣；A 是3×4 的矩陣。

因此，電荷耦合器件（Charge Coupled Device,CCD）像機內(nèi)部參數(shù)為一個保持不變的常數(shù)，觀測不同位置的模板時依然為定值。系統(tǒng)采集不同位置的模板圖像，進行預(yù)處理后可知目標特征點的三維坐標和圖像坐標，由此便可通過三個及以上位置的圖像的特征點構(gòu)建平面模板圖像的特征點集。

2.5 圖像特征提取與匹配

雙目視覺技術(shù)的關(guān)鍵是建立采砂車左右圖像對目標特征點之間的匹配關(guān)系。立體匹配是在一幅圖像中找到另一幅圖像所給定一點的對應(yīng)點的過程，該方法不存在任何標準模板。由于場景中的諸多因素，當(dāng)采砂貨車的三維場景投影為二維圖像時很難進行無歧義匹配。因此在圖像立體匹配過程中，需要先對得到的采砂車左右圖像預(yù)處理，消除全部的不利因素后，得到有利于特征提取與匹配的圖像。

3 基于場景視點建模的采砂量三維重建及體積計算

3.1 基于場景視點建模的參數(shù)估計方法

3.1.1 參數(shù)提取方法

采砂車的三維建模過程步驟：采用人工交互方法確定采砂車主體角點，求出消隱點以及主長方體的長、寬、高和像機的內(nèi)部、外部參數(shù)；并根據(jù)主長方體的結(jié)構(gòu)參數(shù)及輪廓信息判斷采砂車類型，通過大尺度形態(tài)篩選確定采砂車車頂?shù)南嚓P(guān)區(qū)域信息；車頂角點由該區(qū)域圖像提取的直線交點確定；由角點與角點間的空間關(guān)系和攝像機投影成像公式，計算出整體結(jié)構(gòu)中采砂車六個主體角點及兩個車頂頂點的相對深度；測量非平頂采砂車的長、寬、高結(jié)構(gòu)參數(shù)及車頂類型、車脊長度和車頂高度六個參數(shù)，通過采砂車車頂?shù)能嚰归L度和車檐長度相等與否可判斷人字形車頂和雙面人字形車頂、非平頂采砂車車頂輪廓圖。

3.1.2 估計攝像機內(nèi)部參數(shù)

攝像機內(nèi)部參數(shù)未知時，按順序使用人工交互的方法從圖像中選取采砂車主體長方體對應(yīng)的六個角點，包含三對垂直方向的平行線，由此可估計在圖像中三個不同方向的消隱點坐標；按此方法可求得圖像主點，即由三個垂直方向消隱點組成的三角形的垂心；為了提高算法的可靠性，根據(jù)攝像機焦距f，求出三個消隱點對應(yīng)的三組解并取平均值。

3.1.3 估計攝像機外部參數(shù)和采砂車主體參數(shù)

在采砂車主體中心建立世界坐標系，基于攝像機內(nèi)外參數(shù)與采砂車主體平行六面體的幾何信息之間存在的對偶關(guān)系，從圖像中六個角點的坐標出發(fā)，可得該立方體的形參矩陣L，進而得到此立方體的結(jié)構(gòu)參數(shù)，則可知六個角點的坐標。繼而計算平移向量t 和旋轉(zhuǎn)矩陣R，估計攝像機外部參數(shù)。

3.2 提取頂角點

車頂區(qū)域為非平頂采砂車長方體主體上方區(qū)域，對應(yīng)構(gòu)造立體幾何（ConstructiveSolidGeometry,CSG）結(jié)構(gòu)中的復(fù)雜結(jié)構(gòu)體基元或三棱柱。在大尺度形態(tài)篩的結(jié)果上應(yīng)用該劃分結(jié)果，并于非車頂區(qū)域使用均勻灰度值賦值。

車頂區(qū)域形態(tài)篩后，圖像中車頂?shù)谋尘芭c邊緣差別最大，通過檢測角點，Canny 邊緣檢測中保留梯度幅值較大的檢測結(jié)果，以此為基礎(chǔ)，使用基于Hough 變換的直線檢測方法，進行交點和線段的優(yōu)化，并建立車頂角點提取圖。一般認為最上方即行值最小的兩個角點為車檐上的兩個未知角點，即角點P7和P8，連同人工選取的六個長方體的角點，八個角點在圖像中的坐標全部確定。

下一步，根據(jù)八個角點的坐標，所估計的采砂車主體長方體的長、寬、高和攝像機內(nèi)外參數(shù)確定采砂車車頂?shù)念愋?，并計算車脊長度和車頂高。

3.3 求解相對深度

如圖3，設(shè)非齊次坐標P1，P2，P3，P4依次為空間平面矩形的四個頂點，齊次坐標p1，p2，p3，p4依次為投影到圖像平面上的對應(yīng)點，根據(jù)矩形的對角線性質(zhì)，相對的兩個頂點的向量和相等，即有：P1+P4=P2+P3，由公式（4）可得：

圖3 矩形投影示意圖

可得以下形式：

其中，pi=（ui，vi，l）T，i∈（1，4）。一般情況下p2，p3，p4三圖像點不共線，矩陣S 為滿秩矩陣。則有：

在已知λ1的情況下則可求得λ2，λ3和λ4。

3.4 估計相關(guān)參數(shù)

相對深度由矩形頂點坐標求得。通過計算車頂結(jié)構(gòu)中兩個相鄰矩形各個頂點的相對深度，并根據(jù)攝像機內(nèi)部參數(shù)，可知長方體的結(jié)構(gòu)參數(shù)。

由圖4 的車頂俯視圖可知，俯視圖中采砂車車頂頂點P7、P8均位于矩形中線上，因此點P7、P8在三維坐標系中x（y）坐標為0，聯(lián)立方程即可求解點P7、P8對應(yīng)的相對深度值λ7和λ8，再計算P7、P8的三維坐標。

圖4 車頂俯視圖

因此，對圖4，P4+P5=P2+P6和P4+P1=P2+P3，以P2的相對深度為準，設(shè)λ2=1，可求得λ6/λ2，λ5/λ2，λ4/λ2，λ3/λ2，和λ1/λ2，根據(jù)之前求得的長方體角點P2的三維坐標，并利用公式（6）估計參數(shù)λ2，則可知全局因子差異為一的各角點相對深度λi，i=1～8。

其中，P 為非齊次坐標，根據(jù)各角點相對深度λi和式（7）可計算世界坐標系下各個角點的三維坐標，從而估計角度并進行相關(guān)參數(shù)的測量。

3.5 采砂車總量的計算

設(shè)車脊長度為y1=||P7-P8||，主體長方體的長和寬分別為y2=||P2-P5||和y3=||P1-P2||，用以確定采砂車車頂類型，人字形車頂小于設(shè)定閾值，雙面人字形車頂大于設(shè)定閾值。|y1-y2|為車頂高。

左右攝像機獲取的目標特征點匹配及攝像機標定己完成后，可知采砂車目標特征點位置的三維坐標，實現(xiàn)了對采砂貨車結(jié)構(gòu)的三維重建。并根據(jù)經(jīng)過預(yù)處理后的真實空間坐標值數(shù)據(jù)，將投影的XY平面劃分為N 個小矩形，如圖5。將X 軸M 等分，并以d 為步長在y 軸上確定每個需要插值的二維點。

圖5 投影劃分示意圖

插值使用反距離算法，求矩形頂點（X，Y）的Z 值，并將計算出的每個區(qū)間小矩形柱體積Vi 相加，采砂車體積為：

3.6 現(xiàn)場實測分析比較

在實地驗證中分別對不同采砂車輛（大型車輛、中型車輛和拖拉機等）的運砂量分別進行測試，并與人工測量進行了比較，見表1。

表1 不同車型測試比較表

可以看出，雖然由于采砂車輛的車體不同、車體上砂堆積形狀不均勻等問題，導(dǎo)致計量存在一定誤差，但該技術(shù)與傳統(tǒng)的稱重計量方法比較，其誤差不超過8%。因此，該技術(shù)不僅可以作為采砂計量的輔助手段，也是傳統(tǒng)采砂計量方法的一種擴展。

4 結(jié)語

利用采砂場不同方向拍攝的采砂貨車圖像信息，根據(jù)視差原理獲取運砂車輛的三維空間信息計算運砂車的空間體積，可簡單理解為利用已經(jīng)采集到的實時視頻圖像和歷史圖像資料，對所構(gòu)建的采砂車輛類型和空間模型參數(shù)進行人工標定和自動學(xué)習(xí)，完善模型參數(shù)，再依據(jù)確定的參數(shù)對未分撿識別的各種車型的圖像資料進行計算機軟件自動智能識別，計算出運砂量，減少了采砂管理和監(jiān)控圖像人工分撿的勞動強度，對采砂計量管理提供了有效的幫助，具有較好的社會效益和經(jīng)濟效益■