綜采工作面多目全景攝像儀的研制與應(yīng)用

任 偉

(北京天瑪智控科技股份有限公司，北京 101399)

隨著智能化煤礦的建設(shè)，綜采工作面自動化采煤逐漸常態(tài)化，視頻監(jiān)控作為操作人員遠(yuǎn)程操控設(shè)備的依據(jù)顯得尤為重要。“可視化遠(yuǎn)程開采”[1-3]、“視覺沉浸技術(shù)”[4]、“智能識別”[5-9]、“視頻巡檢”[10-12]、“透明工作面”[13，14]等煤礦開采智能化理念的落地也離不開視頻監(jiān)控系統(tǒng)。攝像儀是視頻監(jiān)控系統(tǒng)圖像采集的重要設(shè)備，2012年工作面首臺本安型攝像儀投入使用，將人的“視覺”延伸到了工作面，加之采煤設(shè)備的自動化程度日益提高，2014年黃陵礦“一鍵啟?！钡淖詣踊刂葡到y(tǒng)的成功應(yīng)用，終于將工作面操控人員解放到了遠(yuǎn)端的監(jiān)控中心，開啟了“無人操作、少人巡視”的遠(yuǎn)程可視化干預(yù)開采模式。隨后，為了滿足無人化工作面視頻的更高要求，新型本安型攝像儀[15、16]、云臺攝像儀[17]等快速迭代產(chǎn)品大量應(yīng)用于綜采工作面。

我國煤炭開采從薄煤層、中厚煤層，再到大采高、特厚煤層[18，19]，綜采工作面視頻監(jiān)控區(qū)域復(fù)雜多變，視頻監(jiān)控難度較大，且近兩年采煤機(jī)、液壓支架、運(yùn)輸機(jī)等設(shè)備的動作速度得到大幅提升，在全自動化采煤的過程中如果攝像儀的視場角有限、畫面有時差，勢必造成工作面視頻監(jiān)控區(qū)域不全、視頻圖像不可靠等問題，將會嚴(yán)重影響監(jiān)控中心的遠(yuǎn)程操作人員的視覺判斷和操作響應(yīng)，給日常生產(chǎn)帶來安全隱患。

目前，綜采工作面主流的攝像儀為固定式攝像儀和云臺式攝像儀。固定式攝像儀監(jiān)控范圍完全取決于攝像儀本身的固定視角，由于視角有限，在配套數(shù)量有限的條件下，監(jiān)控存在盲區(qū)，但如果要擴(kuò)大監(jiān)控范圍，攝像儀的配套數(shù)量就需要增加，使得系統(tǒng)配套、運(yùn)維成本和復(fù)雜度增加；云臺式攝像儀是將恒定角度的攝像儀固定在云臺電機(jī)旋轉(zhuǎn)機(jī)構(gòu)上，通過單軸或者雙軸云臺電機(jī)的轉(zhuǎn)動來調(diào)節(jié)攝像頭的監(jiān)控方向，從而達(dá)到動態(tài)監(jiān)視大范圍內(nèi)的目標(biāo)，但旋轉(zhuǎn)360°的視頻畫面存在時差不同步，全畫面監(jiān)控達(dá)不到實(shí)時性。因此，為了適應(yīng)智能化煤礦的發(fā)展，綜采工作面急需一種多個圖像同步采集、實(shí)時拼接、高清全景輸出、固定式大廣角的攝像儀。

1 工作面攝像儀配套的關(guān)注點(diǎn)

在智能化煤礦，攝像儀普通應(yīng)用于不同地質(zhì)條件的綜采工作面，其監(jiān)控的關(guān)注點(diǎn)卻有所差異。

1)薄煤層工作面。煤壁方向攝像儀水平角度能否覆蓋到采煤機(jī)所需監(jiān)控的范圍。由于煤層薄，對于攝像儀垂直視角范圍不需要過多考慮(目前大多數(shù)攝像儀垂直視角都會大于40°)，通常情況下是可覆蓋的；水平視角上，理想狀態(tài)下在保證圖像效果的前提下，視角越大越好，這樣整個工作面布置的攝像儀數(shù)量就會越少，安裝維護(hù)方便、以太網(wǎng)數(shù)據(jù)傳輸壓力將降低；同時視頻要能夠清楚的看到煤機(jī)、支架。

2)中厚煤層工作面。攝像儀視角范圍需要覆蓋更大的場景：伸縮梁、護(hù)幫板、煤壁、以及采煤機(jī)機(jī)身等。多數(shù)工作面以遠(yuǎn)程干預(yù)為輔助，所以對于視頻監(jiān)控要求靈活可控、可遠(yuǎn)程人工調(diào)整，快速切換畫面。

3)大采高工作面。基本同中厚煤層工作面需求一致，但是由于攝像儀安裝位置高、所以對除塵有特別要求，同時大采高工作面有嚴(yán)格的照明條件。

2 多目全景攝像儀設(shè)計需求分析

2.1 視場角分析

如前文所述，綜采工作面監(jiān)控重點(diǎn)關(guān)注區(qū)域?yàn)槊罕诤椭Ъ軅?cè)，理想情況下在同一畫面里可以同時看到采煤機(jī)割煤和支架排列狀況，這對于遠(yuǎn)程干預(yù)控制采煤機(jī)和支架非常重要。

通過對不同采高工作面安裝的攝像儀視角分析[21]得出：為滿足監(jiān)控范圍的全覆蓋，需要保證攝像儀在煤壁和支架兩個觀察方向各自的水平視角>135°，垂直視角>90°(如圖1所示)。

圖1 視角覆蓋范圍

考慮到井下場景的以上視角需求，結(jié)合目前行業(yè)內(nèi)成像技術(shù)的發(fā)展，優(yōu)先采用比較成熟的技術(shù)方案，采用4塊水平65°、垂直90°視角的圖像傳感模組進(jìn)行水平扇形結(jié)構(gòu)上的分布及圖像拼接，最終形成一個水平視角220°、垂直視角90°視角范圍的四目全景的需求。

2.2 圖像傳感器選型分析

考慮到工作面的照明情況，為了減少對照明狀況的依賴，提高微光環(huán)境的成像質(zhì)量，減少因?yàn)榧t外補(bǔ)光造成的色彩損失；同時保證即使壓縮輸出也可以達(dá)到更高的色彩還原及清晰度，達(dá)到更高的噪點(diǎn)抑制水平，圖像傳感器選擇微光成像傳感器，保證在微光環(huán)境下單攝像頭可實(shí)現(xiàn)0.0005Lux照度成像；同時保證高清分辨，采用單傳感器分辨率4K像素。

2.3 鏡頭選擇分析

鏡頭作為圖像傳感器芯片的直接光線來源，對于最終攝像儀成像效果有著舉足輕重的作用，主要從材質(zhì)、焦距、畸變率和景深多方面考慮進(jìn)行選型。

2.4 自清潔要求

考慮到工作面攝像儀視窗易受煤塵污染而看不清楚，人工擦拭工作量大，特別是大采高，人工擦拭存在很大危險性，所以考慮視窗具有自清潔的功能。

綜上所述，多目全景攝像儀的設(shè)計需求技術(shù)參數(shù)見表1。

表1 多目全景攝像儀主要技術(shù)參數(shù)

3 多目全景攝像儀的研制

3.1 四目攝像頭布置

四個圖像傳感器+鏡頭按照一定間隔布置在同一基準(zhǔn)面上，呈扇形均勻布置(如圖2所示)。

圖2 攝像頭部署

3.2 系統(tǒng)架構(gòu)

采用海思Hi3559AV100作為主控芯片，進(jìn)行圖像采集與處理、全景拼接、編碼，通過以太網(wǎng)傳輸至監(jiān)控主機(jī)進(jìn)行顯示，也可配套APP部署在移動手機(jī)、VR/AR終端上看到全景畫面，相關(guān)軟件架構(gòu)采用服務(wù)器客戶機(jī)模式，多目攝像儀系統(tǒng)架構(gòu)如圖3所示。

APP與設(shè)備端的通信，都要經(jīng)過服務(wù)器端，APP通過服務(wù)器的云服務(wù)，訪問到相應(yīng)的設(shè)備IP，設(shè)備端的網(wǎng)絡(luò)交互層，將APP端的請求信息發(fā)送給業(yè)務(wù)邏輯層的應(yīng)用軟件，應(yīng)用軟件響應(yīng)請求，調(diào)用相關(guān)的數(shù)據(jù)傳輸或控制指令，應(yīng)用程序通過操作系統(tǒng)來操作底層的硬件。

3.3 電路本安化設(shè)計

多目全景攝像儀集成了四個攝像頭、高速的圖像處理器和AI處理芯片(4T算力)，因此它的功耗比一般的攝像儀(工作電流200～600mA)高2倍以上，最高工作電流達(dá)到1200mA，在啟動過程中容易產(chǎn)生電流沖擊，造成本安電源的過載保護(hù)。為了解決這個問題，除了按照常規(guī)本安電路的防浪涌、防反接、穩(wěn)壓、電容匹配等規(guī)范設(shè)計外，對電源順序啟動進(jìn)行了電路和軟件設(shè)計。

電源管理控制如圖4所示，各個功能單元(如圖像傳感器、GPU、5G模塊、以太網(wǎng)模塊等)的供電是由電源管理MCU通過軟件順次控制端口輸出來逐步加載，從而實(shí)現(xiàn)系統(tǒng)的“緩啟”，避免啟動沖擊電流過大造成本安電源模塊輸出保護(hù)。

3.4 圖像信號處理

環(huán)境畫面經(jīng)過多目圖像傳感器進(jìn)行圖像信號采集并轉(zhuǎn)化成數(shù)字圖像RAW數(shù)據(jù)，通過MIPI總線輸入到圖像處理芯片中，圖像處理芯片內(nèi)置ISP功能，ISP的子功能包含有圖像格式轉(zhuǎn)換、自動曝光、自動白平衡、黑電平矯正、壞點(diǎn)矯正、鏡頭陰影、圖像降噪、色彩增強(qiáng)等。由于多目中的每一路圖像都是經(jīng)過單獨(dú)的ISP處理器進(jìn)行處理。在圖像拼接前多路圖像的亮度、圖像白平衡、圖像色彩需要經(jīng)過相同的參數(shù)同步，以保證拼接后的圖像在拼接處不會出現(xiàn)色彩和亮度非正常突變。

圖3 多目系統(tǒng)架構(gòu)

圖4 電源管理控制示意

3.5 全景拼接的實(shí)現(xiàn)

多目視頻流首先由Hi3559AV100的ISP核心完成鏡頭去畸變，然后進(jìn)行全景拼接，亮度平衡處理，最后輸出全景視頻流。

3.5.1 圖像去畸變算法

相機(jī)的視場角與魚眼鏡頭相比，畸變要小，考慮到處理器算力及計算復(fù)雜度，不采用比較復(fù)雜的魚眼相機(jī)模型，采用由透鏡形狀引起的徑向畸變和由于安裝導(dǎo)致的鏡片和成像平面不平行引起的切向畸變來給相機(jī)建模。模型均采用相機(jī)的歸一化坐標(biāo)系，令相機(jī)坐標(biāo)系內(nèi)一點(diǎn)為(X，Y，Z)，其對應(yīng)在歸一化坐標(biāo)系內(nèi)的坐標(biāo)為(X/Z，Y/Z，1)，Z坐標(biāo)恒為1可省去，故可以用兩個坐標(biāo)(x，y)表示。令畸變系數(shù)為k1，k2，k3，經(jīng)過鏡頭作用后的歸一化坐標(biāo)為(xdistorted，ydistorted)，徑向畸變模型表示為：

xdistorted=x(1+k1r2+k2r4+k3r6)

ydistorted=y(1+k1r2+k2r4+k3r6)

(1)

其中，r2=x2+y2。

切向畸變模型表示為：

xdistorted=x+2p1xy+p2(r2+2x2)

ydistorted=y+p1(r2+2y2)+2p2xy

(2)

由式(1)和式(2)得相機(jī)總的畸變模型為：

xdistorted=x(1+k1r2+k2r4+k3r6)+2p1xy+p2(r2+2x2)

ydistorted=y(1+k1r2+k2r4+k3r6)+p1(r2+2y2)+2p2xy

(3)

令相機(jī)的內(nèi)參即主點(diǎn)和焦距分別為：cx，cy，fx，fy，令含有畸變的像素坐標(biāo)為udistorted，vdistorted，像素坐標(biāo)原點(diǎn)規(guī)定為圖像的左上角，u的正方向向右，v的正方向向下，即實(shí)際相機(jī)每一幀圖像的像素坐標(biāo)為：

udistorted=[xdistortedfx+cx]

vdistorted=[ydistortedfy+cy]

(4)

其中的[]表示取整。

理論上在得到每一幀圖像后，依次按照式(3)、式(4)即可求出去畸變后的x，y然后再根據(jù)內(nèi)參即可求出去畸變后的像素坐標(biāo)u，v，完成去畸變過程。但是該方法計算量比較大，占用過多的計算資源，實(shí)際實(shí)現(xiàn)的過程采用查表的方法，即先建一個同樣大小的空圖像，然后遍歷這個圖像的每一個像素求其對應(yīng)的畸變的像素，將畸變圖像的像素賦給該空圖像即完成去畸變過程。

3.5.2 拼接算法

圖5 圖像拼接

圖像拼接如圖5所示，兩幅圖像X、Y長寬為m和n，理想的重疊區(qū)域?qū)挒閜，拼接后圖像為Z，設(shè)水平像素坐標(biāo)為x(因多目攝像儀的四個攝像頭組裝時進(jìn)行了嚴(yán)格的基準(zhǔn)面校準(zhǔn)，所以垂直方向像素坐標(biāo)不做考慮)，則Z圖像的R、G、B的分量為：

1)當(dāng)x

2)當(dāng)x≥m-p且x≤m時：

3)當(dāng)x>m時：

3.5.3 全景圖生成

拼接后所獲得的圖像還需要進(jìn)一步進(jìn)行變換，生成全景圖輸出。首先將拼接的圖像利用相機(jī)的內(nèi)參向歸一化的三維坐標(biāo)轉(zhuǎn)換，然后向單位球投影，得到全景球幕坐標(biāo)，最后再將球幕坐標(biāo)向經(jīng)緯坐標(biāo)系投影，得到長寬比為2∶1的全景圖。令拼接后圖像坐標(biāo)為(u，v)，轉(zhuǎn)換到歸一化的三維坐標(biāo)為：

將其向單位球投影，并轉(zhuǎn)換為球面坐標(biāo)為：

θ=arccos(z/sqrt(x2+y2+z2))，

φ=arccos(x/sqrt(x2+y2))

(9)

將其轉(zhuǎn)化為長寬比為2∶1的全景圖像坐標(biāo)，令全景圖的以像素表示的長寬分別為PanoW，PanoH，則在全景圖上的像素坐標(biāo)為：

u=φ×panoW/(2π)，v=theta×panoH/π

(10)

3.5.4 亮度平衡算法

圖6 亮度平衡

亮度平衡如圖6，X、Y重疊，X重疊區(qū)域?yàn)閄0，Y重疊區(qū)域?yàn)閅0，設(shè)X0的平均亮度為Lx0，Y0的平均亮度為Ly0，X的平均亮度為Lx，Y的平均亮度為Ly。那么：

Y圖像亮度調(diào)整公式為：

3.6 低延時處理

多目攝像儀的圖像傳輸過程：圖像采集、圖像拼接、圖像編碼、網(wǎng)絡(luò)傳輸，每個環(huán)節(jié)都考慮低時延的處理。

從圖像采集過程，采用Hi3559的兩路獨(dú)立的ISP處理模塊，將4路MIPI接口的Sensor分別給到2路ISP處理模塊，在圖像采集階段的時延可以縮短為原來的1/2。

再到圖像拼接，ISP模塊將處理完成的每幀圖像放置在緩存中，圖像拼接算法是實(shí)時拼接算法，所有數(shù)據(jù)在4幅圖都接收完成后數(shù)個行頻后即完成圖像的拼接轉(zhuǎn)換，此過程僅產(chǎn)生1ms左右的延時。

圖像編碼采用了低延遲碼率控制，編碼流水線優(yōu)化，硬件編碼加速等技術(shù)，提升了編碼效率，保證了時延。在壓縮率上，信息量最大的是低頻圖像，利用運(yùn)動補(bǔ)償算法有效消除幀間冗余，提高壓縮率。同時運(yùn)用高頻殘差部分采用小核變換后進(jìn)行稀疏系數(shù)編碼，有利于提升殘差的編碼效率。通過以上措施提升了編碼的效率，實(shí)際在Hi3559上對拼接好的圖像的測試結(jié)果是在5ms左右。

在網(wǎng)絡(luò)傳輸過程，傳統(tǒng)的NVR采用TCP或者UDP協(xié)議進(jìn)行數(shù)據(jù)傳輸，這兩種傳輸方式，UDP的效率和時延優(yōu)于TCP，但數(shù)據(jù)穩(wěn)定性差于TCP。由于UDP采用實(shí)時碼流傳輸，效率有所提升。所以，在本設(shè)計中，設(shè)備工作在內(nèi)網(wǎng)環(huán)境，采用UDP協(xié)議進(jìn)行圖像數(shù)據(jù)的實(shí)時碼流傳輸，優(yōu)化校驗(yàn)過程，整體的網(wǎng)絡(luò)延遲優(yōu)化了30%。

3.7 自清潔的實(shí)現(xiàn)

四目全景攝像儀視窗采用疏水防塵的納米材料涂層硬化處理，具有“荷葉效應(yīng)”，在視窗上方安裝噴水裝置，利用支架噴霧控制來進(jìn)行噴水除塵，保證攝像頭視窗的清潔。

4 多目全景攝像儀井下測試

4.1 井下測試

將研制的多目全景攝像儀分別在薄煤層、中厚煤層和大采高工作面進(jìn)行安裝測試。從測試效果看，多目攝像儀的監(jiān)控視角范圍完全覆蓋煤壁和支架側(cè)區(qū)域，且具有高清的分辨率，特別是在大采高這樣的大場景下顯得更加清晰。相比于其他攝像頭，真正在工作面實(shí)現(xiàn)了“看得全”“看得清”。

實(shí)際測試全景視頻流在薄煤層及中厚煤層傳輸延遲，視頻網(wǎng)絡(luò)均采用千兆網(wǎng)，干線采用萬兆以太網(wǎng)，見表2，傳輸延遲大約在20ms滿足實(shí)時性要求。

表2 視頻流傳輸延遲統(tǒng)計

測試拼接質(zhì)量，四個攝像頭成像如圖7所示。其對應(yīng)拼接生成的全景圖如圖8所示。

圖7 四個攝像頭分別對應(yīng)所生成的圖像

圖8 拼接后生成的全景圖

圖8中戴藍(lán)色安全帽的工人由圖7里面的(a)及(b)拼接而成，看不出明顯的拼接縫隙，有較高的拼接質(zhì)量。

4.2 存在問題和改進(jìn)措施

多目全景攝像儀因其多個攝像頭都有著各自的焦點(diǎn)，拼接后的畫面是一個球形全景圖，在目前常用的播放器中展示的畫面存在比較嚴(yán)重的畸變，給人的視覺效果較差。隨著AI識別深度應(yīng)用和普遍化，每個多目攝像儀將成為一個傳感器，只輸出定量的結(jié)果，不需要人為實(shí)時查看，到那時多目全景攝像儀的優(yōu)勢將被發(fā)揮到極致。在目前視頻還是靠人查看操控的情況下，多目全景攝像儀可采用以下措施滿足現(xiàn)場使用要求：

4.2.1 全景概覽，局部細(xì)化

全景+局部顯示如圖9所示，上位機(jī)畫面顯示2臺多目攝像儀全景畫面，同時在其畫面中截取關(guān)注的畫面(如采煤機(jī)前后滾筒)進(jìn)行局部細(xì)化顯示。

圖9 全景+局部顯示

4.2.2 增加設(shè)備交互功能

可通過手柄搖桿等輸入設(shè)備，選定任何一幅全景畫面中局部關(guān)注畫面進(jìn)行左右移動、放大縮小等交互；局部顯示畫面可隨著采煤機(jī)的位置而自動調(diào)整，以保證滾筒始終在畫面框內(nèi)。

4.2.3 分流顯示

將多目全景攝像儀按照四路獨(dú)立的視頻數(shù)據(jù)讀取并顯示，可以當(dāng)做四個攝像頭使用，該方式在空間狹小的薄煤層使用比較理想，可以大大節(jié)省攝像儀的布置數(shù)量，安裝簡單且維護(hù)方便。

4.2.4 VR/AR技術(shù)融合

將多目全景視頻部署在VR/AR終端，通過設(shè)備的人機(jī)交互，可以實(shí)現(xiàn)以FPV(First Person View：第一人稱主視角)方式展示的立體視覺效果，使視頻畫面更立體更有浸入感，可完全消除整幅畫面的畸變視覺感受。

5 結(jié) 語

本文介紹的綜采工作面多目全景攝像儀是基于目前攝像儀視角范圍受限、監(jiān)控區(qū)域畫面不能全覆蓋、畫面不同步等問題而提出的一種全新的適用于煤礦綜采工作面的本安型攝像儀，它不僅解決了監(jiān)控范圍的問題，而且在工作面的布置數(shù)量減少了40%，降低了工作面配套難度，其大廣角、高清監(jiān)控適用于各種采高煤層，雖然存在畫面畸變問題，但監(jiān)控畫面通過交互處理，完全可以滿足智能綜采工作面的監(jiān)控要求。保證了無人化開采工作面的遠(yuǎn)程可視化割煤的可靠性和安全性，實(shí)現(xiàn)了 “看得清”“看得全”，同時為后續(xù)“看得懂”的智能識別研究提供最全面的數(shù)據(jù)源，為智能化工作面系統(tǒng)配套提供了全新的視頻監(jiān)控技術(shù)支持和產(chǎn)品支撐。