無(wú)人機(jī)多源測(cè)繪信息集成與智能服務(wù)系統(tǒng)研究

曹偉偉

（唐山工業(yè)職業(yè)技術(shù)學(xué)院 河北 唐山 063299）

0 引言

人工智能的高速發(fā)展令無(wú)人機(jī)技術(shù)的應(yīng)用范圍更加廣泛，成為輔助獲取工程現(xiàn)場(chǎng)信息的重要手段，為人們了解現(xiàn)場(chǎng)地形，提高施工措施準(zhǔn)確率提供數(shù)據(jù)參考［1］。目前，無(wú)人機(jī)在工程現(xiàn)場(chǎng)的應(yīng)用多是通過(guò)一次性飛行來(lái)獲取大量影像數(shù)據(jù)，然后返回基地進(jìn)行后續(xù)信息處理，無(wú)法做到實(shí)時(shí)監(jiān)測(cè)和數(shù)據(jù)傳輸，這也是傳統(tǒng)空中三角測(cè)量方法的弊端［2］。另外，搭載了視頻傳感器的無(wú)人機(jī)所獲取到的視頻影像通常會(huì)以視頻流的形式進(jìn)行動(dòng)態(tài)展示，沒(méi)有地理信息，雖然可以幫助人們了解現(xiàn)場(chǎng)但無(wú)法作為分析和量算的參考［3－4］。因此只有讓獲取到的現(xiàn)場(chǎng)信息配合地理位置信息同時(shí)出現(xiàn)，才能更好地提升應(yīng)急處理的效果。本文構(gòu)建出一套測(cè)繪無(wú)人機(jī)應(yīng)急智能服務(wù)系統(tǒng)，希望能夠同時(shí)實(shí)現(xiàn)現(xiàn)場(chǎng)可視化分析、現(xiàn)場(chǎng)三維情境構(gòu)建、在線實(shí)時(shí)檢測(cè)、人員與設(shè)備實(shí)時(shí)在線監(jiān)管、全流程應(yīng)急處理和一體化智能服務(wù)功能。

1 測(cè)繪無(wú)人機(jī)應(yīng)急智能服務(wù)體系架構(gòu)

在進(jìn)行測(cè)繪無(wú)人機(jī)應(yīng)急智能服務(wù)體系架構(gòu)的設(shè)定時(shí)，首先需要遵循現(xiàn)場(chǎng)中測(cè)繪地理信息的服務(wù)需求，并且要將實(shí)際應(yīng)用環(huán)境充分考慮在內(nèi)。具體架構(gòu)如圖1 所示。

圖1 測(cè)繪無(wú)人機(jī)應(yīng)急智能服務(wù)體系架構(gòu)

（1）構(gòu)建獲取并傳輸現(xiàn)場(chǎng)數(shù)據(jù)平臺(tái)。借助測(cè)繪無(wú)人機(jī)集成平臺(tái)來(lái)實(shí)現(xiàn)現(xiàn)場(chǎng)獲取數(shù)據(jù)完整信息的傳輸。數(shù)據(jù)傳輸鏈路、數(shù)據(jù)接口標(biāo)準(zhǔn)以及軟硬件之間的時(shí)空基準(zhǔn)等問(wèn)題，都可在這個(gè)集中平臺(tái)上得到解決。

（2）集成管理現(xiàn)場(chǎng)產(chǎn)生的多源數(shù)據(jù)，如圖2 所示。搭載著光學(xué)傳感器的無(wú)人機(jī)可實(shí)現(xiàn)對(duì)現(xiàn)場(chǎng)的實(shí)時(shí)監(jiān)測(cè)，為了快速提取到視頻上有價(jià)值的信息，需要首先解決地理信息系統(tǒng)和地理編碼視頻流影像平臺(tái)的深度融合、全球?qū)Ш叫l(wèi)星系統(tǒng)（global navigation satellite system，GNSS）與視頻流的時(shí)空同步合成碼等核心問(wèn)題。當(dāng)下熱度比較高的北斗短報(bào)文，可以不借助運(yùn)營(yíng)商網(wǎng)絡(luò)實(shí)現(xiàn)短信的發(fā)送，定位功能更加強(qiáng)大，也更適用于智能服務(wù)體系的需求。當(dāng)無(wú)人機(jī)與“北斗”結(jié)合在一起，多源數(shù)據(jù)的集成管理便可以順利實(shí)現(xiàn)。

圖2 測(cè)繪無(wú)人機(jī)多源數(shù)據(jù)集成管理

（3）應(yīng)急智能服務(wù)系統(tǒng)，如圖3 所示。實(shí)現(xiàn)平臺(tái)的應(yīng)急智能服務(wù)，搭建集現(xiàn)場(chǎng)實(shí)時(shí)檢測(cè)、分析、評(píng)估平臺(tái)，多源數(shù)據(jù)接入服務(wù)和三維場(chǎng)景構(gòu)建服務(wù)為一體的系統(tǒng)，并兼?zhèn)淙藛T測(cè)繪和重點(diǎn)定位監(jiān)督管理等功能。

圖3 測(cè)繪無(wú)人機(jī)應(yīng)急智能服務(wù)系統(tǒng)

（4）設(shè)立應(yīng)用示范窗口。測(cè)繪無(wú)人機(jī)應(yīng)急智能服務(wù)系統(tǒng)主要服務(wù)于現(xiàn)場(chǎng)的實(shí)時(shí)監(jiān)測(cè)，因?yàn)楸仨毻ㄟ^(guò)相關(guān)技術(shù)規(guī)程進(jìn)行示范方案的設(shè)計(jì)，以滿足提前了解工程活動(dòng)時(shí)環(huán)境概況的目的。

2 測(cè)繪無(wú)人機(jī)現(xiàn)場(chǎng)數(shù)據(jù)獲取與傳輸

信息平臺(tái)集成處理獲取數(shù)據(jù)的能力在整個(gè)測(cè)繪無(wú)人機(jī)應(yīng)急智能服務(wù)系統(tǒng)中占據(jù)著至關(guān)重要的地位。平臺(tái)功能的實(shí)現(xiàn)主要依賴于對(duì)多源遙感數(shù)據(jù)處理技術(shù)、多無(wú)人機(jī)平臺(tái)系統(tǒng)多傳感器技術(shù)等的集成，系統(tǒng)中數(shù)據(jù)傳輸鏈路、數(shù)據(jù)接口標(biāo)準(zhǔn)、各個(gè)組件部件、各個(gè)系統(tǒng)和子系統(tǒng)、各個(gè)功能模塊間的時(shí)空基準(zhǔn)等環(huán)節(jié)的集成度越高，整個(gè)平臺(tái)能夠發(fā)揮出來(lái)的能效就越大［5］。

2.1 測(cè)繪無(wú)人機(jī)現(xiàn)場(chǎng)數(shù)據(jù)獲取平臺(tái)

選擇抗風(fēng)強(qiáng)、耐磨損的高強(qiáng)度復(fù)合材料制造無(wú)人機(jī)，可滿足最高海拔為4 200 m 的作業(yè)需求，應(yīng)對(duì)比較惡劣的工作環(huán)境；高精度機(jī)械增穩(wěn)系列吊艙系統(tǒng)配合三冗余度北極星系列自駕儀，展現(xiàn)出來(lái)的超強(qiáng)穩(wěn)定性使其具有巡航抗7 級(jí)風(fēng)，起降抗6 級(jí)風(fēng)的能力；其測(cè)繪板最長(zhǎng)續(xù)航120 min，作業(yè)最長(zhǎng)續(xù)航為90 min；采用具有30 倍光學(xué)變焦能力、1080P 高清的攝像機(jī)，兼?zhèn)淇梢?jiàn)光性，能夠?qū)δ繕?biāo)開(kāi)展穩(wěn)定跟蹤，同時(shí)還可實(shí)現(xiàn)自助拍照和圖像錄制。

2.2 測(cè)繪無(wú)人機(jī)現(xiàn)場(chǎng)數(shù)據(jù)傳輸鏈路

平臺(tái)傳輸鏈接與接口如圖4 所示。

圖4 平臺(tái)傳輸鏈接與接口

（1）組成光電吊艙的硬件設(shè)備包括減震器、機(jī)載鏈路系統(tǒng)、SD/TF 卡存儲(chǔ)系統(tǒng)和無(wú)人機(jī)控制系統(tǒng)等，因減震器直接決定著獲取視頻質(zhì)量的高低，所以顯得尤為重要；加裝北斗模塊，用來(lái)實(shí)時(shí)檢測(cè)人員與無(wú)人機(jī)所在位置；飛機(jī)控制系統(tǒng)則主要負(fù)責(zé)對(duì)光電吊艙進(jìn)行跟蹤。

（2）視頻數(shù)據(jù)流有兩條輸出通路，一條由機(jī)載鏈路系統(tǒng)負(fù)責(zé)實(shí)時(shí)傳輸，一條借助SD/TF 實(shí)現(xiàn)實(shí)時(shí)存儲(chǔ)。利用飛控POS 作為地理信息數(shù)據(jù)，并由鏈路負(fù)責(zé)傳輸?！半p鏈路接收，單鏈路傳輸”的模式，能夠保證地理信息數(shù)據(jù)與視頻流數(shù)據(jù)的時(shí)間同步性。地理信息數(shù)據(jù)的輸入輸出接口皆為串口，視頻傳感器的輸入接口是USB3.0 和高清多媒體接口（high definition multimedia interface， HDMI），輸出端口是軟件定義基礎(chǔ)設(shè)施與HDMI，視頻流數(shù)據(jù)主要是由地理信息數(shù)據(jù)來(lái)處理的。

（3）飛控相關(guān)參數(shù)主要由北斗機(jī)載模塊負(fù)責(zé)接收和打包，再以短報(bào)形式借助衛(wèi)星鏈路實(shí)現(xiàn)實(shí)時(shí)位置信息的傳輸。測(cè)繪無(wú)人機(jī)應(yīng)急智能服務(wù)系統(tǒng)與地面北斗指揮機(jī)間的數(shù)據(jù)傳送主要以串口形式完成。

（4）遙控遙測(cè)數(shù)據(jù)被地面鏈路系統(tǒng)接收后再被轉(zhuǎn)傳輸給地面站，數(shù)據(jù)仍以串口形式傳輸，此時(shí)無(wú)人機(jī)/吊艙控制正式完成。

（5）實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)與遠(yuǎn)程指揮中心間的數(shù)據(jù)傳輸主要由地面站借助4G 或5G 通訊鏈路來(lái)實(shí)現(xiàn)。

3 測(cè)繪無(wú)人機(jī)現(xiàn)場(chǎng)多源數(shù)據(jù)集成管理

在實(shí)際應(yīng)用測(cè)繪無(wú)人機(jī)現(xiàn)場(chǎng)數(shù)據(jù)平臺(tái)過(guò)程中，為了更好地集成管理數(shù)據(jù)、接口與實(shí)現(xiàn)基準(zhǔn)，有三方面的技術(shù)問(wèn)題需要被重視和解決。

3.1 視頻關(guān)鍵幀提取與地理編碼

在攝影測(cè)量中需要獲得物方坐標(biāo)系旋轉(zhuǎn)到像空間坐標(biāo)系中的φ、ω、κ3 個(gè)旋轉(zhuǎn)角，而無(wú)人機(jī)慣性導(dǎo)航系統(tǒng)中負(fù)責(zé)獲取傳感器姿態(tài)角的是慣性測(cè)量單元（inertial measurement unit， IMU），得到的是IMU 本位坐標(biāo)在導(dǎo)航坐標(biāo)中的Φ、θ、ψ角，即側(cè)滾、俯仰和偏航角。φ、ω、κ是影像的3 個(gè)外方位元素，可用于地理位置的精準(zhǔn)定位。換言之，只有將姿態(tài)角轉(zhuǎn)換成對(duì)應(yīng)的影像外方位元素，才能實(shí)現(xiàn)視頻關(guān)鍵幀對(duì)地的高精度定位，其轉(zhuǎn)換路徑為“像空間坐標(biāo)系—載體坐標(biāo)系—IMU 本體坐標(biāo)系—導(dǎo)航坐標(biāo)系—地心直角坐標(biāo)系—物方坐標(biāo)系”。其間容易發(fā)生相鄰關(guān)鍵幀錯(cuò)位現(xiàn)象，可通過(guò)尺度和旋轉(zhuǎn)不變性特征檢測(cè)、尺度不變特征變換和加速穩(wěn)健特征等影像匹配算法進(jìn)行糾正。想要實(shí)現(xiàn)基于現(xiàn)場(chǎng)實(shí)時(shí)監(jiān)測(cè)的地理編碼，離不開(kāi)多源傳感器數(shù)據(jù)快速時(shí)空地理編碼技術(shù)，且需要同時(shí)使用視頻流和GNSS 的時(shí)間同步機(jī)制。接口可通過(guò)制定視頻流時(shí)空標(biāo)識(shí)標(biāo)準(zhǔn)協(xié)議來(lái)實(shí)現(xiàn)，能夠用于支持系統(tǒng)的匹配與融合分析。

3.2 視頻關(guān)鍵幀與三維場(chǎng)景融合

該系統(tǒng)可實(shí)現(xiàn)關(guān)鍵幀視頻與現(xiàn)場(chǎng)場(chǎng)景地理的融合，可融合表達(dá)現(xiàn)場(chǎng)與空間信息。融合過(guò)程如圖5 所示。每張影像都可通過(guò)自己的格網(wǎng)與地理場(chǎng)景進(jìn)行融合，保證了關(guān)鍵幀能夠深入融合到地理場(chǎng)景中。

3.3 無(wú)人機(jī)/人員實(shí)時(shí)定位

（1）本系統(tǒng)所植入的“北斗”衛(wèi)星系統(tǒng)具有不受地域和飛行高度限制且能夠做到在我國(guó)空域的無(wú)障礙全覆蓋。“北斗”功能強(qiáng)大，可以授時(shí)、定位、短報(bào)文通信，因此更有利于實(shí)現(xiàn)無(wú)人機(jī)/人員監(jiān)管的功能，詳見(jiàn)圖6。

圖6 實(shí)時(shí)定位

（2）構(gòu)建“機(jī)上/人員被動(dòng)機(jī)載模塊—北斗衛(wèi)星—地面北斗指揮機(jī)”式傳輸鏈，用于位置信息的傳遞，再通過(guò)串口模式與智能服務(wù)系統(tǒng)相連。

（3）編寫用于智能服務(wù)系統(tǒng)的專屬飛行諸元傳輸協(xié)議，用于啟動(dòng)北斗短報(bào)文鏈路，協(xié)議包含但不限于電文內(nèi)容、電文長(zhǎng)、發(fā)信時(shí)間、發(fā)信方和信息類。

（4）當(dāng)有救援任務(wù)需要無(wú)人機(jī)/人員執(zhí)行時(shí)，飛行諸元信息主要以北斗短文通信為載體，其具體工作原理如圖6 所示。出站信號(hào)的發(fā)起者為用戶指揮機(jī)端，串口負(fù)責(zé)信號(hào)的獲取和發(fā)送，并根據(jù)接收到的完整數(shù)據(jù)包的幀長(zhǎng)或幀頭幀尾信息進(jìn)行“幀頭＋數(shù)據(jù)＋校驗(yàn)＋幀尾”模式的解讀。其中，時(shí)間信息檢測(cè)是指令被用戶機(jī)接收后返回給“北斗時(shí)間”；IC 信息檢測(cè)是指令到達(dá)用戶機(jī)后，由用戶機(jī)發(fā)出IC 卡號(hào)；“起始符”到“校驗(yàn)和”前一字節(jié)是否存在異或則需要循環(huán)冗余校核（cyclic redundancy check， CRC）進(jìn)行檢驗(yàn)。

（5）無(wú)人機(jī)/人員位置的實(shí)時(shí)信息需要通過(guò)協(xié)議解析后方可展示在智能服務(wù)系統(tǒng)內(nèi)。

4 測(cè)繪無(wú)人機(jī)應(yīng)急智能服務(wù)系統(tǒng)

綜上所述，測(cè)繪無(wú)人機(jī)應(yīng)急智能服務(wù)系統(tǒng)的構(gòu)建是依托各種先進(jìn)系統(tǒng)和科學(xué)技術(shù)所得，其功能板塊包括現(xiàn)場(chǎng)分析可視化、現(xiàn)場(chǎng)三維場(chǎng)景構(gòu)建、人員或設(shè)備實(shí)時(shí)在線監(jiān)測(cè)和現(xiàn)場(chǎng)在線監(jiān)測(cè)等。

4.1 現(xiàn)場(chǎng)在線監(jiān)測(cè)

多源現(xiàn)場(chǎng)數(shù)據(jù)的順利接入和管理，需要在統(tǒng)一時(shí)空體系下按照信息接入和加載規(guī)范對(duì)現(xiàn)場(chǎng)時(shí)空粒度、工程數(shù)據(jù)類型進(jìn)行信息標(biāo)準(zhǔn)化處理來(lái)實(shí)現(xiàn)。同時(shí)，系統(tǒng)還要為其準(zhǔn)備數(shù)據(jù)轉(zhuǎn)換接口和實(shí)時(shí)接收接口，這樣才能分層化處理現(xiàn)場(chǎng)信息，分塊組織大規(guī)模場(chǎng)景，可視化場(chǎng)景的動(dòng)態(tài)演變過(guò)程，為用戶提供更真實(shí)并且詳盡的現(xiàn)場(chǎng)信息。

4.2 現(xiàn)場(chǎng)提取與分析

該系統(tǒng)能夠根據(jù)關(guān)鍵幀提取算法快速獲取現(xiàn)場(chǎng)圖像?；诳臻g分布范圍和發(fā)生時(shí)間特征構(gòu)建空間維和時(shí)間維索引方法，保證空間位置與視頻關(guān)鍵幀影像能夠順利互聯(lián)、互操作，例如可在視頻流時(shí)間上進(jìn)行空間定位的查找，或在空間位置上進(jìn)行視頻流幀信息的定位查找。

4.3 實(shí)時(shí)定位

智能服務(wù)系統(tǒng)可以全面示范工程現(xiàn)場(chǎng)的實(shí)時(shí)現(xiàn)場(chǎng)情況，并且能隨時(shí)掌控?zé)o人機(jī)的狀態(tài)，精準(zhǔn)定位現(xiàn)場(chǎng)作業(yè)人員的位置，可為復(fù)雜的工程行動(dòng)提供決策分析輔助，為營(yíng)救團(tuán)隊(duì)提供科學(xué)合理的調(diào)度方案和現(xiàn)場(chǎng)救援措施。這就是智能服務(wù)的優(yōu)勢(shì)所在。

5 結(jié)語(yǔ)

為了能夠?qū)崟r(shí)準(zhǔn)確地獲取現(xiàn)場(chǎng)信息，制定應(yīng)急措施，本文研究了測(cè)繪無(wú)人機(jī)現(xiàn)場(chǎng)數(shù)據(jù)獲取平臺(tái)的結(jié)構(gòu)框架，構(gòu)建出一套測(cè)繪無(wú)人機(jī)應(yīng)急智能服務(wù)體系架構(gòu)。將視頻攝像頭搭載在無(wú)人機(jī)上作為傳感器，借助視頻流傳輸技術(shù)和4G/5G 通信技術(shù)實(shí)時(shí)完成現(xiàn)場(chǎng)視頻數(shù)據(jù)的獲取，利用協(xié)議規(guī)范了數(shù)據(jù)接口標(biāo)準(zhǔn)，統(tǒng)一了軟件與硬件間的時(shí)空基準(zhǔn)，使得數(shù)據(jù)鏈路傳輸和數(shù)據(jù)轉(zhuǎn)換得以順利實(shí)現(xiàn)。合理引入北斗導(dǎo)航技術(shù)，完美解決了對(duì)位置信息的實(shí)時(shí)獲取問(wèn)題，優(yōu)化了測(cè)繪無(wú)人機(jī)現(xiàn)場(chǎng)多維數(shù)據(jù)集成管理與服務(wù)內(nèi)容。