基于TEQC的數(shù)據(jù)批量預(yù)處理程序?qū)崿F(xiàn)與應(yīng)用

張海平,孔昭龍,姜英明,周茂盛,高士民,徐陽(yáng)

(1.山東省國(guó)土測(cè)繪院,山東 濟(jì)南 250102;2.山東科技大學(xué) 測(cè)繪科學(xué)與工程學(xué)院,山東 青島 266590)

0 引 言

GNSS數(shù)據(jù)后處理的基本過(guò)程為:數(shù)據(jù)預(yù)處理——基線解算——網(wǎng)平差,其中數(shù)據(jù)預(yù)處理過(guò)程是一項(xiàng)很重要的環(huán)節(jié)[1]。GNSS數(shù)據(jù)預(yù)處理的主要目的是對(duì)原始數(shù)據(jù)進(jìn)行轉(zhuǎn)換、編輯、加工和整理,為數(shù)據(jù)解算做好準(zhǔn)備[2]。數(shù)據(jù)預(yù)處理工作的完善與否,對(duì)隨后的基線解算和網(wǎng)平差結(jié)果的精度將會(huì)產(chǎn)生重要的影響[3]。

TEQC是一個(gè)功能強(qiáng)大的 GPS/GLONASS數(shù)據(jù)預(yù)處理軟件,由UNAVCO研制,用于GPS監(jiān)測(cè)站的數(shù)據(jù)管理和預(yù)處理[4]。但TEQC的GPS觀測(cè)數(shù)據(jù)預(yù)處理功能仍存在諸多不足:如不能對(duì)大量數(shù)據(jù)進(jìn)行批處理、操作相對(duì)復(fù)雜、配置參數(shù)不靈活等。而區(qū)域CORS參考站網(wǎng)具有站點(diǎn)相對(duì)固定、數(shù)據(jù)量大且時(shí)間跨度較長(zhǎng)的特點(diǎn),這就需要針對(duì)TEQC的不足進(jìn)行二次開發(fā)以適應(yīng)CORS參考站運(yùn)營(yíng)和維護(hù)的需要。

Python作為一種新型的解釋型腳本語(yǔ)言,近年來(lái)被廣泛運(yùn)用于科學(xué)計(jì)算、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘和系統(tǒng)運(yùn)維等領(lǐng)域。其特點(diǎn)是語(yǔ)法簡(jiǎn)潔、清晰,具有豐富強(qiáng)大的第三方工具庫(kù),可以跨平臺(tái)使用等。Python語(yǔ)言簡(jiǎn)單易學(xué)且功能強(qiáng)大,可適用于從大型項(xiàng)目到小型的一次性程序(稱為腳本)[5]。

本文利用Python語(yǔ)言及多線程等技術(shù)對(duì)TEQC進(jìn)行二次開發(fā),完善了TEQC的不足,實(shí)現(xiàn)了簡(jiǎn)單易用、跨平臺(tái)(Windows、Linux)且高效可靠的批量GPS數(shù)據(jù)預(yù)處理。

1 TEQC數(shù)據(jù)預(yù)處理及二次開發(fā)

1.1 TEQC數(shù)據(jù)預(yù)處理

GPS觀測(cè)數(shù)據(jù)的格式標(biāo)準(zhǔn)化和數(shù)據(jù)質(zhì)量檢查是TEQC的重要功能[6]。

數(shù)據(jù)的格式標(biāo)準(zhǔn)化是將不同類型接收機(jī)的數(shù)據(jù)記錄格式、接收機(jī)類型、天線類型、天線相位中心偏移、概略坐標(biāo)、衛(wèi)星系統(tǒng)、觀測(cè)值類型和觀測(cè)數(shù)據(jù)采樣率等統(tǒng)一為一致的文件格式[7]。這些信息對(duì)于數(shù)據(jù)解算結(jié)果有非常重要的影響。然而,原始觀測(cè)數(shù)據(jù)中,由于數(shù)據(jù)來(lái)源、觀測(cè)人員疏忽或接收機(jī)設(shè)置等原因,這些信息經(jīng)常會(huì)出現(xiàn)錯(cuò)誤或缺失。如果在解算前不進(jìn)行標(biāo)準(zhǔn)化預(yù)處理,將會(huì)導(dǎo)致解算結(jié)果精度偏低甚至解算無(wú)法進(jìn)行。

通過(guò)對(duì)GPS偽距和載波相位觀測(cè)量進(jìn)行線性組合,可以計(jì)算觀測(cè)量的多路徑效應(yīng)、電離層延遲、電離層延遲的變化率以及接收機(jī)的鐘漂和周跳等,該過(guò)程通常被稱為數(shù)據(jù)的質(zhì)量檢查或質(zhì)量評(píng)價(jià)。

數(shù)據(jù)質(zhì)量檢查主要的指標(biāo)有信噪比(SNR)、多路徑效應(yīng)(MP)、周跳比(O/SLPS)等[8-9]。各個(gè)指標(biāo)通常使用的閾值[8，10]如表1所示。

表1 TEQC數(shù)據(jù)質(zhì)量檢查閾值

1.2 基于Python的TEQC二次開發(fā)

Python語(yǔ)言具有非常強(qiáng)大的工具庫(kù)模塊,在本次二次開發(fā)過(guò)程中主要使用了PyYAML、glob、argparse和concurrent.futures等模塊。

YAML(YAMLAin't Markup Language)是一種數(shù)據(jù)序列化格式[11]。它語(yǔ)法清晰易讀,非常適合對(duì)數(shù)據(jù)類型進(jìn)行編碼。YAML可以用作數(shù)據(jù)序列、配置文件、log文件、Internet信息和過(guò)濾等。PyYAML是為Python語(yǔ)言提供YAML格式編碼和解碼的模塊,為了使程序的使用和配置更靈活,本程序引入了PyYAML(office page)模塊來(lái)解碼配置文件[12]。YAML文檔以類似于大綱的縮進(jìn)方式編寫,一個(gè)YAML格式的配置文件如圖1所示。

如圖1所示的配置文件中的各項(xiàng)的含義如表2所示。

表2 配置文件說(shuō)明

glob是Python標(biāo)準(zhǔn)庫(kù)中的模塊,此模塊提供了類似于UNIX/Linux系統(tǒng)中的通配符的路徑名查找方式,可用于匹配符合用戶要求的文件。例如,使用“*”代表0個(gè)或多個(gè)字符,使用“?”代表任意一個(gè)字符,使用“[]”匹配指定范圍內(nèi)的字符,如[0-9]匹配數(shù)字[13]。

argparse是Python標(biāo)準(zhǔn)庫(kù)提供的用于解析命令行參數(shù)的模塊,可以靈活地處理用戶輸入的參數(shù)選項(xiàng),如文件輸入路徑、文件輸出路徑等[14]。

以上三個(gè)模塊的應(yīng)用對(duì)于提高程序的靈活性和易用性具有立竿見影的效果。然而,隨著計(jì)算機(jī)硬件的發(fā)展,利用多核CPU的處理能力來(lái)提高數(shù)據(jù)處理的效率越來(lái)越受到社會(huì)的重視。利用Python標(biāo)準(zhǔn)庫(kù)提供的concurrent.futures模塊,可開發(fā)支持多任務(wù)并行的應(yīng)用程序[15]。二次開發(fā)過(guò)程中也充分考慮了數(shù)據(jù)處理的效率,運(yùn)用多線程技術(shù)將程序的數(shù)據(jù)處理能力提高了數(shù)倍。

基于TEQC軟件的數(shù)據(jù)編輯和質(zhì)量檢查功能,通過(guò)Python的二次開發(fā),彌補(bǔ)了TEQC的部分不足,所實(shí)現(xiàn)的unificate.py和qualitycheck.py程序具有以下功能或特性: 1) 封裝TEQC的數(shù)據(jù)編輯功能,提供可讀性高、容易編寫的配置文件接口(YAML格式); 2) 封裝TEQC的數(shù)據(jù)質(zhì)量檢查功能,提取并輸出數(shù)據(jù)質(zhì)量檢查結(jié)果的重要指標(biāo); 3) 通過(guò)通配符,用戶可靈活指定被處理的數(shù)據(jù)文件; 4) 相比BAT或SHELL腳本,多任務(wù)并行的特性使程序的數(shù)據(jù)處理效率有較大提高。

2 實(shí)例分析

本文先后進(jìn)行了兩個(gè)實(shí)驗(yàn),分別驗(yàn)證了unificate.py和qualitycheck.py程序的功能及其高效、批處理等特點(diǎn)。實(shí)驗(yàn)數(shù)據(jù)采用的是SDCORS觀測(cè)網(wǎng)絡(luò)2012年的部分觀測(cè)數(shù)據(jù)。

2.1 格式標(biāo)準(zhǔn)化

本次實(shí)驗(yàn)設(shè)計(jì)了4個(gè)實(shí)驗(yàn)方案對(duì)SDCORS數(shù)據(jù)進(jìn)行格式標(biāo)準(zhǔn)化處理,方案設(shè)計(jì)如表3所示。

表3 實(shí)驗(yàn)1方案設(shè)計(jì)

在方案1中,將實(shí)驗(yàn)數(shù)據(jù)放到指定文件夾,如“rinex”,在“命令提示符”窗口進(jìn)入腳本所在目錄,輸入命令“python unificate.py rinex/*2070.16o-out unificated -cfg-siteconfig.yml”,表示處理rinex文件夾中所有文件名以“2070.16o”結(jié)尾的文件,其中配置文件為-siteconfig.yml,將最終的處理成果輸入到當(dāng)前路徑的unificated文件夾。其他方案依此類推。

通過(guò)對(duì)四種方案進(jìn)行實(shí)驗(yàn),并對(duì)每種方案的耗時(shí)進(jìn)行統(tǒng)計(jì),實(shí)驗(yàn)結(jié)果如表4所示。

表4 實(shí)驗(yàn)1各方案耗時(shí)統(tǒng)計(jì)

查看程序輸出的數(shù)據(jù)文件,發(fā)現(xiàn)格式標(biāo)準(zhǔn)化以后,觀測(cè)文件信息更加完整,添加了接收機(jī)類型和天線類型,同時(shí)將采樣間隔修改為30 s.由表4可以看出,處理14.6 GB、29.1 GB、58.1 GB、463 GB的數(shù)據(jù)分別需要120.5 s、212.2 s、478.2 s、3 722.3 s。相比于僅使用TEQC軟件進(jìn)行處理,處理速度有了很大幅度的提高,同時(shí)也很大程度上提高了操作的便利性。這對(duì)于提高工作效率有著非常大的幫助。

2.2 質(zhì)量檢查

本文設(shè)計(jì)了兩個(gè)實(shí)驗(yàn)方案對(duì)SDCORS網(wǎng)絡(luò)觀測(cè)數(shù)據(jù)進(jìn)行質(zhì)量檢核。該參考站網(wǎng)絡(luò)共有90個(gè)站點(diǎn),實(shí)驗(yàn)所用數(shù)據(jù)為2012年第001天的觀測(cè)數(shù)據(jù)。方案1不對(duì)觀測(cè)數(shù)據(jù)進(jìn)行任何預(yù)處理,直接使用GAMIT/GLOBK軟件進(jìn)行基線解算[16]。方案2使用qualitycheck.py腳本對(duì)數(shù)據(jù)進(jìn)行質(zhì)量檢查,并根據(jù)質(zhì)量檢查結(jié)果修復(fù)不合格數(shù)據(jù)并剔除觀測(cè)時(shí)間較短的數(shù)據(jù),再將預(yù)處理后的數(shù)據(jù)使用GAMIT/GLOBK軟件進(jìn)行基線解算。

方案2的具體步驟如下:

1) 利用unificate.py腳本對(duì)數(shù)據(jù)進(jìn)行格式標(biāo)準(zhǔn)化,本次實(shí)驗(yàn)所用數(shù)據(jù)為2012年001天的數(shù)據(jù),在“命令提示符”窗口進(jìn)入腳本所在目錄,輸入命令:“python unificate.py rinex/*0010.12o -out unificated -cfg -siteconfig.yml”。

2) 利用qualitycheck.py腳本對(duì)數(shù)據(jù)進(jìn)行質(zhì)量檢查,在“命令提示符”窗口進(jìn)入腳本所在目錄,輸入命令:“python qualitycheck.py unificated/*0010.12o -out table > result.txt”,處理unificated目錄內(nèi)文件名以“0010.12o”結(jié)尾的文件,將最終的檢查成果以表格形式輸出到result.txt文件中。限于篇幅所限,表5中僅包含部分測(cè)站的質(zhì)量檢查信息。

表5 質(zhì)量檢查結(jié)果(部分)

經(jīng)過(guò)對(duì)檢查結(jié)果的統(tǒng)計(jì)分析發(fā)現(xiàn),SZRS站的MP1為0.55,超過(guò)閾值0.5,數(shù)據(jù)質(zhì)量不合格;PYRS站的MP2為0.78,超過(guò)閾值0.75,數(shù)據(jù)質(zhì)量不合格;ZHYU站的MP2為0.77,超過(guò)閾值0.75,數(shù)據(jù)質(zhì)量不合格。針對(duì)數(shù)據(jù)質(zhì)量不合格的三個(gè)測(cè)站進(jìn)行處理,其中對(duì)SZRS測(cè)站的MP1分析文件進(jìn)行分析找出多路徑效應(yīng)較為嚴(yán)重的歷元和衛(wèi)星,分析發(fā)現(xiàn),3號(hào)衛(wèi)星在1 930～1 980歷元多路徑效應(yīng)嚴(yán)重;同樣對(duì)PYRS測(cè)站和ZHYU測(cè)站的MP2文件進(jìn)行分析,發(fā)現(xiàn)PYRS測(cè)站的2號(hào)衛(wèi)星在800～900歷元多路徑效應(yīng)嚴(yán)重,ZHYU測(cè)站的3號(hào)衛(wèi)星2 700～2 850歷元多路徑效應(yīng)比較嚴(yán)重。利用TEQC文件切割功能,將多路徑效應(yīng)嚴(yán)重的歷元?jiǎng)h除,處理后數(shù)據(jù)質(zhì)量得到改善。修復(fù)后的質(zhì)量檢查結(jié)果如表6所示:

表6 預(yù)處理前后典型測(cè)站數(shù)據(jù)質(zhì)量

由表6可以看出,通過(guò)以上的數(shù)據(jù)預(yù)處理,SZRS、PYRS和ZHYU站的各項(xiàng)指標(biāo)均達(dá)到了閾值要求。同時(shí),分別對(duì)方案一中的原始數(shù)據(jù)和方案二中預(yù)處理后的數(shù)據(jù)使用GAMIT/GLOBK軟件進(jìn)行基線解算,解算結(jié)果顯示,未經(jīng)過(guò)預(yù)處理的數(shù)據(jù)解算結(jié)果的標(biāo)準(zhǔn)均方根誤差(NRMS)值為0.23,經(jīng)過(guò)預(yù)處理后的數(shù)據(jù)的解算結(jié)果為NRMS值為0.20,以上結(jié)果充分說(shuō)明利用qualitycheck.py程序進(jìn)行數(shù)據(jù)預(yù)處理并對(duì)不合格數(shù)據(jù)進(jìn)行修復(fù),可以有效提高數(shù)據(jù)解算的質(zhì)量和數(shù)據(jù)解算的精度。

3 結(jié)束語(yǔ)

采用qualitycheck.py和unificate.py程序進(jìn)行數(shù)據(jù)預(yù)處理,效率高,操作便捷,生成的結(jié)果豐富可靠,能夠有效的分析和提高GPS觀測(cè)數(shù)據(jù)的質(zhì)量,提高數(shù)據(jù)解算的精度,有助于工作人員了解測(cè)站周圍的環(huán)境變化及儀器的穩(wěn)定性。

1) 利用Python進(jìn)行二次開發(fā)的unificate.py程序,能夠批量、高效、方便快捷的進(jìn)行數(shù)據(jù)的格式標(biāo)準(zhǔn)化,將不同站點(diǎn)采集的觀測(cè)數(shù)據(jù)記錄格式、采樣間隔、天線類型和接收機(jī)類型等統(tǒng)一為標(biāo)準(zhǔn)化的文件格式。

2) 利用qualitycheck.py程序,能夠有效地探測(cè)GPS觀測(cè)數(shù)據(jù)中信噪比、電離層、周跳和多路徑效應(yīng)的影響,并以一定的指標(biāo)(如MP1、MP2、SN1、SN2、CSR)、多種表現(xiàn)形式(表格、列表等)展現(xiàn)質(zhì)量檢查的結(jié)果。

3) 通過(guò)qualitycheck.py和unificate.py程序?qū)?shù)據(jù)進(jìn)行格式標(biāo)準(zhǔn)化和質(zhì)量檢查,對(duì)不合格的數(shù)據(jù)進(jìn)行修復(fù),并利用GAMIT/GLOBK軟件對(duì)觀測(cè)數(shù)據(jù)進(jìn)行基線解算,結(jié)果表明根據(jù)質(zhì)量檢查結(jié)果進(jìn)行數(shù)據(jù)預(yù)處理并對(duì)不合格數(shù)據(jù)進(jìn)行修復(fù),可以有效提高數(shù)據(jù)解算的精度。

[1] 周保興. GPS數(shù)據(jù)預(yù)處理方法研究及其應(yīng)用[D].南京：河海大學(xué),2005.

[2] 李征航,張小紅, 衛(wèi)星導(dǎo)航定位新技術(shù)及高精度數(shù)據(jù)處理方法[M]. 武漢:武漢大學(xué)出版社，2013.

[3] 余文坤,戴吾蛟,楊哲. 基于TEQC 的GNSS 數(shù)據(jù)質(zhì)量分析及預(yù)處理軟件的設(shè)計(jì)與實(shí)現(xiàn)[J].大地測(cè)量與地球動(dòng)力學(xué), 2010, 30(5): 81-85.

[4] ESTEY L H，MEERTENS C M. TEQC: the multipurpose tookit for GPS/GLONASS data[J]. GPS Solutions, 1999, 3 (1): 42-49.

[5] 朱道強(qiáng),關(guān)海濤. Python在ArcGIS中的應(yīng)用[J]. 測(cè)繪與空間地理信息,2013,36(7):152-154.

[6] 賈瑩媛,黃張?jiān)?楊富春,等. 基于Matlab的TEQC在GPS數(shù)據(jù)預(yù)處理中的應(yīng)用[J]. 海洋測(cè)繪,2012,32(02):52-54.

[7] 郭金運(yùn),劉智敏,趙春梅. 區(qū)域CORS網(wǎng)數(shù)據(jù)處理方法及應(yīng)用[M]. 北京：科學(xué)出版社, 2016.

[8] 李軍,王繼業(yè),熊熊, 等. 東北地區(qū)GPS 觀測(cè)數(shù)據(jù)質(zhì)量檢測(cè)和分析[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版) 2006, 31(3): 209-212.

[9] 趙傳華,秘金鐘,黨亞民. 基于TEQC的數(shù)據(jù)預(yù)處理分析[J]. 導(dǎo)航定位學(xué)報(bào),2013,1(1):84-88.

[10] 田云鋒. TEQC在GPS 數(shù)據(jù)預(yù)處理中的應(yīng)用[J]. 計(jì)算機(jī)與信息技術(shù), 2008(12): 63-66.

[11] The YAML Project. The Office YAML Web Site[EB/OL]. (2011-11-20)[2018-1-11]. http://yaml.org.

[12] The YAML Project. The Office PyYAML Web Site[EB/OL]. (2016-08-28)[2018-1-11]. http://pyyaml.org.

[13] Python Software Foundation. Python 3.5.5 documentation, The Python Standard Library : glob - Unix style pathname pattern expansion[EB/OL]. (2018-01-04)[2018-1-11].https://docs.python.org/3.5/library/glob.html.

[14] Python Software Foundation. Python 3.5.5 documentation, The Python Standard Library : argparse - Parser for command-line options, arguments and sub-commands[EB/OL]. (2018-01-04) [2018-1-11]. https://docs.python.org/3.5/library/argparse.html.

[15] Python Software Foundation. Python 3.5.5 documentation, The Python Standard Library : concurrent.futures - Launching parallel tasks[EB/OL]. (2018-01-04)[2018-1-11].https://docs.python.org/3.5/library/concurrent.futures.html.

[16] HERRING T A, KING R W, MCCLUSKY S C. GAMIT Reference Manual[EB/OL]. Massachusetts Instituteof Technology, MIT, 2010: 63-64.