環(huán)境因素?cái)?shù)據(jù)質(zhì)量審核方法研究

萬(wàn)軍

（西南技術(shù)工程研究所，重慶 400039）

裝備在自然環(huán)境因素的交互作用下，功能、性能和壽命均會(huì)受到影響，從而降低戰(zhàn)技指標(biāo)，影響裝備的戰(zhàn)斗力。自然環(huán)境試驗(yàn)是在有代表性的典型環(huán)境下開(kāi)展的，是考核、篩選與研究裝備及其材料環(huán)境適應(yīng)性、暴露產(chǎn)品的失效模式、評(píng)價(jià)產(chǎn)品使用壽命的重要手段。我國(guó)在典型氣候環(huán)境條件下建立了大氣試驗(yàn)站，開(kāi)展了大量的暴露試驗(yàn)。同時(shí)，科研人員也長(zhǎng)期對(duì)大氣環(huán)境開(kāi)展觀測(cè)，積累了豐富的環(huán)境數(shù)據(jù)，環(huán)境數(shù)據(jù)結(jié)合環(huán)境效應(yīng)數(shù)據(jù)是分析裝備及其產(chǎn)品失效的基礎(chǔ)。

為了更加全面地評(píng)價(jià)環(huán)境對(duì)裝備及其產(chǎn)品的影響，國(guó)防口8個(gè)大氣試驗(yàn)站擴(kuò)大了環(huán)境因素采集范圍，高頻率、高精度、準(zhǔn)確地采集典型環(huán)境條件下的環(huán)境因素?cái)?shù)據(jù)。按照最新修訂的《國(guó)防科技工業(yè)自然環(huán)境試驗(yàn)站網(wǎng)規(guī)程——自然環(huán)境因素采集與監(jiān)檢測(cè)方法》，大氣試驗(yàn)站需要觀測(cè)的氣象因素包括溫度、相對(duì)濕度、氣壓、風(fēng)速風(fēng)向、降水、太陽(yáng)輻射、日照、蒸發(fā)量、天氣現(xiàn)象、積雪等十大類氣象因素。隨著自動(dòng)氣象站的普及，各試驗(yàn)站的氣象觀測(cè)逐步由人工觀測(cè)過(guò)渡到自動(dòng)觀測(cè)，通過(guò)自動(dòng)觀測(cè)獲取的氣象數(shù)據(jù)精度、采樣頻率較人工采集大幅度提高，數(shù)據(jù)量則呈指數(shù)級(jí)增長(zhǎng)。值班人員將獲取的原始?xì)庀髷?shù)據(jù)根據(jù)管理規(guī)范處理成相應(yīng)的數(shù)據(jù)月報(bào)表和年報(bào)表等。在整個(gè)數(shù)據(jù)采集、處理過(guò)程中，由于采集裝置故障、數(shù)據(jù)處理軟件缺陷或人為疏忽導(dǎo)致氣象數(shù)據(jù)報(bào)表出現(xiàn)質(zhì)量問(wèn)題，如何從海量的氣象數(shù)據(jù)報(bào)表中快速找出存在質(zhì)量問(wèn)題的數(shù)據(jù)是科研人員面臨的難題，找出問(wèn)題數(shù)據(jù)也是進(jìn)一步利用技術(shù)手段修正數(shù)據(jù)、填補(bǔ)數(shù)據(jù)的基礎(chǔ)。因此，亟需相應(yīng)的質(zhì)量控制手段對(duì)采集的氣象數(shù)據(jù)進(jìn)行審核，確保氣象數(shù)據(jù)報(bào)表符合裝備環(huán)境工程工作的各項(xiàng)要求（包括數(shù)據(jù)的分辨率、連續(xù)性、均一性、代表性、時(shí)限、格式等）。

影響氣象數(shù)據(jù)質(zhì)量的因素有3類：儀器設(shè)備、技術(shù)人員綜合素質(zhì)、數(shù)據(jù)傳輸。國(guó)外發(fā)達(dá)國(guó)家很早就意識(shí)到氣象數(shù)據(jù)質(zhì)量控制的重要性，在氣象數(shù)據(jù)采集過(guò)程中，不斷加強(qiáng)設(shè)備的運(yùn)行維護(hù)，提升人員的技術(shù)水平，增強(qiáng)氣象站應(yīng)對(duì)復(fù)雜天氣的能力等。除此之外，普遍建立了氣象數(shù)據(jù)質(zhì)量控制管理方法，設(shè)計(jì)了配套的數(shù)據(jù)質(zhì)量管理軟件來(lái)管控氣象數(shù)據(jù)質(zhì)量。北歐5國(guó)是全球最早開(kāi)始?xì)庀笥^測(cè)的地區(qū)，其氣象數(shù)據(jù)的質(zhì)量控制技術(shù)處于世界先進(jìn)行列。北歐 5國(guó)通過(guò)NORDKLIM（Nordic co-operation within climate activities） 計(jì)劃，建立了4級(jí)氣象數(shù)據(jù)資料控制流程。同為發(fā)達(dá)國(guó)家的美國(guó)，同樣建立了完整的氣象觀測(cè)體系，如地面自動(dòng)觀測(cè)系統(tǒng)（ASOS）在1991年開(kāi)始投入使用，2004年建成了超過(guò)1 100個(gè)氣象自動(dòng)觀測(cè)站的觀測(cè)網(wǎng)。ASOS對(duì)氣象資料的質(zhì)量審核采用3級(jí)管控措施，整個(gè)管控過(guò)程貫穿采集和數(shù)據(jù)傳輸，能及時(shí)發(fā)現(xiàn)數(shù)據(jù)的質(zhì)量問(wèn)題，確保氣象資料的及時(shí)性和準(zhǔn)確性，使整個(gè)ASOS順利運(yùn)轉(zhuǎn)。美國(guó)國(guó)家氣候資料中心（NCDC）建立了全球歷史氣候網(wǎng)GHCN（Global Historical Climatology Network），是很有影響力的氣象數(shù)據(jù)集。GHCN的氣象數(shù)據(jù)質(zhì)量控制包括源數(shù)據(jù)集檢查、臺(tái)站時(shí)間序列檢查、單個(gè)數(shù)據(jù)點(diǎn)檢查3個(gè)階段。另外，美國(guó)國(guó)家環(huán)境預(yù)報(bào)中心（NCEP）也建立了質(zhì)量控制方法。

進(jìn)入21世紀(jì)，世界各國(guó)通過(guò)多種氣象數(shù)據(jù)質(zhì)量控制方法來(lái)提高氣象數(shù)據(jù)質(zhì)量，基本包含：范圍檢查、極值檢查、內(nèi)部一致性檢查、空間一致性檢查、均一性檢查等。氣象數(shù)據(jù)質(zhì)量控制方法研究在發(fā)達(dá)國(guó)家開(kāi)展得非常普遍，我國(guó)氣象部門(mén)就氣象數(shù)據(jù)質(zhì)量控制工作同樣也開(kāi)展了大量的研究，主要根據(jù)氣象學(xué)、天氣學(xué)、氣候?qū)W原理，以氣象要素的時(shí)間、空間變化規(guī)律和各要素間相互聯(lián)系的規(guī)律為線索，分析氣象資料是否合理。我國(guó)還重視各級(jí)臺(tái)站的氣象數(shù)據(jù)質(zhì)量審核，臺(tái)站級(jí)、省級(jí)采用相似的數(shù)據(jù)質(zhì)量審核手段，各級(jí)審核只在技術(shù)細(xì)節(jié)上有所不同，保證了數(shù)據(jù)在質(zhì)量審核方法上的統(tǒng)一性。

裝備環(huán)境工程領(lǐng)域的自然環(huán)境試驗(yàn)氣象因素觀測(cè)是一項(xiàng)繁瑣的基礎(chǔ)性工作，投入了大量人力與物力，長(zhǎng)期采集環(huán)境數(shù)據(jù)。傳統(tǒng)的氣象數(shù)據(jù)質(zhì)量控制更多的是依靠科研人員的經(jīng)驗(yàn)進(jìn)行質(zhì)量審核，方法是工作人員逐一對(duì)每個(gè)數(shù)據(jù)記錄進(jìn)行質(zhì)量審核，判斷其是否符合天氣學(xué)基本規(guī)律，具體包括同一試驗(yàn)站不同氣象要素之間的關(guān)系是否合理，與上一次數(shù)據(jù)的比較，與歷史同期的比較等，使得自然環(huán)境試驗(yàn)領(lǐng)域的氣象數(shù)據(jù)質(zhì)量控制技術(shù)水平與國(guó)外、國(guó)內(nèi)均存在較大的差距。隨著自動(dòng)氣象站投入使用，傳統(tǒng)的氣象值班人員、站長(zhǎng)、中心站3級(jí)氣象數(shù)據(jù)質(zhì)量人工審核方式，無(wú)法應(yīng)付龐大的數(shù)據(jù)量，其他科研人員在產(chǎn)品環(huán)境適應(yīng)性分析工作中發(fā)現(xiàn)了大量的氣象數(shù)據(jù)質(zhì)量問(wèn)題。因此，提出改進(jìn)現(xiàn)有質(zhì)量審核方法的需求，建立新的、快速、高效、準(zhǔn)確的環(huán)境因素?cái)?shù)據(jù)質(zhì)量審核方法，以提高審核效率和準(zhǔn)確性?？蒲腥藛T首先是通過(guò)向氣象部門(mén)學(xué)習(xí)新的數(shù)據(jù)質(zhì)量控制方法，參照相關(guān)的氣象行業(yè)標(biāo)準(zhǔn)，結(jié)合《國(guó)防科技工業(yè)自然環(huán)境試驗(yàn)站網(wǎng)規(guī)程》，逐步優(yōu)化原有的氣象數(shù)據(jù)質(zhì)量控制方法，形成具有自然環(huán)境技術(shù)特點(diǎn)的處理算法、工作流程和軟件工具。

梳理國(guó)防口大氣試驗(yàn)站網(wǎng)的氣象報(bào)表，普遍存在如下問(wèn)題：氣象數(shù)據(jù)報(bào)表格式不規(guī)范；各種原因造成的數(shù)據(jù)缺失；數(shù)據(jù)超過(guò)邊界；數(shù)據(jù)之間存在不一致的情況；數(shù)據(jù)變化幅度太大，不符合氣象學(xué)原理；數(shù)據(jù)報(bào)表太多，數(shù)據(jù)質(zhì)量審核工作任務(wù)繁重。各試驗(yàn)站傳統(tǒng)的數(shù)據(jù)質(zhì)量審核工作流程是首先通過(guò)人工篩選出可能存在質(zhì)量問(wèn)題的數(shù)據(jù)，并對(duì)其按照缺失、可疑、錯(cuò)誤等劃分等級(jí)，進(jìn)一步分析存在質(zhì)量問(wèn)題的氣象報(bào)表，通過(guò)原始報(bào)表查找對(duì)應(yīng)的數(shù)據(jù)、檢查設(shè)備，來(lái)全面分析問(wèn)題原因，再采用技術(shù)手段進(jìn)行修補(bǔ)。

1 環(huán)境因素?cái)?shù)據(jù)質(zhì)量審核方法設(shè)計(jì)

1.1 數(shù)據(jù)質(zhì)量審核內(nèi)容及要求

通過(guò)歷史氣象數(shù)據(jù)報(bào)表的統(tǒng)計(jì)分析，各試驗(yàn)站數(shù)據(jù)質(zhì)量主要受觀測(cè)儀器，觀測(cè)技術(shù)、觀測(cè)位置、觀測(cè)時(shí)間、觀測(cè)方法、數(shù)據(jù)傳遞和人工處理的影響，即非氣候因素對(duì)觀測(cè)的最終結(jié)果造成了很大的影響。因此結(jié)合《國(guó)防科技工業(yè)自然環(huán)境試驗(yàn)站網(wǎng)規(guī)程》要求，確定試驗(yàn)站氣象數(shù)據(jù)質(zhì)量審核內(nèi)容及要求如下。

1）報(bào)表格式檢查，不符合標(biāo)準(zhǔn)的數(shù)據(jù)報(bào)表不能通過(guò)審核。

2）缺測(cè)值檢查，氣象數(shù)據(jù)報(bào)表可能存在缺測(cè)值。缺測(cè)值可能是由于設(shè)備故障，也可能是因?yàn)閿?shù)據(jù)在處理過(guò)程中丟失。這種數(shù)據(jù)需要在數(shù)據(jù)報(bào)表中進(jìn)行標(biāo)注。

3）邊界值檢查，即數(shù)據(jù)上下限檢查。氣象數(shù)據(jù)的邊界值參照試驗(yàn)站當(dāng)?shù)氐慕?jīng)緯度和季節(jié)來(lái)劃定，或是根據(jù)試驗(yàn)站的歷史數(shù)據(jù)進(jìn)行統(tǒng)計(jì)來(lái)確定。根據(jù)不同需求邊界值可進(jìn)行調(diào)整，如數(shù)據(jù)用作嚴(yán)格的定量分析可以將邊界值控制得非常嚴(yán)格，取統(tǒng)計(jì)值的95%或98%。若氣象數(shù)據(jù)作為變化趨勢(shì)分析，則可以邊界值限定寬松。

4）數(shù)據(jù)內(nèi)部一致性檢查，包括8項(xiàng)檢查內(nèi)容：所有氣象因素的最大值大于等于平均值；所有氣象因素的平均值大于或等于最低值；日降水時(shí)數(shù)、日照時(shí)數(shù)小于等于24 h；紅外輻射+紫外輻射小于或等于總輻射；維度角紅外輻射+維度角紫外輻射小于或等于維度角總輻射；門(mén)字架日照時(shí)數(shù)為0 h，直接輻射數(shù)值小于等于0.5 MJ/m；當(dāng)風(fēng)向?yàn)殪o風(fēng)時(shí)，風(fēng)速應(yīng)不高于0.2 m/s；當(dāng)積雪深度增加時(shí)，當(dāng)日降水量應(yīng)大于0 mm或?yàn)槲⒘俊?/p>

5）時(shí)間一致性檢查，需要檢查的內(nèi)容包括4項(xiàng)：氣壓，連續(xù)2 h最大變化幅度小于10 hPa；氣溫，連續(xù)2 h變化小于8 ℃；相對(duì)濕度，連續(xù)2 h變化幅度小于70%；風(fēng)速，連續(xù)2 min小于20 m/s。

1.2 數(shù)據(jù)質(zhì)量審核算法設(shè)計(jì)

按照用戶需求，氣象數(shù)據(jù)質(zhì)量審核將對(duì)溫度、相對(duì)濕度、氣壓、風(fēng)速風(fēng)向、降雨、太陽(yáng)輻射、日照等20種氣象因素進(jìn)行逐一檢查。由于篇幅限制，本文僅簡(jiǎn)述溫度數(shù)據(jù)的質(zhì)量審核算法。溫度數(shù)據(jù)質(zhì)量審核算法包括溫度極值審核算法、理論極值的審核算法、邏輯性審核算法、時(shí)間一致性審核算法4種審核算法，其余氣象因素方法類似。

2）理論極值的審核算法。根據(jù)物理規(guī)律，設(shè)定溫度的理論下限和上限值，將地面2 m溫度的下限設(shè)置為，上限設(shè)置為。檢查原則：當(dāng)前溫度觀測(cè)值T應(yīng)該介于其理論極大值和理論極小值之間，即滿足<T<。

3）邏輯性審核算法。主要進(jìn)行邏輯性方面的審核和判斷，遵循以下原則：最低溫度<平均溫度<最高溫度。

4）時(shí)間一致性審核算法。時(shí)間一致性審核算法是指時(shí)間連續(xù)性方面的審核和判斷，假定溫度允許的最大小時(shí)變化幅度為d，T表示前一個(gè)小時(shí)觀測(cè)的溫度值，則當(dāng)前溫度T應(yīng)遵循以下原則：

|T?T|

|T?T|

1.3 數(shù)據(jù)質(zhì)量審核流程設(shè)計(jì)

數(shù)據(jù)質(zhì)量審核的設(shè)計(jì)思路首先是最基本的報(bào)表格式審核，其次是缺測(cè)值檢查，然后依次是界限值檢查、內(nèi)部一致性和時(shí)間一致性檢查，遇到存在問(wèn)題的數(shù)據(jù)及時(shí)進(jìn)行標(biāo)注，并計(jì)入日志。氣象數(shù)據(jù)質(zhì)量審核工作流程如圖1所示。

圖1 氣象數(shù)據(jù)質(zhì)量審核流程Fig.1 Meteorological data quality audit process

1.4 環(huán)境因素?cái)?shù)據(jù)質(zhì)量審核軟件工具設(shè)計(jì)

國(guó)防口大氣試驗(yàn)站采用人工審核很難及時(shí)完成數(shù)據(jù)質(zhì)量審核任務(wù)，必須借助軟件工具才能快速提高審核效率。設(shè)計(jì)軟件工具的優(yōu)勢(shì)：能夠?qū)υO(shè)計(jì)的質(zhì)量審核流程和審核算法進(jìn)行標(biāo)準(zhǔn)化；實(shí)現(xiàn)數(shù)據(jù)審核自動(dòng)化，減輕人員的勞動(dòng)強(qiáng)度；降低數(shù)據(jù)審核錯(cuò)誤概率，軟件的準(zhǔn)確性遠(yuǎn)高于人工檢查。因此，借助軟件工具將海量數(shù)據(jù)中存在質(zhì)量問(wèn)題的數(shù)據(jù)逐一篩選出來(lái)，進(jìn)行標(biāo)注是科研人員的共識(shí)。在審核試驗(yàn)站環(huán)境數(shù)據(jù)報(bào)表的同時(shí)，也兼顧國(guó)內(nèi)外各氣象臺(tái)站的氣象數(shù)據(jù)報(bào)表。

環(huán)境因素?cái)?shù)據(jù)質(zhì)量審核軟件功能主要包括氣象報(bào)表加載、審核閾值設(shè)定、報(bào)表格式審核、數(shù)據(jù)質(zhì)量審核、報(bào)表格式調(diào)整、質(zhì)量問(wèn)題統(tǒng)計(jì)、操作日志管理7項(xiàng)主要功能，如圖2所示。

圖2 環(huán)境因素質(zhì)量控制軟件功能結(jié)構(gòu)Fig.2 Function structure of environmental factors quality control software

1）氣象報(bào)表加載是將計(jì)算機(jī)外存的氣象數(shù)據(jù)加載到內(nèi)存，以方便軟件開(kāi)展審核。

2）審核閾值設(shè)定是指對(duì)該地區(qū)各氣象因素上下限的設(shè)定，以便于界限值檢查。界限值檢查包括4類：氣候上下限檢查和理論上下限檢查，軟件閾值的設(shè)定不能完全參照QX/T 118—2020《氣象觀測(cè)資料質(zhì)量控制 地面》附錄A要素界限值和QX/T 118—2020《氣象觀測(cè)資料質(zhì)量控制 地面氣象輻射》附錄A要素界限值，因?yàn)樵摳奖硎歉鶕?jù)我國(guó)氣象歷史數(shù)據(jù)制定的，氣象數(shù)據(jù)審核軟件使用時(shí)應(yīng)該根據(jù)當(dāng)?shù)氐臍v史數(shù)據(jù)和用戶經(jīng)驗(yàn)設(shè)定，以縮小閾值范圍，審核時(shí)更準(zhǔn)確。審核閾值設(shè)定還包括逐小時(shí)變化幅度和逐日變化幅度的設(shè)定，其設(shè)定由用戶自行定義，也可參照QX/T 118—2020《氣象觀測(cè)資料質(zhì)量控制 地面》附錄C 要素時(shí)間一致性檢查閾值。

3）報(bào)表格式審核就是對(duì)已經(jīng)加載的數(shù)據(jù)格式的正確性進(jìn)行判定，不符合要求就提示用戶重新提交。

4）數(shù)據(jù)質(zhì)量審核主要指前述的氣象報(bào)表缺測(cè)值的檢查、邊界值檢查、內(nèi)部一致性檢查、時(shí)間一致性檢查等審核。

5）報(bào)表格式調(diào)整是軟件展示時(shí)因?yàn)閿?shù)據(jù)太多造成單元格結(jié)構(gòu)紊亂，利用軟件對(duì)數(shù)據(jù)表格的寬度、高度進(jìn)行調(diào)整，方便用戶查看。

6）質(zhì)量問(wèn)題統(tǒng)計(jì)，指數(shù)據(jù)審核后報(bào)表的正確率，以及報(bào)表可疑數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)和缺失數(shù)據(jù)的數(shù)量。

7）操作日志管理是對(duì)用戶每次操作在日志中進(jìn)行記錄，目的是在出現(xiàn)安全問(wèn)題時(shí)可以重新審核用戶的操作行為。

本軟件采用Python語(yǔ)言。Python是一種跨平臺(tái)、開(kāi)源、解釋型高級(jí)編程語(yǔ)言，Python語(yǔ)言兼容性較好，且具備豐富的標(biāo)準(zhǔn)庫(kù)，既支持面向過(guò)程也支持面向?qū)ο?。在環(huán)境觀測(cè)方面，Python語(yǔ)言自身的特點(diǎn)也發(fā)揮了積極的作用，因此選為環(huán)境因素?cái)?shù)據(jù)質(zhì)量審核軟件開(kāi)發(fā)語(yǔ)言。

環(huán)境因素?cái)?shù)據(jù)質(zhì)量審核軟件旨在為科研人員提供氣象數(shù)據(jù)質(zhì)量審核的軟件工具，從海量的氣象報(bào)表中篩選出缺測(cè)數(shù)據(jù)、可疑數(shù)據(jù)和錯(cuò)誤數(shù)據(jù)記錄。審核軟件主界面如圖3所示。主界面分3個(gè)大的區(qū)域，由上到下依次為軟件的功能區(qū)、氣象報(bào)表審核區(qū)、質(zhì)量審核狀態(tài)監(jiān)控區(qū)。

圖3 氣象報(bào)表審核Fig.3 Meteorological report audit

1）功能區(qū)包括軟件的標(biāo)題欄、菜單欄、工具欄，用戶通過(guò)這部分區(qū)域?qū)庀髷?shù)據(jù)報(bào)表進(jìn)行基本的質(zhì)量審核操作。菜單欄、工具欄包括用戶數(shù)據(jù)審核功能的各種操作功能，包括氣象報(bào)表加載，氣象數(shù)據(jù)的單表、多表批量審核命令、氣象報(bào)表的拆分、軟件版權(quán)信息等。

2）中間部分是氣象報(bào)表審核區(qū)域，左邊是數(shù)據(jù)質(zhì)量審核結(jié)果統(tǒng)計(jì)，包括審核氣象報(bào)表的名稱，報(bào)表正確率和缺測(cè)數(shù)據(jù)、可疑數(shù)據(jù)和錯(cuò)誤數(shù)據(jù)的統(tǒng)計(jì)情況。右部分區(qū)域是具體的氣象報(bào)表，缺測(cè)數(shù)據(jù)用灰色背景表示，黃色背景為可疑數(shù)據(jù)，紅色背景為錯(cuò)誤數(shù)據(jù)。通過(guò)不同的顏色對(duì)用戶形成警示。

3）質(zhì)量審核狀態(tài)監(jiān)控區(qū)在軟件的最底部，區(qū)域中包括左邊的閾值設(shè)定，右邊的審核狀態(tài)監(jiān)控和底部的審核進(jìn)度監(jiān)控。閾值的設(shè)定根據(jù)相關(guān)規(guī)程和氣象標(biāo)準(zhǔn)、當(dāng)?shù)氐臍v史氣象數(shù)據(jù)和用戶的經(jīng)驗(yàn)由用戶自行設(shè)定。審核狀態(tài)監(jiān)控是在數(shù)據(jù)審核時(shí)滾動(dòng)顯示審核氣象報(bào)表的狀態(tài)，數(shù)據(jù)出錯(cuò)的分析等。審核進(jìn)度監(jiān)控通過(guò)進(jìn)度條提示用戶。

軟件完成設(shè)計(jì)后，應(yīng)用其對(duì)各試驗(yàn)站的氣象數(shù)據(jù)進(jìn)行質(zhì)量審核，結(jié)果表明，軟件能準(zhǔn)確地篩選出缺測(cè)、可疑和錯(cuò)誤數(shù)據(jù)，經(jīng)人工復(fù)核，沒(méi)有發(fā)現(xiàn)軟件運(yùn)行的錯(cuò)誤。經(jīng)測(cè)試，審核軟件能準(zhǔn)確地標(biāo)注存在質(zhì)量問(wèn)題的數(shù)據(jù)，能正確統(tǒng)計(jì)數(shù)據(jù)質(zhì)量審核信息，存在的問(wèn)題是審核效率不高。如數(shù)據(jù)量為8萬(wàn)行的氣象原始數(shù)據(jù)報(bào)表，經(jīng)測(cè)試，耗時(shí)15 min完成質(zhì)量審核，審核速度非常慢。因此，必須采用相應(yīng)的方法來(lái)提高審核效率。分析審核速度慢的原因是軟件采用傳統(tǒng)的方法編程，沒(méi)有充分考慮利用多核處理器的并行運(yùn)算能力來(lái)大幅提高氣象數(shù)據(jù)質(zhì)量審核效率。傳統(tǒng)的編程方法是針對(duì)單核處理器的，單核處理器在特定時(shí)間只能執(zhí)行特定的任務(wù)，對(duì)于多線程處理只能是并發(fā)執(zhí)行，而不是并行執(zhí)行，操作系統(tǒng)為完成多任務(wù)處理采用時(shí)間片輪轉(zhuǎn)調(diào)度算法。除此之外，處理器需要在多個(gè)進(jìn)程之間切換，增加了額外開(kāi)銷，導(dǎo)致處理器效率降低。多線程處理屬于并行處理方式，較單線程串行處理方式較大地提高了數(shù)據(jù)處理效率，特別是在處理高并發(fā)任務(wù)和動(dòng)態(tài)數(shù)據(jù)采集、數(shù)據(jù)處理方面，多線程具有強(qiáng)大的優(yōu)勢(shì)。目前，市面上大多為多核處理器，Python支持多線程程序開(kāi)發(fā)，如果利用多線程占用計(jì)算機(jī)資源少、程序運(yùn)行效率高的特點(diǎn)開(kāi)發(fā)環(huán)境因素?cái)?shù)據(jù)質(zhì)量審核軟件就能快速處理氣象數(shù)據(jù)報(bào)表。氣象數(shù)據(jù)報(bào)表中最難處理的是數(shù)據(jù)量較大的數(shù)據(jù)報(bào)表，為了提升大數(shù)據(jù)量報(bào)表的審核效率，軟件設(shè)計(jì)首先以年、月為單位，自動(dòng)對(duì)數(shù)據(jù)報(bào)表進(jìn)行拆分，將大報(bào)表拆分成多個(gè)小報(bào)表，然后對(duì)小報(bào)表采用多線程并行處理方式進(jìn)行審核。在內(nèi)存空間充裕的情況下，其質(zhì)量審核效率提升倍數(shù)取決于CPU的個(gè)數(shù)。采用多線程算法改進(jìn)后的質(zhì)量審核軟件，運(yùn)行效率大大提高，通過(guò)測(cè)試單線程運(yùn)算量相同的8萬(wàn)行氣象原始數(shù)據(jù)。采用多線程算法，在八核處理器的條件下可在2 min之內(nèi)完成審核，較單線程審核效率提高接近8倍。

2 結(jié)語(yǔ)

目前，國(guó)防口大氣試驗(yàn)站建立了氣象值班員、站長(zhǎng)、中心3級(jí)數(shù)據(jù)質(zhì)量管理體系，這種體系從管理上形成了層層把關(guān)。再借助本文所述的氣象數(shù)據(jù)質(zhì)量審核方法、算法、流程以及軟件工具，能夠快速提升數(shù)據(jù)質(zhì)量審核效率，減輕科研人員的工作強(qiáng)度，避免了數(shù)據(jù)審核工作中人為造成的失誤，提高了數(shù)據(jù)質(zhì)量審核的準(zhǔn)確性。據(jù)統(tǒng)計(jì)分析，采用軟件工具審核較人工審核的準(zhǔn)確率平均提高約20倍，軟件審核尚未出現(xiàn)漏審、錯(cuò)審和錯(cuò)誤標(biāo)注的情況。軟件質(zhì)量審核效率較人工審核提高60倍。目前，該方法在各試驗(yàn)站逐步推廣，我所科研項(xiàng)目同步開(kāi)展應(yīng)用，通過(guò)長(zhǎng)時(shí)間試運(yùn)行，該數(shù)據(jù)審核方法和軟件已經(jīng)得到了用戶的認(rèn)可，達(dá)到了預(yù)期的目的。